JPH06214690A

JPH06214690A - 情報同期制御方法、情報伝送装置および情報出力装置

Info

Publication number: JPH06214690A
Application number: JP5021728A
Authority: JP
Inventors: Yasuaki Yamagishi; 靖明山岸
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-01-14
Filing date: 1993-01-14
Publication date: 1994-08-05
Anticipated expiration: 2019-11-17
Also published as: JP3590639B2

Abstract

(57)【要約】【目的】マルチメディアオブジェクトのより細かな同
期制御を可能とする。【構成】基本クラスＡにおける状態１は、状態番号
１．０，１．１および１．２の状態により構成される。
このうち、例えば基本クラスＡの導出クラスＢにおける
基本クラスＡの状態番号ｎの状態を細分化した状態の集
合は、状態番号ｎ．０，ｎ．１，ｎ．ｍの状態により構
成される。同様に、導出クラスＢの導出クラスＣは、導
出クラスＢの状態番号ｎ．ｍの状態を細分化した状態の
集合３で表され、この集合３は、状態番号ｎ．ｍ．０，
ｎ．ｍ．１，ｎ．ｍ．２およびｍ．ｍ．ｋの状態により
構成される。このように、クラスが階層的に定義され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチメディア情報を
表示／再生する情報処理装置において、情報要素間の同
期関係を制御する情報同期制御方法、情報伝送装置およ
び情報出力装置に関する。

【０００２】

【従来の技術】ワークステーション、記憶装置、通信装
置などの発展に伴い、テキストデータや静止画像ばかり
でなく、サウンドシークエンス、オーディオビジュアル
等の新しい表現メディア（相互交換されるデータの種
類、符号化された形式で記述される情報そのもの）を利
用したアプリケーションプログラムが普及しつつある。

【０００３】この表現メディアの多様化により、各々の
メディアを組み合わせた使い方、すなわち、マルチメデ
ィア（複数種類の表現メディア）を扱う要求が増加し、
それとともに、マルチメディア情報を異なるプラットフ
ォーム間で共有するための標準的な情報の交換形式の規
定が望まれている。

【０００４】その１つの例が、情報要素（単一の表現メ
ディアによって表される塊、以下、メディアオブジェク
トととも記す）間の表示／再生における同期制御方式
（時間依存関係の制御方式）の規定である。

【０００５】マルチメディア同期制御の制御方式には、
大きく分けて、ビット／パケットレベル、オブジェクト
（１つの意味のまとまり単位）レベルの２つの段階が考
えられる。前者の例にはＣＣＩＴＴ勧告Ｈ．２２１等が
あり、後者の例にはＩＳＯ／ＩＥＣ／ＤＩＳ１０７４４
（ＨｙＴｉｍｅ）が挙げられる。

【０００６】ＨｙＴｉｍｅ等、従来のオブジェクトレベ
ルの同期制御方式においては、個々のメディアオブジェ
クトの出現位置／領域が、空間および時間軸上にアドレ
ッシングされている。つまり、表示／再生位置が静的に
スケジュールされている。

【０００７】

【発明が解決しようとする課題】マルチメディア情報を
表示／再生する際の情報要素間の同期関係を制御する方
式のうち、オブジェクトレベルの同期制御方式において
は、表示／再生位置を静的にスケジュールする方法が一
般的である。

【０００８】しかしながら、このような静的なスケジュ
ーリングのみをサポートする制御方式は、ユーザからの
対話のタイミングによる同期を制御する能力が貧弱であ
る課題を有している。

【０００９】例えば、いま、ここに、マルチメディア情
報表示／再生装置があり、この装置は同期関係を記述し
たスクリプト（情報要素間の表示／再生制御のシナリオ
を記述したプログラム）を読み込み、それを実行するこ
とが可能であるものとする。そして、そのスクリプトに
は、ディスプレイ装置の画面上にボタンと動画表示領域
を配置し、ユーザが画面上のボタンを押すと、動画の再
生が行なわれるというように記述されているものとす
る。

【００１０】ただし、そのスクリプトは、静的なスケジ
ューリングのみをサポートする同期制御記述方式で記述
されている。ここでいう、静的にスケジューリングする
とは、”ボタンが押された場合には、動画をそのデータ
の最初から再生する。”というような記述の仕方のこと
をいう。

【００１１】従って、この場合、動画の再生途中にボタ
ンを押したとき、動画が再生途中であるか否かにかかわ
らず、動画の最初から再生が行なわれ、再生をそのまま
続けるか、最初から再生し直すかの選択ができない。つ
まり、ボタンを押したときの動画の表示状態により、再
生の仕方を細かく制御することができないという問題点
がある。

【００１２】従って、ユーザとの対話管理を含めた、マ
ルチメディアオブジェクトの同期制御を効果的に記述す
るためには、スクリプトに、現在表示中のメディアオブ
ジェクトの表示の状態に依存した同期制御を記述する能
力（動的なスケジューリングの能力）が求められる。

【００１３】さらに、メディアが異なると、その状態の
種類が異なるため、すべてのメディアに共通な状態とい
うものを定義することができるとともに、個々のメディ
アの特性に依存する状態を定義することができる能力を
有することが望ましい。

【００１４】例えば、静止画と動画を例に取ると、静止
画は時間に依存しないデータ（離散メディア）であるた
め、それがもつ表示の状態は大きく分けると、”表示
中”、または”表示されていない”、という２つの状態
のいずれかである。これに対して、動画の場合は、それ
が時間に依存するデータ（連続メディア）であるた
め、”表示中”、または”表示されていない”、という
２つの状態に区分される他、”表示中”はさらに、”通
常の速度での再生”と、”倍速再生”に区分される。

【００１５】本発明は、以上のような問題点に鑑みてな
されたものであり、マルチメディア情報の同期制御を行
なうに際し、マルチメディアオブジェクトの表示中のマ
ルチメディア情報要素の状態に依存した細かな同期制御
を可能とすることを目的としている。

【００１６】

【課題を解決するための手段】請求項１に記載の情報同
期制御方法は、複数のメディアからの情報を出力する際
の各情報間の同期関係を制御する情報同期制御方法にお
いて、各情報のメディアからの出力状態と、出力状態の
遷移を階層的に定義し、出力状態とその遷移を利用した
スクリプトをもとに、各情報の出力状態の同期を制御す
ることを特徴とする。

【００１７】各情報のメディアからの出力状態と、その
遷移は、基本クラス、基本クラスの下位の導出クラス、
または他の導出クラスの下位の導出クラスにより定義す
ることができる。

【００１８】また、基本クラスと導出クラスは、メディ
アの状態を定義するステートと、状態の遷移を表わすイ
ベントにより定義することができる。

【００１９】請求項４に記載の情報伝送装置は、情報の
メディアからの出力状態とその遷移を階層的に定義する
とともに、出力状態とその遷移を利用したスクリプトを
作成する第１の作成手段としてのクラス定義スクリプト
作成部１１と、メディアのオブジェクトデータを作成す
る第２の作成手段としてのメディアオブジェクトデータ
作成部１２と、クラス定義スクリプト作成部１１とメデ
ィアオブジェクトデータ作成部１２の出力を合成して伝
送する伝送手段としての転送制御部１３とを備えること
を特徴とする。

【００２０】請求項５に記載の情報出力装置は、入力信
号から、階層的に定義された情報のメディアからの出力
状態とその遷移を利用したスクリプトと、メディアのオ
ブジェクトデータとを分離する分離手段としての転送制
御部１６と、転送制御部１６により分離されたスクリプ
トを解釈する解釈手段としてのスクリプト解釈実行部１
７と、スクリプト解釈実行部１７の出力に対応して、転
送制御部１６により分離されたオブジェクトデータを処
理する処理手段としての表示制御部１８とを備えること
を特徴とする。

【００２１】

【作用】本発明の情報同期制御方法、情報伝送装置およ
び情報出力装置においては、各情報のメディアからの出
力状態と、出力状態の遷移を階層的に定義し、出力状態
とその遷移を利用したスクリプトをもとに、各情報の出
力状態の同期が制御される。従って、マルチメディアオ
ブジェクトのより細かな同期制御が可能となる。

【００２２】

【実施例】以下に実施例について説明する。本実施例に
おいては、メディアがクラスとして定義され、クラスに
おいて、メディアの状態遷移がイベントとして定義され
る。クラスは、さらに基本クラスと導出クラスとに区分
される。

【００２３】基本クラスのシンタクスは、以下のように定義される。 class <クラス名(文字列)> { state: [<状態番号(正の整数)> : <状態名(文字列)>;]* event: [<イベント番号(正の整数)> : <イベント名(文字列)> : <状態番号(正の整数)> → <状態番号(正の整数)>;]* }

【００２４】”ｓｔａｔｅ”の項には、状態番号と対応
する状態名の組を記述する。状態番号は、この”ｓｔａ
ｔｅ”の項内で一意な整数である。”ｅｖｅｎｔ”の項
には、”＜状態番号（正の整数）＞→＜状態番号（正の
整数）＞”で示される＜状態番号（正の整数）＞→＜状
態番号（正の整数）＞の状態遷移を引き起こすイベント
の名前とイベント番号が組にして列挙される。イベント
番号は、この”ｅｖｅｎｔ”の項内で一意な整数であ
る。なお、”［．．．］＊”は、．．．が１つ以上出現
することを表す。なお、後述するように、状態番号”
０”として設定された状態は、初期状態とされる。

【００２５】導出クラスのシンタクスは、以下のように
定義される。 class <クラス名(文字列)> : <基本クラス名または導出クラス名(文字列)> { state: [<状態番号(正の整数列)> : <状態名(文字列)>;]* event: [<イベント番号(正の整数)> : <イベント名(文字列)> : <状態番号(正の整数列)> → <状態番号(正の整数列)>;]* }

【００２６】この”クラス名”で識別される導出クラス
は、親クラスである”基本クラス名”または”導出クラ
ス名”で識別されるクラスの状態遷移と、それを引き起
こすイベントを継承する。この場合、”状態番号”のフ
ォーマットは、”．”で区切られた２つ以上の正の整数
列で表わされ、最も右側の整数の左に隣接する整数は、
１つ上位の親クラスの状態番号を表わす（後述の例を参
照のこと）。すなわち、導出クラスの記述は、親のクラ
ス（基本クラスまたは導出クラス）のある状態を、さら
に細分化した状態を定義することになる。

【００２７】例えば、ある基本クラスにおいて、状態番
号ｎ（ｎは正の整数）が定義される場合、その導出クラ
ス（子クラス）において、親クラスの状態番号ｎに対応
する状態をさらに細分化して定義するときは、状態番号
をｎ．ｍ（ｎ、ｍは正の整数）とする。

【００２８】さらに、その導出クラス（子クラス）の導
出クラス（孫クラス）において、子クラスの状態番号
ｎ．ｍに対応する状態をさらに細分化して定義する場合
は、状態番号をｎ．ｍ．ｋ（ｎ、ｍ、ｋは正の整数）と
する。

【００２９】以上のことを、図１を参照してさらに説明
する。図１において、１は、基本クラスＡにおける状態
の集合を表し、１．０は状態番号０の状態を表し、１．
１は状態番号１の状態を表し、１．２は状態番号ｎの状
態を表している。また、２は、基本クラスＡの導出クラ
スＢにおける、Ａの状態番号ｎの状態１．２を細分化し
た状態の集合を表し、２．０は状態番号ｎ．０の状態を
表し、２．１は状態番号ｎ．１の状態を表し、２．２は
状態番号ｎ．ｍの状態を表している。同様に、３は、導
出クラスＢの導出クラスＣにおける、Ｂの状態番号ｎ．
ｍの状態２．２を細分化した状態の集合を表し、３．０
は状態番号ｎ．ｍ．０の状態を表し、３．１は状態番号
ｎ．ｍ．１の状態を表し、３．２は状態番号ｎ．ｍ．ｋ
の状態を表している。

【００３０】上述のクラス定義に記述された状態遷移に
従うオブジェクトの宣言と、それらの表示制御手続きが
スクリプトに記述される。スクリプトのシンタクスは以
下のようになされる。

【００３１】オブジェクト定義部は、次のように規定さ
れる。 <オブジェクト定義部> ＝ [<オブジェクト変数> ＝ new <クラス名>(<内容部識別子>);]*

【００３２】オブジェクト定義部は、このスクリプトで
記述の対象となるオブジェクトを定義する部分である。
オブジェクト変数は、指定されたクラスのインスタンス
を特定する識別子となる。

【００３３】内容識別子は、次式で表わされるように、
そのオブジェクトの表現メディアそのもののデータを特
定する識別子である。 <内容識別子> ＝ content_identifier ＝ <正の整数>

【００３４】イニシャルメッセージパッシング記述部
は、次式で表わされ、そのスクリプトが起動されたと
き、一番最初に実行される部分である。 <イニシャルメッセージパッシング記述部> ＝ <メッセージパッシング記述部>

【００３５】メッセージパッシング記述部は次式で表わ
される。 <メッセージパッシング記述部> ＝ do {[<イベント名> → <オブジェクト変数>;]*}

【００３６】この式により、オブジェクト変数で特定さ
れるオブジェクトに対してイベント名で特定されるイベ
ントが送られる。その結果、対象オブジェクトの状態遷
移が起こる。このイベント名は、対象のオブジェクトの
クラス定義において定義されていなければならない。

【００３７】イベントメッセージパッシング記述部は次
式で表わされる。 <イベントメッセージパッシング記述部> ＝ [switch (<イベント判定部>) { [case (<状態判定部>) <メッセージパッシング記述部>]* }]*

【００３８】イベント転送の検出（後述）が起こったと
き、すべてのｓｗｉｔｃｈ文のイベント判定部に指定さ
れている条件のテストが行なわれ、それが成立した場
合、ｃａｓｅ文の状態判定部に指定されている条件のテ
ストが行なわれる。テストした条件が成立した場合、メ
ッセージパッシング記述部に記述されているメッセージ
パッシングが行なわれる。

【００３９】ｃａｓｅ文の状態判定部はなくてもよく、
その場合には、ただちにメッセージパッシングが行なわ
れる。

【００４０】イベント判定部は次式で表わされる。 <イベント判定部> ＝ <オブジェクト変数> . <イベント判定メソッド>

【００４１】オブジェクト変数で特定される対象オブジ
ェクトにおいて当該イベントが起こったか否かをテスト
する。起こっていれば、このイベント判定部が成立する
こととなる。

【００４２】イベント判定メソッドは次式で表わされ
る。 <イベント判定メソッド> ＝ isSelected()、または、getMessage(<イベント名>)

【００４３】ｉｓＳｅｌｅｃｔｅｄ（）メソッドは、対
象オブジェクトに対して”ユーザの選択”（後述）が起
こったか否かをテストするものであり、ｇｅｔＭｅｓｓ
ａｇｅ（）メソッドは、引き数＜イベント名＞で特定さ
れるイベントが対象オブジェクトにおいて起こったか否
かをテストするものである。

【００４４】状態判定部は次式で表わされる。 <状態判定部> ＝ <オブジェクト変数> . <状態判定メソッド> [<論理演算子> <オブジェクト変数> . <状態判定メソッ
ド>]*

【００４５】これは、オブジェクト変数で特定される対
象オブジェクトにおける状態をテストするものであり、
対象オブジェクトが下記の状態判定メソッドの引き数<
状態番号>で特定される状態にあるか否かをテストす
る。 <状態判定メソッド> ＝ testState(<状態番号>)

【００４６】なお、＜論理演算子＞はＣ言語の論理演
算子（＆＆（および），｜｜（または））と同じ意味で
ある。

【００４７】上述のクラス定義の表記構文と、スクリプ
トの表記構文にもとづいて、具体的なクラス定義とスク
リプトの例を送り側で記述し、それらを伝送媒体を介し
て受け側のマルチメディア情報表示／再生情報処理装置
に伝送し、受け側において、送り側で意図したシナリオ
にもとづいて、マルチメディア情報を同期制御する方法
を以下に説明する。

【００４８】最初に、メディア（Ｍｅｄｉａ）クラスを
定義する。このクラスに属するオブジェクトのとりえる
状態として、例えば、次の２つの状態を定義する。あ）表示待機中（ＷＡＩＴ）い）表示中（ＲＵＮ）

【００４９】このオブジェクトが生成されたときの初期
状態は”表示待機中（ＷＡＩＴ）”とする。

【００５０】また、イベントとして、次の２つを定義す
る。ア）ｒｕｎイ）ｓｔｏｐ

【００５１】以上のメディアの定義をまとめると、次の
ようになる。

【００５２】図２に示すように、このオブジェクトが状
態”ＷＡＩＴ”の時に、”ｒｕｎ”というメッセージを
受けると、このオブジェクトの状態が、”ＲＵＮ”に遷
移する。また、オブジェクトが状態”ＲＵＮ”の時
に、”ｓｔｏｐ”というメッセージを受けると、このオ
ブジェクトの状態が”ＷＡＩＴ”に遷移する。この状態
遷移を表にまとめると、表１に示すようになる。

【００５３】

【表１】

【００５４】次に、上述のメディアクラスから導出され
る連続メディア（ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａ：
再生状態が時間に依存するメディア）クラスを定義す
る。この連続メディアクラスは上述のメディアクラスの
導出クラスであるから、上記２つの状態”ＷＡＩＴ”
と”ＲＵＮ”を有する。

【００５５】さらに、”ＲＵＮ”の状態をあ）通常再生（ＰＬＡＹ）い）早送り再生（ＦＡＳＴ＿ＰＬＡＹ）の２つの状態に分ける。このうち、”通常再生（ＰＬＡ
Ｙ）”を初期状態とする（状態番号を０として設定した
方が初期状態とされる）。

【００５６】このようなＣｏｎｔｉｎｕｏｕｓＭｅｄｉ
ａクラスのクラス定義は次のようになる。

【００５７】ここで、”：Ｍｅｄｉａ”は、”Ｃｏｎｔ
ｉｎｕｏｕｓＭｅｄｉａ”クラスが導出される親クラス
を示す。また、状態番号が”ｎ．ｍ（ｎ，ｍは正の整
数）”となっているのは、状態”ｎ．ｍ：．．．”
が、親クラスの状態”ｎ：．．．”に含まれることを
意味する。すなわち、状態”１．０：ＰＬＡＹ”と”
１．１：ＦＡＳＴ＿ＰＬＡＹ”は、ともに親クラス”Ｍ
ｅｄｉａ”の状態”１：ＲＵＮ”の中に含まれる。

【００５８】ただし、この場合、状態”１．０：ＰＬＡ
Ｙ”が初期状態（状態番号が０となっているため）とな
る。つまり、状態”ＷＡＩＴ”のときにイベント”ｒｕ
ｎ”を受け取ると、状態”ＰＬＡＹ”に遷移する。ま
た、状態”ＰＬＡＹ”または”ＦＡＳＴ＿ＰＬＡＹ”の
ときにイベント”ｓｔｏｐ”を受け取ると、状態”ＷＡ
ＩＴ”に遷移する。このように、子のクラス（下位のク
ラス）を定義する場合に、親のクラス（上位のクラス）
に定義されている状態遷移を継承させることができる。

【００５９】また、以上のＣｏｎｔｉｎｕｏｕｓＭｅｄ
ｉａクラスの状態遷移を図と表に表わすと、図３と表２
に示すようになる。

【００６０】

【表２】

【００６１】次に、上述の各クラス（ＭｅｄｉａとＣｏ
ｎｔｉｎｕｏｕｓＭｅｄｉａ）を用いて、所定のオブジ
ェクトの表示状態を制御するために、例えば、下記のよ
うなスクリプト（スクリプト名”ｓａｍｐｌｅ”）を定
義する。 script sample { a ＝ new Media(content_identifier ＝ 1); b ＝ new ContinuousMedia(content_identifier ＝ 2); c ＝ new ContinuousMedia(content_identifier ＝ 3); do {run→a;} switch (a.getMessage(run)) { do {run→c;} } switch (a.isSelected()) { case ((b.testState(0)) && (c.testState(0))) do {run→b;} case ((b.testState(1.0)) && (c.testState(0))) do {playFast→b; run→c;} case ((b.testState(0)) && (c.testState(1.0))) do {run→b; playFast→c;} } switch (c.getMessage(stop)) { case ((a.testState(1) && b.testState(0)) do {stop→a;} } }

【００６２】即ち、この実施例においては、オブジェク
トａがクラスＭｅｄｉａとして規定され、オブジェクト
ｂとｃがクラスＣｏｎｔｉｎｕｏｕｓＭｅｄｉａとして
規定される。そして、それぞれはＩＤ（ｃｏｎｔｅｎｔ
＿ｉｄｅｎｔｉｆｉｅｒ）１，２または３として識別さ
れるようになされている。

【００６３】do {run→a;} は、オブジェクトａにイベントｒｕｎを転送することを
意味している。は、ａというオブジェクトがｒｕｎというメッセージを
受けたとき、ｃというオブジェクトにｒｕｎというイベ
ントを転送することを意味している。

【００６４】 switch (a.isSelected()) { case ((b.testState(0)) && (c.testState(0))) do {run→b;} case ((b.testState(1.0)) && (c.testState(0))) do {playFast→b; run→c;} case ((b.testState(0)) && (c.testState(1.0))) do {run→b; playFast→c;} } は、オブジェクトａが選択されたとき、各ｃａｓｅの条
件が充足されるか否かを順次判定するものである。この
うち、例えば case ((b.testState(0)) && (c.testState(0))) do {run→b;} は、オブジェクトｂの状態が０（ＷＡＩＴ）であり、か
つ、オブジェクトｃの状態も０（ＷＡＩＴ）であると
き、オブジェクトｂに対して、ｒｕｎのイベントを転送
することを意味している。

【００６５】図４に、上述のクラス定義とスクリプトを
交換するマルチメディア情報表示／再生装置（情報伝送
装置または情報出力装置）の構成例を示す。この実施例
においては、図中左側が、クラス定義とスクリプトの作
成を行う送り側３１とされ、図中右側が、表示制御を行
なう受け側３２とされている。

【００６６】上述したクラス定義部のファイルとスクリ
プトのファイルが、送り側３１のクラス定義／スクリプ
ト作成部１１において作成される。さらに、スクリプト
におけるｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ１，
２，３に対応する表現メディアのオブジェクトが、メデ
ィアオブジェクトデータ作成部１２において作成され
る。例えば、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ１
のデータとして、符号化方式Ａで符号化された静止画の
データが含まれているファイルが作成され、ｃｏｎｔｅ
ｎｔ＿ｉｄｅｎｔｉｆｉｅｒ２のデータとして、符号化
方式Ｂで符号化された音声のデータが含まれているファ
イルが作成され、さらに、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔ
ｉｆｉｅｒ３のデータとして、符号化方式Ｃで符号化さ
れた動画のデータが含まれているファイルが作成され
る。

【００６７】この例においては、スクリプトから判るよ
うに、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ１に対応
するオブジェクトはＭｅｄｉａクラスのオブジェクトで
あり、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ２，３に
対応するオブジェクトはＣｏｎｔｉｎｕｏｕｓＭｅｄｉ
ａクラスのオブジェクトであり、符号化方式にそれぞれ
Ａ，Ｂ，Ｃを選んでいるが、他の符号化方式を用いるこ
とができるのは勿論である。すなわち、スクリプトその
ものは、表現メディアの符号化方式に依存しないため、
受け側３２の能力に合わせた符号化方式を選択すること
ができる。

【００６８】それぞれの表現メディアオブジェクトファ
イルのデータ構造には、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉ
ｆｉｅｒを記述するレコード、符号化方式を記述するレ
コード、表示属性を記述するレコード、および符号化さ
れたデータが格納されるレコードがある。

【００６９】クラス定義スクリプト作成部１１により作
成したクラス定義部とスクリプトのファイル、並びに、
メディアオブジェクトデータ作成部１２により作成され
たメディアオブジェクトのファイルは、転送制御部１３
に入力され、合成される。転送制御部１３より出力され
たデータは、通信制御装置１４において所定の方式で変
調され、伝送媒体１０に伝送される。

【００７０】伝送媒体１０と転送制御プロトコルには、
例えば、ＥｔｈｅｒｎｅｔとＴＣＰ／ＩＰを用いること
ができる。勿論、その他の組合せを用いることも可能で
ある。

【００７１】受け側３２においては、伝送媒体１０を介
して伝送されてきたデータを通信制御装置１５が受信、
復調し、これを転送制御部１６に供給する。転送制御部
１６は、受け取ったファイルを分離し、クラス定義部と
スクリプトのファイルをスクリプト解釈／実行部１７に
供給し、残りの表現メディアオブジェクトのファイルを
表示制御部１８に供給する。

【００７２】スクリプト解釈／実行部１７においてクラ
ス定義またはスクリプトが解釈される以前に、送り側３
１と受け側３２の間で（具体的には送り側３１のクラス
定義／スクリプト作成部１１と、受け側３２のスクリプ
ト解釈／実行部１７の間で）、各クラスの状態の表示上
の意味について合意がなされている必要がある。例え
ば、この実施例では、Ｍｅｄｉａクラスの状態ＷＡＩＴ
とＲＵＮや、ＣｏｕｔｉｎｕｏｕｓＭｅｄｉａクラスの
状態ＰＬＡＹとＦＡＳＴ＿ＰＬＡＹの違いについて合意
がなされている必要がある。

【００７３】本実施例においては、状態を識別したり、
状態間の遷移を定義することは可能であるが、個々の状
態の表示上の意味については定義されていない。従っ
て、スクリプトの交換（伝送）に先立ち、予め各クラス
の状態の意味について合意を行なうという過程が必要と
なるのである。

【００７４】以上のような合意が予めなされている状態
で、最初にスクリプト解釈／実行部１７において、クラ
ス定義部の解釈が行なわれ、次にスクリプトの＜オブジ
ェクト定義部＞が解釈され、オブジェクトａ，ｂ，ｃの
状態情報を記憶する領域が確保される。状態情報を記憶
する領域には、オブジェクトａ，ｂ，ｃの各々の状態番
号が記憶される。クラス定義から、オブジェクトａは１
桁の状態番号を持ち、オブジェクトｂ，ｃは２桁の状態
番号を持つことが判るので、表３に示すように、各々の
オブジェクトに対して２つの整数のフィールド１，２を
持つレコードが定義される。

【００７５】

【表３】

【００７６】スクリプト解釈／実行部１７では、すべて
のオブジェクトを初期状態にセットする。すなわちオブ
ジェクトａ，ｂ，ｃのいずれも状態”ＷＡＩＴ”にな
り、すべてのフィールドは”０”で初期化される（表４
の状態ｎｏ．１参照）。

【００７７】

【表４】

【００７８】このとき、スクリプト解釈／実行部１７に
おいて、スクリプトの＜イニシャルメッセージパッシン
グ記述部＞が解釈され、”ｒｕｎ”という名前のイベン
トがオブジェクトａに送られる。

【００７９】オブジェクトａは、上述したように、次の
ような文により、Ｍｅｄｉａクラスのオブジェクトと宣
言されている。 a = new Media(content_identifier = 1)；このため、Ｍｅｄｉａクラスの定義により、イベント”
ｒｕｎ”を受け取ると、状態が０から１、すなわち状
態”ＷＡＩＴ”から状態”ＲＵＮ”に遷移することにな
る。従って、オブジェクトａの状態情報を記憶する領域
の第１フィールドには状態番号”１”が記憶される（表
４における状態ｎｏ．２参照）。

【００８０】このときまた、スクリプト解釈／実行部１
７は、表示制御部１８に対して、オブジェクトａの内容
部を表示するよう要求する。これにより、表示制御部１
８は、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ＝１に対
応する表現メディアオブジェクトのデータ（符号化方式
Ａにて符号化されている）を、内蔵する復号器（符号化
方式Ａに対応する、例えばＭＲ（ｍｏｄｉｆｉｅｄｒ
ｅａｄ）復号器）により復号化し、内蔵するディスプレ
イに表示させる。

【００８１】このように、あるイベントがあるオブジェ
クトに送られ、その対象オブジェクトの状態遷移が起こ
る事象を、”イベントの転送が検出される”という。ス
クリプト解釈／実行部１７は、表示制御部１８によりイ
ベント転送が検出された場合、スクリプトの＜イベント
メッセージパッシング記述部＞の＜イベント判定部＞を
１つずつテストする。

【００８２】いまの場合、最初の文の＜イベント判定部＞に該当するイベントが起こったこ
とになるため、ｄｏ以降の＜メッセージパッシング記述
部＞ do {run→c;} が実行される。すなわち、”ｒｕｎ”という名前のイベ
ントがオブジェクトｃに送られる。

【００８３】オブジェクトｃは文 c ＝ new ContinuousMedia(content_identifier ＝ 3); により、ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスのオブ
ジェクトと宣言されているが、ＣｏｎｔｉｎｕｏｕｓＭ
ｅｄｉａクラスの定義には、イベント”ｒｕｎ”を受け
取った場合の状態遷移の定義がなされていない。しかし
ながら、このＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスの
親クラスがＭｅｄｉａクラスであるので、Ｍｅｄｉａク
ラスに定義されているイベント”ｒｕｎ”を受け取った
場合の状態遷移定義に従い、オブジェクトｃの状態が状
態”ＲＵＮ”、すなわち状態”ＰＬＡＹ”になる。なぜ
なら、ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスの定義に
より、親クラスの状態”ＲＵＮ”の初期状態が状態”Ｐ
ＬＡＹ”になると宣言されているためである。

【００８４】そして、オブジェクトｃの状態情報を記憶
する領域の第１フィールドに状態番号１が、第２フィー
ルドに状態番号０が記憶される。すなわち、状態番号”
１．０”が記憶されることになる（表４の状態ｎｏ．３
参照）。このとき、スクリプト解釈／実行部１７は、表
示制御部１８に対して、オブジェクトｃの内容部、すな
わち、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ＝３に対
応する表現メディアオブジェクトを表示するよう要求す
る。表示制御部１８は、この要求に対応して、符号化方
式Ｃの復号器により動画データを復号し、ディスプレイ
に表示させる。

【００８５】ここで、オブジェクトｃの動画の内容が再
生されている途中で、ユーザがディスプレイ上で、例え
ばマウス等の表示制御部１８の管理下の指示装置によ
り、オブジェクトａを指示したとすると、オブジェクト
スクリプト解釈／実行部１７にイベント転送の検出が通
知（この場合のイベントは表示状態の遷移を起こさない
特別なものである。つまり、オブジェクトａの表示領域
内においてユーザの指示が起こったという事象のみが通
知）され、スクリプトの＜イベントメッセージパッシン
グ記述部＞の＜イベント判定部＞がテストされる。

【００８６】このとき、このイベントが、 switch (a.isSelected()) { } に該当するイベントであることが判るため、このｓｗｉ
ｔｃｈ文の中の各ｃａｓｅ文の＜状態判定部＞がテスト
される。

【００８７】いまの場合、 case ((b.testState(0)) && (c.testState(1.0))) do {playFast→c;} に該当するので（オブジェクトｂが状態”ＷＡＩＴ”で
あり、かつ、オブジェクトｃが状態”ＰＬＡＹ”である
ので）、＜メッセージパッシング記述部＞ do {playFast→c;} が実行され、”ｐｌａｙＦａｓｔ”という名前のイベン
トがオブジェクトｃに送られる。

【００８８】これにより、オブジェクトｃは状態が、”
ＰＬＡＹ”から”ＦＡＳＴ＿ＰＬＡＹ”に遷移する。従
って、オブジェクトｃの状態情報を記憶する領域に、状
態番号”１．１”が記憶される（表４の状態ｎｏ．４参
照）。またこのとき、オブジェクトｃの動画の再生速度
を早くする指令が、スクリプト解釈／実行部１７から表
示制御部１８に通知され、表示制御部１８において、オ
ブジェクトｃの動画が高速再生される。

【００８９】この後、オブジェクトｃの再生が終了する
（データの最後まで再生してしまう）と、オブジェクト
ｃに対して”ｓｔｏｐ”というイベントが送られ、オブ
ジェクトｃの状態が状態”ＷＡＩＴ”に遷移し、状態番
号が”０”に設定される（表４の状態ｎｏ．５参照）。

【００９０】この”ｓｔｏｐ”イベントの転送は、スク
リプトそのものには記述されていない特別なもので、時
間に依存する連続メディアの再生が終了したときに限
り、表示制御部１８が”ｓｔｏｐ”イベントの転送が起
こったとものとみなし、スクリプト解釈／実行部１７に
対してイベント転送の検出を通知する。

【００９１】このとき、スクリプトの＜イベントメッセ
ージパッシング記述部＞の＜イベント判定部＞がテスト
され、このイベントが、 switch (c.getMessage(stop)) { } に該当するイベントであることが判るため、このｓｗｉ
ｔｃｈ文の中の各ｃａｓｅ文の＜状態判定部＞がテスト
される。

【００９２】いまの場合、オブジェクトａが状態”ＰＬ
ＡＹ”であり、かつ、オブジェクトｂが状態”ＷＡＩ
Ｔ”であるから、 case ((a.testState(1) && b.testState(0)) do {stop→a;} の＜メッセージパッシング記述部＞ do {stop→a;} が実行され、オブジェクトａの表示がディスプレイから
消えて、状態が状態”ＷＡＩＴ”に遷移する（表４の状
態ｎｏ．６参照）。

【００９３】上述の表４の状態ｎｏ．３において、オブ
ジェクトｃの再生が終了してしまった後に、ユーザがデ
ィスプレイ上でオブジェクトａを指示した場合の表示の
流れは、表５に示すようになる。

【００９４】

【表５】

【００９５】オブジェクトｃの再生が終了した場合、オ
ブジェクトｃに対して”ｓｔｏｐ”というイベントが送
られたものとみなされ、オブジェクトｃの状態が”ＷＡ
ＩＴ”に遷移し、状態番号が”０”に設定される（表５
の状態ｎｏ．４参照）。スクリプト解釈／実行部１７に
イベント転送の検出が通知され、オブジェクトａの内容
がディスプレイから消えて、状態が”ＷＡＩＴ”に遷移
する（表５の状態ｎｏ．５参照）。

【００９６】従って、以後は、ユーザがディスプレイ上
でマウス等の指示装置により、オブジェクトａを指示す
ることができないため、オブジェクトの状態遷移の表４
の場合と異なる状態の流れとなる。

【００９７】以上の処理をフローチャートに表すと、図
５および図６に示すようになる。即ち、図５に示すよう
に、最初にステップＳ１において、クラス定義部の解釈
を行い、次にステップＳ２において、スクリプトの解釈
／実行を行う。

【００９８】このステップＳ２におけるスクリプトの解
釈／実行の処理の詳細は、図６に示されている。

【００９９】即ち、最初にステップＳ１１において、オ
ブジェクト定義部の解釈が実行される。次にステップＳ
１２に進み、ステップＳ１１におけるオブジェクト定義
部の解釈に対応して、オブジェクト状態領域の確保が実
行される。さらにステップＳ１３においては、ステップ
Ｓ１２において確保したオブジェクト状態記憶領域が初
期化される。

【０１００】次にステップＳ１４において、イニシャル
メッセージパッシング記述部が実行され、そしてステッ
プＳ１５において、オブジェクト状態が更新される。

【０１０１】ステップＳ１６においては、ｅｖｅｎｔ＿
ｃｈｅｃｋ＿ｃｏｕｎｔｅｒが１にセットされる。そし
て、次にステップＳ１７に進み、ｅｖｅｎｔ＿ｃｈｅｃ
ｋ＿ｃｏｕｎｔｅｒ番目（いまの場合、この値は、ステ
ップＳ１６において１に設定されている）のイベント判
定部のテストが実行される。テストの結果が正しいと
き、ステップＳ１８に進み、ｓｔａｔｅ＿ｃｈｅｃｋ＿
ｃｏｕｎｔｅｒに１が設定される。

【０１０２】次にステップＳ１９に進み、ｓｔａｔｅ＿
ｃｈｅｃｋ＿ｃｏｕｎｔｅｒ番目（いまの場合、この値
は、ステップＳ１８において１に設定されている）の状
態判定部のテストが実行される。このテストの結果が正
しいとき、ステップＳ２０に進み、ｓｔａｔｅ＿ｃｈｅ
ｃｋ＿ｃｏｕｎｔｅｒ番目のメッセージパッシング記述
部が実行される。

【０１０３】ステップＳ２０における処理の後、ステッ
プＳ２１に進み、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔ
ｅｒの値が１だけインクリメントされる。ステップＳ１
９において、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒ
番目の状態判定部のテストの結果が誤りであると判定さ
れた場合においては、ステップＳ２０の処理はスキップ
され（そのメッセージパッシング記述部は実行され
ず）、ステップＳ２１の処理が実行される。

【０１０４】次にステップＳ２２に進み、ｓｔａｔｅ＿
ｃｈｅｃｋ＿ｃｏｕｎｔｅｒの値が１つのｓｗｉｔｃｈ
文における状態判定部の総数と等しいか否かが判定され
る。ステップＳ２２における判定がＮＯである場合にお
いては、ステップＳ１９に戻り、それ以降の処理が繰り
返される。ステップＳ２２における判定がＹＥＳである
場合においては、ステップＳ２３に進み、ｅｖｅｎｔ＿
ｃｈｅｃｋ＿ｃｏｕｎｔｅｒを１だけインクリメントす
る。ステップＳ１７において、ｅｖｅｎｔ＿ｃｈｅｃｋ
＿ｃｏｕｎｔｅｒ番目のイベント判定部のテストの結果
が誤りであると判定された場合においては、ステップＳ
１８乃至Ｓ２２における処理がスキップされ、ステップ
Ｓ２３の処理が実行される。

【０１０５】ステップＳ２３の次にステップＳ２４に進
み、ステップＳ２３でインクリメントしたｅｖｅｎｔ＿
ｃｈｅｃｋ＿ｃｏｕｎｔｅｒの値がイベント判定部の総
数と等しいか否かが判定される。ステップＳ２４の判定
がＮＯである場合においては、ステップＳ１７に戻り、
それ以降の処理が繰り返し実行される。ステップＳ２４
の判定がＹＥＳである場合においては、ステップＳ２５
に進み、イベント転送の検出待ちの状態となる。そし
て、イベント転送が検出されたとき、ステップＳ２５か
らステップＳ１５に戻り、それ以降の処理が繰り返し実
行される。

【０１０６】以上においては、送り側３１から受け側３
２に対して、伝送媒体１０を介してクラス定義とスクリ
プトを伝送するようにしたが、例えば図７に示すよう
に、蓄積媒体２０を介して送り側３１から受け側３２に
対して、これらのデータを伝送することが可能である。
この場合においては、図４の実施例における通信制御装
置１４，１５が、蓄積媒体制御装置２１，２２に変更さ
れる。蓄積媒体制御装置２１は、転送制御部１３より供
給されるデータを蓄積媒体２０に記録し、蓄積媒体制御
装置２２は、蓄積媒体２０に記録されたデータを再生
し、転送制御部１６に出力する。

【０１０７】以上においては、クラス定義／スクリプト
の交換に先立ち、予め各クラスの状態の表示上の意味に
ついて、送り側と受け側の間で、合意がなされていなけ
ればならないことを述べたが、これは、例えば、標準化
機関等において、クラス定義の登録手続きを規定し、ク
ラス名により一意に参照可能なクラス定義と、そこで記
述されている状態の表示上の意味を記述したドキュメン
トを登録することにより実現することができる。

【０１０８】このようにすれば、クラス定義の部分を広
範囲の異なるシステムにおいて共有することができる。
また、スクリプトの汎用性（さまざまなベンダーからの
システム／プラットフォーム上でのスクリプトの互換
性）が保証されることとなる。

【０１０９】

【発明の効果】以上の如く、本発明の情報同期制御方
法、情報伝送装置または情報出力装置によれば、各情報
のメディアからの出力状態と、出力状態の遷移を階層的
に定義し、出力状態とその遷移を利用したスクリプトを
もとに、各情報の出力状態の同期を制御するようにした
ので、マルチメディアオブジェクトのより細かな同期制
御が可能となる。

【図面の簡単な説明】

【図１】クラスの階層的定義による状態遷移の承継を説
明する図である。

【図２】メディアクラスの状態遷移を説明する図であ
る。

【図３】連続メディアクラスの状態遷移を説明する図で
ある。

【図４】本発明の情報伝送装置および情報出力装置の一
実施例の構成を示すブロック図である。

【図５】図４の実施例の動作を説明するフローチャート
である。

【図６】図５のステップＳ２のより詳細な処理を説明す
るフローチャートである。

【図７】本発明の情報伝送装置および情報出力装置の他
の実施例の構成を示すブロック図である。

【符号の説明】

１１クラス定義スクリプト作成部１２メディアオブジェクトデータ作成部１３転送制御部１４，１５通信制御装置１６転送制御部１７スクリプト解釈／実行部１８表示制御部２０蓄積媒体２１，２２蓄積媒体制御装置

Claims

【特許請求の範囲】

【請求項１】複数のメディアからの情報を出力する際
の各情報間の同期関係を制御する情報同期制御方法にお
いて、各情報のメディアからの出力状態と、前記出力状態の遷
移を階層的に定義し、前記出力状態とその遷移を利用し
たスクリプトをもとに、各情報の出力状態の同期を制御
することを特徴とする情報同期制御方法。
【請求項２】前記各情報のメディアからの出力状態
と、その遷移は、基本クラス、前記基本クラスの下位の
導出クラス、または他の導出クラスの下位の導出クラス
により定義されることを特徴とする請求項１に記載の情
報同期制御方法。
【請求項３】前記基本クラスと導出クラスは、前記メ
ディアの状態を定義するステートと、前記状態の遷移を
表わすイベントにより定義されることを特徴とする請求
項２に記載の情報同期制御方法。
【請求項４】情報のメディアからの出力状態とその遷
移を階層的に定義するとともに、前記出力状態とその遷
移を利用したスクリプトを作成する第１の作成手段と、前記メディアのオブジェクトデータを作成する第２の作
成手段と、前記第１の作成手段と第２の作成手段の出力を合成して
伝送する伝送手段とを備えることを特徴とする情報伝送
装置。
【請求項５】入力信号から、階層的に定義された情報
のメディアからの出力状態とその遷移を利用したスクリ
プトと、メディアのオブジェクトデータとを分離する分
離手段と、前記分離手段により分離されたスクリプトを解釈する解
釈手段と、前記解釈手段の出力に対応して、前記分離手段により分
離された前記オブジェクトデータを処理する処理手段と
を備えることを特徴とする情報出力装置。