JPH06208361A - マルチメディアの同期処理方式 - Google Patents

Abstract

(57)【要約】 【目的】 この発明は、マルチメディアの時間的同期関
係を一般的に表現できる方式を提供することを目的とす
るものである。 【構成】 マルチメディアをインプットメディア、アウ
トプットメディア及びコントロールメディアに分類し、
前記各メディアに含まれたメディア変数と表示変数に夫
々ブール代数を用いて処理し、前記各メディア間の時間
に依存した同期関係について、連続開始型又は同時開始
型に表示させたマルチメディアの同期方式。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、時間的な同期関係を
一般的に表現できる方法を提供することによりマルチメ
ディアアプリケーションを構成することを目的としたマ
ルチメディアの同期処理方式に関する。

【０００２】

【従来の技術】近年のコンピュータ技術の発展にともな
い、様々なメディア（ここでいうメディアとは、文字
（テキスト）、音声、静止画、動画などの、メッセージ
の物理的な表現形態を指す）がコンピュータ上で扱える
ようになった。

【０００３】最近では、複数のメディアを組み合わせる
ことにより、より効果的なアプリケーションを開発する
動きが盛んである。このような動きは一般にマルチメデ
ィアという言葉で代表され、データベース、コンピュー
タを用いたプレゼンテーション、教育（ＣＡＩ）、放
送、出版などの分野への応用を中心に、テレビ会議シス
テム、映像編集、マルチメディアプレゼンテーション、
ユーザインタフェースへの応用など、いままでにない新
たな情報処理形態を生む可能性がある。

【０００４】音声、動画、静止画、グラフィックス、テ
キストといった性質の異なるメディアをコンピュータを
介して１つに統合して扱う際に、いままでのような単一
のメディアを扱っていた際には発生しなかった要素が存
在する。それは、いくつかのメディアを組み合わせる場
合、どのメディアをいつ、どこに表示もしくは出力すべ
きかという情報であり、メディア間の同期の問題と呼ば
れるが、未だ一般的に表現できる方法は提案されていな
い。

【０００５】

【発明により解決すべき課題】前記メディア間の同期に
は、“いつ”というタイミングを示す時間的な同期関係
と、“どこに”というメディアの空間的な配置に関係す
るを示す空間的な同期関係の２種類がある。空間的な同
期関係は、静止画や動画など、人の目に知覚できるメデ
ィアに限られるが、時間的な同期関係は全てのメディア
に共通する普遍的な関係である。

【０００６】したがって、時間的な同期関係を一般的に
表現できる方法を提供することは、マルチメディアアプ
リケーションを構成する上で非常に有益であり、マルチ
メディアデータの交換においては必要不可欠である。

【０００７】時間的な同期関係（以後、単に同期関係と
呼ぶ）を表現する上で課題となることとして、 ● 考え得る全ての同期関係を表現できるか。

【０００８】● 特定のマシン・アーキテクチャに依存
しない方法であるか。

【０００９】● メディアの分類について。新たなメデ
ィアに対する対応が可能かどうか。

【００１０】● 音声や動画のような時間軸を持つメデ
ィアと、静止画やテキストのような時間軸を持たないメ
ディアをどのようにして同一に扱えばよいか。

【００１１】などが挙げられるが、さらに、ユーザ（ア
プリケーションの使用者）とのインタラクテェブな処理
が絡む場合には、 ● ユーザの多様な入力に対応できるか。

【００１２】● ユーザの入力をどのようにモデル化す
れば他のメディアと整合性をとることができるか。

【００１３】● ユーザの入力に関する同期関係が他の
メディア間の同期関係と同等に扱うことができるか。 といった問題点があり、更に十分条件としては次の点が
ある。即ち、メディア間の同期の処理アルゴリズムが複
雑であったり特殊なものであると受け入れ難い。したが
って、処理アルゴリズムが単純な方が望まれるなどの問
題点があった。

【００１４】

【課題を解決するための手段】然るにこの発明は、マル
チティメディアについてメディア変数と、表示変数に夫
々ブール代数を用いて処理し、各メディア間の時間に依
存した同期関係を改善したので、前記従来の問題点を解
決したのである。

【００１５】即ち、この発明は、マルチメディアをイン
プットメディア、アウトプットメディア及びコントロー
ルメディアに分類し、前記各メディアに含まれたメディ
ア変数と表示変数に夫々ブール代数を用いて処理し、前
記各メディア間の時間に依存した同期関係について、連
続開始型又は同時開始型に表示させることを特徴とした
マルチメディアの同期処理方式であり、マルチメディア
は、テキスト、静止画、音声、動画、アニメーションな
どとした請求項１記載のマルチメディアの同期処理方式
である。また他の発明は、表示変数は、メディア変数を
変数とする下記ブール代数式で表わされた請求項１記載
のマルチメディアの同期処理方式 Ｐｍ＝φ（Ｍｍ₁ 、Ｍｍ₂ …） であり、メディア変数は、表１の変化をするものとした
請求項１記載のマルチメディアの同期処理方式である。
次に他の発明は、連続開始型は、１つのメディア終了直
後に別のメディアが開始するようにした請求項１記載の
マルチメディアの同期処理方式であり、同時開始型は、
複数のメディアが同時に開始、終了する場合とした請求
項１記載のマルチメディアの同期処理方式である。

【００１６】全てのメディアをオブジェクト化し、各々
のオブジェクトに対してメディア変数、表示変数（処理
変数）という２つの値を導入することによって、性質の
異なるメディア要素（動画、音声、静止画、テキスト
等）やユーザによる入力を同等に扱うことができた。表
示変数は各メディアの各々のオブジェクトに固有の論理
式により定義される。この論理式の設定を変更すること
により、所望の同期関係を得ることができる。

【００１７】また、どんな複雑な同期関係も、基本的な
同期関係の組み合わせで構成されているので、ブール代
数学における様々な定理を利用し、それを組み合わせる
ことにより、さらに多様な同期表現が可能になるなど、
前記問題点を解決できた。また同期のための条件はすべ
て論理演算で行われるため、表示処理アルゴリズムは単
純であり、前記問題点を解決することができる。

【００１８】時間的な同期関係を一般的に表現すること
が可能となるため、メディア自体の表現とメデイア間の
同期関係とを分離することができる。したがって、この
発明に従ってマルチメディアデータを記述すれば、従来
では実現が不可能なマルチメディアデータの編集が可能
になり、新たなマルチメディアアプリケーションを生む
可能性がでてくる。

【００１９】メディア自体の表現とメディア間の同期関
係との分離により、この発明を採用したマルチメディア
アプリケーションはメディアの表示に専念することがで
き、時間的な同期については統一的な方法で処理でき
る。

【００２０】元来、マルチメディアは、インプット、ア
ウトプットおよびコントロールの３種類に分類できる。
インプットメディアは、マウスのクリックやキーボード
などユーザからの入力である。またアウトプットメディ
アは、時間的要素のあるメディアと、そうでないメディ
アとに分れる。時間的要素のあるメディアとは、例えば
動画や音声のように経時的に変化するメディアである。
また時間的要素のないメディアとは、例えば静止画やテ
キストのように、経時的に変化のないメディアである。
更にコントロールメディアとは、人に直接知覚できない
メディアであり、例えば継続時間のみをもつタイマーメ
ディアはこれに属する。各メディアには、メディア変数
と表示変数の２つが含まれているが、取扱い上次の４つ
の要素を用いれば、メディアを表現することができる。

【００２１】● メディア変数の名前 この名前はプレゼンテーション条件式の変数名として用
いる。

【００２２】● 初期値 メディア変数の初期状態の値、０又は１の値。

【００２３】● プレゼンテーション条件 どのようなときに呈示するかの条件式、論理式であらわ
される。

【００２４】● リセット条件 メディアを初期状態に戻すための条件。

【００２５】次にこの発明に用いる用語を説明する。

【００２６】表示価値（アウトプットにおけるメディア
変数の値）は、そのメディアを再生したとき呈示する価
値が有るときは１、無いときは０とする。すなわち、時
間要素があるメディアに関しては、そのメディアが表示
を始めてから継続時間τ経つと、値が１から０に変化す
る。時間要素がないメディアに関しては常に１の値をと
る。

【００２７】例えば、新しい６０分のビデオテープに１
０分間録画したとする。このビデオテープを再生する
と、１０分までは何かを見るに値する情報が存在し、録
画したものを見ることができる。しかし、１０分を過ぎ
ると何もデータが記録されていないので黒い画面にな
り、見るに値するものが何もない状態になる。従って、
このとき表示価値は０の状態に変化する。メディアの名
前を‘ｍ’とすると、表示価値の値をｍという文字変数
で現すことにする。

【００２８】表示（アウトプットにおける表示変数の
値）は、そのメディアを表示するときを１、しないとき
を０とする。表示変数Ｐ（ｍ）は、表示価値‘ｍ’とす
ると論理条件式で現される。

【００２９】アクション（インプットにおけるメディア
の変数の値）は、通常は、ユーザの入力があると０から
１に値が変化する。ユーザの入力の仕方に応じてどのよ
うな変化をするかは、その入力メディアの種類に依存す
る。アウトプットメディアの表示価値に対応する値であ
り、その名前を‘ｍ’とすると、ｍという文字変数によ
りその値を表す。

【００３０】入力（インプットにおける表示変数の値）
は、そのメディアが入力可能なときを１、不可能なとき
を０とする。入力可能な状態のときのみ、ユーザのイン
タラクションによってアクションが０から１に変わる。
インプットメディアの表示に対応する値であり、同様に
論理条件式で表される。

【００３１】前記をまとめると次のようになる。

【００３２】アウトプットの場合 Ｐｍ＝１（表示する） Ｐｍ＝０（表示しない）

【００３３】インプットの場合 Ｐｍ＝１（入力できる） Ｐｍ＝０（入力できない）

【００３４】コントロールの場合 Ｐｍ＝１（制御できる） Ｐｍ＝０（制御できない）

【００３５】次にメディア間の関係は次のようにまとめ
ることができる。

【００３６】連続開始型（sequential）とは、１つのメ
ディアが終了した直後に別のメディアが開始する場合を
いう。また同時開始型（synchronous ）とは、複数のメ
ディアが同時に開始・終了する場合をいう。

【００３７】前記各型のそれぞれの同期について、この
発明では次のように表現される。

【００３８】(1) 連続開始型 初期条件としてメディア変数ｍ１、ｍ２を１とする。プ
レゼンテーション条件を Ｐ（ｍ１）＝ｍ１ Ｐ（ｍ２）＝ｎｏｔ ｍ１ ａｎｄ ｍ２ と定める。このとき、はじめｍ１の値は１であるから、
Ｐ（ｍ１）＝１となり、メディア‘ｍ１’は表示を始め
る。一方、メディア‘ｍ２’の表示論理値Ｐ（ｍ２）は
０となるため、メディア‘ｍ２’は表示されない。時間
が経ち、メディア‘ｍ１’の表示期間が終了するとｍ１
の値は１から０に変わるため、Ｐ（ｍ１）＝０となり、
メディア‘ｍ１’は表示をやめる。一方、Ｐ（ｍ２）の
値は１となるので、メディア‘ｍ２’表示を開始する。

【００３９】(2) 同時開始型 初期条件はともに１である。この場合、２通りの条件式
が存在する。

【００４０】1. プレゼンテーション条件が Ｐ（ｍ１）＝ｍ１ ｏｒ ｍ２ Ｐ（ｍ２）＝ｍ２ ｏｒ ｍ１ のとき（ｍ１とｍ２の初期値はどちらも１とする）。

【００４１】表示理論値Ｐ（ｍ１）が１となり、（ｍ
２）も同時に１をとるので、‘ｍ１’と‘ｍ２’は同時
に表示を開始する。時間が経ち、両方の表示が終った段
階で両者の表示処理終了する。このタイプの同期では、
一方の表示処理が行われているときは必ず他方も表示処
理が行われている。

【００４２】表示価値（メディア変数の値）が０なのに
表示処理をする場合は、メディアによって異なる解釈が
与えられる。例えば、動画像なら最後のシーンを表示し
続ける処理が考えられる。

【００４３】2. プレゼンテーション条件が Ｐ（ｍ１）＝ｍ１ ａｎｄ ｍ２ Ｐ（ｍ２）＝ｍ２ ａｎｄ ｍ１ のとき（ｍ１とｍ２の初期値はどちらも１とする）。

【００４４】‘ｍ１’の表示が開始されると表示論理値
Ｐ（ｍ１）は１となり、Ｐ（ｍ２）も同時の１をとる。
したがって、同時に表示を開始する。

【００４５】しかし、他方の表示期間が終了し、メディ
ア変数（表意価値）が１から０に変化すると、両方の表
示論理値が０となり、同時に表示処理を終了する。

【００４６】また、ユーザ入力に起因した同期に関して
は次のようになる。

【００４７】例えば、入力メディアをマウスのクリック
と想定して説明する。即ち、マウスのクリックを行うた
めには、人の目に見える部分が必要である。これをボタ
ンと呼ぶこともある。ボタンの役割を果たすメディアと
してビットマップ図形を考え、このビットマップ図形を
アイコンと呼ぶ。

【００４８】ユーザの入力を受け付ける時期を、アイコ
ンがディスプレイ上に表示されることでユーザに認識さ
せ、入力不可能なときはディスプレイ上からアイコンが
消えるという方法でユーザとのインタラクションが行わ
れる。

【００４９】最初にアイコンが表示されていて、それを
クリックするとアイコンが消え、ビデオやナレーション
などが開始する場合について考える。

【００５０】ユーザからの入力がない場合、マウスのア
クションの値（メディア変数の値）は０であり、マウス
のクリックによりアクションの値は１に変化する。

【００５１】マウス入力をメディア‘ｍ１’、アイコン
（ビットマップ図形）をメディア‘ｍ２’とすると、次
のように表示条件式を設定することにより、この状況を
実現することができる。

【００５２】初期値は、 ｍ１＝０ ｍ２＝１ 条件式は、 Ｐ（ｍ１）＝ｎｏｔ ｍ１ Ｐ（ｍ２）＝（ｎｏｔ ｍ１）ａｎｄ ｍ２ ｍ１は最初、０であるため、Ｐ（ｍ１）の値は１とな
る。ユーザのアクションはないが入力は可能な状態であ
る。ｍ２は最初、１であるため、Ｐ（ｍ２）の値は１と
なる。したがって、アイコンが表示される。

【００５３】ユーザがマウスをクリックすると、アクシ
ョンの値ｍ１が０から１に変わる。Ｐ（ｍ１）は１から
０に変化し、メディア‘ｍ１’は入力不可能な状態とな
る。よって、マウスの機能が働かなくなり、ユーザの入
力が許されなくなる。それにともない、ｍ１の値が変化
によりＰ（ｍ２）の値は１から０に変わり、アイコンの
表示は行われなくなる。

【００５４】

【発明の効果】この発明によれば、同期関係を一般的に
表現できるので、基本的な同期関係の組み合せにより、
複雑な同期関係を表現することができる。また、この発
明の構成にブール代数を導入しているが、一般的演算の
みに使用している為、特定のマシン・アーキテクチャに
依存しない利点がある。

【００５５】次に、オブジェクトベースのメディアの分
離を採用したため、新たなメディアに対する対応が可能
である。またユーザの入力も１つのメディアとみなすこ
とにより、ユーザの入力は他のメディアと同一に扱うこ
とができる効果がある。

【００５６】更にメディアのオブジェクト化と、メディ
ア変数および表示変数を導入したので、音声や動画のよ
うな時間軸を持つメディア、静止画やテキストのような
時間軸を持たないメディア、さらにユーザとのインタラ
クションに関するメディアを同一に扱うことができる効
果がある。

【００５７】また、いつ、どのメディアが表示されるか
（人の知覚できる状態になるか）ということに関する処
理（メディア間の同期の処理は、各オブジェクトに定義
されている理論式をもとに論理演算を行えばよいので処
理アルゴリズムは単純であるなどの効果がある。

【００５８】

【実施例１】この発明におけるマルチメディアの流れ
は、図１のようになる。

【００５９】即ち、同期関係記述言語１を変換２して、
同期関係の表３を作る。一方、文字４、音声５、画像
６、動画７などのマルチメディアは、メディアコントロ
ーラ８により、前記同期関係の表３からの入力により、
ビデオプロセス９、オーディオプロセス１０、ピクチャ
ープロセス１１、及びテキストプロセス１２などのよう
に処理される。

【００６０】前記のようにして、マルチメディアを効率
よく処理すると共に、一般同期方式である為に、そのま
ま他のマルチメディアの処理に応用することができる。

【００６１】

【実施例２】マルチメディアの処理は、図２のようにな
る。

【００６２】即ち、マルチメディアオブジェクト１３の
アウトプット１４は、時間要素あり１５と、時間要素な
し１６に分岐し、時間要素ありは、動画１７と音声１８
に分岐し、時間要素なし１６は静止画１９、ビットマッ
プ２０、テキスト２１に分岐する。またインプット２２
はイベント種類２３から、キーボード２４と、マウス２
５に分岐され、コントロール２６は、タイマー２７に連
なる。前記は一例であるけれども、大凡前記のように処
理される。

【００６３】

【実施例３】同期についての実施例を図３、４、５につ
いて説明する。

【００６４】図３は逐次実行型の同期に関するものであ
る。

【００６５】即ち、メディアｍ１は、τｍ１の間に実行
され、τｍ１終了後メディアｍ２をτｍ２の間実行され
る。

【００６６】次に図４は、長い方に合せる同期開始型の
同期に関するものである。

【００６７】即ち、メディアｍ１は、メディアｍ２に合
せて、Ｐｍ１、Ｐｍ２と同一時間だけ実行される。

【００６８】また、図５は短い方に合せる同時開始型の
実行である。

【００６９】即ち、メディアｍ１と、メディアｍ２と
は、Ｐｍ１とＰｍ２のように同時に開始し、同時に終了
する。従ってメディアｍ２は、中途で中止しても支障の
ない場合に用いる。

【００７０】

【実施例４】インプットメディアとの同期は図６に基づ
いて説明する。

【００７１】メディアｍに関し、Ｍｍがあった場合に、
インプットメディアｉがある時には、メディアｍのＰｍ
は、ユーザーインプットの開始時間から、Ｍｍの終了ま
でτｍの間同期される。

【００７２】

【実施例５】次に、ＴＤＭ（時間依存のメディア）とＴ
ＩＭ（時間依存でないメディア）の同期について図７に
より説明する。

【００７３】即ち、ＴＩＭｍｉとＴＤＭｍｄに同期させ
られる。従ってＰｍｉとＰｍｄが１のときｍｉとｍｄが
表される。

【００７４】前記におけるＴＤＭの場合（アウトプッ
ト、コントロール）には、図８のようにメディアは１で
開始し、τｍ時間後０になる。

【００７５】またＴＩＭの場合（アウトプット）は、図
９のようにメディアｍは１でタイムｔまで連続する。

【００７６】次に入力メディアの場合（インプット）
は、ユーザの入力（マウスのクリック）があった時に１
となり、タイムｔまで連続する。

【００７７】

【実施例６】図１１は、試験的システム構成であって、
レザーディスク２８からビデオ信号２９を介してビデオ
ボード３０へ入力し、ワークステーション３１で対応し
た表示がされてる。図中３２はイーザーネットである。

【図面の簡単な説明】

【図１】この発明における処理の流れのブロック図。

【図２】同じくマルチメディアオブジェクトのブロック
図。

【図３】同じく逐次実行型の同期図。

【図４】同じく同時実行型（長い方に合せる）の同期
図。

【図５】同じく同時実行型（短い方に合せる）の同期
図。

【図６】同じくインプットメディアとの同期図。

【図７】同じくＴＤＭとＴＩＭの同期図。

【図８】同じくＴＤＭのメディア変数図。

【図９】同じくＴＩＭのメディア変数図。

【図１０】同じく入力メディアの場合のメディア変数
図。

【図１１】システム構成の図。

【符号の説明】

１ 同期関係記述言語 ２ 変換 ３ 同期関係の表 ４ 文字 ５ 音声 ６ 画像 ７ 動画 ８ メディアコントローラ ９ ビデオプロセス １０ オーディオプロセス １１ ピクチャープロセス １２ テキストプロセス １３ マルチメディアオブジェクト １４ アウトプット １５ 時間要素あり １６ 時間要素なし １７ 動画 １８ 音声 １９ 静止画 ２０ ビットマップ ２１ テキスト ２２ インプット ２３ イベント種類 ２４ キーボード ２５ マウス ２６ コントロール ２７ タイマー

Claims (6)

【特許請求の範囲】
1. 【請求項１】 マルチメディアをインプットメディア、
   アウトプットメディア及びコントロールメディアに分類
   し、前記各メディアに含まれたメディア変数と表示変数
   に夫々ブール代数を用いて処理し、前記各メディア間の
   時間に依存した同期関係について、連続開始型又は同時
   開始型に表示させることを特徴としたマルチメディアの
   同期処理方式。
2. 【請求項２】 マルチメディアは、テキスト、静止画、
   音声、動画、アニメーションなどとした請求項１記載の
   マルチメディアの同期処理方式。
3. 【請求項３】 表示変数は、メディア変数を変数とする
   下記ブール代数式で表わされた請求項１記載のマルチメ
   ディアの同期処理方式。 Ｐｍ＝φ（Ｍｍ₁ 、Ｍｍ₂ …）
4. 【請求項４】 メディア変数は、表１の変化をするもの
   とした請求項１記載のマルチメディアの同期処理方式。 【表１】
5. 【請求項５】 連続開始型は、１つのメディア終了直後
   に別のメディアが開始するようにした請求項１記載のマ
   ルチメディアの同期処理方式。
6. 【請求項６】 同時開始型は、複数のメディアが同時に
   開始、終了する場合とした請求項１記載のマルチメディ
   アの同期処理方式。