JP4205187B2 - 対話型マルチメディア文書のスタティックおよびダイナミック構成要素の提示を同期させる方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、対話型マルチメディア文書の提示システムにおいて、このような文書のダイナミック特性を有する構成要素とスタティック特性を有する構成要素との提示を同期させるための方法に関する。
【０００２】
本発明は特に、外科手術の記録又はアクションの対話型文書ベースを構成し、かつ使用するために病院環境で用いられる対話型マルチメディア文書の提示システムに関する。
【０００３】
【従来の技術】
マルチメディアは、動画ビデオシーケンス、音声、文字、グラフィック画像、静止ビデオ画像などのさまざまな性質の情報を利用する。
【０００４】
時間的な観点から、これらの各種情報は次の二つのカテゴリーに分類することができる。
【０００５】
−本来、提示が表示時間に関連するいわゆるダイナミック特性を有する情報。これは動画ビデオや音声の場合である。これらの情報は、一般に物理的な媒体（ビデオサーバ、オーディオサーバ、ビデオディスク、磁気テープなど）に符号化された時間基準または「タイムコード」とともに蓄積される。たとえばビデオディスクに動画ビデオを録画する場合、画像番号（欧州ビデオ規格では毎秒２５枚の画像）を、画像を構成する各々の静止画像と一緒に蓄積する。
【０００６】
−提示が基本的に表示時間に関連しないいわゆるスタティック特性を有する情報。これは文字や、グラフィック画像、あるいは静止ビデオの場合である。これらの情報は時間基準が関与せずに物理的な媒体に蓄積される。
【０００７】
マルチメディア文書では、スタティック特性を有する一定の情報は、ダイナミック特性を有する他の一定情報と同時に提示することができる。マルチメディア文書が対話型であるとき、すなわちユーザが文書の提示速度を変えることができる場合、問題は、特にユーザがマルチメディア文書の提示速度を変える場合に、こうしたさまざまな構成要素の提示を連携可能にすることである。
【０００８】
将来のＭＨＥＧ（Multimedia and Hypermedia Expert Group - ISO/IEC DIS 13522-1）規格によれば、対話型マルチメディア文書の提示システムにおいてマルチメディア文書は、オブジェクト指向モデルに従って示されなければならない。
【０００９】
【発明が解決しようとする課題】
本発明の目的は、将来のＭＨＥＧ規格に適応した方法を提案することにあり、対話型マルチメディア文書の提示システム内で、このような文書のダイナミック特性を有する構成要素とスタティック特性を有する構成要素との提示を同期させることにより、ユーザがマルチメディア文書の提示速度を変えるために提示システムと対話する場合、これらのダイナミックおよびスタティック特性を有する構成要素の時間的な挙動を調整するものである。
【００１０】
本発明のもう一つの目的は、オブジェクトプログラミングとしての実行が簡単な上記のような方法を提案することにある。
【００１１】
【発明を解決するための手段】
このため本発明は、対話型マルチメディア文書の提示システム内で、このような文書のダイナミック特性を有する構成要素とスタティック特性を有する構成要素との提示を同期するための方法を目的とし、この方法は
−対話型マルチメディア文書の提示システム内で、文書とそのダイナミックおよびスタティック構成要素とをオブジェクト指向モデルに従って表現することにより、対話型マルチメディア文書をルートマルチメディアオブジェクトと呼ばれる第一オブジェクトとして決定し、この文書のダイナミック特性を有する各構成要素をダイナミックモノメディアオブジェクトと呼ばれる第二オブジェクトとして、またこの文書のスタティック特性を有する各構成要素をスタティックモノメディアオブジェクトと呼ばれる第三オブジェクトとして決定する段階と、
−ルートマルチメディアオブジェクト内および各々のダイナミックまたはスタティックモノメディアオブジェクト内に、マルチメディア文書の一定提示速度に対する論理時間基準における文書の提示時刻に関する第一同期データを供給し、この論理時間基準が、文書のダイナミック特性を有する構成要素の記録媒体によって供給される符号化された時間基準から派生する段階と、
−ルートマルチメディアオブジェクト内と各々のスタティックモノメディアオブジェクト内に、論理時間基準における文書の提示速度変化時刻に関する第二同期データを供給する段階と、
−ルートマルチメディアオブジェクト内と各々のスタティックモノメディアオブジェクト内に、クロックによって供給される物理的な時間基準における文書の提示時刻に関する第三同期データを供給する段階と、
−ルートマルチメディアオブジェクト内と各々のスタティックモノメディアオブジェクト内に、物理的な時間基準における文書の提示速度変化時刻に関する第四同期データを供給する段階と、
−各々のダイナミックモノメディアオブジェクト内に、符号化された時間基準における文書の提示時刻に関する第五同期データを供給する段階と、
−マルチメディア文書の各々の提示速度変化におけるこれらのさまざまな同期データを処理することにより、文書のダイナミック特性を有する構成要素とスタティック特性を有する構成要素との提示を連携する段階と、
を有することを特徴とする。
【００１２】
本発明による方法の実施形態を、添付図面を参照して以下に詳しく説明する。
【００１３】
【発明の実施の形態】
図１は、対話型マルチメディア文書の提示システムを概略的に示したもので、従来と同様に中央処理装置１を含んでおり、中央処理装置１は、表示情報（動画または静止ビデオ画像、文字、図表など）を再生可能なディスプレイスクリーン２と、音声情報を再生可能なスピーカ３とに接続される。
【００１４】
本発明の範囲においてマルチメディア文書は、同時に提示することが可能なダイナミック特性を有する情報とスタティック特性を有する情報とを含む。ダイナミック特性を有する表示または音声情報は、符号化された時間基準とともに記録媒体、本実施形態ではビデオディスク４に蓄積され、一方、静止画像あるいは文字のようなスタティック特性を有する情報は、符号化された時間基準なしに別の媒体たとえば中央処理装置１のメモリ内に、あるいは他の同様の媒体５に蓄積される。
【００１５】
中央処理装置１はまた制御キーボード６に接続され、システムのユーザが、次のような一連のファンクションキーを介してマルチメディア文書の提示の展開に作用できるようにする。
【００１６】
−毎秒２５枚の画像速度の通常再生および通常巻き戻しキー６１，６２
−毎秒２５枚未満の画像速度のスロー再生およびスロー巻き戻しキー６３，６４
−毎秒２５枚以上の画像速度の高速早送りおよび高速巻き戻しキー６５，６６
−提示の停止キー６７（一時停止キー）
将来の「ＭＨＥＧ」規格による対話型マルチメディア文書の提示システムは、マルチメディア文書の構造を記述するためのオブジェクト指向法とマルチメディアソフトウェアエンジンとに基づく。マルチメディアソフトウェアエンジンは、このようなオブジェクト表現から、各々の蓄積媒体で文書の各種の構成要素を回収すると共に周辺装置２，３を介してシステムのユーザに各構成要素を提示する役割をする。
【００１７】
図２は、本発明による方法の範囲において、マルチメディア文書が提示システム１内でオブジェクト指向モデルに従って示されており、マルチメディア文書をルートマルチメディアオブジェクトＣＯと呼ばれる第一オブジェクトとして決定し、文書のダイナミック特性を有する構成要素の各々をダイナミックモノメディアオブジェクトと呼ばれる第二オブジェクトＯＤとして決定し、文書のスタティック特性を有する構成要素の各々をスタティックモノメディアオブジェクトと呼ばれる第三オブジェクトＯＳとして決定する。
【００１８】
図２において、例として取り上げられ、オブジェクト指向モデルに従って図示されたマルチメディア文書は比較的単純であるが、これはこの文書が、たとえば音声映像シーケンスなどのオブジェクトＯＤに対応するダイナミック特性を有する構成要素を１個と、たとえば文字などのオブジェクトＯＳに対応するスタティック特性を有する構成要素を１個しか有するていないからである。本発明は勿論、ダイナミックまたはスタティック特性を有する複数の構成要素を含むこれよりもずっと複雑な対話型マルチメディア文書に適用される。
【００１９】
図３は、例として挙げられたマルチメディア文書の展開を単位が秒の時間軸で示す。この図では、マルチメディア文書の提示が時間軸の原点０から始まり、たとえば１２０秒の一定時間後に終了する。音声映像シーケンスＡＶＳの提示は、たとえば時間ｔが１０秒のときに始まり、時間ｔが１００秒のときに終了する。本文ＴＥＸＴの提示は、時間ｔが２０秒の時に始まり、時間ｔが８０秒の時に終了する。音声映像シーケンスＡＶＳは、図１のシステムのビデオディスク４に蓄積されるものとする。音声映像シーケンスは番号７０００を有する第一画像で始まり、番号９２５０を有する画像で終わる。こうした音声映像シーケンスの持続時間は従って２２５０枚の画像すなわち毎秒２５枚の画像の割合で９０秒である。ＡＶＳシーケンスの記録媒体から供給されるこれらの画像番号は、符号化時間基準を決定する。
【００２０】
図４は、マルチメディアオブジェクトおよび各々のモノメディアオブジェクトのレベルで、オブジェクトの属性にそれぞれが対応する一連の同期データを供給する。本発明の基本概念は、これらの同期データを介して、ルートマルチメディアオブジェクトおよびスタティックまたはダイナミックモノメディアオブジェクトに共通な論理時間基準を決定することにより、マルチメディア文書の提示速度を変える場合にダイナミック特性を有する情報とスタティック特性を有する情報の提示を連携可能にすることにある。
【００２１】
この図では特に、オブジェクトＣＯとオブジェクトＯＤおよびＯＳとが共通同期データＴｌ，Ｔｌｂ，ＴｌｅおよびＶｉを有することがわかる。
【００２２】
Ｔｌは、論理基準における現在の提示時刻に関する。即ち、オブジェクトＣＯに対してはマルチメディア文書の現在の提示時刻であり、オブジェクトＯＤに対してはＡＶＳ構成要素の現在の提示時刻であり、オブジェクトＯＳに対してはＴＥＸＴ構成要素の現在の提示時刻である。
【００２３】
Ｔｌｂは、論理基準における提示開始時刻に関する。即ち、オブジェクトＣＯに対してはマルチメディア文書の提示開始時刻であり、オブジェクトＯＤに対してはＡＶＳ構成要素の提示開始時刻であり、オブジェクトＯＳに対してはＴＥＸＴ構成要素の提示開始時刻である。
【００２４】
Ｔｌｅは、論理基準における提示終了時刻に関する。即ち、オブジェクトＣＯに対してはマルチメディア文書の提示終了時刻であり、オブジェクトＯＤに対してはＡＶＳ構成要素の提示終了時刻であり、オブジェクトＯＳに対してはＴＥＸＴ構成要素の提示終了時刻である。
【００２５】
Ｖｉは、論理基準における現在の提示速度に関する。即ち、オブジェクトＣＯに対してはマルチメディア文書の現在の提示速度であり、オブジェクトＯＤに対してはＡＶＳ構成要素の現在の提示速度であり、オブジェクトＯＳに対してはＴＥＸＴ構成要素の現在の提示速度に関する（通常は毎秒２５枚の画像）。
【００２６】
図３の例では、Ｔｌｂ（ＣＯ）は０であり、Ｔｌｅ（ＣＯ）は１２０である。次いでＴｌｂ（ＯＳ）は２０であり、Ｔｌｅ（ＯＳ）は８０である。最後にＴｌｂ（ＯＤ）は１０であり、Ｔｌｅ（ＯＤ）は１００である。これらの同期データは、マルチメディア文書を提示する間、一定である。
【００２７】
さらにマルチメディアオブジェクトＣＯとスタティックオブジェクトＯＳとは、論理時間基準における提示速度変化時刻に関する第二同期データＴｌｉと、物理的な時間基準と呼ばれる別の時間基準における現在の提示時刻に関する第三同期データＴｐとを有する。これは、オブジェクトＣＯに対してはマルチメディア文書の提示時刻であり、オブジェクトＯＳに対してはＴＥＸＴ構成要素の提示時刻である。また、物理的な時間基準における提示速度変化時刻に関する第四同期データＴｐｉも有している。これは、オブジェクトＣＯに対してはマルチメディア文書の提示速度変化時刻であり、オブジェクトＯＳに対してはＴＥＸＴ構成要素の提示速度変化時刻である。
【００２８】
こうした物理的な時間基準は、図１に示されたクロック７から供給される。これは中央処理装置１の内部クロックである。
【００２９】
またオブジェクトＯＤは、符号化された時間基準におけるダイナミック特性ＡＶＳを有する構成要素の提示時刻に関する第五同期データＴｔ，Ｔｔｂ，Ｔｔｅを有する。
【００３０】
Ｔｔは、この符号化時間基準におけるＡＶＳ構成要素の現在の提示時刻に関する。
【００３１】
Ｔｔｂは、この符号化時間基準におけるＡＶＳ構成要素の提示開始時刻に関する。
【００３２】
Ｔｔｅは、この符号化時間基準におけるＡＶＳ構成要素の提示開始時刻に関する。
【００３３】
例として挙げられるＡＶＳシーケンスでは、Ｔｔｂ（ＯＤ）は７０００であり、Ｔｔｅ（ＯＤ）は９２５０である。これらの同期データは、文書を提示する間、一定である。
【００３４】
図５は、論理時間基準におけるオブジェクトＣＯ、ＯＤ、ＯＳの表現を示す。オブジェクトＣＯは論理時間ｔ＝０で開始し、論理時間ｔ＝１２０で停止し、オブジェクトＯＤは論理時間ｔ＝１０で開始し、論理時間ｔ＝１００で停止し、オブジェクトＯＳは論理時間ｔ＝２０で開始し、論理時間ｔ＝８０で停止することがわかる。ここで理解しなければならないのは、ダイナミックモノメディアオブジェクトの開始または停止が実際には音声映像シーケンスの提示の開始および停止に対応することである。スタティックモノメディアオブジェクトの開始と停止は、スクリーンへの文字の表示開始および文字の消去に対応する。
【００３５】
提示速度を変える場合でも、これらの開始および停止位相を連携させるためには、一つまたは複数のスタティックモノメディアオブジェクトＯＳの時間的な挙動を、一つまたは複数のダイナミックモノメディアオブジェクトＯＤの時間的な挙動に適合させなければならない。
【００３６】
したがって、ファンクションキー６１〜６７を介してユーザからマルチメディア文書の提示速度の変更が求められる場合、さまざまな構成要素の提示レベルで一貫性を保つように同期データ処理が行われる。
【００３７】
たとえば図５で、論理時刻Ｔ１が２０〜８０秒の間にいる場合、すなわち音声映像シーケンスＡＶＳおよび文字ＴＥＸＴが一定速度で提示中であって、ユーザがこの提示速度を変えるキーの一つ（たとえばキー６３）を選択すると、マルチメディアエンジンは図６のフローチャートに示された処理を実行する。
【００３８】
提示速度を速度Ｖに変更する事象が処理されると、第一処理６１がオブジェクトＣＯの属性に対して実行され、現在の論理時間値ＴＩ（ＣＯ）を供給するオブジェクトメソッドGetTemporalTime()を介してＴｌｉ（ＣＯ）を更新し、クロック７およびＶｉ（ＣＯ）によって与えられる現在時刻を供給するオブジェクトメソッドGetPhysicalTime()を介してＴｐｉ（ＣＯ）を更新する。
【００３９】
第二処理はオブジェクトＯＳの属性に対して実行され、現在の論理時間値ＴＩ（ＯＳ）を供給するオブジェクト指向メソッドGetTemporalTime()を介してＴｌｉ（ＯＳ）を更新し、クロック７およびＶｉ（ＯＳ）によって与えられる現在時刻を供給するオブジェクトメソッドGetPhysicalTime()を介してＴｐｉ（ＯＳ）を更新する。
【００４０】
オブジェクトＣＯおよびＯＳに対して、メソッドGetTemporalPosition()は、次の式に従い、論理時間位置の値を戻す。
【００４１】
Ｔｌ＝Ｔｌｉ＋（Ｔｐ−Ｔｐｉ）．ｘＶｉ／ＶＮ
ここでＶｉは、最終の速度変化時の提示速度値であり、Ｖｎは、通常の提示速度値である（欧州ビデオ規格では毎秒２５枚の画像）。オブジェクトＣＯまたはＯＳの現在の新しい論理時間位置は、最終の速度変化の時点で処理されるオブジェクトの論理的な時間位置に、最終の速度変化の時点で処理されるオブジェクトの物理的時間位置と、クロックによって与えられる現在の物理的な時間位置との間の時間間隔を加えたものに等しく、この時間間隔は、これらの二つの物理的な時刻の間の速度変化を許容する乗算係数（Ｖｉ／ＶＮ）によってさらに修正される。
【００４２】
第三処理６３は、オブジェクトＯＤの属性に対して実行され、Ｖｉ（ＯＤ）を更新し、媒体４の読み取り器の読み取り速度変化を制御するルーチンを開始する。
【００４３】
オブジェクトＯＤに対して、メソッドGetTemporalPosition()は、次の式に従い値を戻す。
【００４４】
Ｔｌ＝Ｔｔ−Ｔｔｂ＋Ｔｌｂ
ここで、時間コードは既に速度変化を組み込んでいるので、オブジェクトＯＤについては、論理時間は時間コードから派生する。
【００４５】
スタティックオブジェクトに対する論理時間とダイナミックオブジェクトに対する論理時間とをそれぞれ決定する上記の二つの式によって、Ｔｌ（ＣＯ）＝Ｔｌ（ＯＳ）＝Ｔｌ（ＯＤ）とすることにより、マルチメディア文書のスタティック特性を有する構成要素とダイナミック特性を有する構成要素の提示を連携（または同期）させることが可能である。
【００４６】
メソッドGetTemporalPosition()を介したオブジェクトの論理時間を後で読みとるごとに、システムのユーザによって変更が求められる場合でもマルチメディア文書の現在の提示速度に応じて論理時間Ｔｌが再生される。
【００４７】
オブジェクトＯＤに対しては、現在の時間コードの値Ｔｔもまたオブジェクトメソッドを介して再生されることに留意されたい。
【００４８】
上記の種々のオブジェクトメソッドはマルチメディアソフトエンジンの一部をなし、オブジェクトＣＯ、ＯＤ、ＯＳ内で実行することができる。
【図面の簡単な説明】
【図１】本発明による方法を実施するためのマルチメディア文書の提示システムを示す概略図である。
【図２】スタティック特性を有する構成要素とダイナミック特性を有する構成要素とを有するマルチメディア文書の簡単な例に基づく、システム内の文書のオブジェクトを示す図である。
【図３】図２の文書の展開を示す図である。
【図４】オブジェクト内に提示される同期データを示す図である。
【図５】図４のオブジェクトを論理時間基準において示す図である。
【図６】同期データに適用される処理のフローチャートである。
【符号の説明】
１ 中央処理装置
２ ディスプレイスクリーン
３ スピーカ
４ 記録媒体
５ 媒体
６ 制御キーボード
７ クロック
ＣＯ、ＯＳ、ＯＤ オブジェクト
Ｔ 同期データ

Claims (1)

1. 対話型マルチメディア文書の提示システムで、このような文書のダイナミックな性質の情報とスタティックな性質の情報の提示を同期させる方法であって、
   対話型マルチメディア文書の提示システム内で、前記文書とそのダイナミックなおよびスタティックな情報とをオブジェクト指向モデルに従って表現することにより、対話型マルチメディア文書をルートマルチメディアオブジェクト（ＣＯ）として、この文書のダイナミックな性質の各情報をダイナミックモノメディアオブジェクト（ＯＤ）として、またこの文書のスタティックな性質の各情報をスタティックモノメディアオブジェクト（ＯＳ）として規定する段階と、
   前記ルートマルチメディアオブジェクト内および各々のダイナミックまたはスタティックモノメディアオブジェクト内に、前記マルチメディア文書の通常の提示速度（ＶＮ）に対する論理的な時間基準フレームにおいて前記文書が提示される時点に関する第一同期データ（Ｔｌ，Ｔｌｅ，Ｔｌｂ）を供給する段階であって、この論理的な時間基準フレームは、前記文書のダイナミックな性質の情報の記録媒体（４）によって供給される符号化された時間基準フレームから得られる、第一同期データを供給する段階と、
   前記ルートマルチメディアオブジェクト内および各々のスタティックモノメディアオブジェクト内に、前記論理的な時間基準フレーム内で前記文書の提示速度が変化する時点に関する第二同期データ（Ｔｌｉ）を供給する段階と、
   前記ルートマルチメディアオブジェクト内および各々のスタティックモノメディアオブジェクト内に、クロック（７）によって供給される物理的な時間基準フレームにおいて前記文書が提示される時点に関する第三同期データ（Ｔｐ）を供給する段階と、
   前記ルートマルチメディアオブジェクト内および各々のスタティックモノメディアオブジェクト内に、前記物理的な時間基準フレーム内で文書の提示速度が変化する時点に関する第四同期データ（Ｔｐｉ）を供給する段階と、
   各々のダイナミックモノメディアオブジェクト内に、前記符号化された時間基準フレームにおいて前記文書が提示される時点に関する第五同期データ（Ｔｔ、Ｔｔｂ、Ｔｔｅ）を供給する段階と、
   前記文書の前記ダイナミックな性質の情報および前記スタティックな情報の提示を連携させるように、前記マルチメディア文書の提示速度が変化するたびに、
   前記文書の前記ダイナミックな性質の情報の論理時間を、前記第五同期データとし、
   前記文書の前記スタティックな性質の情報の論理時間を、前記第三同期データ（Ｔｐ）から前記第四同期データ（Ｔｐｉ）を減算して得た差に、前記文書の前記変化後の提示速度を前記通常の提示速度（ＶＮ）で除算して得た商を乗算し、この前記差と前記商の乗算結果を前記第二同期データ（Ｔｌｉ）に加算して決定するように、前記第二同期データから第五同期データを処理する段階と、
   を有することを特徴とする方法。

Images