JP3834974B2 - マルチメディアデータ記録及び再生方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声や動画データと、コンピュータ上の処理を同期して記録及び再生する、マルチメディアデータの記録及び再生方法に関する。
【０００２】
【従来の技術】
従来、コンピュータ上でマルチメディアデータを扱うシステムとして、音声とともにユーザ操作等に伴う処理を記録し、記録した音声と処理とを同期して再生するシステムが知られている。例えば、コンピュータの画面上に医用画像を表示し、医師が行う画面上の画像に対する処理と、その間に発言した所見の内容を記録し、再生するシステムがある。記録した内容を別の医師に送り、受信側で再生することで、医師の画像の読影結果を伝えることができるシステムであり、1996年ＣＡＲ'９６コンピュータ アシステド ラジオロジー（Computer Assisted Radiology ）のｐｐ４１７−４２０などに報告されている。
【０００３】
このようなシステムの実現方法として、音声と処理を並列に記録，再生する方法がある。記録時には、音声は連続したデータとして記録し、処理はその処理を指示するコマンドとそのタイミングを記録していく。そして、再生時には、音声を再生しておいて、処理のタイミングに合わせてコマンドを実行させる。音声と処理の記録や再生を同時に開始することで、音声と処理を同期して記録，再生することができる。
【０００４】
【発明が解決しようとする課題】
上記従来例では、音声と処理の記録や再生を同時に始めることで、音声と処理のタイミングを同期させている。しかし、実際には、コンピュータの処理性能や、記録や再生を開始したり停止したりするタイミングによって、音声と処理の再生時間にずれが生じ、同期が崩れる場合がある。上記従来例では、このような場合について考慮されていなかった。
【０００５】
例えば、あるコンピュータで記録したマルチメディアデータを、処理速度の遅い別のコンピュータで再生した場合、音声は記録した時間通りに再生されても、処理はひとつひとつのコマンドに対する処理時間が長くなるため、時間通りには実行できなくなる。処理として画面上の注目位置を示すポインタを順次移動しながら、音声でその注目位置に関する説明をしているような場合、音声とポインタの示す場所が異なってしまうと、記録をした人の意志が、再生を見ている人に対して誤って伝わることになり、マルチメディアデータを意志疎通の手段として利用できないことになる。また、このような状態で、再生を一時停止し、再生を再開しても、音声と処理はずれたまま再生を始めることになり、再生を続けても最後まで音声とコマンドの間のずれは解消されないことになる。
【０００６】
本発明の目的は、音声や動画などのデータと、コマンド列のデータを用いたマルチメディアデータの記録，再生時に、同期のずれが生じないようにするとともに、ずれが生じた場合、このずれを修正することができる、マルチメディアデータの記録及び再生方法を提供することである。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明のマルチメディアデータ記録及び再生方法は、音声もしくは動画データの先頭からの経過時間と、コマンドデータの処理開始時間を一致させる時間調整ステップを有することを特徴としている。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図を用いて詳細に説明する。本実施例では、マルチメディアデータとして音声データとコマンドデータを用いた例について説明する。
【０００９】
まず、音声データの時間を基準に、マルチメディアデータの記録や再生を行う場合について説明する。
【００１０】
図１は、マルチメディアデータの再生を一時停止して再開する場合において、再生を一時停止するときに時間調整を行う方法の一実施例を示すフローチャートである。図中１−１は、再生開始を指示する処理の流れを示すフローチャートである。操作者により再生開始が入力されると、再生開始指示ステップ５により音声データとコマンドデータの再生を開始し、再生開始処理を終了する。
【００１１】
図中２−１は、再生停止を指示する処理の流れを示すフローチャートである。操作者の入力などにより再生の停止が入力されると、時間調整ステップ６−１によって音声データとコマンドデータの停止する時間を調整して再生を停止し、再生停止処理を終了する。
【００１２】
図中３−１は音声データを再生する処理の流れを示すフローチャートである。再生ステップ７により音声データの再生を行い、データが終了するか（図中８）、再生停止処理２−１から停止指示があった場合（図中９）には、再生を停止する。
【００１３】
図中４−１はコマンドデータを再生する処理の流れを示すフローチャートである。再生ステップ１０により、コマンドの処理開始時間になるとコマンドを実行し、データが終了するか（図中１１）、再生停止処理２−１から停止指示があった場合（図中１２）には再生を停止する。
【００１４】
図１９はコマンドデータの一例を示す図で、処理開始時間２０１と処理の内容を示すコマンド２０２の組み合わせである。再生ステップ１０は、処理開始時間２０１のｔ１と経過時間とを比較し、経過時間がｔ１以降になった場合、コマンド２０２のＣ１の処理を実行する。再生を開始すると、再生開始指示ステップ５は音声データ再生処理３−１とコマンドデータ再生処理４−１を呼び出し、それぞれのデータの再生を始める。音声データ再生処理３−１とコマンドデータ再生処理４−１はそれぞれのタイマに従って音声を再生、コマンドを実行していく。上記のような方法でマルチメディアデータを再生していると、音声データの時間とコマンドデータの時間の間にずれが生じることが考えられる。
【００１５】
図１２は、音声データとコマンドデータ再生中の時間の流れを示す図である。横軸は経過時間を示し、より右側に進むほど経過時間の値が大きい。ここでは、音声データ１２１の時間を基準にコマンドデータＣ１〜Ｃ５（１２２−１〜122 −５）が記録されている。また、以後、経過時間の値の大小を、時間が大きい、小さいと表現する。
【００１６】
マルチメディアデータの再生の開始後、コマンドＣ１（１２２−１）が記録されている時間になると、コマンドＣ１を実行する（１２５−１）。そして、コマンドＣ２（１２２−２）の時間になると、コマンドＣ２を実行する(１２５−２)。ここで、コマンドＣ２の実行（１２５−２）時間が記録時よりも長い場合、次のコマンドＣ３（１２２−３）の時間になってもコマンドＣ２が実行中のため、コマンドＣ３（１２２−３）を実行できない。このような場合、音声データの時間とコマンドデータの時間にずれが生じてしまう。このとき、もし時間１２４で停止しようとすると、音声データは時間１２４で停止しても、時間１２４に再生されているはずのコマンドＣ３（１２２−３）は再生されておらず、コマンドデータは、記録されたコマンドデータの時間１２３で停止することになる。すると、再生を再開した場合には、音声データは時間１２４，コマンドデータは時間 １２３から再生が始まり、音声データとコマンドデータとの時間のずれは解消されない。そこで、再生を一時停止するとき、時間調整ステップ６−１によって、音声データとコマンドデータの停止時間を一致させる。
【００１７】
このときの時間調整ステップ６−１の処理内容の一例を表すフローチャートを図２に示す。時間調整処理を開始すると（図中２１−１）、まず、音声データの再生を停止し（図中２２）、続いて音声データの停止した時間を取得する（図中２３）。そして音声データの停止した時間までコマンドデータを再生させ、次に処理するコマンドの処理開始時間が音声データの停止した時間よりも大きくなったら、コマンドデータの再生を停止する。
【００１８】
上記の方法を用いると、図１２の時間１２４で停止を指示した場合、まず、時間１２４で音声データの再生を停止し、次に、音声データの停止した時間１２４を取得する。そして、時間１２４までに実行しているはずのコマンドＣ３まで実行して（１２５−３）からコマンドデータの再生を停止する。次に再生するときには、時間１２４，１２６から再生を開始するので、次のコマンドＣ４（１２２−４）は、時間通り実行できる（１２５−４）。
【００１９】
上記のように、時間調整処理２１−１を用いることにより、コマンドデータが音声データの再生に比べて遅れていた場合でも、再生された音声の間に実行すべきコマンドを実行してからコマンドを停止して、音声データとコマンドデータの停止時間を一致させるので、次に再生を再開するときには、音声とコマンドの時間を一致でき、音声データとコマンドデータ間の同期のずれを解消することができる。
【００２０】
上記実施例では、再生を停止するときに時間調整ステップ６−１により、音声データとコマンドデータとの時間のずれを調整していたが、再生の再開時に時間のずれを調整する方法も可能である。
【００２１】
図３は、再生を一時停止し、再開するときに音声データとコマンドデータとの時間のずれを調整する処理の一例を示すフローチャートである。図中１−２は、再生開始処理を示すフローチャートで、再開時に音声データとコマンドデータに時間差がある場合、時間調整ステップ６−２により時間の調整をしてから再生を始める。図中２−２は、再生停止処理を示すフローチャートで、停止指示ステップ３１により、音声データ及びコマンドデータの再生を停止する。
【００２２】
図中３−２は音声データ再生処理、図中４−２はコマンドデータ再生処理で、図１の場合と同様に、データが終了するか、再生停止処理２−２から再生停止が指示されるまで再生を行う。マルチメディアデータを再生中に一時停止すると、再生停止処理２−２の停止指示ステップ３１により、音声データ及びコマンドデータの再生を停止する。そして、再生を再開するとき、再生開始処理１−２では、時間調整ステップ６−２により、再生を停止した時点での音声データとコマンドデータの同期のずれを調整し、コマンドデータの処理開始時間と音声データのタイミングが一致するように再生を開始する。
【００２３】
この場合の時間調整ステップ６−２の処理内容の一例を図４のフローチャートに示し、音声データ及びコマンドデータの再生中の様子を図１３及び図１４に示す。
【００２４】
図１３は、コマンドデータの再生が音声データに比べて遅れている場合で、マルチメディアデータ再生中にコマンドデータＣ２の実行が遅れているときに（図１３の１２５−２）、時間１３１で操作者により再生停止が入力されたとする。すると、音声データの停止時間は時間１３１であるが、コマンドデータは、コマンドＣ３（図１３の１２２−３）が未実行であるため、停止時間は時間１３２となる。そこで、再生を再開するとき、時間調整処理２１−２では、音声データの停止時間１３１の方がコマンドデータの停止時間１３２よりも大きいため(４１)、まず、時間１３３からコマンドデータの再生を再開する（４２）。そして、コマンドデータの再生が時間１３１になるのを待ち（４３）、時間１３１から音声データの再生を開始する（４４）。
【００２５】
また、図１４は、コマンドデータの再生が音声データに比べて進んでいる場合で、マルチメディアデータ再生中に、コマンドデータＣ３が、音声データ上の時間１２２−３になる前に実行されたときに（図１３の１２５−３）、時間１４１で操作者に再生停止を入力されたとする。すると、次に再生するときには、音声データは時間１４１から再生されるが、コマンドデータはコマンドＣ３（１２２−３）は時間１４１よりも後の時間であっても、既に実行済みであるために実行できない。そこで、再生を再開するとき、時間調整処理２１−２では、音声データの停止時間１４１の方がコマンドデータの停止時間１２２−３よりも小さいため（４１）、まず、時間１４１から音声データの再生を開始する（４５）。そして、時間が次のコマンドデータＣ４（１２２−４）の時間になるまで待ち(４６)、時間１４２からコマンドデータの再生を開始する（４７）。
【００２６】
上記のように、再生を途中で停止したとき音声データとコマンドデータの同期にずれが生じていても、再生を再開するときに時間を一致させるので、再開したマルチメディアデータの時間のずれを解消することができる。
【００２７】
上記実施例では、再生を停止するときに時間を調整する場合と再生を再開するときに時間を調整する方法について説明したが、この２つの方法を組み合わせて利用する方法もある。例えば、再生開始処理は図３の１−２を用い、再生停止処理は図１の２−１を用いる方法がある。このとき、再生停止処理の時間調整ステップ６−１には図２の２１−１の時間調整処理手順を用いて再生を停止し、再生開始処理の時間調整ステップ６−２には図４の２１−２の時間調整処理手順のうち、音声データの時間がコマンドデータの時間よりも小さい場合の手順（図４の４１，４５，４６，４７）を用いて再生を開始する。
【００２８】
上記方法により、音声データの時間を基準として、コマンドデータが遅れている場合には停止時に音声を再生した時間分のコマンドを実行することにより時間を一致させ、コマンドデータが進んでいる場合には再生の再開時に音声から再開して、コマンドはそのコマンドの処理開始時間になるまで待たせることにより時間を一致させる。以上の方法を用いることで、マルチメディアデータの再生を一時停止し、再開したときに、音声データの時間とコマンドデータの時間のずれを解消することができる。
【００２９】
次に、マルチメディアデータの記録を行う場合について説明する。
【００３０】
図５は、マルチメディアデータの記録を停止するときに、音声データを基準として音声データとコマンドデータ間の時間のずれを修正する方法の一例を示すフローチャートである。
【００３１】
図中５１−１は、マルチメディアデータの記録開始処理の流れを示すフローチャートで、操作者から記録の開始が入力されると、開始指示ステップ５５において音声データとコマンドデータの記録の開始を指示し、記録開始処理を終了する。
【００３２】
図中５２−１は、記録停止処理の流れの一例を示すフローチャートで、操作者から記録の停止が入力されると、時間調整ステップ６−３において音声データとコマンドデータ間の記録時間を一致するように、音声データとコマンドデータの記録の停止を指示し、記録停止処理を終了する。
【００３３】
図中５３−１は、音声データ記録処理の流れの一例を示すフローチャートで、記録開始指示により起動し、記録ステップ５６により音声データを記録する。そして、記録停止処理５２−１からの記録停止指示があるまで記録を行い（図中 ５７）、終了する。
【００３４】
図中５４−１は、コマンドデータ記録処理の流れの一例を示すフローチャートで、記録開始指示により起動し、記録ステップ５８によりコマンドとそのコマンドの処理開始時間を記録する。そして、記録停止処理５２−１からの記録停止指示があるまで記録を行い（図中５９）、終了する。操作者が記録開始を入力すると、記録開始処理５１−１を開始し、開始指示ステップ５５が、音声データ記録処理５３−１とコマンドデータ記録処理５４−１を起動して、音声データとコマンドデータの記録を始める。そして、操作者が記録停止を入力すると、時間調整ステップ６−３により音声データの時間とコマンドデータの時間のずれを解消し、音声データとコマンドデータの停止時間を一致させる。
【００３５】
この場合の時間調整ステップ６−３の処理の一例を図６のフローチャートに示し、音声データ及びコマンドデータの記録中の様子を図１５に示す。音声データ１５１−１の記録と共にコマンドＣ１，Ｃ２，Ｃ３（１５２−１〜１５２−３）を記録しているとき、時間１５３に操作者から記録停止が入力されたとする。時間調整処理２１−３では、まず時間１５３にコマンドデータの記録を停止し
（６１）、次に、時間１５４に音声データの記録を停止する（６２）。そして、音声データの停止した時間１５４を取得し（６３）、コマンドデータの記録停止時間を時間１５３から時間１５４に変更する（６４）。これにより、コマンドデータは、時間１５３から時間１５４に空白のデータ１５５を記録したのと同様になり、停止時間を一致できる。音声データの時間を基準として記録を行う場合、コマンドデータの存在する時間には必ず音声データが存在するようにしなければならない。
【００３６】
例えば、音声データの停止した時間以降の処理開始時間を持つコマンドデータが存在した状態で記録を再開すると、停止以前に記録されたコマンドと、停止以後に記録された音声とが同じ時間のデータとして記録され、音声データとコマンドデータに時間のずれが生じる恐れがある。しかし、本方法を用いることで、音声データとコマンドデータの時間を一致させて停止することができるため、音声データの存在しない時間にコマンドデータが存在することはなく、記録を再開したときの音声データとコマンドデータの時間を一致させることができる。
【００３７】
また、時間調整ステップ６−３の処理として、記録停止時にコマンドデータが実行中の場合、コマンドの実行完了を待ってから記録を停止する方法もある。図７はこの場合の時間調整ステップ６−３の処理の流れの一例を示すフローチャートである。
【００３８】
時間調整処理２１−４を開始すると、まず、コマンドデータの記録を停止する（７１）。そして、最後に記録したコマンドが実行中であるかを調べ、実行中である場合は実行が完了されるまで待つ（７２）。コマンドの実行が完了したら、音声データの記録を停止し（７３）、音声データの停止時間を取得する（７４）。
【００３９】
そして、コマンドデータの停止時間を音声データの停止時間に変更（７５）して、時間調整処理を終了する。コマンドデータを記録する場合、コマンドと共にその処理開始時間を記録する。しかし、コマンドデータの処理開始時間を記録した直後に記録を停止し、更に記録を再開してすぐに次のコマンドを記録した場合
、再生時のコマンドデータと音声データの同期が崩れる場合がある。これは、マルチメディアデータ再生時に、記録停止前に記録したコマンドを実行する時間が十分に得られず、次のコマンドの処理開始時間になっても次の処理コマンドは実行できないためである。
【００４０】
しかし、図７に示した時間調整処理２１−４を用い、記録停止時にコマンドが実行中の場合、実行完了を待ってから記録を停止することで、記録停止直前のコマンドの実行の時間を確保することができる。従って、再生時の時間のずれを防止することができる。また、上記実施例は、記録の停止時に時間調整を行っていたが、記録を停止後、再開するときに時間調整を行うこともできる。
【００４１】
図８は、記録開始時に時間調整を行う場合の処理の一例を示すフローチャートである。図中５１−２は、記録開始処理の流れを示すフローチャートで、操作者により記録開始が入力されると、時間調整ステップ６−４によって、音声データとコマンドデータの記録を開始する時間を一致させるようにして、音声データとコマンドデータの記録を開始し、終了する。
【００４２】
図中５２−２は記録停止ステップで、操作者により記録停止が入力されると、音声データとコマンドデータの記録を停止する指示をして、終了する。音声データ記録処理（図中５３−２）、コマンドデータ記録処理（図中５４−２）は、図５の５３−１，５４−１とそれぞれ同一の動作をする。記録を停止したときに音声データとコマンドデータの時間に違いのある状態で、記録を再開する場合、記録開始処理５１−２では、時間調整ステップ６−４において、時間の遅れている方のデータに空白のデータを記録することによって開始時間を一致させてから、音声データ記録処理５３−２，コマンドデータ記録処理５４−２を起動する。
【００４３】
このときの時間調整ステップ６−４の処理内容の一例を示すフローチャートを図９に示し、音声データ及びコマンドデータの記録中の様子の一例を図１６に示す。
【００４４】
音声データ１５１−１と共にコマンドデータＣ１，Ｃ２，Ｃ３（１５２−１〜１５２−３）を記録後、コマンドデータは時間１６１，音声データは時間１６２で停止したとする。ここで、記録を再開する場合、時間調整処理（２１−５）では、音声データの停止時間１６２の方がコマンドデータの停止時間１６１よりも大きいため（９１）、コマンドデータに時間１６１と時間１６２の差分の時間に１６３の空白を加える（９２）。そして、時間１６４から音声データとコマンドデータの記録を再開する（９３）。また、音声データの停止時間の方がコマンドデータの停止時間よりも小さい場合（９１）は、音声データの方に空白のデータとして無音状態を記録し（９４）、音声データとコマンドデータの記録を開始する（９５）。上記のように、記録開始時に時間が小さい方のデータに空白のデータを記録することで、音声データとコマンドデータの記録を開始する時間を一致させることができる。
【００４５】
これまでは、音声データを基準にマルチメディアデータを記録及び再生する方法の例について説明したが、コマンドデータを時間の基準として扱うこともできる。
【００４６】
この場合の処理の手順として、図１の再生方法を用いた場合の時間調整ステップ（図１の６−１）の処理内容の一例を示すフローチャートを図１０に示す。マルチメディアデータの再生中に、操作者から再生停止が入力されると、時間調整ステップ（図１の６−１）では、時間調整処理２１−６を開始する。時間調整処理２１−６では、まず、コマンドデータの再生を停止し（１０１）、コマンドデータの停止した時間を取得する（１０２）。そして、再生中の音声の現在の時間がコマンドデータの停止時間よりも大きい場合（１０３）、音声データの再生を即時停止して（１０４）、音声データの停止した時間をコマンドデータの停止時間に設定する（１０５）。
【００４７】
また、音声データの現在の時間がコマンドデータの停止時間よりも小さい場合（１０３）、音声データがコマンドデータの停止時間まで再生されるのを待ち （１０６）、音声データの再生を停止する（１０７）。
【００４８】
このように、停止時に音声データの停止時間をコマンドデータに合わせるので、コマンドデータを基準として、音声データの時間とコマンドデータの時間を一致させ、再生を再開することができる。
【００４９】
また、上記実施例では、コマンドデータを基準とした時間調整を再生の停止時に行っているが、再生を開始する時点で時間調整を行うようにすることもできる。
【００５０】
この場合の処理手順として、図３に示す再生方法を用いた場合の時間調整ステップ（図３の６−２）の処理内容の一例を図１１に示す。マルチメディアデータの再生を途中で停止し、再開する場合、再生開始処理（図３の１−２）の時間調整ステップ（図３の６−２）では、時間調整処理２１−７を開始する。時間調整処理２１−７では、停止している音声データの現在の時間と、コマンドデータの現在の時間を比較する（１１１）。そして、音声データの現在の時間がコマンドデータの時間よりも大きい場合、開始時間をコマンドデータの時間として音声データの時間をコマンドデータの停止時間まで戻す（１１２）。そして、音声データとコマンドデータの再生を開始する（１１３）。また、音声データの現在の時間がコマンドデータの時間よりも小さい場合、まず音声データの再生を開始し （１１４）、音声データがコマンドデータの停止時間まで再生されるのを待つ （１１５）。そして、音声データがコマンドデータの停止時間まで再生されたら、コマンドデータの再生を開始する（１１６）。
【００５１】
上記のように、コマンドデータを時間の基準とした場合、音声データの停止時間，開始時間を調整することで、２つのデータの時間を一致させることができる。コマンドデータは、一度実行してしまうと前に戻って再度同じ処理を行うことができない場合もあるが、音声データは、再生の開始点を自由に移動できるので、音声データの停止時間，開始時間を調整することで、音声データの時間とコマンドデータの時間を一致できる。
【００５２】
これまでは、音声データの時間，コマンドデータの時間を基準とした記録及び再生の方法について説明したが、あるタイマを基準として、音声データ及びコマンドデータの記録と再生をこのタイマに合わせて行うようにすることもできる。
【００５３】
図１７は、音声データとコマンドデータを基準となるタイマを用いて再生する場合の再生中のデータの様子の一例を示す。
【００５４】
タイマ１７１を基準に、音声データ，コマンドデータを再生中に、時間１７２に再生を停止しようとしたとき、音声データは既に時間１７３まで再生されており、コマンドデータは、Ｃ３（１２２−３）まで再生すべきところが、Ｃ２を実行中(１２５−２)であったとする。このとき、時間調整ステップでは、まず、音声データを停止して、停止時間を時間１７３から時間１７２に変更する。また、コマンドデータは、時間１７２の時点で再生済みのはずのコマンドＣ３（１２２−３）まで実行して（１２５−３）、再生を停止する。そして、再生を再開するときには、音声データ，コマンドデータとも同一の時間１７２から開始され、音声データとコマンドデータの時間が一致できる。
【００５５】
また、これまでの実施例では、操作者の入力により一時停止，再開をする場合について説明したが、時間の不一致を検出して、自動的に一時停止，再開をして音声データの時間とコマンドデータの時間を一致させるようにしてもよい。再生の途中で、音声データとコマンドデータの時間を監視し、どちらかが遅れた場合には、一時停止を行い、遅れている方のデータが停止した時間まで再生されたら、再生を再開することにより、再生時に、常に時間の一致を図ることができる。
【００５６】
本実施例では、マルチメディアデータの例として、音声データとコマンドデータを組み合わせた物を用いて説明したが、音声データの代わりに動画データを用いたマルチメディアデータでも、本方式を適用して動画データとコマンドデータの同期を図ることができる。さらに、音声データや動画データの代わりに、任意のタイミングから記録及び再生が可能な連続もしくは等間隔の時系列データであれば、本方法を適用できる。また、コマンドデータの代わりに、先頭もしくは以前の続きからのみ記録及び再生が可能な連続もしくは離散的な時系列データであれば、本方法を適用できる。
【００５７】
さらに、本実施例では音声データとコマンドデータの２つのデータを用いて説明したが、上記に説明したような２種類の時系列データを３つ以上組み合わせて記録及び再生する場合にも適用可能である。本発明のマルチメディアデータ記録及び再生方法を医療分野に応用したシステムの一例として、マルチメディアデータを送受して診療支援を行うシステムがある。
【００５８】
図１８は、マルチメディアデータを診療支援に用いるシステムの一例を示す図である。１８１はシステム本体で、パーソナルコンピュータやワークステーション等を用いる。１８２は、医療情報や動画等を表示するモニタである。システムは、コマンドデータを制御するコマンドデータ制御部１８３と、音声や動画データを制御する音声・動画データ制御部１８４と、コマンドデータ制御部と音声・動画データ制御部の２つを制御することによりマルチメディアデータを同期して記録及び再生するマルチメディアデータ制御部１８５からなる。
【００５９】
コマンドデータ制御部１８３は、記録時にはマウス１８６やキーボード１８７等の入力装置からの操作によって発生するコマンドを記録する。そして、再生時には、記録されたコマンドを再生して、画面上に医用画像１８８を表示し、医用画像１８８上で注目部位を指示するポインタ１８９を移動させたり、線１９０を表示したりする。
【００６０】
また、音声・動画データ制御部１８４は、記録時には、マイク１９１から入力される音声やカメラ１９２から入力される動画を記録する。そして、再生時には、スピーカ１９３に音声を出力し、モニタ１８２上に、動画１９４を表示する。
【００６１】
マルチメディアデータ制御部１８５は、モニタ１８２上に、記録や再生の入力をするコントロールパネル１９５を表示し、再生ボタン１９６，記録ボタン197 ，停止ボタン１９８などを操作者が操作すると、その指示に従って音声・動画データ制御部およびコマンドデータ制御部を制御し、マルチメディアデータの記録や再生を開始したり停止したりする。
【００６２】
本実施例では、マルチメディアデータ制御部１８５は、再生開始処理（１−１，１−２）、再生停止処理（２−１，２−２）、記録開始処理（５１−１，５１−２）、記録停止処理（５２−１，５２−２）を用いて実現する。また、コマンドデータ制御部１８３は、コマンドデータ再生処理（４−１，４−２）、コマンドデータ記録処理(５４−１，５４−２)を用い、音声・動画データ制御部１８４は、音声データ再生処理（３−１，３−２）、音声データ記録処理（５３−１，５３−２）を用いて実現する。
【００６３】
また、本実施例で使用されるコマンドは、例えば、特定の画像を表示する、画像上の注目部位を指示するポインタを表示，移動する、画像上に線や文字を表示する等の他、画像を拡大・縮小，画像の濃度階調の変更，フィルタリングなどの画像処理等がある。マルチメディアデータを医療分野で使用するためには、医療過誤を防止するために、音声や動画データとコマンドデータの同期を図ることが重要である。本方式は、医師が行った画像に対する処理を音声や動画を用いた画像に対する所見と共に記録し、マルチメディアデータとして他の医師に送信する。
【００６４】
そして、マルチメディアデータを受信した医師は、記録された音声や画像と同期して処理される画像を参照することができ、所見を作成した医師の診断内容を正確に理解することができる。本発明のマルチメディアデータ記録及び再生方法を用いることで、音声や動画データとコマンドデータとが同期して記録及び再生可能なシステムを実現できる。
【００６５】
また、上記実施例では、時間調整ステップはマルチメディアデータ制御部185 で動作する方法について説明しているが、コマンドデータの時間を調整する機能と音声・動画データの時間を調整する機能を分け、コマンドデータの時間の調整はコマンドデータ制御部１８３、声または動画データの時間を調整する機能は音声・動画データ制御部１８４で行うようにしてもよい。
【００６６】
これまでの実施例では、記録を一時停止して再開する場合、再生を一時停止して再開する場合について説明したが、再生を停止して記録を行ったり、記録を停止して再生をする場合などに適用してもよい。
【００６７】
例えば、一度記録されたマルチメディアデータの途中に新たなデータを挿入するような編集をする場合、マルチメディアデータの再生を一時停止してそこから記録を開始し、この記録を停止した後に再び続きのマルチメディアデータを再生するといった処理を行う。このとき、再生は図１及び図２に示した方法を用い、記録は図５及び図７に示した方法を用いることにより、記録及び再生は音声もしくは動画データの時間とコマンドデータの時間を一致して停止する。従って、再生停止後の記録開始時や記録停止後の再生開始時には音声データとコマンドデータの時間は一致しており、音声データとコマンドデータの同期を崩さずに編集をすることができる。
【００６８】
【発明の効果】
本発明によれば、マルチメディアデータの記録及び再生において、音声もしくは動画データの時間とコマンドデータの時間との間に時間差が生じた場合でも、記録や再生を停止もしくは再開するタイミングで、時間の一致を図ることができる。従って、マルチメディアデータの再生時に、記録時との処理速度の違いからコマンド実行時間が長くなり、音声や動画データの再生に比べてコマンドデータが遅れた状態で再生を一時停止しても、再生を再開したときには音声や動画データとコマンドデータの開始時間を一致でき、音声や動画データとコマンドデータを同期して再生することができる。
【００６９】
また、記録中に一時停止や再開を繰り返しても、停止時にコマンドの実行時間を確保するので、再生時の音声データとコマンドデータの同期のずれを防止することができる。
【００７０】
さらに、本方法をマルチメディアデータを用いた診療支援システムに用いることで、音声や動画データとコマンドデータの同期を図ることで医療過誤の発生を防止し、医師の診断内容を正確に伝えることができるシステムを実現できる。
【図面の簡単な説明】
【図１】本発明の一実施例の再生停止時に時間調整する方法の一例を示すフロー図。
【図２】図１の実施例の時間調整ステップの一例を表すフロー図。
【図３】本発明の一実施例の再生開始時に時間調整する方法の一例を示すフロー図。
【図４】図３の実施例の時間調整ステップの一例を示すフロー図。
【図５】本発明の一実施例の音声データを基準とした記録停止時の時間調整の一例を示すフロー図。
【図６】図５の実施例の時間調整ステップの一例を示すフロー図。
【図７】図５の実施例のコマンドの完了を待ってから記録を停止する場合の時間調整ステップの一例を示すフロー図
【図８】本発明の一実施例の記録開始時に時間調整する方法の一例を示すフロー図。
【図９】図８の実施例の時間調整ステップの一例を示すフロー図。
【図１０】コマンドデータを時間の基準とする実施例における、図１の再生方法を用いた時間調整ステップの一例を示すフロー図。
【図１１】コマンドデータを時間の基準とする実施例における、図３の再生方法を用いた時間調整ステップの一例を示すフロー図。
【図１２】図２の時間調整ステップを用いた場合のデータ再生の停止と再開のタイミング図。
【図１３】図４の時間調整ステップを用いた場合のデータ再生の停止と再開のタイミング図。
【図１４】図４の時間調整ステップを用いた場合のデータ再生の停止と再開のタイミング図。
【図１５】図６の時間調整ステップを用いた場合のデータ記録の停止と再開のタイミング図。
【図１６】図９の時間調整ステップを用いた場合のデータ記録の停止と再開のタイミング図。
【図１７】本発明の一実施例における音声データ及びコマンドデータの再生を停止，再開する場合のタイミング図。
【図１８】本発明の一実施例である、診療支援システムの構成例を示す説明図。
【図１９】コマンドデータの一例を示す説明図。
【符号の説明】
１−１〜１−２…再生開始処理、２−１〜２−２…再生停止処理、３−１〜３−２…音声データ再生処理、４−１〜４−２…コマンドデータ再生処理、６−１〜６−４…時間調整ステップ、２１−１〜２１−７…時間調整処理、１２１…再生時の音声データ、１２２−１〜１２２−５…コマンド処理開始時間、１２５−１〜１２５−５…コマンドの実行時間、１５１−１〜１５１−２…記録時の音声データ、１５２−１〜１５２−５…記録時のコマンド処理開始時間、１７１…タイマの時間、１８１…システム本体、１８２…モニタ、１８３…コマンドデータ制御部、１８４…音声・動画データ制御部、１８５…マルチメディアデータ制御部、１８６…マウス、１８７…キーボード、１８８…医用画像、１８９…ポインタ、１９０…線、１９１…マイク、１９２…カメラ、１９３…スピーカ、１９４…動画表示、１９５…コントロールパネル、１９６…再生ボタン、１９７…記録ボタン、１９８…停止ボタン、２０１…処理開始時間、２０２…コマンド。

Claims (1)

1. 音声データと、処理コマンドとその処理開始時間を組み合わせたコマンドデータを同期して再生するマルチメディアデータ再生方法において、
   前記コマンドデータは、表示した画像に対する処理内容と処理開始時間を組み合わせて記述したものであって、
   前記音声データの先頭からの経過時間と、前記コマンドデータの処理開始時間を一致させる時間調整ステップを有し、
   前記時間調整ステップは、再生を一時停止するとき、前記音声データの再生を停止して、前記音声データの停止した時間まで前記コマンドデータを再生させ、前記コマンドデータの中で次に処理するコマンドの処理開始時間が前記音声データの停止した時間より大きくなったら前記コマンドデータの再生を停止することを特徴とするマルチメディアデータ再生方法。

Images