JP3548900B2 - マルチメディア情報処理装置 - Google Patents
マルチメディア情報処理装置 Download PDFInfo
- Publication number
- JP3548900B2 JP3548900B2 JP04048395A JP4048395A JP3548900B2 JP 3548900 B2 JP3548900 B2 JP 3548900B2 JP 04048395 A JP04048395 A JP 04048395A JP 4048395 A JP4048395 A JP 4048395A JP 3548900 B2 JP3548900 B2 JP 3548900B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- type
- media
- point
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、音声，動画，静止画，テキスト，手書き文字，グラフィックス等の複数種のメディアで情報を複合的に記憶し、また記憶情報をメディア別に再生するマルチメディア情報処理装置に関する。
【０００２】
【従来の技術】
上述のようなマルチメディア情報処理装置では、例えば講演会の情報を記憶する場合、音声情報単独では講演者の表情，会場の雰囲気などを再現することは難しいが、音声に加えて、講演者をビデオカメラで撮影した画像，講演者がオーバーヘッドプロジェクタ（以下、ＯＨＰ と略記する）を用いて提示した静止画像，講演内容に対する手書きメモなどの複数のメディアで情報を複合的に記憶することで情報がより正確に再現できる。
【０００３】
【発明が解決しようとする課題】
ところで、マルチメディア情報処理装置の記憶情報を検索して再生する場合、情報が単調であって、検索の目安となるような顕著な特徴が存在しない場合、それが例えば音声情報であれば、情報の頭から早送り，スキップなどで順次検索しなければならない。従って、情報が多量になるに従って必要な情報が見つけにくく検索に長時間が必要となり検索効率が低下する。
【０００４】
このように検索が困難な情報を容易に検索する目的で、音声情報を直接検索せずに、再生中の文字情報，図形情報から音声情報を検索する情報機器が開示されている（特開平３−２３６０８９号公報）。しかし、例えば音声情報が２者の会話であって、音声の変化を検出することで会話の区切れ目が明瞭である場合など、逆に音声情報に検索の目安となる顕著な特徴が存在する場合には、音声情報から文字情報，図形情報などを検索・再生する方が効率的であるが、上述の従来の情報機器は、検索する側と検索される側のメディアが固定的であって、メディアの如何を問わず、検索の目安となるような顕著な特徴が存在する情報から検索が困難な情報を検索するといった流動的な検索を可能にする手段は提示されていない。
【０００５】
本発明はこのような問題点を解決するためになされたものであって、複数のメディアの記憶情報の時間的関連を示す時間情報でマルチメディア情報を管理することにより、検索が比較的容易な第１のメディアの記憶情報を検索してその記憶情報の時間情報に対応する第２のメディアの記憶情報を再生可能とし、検索効率を高めたマルチメディア情報処理装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
図１は本発明の原理説明図である。図中、１はマルチメディア情報入出力部であって、マイク（入力）及びスピーカ（出力）等からなる音声情報の入出力（Ｉ／Ｏ ）装置１ａと、ビデオカメラ・ＣＣＤ カメラ（入力）及びＬＣＤ （出力）等からなる画像情報のＩ／Ｏ 装置１ｂと、キーボード・ペン・マウス・スキャナ（入力）及びＬＣＤ （出力）等からなり、テキスト，手書き文字の入出力の他に、第１の種類のメディア及び第１の種類のメディアの再生情報を基に情報を再生すべき第２のメディアの指定情報を入力するＩ／Ｏ 装置１ｃと、音声，画像等のアナログ情報をデジタル変換するＡ／Ｄ 変換器１ｄ，１ｆ，１ｈ及び後述する二次記憶装置３から読み出した音声情報，画像情報等のデジタル情報をアナログ変換するＤ／Ａ 変換器１ｅ，１ｇ，１ｉとを有し、情報をこれら複数のメディアで複合的に入力し、メディア種別に出力する。時間情報付加回路２はシステムの電源が落ちた場合も自家発電により常時動作が可能なＲＴＣ （Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ） 等を備え、マルチメディア情報入出力部１から入力された各メディアの情報に、マルチメディア情報の時間的な関連を示す時間情報を付加する。この時間情報付加回路２と、マルチメディア情報を時間情報とともに記憶するハードディスク等の二次記憶装置３と、話の区切れ目，話者の変り目，画像の変化点等、検索が容易な第１の種類のメディアの記憶情報の再生を開始すべき記憶位置を示す検索ポイントを検索して検索ポイントから第１の種類のメディアの記憶情報を再生するとともに、再生中の情報の検索ポイントの記憶情報に付加されている時間情報を基に、指定された第２の種類のメディアの記憶情報の、検索ポイントから遡った最も近くで無音状態が所定時間以上続く部分、検索ポイントから遡って最も近い話者の変り目、又は検索ポイントから遡った最も近くで画像が大きく変化する点等の第２の種類のメディアの記憶情報の特徴に応じた適切な再生開始点から記憶情報を再生するＣＰＵ ４と、ＣＰＵ ４の作業用のメモリ５とがバス６を介してマルチメディア情報入出力部１と接続されている。
【０００７】
【作用】
本発明のマルチメディア情報処理装置は、情報を、複数のメディアそれぞれのＩ／Ｏ 装置１ａ， １ｂ，１ｃで複合的に入力してＡ／Ｄ 変換器１ｄ， １ｆ， １ｈによりデジタル情報に変換し、時間情報付加回路２はデジタル変換されたマルチメディア情報に時間情報を付加し、マルチメディア情報は時間情報とともに二次記憶装置３に記憶される。
【０００８】
図２及び図３は本発明のマルチメディア情報処理装置によるマルチメディア情報の記憶状況の概念図である。動画，静止画，音声，手書き文字（図形），テキストの複数のメディアで記憶され、時系列化された各情報は時間情報で関連付けられている。
【０００９】
図４は１秒毎の各入力装置の状態情報（＊＊＊）の管理表である。状態情報は、例えば、マイクを入力手段とする音声情報の有音部の始まりから終わりまでを１クラスタとした場合におけるクラスタの始まり，クラスタの終わり，何個目のクラスタかという情報、またカメラを入力手段とする動画情報の始まりから終わりまでを１クラスタとした場合におけるクラスタの始まり，クラスタの終わり，何個目のクラスタかという情報、またペンを入力手段とする手書き情報におけるペンの座標，ペンタッチによるアクション情報，ペンタッチによる状態の変化の情報、またキーボードを入力手段とするキーの情報、さらにマウスを入力手段とするテキスト情報におけるマウスの座標，マウス操作によるアクション情報，マウス操作による状態の変化の情報などである。
【００１０】
ＣＰＵ ４はＩ／Ｏ 装置１ｃにより指定された第１の種類のメディアの記憶情報をメモリ５に読み出し、第１の種類のメディアが音声の場合は、話の区切れ目，話者の変り目等、また、画像の場合は画像の変化点等、また、テキストの場合は文書名等の検索ポイントを検索し、各検索ポイントからの記憶情報をＩ／Ｏ 装置１ａ， １ｂ又は１ｃより出力し、ユーザは検索ポイントによって第１の種類のメディアの記憶情報を検索する。ユーザによりＩ／Ｏ 装置１ｃを介して１つの検索ポイントが特定され、また最終的に情報を再生すべき第２の種類のメディアが指定されると、ＣＰＵ ４は第２の種類のメディアの記憶情報に付加されている時間情報をメモリ５に読み出し、特定された検索ポイントの時間情報と比較して第２の種類のメディアの記憶情報の再生開始時点を、例えば、検索ポイントと同時点，検索ポイントから一定時間遡った時点等に決定し、この再生開始時点からの第２の種類のメディアの記憶情報をＤ／Ａ 変換器１ｅ， １ｇ又は１ｉでアナログ変換してＩ／Ｏ 装置１ａ， １ｂ又は１ｃから出力する。
【００１１】
【実施例】
以下、本発明をその実施例を示す図に基づいて説明する。
図１に示すような構成の本発明のマルチメディア情報処理装置は、情報を、音声，画像，テキスト，手書き文字など複数のメディアそれぞれのＩ／Ｏ 装置１ａ， １ｂ，１ｃで複合的に入力して音声，画像等のアナログ情報をＡ／Ｄ 変換器１ｄ， １ｆ， １ｈによりデジタル変換し、ＲＴＣ 等を備えた時間情報付加回路２がデジタル変換されたマルチメディア情報に時間情報を付加し、マルチメディア情報は時間情報とともに二次記憶装置３に記憶される。
二次記憶装置３に記憶されたマルチメディア情報は図２及び図３に示すように、動画（連続／断続）、静止画、音声（連続／断続）、手書き文字（連続／断続）、テキスト（連続／断続）等のメディア別に、これらの情報の時間的関連を示す時間情報（時間軸上の時点）とともに二次記憶装置３に格納される。
【００１２】
例えば、講演会において講演者の音声をマイクで録音するとともに、講演者の姿をビデオカメラで撮影し、また講演中に使用されたＯＨＰ の静止画をＣＣＤ カメラで撮影し、さらに講演中に手書き文字（図形）でメモをとり、配付された関連資料のテキストをキーボードで入力又はスキャナで読み取る。
これらの複数種のメディアの情報をＲＴＣ によって付加された時間情報とともにハードディスクに格納する。
【００１３】
図９は本発明の情報再生の手順を示すフローチャートである。
ＣＰＵ ４は、Ｉ／Ｏ 装置１ｃにより指定された第１の種類のメディアの記憶情報をメモリ５に読み出して（Ｓ１）、第１の種類のメディアが音声の場合は話の区切れ目，話者の変り目等、また画像の場合は画像の変化点等、またテキストの場合は文書名等の検索ポイントを検索し（Ｓ２）、各検索ポイントからの記憶情報をＩ／Ｏ 装置１ａ， １ｂ又は１ｃより出力し（Ｓ３）、ユーザは検索ポイントによって第１の種類のメディアの記憶情報を検索する。ユーザによりＩ／Ｏ 装置１ｃを介して１つの検索ポイントが特定され、また最終的に情報を再生すべき第２の種類のメディアが指定されると（Ｓ４）、ＣＰＵ ４は第２の種類のメディアの記憶情報に付加されている時間情報をメモリ５に読み出し、特定された検索ポイントの時間情報と比較して第２の種類のメディアの記憶情報の再生開始時点を、例えば、検索ポイントと同時点，検索ポイントから一定時間遡った時点等に決定し、この再生開始時点からの第２の種類のメディアの記憶情報をＤ／Ａ 変換器１ｅ， １ｇ又は１ｉでアナログ変換してＩ／Ｏ 装置１ａ， １ｂ又は１ｃから出力する（Ｓ５）。
【００１４】
例えば、講演後、ある話題の録音情報を聞きたい場合、音声情報が単調で顕著な特徴がない場合、ユーザは録音情報を直接的に検索せずに、例えば、講演内容が集約されていて検索が容易なＯＨＰ の静止画を最初に検索する。ユーザはＬＣＤ に出力されたＯＨＰ の静止画の中から再生目的の音声情報と関連の深い静止画を探し出し、ＣＰＵ は静止画に付加されている時間情報を用いて、例えば、この静止画と同時刻に記憶された音声情報をハードディスクから取り出してスピーカにより再生し、ユーザは最終目的の音声情報を獲得する。
【００１５】
この場合、最終的に再生したい音声情報を検索するために、他の種類のメディアである動画，テキスト，手書き文字のいずれかを最初に検索してもよい。
以上のように、複数種のメディアの記憶情報を時間情報で関連付けて管理することにより、検索が容易な第１の種類のメディアの検索結果を基に、検索が困難な第２の種類のメディアの記憶情報を容易に検索・再生することができる。
【００１６】
第１の種類のメディアの記憶情報は検索が容易であることが条件である。従って、一般的には検索が困難とされる音声情報も、例えば、音声情報が一人が切れ目もほとんどなく話している単調な音声でなく、話題の変化点で適度な間を置いている場合、又は複数の人間の音声が含まれる場合、さらにその複数の人間の音声が、例えば男女の音声のように聞き分けが容易な音声である場合などは、前述の実施例の場合と逆に、検索が容易になるので、音声情報の検索結果から他の種類のメディアの記憶情報を再生することができる。
【００１７】
以下に、それぞれのメディアが前述の第１の種類のメディアとなった場合に、第１の種類のメディアの記憶情報の検索を容易にする検索ポイントの例をメディア種別に列挙する。
（１） 音声
・音量を検出する手段を設け、無音レベルが所定時間以上続く部分を話の区切れ目として検索する
・音高を検出する手段を設け、音高が所定レベル以上変化する点を話者の変り目として検索する
・音声認識手段を設けるとともに、複数の話者の少なくとも一人の音声を予め登録しておき、登録されている音声の始まりのみを検索する
・上述と逆に、登録されている音声を除く音声の始まりのみを検索する
・音声認識手段を設けるとともに、キーワードを音声入力で登録しておき、登録されているキーワードと一致する音声を検索する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、マーキングポイントを検索する
【００１８】
（２） 動画
・画像の色，彩度を検出する手段を設け、色，彩度が所定レベル以上変化する画像の変化点を検索する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、マーキングポイントを検索する
（３） 静止画
・各静止画の記憶情報の先頭を検索する
・複数枚の静止画の記憶情報の先頭を検索する
図５は静止画の検索時の画面表示例である。静止画情報はアルバムのように管理しておき、画面上で一度に見ることのできる静止画の枚数を１枚又は複数枚に自由に変更できるようにしておくと検索効率が上がる。
【００１９】
（４） 手書き文字（図形）
・ひとまとまりの手書き情報を認識する手段を設け、ひとまとまりの手書き情報の記憶の開始時点を検索する
図６は手書き文字の入力画面、図７は手書き文字の記憶状況の概念図である。ひとまとまりの手書き情報を認識する手段は、図６のような状態で書かれた手書き文字のうち、その周囲の所定距離内に他の手書き文字の入力がない範囲に書かれた文字、又は、図７に示すようにその記録時間が連続的である文字、例えば「手書き文字」をひとまとまりと認識する。
【００２０】
（５） テキスト
・１文書のテキスト情報（連続的なテキスト情報）の適宜位置に重要マークを付与しておき、重要マークが付与された位置を検索する
・１文書のテキスト情報の適宜位置の表示色を変化させておき、表示色の変化している位置を検索する
・複数文書のテキスト情報（断続的なテキスト情報）において、文書名，サブタイトル，文書の保存日付，文書サイズなどの要素を用いて検索する
図８は複数文書のテキスト情報検索時の画面表示例である。
・キーワードを登録しておき、登録されているキーワードと一致するテキストを検索する
【００２１】
また、第２の種類のメディアの記憶情報を再生する場合に、第１の種類のメディアの記憶情報における検索ポイントと同時点からの再生のみでなく、検索ポイントから一定時間遡った時点を再生の開始時点としてもよく、さらに第２の種類のメディアの情報の特徴に応じて再生開始時点を決めるようにすれば、装置の使い勝手がさらに向上する。
【００２２】
以下に、検索ポイントを基に、第２の種類のメディアの記憶情報の再生開始時点を決定する他の方法をメディア種別に列挙する。
（１） 音声
・音量を検出する手段を設け、検索ポイントに最も近く、無音レベルが所定時間以上続く話の区切れ目まで遡って再生する
・音高を検出する手段を設け、検索ポイントに最も近く、音高が所定レベル以上変化する話者の変り目まで遡って再生する
・音声認識手段を設けるとともに、複数の話者の少なくとも一人の音声を予め登録しておき、登録されている音声のみを再生する
・上述と逆に、登録されている音声を除く音声のみを再生する
・音声認識手段を設けるとともに、キーワードを音声入力で登録しておき、検索ポイントに最も近く、登録されているキーワードに一致する音声まで遡って再生する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、検索ポイントに最も近いマーキングポイントまで遡って再生する
【００２３】
（２） 動画
・画像の色，彩度を検出する手段を設け、検索ポイントに最も近く、色，彩度が所定レベル以上変化する画像の変化点まで遡って再生する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、検索ポイントに最も近いマーキングポイントまで遡って再生する
（３） 静止画
・検索ポイントに最も近い静止画の記憶情報の先頭から１枚又は複数枚を再生する
【００２４】
（４） 手書き文字（図形）
・ひとまとまりの手書き情報を認識する手段を設け、検索ポイントに最も近い、ひとまとまりの手書き情報の記憶の開始時点まで遡って再生する
なお、ひとまとまりの手書き情報を認識する手段は、前述と同様、その書かれた時間が連続的である手書き情報をひとまとまりと認識する手段、又は、その周囲の所定距離内に他の手書き情報が存在しない手書き情報をひとまとまりと認識する手段のいずれであってもよい。
【００２５】
（５） テキスト
・１文書のテキスト情報の適宜位置に重要マークを付与しておき、検索ポイントに最も近くの重要マークが付与された位置まで遡って再生する
・１文書のテキスト情報の適宜位置の表示色を変化させておき、検索ポイントに最も近くの表示色の変化している位置まで遡って再生する
・複数文書において、検索ポイントを含む１文書を再生する
・キーワードを登録しておき、検索ポイントに最も近く、登録されているキーワードと一致するテキストまで遡って再生する
【００２６】
なお、本発明のマルチメディア情報処理装置は、上述のように、第１の種類のメディアの記憶情報を、第２の種類のメディアの記憶情報の検索・再生に利用する以外に、第１のメディアの記憶情報と、第１のメディアの記憶情報を利用して検索した第２のメディアの記憶情報とを並行して再生することも可能である。
【００２７】
また、本発明のマルチメディア情報処理装置は、記録／再生の両用機に限らず、予め記録されているマルチメディア情報を再生する再生専用機であってもよい。
さらに、本発明のマルチメディア情報処理装置のＩ／Ｏ 装置１ａ， １ｂ，１ｃは入出力一体の装置であっても、また入力装置，出力装置が別体の装置であってもよい。
【００２８】
【発明の効果】
以上のように、本発明のマルチメディア情報処理装置は、複数のメディアの記憶情報の時間的関連を示す時間情報でマルチメディア情報を管理し、検索が比較的容易な第１のメディアの記憶情報を検索してその記憶情報の時間情報に対応する第２のメディアの記憶情報を再生可能とするので検索効率が高いという優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明のマルチメディア情報の記憶状況を示す概念図である。
【図３】本発明のマルチメディア情報の記憶状況を示す概念図である。
【図４】本発明の時間情報・状態情報の管理表である。
【図５】検索時の画面表示例（静止画）である。
【図６】手書き文字の入力画面である。
【図７】手書き文字の記憶状況の概念図である。
【図８】検索時の画面表示例（テキスト・複数文書）である。
【図９】本発明の情報再生の手順を示すフローチャートである。
【符号の説明】
１ マルチメディア情報入出力部
１ａ， １ｂ， １ｃ Ｉ／Ｏ 装置
１ｄ， １ｆ，１ｈ Ａ／Ｄ 変換器
１ｅ， １ｇ， １ｉ Ｄ／Ａ 変換器
２ 時間情報付加回路
３ 二次記憶装置
４ ＣＰＵ
５ メモリ
【産業上の利用分野】
本発明は、音声，動画，静止画，テキスト，手書き文字，グラフィックス等の複数種のメディアで情報を複合的に記憶し、また記憶情報をメディア別に再生するマルチメディア情報処理装置に関する。
【０００２】
【従来の技術】
上述のようなマルチメディア情報処理装置では、例えば講演会の情報を記憶する場合、音声情報単独では講演者の表情，会場の雰囲気などを再現することは難しいが、音声に加えて、講演者をビデオカメラで撮影した画像，講演者がオーバーヘッドプロジェクタ（以下、ＯＨＰ と略記する）を用いて提示した静止画像，講演内容に対する手書きメモなどの複数のメディアで情報を複合的に記憶することで情報がより正確に再現できる。
【０００３】
【発明が解決しようとする課題】
ところで、マルチメディア情報処理装置の記憶情報を検索して再生する場合、情報が単調であって、検索の目安となるような顕著な特徴が存在しない場合、それが例えば音声情報であれば、情報の頭から早送り，スキップなどで順次検索しなければならない。従って、情報が多量になるに従って必要な情報が見つけにくく検索に長時間が必要となり検索効率が低下する。
【０００４】
このように検索が困難な情報を容易に検索する目的で、音声情報を直接検索せずに、再生中の文字情報，図形情報から音声情報を検索する情報機器が開示されている（特開平３−２３６０８９号公報）。しかし、例えば音声情報が２者の会話であって、音声の変化を検出することで会話の区切れ目が明瞭である場合など、逆に音声情報に検索の目安となる顕著な特徴が存在する場合には、音声情報から文字情報，図形情報などを検索・再生する方が効率的であるが、上述の従来の情報機器は、検索する側と検索される側のメディアが固定的であって、メディアの如何を問わず、検索の目安となるような顕著な特徴が存在する情報から検索が困難な情報を検索するといった流動的な検索を可能にする手段は提示されていない。
【０００５】
本発明はこのような問題点を解決するためになされたものであって、複数のメディアの記憶情報の時間的関連を示す時間情報でマルチメディア情報を管理することにより、検索が比較的容易な第１のメディアの記憶情報を検索してその記憶情報の時間情報に対応する第２のメディアの記憶情報を再生可能とし、検索効率を高めたマルチメディア情報処理装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
図１は本発明の原理説明図である。図中、１はマルチメディア情報入出力部であって、マイク（入力）及びスピーカ（出力）等からなる音声情報の入出力（Ｉ／Ｏ ）装置１ａと、ビデオカメラ・ＣＣＤ カメラ（入力）及びＬＣＤ （出力）等からなる画像情報のＩ／Ｏ 装置１ｂと、キーボード・ペン・マウス・スキャナ（入力）及びＬＣＤ （出力）等からなり、テキスト，手書き文字の入出力の他に、第１の種類のメディア及び第１の種類のメディアの再生情報を基に情報を再生すべき第２のメディアの指定情報を入力するＩ／Ｏ 装置１ｃと、音声，画像等のアナログ情報をデジタル変換するＡ／Ｄ 変換器１ｄ，１ｆ，１ｈ及び後述する二次記憶装置３から読み出した音声情報，画像情報等のデジタル情報をアナログ変換するＤ／Ａ 変換器１ｅ，１ｇ，１ｉとを有し、情報をこれら複数のメディアで複合的に入力し、メディア種別に出力する。時間情報付加回路２はシステムの電源が落ちた場合も自家発電により常時動作が可能なＲＴＣ （Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ） 等を備え、マルチメディア情報入出力部１から入力された各メディアの情報に、マルチメディア情報の時間的な関連を示す時間情報を付加する。この時間情報付加回路２と、マルチメディア情報を時間情報とともに記憶するハードディスク等の二次記憶装置３と、話の区切れ目，話者の変り目，画像の変化点等、検索が容易な第１の種類のメディアの記憶情報の再生を開始すべき記憶位置を示す検索ポイントを検索して検索ポイントから第１の種類のメディアの記憶情報を再生するとともに、再生中の情報の検索ポイントの記憶情報に付加されている時間情報を基に、指定された第２の種類のメディアの記憶情報の、検索ポイントから遡った最も近くで無音状態が所定時間以上続く部分、検索ポイントから遡って最も近い話者の変り目、又は検索ポイントから遡った最も近くで画像が大きく変化する点等の第２の種類のメディアの記憶情報の特徴に応じた適切な再生開始点から記憶情報を再生するＣＰＵ ４と、ＣＰＵ ４の作業用のメモリ５とがバス６を介してマルチメディア情報入出力部１と接続されている。
【０００７】
【作用】
本発明のマルチメディア情報処理装置は、情報を、複数のメディアそれぞれのＩ／Ｏ 装置１ａ， １ｂ，１ｃで複合的に入力してＡ／Ｄ 変換器１ｄ， １ｆ， １ｈによりデジタル情報に変換し、時間情報付加回路２はデジタル変換されたマルチメディア情報に時間情報を付加し、マルチメディア情報は時間情報とともに二次記憶装置３に記憶される。
【０００８】
図２及び図３は本発明のマルチメディア情報処理装置によるマルチメディア情報の記憶状況の概念図である。動画，静止画，音声，手書き文字（図形），テキストの複数のメディアで記憶され、時系列化された各情報は時間情報で関連付けられている。
【０００９】
図４は１秒毎の各入力装置の状態情報（＊＊＊）の管理表である。状態情報は、例えば、マイクを入力手段とする音声情報の有音部の始まりから終わりまでを１クラスタとした場合におけるクラスタの始まり，クラスタの終わり，何個目のクラスタかという情報、またカメラを入力手段とする動画情報の始まりから終わりまでを１クラスタとした場合におけるクラスタの始まり，クラスタの終わり，何個目のクラスタかという情報、またペンを入力手段とする手書き情報におけるペンの座標，ペンタッチによるアクション情報，ペンタッチによる状態の変化の情報、またキーボードを入力手段とするキーの情報、さらにマウスを入力手段とするテキスト情報におけるマウスの座標，マウス操作によるアクション情報，マウス操作による状態の変化の情報などである。
【００１０】
ＣＰＵ ４はＩ／Ｏ 装置１ｃにより指定された第１の種類のメディアの記憶情報をメモリ５に読み出し、第１の種類のメディアが音声の場合は、話の区切れ目，話者の変り目等、また、画像の場合は画像の変化点等、また、テキストの場合は文書名等の検索ポイントを検索し、各検索ポイントからの記憶情報をＩ／Ｏ 装置１ａ， １ｂ又は１ｃより出力し、ユーザは検索ポイントによって第１の種類のメディアの記憶情報を検索する。ユーザによりＩ／Ｏ 装置１ｃを介して１つの検索ポイントが特定され、また最終的に情報を再生すべき第２の種類のメディアが指定されると、ＣＰＵ ４は第２の種類のメディアの記憶情報に付加されている時間情報をメモリ５に読み出し、特定された検索ポイントの時間情報と比較して第２の種類のメディアの記憶情報の再生開始時点を、例えば、検索ポイントと同時点，検索ポイントから一定時間遡った時点等に決定し、この再生開始時点からの第２の種類のメディアの記憶情報をＤ／Ａ 変換器１ｅ， １ｇ又は１ｉでアナログ変換してＩ／Ｏ 装置１ａ， １ｂ又は１ｃから出力する。
【００１１】
【実施例】
以下、本発明をその実施例を示す図に基づいて説明する。
図１に示すような構成の本発明のマルチメディア情報処理装置は、情報を、音声，画像，テキスト，手書き文字など複数のメディアそれぞれのＩ／Ｏ 装置１ａ， １ｂ，１ｃで複合的に入力して音声，画像等のアナログ情報をＡ／Ｄ 変換器１ｄ， １ｆ， １ｈによりデジタル変換し、ＲＴＣ 等を備えた時間情報付加回路２がデジタル変換されたマルチメディア情報に時間情報を付加し、マルチメディア情報は時間情報とともに二次記憶装置３に記憶される。
二次記憶装置３に記憶されたマルチメディア情報は図２及び図３に示すように、動画（連続／断続）、静止画、音声（連続／断続）、手書き文字（連続／断続）、テキスト（連続／断続）等のメディア別に、これらの情報の時間的関連を示す時間情報（時間軸上の時点）とともに二次記憶装置３に格納される。
【００１２】
例えば、講演会において講演者の音声をマイクで録音するとともに、講演者の姿をビデオカメラで撮影し、また講演中に使用されたＯＨＰ の静止画をＣＣＤ カメラで撮影し、さらに講演中に手書き文字（図形）でメモをとり、配付された関連資料のテキストをキーボードで入力又はスキャナで読み取る。
これらの複数種のメディアの情報をＲＴＣ によって付加された時間情報とともにハードディスクに格納する。
【００１３】
図９は本発明の情報再生の手順を示すフローチャートである。
ＣＰＵ ４は、Ｉ／Ｏ 装置１ｃにより指定された第１の種類のメディアの記憶情報をメモリ５に読み出して（Ｓ１）、第１の種類のメディアが音声の場合は話の区切れ目，話者の変り目等、また画像の場合は画像の変化点等、またテキストの場合は文書名等の検索ポイントを検索し（Ｓ２）、各検索ポイントからの記憶情報をＩ／Ｏ 装置１ａ， １ｂ又は１ｃより出力し（Ｓ３）、ユーザは検索ポイントによって第１の種類のメディアの記憶情報を検索する。ユーザによりＩ／Ｏ 装置１ｃを介して１つの検索ポイントが特定され、また最終的に情報を再生すべき第２の種類のメディアが指定されると（Ｓ４）、ＣＰＵ ４は第２の種類のメディアの記憶情報に付加されている時間情報をメモリ５に読み出し、特定された検索ポイントの時間情報と比較して第２の種類のメディアの記憶情報の再生開始時点を、例えば、検索ポイントと同時点，検索ポイントから一定時間遡った時点等に決定し、この再生開始時点からの第２の種類のメディアの記憶情報をＤ／Ａ 変換器１ｅ， １ｇ又は１ｉでアナログ変換してＩ／Ｏ 装置１ａ， １ｂ又は１ｃから出力する（Ｓ５）。
【００１４】
例えば、講演後、ある話題の録音情報を聞きたい場合、音声情報が単調で顕著な特徴がない場合、ユーザは録音情報を直接的に検索せずに、例えば、講演内容が集約されていて検索が容易なＯＨＰ の静止画を最初に検索する。ユーザはＬＣＤ に出力されたＯＨＰ の静止画の中から再生目的の音声情報と関連の深い静止画を探し出し、ＣＰＵ は静止画に付加されている時間情報を用いて、例えば、この静止画と同時刻に記憶された音声情報をハードディスクから取り出してスピーカにより再生し、ユーザは最終目的の音声情報を獲得する。
【００１５】
この場合、最終的に再生したい音声情報を検索するために、他の種類のメディアである動画，テキスト，手書き文字のいずれかを最初に検索してもよい。
以上のように、複数種のメディアの記憶情報を時間情報で関連付けて管理することにより、検索が容易な第１の種類のメディアの検索結果を基に、検索が困難な第２の種類のメディアの記憶情報を容易に検索・再生することができる。
【００１６】
第１の種類のメディアの記憶情報は検索が容易であることが条件である。従って、一般的には検索が困難とされる音声情報も、例えば、音声情報が一人が切れ目もほとんどなく話している単調な音声でなく、話題の変化点で適度な間を置いている場合、又は複数の人間の音声が含まれる場合、さらにその複数の人間の音声が、例えば男女の音声のように聞き分けが容易な音声である場合などは、前述の実施例の場合と逆に、検索が容易になるので、音声情報の検索結果から他の種類のメディアの記憶情報を再生することができる。
【００１７】
以下に、それぞれのメディアが前述の第１の種類のメディアとなった場合に、第１の種類のメディアの記憶情報の検索を容易にする検索ポイントの例をメディア種別に列挙する。
（１） 音声
・音量を検出する手段を設け、無音レベルが所定時間以上続く部分を話の区切れ目として検索する
・音高を検出する手段を設け、音高が所定レベル以上変化する点を話者の変り目として検索する
・音声認識手段を設けるとともに、複数の話者の少なくとも一人の音声を予め登録しておき、登録されている音声の始まりのみを検索する
・上述と逆に、登録されている音声を除く音声の始まりのみを検索する
・音声認識手段を設けるとともに、キーワードを音声入力で登録しておき、登録されているキーワードと一致する音声を検索する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、マーキングポイントを検索する
【００１８】
（２） 動画
・画像の色，彩度を検出する手段を設け、色，彩度が所定レベル以上変化する画像の変化点を検索する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、マーキングポイントを検索する
（３） 静止画
・各静止画の記憶情報の先頭を検索する
・複数枚の静止画の記憶情報の先頭を検索する
図５は静止画の検索時の画面表示例である。静止画情報はアルバムのように管理しておき、画面上で一度に見ることのできる静止画の枚数を１枚又は複数枚に自由に変更できるようにしておくと検索効率が上がる。
【００１９】
（４） 手書き文字（図形）
・ひとまとまりの手書き情報を認識する手段を設け、ひとまとまりの手書き情報の記憶の開始時点を検索する
図６は手書き文字の入力画面、図７は手書き文字の記憶状況の概念図である。ひとまとまりの手書き情報を認識する手段は、図６のような状態で書かれた手書き文字のうち、その周囲の所定距離内に他の手書き文字の入力がない範囲に書かれた文字、又は、図７に示すようにその記録時間が連続的である文字、例えば「手書き文字」をひとまとまりと認識する。
【００２０】
（５） テキスト
・１文書のテキスト情報（連続的なテキスト情報）の適宜位置に重要マークを付与しておき、重要マークが付与された位置を検索する
・１文書のテキスト情報の適宜位置の表示色を変化させておき、表示色の変化している位置を検索する
・複数文書のテキスト情報（断続的なテキスト情報）において、文書名，サブタイトル，文書の保存日付，文書サイズなどの要素を用いて検索する
図８は複数文書のテキスト情報検索時の画面表示例である。
・キーワードを登録しておき、登録されているキーワードと一致するテキストを検索する
【００２１】
また、第２の種類のメディアの記憶情報を再生する場合に、第１の種類のメディアの記憶情報における検索ポイントと同時点からの再生のみでなく、検索ポイントから一定時間遡った時点を再生の開始時点としてもよく、さらに第２の種類のメディアの情報の特徴に応じて再生開始時点を決めるようにすれば、装置の使い勝手がさらに向上する。
【００２２】
以下に、検索ポイントを基に、第２の種類のメディアの記憶情報の再生開始時点を決定する他の方法をメディア種別に列挙する。
（１） 音声
・音量を検出する手段を設け、検索ポイントに最も近く、無音レベルが所定時間以上続く話の区切れ目まで遡って再生する
・音高を検出する手段を設け、検索ポイントに最も近く、音高が所定レベル以上変化する話者の変り目まで遡って再生する
・音声認識手段を設けるとともに、複数の話者の少なくとも一人の音声を予め登録しておき、登録されている音声のみを再生する
・上述と逆に、登録されている音声を除く音声のみを再生する
・音声認識手段を設けるとともに、キーワードを音声入力で登録しておき、検索ポイントに最も近く、登録されているキーワードに一致する音声まで遡って再生する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、検索ポイントに最も近いマーキングポイントまで遡って再生する
【００２３】
（２） 動画
・画像の色，彩度を検出する手段を設け、検索ポイントに最も近く、色，彩度が所定レベル以上変化する画像の変化点まで遡って再生する
・情報の記憶と並行してマーキングポイントを情報に付加しておき、検索ポイントに最も近いマーキングポイントまで遡って再生する
（３） 静止画
・検索ポイントに最も近い静止画の記憶情報の先頭から１枚又は複数枚を再生する
【００２４】
（４） 手書き文字（図形）
・ひとまとまりの手書き情報を認識する手段を設け、検索ポイントに最も近い、ひとまとまりの手書き情報の記憶の開始時点まで遡って再生する
なお、ひとまとまりの手書き情報を認識する手段は、前述と同様、その書かれた時間が連続的である手書き情報をひとまとまりと認識する手段、又は、その周囲の所定距離内に他の手書き情報が存在しない手書き情報をひとまとまりと認識する手段のいずれであってもよい。
【００２５】
（５） テキスト
・１文書のテキスト情報の適宜位置に重要マークを付与しておき、検索ポイントに最も近くの重要マークが付与された位置まで遡って再生する
・１文書のテキスト情報の適宜位置の表示色を変化させておき、検索ポイントに最も近くの表示色の変化している位置まで遡って再生する
・複数文書において、検索ポイントを含む１文書を再生する
・キーワードを登録しておき、検索ポイントに最も近く、登録されているキーワードと一致するテキストまで遡って再生する
【００２６】
なお、本発明のマルチメディア情報処理装置は、上述のように、第１の種類のメディアの記憶情報を、第２の種類のメディアの記憶情報の検索・再生に利用する以外に、第１のメディアの記憶情報と、第１のメディアの記憶情報を利用して検索した第２のメディアの記憶情報とを並行して再生することも可能である。
【００２７】
また、本発明のマルチメディア情報処理装置は、記録／再生の両用機に限らず、予め記録されているマルチメディア情報を再生する再生専用機であってもよい。
さらに、本発明のマルチメディア情報処理装置のＩ／Ｏ 装置１ａ， １ｂ，１ｃは入出力一体の装置であっても、また入力装置，出力装置が別体の装置であってもよい。
【００２８】
【発明の効果】
以上のように、本発明のマルチメディア情報処理装置は、複数のメディアの記憶情報の時間的関連を示す時間情報でマルチメディア情報を管理し、検索が比較的容易な第１のメディアの記憶情報を検索してその記憶情報の時間情報に対応する第２のメディアの記憶情報を再生可能とするので検索効率が高いという優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明のマルチメディア情報の記憶状況を示す概念図である。
【図３】本発明のマルチメディア情報の記憶状況を示す概念図である。
【図４】本発明の時間情報・状態情報の管理表である。
【図５】検索時の画面表示例（静止画）である。
【図６】手書き文字の入力画面である。
【図７】手書き文字の記憶状況の概念図である。
【図８】検索時の画面表示例（テキスト・複数文書）である。
【図９】本発明の情報再生の手順を示すフローチャートである。
【符号の説明】
１ マルチメディア情報入出力部
１ａ， １ｂ， １ｃ Ｉ／Ｏ 装置
１ｄ， １ｆ，１ｈ Ａ／Ｄ 変換器
１ｅ， １ｇ， １ｉ Ｄ／Ａ 変換器
２ 時間情報付加回路
３ 二次記憶装置
４ ＣＰＵ
５ メモリ
Claims (13)
- 情報を複数種のメディアで複合的に記憶し、メディア種別に再生するマルチメディア情報処理装置において、
情報をメディア種別毎に入力する入力部と、
前記入力部から入力されたメディア種別毎の情報に、各情報の時間的関連を示す時間情報を付加する手段と、
メディア種別毎の情報を時間情報とともに記憶する記憶部と、
該記憶部に記憶されたメディア種別毎の情報に対して、メディア種別毎に各メディアの特徴に応じた再生を開始すべき記憶位置を示す検索ポイントを検索するポイント検索手段と、
検索されたメディア種別毎の検索ポイントに基づいて、第１のメディア種別と該第１のメディア種別の検索ポイント及び該第１のメディア種別の情報の再生に同期して再生すべき第２のメディア種別と該第２のメディア種別の検索ポイントを記憶する手段と、
記憶した第１のメディア種別と該第１のメディア種別の検索ポイントから当該第１のメディアの記憶情報を再生する第１の情報再生手段と、
第１の情報再生手段によって再生中の記憶情報の検索ポイントに対応する時間情報を基に、記憶した第２のメディア種別と該第２のメディア種別の検索ポイントを検索し、検索された第２のメディアの記憶情報を再生する第２の情報再生手段と
を備えたことを特徴とするマルチメディア情報処理装置。 - 情報が複数種のメディアで複合的に記憶されており、メディア種別の情報が、各情報の時間的関連を示す時間情報とともに記憶されているマルチメディア情報をメディア種別に再生するマルチメディア情報処理装置において、
記憶されているメディア種別毎の情報に対して、メディア種別毎に各メディアの特徴に応じた再生を開始すべき記憶位置を示す検索ポイントを検索するポイント検索手段と、
検索されたメディア種別毎の検索ポイントに基づいて、第１のメディア種別と該第１のメディア種別の検索ポイント及び該第１のメディア種別の情報の再生に同期して再生すべき第２のメディア種別と該第２のメディア種別の検索ポイントを記憶する手段と、
記憶した第１のメディア種別と該第１のメディア種別の検索ポイントから当該第１のメディアの記憶情報を再生する第１の情報再生手段と、
第１の情報再生手段によって再生中の記憶情報の検索ポイントに対応する時間情報を基に、記憶した第２のメディア種別と該第２のメディア種別の検索ポイントを検索し、検索された第２のメディア種別と該第２のメディア種別の検索ポイントから当該第２のメディアの記憶情報を再生する第２の情報再生手段と
を備えたことを特徴とするマルチメディア情報処理装置。 - 前記第２の情報再生手段は、検索ポイントに対応する時間情報と同時点あるいは検索ポイントに対応する時間情報から一定時間遡った時点から第２の種類のメディアの記憶情報を再生する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第１の種類のメディアの記憶情報に対するキーワードを入力する手段を備え、前記ポイント検索手段は、第１の種類のメディアの記憶情報において、入力されたキーワードと一致する記憶情報を検索する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第２の種類のメディアの記憶情報に対するキーワードを入力する手段と、入力されたキーワードと一致する記憶情報を第２の種類のメディアの記憶情報から検索する手段とを備え、前記第２の情報再生手段は、検索ポイントの最も近くに記憶されているキーワードから第２の種類のメディアの記憶情報を再生する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第１の種類のメディアの記憶情報の適宜箇所にマーキングポイントを付与する手段を備え、前記ポイント検索手段は第１の種類のメディアの記憶情報に付与されているマーキングポイントを検索する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第１の種類のメディアの記憶情報が音声情報であって、音声情報において所定時間以上続く無音部分を検出する手段を備え、前記ポイント検索手段は前記無音部分の次に再開される音声情報の先頭を検索する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第２の種類のメディアの記憶情報が音声情報であって、検索ポイントから遡った最も近くの所定時間以上続く無音部分を検出する手段を備え、前記第２の情報再生手段は該無音部分の次に再開される音声情報の先頭から再生する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第１の種類のメディアの記憶情報が動画情報であって、動画情報の変化を検出する手段を備え、前記ポイント検索手段は動画情報が変化する点を検索する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第１の種類のメディアの記憶情報が静止画情報であって、前記ポイント検索手段は各静止画の情報記憶の先頭時点を検索する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第２の種類のメディアの記憶情報が静止画情報であって、前記第２の情報再生手段は検索ポイントに最も近い時点を記憶の先頭とする静止画情報を再生する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第１の種類のメディアの記憶情報が手書き情報であって、ひとまとまりの手書き情報を判別する手段を備え、前記ポイント検索手段はひとまとまりの手書き情報が記憶された先頭の時点を検索する手段である請求項１又は２記載のマルチメディア情報処理装置。
- 第１の種類のメディアの記憶情報がテキスト情報であって、テキスト情報の適宜箇所にマークを付与する手段を備え、前記ポイント検索手段はテキスト情報に付与されているマークを検索する手段である請求項１又は２記載のマルチメディア情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04048395A JP3548900B2 (ja) | 1995-02-28 | 1995-02-28 | マルチメディア情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04048395A JP3548900B2 (ja) | 1995-02-28 | 1995-02-28 | マルチメディア情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08235209A JPH08235209A (ja) | 1996-09-13 |
| JP3548900B2 true JP3548900B2 (ja) | 2004-07-28 |
Family
ID=12581859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04048395A Expired - Fee Related JP3548900B2 (ja) | 1995-02-28 | 1995-02-28 | マルチメディア情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3548900B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8266119B2 (en) | 2007-05-23 | 2012-09-11 | Ricoh Company, Ltd. | Contents management system, image processing device in contents management system, and link information generating method of image processing device |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3409999B2 (ja) * | 1997-08-12 | 2003-05-26 | 株式会社東芝 | データ編集装置及びデータ編集方法 |
| JP2000099524A (ja) | 1998-09-18 | 2000-04-07 | Fuji Xerox Co Ltd | マルチメディア情報視聴装置 |
| JP5869796B2 (ja) * | 2011-08-03 | 2016-02-24 | キヤノン株式会社 | 再生装置およびその制御方法、プログラム、並びに記憶媒体 |
| JP5889028B2 (ja) * | 2012-02-13 | 2016-03-22 | キヤノン株式会社 | 動画記録装置及びその制御方法、コンピュータプログラム、記憶媒体 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6432751A (en) * | 1987-07-29 | 1989-02-02 | Fujitsu Ltd | Voice memo storage system in electronic conference system |
| JPH02266785A (ja) * | 1989-04-07 | 1990-10-31 | Nec Corp | 会議システムの蓄積／再生制御方法 |
| JP2794948B2 (ja) * | 1990-12-21 | 1998-09-10 | 日本電気株式会社 | データ提示方法とその装置 |
| JPH04297956A (ja) * | 1991-03-27 | 1992-10-21 | Nec Corp | マルチメディア検索・処理システム |
| JPH04337957A (ja) * | 1991-05-15 | 1992-11-25 | Fuji Xerox Co Ltd | 電子会議システム |
| JP3266959B2 (ja) * | 1993-01-07 | 2002-03-18 | 富士ゼロックス株式会社 | 電子会議システム |
| JP3526067B2 (ja) * | 1993-03-15 | 2004-05-10 | 株式会社東芝 | 再生装置及び再生方法 |
-
1995
- 1995-02-28 JP JP04048395A patent/JP3548900B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8266119B2 (en) | 2007-05-23 | 2012-09-11 | Ricoh Company, Ltd. | Contents management system, image processing device in contents management system, and link information generating method of image processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08235209A (ja) | 1996-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2007132690A1 (ja) | 音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラム | |
| JP2015026069A (ja) | 表示コンテンツに対応付けてオーディオを記録する表示記録方法を実現するためのプログラム、当該表示記録方法および表示記録装置 | |
| JP2004007358A (ja) | 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 | |
| JP2005165066A (ja) | 音声認識システム、データ処理装置、そのデータ処理方法及びプログラム | |
| JP2924717B2 (ja) | プレゼンテーション装置 | |
| Stifelman | The audio notebook: Paper and pen interaction with structured speech | |
| JP5206553B2 (ja) | 閲覧システム、方法、およびプログラム | |
| US20010046096A1 (en) | Redactable recording apparatus | |
| JP3548900B2 (ja) | マルチメディア情報処理装置 | |
| JPH10116474A (ja) | データ記憶媒体、そのデータ書込装置およびデータ再生装置ならびにプログラム記憶媒体 | |
| JP2011135390A (ja) | 会議記録要約システム、会議記録要約方法及びプログラム | |
| JP6095553B2 (ja) | 情報表示装置、方法及びプログラム | |
| JPH0991928A (ja) | 映像の編集方法 | |
| KR100695209B1 (ko) | 전자책의 녹음 내용을 저장하는 이동통신 단말기 및 방법 | |
| JP2004023661A (ja) | 記録情報処理方法、記録媒体及び記録情報処理装置 | |
| JP2005326811A (ja) | 音声合成装置および音声合成方法 | |
| JPH0482357A (ja) | 記録および検索方法ならびに自動記録装置 | |
| JP2009283020A (ja) | 記録装置、再生装置、及びプログラム | |
| WO2012102424A1 (ko) | 전자 그림책 편집 장치 및 방법 | |
| JP2953730B2 (ja) | 情報機器 | |
| JPS63308672A (ja) | 画像ファイル方法とその装置 | |
| JP2008216681A (ja) | 録音した自分の歌声と模範歌唱とを厳しく比較できるカラオケ装置 | |
| JP2006268089A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2006313467A (ja) | コンテンツ検索装置及びコンテンツ検索方法 | |
| JP2003330935A (ja) | マルチモーダル情報システム及びマルチモーダル情報検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080430 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |