JP2713330B2 - オブジェクトの複数のマルチメディア表示を提示する方法及びシステム - Google Patents

オブジェクトの複数のマルチメディア表示を提示する方法及びシステム

Info

Publication number
JP2713330B2
JP2713330B2 JP6294400A JP29440094A JP2713330B2 JP 2713330 B2 JP2713330 B2 JP 2713330B2 JP 6294400 A JP6294400 A JP 6294400A JP 29440094 A JP29440094 A JP 29440094A JP 2713330 B2 JP2713330 B2 JP 2713330B2
Authority
JP
Japan
Prior art keywords
data
polymorphic
processing system
multimedia
presenting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6294400A
Other languages
English (en)
Other versions
JPH07200230A (ja
Inventor
リチャード・イー・ベリー
トーマス・エヌ・リチャーズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH07200230A publication Critical patent/JPH07200230A/ja
Application granted granted Critical
Publication of JP2713330B2 publication Critical patent/JP2713330B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は一般にデータ処理システ
ムにおけるマルチメディア提示に関し、特にデータ処理
システムのオブジェクト指向ユーザ・インターフェイス
内にマルチメディア提示を統合する方法及びシステムに
関する。更に詳しくは、本発明は各オブジェクトに対応
する多様なユーザ選択可能データ・ビューによりオブジ
ェクト指向ユーザ・インターフェイス内に選択可能マル
チメディア提示を行う方法及びシステムに関する。
【０００２】
【従来の技術】コンピュータ・ユーザ・インターフェイ
スにおけるマルチメディアの使用が急速に普及しつつあ
る。テキスト、グラフィックス、イメージ、音声及びビ
デオなどの様々な媒体が高度な対話式及び伝達式ユーザ
・インターフェイスを提供するように結合され、生産性
及びユーザ満足度の全体的な向上に大きく寄与してい
る。
【０００３】データ処理システムにおいて、マルチメデ
ィア支援を提供する既知のアプローチは通常各マルチメ
ディア・オブジェクトに対応する"プレイヤ"・インター
フェイスを提供する。例えば音声及びビデオは通常個々
のオブジェクトとして扱われ、カセット・テープ・プレ
イヤ、ビデオ・カセット・レコーダ、レーザ・ディスク
・プレイヤ及び他のこうした装置を表す制御パネルが図
形的に表示され、ユーザは音声またはビデオ・オブジェ
クトを"プレイヤ"装置により図形的に操作することによ
り記録情報をアクセスすることができる。
【０００４】このアプローチはマルチメディアがデータ
処理システム内で使用されるための論理的で効果的な技
術を提供するが、各異なるタイプのマルチメディア出力
をアクセスするための様々な"プレイヤ"装置のグラフィ
ック提示はプログラマにとって非常に厄介なことであ
る。これはまた通常データに集中したいと思うユーザに
とって非常に紛らわしく感じられたりもする。
【０００５】最近、複雑なコンピュータ・システムにお
いて、いわゆる"オブジェクト指向プログラミング"・イ
ンターフェイスの利用が提案されている。オブジェクト
指向のインターフェイスは通常こうしたシステムを従来
のプログラミング言語から区別する3つの重要な機構に
より特徴化される。第1に、オブジェクト指向プログラ
ミング・システム内の"オブジェクト"は通常"多相性(po
lymorphic)"である、即ち各オブジェクトが同じメッセ
ージに異なる方法で応答する機能を有する。従って、オ
ブジェクトがコマンドを受信すると、そのタイプのコマ
ンドに対してそのオブジェクトの応答がどうあるべきか
を決定するトランスレータが提供される。
【０００６】次に、オブジェクト指向ユーザ・インター
フェイス内のオブジェクトは"継承(インヘリタンス)"を
実証する。換言すると、オブジェクトはそのデータ及び
機能を自動的に別のオブジェクトから導出する機能を有
する。最後に、オブジェクトはその私有のデータが外部
アクセスから保護される時、"カプセル化(情報陰蔽)"さ
れると言われる。即ち、データ及びそれを処理するプロ
セス又は機能が一体化して保持され、オブジェクトは自
分の持つデータを隠蔽出来、他のオブジェクトはそのオ
ブジェクトの内部データをアクセスできない。
【０００７】オブジェクト指向ユーザ・インターフェイ
スの別の共通の特徴はデータ・ビュー分離モデルであ
る。このモデルはオブジェクト指向ユーザ・インターフ
ェイス内のオブジェクトがデータ及びそのデータのビュ
ーに分離可能であり、単一のオブジェクトが同一データ
の複数の多様のビューを提供する前提にもとづく。例え
ば最近のスプレッドシート・プログラミング・システム
では、データの選択ファイルが数値スプレッドシート或
いは図形チャートとして"表示"(viewed)される。
【０００８】オブジェクト指向ユーザ・インターフェイ
スはこの多様なデータ・ビュー機能を提供するものとし
て知られるが、オブジェクト指向ユーザ・インターフェ
イス内のマルチメディア・ファイルの提示はまだ一般に
出力ファイルの図形操作により達成され、この出力ファ
イルは媒体のタイプにより特徴化され、特定の"プレイ
ヤ"装置を使用して出力される。従って、マルチメディ
ア提示をオブジェクト指向ユーザ・インターフェイスに
統合するより直観的で効率的な技術を提供する方法及び
システムが必要とされる。
【０００９】
【発明が解決しようとする課題】本発明の目的はデータ
処理システムにおける改良されたマルチメディア提示を
行うことである。
【００１０】本発明の別の目的はマルチメディア提示を
データ処理システム内のオブジェクト指向ユーザ・イン
ターフェイスに統合する改良された方法及びシステムを
提供することである。
【００１１】更に本発明の別の目的は各オブジェクトの
多様なユーザ選択可能データ・ビューによりオブジェク
ト指向ユーザ・インターフェイス内に選択可能なマルチ
メディア提示を行う改良された方法及びシステムを提供
することである。
【００１２】
【課題を解決するための手段】上述の目的が次のように
して達成される。本発明の方法及びシステムは各々が関
連するカプセル化データ及び機能を有する複数の多相性
オブジェクトを含むオブジェクト指向ユーザ・インター
フェイスにマルチメディア提示を統合するために使用さ
れる。複数の別々のユーザ選択可能データ・ビューが各
オブジェクトに対して定義され、そのオブジェクトに関
連するデータの異なるビューを提供する。ユーザによる
あるオブジェクトの音声またはビデオ・データ・ビュー
の選択により音声またはビデオ・データが適切な装置に
自動的に結合され、マルチメディア提示がなされる。音
声データは直接オブジェクトに関連付けされるか音声デ
ータ・ビューの選択に応答してテキスト−音声変換処理
または他の類似の技術により導出されてもよい。マルチ
メディア・データをオブジェクト内にカプセル化するこ
とにより、従来はユーザにより操作されなければならな
かった別の音声またはビデオ・オブジェクトを要求する
必要なくマルチメディア提示機能をオブジェクト内に統
合することが可能となる。
【００１３】
【実施例】図1を参照すると、本発明の方法及びシステ
ムを実現するために使用されるデータ処理システム10が
示される。本発明の好適な実施例のデータ処理システム
10はIBM社のPS/2(商標)パーソナル・コンピュータなど
のいわゆる"パーソナル・コンピュータ"を用いて実現さ
れるが、オブジェクト指向ユーザ・インターフェイスを
サポートする任意のデータ処理システムが使用可能であ
る。図示のようにデータ処理システム10は好適には中央
処理ユニット12及びユーザ入力装置14を含む。ユーザ入
力装置14は好適にはキーボード及びマウス、光ペンまた
は類似の装置などのグラフィック・ユーザ入力装置を含
む。ユーザ入力装置14は好適には既知のようにケーブル
を使用し、中央処理ユニット12に接続される。
【００１４】中央処理ユニット12には更にディスプレイ
16が接続される。本発明の好適な実施例では、ディスプ
レイ16はコンピュータ・グラフィックス、テキスト及び
ビデオを表示可能なカラー・モニタである。中央処理ユ
ニット12はまたメモリ18及び参照番号20で示される1つ
以上の直接アクセス記憶装置(DASD)に接続される。メモ
リ18及び直接アクセス記憶装置20は既知のようにアプリ
ケーション・プログラムを記憶するために使用される。
【００１５】音声出力装置22が更に中央処理ユニット12
に接続される。音声出力装置22は好適には増幅器を含
み、スピーカ26及び28によりステレオ音声出力を提供す
る。音声出力装置22はCreaive Labs社により製造される
SoundBlaster音声カードなどの既知の市販の装置を用い
て実現される。ビデオ出力装置24が更に中央処理ユニッ
ト12に接続され、中央処理ユニット12からビデオ出力装
置24へのビデオ・データの結合に応答してビデオ出力提
示を生成し、これが本発明の実施例ではディスプレイ16
に結合される。
【００１６】当業者には理解されるように、ビデオ出力
装置24は中央処理ユニット12内にビデオ・アダプタ・カ
ードを含み、この例としてCreaive Labs社により製造さ
れるVideoBlasterカードなどがある。こうしたカードは
ビデオ出力を生成するためにメモリからのビデオ・デー
タを利用するが、ビデオ・カセット・レコーダ、レーザ
・ディスク・プレイヤまたは他の適切なビデオ出力装置
などのビデオの外部ソースも受入れることができる。
【００１７】図2を参照すると、本発明の方法及びシス
テムによりオブジェクト指向ユーザ・インターフェイス
内に提供される複数の多相性オブジェクトのデータ処理
システム表示が示される。図示のように、ディスプレイ
16は複数の多相性オブジェクト34、36、38及び40を含む
ビューポートまたはウィンドウ32を提供するために使用
される。当業者には理解されるように、オブジェクト指
向ユーザ・インターフェイスはインターフェイス内の異
なるタイプのオブジェクトが同一のメッセージに異なる
方法で応答する時、"多相性"と言われる。オブジェクト
はマウス・ポインタなどのユーザ入力装置14を用いて選
択され、オブジェクト指向ユーザ・インターフェイスに
矛盾しない方法により操作される。
【００１８】本発明の実施例では、ウィンドウ32はクリ
スマス・キャロルを表す複数のオブジェクトを表す。マ
ウス・ポインタ42を使用することによりユーザは例えば
オブジェクト38などの特定のオブジェクトを選択する。
オブジェクト38の選択に際し、いわゆる"ポップアップ"
・メニュー44が現れる。ポップアップ・メニュー44内に
表されるように複数の選択項目がユーザに提供される。
本発明の図示の実施例によれば、ユーザは例えば"Look
at"、"Listen to"、"Watch"、"Settings"及び"Help"な
どを含む様々なコマンドを選択することができる。
【００１９】図2に表されるように、ユーザは次にポッ
プアップ・メニュー44内の選択項目を選択し、それによ
りウィンドウ32内でオブジェクトを操作する。こうした
インターフェイス内でしばしば見られるように、特定の
選択項目例えば"Look at"の選択は更にサブメニューを
表示する。このようにして、ユーザがコマンド"Lookat"
を選択すると、サブメニュー46が提供される。サブメニ
ュー46は選択項目"Lyrics"及び"Score"を含む。このよ
うに、ユーザは選択項目"Look at"を選択し、その後、
歌詞の提示または選択されたクリスマス・キャロルの楽
譜を選択する。
【００２０】図3乃至図5を参照すると、本発明の方法及
びシステムにより提供される多相性オブジェクトの複数
のデータ・ビューが示される。図示のように、多相性オ
ブジェクト38を選択し、その後"Look at"コマンド、次
に"Lyrics"サブコマンドを選択すると、第2のウィンド
ウが開き、ウィンドウ32をオーバレイする。説明の都合
上、図3乃至図5では、最上部のウィンドウだけが示され
る。図示のように、ディスプレイ16は今度はウィンドウ
50を含み、そこには選択オブジェクトに関連するクリス
マス・キャロルの歌詞が表示される。グラフィック・ユ
ーザ・インターフェイスでは一般的なように、スクロー
ル・バー52が提供され、ユーザはマウス・ポインタ42を
用いて選択されたクリスマス・キャロルの歌詞をスクロ
ール操作することができる。
【００２１】代わりに、ユーザがコマンド"Look at"及
びサブコマンド"Score"を選択すると、図4に示される提
示がなされる。図示のように、ディスプレイ16は今度は
ウィンドウ54を表示し、そこには多相性オブジェクト38
に関連する選択クリスマス・キャロルの楽譜が含まれ
る。上述のように、スクロール・バー52が水平面内に提
供され、楽譜の別の部分をアクセスするためにマウス・
ポインタ42を用いて操作される。
【００２２】図5を参照すると、ユーザによる選択項目"
watch"の選択に応答してデータ処理システムが表示する
画面が示される。図示のように、多相性オブジェクト38
に関連するクリスマス・キャロルの演奏のビデオ及び音
声提示を含むウィンドウ60が提供される。コマンド・バ
ー62は通常"rewind"、"reverse"、"play"、"stop"及び"
fast forward"などのビデオ・プレイヤ装置に関連する
様々なインターフェイス・コマンドを実施する。
【００２３】図3乃至図5を参照して当業者には明らかな
ように、図2のウィンドウ32内の単一の多相性オブジェ
クト38がユーザにより選択され、3つの異なるデータ・
ビューが提供される。多相性オブジェクト38に関連する
クリスマス・キャロルの演奏における歌詞、楽譜または
実際のビデオ提示が単一のオブジェクトに対してなさ
れ、マルチメディア提示をユーザ・インターフェイスに
統合することによりデータ処理システム10の効率を著し
く向上させる。
【００２４】勿論、コマンド"Listen to"の選択は音声
出力装置22及びスピーカ26及び28(図1参照)を使用する
音声出力だけを提示する。これはMIDIデータを多相性オ
ブジェクト38にカプセル化するか、波形生成に使用され
るいわゆる"Wave"データをカプセル化することにより容
易に達成される。
【００２５】本発明のオブジェクト指向ユーザ・インタ
ーフェイス内のオブジェクトの多相性の性質について図
6に関連して説明する。図6は本発明の方法及びシステム
により提供される第2の多相性オブジェクトを表す。図
示のようにディスプレイ16内には、テキスト・メモを含
むウィンドウ60が提供される。マウス・ポインタ42を使
用してメモを選択すると、図2のオブジェクト38に関連
して提供されたのと同じコマンドを含むポップアップ・
メニュー44が表示される。しかしながら、"Listen to"
コマンドの選択では、メモの音声提示がなされてもよ
い。勿論、当業者には理解されるように、こうした音声
提示はメモの記憶音声提示を用いて或いはデータ処理シ
ステム10内で実施されるテキスト−音声変換処理により
生成される。
【００２６】このようにコマンド"Listen to"は複数の
多相性オブジェクトを含むオブジェクト指向ユーザ・イ
ンターフェイス内の任意のオブジェクトに適用され、そ
のコマンドが適用されるオブジェクトのタイプに応答し
て異なる方法で応答される。勿論、コマンド"Watch"は
ウィンドウ60内に示されるメモには適用されない可能性
もあり、それが無効であることを示すために、その選択
項目がグレー色に表示されたりする。しかしながら、ポ
ップアップ・メニュー44内の残りの選択項目はウィンド
ウ60内に表されるオブジェクトにより解釈され、適切に
適用される。代わりに、ウィンドウ60内のメモの作者の
ビデオ提示が"Watch"コマンドの選択に応答して表示さ
れてもよい。
【００２７】図7を参照すると、本発明の方法及びシス
テムにより多相性オブジェクトの複数のデータ・ビュー
を提供する処理のハイレベル論理流れ図が示される。図
示のように、処理はブロック80で開始し、その後ブロッ
ク82に移行する。ブロック82はユーザが多相性オブジェ
クトのデータ・ビューを選択したかどうかの判断を表
す。否定の場合、処理はユーザによりデータ・ビューが
選択されるまで単に繰返される。
【００２８】ユーザがデータ・ビューを選択したことが
ブロック82で判断されると、処理はブロック84に移行す
る。ブロック84はユーザにより選択されたデータ・ビュ
ーが"Listen to"かどうかを判断する。肯定の場合、処
理はブロック86に移行し、問題の多相性オブジェクトに
対して音声データが使用可能かどうかを判断する。使用
可能な場合、処理はブロック90に移行し、音声を実演す
る。処理は次にブロック92に移行し、復帰する。
【００２９】ブロック86に再度戻り、ユーザが選択した
このデータ・ビューに対応する多相性オブジェクトに対
し音声データが使用可能でないと、処理はブロック88に
移行する。ブロック88はテキスト−音声変換処理または
他の類似の技術の適用を表し、その後処理はブロック90
に移行し、そのオブジェクトに対して音声・データ・ビ
ューを実演する。再度処理はブロック92に移行し、復帰
する。
【００３０】ブロック84に戻り、選択されたデータ・ビ
ューが"Listen to"でないと、処理はブロック94に移行
する。ブロック94は選択されたデータ・ビューが"Look
at"かどうかを判断し、肯定の場合、処理はブロック96
に移行し、オブジェクトのテキスト内容を表示する。次
に処理はブロック92に移行し、復帰する。勿論、図2及
び図3乃至図5に示されるように、"Look at"データ・ビ
ューの選択が更にユーザがサブコマンド"Lyrics"また
は"Score"を選択したかどうかの判断を導出し、適切な
データ・ビューの表示を生成してもよい。
【００３１】再度ブロック94に戻り、ユーザが"Look a
t"データ・ビューを選択しなかった場合、処理はブロッ
ク98に移行し、選択されたデータ・ビューが"Watch"デ
ータ・ビューかどうかを判断する。肯定の場合、処理は
ブロック100に移行し、ビデオをビデオ出力装置に結合
し、次にブロック92に移行して復帰する。選択されたデ
ータ・ビューが"Watch"コマンドでない場合、処理はブ
ロック98からブロック92に移行し、復帰する。
【００３２】勿論、当業者には理解されるように、これ
らの選択データ・ビューは単に特定のオブジェクトに関
連する異なるタイプのデータ・ビューを表すだけであ
る。
【００３３】
【発明の効果】上述の説明を参考に当業者には、本出願
人が音声またはビデオ提示について「別のオブジェクト
の提示形式及び明示的なプレイヤ装置の操作を要求する
ことなしに選択マルチメディア提示をデータ処理システ
ム内の単一の多相性オブジェクトの多様なデータ・ビュ
ーとして提供することにより、マルチメディア提示をデ
ータ処理システム内のオブジェクト指向ユーザ・インタ
ーフェイスに統合するシステムを開示したことが理解さ
れよう。マルチメディア提示をオブジェクトの別個のデ
ータ・ビューとしてオブジェクト指向ユーザ・インター
フェイスに統合することにより、本発明の方法及びシス
テムはこうしたシステム内のマルチメディア提示を選択
及び操作する新規で効率的な技術を提供する。
【図面の簡単な説明】
【図１】本発明の方法及びシステムを実現するために使
用されるデータ処理システムのハイレベル・ブロック図
である。
【図２】本発明の方法及びシステムによりオブジェクト
指向ユーザ・インターフェイス内に提供される複数の多
相性オブジェクトのデータ処理システム表示を表す図で
ある。
【図３】本発明の方法及びシステムにより提供される多
相性オブジェクトの複数のデータ・ビューを表す図であ
る。
【図４】本発明の方法及びシステムにより提供される多
相性オブジェクトの複数のデータ・ビューを表す図であ
る。
【図５】本発明の方法及びシステムにより提供される多
相性オブジェクトの複数のデータ・ビューを表す図であ
る。
【図６】本発明の方法及びシステムによりオブジェクト
指向ユーザ・インターフェイス内に提供される第2の多
相性オブジェクトを表す図である。
【図７】本発明の方法及びシステムにより多相性オブジ
ェクトの複数のデータ・ビューを提供する処理のハイレ
ベル論理流れ図である。
【符号の説明】
10 データ処理システム 12 中央処理ユニット 14 ユーザ入力装置 16 ディスプレイ 18 メモリ 20 直接アクセス記憶装置(DASD) 22 音声出力装置 24 ビデオ出力装置 26、28 スピーカ 32、60 ウィンドウ 34、36、38、40 多相性オブジェクト 42 マウス・ポインタ 44 ポップアップ・メニュー 52 スクロール・バー 62 コマンド・バー

Claims (12)

    (57)【特許請求の範囲】
  1. 【請求項１】 データ処理システムのオブジェクト指向
    ユーザ・インターフェイスにおいてオブジェクトの複数
    のマルチメディア表示を提示する方法であって、 特定のカプセル化されたマルチメディア・データ及び機
    能をそれぞれが持つ複数の多相性オブジェクトを前記デ
    ータ処理システムのディスプレイに表示するステップ
    と、 前記表示された多相性オブジェクトの１つをポインタに
    より選択するステップと、 前記選択に応答して選択されたオブジェクトに関する複
    数のデータ・ビューのメニュを前記ディスプレイに表示
    するステップと、 前記メニュにおけるデータ・ビューのポインタによる選
    択に応答して、前記多相性オブジェクトの１つのマルチ
    メディア表示を前記ディスプレイに提示するステップ
    と、 を含む方法。
  2. 【請求項２】 前記複数の多相性オブジェクトの少なく
    とも１つが特定のビデオ・データを含み、前記多相性オ
    ブジェクトの１つのマルチメディア表示を提示する前記
    ステップが前記特定のビデオ・データのビデオ表示を提
    示するステップを含む、請求項１記載の方法。
  3. 【請求項３】 前記複数の多相性オブジェクトの少なく
    とも１つが特定のグラフィックス・データを含み、前記
    多相性オブジェクトの１つのマルチメディア表示を提示
    する前記ステップが前記特定のグラフィックス・データ
    のグラフィカル表示を提示するステップを含む、請求項
    １記載の方法。
  4. 【請求項４】 前記複数の多相性オブジェクトの少なく
    とも1つが特定のMIDIデータを含み、前記多相性オブジ
    ェクトの１つのマルチメディア表示を提示する前記ステ
    ップが前記特定のMIDIデータの音声表示を提示するステ
    ップを含む、請求項１記載の方法。
  5. 【請求項５】 前記メニュが音声提示ビューを含む、請
    求項１記載の方法。
  6. 【請求項６】 前記複数の多相性オブジェクトの少なく
    とも１つが特定のテキスト・データを含み、前記データ
    処理システムがテキスト−音声変換処理を含み、前記多
    相性オブジェクトの１つのマルチメディア表示を提示す
    る前記ステップが関連する音声提示ビューのユーザ選択
    に応答して前記特定のテキスト・データを前記テキスト
    −音声変換処理に自動的に結合するステップを含む、請
    求項５記載の方法。
  7. 【請求項７】 データ処理システムのオブジェクト指向
    ユーザ・インターフェイスにおいてオブジェクトの複数
    のマルチメディア表示を提示するデータ処理システムで
    あって、 特定のカプセル化されたマルチメディア・データ及び機
    能をそれぞれが持つ複数の多相性オブジェクトを前記デ
    ータ処理システムのディスプレイに表示する手段と、 前記表示された多相性オブジェクトの１つをポインタに
    より選択する手段と、前記選択に応答して選択されたオ
    ブジェクトに関する複数のデータ・ビューのメニュを前
    記ディスプレイに表示する手段と、 前記メニュにおけるデータ・ビューのポインタによる選
    択に応答して、前記多相性オブジェクトの１つのマルチ
    メディア表示を前記ディスプレイに提示する手段と、 を含むデータ処理システム。
  8. 【請求項８】 前記複数の多相性オブジェクトの少なく
    とも１つが特定のビデオ・データを含み、前記多相性オ
    ブジェクトの１つのマルチメディア表示を提示する前記
    手段が前記特定のビデオ・データのビデオ表示を提示す
    る手段を含む、請求項７記載のデータ処理システム。
  9. 【請求項９】 前記複数の多相性オブジェクトの少なく
    とも１つが特定のグラフィックス・データを含み、前記
    多相性オブジェクトの１つのマルチメディア表示を提示
    する前記手段が前記特定のグラフィックス・データのグ
    ラフィカル表示を提示する手段を含む、請求項７記載の
    データ処理システム。
  10. 【請求項１０】 前記複数の多相性オブジェクトの少な
    くとも１つが特定のMIDIデータを含み、前記多相性オブ
    ジェクトの１つのマルチメディア表示を提示する前記手
    段が前記特定のMIDIデータの音声表示を提示する手段を
    含む、請求項７記載のデータ処理システム。
  11. 【請求項１１】 前記メニュが音声提示ビューを含む、
    請求項７記載のデータ処理システム。
  12. 【請求項１２】 前記複数の多相性オブジェクトの少な
    くとも１つが特定のテキスト・データを含み、前記デー
    タ処理システムがテキスト−音声変換処理を含み、前記
    多相性オブジェクトの１つのマルチメディア表示を提示
    する前記手段が関連する音声提示ビューのユーザ選択に
    応答して前記特定のテキスト・データを前記テキスト−
    音声変換処理に自動的に結合する手段を含む、請求項１
    １記載のデータ処理システム。
JP6294400A 1993-12-16 1994-11-29 オブジェクトの複数のマルチメディア表示を提示する方法及びシステム Expired - Fee Related JP2713330B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16872193A 1993-12-16 1993-12-16
US168721 1993-12-16

Publications (2)

Publication Number Publication Date
JPH07200230A JPH07200230A (ja) 1995-08-04
JP2713330B2 true JP2713330B2 (ja) 1998-02-16

Family

ID=22612671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6294400A Expired - Fee Related JP2713330B2 (ja) 1993-12-16 1994-11-29 オブジェクトの複数のマルチメディア表示を提示する方法及びシステム

Country Status (4)

Country Link
US (1) US5692205A (ja)
EP (1) EP0658855A1 (ja)
JP (1) JP2713330B2 (ja)
KR (1) KR0138002B1 (ja)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116791A (ja) * 1995-10-23 1997-05-02 Nikon Corp 情報処理機器
US6300880B1 (en) * 1996-01-16 2001-10-09 Philips Electronics North America Corp. Multichannel audio distribution system having portable receivers
US5838316A (en) * 1996-01-26 1998-11-17 International Business Machines Corporation Method and system for presenting a plurality of animated display objects to a user for selection on a graphical user interface in a data processing system
GB2311151B (en) * 1996-02-29 2000-11-15 Jba Holdings Plc An object browser and manipulation system
US5898423A (en) * 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US7284187B1 (en) * 1997-05-30 2007-10-16 Aol Llc, A Delaware Limited Liability Company Encapsulated document and format system
JPH1115723A (ja) 1997-06-25 1999-01-22 Nec Corp マルチメディアデータ供給方法及びマルチメディアデータサーバ
US5929857A (en) * 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
US6169546B1 (en) * 1998-04-01 2001-01-02 Microsoft Corporation Global viewer scrolling system
US6191790B1 (en) 1998-04-01 2001-02-20 Microsoft Corporation Inheritable property shading system for three-dimensional rendering of user interface controls
US6249284B1 (en) 1998-04-01 2001-06-19 Microsoft Corporation Directional navigation system in layout managers
US6233347B1 (en) 1998-05-21 2001-05-15 Massachusetts Institute Of Technology System method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6400826B1 (en) 1998-05-21 2002-06-04 Massachusetts Institute Of Technology System, method, and product for distortion-compensated information embedding using an ensemble of non-intersecting embedding generators
US6314192B1 (en) 1998-05-21 2001-11-06 Massachusetts Institute Of Technology System, method, and product for information embedding using an ensemble of non-intersecting embedding generators
GB2338371A (en) 1998-06-09 1999-12-15 Ibm Voice processing system
CA2279504A1 (fr) * 1998-08-13 2000-02-13 Guy Fouquet Document multimedia dynamique
US6486897B1 (en) * 1998-09-29 2002-11-26 Apple Computer, Inc. Multi-repository display system using separate presentation, adaptation and access layers
US6350199B1 (en) * 1999-03-16 2002-02-26 International Game Technology Interactive gaming machine and method with customized game screen presentation
US6636238B1 (en) 1999-04-20 2003-10-21 International Business Machines Corporation System and method for linking an audio stream with accompanying text material
US6346934B1 (en) 1999-05-17 2002-02-12 Gateway, Inc. Programmable remote device control apparatus and method
US6556219B1 (en) 1999-05-18 2003-04-29 Gateway, Inc. Method and system for peripheral device user interface construction
US20010030660A1 (en) * 1999-12-10 2001-10-18 Roustem Zainoulline Interactive graphical user interface and method for previewing media products
US7209980B2 (en) 1999-12-17 2007-04-24 Gateway Inc. Method and system for interpreting device control commands
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7277765B1 (en) 2000-10-12 2007-10-02 Bose Corporation Interactive sound reproducing
GB0103664D0 (en) * 2001-02-15 2001-03-28 Hutchinson Neil Web-based on-line audio-visual presentations
TWI238008B (en) * 2003-12-15 2005-08-11 Inst Information Industry Method and system for processing interactive multimedia data
US8239749B2 (en) * 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
EP2068323A3 (en) * 2006-09-20 2009-07-01 John W Hannay & Company Limited Methods and apparatus for creation, distribution and presentation of polymorphic media
US20090297121A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods and apparatus for creation, distribution and presentation of polymorphic media
US20090297120A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods an apparatus for creation and presentation of polymorphic media
JP4310345B2 (ja) 2007-01-09 2009-08-05 石川ガスケット株式会社 金属積層形シリンダヘッドガスケット
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
USD781917S1 (en) 2015-10-15 2017-03-21 Threewire, Inc. Display screen with icon
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0454630A (ja) * 1990-06-22 1992-02-21 Hitachi Ltd 項目入力制御方法および装置
JPH04287116A (ja) * 1990-10-31 1992-10-12 Internatl Business Mach Corp <Ibm> ハイパー・メディア・システムおよびそのグラフィカル・ユーザ・インタフェース方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914586A (en) * 1987-11-06 1990-04-03 Xerox Corporation Garbage collector for hypermedia systems
US5060135A (en) * 1988-09-16 1991-10-22 Wang Laboratories, Inc. Apparatus for manipulating documents in a data processing system utilizing reduced images of sheets of information which are movable
JPH0217508A (ja) * 1988-07-06 1990-01-22 Fanuc Ltd 穴形状の多面図表示方法
US4931950A (en) * 1988-07-25 1990-06-05 Electric Power Research Institute Multimedia interface and method for computer system
US5065345A (en) * 1988-11-04 1991-11-12 Dyned International, Inc. Interactive audiovisual control mechanism
US5136712A (en) * 1989-06-29 1992-08-04 Digital Equipment Corporation Temporary object handling system and method in an object based computer operating system
JPH03504544A (ja) * 1989-08-03 1991-10-03 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン データ処理装置
US5140677A (en) * 1990-05-11 1992-08-18 International Business Machines Corporation Computer user interface with window title bar mini-icons
US5412774A (en) * 1990-08-29 1995-05-02 At&T Corp. Apparatus for and method of displaying a data item of a database using the display function of a selected data item
US5539869A (en) * 1992-09-28 1996-07-23 Ford Motor Company Method and system for processing and presenting on-line, multimedia information in a tree structure
US5345550A (en) * 1992-12-23 1994-09-06 International Business Machines Corporation User-modifiable popup menus for object oriented behavior

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0454630A (ja) * 1990-06-22 1992-02-21 Hitachi Ltd 項目入力制御方法および装置
JPH04287116A (ja) * 1990-10-31 1992-10-12 Internatl Business Mach Corp <Ibm> ハイパー・メディア・システムおよびそのグラフィカル・ユーザ・インタフェース方法

Also Published As

Publication number Publication date
US5692205A (en) 1997-11-25
JPH07200230A (ja) 1995-08-04
KR0138002B1 (ko) 1998-06-15
EP0658855A1 (en) 1995-06-21

Similar Documents

Publication Publication Date Title
JP2713330B2 (ja) オブジェクトの複数のマルチメディア表示を提示する方法及びシステム
JP2677754B2 (ja) データ処理方法
US10545636B2 (en) Taskbar media player
AU695912B2 (en) A computer based training system
KR0138003B1 (ko) 시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템
US5586235A (en) Interactive multimedia system and method
US5808612A (en) Virtual office with connections between source data machine, and a viewer objects
US5826064A (en) User-configurable earcon event engine
JP2001195165A (ja) Ｇｕｉ制御方法及び装置並びに記録媒体
US5874959A (en) Transparent overlay viewer interface
US20080091643A1 (en) Audio Tagging, Browsing and Searching Stored Content Files
JP2001075989A (ja) 情報提示装置および方法、ならびに情報提示プログラムを記録したコンピュータで読取可能な記録媒体
GB2304945A (en) An object-oriented interface controlling multimedia devices
US6179487B1 (en) Data processing system and method for associating specific graphics with data processing applications
JP2760289B2 (ja) 視覚障害者向けグラフィカル・ユーザ・インタフェース操作装置
JP2022051500A (ja) 関連情報提供方法及びシステム
KR100473163B1 (ko) 멀티미디어 컨텐츠가 저장된 기록 매체 및 그 재생을 위한장치와 방법
JPH06231030A (ja) マルチメディアオーサリングシステム
JP2565583B2 (ja) データ処理方法
JPH07114576A (ja) ハイパーメディアプレゼンテーションシステム
JPH03127269A (ja) 情報処理装置と情報処理方法
JPS63197212A (ja) マルチメデイア再生装置
JPH08147063A (ja) ソフトウェア作成システム
Stephanidis et al. Tailoring non-visual interaction in a graphical environment
JPS63231396A (ja) 情報出力方式

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees