JP4788122B2 - デジタルコンテンツの表示方法、及びプログラム - Google Patents

デジタルコンテンツの表示方法、及びプログラム Download PDF

Info

Publication number
JP4788122B2
JP4788122B2 JP2004266681A JP2004266681A JP4788122B2 JP 4788122 B2 JP4788122 B2 JP 4788122B2 JP 2004266681 A JP2004266681 A JP 2004266681A JP 2004266681 A JP2004266681 A JP 2004266681A JP 4788122 B2 JP4788122 B2 JP 4788122B2
Authority
JP
Japan
Prior art keywords
display
interaction
digital content
user
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004266681A
Other languages
English (en)
Other versions
JP2005108210A5 (ja
JP2005108210A (ja
Inventor
ドゥヌ ローラン
チィーウ パトリック
透 布施
トレヴァー ジョナサン
エム.ヒルバート デイビッド
ディー.ネルソン レスター
エフ.チャーチル エリザベス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2005108210A publication Critical patent/JP2005108210A/ja
Publication of JP2005108210A5 publication Critical patent/JP2005108210A5/ja
Application granted granted Critical
Publication of JP4788122B2 publication Critical patent/JP4788122B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Description

本発明は、デジタルコンテンツの表示を表現するためのシステム及び方法に関し、詳細には、デジタルコンテンツのプレゼンテーション及びデジタルコンテンツの表示とのインタラクションを改善するために、デジタルコンテンツの表示との過去及び現在のユーザインタラクションをモニタするための方法に関する。さらに詳細には、本発明は、デジタルコンテンツ表示を表示する方法、及びデジタルコンテンツを表示させるためのプログラムに関する。
今日の近代的なコンピューティング環境においてデジタルコンテンツは着実にさらにユビキタスになってきている。結果として、ユーザはさらに連続して及び頻繁にデジタルコンテンツにアクセスしている。ユーザがデジタルコンテンツにアクセスするようになるにつれて、デジタルコンテンツのプレゼンテーション及びデジタルコンテンツにアクセスし、インタラクションできる容易さがより重要になってきている。
多くの場合、ユーザは、他のデジタルコンテンツの表示とは異なっているが、類似しているデジタルコンテンツの表示を使用し、インタラクションしていることを見出すかもしれない。例えば、多くのユーザは、デスクトップコンピュータを使用して仕事で、及び、ラップトップ、PDA、及び/または携帯電話を使用して家庭で、ソフトウェアアプリケーション、ウェブページ、ドキュメント等のデジタルコンテンツにアクセスする。シンプルな例では、ユーザは、過去に使用したデジタルコンテンツの表示とはサイズが異なるにすぎないデジタルコンテンツの表示とインタラクションすることがある。その結果、ユーザは同じデジタルコンテンツの異なる表示とインタラクションするかもしれない。
ユーザは、自分がインタラクションした同じコンテンツの過去の表示といくぶん異なるデジタルコンテンツの表示とインタラクションする際に、混乱したり、まごついたり、あるいは、困惑したりすることがある。例えば、ユーザは、PDAでのプレゼンテーションのために縮尺された表示を選択し、インタラクションするのに苦労することがある。ピクセル座標は、表示の選択可能な領域を選択するのが困難になるように縮小されるかもしれない。
多くの場合、タッチスクリーン上でのスタイラスまたは指の使用などの他の要因によって問題が増幅されることがある。縮尺された表示は、多くの場合、スタイラスやタッチスクリーンなどの、従来のものではない、あるいは、正確さに欠ける入力装置を使用してアクセス、あるいはインタラクションされる。縮尺された表示がテキストベースの領域を含む場合は特に、縮尺された表示を理解することはさらに困難となる。多くの場合、ユーザは何が選択できるのかを知らないため、タッチスクリーン上などの縮尺された表示とインタラクションすることはより困難となる。マウスや同様の入力装置とは異なり、タッチスクリーンは、通常、形を変えることができる、あるいは、選択可能な領域を示すためにフィードバックを提供することができる、カーソルを有していない。
ユーザは、他のコンテンツに類似しているが、厳密に同じではないコンテンツにアクセスすることを見出す場合もある。例えば、ユーザは、検索フィールド、送信ボタン、ニュースヘッドラインポートレットなどのポートレットを含むテキストボックスなどの、類似したレイアウトまたは特徴を有する、異なるウェブページにアクセスすることがある。さらに、ユーザは他のインタフェースに類似したレイアウトまたは機能性を持つインタフェースを有する新しいソフトウェアアプリケーションの使用を始める場合がある。
ユーザは、新しいソフトウェアアプリケーションのインタフェースまたは新しいデジタル画像などの新しいデジタルコンテンツの表示とインタラクションする際に、混乱する、または、まごつくかもしれない。ユーザは、メニューアイテムなどの選択可能な機能がどこに位置しているのかを判断するのに苦労するかもしれない。なお、本発明に関連する技術として、例えば、非特許文献1〜3などに記載の技術がある。
ビーダーソン、B.ベンジャミンら(Bederson, B. Benjamin, et al.)、「ジャズ:拡張・ズーム可能ユーザインタフェースグラフィックジャバツールキット (Jazz: An Extensible Zoomable User Interface Graphics Toolkit in Java(登録商標))」、ユーザインタフェースソフトウェア及びテクノロジーに関する第13回ACMシンポジウム会報、CHIレター(Proceedings of the 13th Annual ACM Symposiumon User Interface Software and Technology, CHI Letters)、2000年11月、Vol.2、No. 2、pp. 171-180 T.W.ビックモアら(T. W. Bickmore et al.)、「要約装置:WWWへのデバイス非依存アクセス(Digestor: device-independent access to the World Wide Web)」、コンピュータネットワーク及びISDNシステム(Computer Networksand ISDN Systems)、1997年9月、Vol. 29、pp. 1075-1082 チャン、ベイウェイら(Chang, Bay-Wei et al.)、「可変的なドキュメントにおける可変的情報表現(Fluidly Revealing Information in Fluid Documents)」、 AAAIスマートグラフィック春期シンポジウム、スタンフォード大学(AAAI Smart Graphics Spiring Symposium, Stanford University)、2000年、pp. 178-181
本発明は上記に鑑みてなされ、デジタルコンテンツ表示方法、及びプログラムを提供する。
本発明の第1の態様のデジタルコンテンツの表示方法は、(a)デジタルコンテンツの表示手段に第1の表示を表示し、(b)表示手段に前記第1の表示を所定の縮尺率に縮尺した第2の表示を表示すると共に、当該第2の表示におけるユーザによるデータの入力又は伝送をするための予め定められた領域を前記縮尺率より拡大して表示する。
本発明の第2の態様は、第1の態様のデジタルコンテンツの表示方法であって、前記第1の表示を表示する表示手段と前記第2の表示を表示する表示手段は、各々異なる表示手段である。
本発明の第の態様のデジタルコンテンツの表示方法は、(a)デジタルコンテンツの第1の表示手段に表示した第1の表示とインタラクションしている間のユーザ動作をモニタするモニタ手段によりモニタし、(b)前記モニタ手段により取得した前記ユーザ動作からインタラクション情報を決定し、(c)前記インタラクション情報を記憶手段に維持し、(d)前記第1の表示手段とは異なる第2の表示手段に前記第1の表示を所定の縮尺率に縮尺した第2の表示を表示すると共に、前記インタラクション情報を使用して前記第2の表示のアクティブな領域前記縮尺率より拡大して表示する。
本発明の第の態様は、第1の態様又は第3の態様のデジタルコンテンツの表示方法であって、(d)が、前記第2の表示のレイアウトを変形することを含む。
本発明の第の態様は、第1の態様又は第3の態様のデジタルコンテンツの表示方法であって、前記第1の表示と前記第2の表示とが同じデジタルコンテンツの表示である。
本発明の第の態様は、第の態様のデジタルコンテンツの表示方法であって、前記デジタルコンテンツは、ウェブページ、デジタルドキュメント、デジタル画像、電子ブック、デジタルスライド、及び、グラフィックユーザインタフェースの少なくとも1つである。
本発明の第7の態様は、第1の態様又は第3の態様のデジタルコンテンツの表示方法であって、前記第1の表示が第1のデジタルコンテンツの表示であり、前記第2の表示が第2のデジタルコンテンツの表示である。
本発明の第8の態様は、第1の態様又は第3の態様のデジタルコンテンツの表示方法であって、前記第1の表示が第1のグラフィックユーザインタフェースの表示であり、前記第2の表示が第2のグラフィックユーザインタフェースの表示である。
本発明の第9の態様は、第の態様のデジタルコンテンツの表示方法であって、(a)が、デジタルコンテンツの前記第1の表示とのユーザインタラクションをモニタし、前記第1の表示との前記ユーザインタラクションからインタラクション領域を決定する、ことを含む。
本発明の第10の態様は、第9の態様のデジタルコンテンツの表示方法であって、(a)が、前記インタラクション領域とのユーザインタラクションを評価する、ことを、さらに含む。
本発明の第11の態様は、第の態様のデジタルコンテンツの表示方法であって、(a)が、グラフィックユーザインタフェースの第1の表示、デジタル画像の第1の表示、電子ブックの第1の表示、及び、デジタルスライドの第1の表示の少なくとも1つとインタラクションしている間のユーザ動作をモニタすること、を含む。
本発明の第12の態様は、第の態様のデジタルコンテンツの表示方法であって、(c)が、前記インタラクション情報が決定された前記デジタルコンテンツの識別と共に、該インタラクション情報を維持すること、を含む。
本発明の第13の態様は、第の態様のデジタルコンテンツの表示方法であって、(d)が、前記第2の表示の対応するインタラクション領域を決定し、対応する前記インタラクション領域を変形する、ことを含む。
本発明の第14の態様は、第13の態様のデジタルコンテンツの表示方法であって、前記インタラクション領域にフィッシュアイ視野を適用すること、及び、前記インタラクション領域をズームすること、の少なくとも1つを含む。
本発明の第15の態様は、第の態様のデジタルコンテンツの表示方法であって、(b)が、前記第1の表示の少なくとも1つの領域とのインタラクションの程度を決定する、ことを含む。
本発明の第16の態様は、第の態様のデジタルコンテンツの表示方法であって、(b)が、前記第1の表示とのインタラクションのシーケンスを決定する、ことを含む。
本発明の第17の態様は、第16の態様のデジタルコンテンツの表示方法であって、前記第1の表示とのインタラクションのシーケンスを決定することが、前記第1の表示のインタラクション領域が選択される順序を決定する、ことを含む。
本発明の第18の態様は、第の態様のデジタルコンテンツの表示方法であって、(c)が、クライアント側デバイス、サーバ、及び、プロキシサーバの少なくとも1つで前記インタラクション情報を記憶する、ことを含む。
本発明の第19の態様は、第の態様のデジタルコンテンツの表示方法であって、(c)が、前記デジタルコンテンツのデータを含むファイルに、前記インタラクション情報を追加する、ことを含む。
本発明の第20の態様は、第の態様のデジタルコンテンツの表示方法であって、(a)が、前記第1の表示とインタラクションする間の第1のユーザの動作をモニタする、ことを含み、(b)が、第2のユーザに提示される第2の表示を変形する、ことを含む。
本発明の第21の態様のプログラムは、デジタルコンテンツの表示手段に第1の表示を表示するステップと、表示手段に前記第1の表示を所定の縮尺率に縮尺した第2の表示を表示すると共に、当該第2の表示におけるユーザによるデータの入力又は伝送をするための予め定められた領域を前記縮尺率より拡大して表示するステップと、を含む命令を、デジタルコンテンツを表示させるために、コンピュータに実行させる。
本発明の第22の態様のプログラムは、デジタルコンテンツの第1の表示手段に表示した第1の表示とインタラクションしている間のユーザ動作をモニタするモニタ手段によりモニタするステップと、前記モニタ手段により取得した前記ユーザ動作からインタラクション情報を決定するステップと、記憶手段に前記インタラクション情報を維持するステップと、前記第1の表示手段とは異なる第2の表示手段に前記第1の表示を所定の縮尺率に縮尺した第2の表示を表示すると共に、前記記憶手段に記憶された前記インタラクション情報を使用して前記第2の表示手段に表示される前記第2の表示のアクティブな領域前記縮尺率より拡大して表示するステップと、を含む命令を、デジタルコンテンツを表示させるために、コンピュータに実行させる。
本発明は例示であり、添付図面により制限されるものではない。該図面において、同様の参照符号は同様の構成要素を示す。この開示の中の「ある」つまり「1つの」実施形態に対する参照が必ずしも同じ実施形態に対する参照である必要はなく、このような参照が少なくとも1つの実施形態であることを意味することに留意されなければならない。
以下の説明では、本発明の多様な態様が説明される。しかしながら、本発明が本発明のいくつかの態様だけでまたはすべての態様で実践されてよいことは当業者にとって明らかだろう。説明の目的のために、特定の数値、材料及び構成が本発明の十分な理解を提供する目的で述べられている。しかしながら、本発明が特定の詳細なしに実践されてよいことは当業者にとって明らかだろう。他の例では、周知の特徴は本発明を分かりにくくしないために省略または簡略化されている。
説明の部分は、技術に熟練した者に本発明の実態を伝えるために、当業者により一般的に利用される様式と一致する、データ、選択、検索、生成等のデータ処理用語で提示されるだろう。当業者によって十分に理解されるように、これらの量は、プロセッサ及びそのサブシステムの電気的、光学的及び/または生物学的な構成部品を通して記憶、転送、結合及びそれ以外の場合操作できる電気信号、磁気信号または光信号の形態を取る。
多様な操作は、本発明を理解する上で最も役立つ方法で、順に、複数の別個のステップとして説明されるが、説明の順序はこれらの操作が必ずしも順序に依存していることを暗示するように解釈されてはならない。
多様な実施形態は、オブジェクト指向プログラミングパラダイムの例示的なクラス及び/またはオブジェクトに関して例示されるだろう。本発明が、単に説明の目的のためにここに含まれているクラス/オブジェクトではなく、任意の数の異なったクラス/オブジェクトを使用して実践できることが当業者にとって明らかになるであろう。さらに、本発明が任意の特定のソフトウェアプログラミング言語またはプログラミングパラダイムに制限されないことも明らかとなるであろう。
本発明の実施形態によるシステム及び方法は、プレゼンテーション及びデジタルコンテンツとのインタラクション及びデジタルコンテンツの表示の改善を実現できる。ここで使用されるような表示は、デジタルコンテンツの任意の視覚的なプレゼンテーション及び/または可聴的なプレゼンテーションを含むが、これらに制限されない。本発明を制限するものではない例として、デジタル画像、ウェブページ、デジタルドキュメント、デジタル音声、及び他の適切なコンテンツは、これらの基礎を成すコンテンツの対応する表示を有する場合がある。さらに、グラフィックユーザインタフェース(GUI)などのインタフェ
ースはこれらの基礎を成すコンテンツの対応する表示を有する場合がある。
本発明の1つの実施形態では、デジタルコンテンツの第1の表示との過去及び現在のユーザのインタラクションは、プレゼンテーション、及び同じデジタルコンテンツの、あるいは他のデジタルコンテンツの第2の表示とのインタラクションを改善するために使用できる。例えば、インタフェースまたはウェブページの表示とのユーザインタラクションは、プレゼンテーション及びインタフェースまたはウェブページの縮尺された表示とのインタラクションを改善するために使用できる。1つの実施形態では、ユーザインタラクションはデジタルコンテンツの表示のレイアウト及び/またはアクティブ領域を変形するために使用できる。インタフェースまたはデジタルドキュメントのユーザインタラクションの表示などの表示とのユーザインタラクションも、プレゼンテーション及び同じプレゼンテーションとのインタラクションを改善するために使用できる。他の実施形態では、第1のウェブページなどの第1のデジタルコンテンツの表示とのユーザインタラクションが、第2のウェブページなどの第2のデジタルコンテンツの表示を改善するために使用できる。
図1は、本発明のある実施形態に従って第2の表示を変形するために第1の表示とインタラクションする間にユーザ動作を使用するためのフローチャートである。この図は例示の目的のために特定の順序で機能的なステップを描写するが、プロセスはステップの特定の順序または配列に制限されない。当業者はこの図に表現されている多様なステップが、多様な方法で省略、再配列、結合及び/または適応できるであろうことを理解するであろう。
ある実施形態では、第1の表示と第2の表示とは同じ表示であってよい。別の実施形態では、第2の表示は第1の表示の縮尺版であってよい。さらに別の実施形態では、第1の表示は第1のデジタルコンテンツのものであるが、第2の表示は第2のデジタルコンテンツのものであってよい。
ステップ102で、第1の表示とインタラクションしている間のユーザ動作をモニタすることができる。第1の表示とインタラクションしながらユーザ動作をモニタすることは、1または複数のユーザがインタラクションする表示の領域を決定することを含むことができる。領域に入力を提供することによって、あるいは、領域の選択を示すことによって、など、ユーザがインタラクションする表示の領域を決定することは、ユーザから受け取られる入力に対応する領域を決定することを含む場合がある。例えば、ユーザがクリックする、あるいは、選択する表示の領域を決定できる。選択されたホットスポット、強調表示されたテキストの一節、選択されたメニューアイテムまたはボタンを、ステップ102の一部として、すべて決定することができる。
入力を提供するための任意のデバイスまたは方法は、本発明の実施形態に従って使用できる。例えば、インタラクションする間にユーザ動作をモニタすることは、マウスクリック、キーボード選択、音声コマンド、ジェスチャ、リモート制御入力、PDA入力をモニタすることを、任意の他の適切な入力とともに、含んでもよい。モニタコンポーネントなどのアプリケーションまたはソフトウェアコンポーネントは入力に関係する情報を受け入れるように構成できる。本発明を制限しない例によれば、コンポーネントはマウスクリックなどの入力を通知されるように構成できる。入力により生成されるイベントまたはオブジェクトは、入力の場所及びタイプなどの情報を決定するためにアクセスできる。
ユーザ動作をモニタすることは、単一ユーザの動作または複数ユーザの動作をモニタすることを含む場合がある。ユーザ動作は、期間にわたってモニタすることもできる。例えば、複数のインスタンスまたは期間での表示とのユーザインタラクションをモニタすることができる。情報は、観察される延長されたインタラクション期間またはインスタンスに基づいてユーザ動作を決定するために使用できる。1つの実施形態では、デジタルコンテンツの表示とインタラクションしている間の第1のユーザのユーザ動作は、第2のユーザに提示されるデジタルコンテンツの表示を変形するために使用できる。
インタラクション情報は、ステップ104でユーザ動作を使用して決定できる。1つの実施形態では、インタラクション情報を決定することは、ユーザとインタラクションされる、あるいは、ユーザにとって重要である、と判断される領域のために識別情報を決定することを含む。例えば、インタラクション情報を決定することの一部として、インタラクションのポイントまたは領域のピクセル座標軸を決定でき、インタフェースのメニュー項目のための識別子を決定でき、あるいは、選択されたハイパーリンクに対応する宛て先ユニバーサルリソースロケータ(URL)を決定できる。さらに、第1の表示の領域または領域セットとのインタラクションの程度またはシーケンスを識別する情報を決定できる。1つの実施形態では、インタラクション情報を決定することは、複数のユーザのインタラクションを統合すること、平均化すること、あるいは結合することを含む。さらに、インタラクション情報を決定することは、第1の表示との単一のユーザのインタラクションの複数のインスタンスを統合すること、平均化すること、あるいは、結合することを含む場合がある。
ステップ106では、インタラクション情報を維持することができる。1つの実施形態では、インタラクション情報を維持することは、インタラクションに関係する情報のログを採ること、または、記憶することを含む場合がある。例えば、インタラクションされる、または、観察されたユーザ動作を用いて興味の対象として決定される、領域識別情報を、記憶することができる。後述されるように、多数のシステム及び技法がインタラクション情報を維持するために使用されることができる。
第2の表示は、ステップ102でモニタされる動作に基づいてステップ108で変形できる。第2の表示を変形するための多様な技法を、後述するように、本発明の実施形態に従って使用できる。
図2は、図1のフローチャートを実現するために使用できる実施形態によるシステム200である。この図は論理的に別個のものとしてオブジェクト/プロセスを描いているが、このような描写は単に例示的な目的のためにすぎない。この図に描かれているオブジェクト/プロセスが別々のソフトウェアコンポーネント、ファームウェアコンポーネントあるいはハードウェアコンポーネントを任意に結合、または、別々のソフトウェアコンポーネント、ファームウェアコンポーネントあるいはハードウェアコンポーネントに任意に分割できることが当業者にとって明らかになるだろう。さらに、このようなオブジェクト/プロセスが、これらがどのように結合または分割されるのかには関係なく、同じ情報処理装置で実行できる、あるいは1つまたは複数のネットワークにより接続される様々な情報処理装置の間で分散して実行できることも当業者に明らかになるであろう。
該情報処理装置(例えば、デスクトップPC、ラップトップPC、PDAなど)は、例えば、ユーザの指示情報(ユーザ動作)等を入力する入力部、プロセッサによる実行の際の作業領域を形成すると共にプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果を表示画面上に表示する表示部、及びデータをネットワークなどに出力する出力部などを含む。プロセッサは、プログラム(ソフトウェア)を読み出し実行することにより、処理対象のデータ等に対し当該プログラムの手順に対応した処理をする。
モニタコンポーネント202は、デジタルコンテンツの1つまたは複数の表示とインタラクションする間のユーザ動作をモニタできる。第1の表示とのユーザインタラクションをモニタすることの一部として、コンポーネント202は、ユーザがインタラクションする表示の領域に対応する入力を受け取ることができる。例えば、モニタコンポーネント202は、ユーザが選択する、あるいは、ユーザが入力を提供する表示の領域を識別する入力を受け取ることができる。このような入力はコンテンツのテキストの一節を「強調表示すること」、画像またはドキュメントの一部を選択すること(例えば、領域を識別する、または、選択するために入力装置で「クリックし、ドラッグすること」)、及び、サムネール、ハイパーリンク、または、ホットスポット及び他の選択可能な領域を選択することを含む場合がある。いくつかの実施形態では、モニタコンポーネント202は、ある領域(複数の場合がある)が、どの程度頻繁に、または何回くらい、領域がインタラクションされるのか、あるいは、どの順序でユーザが領域をインタラクションするのかをモニタできる。
1つの実施形態では、モニタコンポーネント202は、表示のアクティブな領域の選択をモニタできる。アクティブな領域は、ユーザ入力を受け取る、及び/あるいは、ユーザ入力に応じて動作を提供するように適応されるコンテンツの表示の任意の地理的な領域を含む場合がある。本発明を限定しない例によれば、ハイパーリンク、ホットスポット、ユーザによって供給されるテキストデータなどのデータを受信するための領域、及び、領域の選択と関連付けられる動作を有する領域は、すべて対応するアクティブな領域を有する。インタフェースの、あるいはウェブページ、ドキュメント等のメニュー項目またはボタンは対応するアクティブな領域を有する場合がある。本発明を限定しない別の例によれば、ソフトウェアアプリケーションのためのGUIの表示は、メニューアイテム、ボタン、データ入力フィールド等に対応するアクティブな領域を有してよい。インタフェースのメニューアイテムは、インタフェース及びその特徴、機能、属性、オプションまたはコマンドを含む基礎を成すアプリケーションを呼び出す、編集する、または活用するために選択できる任意の領域を含むことがある。
デジタルコンテンツの表示とインタラクションする間のユーザ動作をモニタするために、本発明に従って多様な技法を使用できる。このような技法のどれかが使用でき、本開示の範囲内にあることが関連技術の当業者によって理解されるだろう。本発明を限定しない例によれば、モニタコンポーネント202は、デバイスまたはアプリケーションによって受信されるすべての入力またはいくつかの入力をモニタできる。モニタは入力のタイプを決定するだけではなく、入力が提供または受信されたことを決定することも含む場合がある。ある実施形態では、モニタコンポーネント202は、デバイスドライバまたはアプリケーションプログラミングインタフェース(API)にアクセスできる。例えば、マウスクリックなどの入力装置イベントは、デバイスドライバまたはAPIにアクセスすることによって決定できる。モニタコンポーネント202は、どの種類のインタラクションが発生したのか、及びどこでインタラクションが発生したのかだけではなく、インタラクションが発生したと判断するためにもこのようなイベントをモニタすることができる。ある実施形態では、コンポーネント202はイベントのような入力を通知されるように構成される。
論理コンポーネント204は情報を決定し、図1のフローチャートに従って多様な機能及び/またはステップを実行することができる。例えば、論理コンポーネント204は、図1のステップ104でユーザ動作を使用してインタラクション情報を決定するために使用できる。さらに、論理コンポーネント204は情報を決定し、図1に示されない多様な機能及び/またはステップを実行できる。論理コンポーネント204は、1つの実施形態でコンポーネント202によってモニタされるユーザ動作からインタラクション領域を決定できる。
インタラクション領域は、ユーザがインタラクションする表示の任意の地理上の区域を含む場合がある。ユーザから受け取られる入力は、インタラクション領域を決定する、及び/または画定するために使用できる。例えば1つの実施形態では、モニタコンポーネントが、ユーザが表示に入力を提供したと判断する。論理コンポーネント204は情報を受け取り、受け取られた入力に対応する領域を決定できる。本発明を限定しない例によれば、論理コンポーネント204は、入力装置ドライバによって生成されるイベントを受け取る、または、リトリーブすることができ、該イベントに対応する表示の領域を決定できる。
本発明を限定しないシンプルな例では、論理コンポーネント204は、ユーザが入力を提供した領域に対応するピクセル座標(複数の場合がある)を決定できる。インタラクション領域を識別する情報は、インタラクション領域に対応するx、y座標を含むことがある。他の例では、矩形の2つの角を識別する2つの点などの2つのx、y座標を、インタラクション領域または座標を識別するために使用でき、半径を円形のインタラクション領域を識別するために使用できる。ユーザは、表示の領域を識別するために「クリックアンドドラッグ」してよい。ユーザの入力により画定される領域は受け取られた入力に対応する座標を使用して決定、識別できる。領域を識別するための技術で既知の任意の方式または技法は、本発明の実施形態に従って使用できる。
1つの実施形態では、ソフトウェアアプリケーションのAPIは、インタラクション領域を決定するためにアクセスされることができる。例えば、多くのスライドショープレゼンテーションソフトウェアアプリケーションでは、インタフェースを通して提示されるコンテンツのテキスト領域、画像領域及び他の領域がテキストボックス境界などの境界により画定される。APIにアクセスすることによって、これらの境界内の選択を決定できる。選択から、選択に対応するテキスト領域または他の領域がインタラクション領域であると決定できる。
1つの実施形態では、論理コンポーネント204はインタラクション領域を決定するために入力を推定できる。例えば、論理コンポーネントはテキストの一節の中でシングルクリックを示すイベントを受け取ることができる。該シングルクリックは該テキストの一節の中の単一のピクセル座標に相当し、単一のピクセル座標により表すことができる。論理コンポーネント204はイベントを受け取り、テキストの一節全体に相当するインタラクション領域を推定し、決定するために該情報を使用することができる。例えば、論理コンポーネントは該テキストの一節に相当する領域を画定する2つまたは3つ以上のピクセル座標を決定できる。
さらに、領域近くの場所で入力を受け取ることは、領域がインタラクション領域であると判断するために使用できる。これは、複数のユーザまたは単一のユーザのある期間にわたるインタラクションがモニタされている状況で有効な場合がある。ユーザ(複数の場合がある)は、関心が同じ領域内にすべてある場合にも、正確に同じ領域を選択しないかもしれない。この実施形態では、領域近くの選択は領域がインタラクション領域であると判断するために使用できる。
アクティブな領域もインタラクション領域であると判断できる。1つの実施形態では、
アクティブな領域で、または、アクティブな領域近くで受け取られたユーザ入力は、アクティブな領域がインタラクション領域であると判断するために使用できる。例えば、ホットスポットまたはハイパーリンクのユーザ選択は、該ハイパーリンクまたはホットスポットに対応する該アクティブ領域がインタラクション領域であると判断するために使用できる。
論理コンポーネント204は、メニューアイテム、ボタン、及び、ユーザがインタラクションするインタフェースまたは他のコンテンツの他の類似したアクティブな領域に対応する固有の識別子をさらに決定できる。例えば、1つの実施形態では、APIは、メニューアイテムに対応するアクティブな領域が選択されたと判断するためにアクセスされることができる。次に、メニューアイテムの可変名などの固有の識別子が決定できる。固有の識別子は第2の表示の対応するアクティブな領域を決定するために追跡調査できる。
固有の識別子は、第1のウェブページの表示とのインタラクションが第2のウェブページの表示を変形するために使用される場合にも有効である場合がある。例えば、図5A及び図5Bに描かれている、ウェブページの表示のユーザ名の入力のための「送信」ボタンまたはフィールドはインタラクション領域であると判断されてよい。インタラクション領域の識別は、選択されたページの領域を決定するために、インターネットブラウザのAPIにアクセスすることによって決定されることができる。選択された領域を決定した後に、該ウェブページのためのドキュメントファイル(例えばhtmlファイル)にアクセスし、該領域の固有の識別を決定できる。例えば、ウェブページのテキスト入力フィールドはhtmlドキュメントの「username.input」などの識別によって示されてよい。htmlドキュメントからの識別は追跡調査できる。
論理コンポーネント204は、さらに、ハイパーリンクに相当するインタラクション領域を識別するために宛て先ユニバーサルリソースロケータ(URL)を決定することができる。例えば、インターネットブラウザのAPIはユーザによって選択されるリンクを決定するためにアクセスされることができる。APIにアクセスすることによって、ハイパーリンクの宛て先URLアドレスを決定できる。1つの実施形態では、URLはハイパーリンクを含むウェブページの識別とともに維持できる。
1つの実施形態では、論理コンポーネント204は、インタラクション情報を決定することの一部として、インタラクション領域に対応する領域を決定できる。本発明を限定しない例によれば、インタフェースの第1の表示の「閉じる」メニューアイテムに対応する領域がインタラクション領域であると判断されてよい。メニューアイテムは、図9に示されるような「×」などのグラフィックによって表示されてよい。モニタコンポーネント202は、入力がメニューアイテムに対応する領域で受け取られた、あるいは、提供されたと判断できる。論理コンポーネントは、次にメニューアイテムに対応するグラフィックを決定できる。論理コンポーネント204は、該グラフィックまたは該グラフィックのための情報を記憶するファイルを決定するためにAPIにアクセスしてよい。画像は、後で第2の表示を変形する際に使用するために追跡調査できる。追跡調査されたグラフィックの画像比較は第2の表示のグラフィックと行うことができる。一致するグラフィックは対応するインタラクション領域であると判断することができ、したがって、変形できる。画像比較は任意の2つの画像間の対応する領域を決定するために適用できる。例えば、ある人物の顔はインタラクション領域であると判断されてよい。該顔を追跡調査し、以後の画像で一致する顔を決定するために比較することができる。このようにして第1の画像とのインタラクション情報は、第2の画像の表示を変形するために使用できる。
インタラクション領域を識別する他の情報を、本発明の実施形態に従って使用できることは、当業者により理解されるだろう。さらに、他の技法をここに説明されるインタラクション領域の種類のいくつかを識別するために使用できる。例えば、ハイパーリンクに対応するアクティブ領域は、説明されたようにピクセル座標によって識別できるであろう。同様に、メニューアイテム等に対応するインタラクション領域を識別するために座標を使用できる。
1つの実施形態によれば、論理コンポーネント204は、程度評価コンポーネント及びシーケンス評価コンポーネント(図示せず)を含むことがある。該評価コンポーネントはインタラクション自体を評価するだけではなく、インタラクション領域とインタラクションする間のユーザ動作を評価することもできる。1つの実施形態では、評価コンポーネントは、図1のステップ104でインタラクション情報を決定するとともにインタラクション情報を評価できる。これらの評価コンポーネントは、インタラクション領域とのインタラクションの程度を決定し、インタラクション領域とのインタラクションのシーケンスを決定するためにインタラクションを評価できる。複数のインスタンスでの複数のユーザまたは単一のユーザの統合され、平均化され、あるいは結合されたインタラクションはユーザインタラクションを評価するために使用できる。
1つの実施形態によれば、程度評価コンポーネントはどのくらい頻繁に、あるいはどのくらいの回数インタラクション領域が選択されるのかを評価できる。評価はインタラクション領域とのインタラクションの程度を識別するインタラクション情報を決定するためにステップ104で使用できる。例えば、一または複数のユーザがインタラクション領域を選択する回数をユーザインタラクションの評価から求めることができる。ユーザインタラクションを識別する情報を決定し、インタラクション領域の識別とともに記憶することができる。別の実施形態では、インタラクション領域とのインタラクションの相対的な程度をユーザインタラクションの評価から決定できる。インタラクション領域が、他のインタラクション領域に関連して選択される回数を求めることができる。相対的なインタラクションを識別する情報を追跡調査し、変形で使用できる。ユーザインタラクションの評価は、まったく追跡調査すべきでないいくつかの領域を判断するためにも使用できる。例えば、一度選択された領域は追跡調査を保証するほど十分に重要ではないと判断されることがある。
シーケンス評価コンポーネントは、一または複数のユーザが表示とインタラクションするシーケンスを決定するためにユーザインタラクションを評価できる。ユーザインタラクションは1つの実施形態でインタラクション領域とのインタラクションのシーケンスを決定するために評価できる。評価は、インタラクション領域とのインタラクションのシーケンスを識別するインタラクション情報を決定するためにステップ104で使用できる。インタラクションのシーケンスを識別する多様な情報は、多様な実施形態に従って使用できる。例えば、一または複数のユーザがインタラクション領域を選択する順序を決定できる。1つの実施形態では、複数のユーザのインタラクションを、シーケンス情報を決定するために、統合、加重、平均化、及び/または、結合できる。インタラクションのシーケンスを識別する情報は、インタラクション領域に動画シーケンスを適用することにより第2のインタフェースの表示を変形するときに非常に有効となる場合がある。
情報維持コンポーネント208は、インタラクション情報を維持できる。1つの実施形態では、維持コンポーネントは図1のステップ104で決定される情報を維持する。1つの実施形態では、ファイルまたは記憶装置を該情報を維持するために使用できる。本発明を限定しない例によれば、インタラクション情報はキャッシュメモリまたはより不変なメモリに記憶または維持することができる。さらに、インタラクション情報は、特定のアプリケーション及び/またはアプリケーションに所望される機能性に応じて、クライアント、サーバ、またはプロキシにより記憶または維持できる。
ユーザインタラクションに関係する情報は、デジタルコンテンツの表示を変形する際に使用するために記憶できる。シンプルな例では、第1の表示のインタラクション領域の識別は、後で第2の表示を変形する際に使用するために記憶できる。さらに、インタラクション領域とのインタラクションの程度に関する情報を記憶できる。例えば、領域がインタラクションされた回数、または、表示の他のインタラクション領域を基準にしたインタラクション領域とのインタラクションの割合を記憶することができる。さらに、インタラクション領域とのインタラクションのシーケンスに関する情報を記憶できる。ファイルの中の情報にアクセスし、提示時にデジタルコンテンツの表示を変形するために使用できる。
いくつかの実施形態では、維持コンポーネント206は、インタフェースまたは他のデジタルコンテンツの表示がどのようにして変形されなければならないのかに関する情報を維持できる。この変形情報は、インタラクション情報とともに維持することができる。例えば、インタラクション領域の識別は、インタラクション領域を変形する方法に関する情報とともに記憶できる。情報は、領域が拡大されるのか、あるいはズームされるのか、アクティブ領域を拡張するのか、動画を領域に適用するのか等を指定してよい。
本発明の1つの実施形態では、インタラクション情報は、インタラクション情報が関係するデジタルコンテンツの識別とともに維持される。例えば、ファイルは、インタフェースを識別する情報、インタフェースのインタラクション領域の識別、各インタラクション領域とのインタラクションの程度に関する情報、及びインタラクション領域とのインタラクションのシーケンスを識別する情報を含むことがある。
ウェブページとのインタラクション情報が追跡調査される例を考えてみる。インタラクション情報を維持するために使用されるファイルは、(URLアドレスなどの)ウェブページを識別する情報、(ウェブページから得られるハイパーリンクに対応するURLアドレスまたはピクセル座標などの)ウェブページのインタラクション領域を識別する情報、インタラクションが選択された、あるいは最もよく選択される順序を識別する情報、及び、各インタラクション領域がインタラクションされた回数を識別する情報を含んでよい。
インタラクション情報を維持するために使用されるファイルまたは他の記憶装置は、デジタルコンテンツの複数の表示について情報を含むことがある。例えば、1つのファイルが、インタフェースとコンテンツのそれぞれについてのインタラクション情報とともに、多数のインタフェースの識別、及びウェブページとドキュメントなどの他のコンテンツを含むことがある。
1つの実施形態では、インタラクション情報は、デジタルコンテンツのための他の情報に追加できる、あるいは、他の情報の中に埋め込むことができる。本発明を限定しない例によれば、インタラクション情報は、(例えば.txtファイルなどの)デジタルドキュメントファイル、(.htmlファイルまたは.jspファイルなどの)ウェブページファイル、あるいはソフトウェアアプリケーションのためのファイルに追加、結合または中に組み込むことができる。インタラクション情報は、表現されるときにデジタルコンテンツの表示を変形するためにアクセスできる。
変形コンポーネント208は、デジタルコンテンツの第2の表示を変形するために使用できる。1つの実施形態では、変形コンポーネント208は、図1のステップ108でデジタルコンテンツの第2の表示を変形するために使用できる。変形コンポーネント208は、他のアプリケーションによって表現される、あるいは表現されるべきデジタルコンテンツの表示を変形するだけではなく、専用のインタフェースを通してデジタルコンテンツの表示を変形することができる。例えば、ワープロアプリケーションのGUIを通して提示されるデジタルドキュメントの表示を変形できる。
多数のソフトウェアアプリケーション及びこのようなアプリケーションで提示されるコンテンツが多様な実施形態によって益を得ることができることが理解されるであろう。例えば、本発明を制限するものではないが、インターネットブラウザ、メディアプレーヤ/エディタ、ワープロアプリケーション、スライドプレゼンテーション/作成アプリケーション、e−ブックリーダー、及び、オペレーティングシステムユーザインタフェースはすべて実施形態から益を得ることができる。1つの実施形態では、ソフトウェアはこのようなアプリケーションの中に組み込むことができる。1つまたは複数のコンポーネントがアプリケーションに追加できることが理解されるであろう。例えば、アプリケーションはインタラクション情報を受信するために適応される変形コンポーネントを含んでよい。例えば、アプリケーションを改善するために、コードが、アプリケーションの基礎を成すコードに追加されてよい。他の実施形態では、別個のアプリケーションが、アプリケーションの改善のために、他のアプリケーションと「同時に」実行できる。
例えば、1つの実施形態では、実施形態によるアプリケーションはスタンドアロンアプリケーションとして実現される。スタンドアロンアプリケーションは、ウェブページ、ドキュメント、スライド等の表示を提示する、編集する、及び/または変形するための専用のユーザインタフェースで実現されてよい。
別の実施形態では、バックグラウンドアプリケーションが、プレゼンテーション及びサードパーティインタフェース自体とのインタラクションだけではなく、プレゼンテーション及びサードパーティインタフェースを通して提示されるウェブページ、ドキュメント、画像等の表示とのインタラクションを改善するために実現できる。バックグラウンドアプリケーションは、プレゼンテーション及び同じデジタルコンテンツまたは他のデジタルコンテンツの他の表示とのインタラクションを改善するためにインタフェース及び他のデジタルコンテンツの表示を含む複数の表示とインタラクションする間のユーザの動作をモニタできる。
バックグラウンドアプリケーションの実現では、多様なコンテンツ及びアプリケーションとインタラクションする間のユーザ動作を、インタフェースを通して提示されるソフトウェアアプリケーションインタフェース及びコンテンツのプレゼンテーションを改善するために途切れなく追跡調査できる。アプリケーションは、動作をモニタし、インタラクション情報を維持し、ユーザの介入なしに、及びインタフェースまたはコンテンツとのユーザの一般的なインタラクションと干渉せずに、コンテンツとインタフェースの表示に変形を適用できる。
本発明による実施形態は、クライアント側アプリケーション、サーバ側アプリケーション、プロキシアプリケーション、またはその多様な組み合わせとして実現できる。したがって、図2のコンポーネント及び図1のステップは、ある特定のアプリケーションの所望される機能性に応じて、クライアント側デバイス、サーバ、またはプロキシサーバ上で、任意の組み合わせで分散及び/または実現できる。すべての組み合わせは本開示の範囲内であると考えられる。
例えば、第1の表示とインタラクションする間のユーザ動作は、サーバ、クライアントまたはプロキシにインストールされるモニタコンポーネントによりモニタできる。同様に、インタラクション情報は論理コンポーネントによって決定され、サーバ、クライアントまたはプロキシにインストールされる維持コンポーネントによって維持できる。さらに第2の表示はサーバ、クライアントまたはプロキシで実現される変形コンポーネントによって変形できる。さらに、いくつかの実施形態では、コンポーネントのインスタンスまたはコピーが複数の場所で実現できる。
例えば、シンプルな実施形態では、モニタコンポーネント202は、クライアントデバイスで提示されるインタフェース及びコンテンツの表示とインタラクションする間のユーザ動作をモニタするために、クライアントデバイスで実現できる。論理コンポーネント204はインタラクション情報を決定し、維持コンポーネント206はクライアントデバイスでの情報を追跡調査できる。第2の表示がインタラクション情報を使用してクライアントデバイスでのプレゼンテーションのために変形されなければならない場合、クライアントデバイスでの変形コンポーネント208は第2の表示を変形できる。第2の表示がインタラクション情報を使用して第2のデバイスでのプレゼンテーションのために変形されなければならない場合、インタラクション情報は、変形コンポーネント208が第2の表示を変形できる第2のデバイスで受け入れることができる。多様な実施形態では、変形コンポーネントは多様な技法を使用して表示を変形できる。クライアントデバイスでの変形コンポーネントは、元のコンテンツを修正することなく、対応するインタラクション領域を変形するために、ドキュメントオブジェクトモデルにアクセスしてよい。
本発明による他の実施形態は、サーバ側アプリケーションとして実現できる。サーバと通信する複数のデバイスとのユーザインタラクションは、インタラクション情報を決定するために使用できる。サーバと通信する任意のマシンで提示される表示を変形するために使用できるように、サーバで情報を追跡調査できる。1つの実施形態では、サーバ側変形コンポーネントは、送信される前に元のコンテンツを修正できる。
別の実施形態はプロキシサーバベースのアプリケーションとして実現できる。プロキシサーバは、コンテンツ、イベント、コマンド、命令等を含む情報の転送を処理するためにクライアントとサーバとの間をインタフェースすることができる。例えば、ウェブベースの状況では、プロキシサーバはウェブブラウザなどのクライアントベースのアプリケーション、及び、ウェブサーバなどのサーバ側アプリケーションの間で要求及び転送を処理できる。
プロキシサーバベースの実施形態では、1または複数のユーザによるインタフェース及びコンテンツの表示とのインタラクションは、プロキシサーバを通過するコンテンツの表示を変形するために維持、使用できる。1つのプロキシベースの実施形態では、モニタコンポーネント202が(PDA、PC等の)クライアントで実現できる。モニタコンポーネント202は、クライアントデバイスで提示されるコンテンツの表示とのユーザインタラクションをモニタできる。論理コンポーネント204はクライアントで実現でき、モニタされたユーザインタラクションに基づいてインタラクション情報を決定できる。インタラクション情報は、当該技術で既知である任意のシステムまたは技法を使用してプロキシサーバに転送できる。
別の実施形態では、モニタコンポーネント202及び論理コンポーネント204は、プロキシサーバで実現できる。本発明を限定しない例によれば、Java(登録商標)スクリプトを含むウェブページの表示の中での選択に対応するオブジェクトは、プロキシサーバに、及び/または、プロキシサーバを通して転送できる。モニタコンポーネント202は、さらにハイパーリンク及び表示の中の他のアクティブな領域の選択をモニタできる。モニタコンポーネント202は、ユーザインタラクションをモニタするために選択に対応するオブジェクト及びイベントの伝送を含むメッセージをモニタできる。論理コンポーネント204は、選択に対応する領域などのインタラクション情報を決定するために受け取られた情報を使用できる。多様なプロキシベースの実施形態では、モニタコンポーネントと論理コンポーネントとは、クライアント及び/またはプロキシで実現できる。
情報維持コンポーネント206はプロキシサーバで実現できる。1つの実施形態では、維持コンポーネントはインタラクション情報を記憶する1つまたは複数のファイルとして実現できる。別の実施形態では、維持はサードパーティを含む任意の場所で維持できる。変形コンポーネントと論理コンポーネントは、サードパーティにある維持コンポーネントからの情報を受け入れる、及び/または、リトリーブすることができる。1つの実施形態では、情報維持コンポーネントのプロキシまたはサードパーティでの実現が、第1のユーザのインタラクション情報を使用する第2のユーザのためにコンテンツの表示を変形するために使用できる。例えば、第1のユーザのインタラクション情報はプロキシ、サーバ、あるいは、ネットワーク上で維持できる。プロキシ、サーバ、または、ネットワークを通して、第2のユーザによりアクセスされるコンテンツの表示は、第1のユーザのインタラクション情報を使用して変形できる。
1つの実施形態では、変形コンポーネント208はプロキシで実現される。プロキシサーバでは、インタラクション情報が、プロキシサーバを通してアクセスされるインタフェース及びコンテンツの表示の変形で使用できる。例えば、ユーザは、ウェブブラウザまたは他のクライアントベースのアプリケーションを使用してウェブページを要求してよい。プロキシはウェブサーバから(または例えば、キャッシュに入れられている場合にはローカルに)ウェブページをリトリーブできる。変形コンポーネント208は、要求されたウェブページの表示を、それがユーザに送信される前に変形するために維持コンポーネント206によって維持されるインタラクション情報を使用できる。1つの実施形態では、ウェブページに対応する.htmlドキュメント及び/またはJava(登録商標)スクリプトコードなどのデータファイルは、該ファイルをユーザに送信する前に修正できる。変形コンポーネント208は、要求されたウェブページ、または、他のウェブページあるいは類似したコンテンツにより過去に決定されたインタラクション情報を使用できる。1つの実施形態では、プロキシベースのアプリケーションが、コンテンツを受け取るデバイスの種類に基づいてインタフェースまたはコンテンツの表示を変形できる。
別の実施形態では、変形コンポーネント208は、クライアントデバイスで実現できる。インタラクション情報は要求されたウェブページのためのデータとともに要求側クライアントに転送できる。変形コンポーネントは、クライアントデバイスでのプレゼンテーションの前にウェブページの表示を変形できる。
図3は、デジタルコンテンツの表示を変形するための1つの実施形態によるフローチャートである。この図は例示の目的のためにある特定の順序で機能ステップを描いているが、プロセスはステップの特定の順序または配列に制限されない。当業者は、この図に描かれている多様なステップが、多様な方法で省略、再配列、結合及び/または適応できるであろうことを理解するであろう。
1つの実施形態では、当該フローチャートは、デジタルコンテンツの第2の表示を変形するときに図1のステップ108とともに実行できる。図4はデジタルコンテンツの表示を変形するために使用できる例示的なシステムを示している。この図は論理的に別個としてオブジェクト/プロセスを描いているが、このような描写は例示的な目的のために過ぎない。この図に描かれているオブジェクト/プロセスが別々のソフトウェアコンポーネント、ファームウェアコンポーネント、またはハードウェアコンポーネントを任意に結合することができ、または、別々のソフトウェアコンポーネント、ファームウェアコンポーネント、またはハードウェアコンポーネントに任意に分割できることは当業者に明らかであろう。さらに、このようなオブジェクト/プロセスが、それらがどのように結合または分割されるのかに関係なく、同じ情報処理装置で実行できる、あるいは1つまたは複数のネットワークによって接続されるさまざまな情報処理装置の間で分散できることも当業者に明らかとなるであろう。多様な実施形態では、図4のシステムは変形コンポーネント208として、及び/または図3のフローチャートを実行するために実現できる。
ステップ302では、インタラクション情報を受け入れることができる。1つの実施形態では、インタラクション情報は、情報維持コンポーネント206から変形コンポーネント208で情報を受信することによって、受け入れられる。情報受理コンポーネント402は、他のアプリケーションを含む任意の記憶場所からインタラクション情報を受信する、及び/または、リトリーブすることができる。本発明を限定しない例によれば、受理コンポーネントは、デジタルコンテンツのための情報を含むファイルからだけではなく、専用記憶装置からのインタラクション情報にもアクセスできる。
ステップ304では、第1の表示のインタラクション領域に対応する第2の表示の領域を決定できる。論理コンポーネント404の領域決定部406は1つの実施形態において対応する領域を決定できる。
インタラクション領域を識別する多様なタイプの情報に従って、領域決定部406は対応するインタラクション領域を決定できる。第1の表示のインタラクション領域を識別するピクセル座標(複数の場合がある)は、1つの実施形態で第2の表示の対応する領域を決定するために使用できる。第2の表示の対応するインタラクション領域は、2つの表示の縮尺比に従って座標(複数の場合がある)を縮尺することにより決定できる。
固有の識別子は、表示の対応するインタラクション領域を識別するためにも使用できる。第2の表示の対応するインタラクション領域は、第2の表示の対応する固有の識別子を識別することによって決定できる。多様なソフトウェアアプリケーションが、第2のインタフェースの対応する領域を変形するために使用できる同じまたは類似した固有の識別子を使用してよい。例えば、ソフトウェアアプリケーションインタフェースのメニューアイテムに対応するインタラクション領域は、固有の識別子によって特定できる。第2のアプリケーションの対応する固有の識別子は第2のアプリケーションのインタフェースの表示の中の対応する領域を決定するために識別できる。固有の識別子は、ソフトウェアアプリケーション用のGUIの第1の表示とのインタラクションがソフトウェアアプリケーションのGUIの第2の表示を変形するために使用される実施形態で使用できる。さらに、第1のソフトウェアアプリケーションのGUIとのインタラクションが第2のソフトウェアアプリケーションのGUIを変形するために使用される場合に、固有の識別子が使用できる。
固有の識別子は、第1のウェブページまたは類似するドキュメントの表示とのインタラクションが第2のウェブページまたはドキュメントの表示を変形するために使用されるときにも使用できる。第2のウェブページのためのhtmlドキュメントなどのドキュメントまたはファイルは、対応するインタラクション領域を決定できる対応する固有の識別子を識別するために検索できる。宛て先URLアドレスは、ウェブページのためのアプリケーション内の第2のインタフェースの対応する領域を決定するために使用できる。ハイパーリンクに対応する第1のウェブページのインタラクション領域はハイパーリンクの宛て先URLアドレスを使用して識別できる。第2のウェブページを表すファイルまたはドキュメントは、同じ宛て先URLアドレスを有するハイパーリンクを識別するために検索できる。URLアドレスから、第2のウェブページの表示の対応する領域が決定できる。
画像比較も第2の表示の対応する領域を決定するために使用できる。インタラクション領域に対応する画像または他のグラフィックは、インタフェースなどの第1の表示のインタラクション領域を識別するために使用できる。領域決定部406は、画像またはグラフィックを、第2のインタフェースの画像またはグラフィックなどの第2の表示の領域の画像またはグラフィックと比較できる。第2の表示の対応する領域は照合比較から決定できる。
ステップ306で、第2の表示の対応する領域に適用する変形のタイプを決定できる。1つの実施形態では、適用する変形のタイプを識別する情報がインタラクション情報の一部として維持できる。変形のタイプは、ステップ104で決定されたインタラクション情報とともに記憶できる。情報がアクセスされると、タイプ決定部408が指定された情報から適用する変形のタイプを決定できる。
別の実施形態では、変形のタイプはインタラクション情報とともに維持されない。このような実施形態では、タイプ決定部408は、変形のデフォルトタイプのセット、ユーザによって指定されるタイプの変形から変形のタイプを決定でき、及び/または、タイプ決定部はインタラクション情報を評価することにより変形のタイプを決定できる。1つの実施形態では、タイプ決定部408が変形のタイプを決定する上で使用される規則セットを含む。インタラクション領域は該規則に従って評価でき、変形のタイプが決定できる。例えば、タイプ決定部408は、アクティブな領域の変形が対応するアクティブインタラクション領域に適用され、ズームされたレイアウト変形が規則セットを使用して他の対応するインタラクション領域に適用されると判断してよい。
ステップ308で、第2の表示の対応する領域に適用する変形量が決定できる。変形のタイプと同様に、インタラクション領域に適用するための変形量を識別する情報は1つの実施形態でのインタラクション情報とともに維持できる。他の実施形態では、変形量は、変形量のデフォルトセット、ユーザによって指定される変形量を用いて、及び/または、インタラクション情報の評価から量決定部410によって決定できる。ユーザが構成できる規則セットが1つの実施形態で使用できる。本発明を限定しない例によれば、量決定部410は変形量を求めるためにインタラクション領域とのインタラクションの程度及びシーケンスに関する情報にアクセスできる。対応するインタラクション領域に適用される変形量は、領域がインタラクションされる回数に従って、あるいは領域との相対的なインタラクションに従って増加できる。
ある実施形態では、第2の表示の領域のための変形のタイプと量を決定することは、対応するインタラクション領域に適用するための動画シーケンスを決定することを含む。論理コンポーネント404は、インタラクション情報の程度とシーケンスを使用して動画シーケンスを決定できる。例えば、インタラクション領域の変形の順序はシーケンス情報から決定でき、より関心を有される領域またはインタラクション領域は、動画中でより長い期間提示することができ、あるいは、動画中でより大きな量分変形できる。他の変形と同様に、動画シーケンスはインタラクション情報とともに維持できるか、あるいは、動画シーケンスはインタラクション領域のタイプなどの情報から論理コンポーネント404によって決定できる。
本発明による1つの実施形態では、変形のタイプと量とはユーザが指定するパラメータから決定できる。例えば、本発明の例示的な適用は、変形の量とタイプとを決定する際に使用される規則について構成可能な変形オプションを含むことができる。ユーザは変形のタイプ、変形量、変形を適用するかどうか、どのような種類の領域に変形を適用するのか、を選択できる。ユーザは変形を適用するかどうか、及び適用する場合にはどのようなタイプの変形を適用するのかを選択することができる。ユーザは、さまざまな変形をさまざまなタイプの識別されたインタラクション領域に適用させることを選択できる。さらに、ユーザはいくつかのアプリケーションインタフェースとコンテンツの表示に変形を適用させ、インタフェースとコンテンツの他の表示に適用させないことを選択できる。例えば、バックグラウンドアプリケーションインプリメンテーションでは、ユーザは、単に、自分のインターネットブラウザまたはワープロプログラムに変形を適用させ、コンテンツをプログラムのインタフェースを通して提示させることを選択できるだろう。さらに、ユーザは、デジタルコンテンツの他の表示ではなく、デジタルコンテンツの特定の表示に変形を適用させることを選ぶことができる。例えば、ユーザは、変形を、ラップトップまたはデスクトップでそれらを表示しているときではなく、PDAでそれらを表示しているときに、ソフトウェアアプリケーションインタフェースの表示に適用させることを選択してよい。1つの実施形態では、ユーザが指定するパラメータは第2の表示を提供する時点での変形の量とタイプとを決定するために使用できる。他の実施形態では、ユーザが指定するパラメータはインタラクション情報とともに維持できる。
ステップ310では、変形の量とタイプとが第2の表示に適用できる。1つの実施形態では、変形適用コンポーネント412が第2の表示に変形を適用できる。ステップ306と308とで決定される情報を使用して、変形はステップ304で決定される対応する領域に適用できる。
本発明を限定しない例によれば、変形適用コンポーネント412が、コンテンツの外観または表示を変更するために、デジタルコンテンツのドキュメントオブジェクトモードにアクセスすることによって第2の表示に変形を適用できる。オブジェクトがコンテンツの中でどのように表示されるのかの指定を決定できる。さらに、属性がどのようにしてオブジェクトと関連付けられるのか、及び、それぞれをどのようにして操作できるのかが決定できる。属性及びオブジェクトは、その後、インタラクション情報に従って操作できる。1つの実施形態では、元のデジタルコンテンツは第2の表示を変形するために修正されない。他の実施形態では、デジタルコンテンツ自体を修正する、及び/または操作することができる。1つの実施形態では、変形は、表示が表現されるときに動的に適用できる。
1つの実施形態では、変形は倍率が変換された表示にだけ適用される。表示サイズは、同じまたは類似したデジタルコンテンツの公称表示サイズに比較されてよい。当該表示が、倍率が変更された表示であると判断される場合には、インタラクション情報は表示を変形するために使用できる。別の実施形態では、変形は縮小される表示だけに適用される。
変形は、デジタルコンテンツの元の表示に、及び/または、同じデジタルコンテンツの、または、異なるデジタルコンテンツの他の表示に適用できる。例えば、ユーザはデスクトップマシンのデジタルコンテンツの表示、及び、PDAのデジタルコンテンツの別の表示とインタラクションしてよい。デスクトップマシンで提示される表示とのユーザのインタラクションは、PDAで同じコンテンツの表示を変形するために使用されるだろうインタラクション情報を決定するために使用できる。変形はそのように所望される場合、もとの表示または基礎を成すコンテンツに伝搬できるが、変形が元の表示に、あるいは基礎を成すデジタルコンテンツ自体に伝搬することなくPDA上でコンテンツの表示に適用することができる。さらに、デスクトップでの表示とのインタラクションは、デスクトップ上の同じデジタルコンテンツの同じ表示、デスクトップ上の同じデジタルコンテンツの異なる表示、あるいは、デスクトップ上の異なるデジタルコンテンツの表示を変形するために使用できる。実施形態による特定の用途のニーズに応じて、多様なインプリメンテーションを活用できることが当業者に明らかになるだろう。
多様なタイプの変形は、多様な実施形態に従ってデジタルコンテンツの表示に適用できる。前述されたように、アクティブな領域はユーザ入力を受信できる、及び/または、ユーザ入力に応答して処置を提示できる任意の領域を含むことができる。アクティブな領域は多くの場合、アクティブな領域のグラフィック表示によって表示される。例えば、ハイパーリンクに対応するアクティブな領域は多くの場合ハイパーリンク(例えば、テキストの一節、画像等)のグラフィック表示と同じ領域をカバーする。しかしながら、アクティブな領域は、拡大または縮小することができるか、あるいは、アクティブな領域のグラフィック表示に釣り合わないサイズに作ることができる。
図5Aは、デジタルコンテンツの例示的な第1の表示502を示している。本発明を限定しない例によれば、第1の表示502はワープロプログラムなどのインタフェースの、あるいはウェブページ、ドキュメント、画像などのなんらかのコンテンツの、あるいは他のなんらかの適切なコンテンツの表示となる場合があるであろう。表示502は、囲み線によって図示されるアクティブな領域を含むことがある。表示502がインタフェースの表示である場合は、アクティブな領域はメニューアイテム等に対応してよい。表示502が例えばウェブページの表示である場合には、アクティブな領域はハイパーリンク、テキスト入力フィールド、または他の選択可能な領域に対応してよい。囲み線は、アクティブな領域のグラフィック表示ではなく、アクティブな領域自体を描いている。描かれているように、アクティブな領域508aから508dはインタラクション領域であると判断されている。下線は説明の目的のためだけに提供され、表示の中で提示されるだろう実際のコンテンツを表示することは意図されていない。
図5Bは、例示的な対応する第2の表示552を描いている。説明されたように、第2の表示552は第1の表示502の縮尺版、第2のアプリケーションのためのインタフェースの表示、第2の画像等の別のデジタルコンテンツの表示、あるいは第1の表示502と同じ表示である場合があるであろう。第1の表示502からのインタラクション領域の識別を使用すると、表示552の対応するインタラクション領域を変形することができる。描かれているように、アクティブなインタラクション領域558a〜558dは表示の全体的なサイズを基準にして拡大されている。したがって、ユーザは依然として隣接する領域を選択できる一方でインタラクション領域をさらに容易に選択できる。選択可能な領域が大きいほど、ナビゲーション及び選択の簡易化を促進できる。メニューアイテム等を含むアクティブな領域を変形するとき、アクティブな領域またはメニューアイテムのグラフィック表示は、それが可能であっても修正される必要はない。1つの実施形態では、アクティブな領域自体だけが変形できる。他の実施形態では、アクティブな領域は変形でき、グラフィック表示またはレイアウトも後述されるように変形できる。
アクティブな領域は、本発明の実施形態に従って他の技法及び方法を使用して変形できる。図5A及び図5Bは、アクティブな領域の選択可能な範囲を拡大するシンプルな例を示している。別の実施形態では、選択可能な領域はそれらが隣接するアクティブな領域を重複するように拡大できる。さらに別の実施形態では、隣接するアクティブな領域の選択可能な範囲が、インタラクション領域の選択を容易にするために縮小できる。
本発明による1つの実施形態では、ユーザインタラクション及び動作は表示のレイアウトを変形するために使用できる。ユーザ動作及びインタラクションは、アクティブな領域だけではなく、表示の任意の領域を変形するために使用できる。アクティブな領域ではなく、アクティブな領域のグラフィック表示が変形されるという点で、レイアウト変形はアクティブな領域自体を変形することとは異なる。領域のグラフィック表示がアクティブな領域に対応する場合、該アクティブな領域は変形されてもよいし、変形されなくてもよい。ここに説明される変形システム及び方法の多様な組み合わせ及びサブコンビネーションが、多様なアプリケーションとシステムとで有効である場合があることが当業者により理解されるであろう。
インタラクション領域に対応するアクティブな領域のレイアウトを変形すると、インタフェースとのインタラクション、及び/または、デジタルコンテンツの他の表示が改善できる。インタラクション領域に対応するアクティブな領域のレイアウトの変形は、それらが領域とインタラクションできるという、ユーザへの有効なフィードバックを提供できる。変形は、アクティブな領域を検出するために縮小されたコンテンツを検索する重荷を軽減できる。さらに、レイアウトを変形すると、インタフェースまたはコンテンツのプレゼンテーションを改善し、インタフェースとコンテンツとをさらに魅力的にすることができる。
多数の変形技法が、レイアウト変形のための本発明の実施形態に従って使用できる。例えば、インタラクション領域をズームイン/アウトすること、インタラクション領域のフィッシュアイ視野を提示すること、インタラクション領域に対応するアクティブ領域が選択されると提供されるような追加のコンテンツを提供するためにツールチップ機能を使用すること、のすべてが使用できる。変形はインタフェース及びコンテンツのプレゼンテーションをさらに改善するために他の技法と結合できる。1つの実施形態では、インタラクション領域のレイアウトはユーザから受け取られる入力に基づいて変形できる。変形は、ユーザがインタラクション領域の上にカーソルを置いたときに、あるいは、ユーザがインタラクション領域の上にカーソルを置き、マウスなどの入力装置で選択することによって同時に入力を提供すると、発生する場合がある。さらに、PDAを用いるなどのタッチスクリーンをベースにしたインタラクションでは、インタラクション領域のレイアウト変形は、ユーザが画面に入力装置を置く(ペンダウン)と開始でき、個々のインタラクション領域は、カーソルが領域全体で移動されると変形できる。インタフェースを横切ってカーソルを振る、すなわち、移動することによって、ユーザは過去のユーザインタラクションに基づいて関心を有する点を迅速に識別できる。
本発明の1つの実施形態では、レイアウトの変形が動画として実現できる。図6A〜図6Dに示されているように、各インタラクション領域は順々にフォアグラウンドにもたらすことができる。図6Aは、領域602、604及び606がインタラクション領域であると判断された(変形されていない)デジタルコンテンツの第1の表示600を示している。インタラクション領域の回りの囲み線は説明の目的のためだけに提供された。それらは表示の実際のコンテンツを表すことを意図していない。図6B〜図6Dは期間にわたってのデジタルスライドの第2の表示610を示している。対応するインタラクション領域602’、604’及び606’がユーザの注意をインタラクション領域に向けるためにそれぞれ期間中に拡大されるように動画が表示に適用されている。多様な実施形態では、表示610が表現される際に、動画を一度提示してもよいし、動画を複数回繰り返してもよい。
1つの実施形態では、動画は表示を表現すると自動的に発生するように実現できる。他の実施形態では、ユーザにインタラクション領域を迅速に提示するためにユーザ入力が動画と結合できる。例えば、表示上をカーソルを通過させることにより、インタラクション領域の動画をトリガできる。動画はユーザから受け取られる入力に応えることができる。1つの実施形態では、カーソルの垂直位置だけが基礎を成すインタラクション領域の動画を提示するために使用される。表示の上でカーソルを上下に通過させることにより、カーソルと類似した垂直位置にあるすべてのインタラクション領域を動画を使用して変形できる。変形は、カーソルが実際にインタラクション領域を通過するかどうかに関係なく発生できる。
変形は、追跡調査されるユーザインタラクション及び動作の性質にも依存する場合がある。1つの実施形態ではユーザが第1の表示のある特定の領域をインタラクションする回数を追跡調査できる。インタラクション領域が第2の表示の中に表現される際に、インタラクション領域が選択された回数を適用する変形の量を決定するために使用できる。ズームの量あるいはどの程度まで領域を拡大するのかは、ユーザがインタラクションした回数を使用して決定できる。
1つの実施形態では、他のインタラクション領域と比較したインタラクション領域が選択された回数が、変形量を決定するために使用できる。加えて、変形のタイプは領域に決定される関心の程度に依存する場合がある。例えば、頻繁に選択される領域は自動的に拡大または動画化できるが、あまり選択されない領域はカーソルを上に置くと拡大できる。
本発明による1つの実施形態では、第1の表示とのインタラクションまたは動作のシーケンスは第2の表示のレイアウトを変形する際に使用できる。本発明を限定しない例によれば、ウェブページは、多くの場合、ボックス内で提供されるデータの伝送を教唆する(instigate)ためにテキストボックスと「送信」ボタンとを含む。図7A〜図7Cに示されているように、第1のデバイス700上でのウェブページの表示702はデータのウェブページプロバイダへの伝送を教唆するためにユーザデータを受け取るためのテキストボックス704と「送信」ボタン706とを含む場合がある。ページとインタラクションする1または複数のユーザが通常ボックス内にテキストを提供し、次に送信ボタン上にカーソルを置き、その後ボタンを選択することは、ウェブページの表示でユーザの動作を観察、追跡調査することによって決定できる。インタラクションのシーケンスに関して追跡調査される情報は、ウェブページの第2の表示が表現されるときに使用できる。
図7B及び図7Cに示されているように、ウェブページの縮尺された表示702’がPDA708に表現されている。図7Bと図7Cは、ある期間にわたる表示を示している。表示702とのインタラクションに関する情報は、動画を作成するために使用することができ、これによりテキストボックス704’は図7Bに示されているようにデータ受信を促進するために最初に拡大される。その後、図7Cに示されているように、送信ボタン706’をその選択を容易にするために拡大できる。1つの実施形態では、動画は時間ベースであり、ある期間インタラクション領域を変形する。また、動画はユーザ入力に基づくことがある。第1のインタラクション領域は、インタラクションの決定されたシーケンスに基づき変形できる。入力を受け取った後、第2のインタラクション領域が変形できる。前記動画技法は、インタフェースとコンテンツの有用性をさらに改善するためにアクティブ領域の変形と結合することもできる。1つの実施形態では、第1のユーザのウェブページの表示とのインタラクションは、次に第2のユーザに提示されるウェブページの表示を変形するために使用できるインタラクション情報を決定するために使用できる。
多様な実施形態では、任意のインタラクションを変形できる、あるいは、アクティブな領域に対応するインタラクション領域だけを変形できる。いくつかの用途では、すべてのインタラクション領域を変形してから、アクティブな領域に対応するインタラクション領域だけを変形することが役に立つ場合がある。さらに、第1のタイプの変形はアクティブな領域に対応するインタラクション領域に適用されてよく、第2の変形は他のすべてのインタラクション領域に適用されてよい。例えば、カーソルが上にある領域を拡大することによってアクティブではないインタラクション領域を変形することが役立つ場合がある。しかしながら、アクティブなインタラクション領域の場合、それらを自動的に拡大することが役立つことがある。加えて、アクティブではないインタラクション領域が、それがアクティブな領域と重複するように拡大されると、アクティブではない領域の周囲の視覚強調表示などの表示が、アクティブではない拡大領域の下のアクティブな領域の存在を示すために使用できる。
前述されたように、本発明の実施形態によるシステム及び方法は、多様なソフトウェアアプリケーションで機能性を改善するために使用できる。例えば、オーサがスライドプレゼンテーションなどのプレゼンテーションを作成してから、エンドユーザのグループに該プレゼンテーションを提示し、これによりエンドユーザがPDA、ラップトップ、携帯電話等の個人的なデバイスでプレゼンテーションを見ることができるようにするソフトウェアが入手できる。プレゼンタ及びエンドユーザのデバイスは、プレゼンタが、プレゼンテーションを管理し、プレゼンタにより現在選択されるスライドがエンドユーザに提示できるようにネットワークに接続されてよい。ここに使用されるようなスライドは、デジタルプレゼンテーションの一部を形成する任意のコンテンツを参照することを目的としている。本発明を限定しない例によれば、スライドは音声、ビデオ、画像、及び他の任意の適切なコンテンツである、あるいは、これらを含む場合がある。1つの実施形態では、スライドはキャプチャされ、エンドユーザのデバイスで提示される。
図8は、ミーティングソフトウェアアプリケーションとともにインタラクション情報を使用するための実施形態によるシステムである。プレゼンタ804のプレゼンテーションの表示とのインタラクションは、プレゼンテーションを作成する、及び/または、提示する間にモニタできる。インタラクションはコンピュータ802を含む任意のデバイスでモニタしてよい。ある実施形態では、モニタコンポーネントはネットワーク806で実現できる。
ネットワーク806及び/またはデバイス808〜812のモニタコンポーネントは、プレゼンテーションの表示とのユーザインタラクションをモニタできる。ユーザインタラクションをモニタすることには、プレゼンテーションスライドの表示、及び/または、ミーティングソフトウェアアプリケーションのインタフェースの表示内の領域のエンドユーザの選択を含む場合がある。
インタラクション領域はプレゼンテーションの表示とのユーザインタラクションから決定できる。論理コンポーネント204などの論理コンポーネントはインタラクション情報を決定するためにネットワーク806で、またはデバイス808から812上で実現できる。プレゼンテーションのオーサによって、またはアプリケーション自体によって画定される領域(テキスト、画像等)内のインタラクションは境界により画定される領域がインタラクション領域であると判断するために使用できる。ユーザは、例えば領域を「強調表示する」ことによって入力装置を使用して領域を選択することもできる。例えば、エンドユーザは、テキストの一節を別のインタフェース、ファイル、アプリケーション等に「コピーする」ために強調表示してよい。このようなインタラクションにより画定される領域はインタラクション領域であると判断することができる。
1つの実施形態では、ミーティングソフトウェアプレゼンテーションアプリケーションにより、ユーザはプレゼンテーションのコンテンツに注釈を付けることができる。注釈は、プレゼンテーションまたはその一部に対するテキストなどの任意のコンテンツの追加を含む場合がある。注釈はすべての人のデバイス上でのプレゼンテーションの表示に、あるいはインタラクションしているユーザのデバイス上でのローカルな表示に伝搬できる。
1つの実施形態では、エンドユーザが領域を選択し、これに注釈を与えることができるように、デバイス812の拡大された表示装置に示されるテキストボックス820及び822などのコンテンツの予め定義された領域を設けることができる。これらの注釈可能な領域は、テキストボックス820のアクティブな領域826などの対応するアクティブな領域を有する場合がある。領域はプレゼンテーションのオーサによって、あるいはアプリケーションのプロバイダによって画定できる。プレゼンテーションを見るエンドユーザも、注釈を付けるために予め画定されていない領域を選択できる。1つの実施形態では、このような領域をユーザが選択することが、該領域をアクティブ(注釈に選択可能)にするために使用される。例えば、ユーザはマウスを使用して文章824などのテキストの一節を強調表示し、該一節に注釈を追加してよい。ユーザの一節の選択に応えて、該一節はスライドの表示上でアクティブにされる。ユーザが注釈を提供した領域もインタラクション領域であると判断できる。
インタラクション情報は、個々のデバイスまたはネットワーク806で維持コンポーネント206などの維持コンポーネントによって維持できる。例えば、インタラクション情報を含むファイルはネットワーク806で記憶できる。1つまたは複数のデバイスのプレゼンテーションの表示は維持されているインタラクション情報を使用して変形できる。該変形は、すべてのデバイスで、または選択デバイスだけで表示を変形することを含む場合がある。
変形コンポーネントは、ネットワーク806及び/または個々のデバイスで実現できる。1つの実施形態では、ネットワーク806の変形コンポーネントがプレゼンテーションの表示を、これらが個々のデバイスに提供される前に変形するためにインタラクション情報を使用できる。例えば、個々のデバイスへの伝送のためにキャプチャされたスライドがデバイスに送信される前に、該スライドのデータはインタラクション情報に従って修正できる。
別の実施形態では、変形コンポーネントまたは個々のデバイスがインタラクション情報を受け入れ、これがデバイスで表現される前に表示を変形できる。スライドはデバイスに提供されてよい。インタラクション情報もデバイスに提供されてもよい。該情報はスライドのためにデータに埋め込まれてもよいし、あるいは、別個のファイルで提供されてもよい。変形コンポーネントはインタラクション情報を、これがデバイスで表現される前にスライドに適用できる。
1つの実施形態では、ミーティングソフトウェアアプリケーションとともに使用されるインタラクション情報は、第1のユーザのインタラクションに基づいて第2のユーザへの表示のプレゼンテーションを改善するために使用できる。例えば、第1のユーザは注釈可能領域を選択する、あるいは、領域を強調表示してよい。第1のユーザから決定されるインタラクション情報は、第2のユーザに提示される表示を変形するために使用できる。変形された表示は、容易な選択を可能にする変形済みアクティブ領域、プレゼンテーションを改善する、及び/または、ユーザの注意を当該領域に引き付けるための変形済みのレイアウト、及び新規に画定されたアクティブ領域も含む場合がある。第1のユーザのインタラクション(例えば、テキストの一節を強調表示する)は、第2のユーザに提示された表示の対応するテキストの一節をアクティブな領域にするために使用できる。すなわち、第2のユーザはテキストの一節を選択するために新しいアクティブ領域内をクリックしさえすればよい。第2のユーザはこれを選択するために一節全体を強調表示する必要はない。
1つの実施形態では、ユーザはローカルにプレゼンテーションの1枚または複数枚のスライドを保存できる。1つのこのような実施形態では、インタラクション情報は、保存されたプレゼンテーションが変形されるように適用できる。別の実施形態では、インタラクション情報は、プレゼンテーションの表示が表現されるときに、その後変形できるようにローカルに記憶することもできる。
仮想ネットワークにより、ユーザは任意の場所からデバイス及びコンテンツにリモートアクセスできる。例えば、ユーザは平日の間オフィスのネットワークに接続されるデスクトップコンピュータを使用してよい。仮想ネットワークソフトウェアを使用して、ユーザは自分のデスクトップマシン、オフィスネットワーク上の別のデバイス、ネットワーク上のアプリケーション、及びオフィスネットワーク上の他のコンテンツにどこからでもリモートでアクセスできる。ユーザは、自分の作業ネットワークにインターネット上でリモートにアクセスするために、自分のPDA、携帯電話、またはラップトップで仮想ネットワークソフトウェアを使用してよい。
多くの仮想ネットワークアプリケーションでは、リモートネットワーク上のコンテンツの表示はユーザのリモート装置に送信される。いくつかのアプリケーションでは、ユーザはネットワーク上でコンテンツを表示する画像を受信する。ユーザはリモート装置で画像の表示とインタラクションできる。ユーザ入力は、これをネットワーク上で実行しているアプリケーションによって処理できるネットワークに送信できる。
いくつかの仮想ネットワークアプリケーションはエンドユーザのデバイスでのプレゼンテーションのために画像の倍率を変更する。例えば、インターネットブラウザインタフェースの表示は、ユーザがインタフェース全体を見ることができるように縮小されてよい。送信済みの画像が縮小されていると、ユーザはより小さな表示とインタラクションしなければならず、したがって、インタラクションはさらに困難となる。
図9は、ネットワーク904に接続されているデバイス902(図示されているようなデスクトップコンピュータ)が、リモート装置910(図示されているようなPDA)を使用してアクセスされるシステムを示している。図示されているように、デバイスはネットワーク904、906、及び908上で互いに通信している。2台のデバイスが既知である任意の適切な方法で通信できることは当業者に理解されるであろう。例えば、両方のデバイスとも単一のネットワークに接続されてよく、両方のデバイスとも専用の接続を介して通信してよく、あるいは両方のデバイスとも複数のネットワークを介して通信できる。
PDAに提示されるコンテンツの表示922’は、ネットワーク904と接続されるデバイスから決定されるインタラクション情報を使用して変形されている。表示922はデスクトップコンピュータ902のコンテンツを描いている。しかしながら、表示は、ユーザがリモートでデバイスまたはネットワークにアクセスしている間にコンピュータ902またはネットワーク904によって実際に表現される必要はない。表示922は説明を明確にするために示されている。インタラクション情報を決定するためにインタラクションがモニタされていた同じデスクトップコンピュータをユーザが制御する必要がないことが留意される必要がある。インタラクション情報は、ユーザが任意の方法でネットワークと接続されているときにネットワーク上に維持され、アクセスできる。
図10は、仮想ネットワークソフトウェアアプリケーションを使用してネットワーク及び/または別のデバイスにアクセスしているリモート装置でコンテンツの表示を変形する実施形態によるフローチャートである。この図は例示の目的で特定の順序で機能ステップを描いているが、プロセスはステップの特定の順序または配列に制限されない。当業者は、この図に描かれている多様なステップが多様な方法で省略、再配列、結合及び/または適応できるであろうことを理解するであろう。
図10のステップ1002では、(デスクトップコンピュータ902などの)1台または複数台のデバイス上のデジタルコンテンツの表示とのユーザインタラクションがモニタされている。モニタコンポーネントはデバイス902、ネットワーク904、ネットワーク906、及び/またはネットワーク908で実現できる。
ウェブページ、ソフトウェアアプリケーションインタフェース及び他のコンテンツの表示とのインタラクションはモニタできる。該インタラクションはステップ1004でインタラクション情報を決定するために使用できる。インタラクション情報を決定することは、複数のドキュメント、ウェブページ及びGUIの表示のインタラクション領域を決定することを含んでよい。インタラクション領域情報は、インタラクション情報の程度及びシーケンスを生成するために評価されてよい。1つまたは複数のデバイスとの1つまたは複数のユーザのインタラクションは、インタラクション情報を生成するためにモニタできる。論理コンポーネントはインタラクション情報を決定するために、デバイス902、ネットワーク904、ネットワーク906、及び/またはネットワーク908で実現できる。
ステップ1006では、インタラクション情報が維持できる。任意のデバイスまたはネットワークの情報維持コンポーネントは情報を維持できる。該情報は記憶装置上またはインタラクションがモニタされた情報処理装置上でのファイルとしてネットワークのどこかに残されてよい。1つの実施形態では、インタラクション情報はプロキシサーバに記憶される。1つの実施形態では、ユーザがネットワークにログインすると、ユーザがアクセスしているコンテンツの表示を変形するために、ユーザ個別のインタラクション情報を使用できるように、ユーザのインタラクション情報を含むファイルを例えばユーザ名を使用してユーザと関連付けることができる。
ステップ1008では、リモートユーザは、例えばPDA910などのリモート装置上で標準仮想ネットワークソフトウェアアプリケーションを使用してネットワークにログインする。ステップ1010で、仮想ネットワークアプリケーションは、リモート装置からネットワークへ、さらにネットワークと接続しているデバイスへユーザ入力を転送できる。ネットワークでは、ユーザ入力は、リモート装置のユーザにより要求されるコンテンツの表示を転送するために受信、使用できる。例えば、デスクトップコンピュータ902の(例えばオペレーティングシステムインタフェース及び使用中の他のアプリケーションインタフェースなどの)「デスクトップ」の表示がユーザに転送できる。このようにして、ユーザはデスクトップコンピュータをリモート制御できる。
図11Aは、コンテンツの表示を変形するためにインタラクション情報がPDAで使用される実施形態によるフローチャートである。この図は例示の目的のために特定の順序で機能ステップを描いているが、プロセスはステップの特定の順序または配列に制限されていない。当業者は、この図に描かれている多様なステップが、多様な方法で省略、再配列、結合及び/または適応できるであろうことを理解するであろう。
1つの実施形態では、図11Aのフローチャートは図10のステップ1010の一部として使用できる。ステップ1102で、デジタルコンテンツの表示(複数の場合がある)がリモート装置によって受信できる。図9に示されているように、eメールアプリケーションの第1の表示922はデバイス902に提示されている。PDA910はデスクトップコンピュータ902を制御しているので、eメールアプリケーションの第2の表示922’はPDAに提示される。示されているように、第2の表示が変形されている。
ステップ1104において、インタラクション情報はPDA910で受信できる。PDA910はインタラクション情報をリトリーブできる、あるいは情報はステップ1102で表示(複数の場合がある)とともに受信できる。ステップ1106では、インタラクション情報はデスクトップデバイスから受信される表示(複数の場合がある)を変形するためにPDAで使用できる。例えば、デスクトップでコンテンツを表示する画像が受信されると、表示(複数の場合がある)の中のインタラクション領域に対応する領域が拡大またはズーム等できるだろう。ステップ1108では、変形された表示がリモート装置で表現できる。
図11Bは、インタラクション情報がPDA910などのリモート装置への伝送の前にコンテンツの表示を変形するために使用される実施形態によるフローチャートである。この図は例示の目的のために特定の順序で機能ステップを描いているが、プロセスはステップの特定の順序または配列に制限されない。当業者は、この図に描かれている多様なステップが、多様な方法で省略、再配列、結合及び/または適応できるであろうことを理解するであろう。
ステップ1122では、デスクトップコンピュータ902などのネットワーク上のデバイスが、PDA910からネットワーク上のコンテンツのユーザ要求を受信する。ステップ1124では、インタラクション情報がリトリーブされる。ステップ1126では、インタラクション情報が要求されたコンテンツの表示を変形するために使用される。ステップ1128で、要求されたコンテンツの変形された表示がリモート装置に送信される。
図9を参照すると、第1の表示922の領域930、932、及び934が要求されたコンテンツの表示の決定されたインタラクション領域である。したがって、PDA910の表示装置で提供される第2の表示の対応する領域930’、932’、934’は変形されている。すなわち、デスクトップコンピュータ902及び/またはネットワーク904上の他のデバイスで提示されるコンテンツの表示とのユーザインタラクションは、PDA910で提示されるコンテンツのプレゼンテーションのレイアウトを変形するために使用されている。このようにして、コンテンツとのユーザの過去のインタラクションは、同じコンテンツの縮小表示の有用性を高めるために再利用できる。
図12は、個人のデバイスで提示されるコンテンツの表示とのユーザインタラクションが、共用デバイスに提示されるコンテンツの表示を改善するために使用できる実施形態によるシステムである。共用デバイスの1つの種類である動的掲示板は、人々の集まりと情報を共用するために、公共の場、作業環境、及び他の分野で使用できる。
ビデオ表示装置「掲示板」1200は、デジタルコンテンツを共用し、複数の人にコンテンツの表示を提示するために使用できる。本発明を限定しない例によれば、従業員は、コンテンツの表示が掲示板に表示できるように掲示板にデジタルコンテンツを掲示することができる。従業員は関心を有されるべきことが判明したウェブページ、ドキュメント、または任意の他のデジタルコンテンツを掲示できる。多くのアプリケーションでは、複数の表示は掲示板に同時に表示されてよい。
掲示板1200に掲示されたウェブページの表示1202、1204、及び1206が提示される。掲示板が接続されるネットワークと接続しているユーザは、当業者において既知であり、理解されるように、掲示板にコンテンツを掲示できる。例えば、サーバは表示装置のコンテンツをホストし、ユーザはサーバによって提供されるアプリケーションを使用して特定のコンテンツを指定できる。
以上のように、掲示板を観察している個人はかなりの量のコンテンツを提示される。表示装置に対するユーザの位置によっては、表示を見て、表示とインタラクションすることは、表示が縮尺された形式ではより困難となる可能性がある。
1つの実施形態では、ユーザのコンテンツの表示とのインタラクションは、表示装置を通して掲示板に提示されるコンテンツの表示を変形するために使用される。例えば、従業員は自分のデスクトップコンピュータでウェブページとインタラクションしてから、該ページを掲示板に掲示できる。ユーザの自分のデスクトップでのウェブページの表示とのインタラクションはモニタすることができ、インタラクション情報を決定することができ、該情報を追跡調査できる。ユーザが掲示板にページを掲示すると、インタラクション情報は表示装置に提示されるときにページの表示を変形するために使用できる。表示装置と接続されるネットワークでの実施形態による変形コンポーネントはインタラクション情報にアクセスし、表示装置に提示されるウェブページの表示を変形できる。
ウェブページの表示1202は、ウェブの別の表示とのユーザのインタラクションを観察することにより決定されたインタラクション領域に対応するインタラクション領域1210、1212、1214、1216及び1218を含む。この例では、表示1202の対応するインタラクション領域1210、1212、1214、1216、及び1218は拡大されている。
追跡調査されたインタラクション情報を使用して表示を変形することにより、掲示板を見る人に、より目的に近いコンテンツを提示できる。表示は、どの領域が過去のユーザに関心を有されたと判断されたのかをユーザに示す。このようにして掲示板を見る人はより迅速に且つ容易に表示によって提示されるコンテンツを吸収し、さもなければ、採り入れることができる。さらにアクティブな領域は表示とのインタラクションを改善するために変形できる。
本発明の別の例示的な実施形態では、デジタル画像の表示とのインタラクションはサムネールなどの画像の縮尺表示を変形するために使用できる。ユーザは画像を編集または操作するためにデジタル画像の表示とインタラクションしてよい。例えば、ユーザは編集のために画像の特定の領域をユーザインタフェースに選択させる写真編集アプリケーションを活用してよい。ユーザは、選択された領域の輝度、色、コントラスト等をコピーするため、あるいは調整するために領域を選択してよい。ユーザは、領域に注釈を残すために、さらに特定の領域を選択してよい。
画像の中のインタラクション領域は、画像とのユーザインタラクションをモニタすることによって決定できる。例えば、編集アプリケーションのAPIは、画像の中でのマウスのクリックなどのイベントを決定するためにアクセスできる。ユーザは、編集、コピー、注釈付け等のために画像の特定の領域を選択するために入力装置を使用してよい。ユーザによって選択された領域はインタラクション領域であると判断することができる。該インタラクション領域は追跡調査され、画像の縮尺された表示を変形するために使用できる。別の実施形態では、画像比較が使用できる。このようにして、第1の画像の第1の表示とのインタラクションは第2の画像の表示を変形するために使用できる。例えば、顔認識ソフトウェアは、第2の画像の表示での同じ顔などの対応する領域を識別するために使用できる。
図13Aは、変形のないデジタル画像の例示的な表示1300を示す。表示はデスクトップ等で提示される画像のフルサイズの表示である場合があるだろう。領域1302、1304、1306、1308及び1310(点線はインタラクション領域であると判断される領域を示し、実際の表示の部分を示していない)はデジタル画像のこの表示または画像の別の表示とのモニタされたユーザのインタラクションに基づいてインタラクション領域であると判断された。
図13Bは、適用された変形を有するデジタル画像の第2の表示1310を示す。第2の表示1310はデジタル画像のサムネールまたは他の縮尺表示である場合があるだろう。図示されているように、インタラクション領域1302、1304、1306、1308、及び1310に対応するレイアウトは変形されている。対応するインタラクション領域(1302’、1304’、1306’、1308’、1310’)が拡大されている。拡大された領域は画像の縮小表示の理解及び縮小表示とのインタラクションの簡易化を促進できる。他の変形技法は、示されている変形に加えて、あるいは変形の代わりに適用できる。例えば、インタラクション領域は、各インタラクション領域が順に拡大されるように動画化できるだろう。このような例は、ユーザが、画像とインタラクションする必要なくそれを理解するのに役立つことができる。
1つのデジタル画像例では、本発明の実施形態によるバックグラウンドアプリケーションがインターネットブラウザ及び写真編集ソフトウェアのインタフェースなどの一般的なユーザインタフェースを通して提示されるデジタル画像の表示を変形するためにインタラクション情報にアクセスできる。別の実施形態では、アプリケーションは、表示がデジタルコンテンツの公称または一般的な表示を基準にして縮尺されるときにだけ表示を変形する。
1つの実施形態は、コンピュータ技術の当業者に明らかとなるように、本開示の教示に従ってプログラミングされる従来の汎用の、または特殊化したデジタルコンピュータまたはマイクロプロセッサ(複数の場合がある)を使用して実現されてよい。ソフトウェア技術の当業者には明らかであるように、適切なソフトウェアコーディングは本開示の教示に基づいて熟練したプログラマによって容易に作成することができる。本発明は、当業者に容易に明らかとなるように、集積回路の作成によって、あるいは従来のコンポーネント回路の適切なネットワークを相互接続することによっても実現されてよい。
1つの実施形態は、コンピュータをプログラミングし、ここに提示されている特徴のどれかを実行するために使用できる、命令が記憶されている記憶媒体(複数の媒体)であるコンピュータプログラム製品を含む。記憶媒体は、フロッピー(登録商標)ディスク、光ディスク、DVD、CD−ROM、マイクロドライブ及び光磁気ディスクを含む任意の種類のディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気カードまたは光学カード、(分子ICを含む)ナノシステム、あるいは命令及び/またはデータを記憶するために適した任意の種類の媒体またはデバイスを含むことがあるが、これらに制限されない。
コンピュータ読み取り可能媒体(複数の媒体)のどれかに記憶されることにより、本発明は汎用/特殊コンピュータまたはマイクロプロセッサの両方のハードウェアを制御するため、及び、該コンピュータまたはマイクロプロセッサが本発明の結果を活用する他の機構のユーザとインタラクションできるようにするためのソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、実行環境/コンテナ、及びユーザアプリケーションを含んでよいが、これらに制限されない。
本発明の好適な実施形態の前記説明は、例示及び説明の目的のために提供されている。網羅的となる、あるいは本発明の開示された正確な形式に制限することは意図されていない。多くの変型及び変動が当業者に明らかになるであろう。実施形態は、本発明の原則及びその実践的な用途を最もよく説明するために選ばれ、説明され、それにより当業者が本発明、多様な実施形態、及び熟慮される特定の使用に適した多様な変型を理解できるようにする。本発明の範囲が以下の請求項及びその同等物により定義されることが意図される。
過去及び現在のユーザインタラクションを使用してデジタルコンテンツの表示を変形するための本発明の実施形態の方法を描くフローチャートである。 図1のフローチャートを実現するために使用できる本発明の実施形態のシステムである。 デジタルコンテンツの表示を変形するための本発明の1つの実施形態によるフローチャートである。 デジタルコンテンツの表示の変形で使用できる本発明の実施形態によるシステムである。 第1の表示のインタラクション領域が決定されたコンテンツの例示的な第1の表示を描く。 アクティブな領域の変形が本発明の実施形態の第2の表示に適用された図5Aのコンテンツの例示的な第2の表示を描く。 本発明の実施形態の決定されたインタラクション領域を有するデジタルコンテンツの例示的な第1の表示を描く。 本発明の実施形態による対応するインタラクション領域に適用される動画を有する図6Aのデジタルコンテンツの例示的な第2の表示を描く。 本発明の実施形態による対応するインタラクション領域に適用される動画を有する図6Aのデジタルコンテンツの例示的な第2の表示を描く。 本発明の実施形態による対応するインタラクション領域に適用される動画を有する図6Aのデジタルコンテンツの例示的な第2の表示を描く。 本発明の実施形態のウェブブラウザを通して提示されるウェブページの第1の表示を有するウェブブラウザの例示的な第1の表示である。 本発明の実施形態のウェブページの第2の表示にレイアウト変形が適用された、ウェブブラウザを通して提示されたウェブページの第2の表示を有するウェブブラウザインタフェースの例示的な第2の表示である。 本発明の実施形態のウェブページの第2の表示にレイアウト変形が適用された、ウェブブラウザを通して提示されたウェブページの第2の表示を有するウェブブラウザインタフェースの例示的な第2の表示である。 ミーティングソフトウェアアプリケーションでインタラクション情報を使用するための本発明の実施形態のシステムである。 リモートデバイスでの提示のためにコンテンツの表示が変形できるリモートデバイスでのコンテンツにアクセスするための本発明の実施形態のシステムである。 リモートデバイスでのコンテンツの表示を変形するための本発明の実施形態のフローチャートである。 デジタルコンテンツの表示を変形するためにリモートデバイスでインタラクション情報が使用される本発明の実施形態のフローチャートである。 リモートデバイスへの伝送の前にデジタルコンテンツの表示を変形するためにインタラクション情報が使用される本発明の実施形態のフローチャートである。 共用デバイスでのコンテンツの表示を改善するために第1のデバイスのコンテンツの表示とのユーザインタラクションが使用できる本発明の実施形態のシステムである。 本発明の実施形態による決定されたインタラクション領域を有するデジタル画像の第1の表示である。 本発明の実施形態によるインタラクション情報を使用して変形されたレイアウトを有する図13Aのデジタル画像の第2の表示である。
符号の説明
200 システム
202 モニタコンポーネント
204 論理コンポーネント
206 変形コンポーネント
208 情報維持コンポーネント

Claims (19)

  1. (a)第2の表示手段またはコンピュータが、デジタルコンテンツの第1の表示手段に表示した第1の表示とインタラクションしている間のユーザ動作をモニタするモニタ手段によりモニタし、
    (b)前記第2の表示手段またはコンピュータが、前記モニタ手段により取得した前記ユーザ動作からインタラクション情報を決定し、
    (c)前記第2の表示手段またはコンピュータが、前記インタラクション情報を記憶手段に維持し、
    (d)前記第2の表示手段またはコンピュータが、前記第1の表示手段とは異なる第2の表示手段に前記第1の表示を所定の縮尺率に縮尺した第2の表示を表示すると共に、前記インタラクション情報を使用して前記第2の表示のアクティブな領域を前記縮尺率より拡大して表示し、
    前記第1の表示手段は第1の表示デバイスであり、前記第2の表示手段は該第1の表示デバイスとは異なる第2の表示デバイスであり、前記コンピュータが該第1の表示手段および第2の表示手段をつなぐネットワーク上にあり、かつ、該第1の表示手段および第2の表示手段とは異なるデバイスである、
    デジタルコンテンツの表示方法。
  2. (d)が、前記第2の表示のレイアウトを変形することを含む、請求項1に記載のデジタルコンテンツの表示方法。
  3. 前記第1の表示と前記第2の表示とが同じデジタルコンテンツの表示である、請求項1に記載のデジタルコンテンツの表示方法。
  4. 前記デジタルコンテンツは、ウェブページ、デジタルドキュメント、デジタル画像、電子ブック、デジタルスライド、及び、グラフィックユーザインタフェースの少なくとも1つである、請求項3に記載のデジタルコンテンツの表示方法。
  5. 前記第1の表示が第1のデジタルコンテンツの表示であり、前記第2の表示が第2のデジタルコンテンツの表示である、請求項1に記載のデジタルコンテンツの表示方法。
  6. 前記第1の表示が第1のグラフィックユーザインタフェースの表示であり、前記第2の表示が第2のグラフィックユーザインタフェースの表示である、請求項1に記載のデジタルコンテンツの表示方法。
  7. (a)が、
    デジタルコンテンツの前記第1の表示とのユーザインタラクションをモニタし、
    前記第1の表示との前記ユーザインタラクションからインタラクション領域を決定する、
    ことを含む、請求項1に記載のデジタルコンテンツの表示方法。
  8. (a)が、
    前記インタラクション領域とのユーザインタラクションを評価する、
    ことを、さらに含む、請求項7に記載のデジタルコンテンツの表示方法。
  9. (a)が、
    グラフィックユーザインタフェースの第1の表示、デジタル画像の第1の表示、電子ブックの第1の表示、及び、デジタルスライドの第1の表示の少なくとも1つとインタラクションしている間のユーザ動作をモニタすること、
    を含む、請求項1に記載のデジタルコンテンツの表示方法。
  10. (c)が、
    前記インタラクション情報が決定された前記デジタルコンテンツの識別と共に、該インタラクション情報を維持すること、
    を含む、請求項1に記載のデジタルコンテンツの表示方法。
  11. (d)が、
    前記第2の表示の対応するインタラクション領域を決定し、
    対応する前記インタラクション領域を変形する、
    ことを含む、請求項1に記載のデジタルコンテンツの表示方法。
  12. 前記インタラクション領域にフィッシュアイ視野を適用すること、及び、
    前記インタラクション領域をズームすること、
    の少なくとも1つを含む、請求項11に記載のデジタルコンテンツの表示方法。
  13. (b)が、
    前記第1の表示の少なくとも1つの領域とのインタラクションの程度を決定する、
    ことを含む、請求項1に記載のデジタルコンテンツの表示方法。
  14. (b)が、
    前記第1の表示とのインタラクションのシーケンスを決定する、
    ことを含む、請求項1に記載のデジタルコンテンツの表示方法。
  15. 前記第1の表示とのインタラクションのシーケンスを決定することが、
    前記第1の表示のインタラクション領域が選択される順序を決定する、
    ことを含む、請求項14に記載のデジタルコンテンツの表示方法。
  16. (c)が、
    クライアント側デバイス、サーバ、及び、プロキシサーバの少なくとも1つで前記インタラクション情報を記憶する、
    ことを含む、請求項1に記載のデジタルコンテンツの表示方法。
  17. (c)が、
    前記デジタルコンテンツのデータを含むファイルに、前記インタラクション情報を追加する、
    ことを含む、請求項1に記載のデジタルコンテンツの表示方法。
  18. (a)が、前記第1の表示とインタラクションする間の第1のユーザの動作をモニタする、ことを含み、
    (b)が、第2のユーザに提示される第2の表示を変形する、ことを含む、
    請求項1に記載のデジタルコンテンツの表示方法。
  19. デジタルコンテンツの第1の表示手段に表示した第1の表示とインタラクションしている間のユーザ動作をモニタするモニタ手段によりモニタするステップと、
    前記モニタ手段により取得した前記ユーザ動作からインタラクション情報を決定するステップと、
    記憶手段に前記インタラクション情報を維持するステップと、
    前記第1の表示手段とは異なる第2の表示手段に前記第1の表示を所定の縮尺率に縮尺した第2の表示を表示すると共に、前記記憶手段に記憶された前記インタラクション情報を使用して前記第2の表示手段に表示される前記第2の表示のアクティブな領域を前記縮尺率より拡大して表示するステップと、
    を含む命令を、デジタルコンテンツを表示させるために、前記第2の表示手段またはコンピュータに実行させるプログラムであって、
    前記第1の表示手段は第1の表示デバイスであり、前記第2の表示手段は該第1の表示デバイスとは異なる第2の表示デバイスであり、前記コンピュータが該第1の表示手段および第2の表示手段をつなぐネットワーク上にあり、かつ、該第1の表示手段および第2の表示手段とは異なるデバイスである、
    プログラム。
JP2004266681A 2003-09-26 2004-09-14 デジタルコンテンツの表示方法、及びプログラム Expired - Fee Related JP4788122B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US672980 2003-09-26
US10/672,980 US7836409B2 (en) 2003-09-26 2003-09-26 Systems and methods for using interaction information to deform representations of digital content

Publications (3)

Publication Number Publication Date
JP2005108210A JP2005108210A (ja) 2005-04-21
JP2005108210A5 JP2005108210A5 (ja) 2007-11-01
JP4788122B2 true JP4788122B2 (ja) 2011-10-05

Family

ID=34376522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004266681A Expired - Fee Related JP4788122B2 (ja) 2003-09-26 2004-09-14 デジタルコンテンツの表示方法、及びプログラム

Country Status (2)

Country Link
US (1) US7836409B2 (ja)
JP (1) JP4788122B2 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050108752A1 (en) * 2003-11-17 2005-05-19 Sony Corporation, A Japanese Corporation 3-Dimensional browsing and selection apparatus and method
US8024755B2 (en) * 2003-11-17 2011-09-20 Sony Corporation Interactive program guide with preferred items list apparatus and method
US20050108749A1 (en) * 2003-11-17 2005-05-19 Sony Corporation, A Japanese Corporation Automatic content display apparatus and method
US20050108750A1 (en) * 2003-11-17 2005-05-19 Sony Corporation, A Japanese Corporation Candidate data selection and display apparatus and method
US20050108755A1 (en) * 2003-11-17 2005-05-19 Sony Corporation, A Japanese Corporation Multi-source programming guide apparatus and method
US7542971B2 (en) * 2004-02-02 2009-06-02 Fuji Xerox Co., Ltd. Systems and methods for collaborative note-taking
US20050216946A1 (en) * 2004-03-24 2005-09-29 Johnson Dan S Audio/video component networking system and method
US8826136B2 (en) * 2005-06-27 2014-09-02 Core Wireless Licensing S.A.R.L. System and method for enabling collaborative media stream editing
US20090044126A1 (en) * 2006-03-01 2009-02-12 Eran Shmuel Wyler Methods and apparatus for enabling use of web content on various types of devices
JPWO2008020537A1 (ja) * 2006-08-16 2010-01-07 日本電気株式会社 携帯端末装置及びそれに用いる機能リスト提供方法並びにそのプログラム
JP5211530B2 (ja) * 2007-03-30 2013-06-12 富士ゼロックス株式会社 情報提供システム、情報提供装置、及びプログラム
US8411098B2 (en) * 2007-09-30 2013-04-02 Lenovo (Singapore) Pte. Ltd. Display device modulation system
WO2010074535A2 (en) * 2008-12-24 2010-07-01 Lg Electronics Inc. An iptv receiver and method for controlling an application in the iptv receiver
US20120310652A1 (en) * 2009-06-01 2012-12-06 O'sullivan Daniel Adaptive Human Computer Interface (AAHCI)
JP2011024073A (ja) * 2009-07-17 2011-02-03 Seiko Epson Corp Osd表示制御プログラム、記録媒体、osd表示制御方法、およびosd表示装置
US20110022945A1 (en) * 2009-07-24 2011-01-27 Nokia Corporation Method and apparatus of browsing modeling
US8984391B2 (en) 2009-12-29 2015-03-17 Rakuten, Inc. Web page object placement with changing object size responsive to the attribute of the link element
KR101680665B1 (ko) * 2010-06-08 2016-11-29 엘지전자 주식회사 이동단말기 및 그 제어방법
US8554640B1 (en) 2010-08-19 2013-10-08 Amazon Technologies, Inc. Content completion recommendations
US9535884B1 (en) 2010-09-30 2017-01-03 Amazon Technologies, Inc. Finding an end-of-body within content
JP5701040B2 (ja) * 2010-12-14 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US8521679B2 (en) * 2010-12-20 2013-08-27 Yahoo! Inc. Classification recommendation based on social actions
WO2013059963A1 (en) * 2011-10-27 2013-05-02 Nokia Corporation Method and apparatus for web content structure modeling applied in web content subscription
US20130282844A1 (en) 2012-04-23 2013-10-24 Contact Solutions LLC Apparatus and methods for multi-mode asynchronous communication
US9635067B2 (en) 2012-04-23 2017-04-25 Verint Americas Inc. Tracing and asynchronous communication network and routing method
US9965130B2 (en) * 2012-05-11 2018-05-08 Empire Technology Development Llc Input error remediation
US8823667B1 (en) * 2012-05-23 2014-09-02 Amazon Technologies, Inc. Touch target optimization system
US20150033146A1 (en) * 2013-07-25 2015-01-29 Cisco Technology, Inc. Automatic detection and magnification of focus region for content shared during an online meeting session
JP6261237B2 (ja) * 2013-08-28 2018-01-17 キヤノン株式会社 画像表示装置、画像表示装置の制御方法およびコンピュータプログラム
JP6188490B2 (ja) 2013-08-28 2017-08-30 キヤノン株式会社 画像表示装置、制御方法およびコンピュータプログラム
US10152136B2 (en) 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US10126822B2 (en) 2013-12-16 2018-11-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual configuration
BR112016017972B1 (pt) 2014-02-06 2022-08-30 Contact Solutions LLC Método para modificação de fluxo de comunicação
WO2015184601A1 (en) * 2014-06-04 2015-12-10 Yahoo! Inc. Method and system for advertisement coordination
US20160267531A1 (en) * 2014-06-04 2016-09-15 Yahoo! Inc. Method and system for advertisement coordination
US9894414B2 (en) * 2014-09-30 2018-02-13 Rovi Guides, Inc. Methods and systems for presenting content to a user based on the movement of the user
US9721024B2 (en) * 2014-12-19 2017-08-01 Facebook, Inc. Searching for ideograms in an online social network
US9166881B1 (en) 2014-12-31 2015-10-20 Contact Solutions LLC Methods and apparatus for adaptive bandwidth-based communication management
KR102329124B1 (ko) * 2015-01-05 2021-11-19 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
US20160259494A1 (en) * 2015-03-02 2016-09-08 InfiniGraph, Inc. System and method for controlling video thumbnail images
WO2016175820A1 (en) * 2015-04-30 2016-11-03 Hewlett-Packard Development Company, L.P. Interactive content selection
WO2017024248A1 (en) 2015-08-06 2017-02-09 Contact Solutions LLC Tracing and asynchronous communication network and routing method
US10063647B2 (en) 2015-12-31 2018-08-28 Verint Americas Inc. Systems, apparatuses, and methods for intelligent network communication and engagement
WO2017212466A1 (en) * 2016-06-08 2017-12-14 Walkme Ltd. Autonomous behavior reasoning analysis
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
JP7206863B2 (ja) * 2018-12-03 2023-01-18 富士通株式会社 表示制御方法、装置、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7131070B1 (en) * 1999-05-13 2006-10-31 Ricoh Company, Ltd. Application unit monitoring and reporting system and method
JPH04270384A (ja) * 1991-02-07 1992-09-25 Nippon Telegr & Teleph Corp <Ntt> 等倍または拡大画像の部分的な表示方法
JPH0561632A (ja) 1991-09-02 1993-03-12 Casio Comput Co Ltd アイコン表示装置
JP3320572B2 (ja) 1994-10-31 2002-09-03 株式会社エヌジェーケー コンピュータ処理用操作ボタンの最適化表示方法
WO1996007131A1 (fr) 1994-08-31 1996-03-07 Njk Corporation PROCEDE D'ELABORATION DE TOUCHES DE COMMANDE POUR PROCEDURES A EXECUTER SUR ORDINATEUR, PROCEDE DE RECHERCHE DE DONNEES A l'AIDE DE TOUCHES DE COMMANDE ET PROCEDE D'AFFICHAGE DES TOUCHES DE COMMANDE
US6624846B1 (en) 1997-07-18 2003-09-23 Interval Research Corporation Visual user interface for use in controlling the interaction of a device with a spatial region
JP4551507B2 (ja) 1998-08-17 2010-09-29 ソニー株式会社 入力操作装置及び入力操作方法
JP2000122949A (ja) 1998-10-12 2000-04-28 Hitachi Ltd コンテンツ管理方法
JP2000196970A (ja) * 1998-12-28 2000-07-14 Toshiba Corp 情報端末機能付き放送受信機及び同受信機の出力環境設定用プログラムを記録した記録媒体
WO2002027574A1 (fr) 2000-09-25 2002-04-04 Kabushiki Kaisha Toshiba Procede pour afficher un bandeau publicitaire, systeme d'affichage et procede correspondant de perception de frais
CA2323569A1 (en) 2000-10-18 2002-04-18 Advanced Numerical Methods Ltd. Elastic presentation space
US6771302B1 (en) 2001-08-14 2004-08-03 Polycom, Inc. Videoconference closed caption system and method
US7058940B2 (en) * 2002-05-23 2006-06-06 Bea Systems, Inc. System and method for extending application functionality and content
US7362349B2 (en) * 2002-07-10 2008-04-22 Seiko Epson Corporation Multi-participant conference system with controllable content delivery using a client monitor back-channel
US7730407B2 (en) * 2003-02-28 2010-06-01 Fuji Xerox Co., Ltd. Systems and methods for bookmarking live and recorded multimedia documents
WO2005013597A2 (en) * 2003-07-25 2005-02-10 Keepmedia, Inc. Personalized content management and presentation systems

Also Published As

Publication number Publication date
JP2005108210A (ja) 2005-04-21
US7836409B2 (en) 2010-11-16
US20050071864A1 (en) 2005-03-31

Similar Documents

Publication Publication Date Title
JP4788122B2 (ja) デジタルコンテンツの表示方法、及びプログラム
JP2005108210A5 (ja)
US6456307B1 (en) Automatic icon generation
US9003298B2 (en) Web page application controls
US6025844A (en) Method and system for creating dynamic link views
JP5430743B2 (ja) グラフィカルユーザインタフェース内でスクレープされたウェブページを提供するための方法および装置
US6104401A (en) Link filters
US8711147B2 (en) Method and system for generating and displaying an interactive dynamic graph view of multiply connected objects
US8949729B2 (en) Enhanced copy and paste between applications
JP5235671B2 (ja) 端末装置、コンテンツ表示方法、およびコンテンツ表示プログラム
US20070011355A1 (en) Extensible transcoder annotation for transcoding proxy servers
RU2479016C2 (ru) Общая система редактирования моделей
TW201443670A (zh) 提供不計內容格式及類型之內容可存取性的虛擬庫
AU2014302623A1 (en) System, method and user interface for designing customizable products from a mobile device
US20100257468A1 (en) Method and system for an enhanced interactive visualization environment
JP6093432B2 (ja) ウェブ・ページ・アプリケーション制御
KR20130116241A (ko) 브랜드화된 브라우저 프레임
US20140237357A1 (en) Two-dimensional document navigation
JP2014514668A (ja) 階層的領域におけるマルチ入力ジェスチャー
JP2002073242A (ja) アノテーション方法、アプリケーションウィンドウに対する追加的な書き込み方法、コンピュータ装置、自動契約機、コラボレーションシステム、記憶媒体、コンピュータ・プログラム・プロダクト、およびプログラム伝送装置
US20160231876A1 (en) Graphical interaction in a touch screen user interface
JP5167850B2 (ja) Guiシステム、gui生成方法、プログラムおよび記録媒体
US20130097501A1 (en) Information Search and Method and System
US9037958B2 (en) Dynamic creation of user interface hot spots
US20140372886A1 (en) Providing help on visual components displayed on touch screens

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4788122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees