JP4966451B2 - ビデオズーミングシステム及び方法 - Google Patents
ビデオズーミングシステム及び方法 Download PDFInfo
- Publication number
- JP4966451B2 JP4966451B2 JP2000596515A JP2000596515A JP4966451B2 JP 4966451 B2 JP4966451 B2 JP 4966451B2 JP 2000596515 A JP2000596515 A JP 2000596515A JP 2000596515 A JP2000596515 A JP 2000596515A JP 4966451 B2 JP4966451 B2 JP 4966451B2
- Authority
- JP
- Japan
- Prior art keywords
- zooming
- video
- image
- engine
- computer system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000012545 processing Methods 0.000 claims description 18
- 238000004091 panning Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 5
- 239000003973 paint Substances 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Processing (AREA)
Description
【発明の技術分野】
本発明は、一般的には画像表示方法及び装置に関し、特に、ビデオ表示に用いられる画像のズーミング技術に関する。
【0002】
【従来技術】
近年、パーソナルコンピュータの処理能力は著しく向上しており、これにより、パーソナルコンピュータを用いて、非常に複雑な図形画像を生成して、表示することができるようになっている。また、ビデオ信号を圧縮するための効率的なアルゴリズムが開発されたことにより、ビデオストリームをデジタル化して、コンピュータファイルに変換し、比較的制限された帯域幅の伝送路を介してこのコンピュータファイルを伝送し、パーソナルコンピュータ上に画像を表示させることができることができるようになっている。しかしながら、伝送路及び処理装置には限界があり、このため、コンピュータ上に表示することのできるビデオ画像は、通常、利用可能な表示領域の例えば240×160画素等の狭い部分に制限されている。ユーザの観点から言えば、受信したビデオ画像をより大きいサイズで見ることができる方が好ましい。しかしながら、従来の技術では、限定された範囲内でのサイズ変更は可能であるが、あるサイズのビデオ画像を円滑に他のサイズに変更したり、パニングとサイズ変更を同時に行うことはできない。
【0003】
【発明の開示】
コンピュータに供給されるビデオファイルを、そのコンピュータ内に設けられたズーミング領域(zooming universe)内のズーミングオブジェクト(zooming object)に変換する方法を提供する。ユーザは、コンピュータ入力装置を介して操作を行い、このズーミングオブジェクトを拡大及びパニングすることができる。具体的には、ビデオファイルを、コンピュータ内にある既知のビデオ再生ライブラリ内で開き、同時に、ズーミングエンジンをコンピュータ内で起動させる。これにより、ズーミング領域が使用可能になる。ビデオ再生ライブラリ内でビデオファイルを再生するとき、そのビデオファイルのフレームは、ズーミングビデオオブジェクトとして、ズーミング領域にコピーされ、このズーミング領域内に表示される。ユーザは、コンピュータ入力装置を用いて、ズーミングビデオオブジェクトを囲む文字枠(bounding box)のパラメータを操作することにより、ズーミング領域内のビデオ画像を、所望の大きさ及び位置になるように、拡大又は縮小、及び上下にパンすることができる。
【0004】
本発明の他の実施例では、ユーザの操作に基づき、ズーミング領域内において、ビデオ画像に重なる(overlay)が、ビデオ画像ではないテキスト(text)又はその他の要素を拡大又は縮小せずに、そのビデオ画像のみを拡大又は縮小する方法を提供する。この実施例では、ズーミング領域内のビデオ画像オブジェクトに、ビデオ画像を再ペイント(repaint)してビデオ画像を表示する「ペイント(paint)」プログラムの動作を起こさせる「ダメージ(damage)」を周期的に与える。このようなビデオオブジェクトに対する周期的なダメージングは、見ている人が、このビデオ画像を連続的な画像として十分に認識できる頻度で繰り返し行われる。
【0005】
【発明の実施の形態】
本発明の更なる目的、特徴及び効果は、以下に述べる詳細な説明及びそれに付随した図面により、当該分野の技術者にとって明らかとなるであろう。
【0006】
コンピュータ上で実行されるビデオファイルは、「AVI(Audio Video Interleaved)」、「Quick Time」、「MPEG(Motion Picture Expert Group)」等の様々な符号化フォーマットで利用可能であり、これらの全ては、当該分野の技術者にとっては周知である。これらのビデオファイルをコンピュータ上で再生するためには、リアルネットワークス社(Real Networks, Inc.)のRealVideoやマイクロソフト社(Microsoft , Inc.)のDirectShow等の特殊なソフトウェアが必要でなる。以下に述べる本発明の実施例においては、グラフィックアプリケーションであるMicrosoft DirectXファミリの構成要素であるDirectShowを、ネイティブ(native)ビデオ再生ライブラリとして用いることとする。なお、その他のいかなるネイティブビデオ再生ライブラリを用いて本発明に係るビデオズーミング方法を実現してもよいことは、当該分野の技術者にとっては明らかである。
【0007】
本発明を適用したズーミングビデオインターフェースは、選択されたビデオオブジェクトを様々な倍率で表示することができる。このズーミングビデオインターフェースは、格納されている情報からビデオ(及びその他の)オブジェクトのグラフィック表示を構成し、ユーザは、このグラフィック表示を拡大、縮小及びパンすることができる。拡大、すなわち「ズームイン」することにより、オブジェクト又は複数のオブジェクトからなるオブジェクトグループを、大きく及び/又は詳細に表示することができる。また、縮小、すなわち「ズームアウト」することにより、オブジェクト及び複数のオブジェクトからなるオブジェクトグループを小さく及び/又は概略的に表示することができる。
【0008】
この実施例においては、本発明を適用したズーミングビデオインターフェースを実現するインストラクションは、JAVA(登録商標)でコーディング(coding)されている。なお、他の実施例として、このインストラクションを、PERL(登録商標)等のプラットフォームに依存しない言語、あるいはC++又はフォートラン等のプラットフォームに依存した言語を用いて実現してもよい。
【0009】
本発明に係るビデオズーミング方法を詳細に説明する前に、本発明を適用したコンピュータ環境及び本発明に係るズーミング方法を実現するための基本的なインフラストラクチャを提供するズーミングエンジンについて簡単に説明する。
【0010】
<コンピュータアーキテクチャ>
FIG.1は、本発明を適用したズーミングビデオインターフェースを実現するために適用されるコンピュータシステム100の具体例を示す図である。コンピュータシステム100は、本体120と、本体120に接続されたモニタ受像機130と、キーボード150及びマウス160等の対話形(interactive)入力装置とを備え、マウス160は、コンピュータシステム100に対する信号を生成するための正がオン及び負がオフの位置を有するマウススイッチ155,165を備える。本体120は、コンピュータシステム100において通常用いられている様々な構成要素(図示せず)を備える。これらの構成要素としては、例えばプロセッサ、ROM及びRAMからなるメモリ、キャッシュメモリ、ハードディスクストレージ装置、フロッピー(登録商標)ディスクドライブ、ストレージテープドライブ、グラフィックカード及びオーディオカード、ネットワークインターフェースカード、電源等があり、これらは、従来のアーキテクチャを用いて相互接続されている。
【0011】
コンピュータシステム100は、モニタ受像機130を介して映像を出力し、スピーカ(図示せず)を介して音声を出力し、キーボード150、マウス160、及び可能な場合はマイクロフォン(図示せず)を介して、ユーザからの入力を受信する。ユーザは、従来の方法、例えばマウス160等の対話形入力装置を用いて所望のオブジェクト上にスクリーンカーソルを移動させ、その対話形入力装置をクリックする(ボタンを押す)ことにより、コンピュータシステム100とインターフェースすることができる。このような操作を通じて、コンピュータシステム100は、所望のオブジェクトを識別/選択し、次の動作に備える。例えば、ユーザは、マウス160を用いて、スクリーンカーソルを、モニタ受像機130上のグラフィック表示画面上で動かして、グラフィック表示画面上の特定の画像に関連するに位置させる。そして、ユーザは、スクリーンカーソルを位置決めした状態で、マウススイッチ165をダブルクリックすることにより、コンピュータシステム100に入力を行う。このような操作により、通常、スクリーンカーソルが位置決めされた画像に対する所望の動作に関する情報を、コンピュータシステム100に供給することができる。このような表示と機能は、グラフィカルユーザインターフェースと呼ばれる。
【0012】
FIG.1に示すコンピュータシステム100は、デスクトップ型であるが、本発明は、ラップトップ型、パーム型等のその他の型のコンピュータシステムに対しても同様に適用することができる。また、この実施例では、スクリーンカーソルを移動して、入力を行うためにマウス160を用いているが、今後、入力を受け付け、出力を表示するための新たな技術が開発されることが予想され、本発明は、このような新たな技術も意図しているものである。例えば、マウス及びキーボードによるコマンドの代わりに、音声コマンドを用いて、表示を更新することもできる。このような及び他の代替例は、当該分野の技術者にとっては明らかである。
【0013】
FIG.2は、コンピュータ200(通常、本体120内に設けられ、コンピュータシステム100の一部をなす)の具体的な構成を示すブロック図であり、コンピュータ200は、CPU202と、ROM204と、メモリ206と、データストレージ装置208と、ビデオカード210と、オーディオカード212と、キーボード/マウスコントローラ214と、ネットワークインターフェース216とを備え、これらの各回路は、従来のバス218に接続されている。CPU202は、例えばカリフォルニア州、サンタクララのインテル社から供給されるペンティアム(登録商標)等の、従来のマイクロプロセッサからなる。CPU202は、ROM204及び/又はメモリ206に記憶されているインストラクションを実行する。ROM204は、読出専用メモリからなり、電源が切断されている間でも、格納している情報を保持する。ROM204は、例えばブートアップシーケンス用のインストラクションを記憶している。メモリ206は、例えば揮発性メモリからなり、コンピュータオペレーティングシステムにおいて実行される通常の動作中に用いられるインストラクション及び情報を記憶する。データストレージ装置208は、データを長期間保存するものであり、例えば磁気ディスク装置、光磁気ディスク装置等のハードディスク装置からなる。ビデオカード210は、コンピュータ200とモニタ受像機130とのインターフェースをとり、オーディオカード212は、コンピュータ200とスピーカとのインターフェースをとる。キーボード/マウスコントローラ214は、コンピュータ200と、コンピュータ200に入力を供給するキーボード150及びマウス160とのインターフェースをとる。ネットワークインターフェース216は、従来のネットワークインターフェースカードからなり、ローカルネットワークの線とコンピュータ200とのインターフェースをとる。このネットワークインターフェースカード216は、従来のイーサネット(登録商標)カード、あるいはイーサネット(登録商標)、ISDN及び/又はその他のネットワークと通信を行う多目的インターフェースであってもよい。インターネットへの接続は、このネットワークインターフェース216を介して行うことができる。
【0014】
なお、コンピュータ200は、上述した回路以外の構成要素を備えていてもよい。例えばプリンタやプロッタとのインターフェースをとる入出力ポート、フロッピー(登録商標)ディスクドライブ、CD−ROMドライブ、その他様々な機能の回路を備えていてもよく、また、様々な回路はなくてもよい。同様に、インターネットへの接続をネットワークインターフェースカードを用いて行うと説明したが、モデムを従来の電話回線に接続し、インターネットサービスプロバイダを介して、インターネットに接続してもよい。このように、コンピュータ200に関しては、様々な代替例が考えられるが、それら代替例は、当該分野の技術者にとっては明らかである。
【0015】
また、FIG.2に示すように、メモリ206には、オペレーティングシステム220と、ズーミングエンジン222とが記憶される。オペレーティングシステム220は、通常、ブート中に、データストレージ装置(例えばハードディスク装置)208からメモリ206にロードされるプログラムである。オペレーティングシステム220は、コンピュータ200内のアプリケーションと呼ばれる他のプログラムを管理するとともに、直接又はアプリケーションプログラムインターフェースを介してアプリケーションによって用いられる特定のインストラクション及び動作を備えている。また、オペレーティングシステム220は、コンピュータ200に接続されている機器(例えばプリンタ、ディスクドライブ等)の交換を処理したり、メモリ206の使用状態を管理したり、あるいはマルチタスク環境における処理リソース(computing resource)の割当を行う。
【0016】
ズーミングエンジン222は、後述するように、ユーザ入力及びシステム入力に基づいてモニタ受像機130を更新するためのインストラクションを備えている。ズーミングエンジン222は、例えば、ズーミングスペース(zooming space)内に表示される様々なズーミングオブジェクトを管理し、利用可能な表示スペースを判別し、その利用可能な表示スペース内に表示されるズーミングオブジェクトを決定し、ユーザがズーミングスペースを指示することによって生成されるマウス及びキーボードイベント(event)等の様々なイベントに応じてモニタ受像機130を更新する。ズーミングエンジン222は、ソフトウェアからなることが好ましいが、ズーミングエンジン222の全て又は一部は、ハードウェア、ファームウェア、あるいはソフトウェア、ハードウェア及びファームウェアを組み合わせたものであってもよい。
【0017】
この実施例においては、コンピュータシステム100は、UNIX(登録商標)、WINDOWS(登録商標)95又はWINDOWS(登録商標)98等の既存のオペレーティングシステムを用い、これらは、メモリ206内のオペレーティングシステム220の領域に常駐する。本発明を適用したズーミングエンジン222は、コンピュータプロセッサ用のインストラクションセットとして実装されるときは、JAVAプログラミング言語によって書かれており、JAVA仮想マシン(JAVA virtual machine)を含むこれらのインストラクションは、コンピュータシステム100のメモリ206内のオペレーティングシステム220の領域に常駐している。JAVA仮想マシンは、演算機器用の抽象仕様(abstract specification)であり、JAVAアプリケーションと、JAVAアプリケーションが実行される特定のプラットフォーム(インテル、アップル)との間のインターフェースとして機能する。周知のように、JAVAは、プラットフォームに依存せず、オブジェクト指向プログラミング言語であり、その詳細は、サンマイクロシステムズ社(Sun Micro Systems, Inc.)によって、インターネットウェブサイトに掲載されている。ワールドワイドウェブ(World Wide Web:WWW)におけるサンマイクロシステムズ社のウェブサイトのユニフォームリソースロケータ(Uniform Resource Locator:URL)は、www.java.sun.comであり、JAVA、JAVA開発キット(development kit)及び関連する商品に関する情報も、このウェブサイト内に記載されている。
【0018】
また、コンピュータシステム100は、ワールドワイドウェブ又はローカルネットワークとの通信を行うハードウェア及びソフトウェアを備えてもよい。この場合、ソフトウェアは、Netscape Navigator(登録商標)等のJAVAを使用することのできるブラウザを備える。このようなソフトウェアを用いることにより、コンピュータシステム100は、ネットワークインターフェース216を介して、プラットフォームに依存しない言語で書かれたインストラクションを備えるウェブサイトからインストラクションを受信し、受信したインストラクションを実行することができる。
【0019】
<ズーミングエンジン>
FIG.3は、本発明に係るビデオズーミング方法を実現するズーミングビデオインターフェース機能を働かせるズーミングエンジン222の構成を示すブロック図である。例えば、ズーミングエンジン222は、上述したように、オペレーティングシステム220によって動作し、ズーミンググラフィカルユーザインターフェース機能を提供するためのCPU202によって実行される様々なインストラクションを含んでいる。
【0020】
また、ズーミングエンジン222は、プラットフォームに依存したインストラクションを含むインストラクションを実行する環境において動作してもよいが、ズーミングエンジン222は、通常、プラットフォームに依存しないインストラクションを実行する環境において、仮想マシン302上で動作するものであることが好ましい。この実施例においては、ズーミングエンジン222は、JAVAプログラミング言語によって書かれており、仮想マシン302は、JAVA仮想マシンからなる。ズーミングエンジン222とオペレーティングシステム220との間には、オペレーティングシステム220を用いてレンダリングを行うOSレンダリングインターフェース304とOSビデオインターフェース306が設けられている。これらのインターフェース304,306は、ダイナミックリンクライブラリ(DDL)ファイル、及び/又はWINDOWS(登録商標)の環境においてはマイクロソフト社のDirectDraw及びDirectShowのソフトウェア開発キット(software development kit:以下、SDKという。)等のオペレーティングシステム220とインターフェースするための従来の機能を備えている。
【0021】
ズーミングエンジン222は、領域モジュール(universe module)308を備え、領域モジュール308は、所定のズーミングスペースに対応する最上位(highest level module)のモジュールである。領域モジュール308は、ビューモジュール(view module)310と、オブジェクト管理モジュール312(object manager module)と、イベント管理モジュール(event manager module)314とを備える。これらのモジュール308〜314は、実行時において、それらに関連して記述された様々な機能を実行するインストラクションを含んでいる。これらのモジュール308〜314(これらのモジュールに直接的又は間接的に関連する付加的なサブモジュール(sub-module))は、ソフトウェアよりなることが好ましいが、これらの機能をハードウェア又はファームウェアを用いて実現してもよい。これらのモジュール308〜314は、例えば、1つの領域に対して1つだけ生成することができるクラスのインスタンス(instance of a class)用のJAVA単一クラス定義(Java(登録商標) singleton class definition)を用いて実現される。
【0022】
FIG.3に示す領域モジュール308及びそのサブモジュールの全ては、1つのズーミングスペースに関連している。複数のズーミングスペースのインスタンスを、自身の領域モジュール308とそれに適したサブモジュールからそれぞれなる複数のズーミングスペースを含むマルチバース(multiverse)328としてを設けてもよい。
【0023】
オブジェクト管理モジュール312は、ズーミングスペース内の全てのズーミングオブジェクト、すなわちズーミングオブジェクトモジュール316(zooming object module)によって定義される円形モジュール(circle module)318、矩形モジュール(rectangle module)320、テキストモジュール(text module)322、ビデオプレーヤモジュール(video player module)324等のそのサブクラスモジュールを含むズーミングオブジェクトを制御する。ズーミングオブジェクトモジュール316と、各サブクラスモジュール318〜324との間に示す分岐(branch)は、1対多(one-to-many)の関係を表している。例えば、円形モジュール318が複数存在するときは、それぞれの円形モジュール318は、スーパークラス(superclass)であるズーミングオブジェクトモジュール316の特性を継承している。
【0024】
ズーミングエンジン222は、様々な種類のオペレーティングシステム220とインターフェースをとることができる。この実施例においては、グラフィックモジュール323は、ズーミングエンジン222をOSレンダリングインターフェース304にインターフェースさせる。同様に、様々なオペレーティングシステムインターフェースに対するポートとして機能する様々な種類のビデオプレーヤモジュール324を設けてもよい。
【0025】
イベント管理モジュール314は、ユーザの操作によるマウス/キーボードイベント等のシステムイベント(system event、矢印330)に応答するイベントオブジェクト(event object)326を生成する。そして、イベントオブジェクト326は、イベント処理情報(event handling information)とともに、矢印332に示すようにビューモジュール310に送られ、及び/又は矢印334に示すようにオブジェクトモジュール316に送られ、表示が適切に更新される。
【0026】
ビューモジュール310は、オブジェクト管理モジュール312からのズーミングオブジェクトに関する情報の要求及び受信(矢印336)によって、ズーミングスペース内のズーミングオブジェクトから選択されたズーミングオブジェクトの少なくとも1組を含む。典型的には、ビューモジュール310は、これらのズーミングオブジェクトを含み、これらのズーミングオブジェクトは、主ズーミング表示領域(main zooming view)内に存在する。これらのズーミングオブジェクトは、オブジェクト管理モジュール312によって用いられる同一のインデックスに結び付けられる。これにより、ビュー内の様々なズーミングオブジェクトを、ビューモジュール310内で分離して編成することができ、したがって、ズーミングオブジェクトモジュール316を別々に呼び出す必要がなくなる。例えば、ビューモジュール310は、矢印338に示すように、コマンドを発行し、このコマンドは、オブジェクトモジュール316及び幾つかの関連するサブクラスモジュールを介して伝搬し、主ズーミング表示領域内に含まれる多くのズーミングオブジェクトのレンダリングに影響を与える。
【0027】
個々のズーミングオブジェクト又はズーミングオブジェクトのグループは、互いに独立して、イベント管理モジュール314によってズーミングオブジェクトモジュール316に直接供給されるイベント情報に応じた更新の対象とされ、レンダリングコマンドは、矢印340,342,344に示すように、各オブジェクトによってより直接的に発行される。このように行われる更新には、例えば、
【0028】
<ズーミングスペース>
FIG.4は、ズーミングスペース402に含まれる情報を表す様々な幾何学オブジェクトを示す図であり、ズーミングスペース402は、ズーミングオブジェクト406,408,410,412,414を含んでいる。FIG.4に示す外枠は、ズーミングスペース402を表している。図を簡単にするために、ズーミングスペース402の境界を示しているが、ズーミングスペース402は、必ずしも境界を有さなくてもよい。ズーミングスペース402は、利用可能なビュースペース(available view space)404を含んでいる。利用可能なビュースペース404は、典型的には、モニタ受像機130及びその構成に応じて変化する。したがって、利用可能なビュースペース404は、モニタ受像機130の最大表示領域であってもよい。また、ズーミングエンジン222がオペレーティングシステム220と関連して動作する場合、利用可能なビュースペース404は、オペレーティングシステム220によって提供される特徴(feature)に一致する。例えば、WINDOWS(登録商標)オペレーティングシステム220内で開かれているウィンドウの利用可能な表示領域が、利用可能なビュースペース404である。したがって、利用可能なビュースペース404は、ウィンドウを最大化したり、又はウィンドウのサイドの位置を変える等の従来の制御を用いることにより、変えることができる。
【0029】
ズーミングスペース402内のズーミング可能なオブジェクトには、円406、三角形408、星形410、四角形412及びMPEGビデオ画像414が含まれ、このようなオブジェクトは、特定のサイズ、形状及び色彩を有するグラフィカルオブジェクトである。ビデオオブジェクトは、MPEG、AVI、ストリーミングビデオ等の標準的なビデオフォーマットからなる。上述したズーミングオブジェクト及びオブジェクトフォーマットは、一具体例であり、これらに限定されるものではない。上述したズーミングオブジェクト及びオブジェクトフォーマットに代えて、他のズーミングオブジェクト及びフォーマットを用いてもよいことは、当該分野の技術者にとっては明らかである。
【0030】
ズーミングスペース402は、全てのズーミングオブジェクト406〜414を含んでおり、ユーザは、ズーミングスペース402を操作している間に、これらのズーミングオブジェクトを見ることができる。なお、利用可能なビュースペース404が全体のズーミングスペース402を囲むのに十分な大きさを有しないときは、ユーザは、ズーミングオブジェクト406〜414の全てを同時に見ることができない。例えば、この実施例においては、利用可能なビュースペース404には、三角形408、円406及びMPEGビデオオブジェクト414が含まれるが、他のオブジェクトは、オブジェクトの尺度及びパンされる位置に応じて、見えたり、見えなかったりする。
【0031】
ユーザは、ズーミングスペース402内において、マウス160を用いてオブジェクトを選択することにより、グラフィカルオブジェクトと直接対話することができる。この動作により、ズーミングエンジン222内でイベントが生成され、利用可能なビュースペース404内の見ることができる各オブジェクトに対して交差テスト(intersection test)が開始される。線、矩形又は楕円等の基本的なオブジェクト(primitive object)は、マウスカーソルの下のポイントがオブジェクトの形状と交差するかを調べるための単純な数学的テストを行う。文字枠によって定義されるオブジェクトがマウスカーソルの下のポイントと交差するときは、ユーザは、そのオブジェクトに対して次の操作を行うことができる。ズーミングオブジェクトのクラスは、それ自体の形状を有していないので、文字枠とマウスカーソルの下のポイントとが交差するかを判定するのには、様々な形状の文字枠を選択することができるが、特に、矩形の文字枠を用いることが好ましい。
【0032】
ユーザは、ズーミングスペース402を三次元的に操作することができる。例えば、表示装置の利用可能なビュースペースの二次元面に対応したX方向及びY方向の移動は、パニングと呼ばれ、これに対して、Z方向の操作は、「ズーミング」と呼ばれる。Z方向(表示画面の中へ又は外へ)の操作によって、利用可能なビュースペース404の視点(perspective)が、ズーミングスペース402内のズーミングオブジェクトに向かってズームインしたり、又はズーミングオブジェクトからズームアウトするように見える。
【0033】
表示画面の中へ(+Z方向)の操作を行うことにより、ズーミングオブジェクトは、見る者に近づくように、すなわちより大きく現れる。この操作を「ズームイン」と呼ぶ。また、この操作により、ズーミングオブジェクトの感知される間隔は増し、これによって、ズーミングオブジェクトは利用可能なビュースペース404から外れる。「ズーミングイン」を行うためには、ユーザは、マウスカーソルを用いて、より詳細に詳細に見たい情報をマークするとともに、所望の情報を拡大させる入力装置を操作する。
【0034】
表示画面の外へ(−Z方向)の操作を行うことにより、ズーミングオブジェクトは、ユーザから遠ざかるように、すなわちより小さく現れる。この操作を「ズームアウト」と呼ぶ。ユーザのズームアウトと同様に、ズーミングオブジェクトの感知される間隔は減少し、新たなズームオブジェクトが利用可能なビュースペース404内に入ってくる。「ズームアウト」を行うためには、ユーザは、マウスカーソルを用いて、小さく見たい情報をマークするとともに、所望の情報の大きさを縮小させる操作を行い、それによって、選択された情報のより広範囲な部分が表示される。全てのズーミング操作は、従来の対話形の入力コマンドを用いて行われる。例えば、マウス160を左クリックすることにより、ズームインを行い、キーボード150のシフトキーを押しながらマウス160を左クリックすることにより、ズームアウトを行う。
【0035】
FIG.5A乃至FIG.5Cは、本発明に基づいて操作されるビデオの表示画像の一例を示す図である。FIG.5A乃至FIG.5Cに示す各画像は、同一のズーミング領域上に表示される。FIG.5Aに示すズーミングビデオ画像(zooming video image)1は、ユーザがビデオファイルを開き、再生したときに表示される画像である。この実施例において、画像の左上にあるメニューの1つをプルダウンし、「再生」を選択することにより、再生コマンドが発行される(なお、このようなメニュープルダウン操作は、当該分野の技術者にとって周知の技術であり、ここでは、その詳細な説明を省略する。)。FIG.5Bに示すズーミングビデオ画像2は、同じビデオ画像をズームインしたときに表示される画像である。例えば、ユーザは、表示されているビデオ画像の任意の位置にマウスカーソルを置き、マウス160を左クリックすることにより、ズームイン機能を実行させる。なお、ズームインされる位置は、マウスカーソルの位置である。FIG.5Cに示すズーミングビデオ画像3は、同じビデオ画像をズームアウトしたときに表示される画像である。例えば、ユーザは、表示されているビデオ画像の任意の位置にマウスカーソルを置き、シフトキーを押しながらマウス160を左クリックすることにより、ズームアウト機能を実行させる。
【0036】
<ビデオズーミング方法(zooming video methodology)>
本発明に係るビデオズーミング方法に基ついて、ビデオ再生ライブラリ(video player library)は、オペレーティングシステム220のネイティブコード(native code)に設定され、選択されたビデオファイルは、このビデオ再生ライブラリ内で開かれる。また、ズーミングエンジン222は、例えばJAVAプログラミング言語で書かれており、コンピュータ200内で起動されており、ズーミングエンジン222のズーミング領域がコンピュータ200の表示装置(又は、このような表示装置上のアクティブウィンドウ内)に表示される。この実施例においては、ビデオ再生ライブラリはマイクロソフト社のDirectShowからなり、ビデオファイルフレームは、Microsoft DirectX固有の言語で、DirectDraw surfaceとしてメモリ領域に記憶される。
【0037】
JAVAに基づくズーミングエンジン222において、ズーミングエンジン222のOSビデオインターフェース306を介して、ズーミングビデオオブジェクトに再生が指示されると、ビデオフレームが記憶されるDirectDraw surfaceに関するキャプチャループ(capture loop)を生成するスレッド(thread)が生成され、このスレッドは、ビデオ再生ソフトウェアのネイティブコードに引き継がれる。この実施例においては、ビデオキャプチャは、ビデオストリームのフレームレート(frame rate)で実行され、ビデオフレームは、ループ毎にDirectDraw surfaceにコピーされて、記憶される。そして、コピーされたビデオフレームは、ズーミング領域内のビデオオブジェクトに変換され、このビデオオブジェクトは、ビデオフレームが表示されるズーミング領域内の画面(surface)を表している。従来のコンピュータ入力装置を用いて、ズーミング領域内のビデオオブジェクトを囲む文字枠の寸法及び位置を操作することにより、ビデオオブジェクトを拡大することができ、これにより、再生中のビデオファイルが、パン及び拡大された状態で、ユーザに表示される。なお、ビデオキャプチャループのコピーレートは、基本的には、見る者の目に連続した動きとして感知される視点から選択される。
【0038】
また、本発明の他の実施例は、テキスト等の他のオブジェクトと重なり合ったビデオオブジェクトのズーミング方法に関する。多くの場合、ユーザは、ビデオオブジェクトの大きさを、対応するテキストオブジェクトをズーミングせずに、ズーミングすることを欲する。ビデオオブジェクトは、フレームレート、例えば1秒間に30回の割合で、常にリフレッシュされる一方、重なり合っているテキストはリフレッシュされないので、この実施例におけるビデオズーミング方法では、ズーミング領域内にアニメーションが生成され、ビデオオブジェクトが、リフレッシュレートで、「ダメージング(damaging)」される。このようなビデオオブジェクトの「ダメージング」とは、画像を表示装置上で再ペイント(repaint)する動作も含むことを意図するものである。このようにズーミング領域内のビデオオブジェクトにダメージを与えることにより、ビデオオブジェクトを囲む文字枠は常にリフレッシュされるが、そのビデオオブジェクトの上部に他のオブジェクトがある場合、ズーミング領域は、その領域の部分、すなわちビデオオブジェクトをダメージを受けるものと認識して、(ダメージレート)で再ペイントしなくてはならず、ズーミング領域内の全ズーミングオブジェクトの正しいZ面平面の順番が維持されるように、再ペイントが行われる。
【0039】
FIG.6は、本発明に係るビデオズーミング方法を説明するためのフローチャートである。FIG.6に示すように、上述した動作は、境界線601を境に、JAVAプログラミング言語を用いて実装されるズーミングエンジン222内で実行される機能と、コンピュータシステム100のオペレーションシステムのネイティブコード(native code)を用いて実行される機能とに分けられる。ズーミングエンジン222は、JAVA仮想マシン600の制御の下で動作し、ズーミングエンジン222は、初期ステップとして、ビデオ再生が指示されると、ブロック603で示されるズーミングビデオ再生スレッド(zooming video play thread)を起動させる(ステップ602)。次のステップにおいて、ズーミングビデオ再生スレッドは、ネイティブコードに引き継がれ(descend)、ネイティブコード内で実行されるビデオストリームからのデータを用いてDirectDraw surfaceを生成するループに送られる(ステップ604)。そのネイティブコードのDirectDraw surfaceからのビデオフレームは、ズーミング領域内のビデオオブジェクトを構成するビデオDirectDraw surface606にコピーされる。このビデオDirectDraw surface606は、ビデオファイルの元の大きさを有している(なお、FIG.6において、図を簡単にするために、ビデオDirectDraw surface606は、ネイティブコードの一部として図示されているが、実際には、JAVAズーミング領域内のオブジェクトに含まれる。)。ビデオDirectDraw surface606のオブジェクトを囲む文字枠の大きさが、(ユーザからの入力により)、ズーミング領域内で縮小又は拡大されると、ビデオオブジェクトをペイントするように要求が発行され、これにより、ズーミング領域内のDirectDraw surfaceの、ズーミングビデオオブジェクトから要求される座標(coordinates)に、ビデオデータがコピーされ(ステップ605)、ズーミング領域ディスプレイ(zooming universe display)607上に、縮小又は拡大されたビデオ画像(video image)が表示される。
【0040】
また、FIG.6は、上述した他の実施例、すなわちズーミングビデオオブジェクトに、テキストオブジェクト等の他のオブジェクトが重なっていて、この他のオブジェクトを、ビデオオブジェクトと同じリフレッシュレートでリフレッシュする必要がない場合のビデオズーミング方法を、説明するためのフローチャートを示している。FIG.6に示すように、新たなスレッドが、ズーミングエンジン222によって、ブロック609内に示されるズーミングビデオダメージスレッド(zooming video damage thread)として起動される(ステップ608)。上述したようなビデオオブジェクトに関するアニメーション効果を実現するために、ズーミングビデオダメージスレッド609は、例えば1秒間に30回の割合で、ズーミングビデオオブジェクト611にダメージを与える(ステップ610)。このようにズーミングビデオオブジェクトにダメージを与えることによって、ネイティブビデオオブジェクトから、ダメージング毎に、ペイントが要求され(ステップ612)、ズーミングされるビデオオブジェクトの座標が、ビデオDirectDraw surface606上で再ペイント(repaint)を行うためのペイントプログラムに供給される。このとき、本発明に係る基本的なビデオズーミング方法によれば、このペイント要求により、ビデオデータは、ズーミング領域内のDirectDraw surface上のズーミングビデオオブジェクトの座標にコピーされ(ステップ605)、その結果、ズーミング領域ディスプレイ607上に、縮小又は拡大されたビデオ画像が表示される。
【0041】
【発明の効果】
以上、オペレーティングシステムのネイティブコードを用いて再生されるビデオファイルを、コンピュータ上で動作するズーミング領域に変換し、ビデオファイルの画像を、ユーザによって、ユーザが所望する大きさに拡大又は縮小する方法を説明した。ズーミングエンジンは、変換されたズーミングビデオオブジェクトが拡大及び縮小されるズーミング領域を備え、例えばJAVAプログラミングコードで実現される。また、本発明の他の実施例では、ズーミングビデオオブジェクトに所望のリフレッシュレートでダメージを与えることによって、アニメーションが生成され、ズーミングビデオオブジェクトと、ズーミングビデオオブジェクトの上部に重なるテキストオブジェクト等の他のオブジェクトとの間の適切なZ面平面の順番が維持される。
【0042】
以上、本発明に係るビデオズーミング方法及びビデオズーミング方法の具体例を詳述したが、特許請求の範囲に示す本発明の思想を逸脱することなく、上述の実施の形態を様々に変形及び修正することができる。
【図面の簡単な説明】
【図1】 FIG.1は、従来のコンピュータシステムの構成を示す図である。
【図2】 FIG.2は、ズーミングエンジンを備えるコンピュータシステムを示すブロック図である。
【図3】 FIG.3は、ズーミングエンジンの構成を示すブロック図である。
【図4】 FIG.4は、ズーミングスペース内に含まれる、ズーミングビデオオブジェクト等の様々なズーミング表示オブジェクトを示す図である。
【図5】 FIG.5Aは、拡大又は縮小される前のビデオ画像の一例を示す図である。
【図6】 FIG.5Bは、拡大されたビデオ画像の一例を示す図である。
【図7】 FIG.5Cは、縮小されたビデオ画像の一例を示す図である。
【図8】 FIG.6は、本発明に係るビデオズーミング方法を説明するためのフローチャートである。
Claims (25)
- コンピュータ処理装置上で再生可能なビデオデータファイルとして構成されるビデオデータストリームに関連するビデオ画像を所望の大きさに拡大又は縮小するビデオズーミング方法であって、
上記コンピュータ処理装置上で動作するビデオ再生ライブラリ内で上記ビデオデータファイルのインスタンスを再生するステップと、
上記コンピュータ処理装置と関連して表示装置のアクティブウィンドウ内のズーミング領域の少なくとも一部を表示するよう動作するズーミングエンジンを提供するステップであって、上記ズーミング領域はその内部にズーミングスペースを定義し、このズーミングスペースには、前記表示装置のアクティブウィンドウ内のズーミングスペースの操作中にユーザが見る1又はそれ以上のズーミングオブジェクトが与えられるものであり、前記操作にはパン、ズームイン、ズームアウトのうちの1つ又はそれ以上か含まれ、上記ズーミングエンジンは、前記アクティブウィンドウに表示されたズーミング領域のズーミングスペース内の上記1つ又はそれ以上のズーミングオブジェクトを所望のレベルのビューイング寸法に拡大/縮小して上記1又はそれ以上のズーミングオブジェクトの寸法を拡大又は縮小するよう動作する、というステップと、
上記ビデオ再生ライブラリ内で再生される上記ビデオデータファイルのフレームを上記ズーミングエンジンによって設けられるズーミング領域内の上記ズーミングオブジェクトの与えられた1つにコピーするステップであって、上記ズーミングオブジェクトの与えられた1つはズーミングビデオオブジェクトである、というステップと、
上記ビデオズーミングビデオオブジェクトを上記ビデオ画像に対する所望のレベルに寸法を変えてユーザに前記アクティブウィンドウ内の少なくとも一部に表示されるビデオデータファイルの拡大/縮小された画像を与えるステップと、
を備えるビデオズーミング方法。 - 上記ビデオ画像の二次元面内でパンを行うステップを更に備える請求項1記載のビデオズーミング方法。
- 上記ズーミングビデオオブジェクトは、グラフィカルユーザインターフェースに関連して表示されることを特徴とする請求項1記載のビデオズーミング方法。
- 上記所望の拡大/縮小レベルは、上記コンピュータ処理装置上で上記ビデオファイルが再生されている間、ユーザによって選択されることを特徴とする請求項1記載のビデオズーミング方法。
- ユーザにより選択可能な上記所望の拡大/縮小レベルは、グラフィカルユーザインターフェースと協動的にリンクする対話形入力装置を介して入力されることを特徴とする請求項4記載のビデオズーミング方法。
- 上記グラフィカルユーザインターフェースによって表示されたビデオ画像の二次元面内でパンを行うステップを更に備える請求項3記載のビデオズーミング方法。
- 上記ビデオ画像内のパン位置は、上記コンピュータ処理装置上で上記ビデオファイルが再生されている間、ユーザによって選択されることを特徴とする請求項6記載のビデオズーミング方法。
- ユーザにより選択可能な上記パン位置は、上記グラフィカルユーザインターフェースと協動的にリンクされた対話形入力装置を介して入力されることを特徴とする請求項7記載のビデオズーミング方法。
- 上記ズーミングオブジェクトにコピーされた上記ビデオデータファイルのフレームに、選択された繰り返しレートでダメージを与え、上記ダメージを与えられたフレームに、前記選択された繰り返しレートでディスプレイ内で再ペイントさせるステップを更に備えることを特徴とする請求項1記載のビデオズーミング方法。
- 上記ズーミングエンジンは、オブジェクト指向プログラミング言語によって書かれることを特徴とする請求項1記載のビデオズーミング方法。
- 処理手段(202)と、オペレーティングシステム(220)として構成されるコンピュータインストラクションのセットと、上記処理手段によって操作されるグラフィカル画像データを表示する表示手段(130)と、上記処理手段によって処理されるビデオ画像を、元の画像サイズから所望の拡大レベルで拡大して表示するビデオイメージング手段(202,210)とを備えるコンピュータシステムにおいて、
上記ビデオイメージング手段は、
上記オペレーティングシステムの制御下で動作するビデオ再生ソフトウェアライブラリ(306)と、
上記コンピュータシステムと関連してズーミング領域の少なくとも一部を前記表示手段のアクティブウィンドウにおいて表示するよう動作するズーミングエンジン(222)であって、上記ズーミング領域はその内部にズーミングスペースを定義し、このズーミングスペースには、前記表示手段のアクティブウィンドウ内のズーミングスペースの操作中にユーザが見る1又はそれ以上のズーミングオブジェクトが与えられるものであり、前記操作にはパン、ズームイン、ズームアウトのうちの1つ又はそれ以上か含まれ、上記ズーミングエンジンは、前記アクティブウィンドウに表示されたズーミング領域のズーミングスペース内の上記1つ又はそれ以上のズーミングオブジェクトを所望のレベルのビューイング寸法に拡大/縮小して上記1又はそれ以上のズーミングオブジェクトの寸法を拡大又は縮小するよう動作する、ズーミングエンジンとを備え、
データファイルとして構成されたビデオデータストリームが、上記ビデオ再生ソフトウェアライブラリ内で再生され、再生された上記ビデオデータストリームのフレームが、上記ズーミングエンジンによって設けられるズーミング領域内のズーミングオブジェクトの与えられた一つにコピーされ、前記与えられたズーミングオブジェクトはビデオズーミングオブジェクトであり、上記ズーミングビデオオブジェクトの拡大/縮小によってユーザに前記アクティブウィンドウ内の少なくとも一部に表示されるビデオデータファイルの拡大/縮小された画像を与えることを特徴とするコンピュータシステム。 - 上記ビデオ画像を所望の拡大/縮小レベルで拡大又は縮小するための拡大/縮小手段(316)を更に備える請求項11記載のコンピュータシステム。
- 上記ビデオ画像における任意のビデオ画像の二次元面内でパンを行うためのパニング手段(316)を更に備える請求項11記載のコンピュータシステム。
- ユーザが選択した上記所望の拡大/縮小レベルを上記ビデオイメージング手段に供給するための対話形入力手段(314)を更に備える請求項11記載のコンピュータシステム。
- 上記ズーミングビデオオブジェクトにコピーされた上記ビデオデータストリームに、任意の繰り返しレートでダメージを与え、上記ダメージを与えたフレームに、前記選択された繰り返しレートでディスプレイ内で再ペイントするようにさせる手段(15)を更に備える請求項11記載のコンピュータシステム。
- 上記ズーミングビデオオブジェクトを囲む文字枠を定義するステップをさらに有し、上記ズーミングビデオオブジェクトを所望の拡大/縮小レベルで拡大又は縮小するステップには、上記ズーミングビデオオブジェクトを前記文字枠内において上記ビデオ画像に対する所望の拡大/縮小レベルで拡大又は縮小することを含む、請求項1に記載の方法。
- コンピュータ処理装置上で再生可能なビデオデータファイルとして構成されるビデオデータストリームに関連するビデオ画像を所望の大きさに拡大又は縮小するビデオズーミング方法であって、
上記コンピュータ処理装置上で動作するビデオ再生ライブラリ内で上記ビデオデータファイルのインスタンスを再生するステップと、
上記コンピュータ処理装置と関連して動作するズーミングエンジンを提供するステップと、
上記ビデオ再生ライブラリ内で再生される上記ビデオデータファイルのフレームを上記ズーミングエンジンによって設けられるズーミング領域にズーミングビデオオブジェクトとしてコピーするステップであって、上記ズーミング領域の少なくとも一部は表示装置のアクティブウィンドウにおいて表示されるものであるステップと、
上記ビデオ画像に対する所望のレベルに上記ズーミングオブジェクトを拡大/縮小するステップと、
を有し、上記ズーミングオブジェクトを拡大又は縮小するステップは、上記ズーミングビデオオブジェクトに重なる別のオブジェクトは拡大/縮小しないことを特徴とする方法。 - 上記別のオブジェクトはテキストオブジェクトである、請求項17に記載の方法。
- 上記ズーミングエンジンはズーミング領域においてオブジェクトの周りに文字枠を定義するよう構成されおり、かつ、前記拡大/縮小手段は前記文字枠内でオブジェクトを所望の拡大/縮小レベルで拡大/縮小するよう構成されている、請求項12に記載のコンピュータシステム。
- 処理手段と、オペレーティングシステムとして構成されるコンピュータインストラクションのセットと、上記処理手段によって操作されるグラフィカル画像データを表示する表示手段と、上記処理手段によって処理されるビデオ画像を、元の画像サイズから所望の拡大レベルで拡大して表示するビデオイメージング手段とを備えるコンピュータシステムにおいて、
上記ビデオイメージング手段は、
上記オペレーティングシステムの制御下で動作するビデオ再生ソフトウェアライブラリと、
上記コンピュータシステムと関連して動作するズーミングエンジンとを備え、
データファイルとして構成されたビデオデータストリームが、上記ビデオ再生ソフトウェアライブラリ内で再生され、再生された上記ビデオデータストリームのフレームが、上記ズーミングエンジンによって設けられるズーミング領域にコピーされ、上記ズーミング領域の少なくとも一部は上記表示手段のアクティブウィンドウに表示され、
さらに、上記ビデオ画像を所望のレベルに拡大/縮小する拡大/縮小手段を備え、
上記拡大/縮小手段は、上記ビデオ画像に重なる別のオブジェクトを拡大/縮小しないことを特徴とするコンピュータシステム。 - 上記別のオブジェクトは、テキストオブジェクトである、請求項20に記載のコンピュータシステム。
- 上記ダメージを与えられたフレームは、ビデオ画像を表示するための表示装置のリフレッシュレートで再ペイントされる、請求項9に記載の方法。
- 上記ダメージを与えられたフレームは、連続的な画像として認識されるよう選択された繰り返しレートで再ペイントされる、請求項9に記載の方法。
- 上記任意の繰り返しレートでダメージを与える手段は、表示手段のリフレッシュレートでフレームを再ペイントする、請求項15に記載のコンピュータシステム。
- 上記任意の繰り返しレートでダメージを与える手段は、連続的な画像として認識されるようフレームを選択された繰り返しレートで再ペイントする、請求項15に記載のコンピュータシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/239,652 US6396962B1 (en) | 1999-01-29 | 1999-01-29 | System and method for providing zooming video |
US09/239,652 | 1999-01-29 | ||
PCT/US2000/002215 WO2000045327A1 (en) | 1999-01-29 | 2000-01-28 | System and method for providing zooming video |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011033924A Division JP5244930B2 (ja) | 1999-01-29 | 2011-02-18 | ビデオズーミングシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002536676A JP2002536676A (ja) | 2002-10-29 |
JP4966451B2 true JP4966451B2 (ja) | 2012-07-04 |
Family
ID=22903125
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000596515A Expired - Lifetime JP4966451B2 (ja) | 1999-01-29 | 2000-01-28 | ビデオズーミングシステム及び方法 |
JP2011033924A Expired - Lifetime JP5244930B2 (ja) | 1999-01-29 | 2011-02-18 | ビデオズーミングシステム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011033924A Expired - Lifetime JP5244930B2 (ja) | 1999-01-29 | 2011-02-18 | ビデオズーミングシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6396962B1 (ja) |
EP (2) | EP2276235A1 (ja) |
JP (2) | JP4966451B2 (ja) |
AU (1) | AU2862900A (ja) |
WO (1) | WO2000045327A1 (ja) |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100379438B1 (ko) * | 2000-11-29 | 2003-04-11 | 엘지전자 주식회사 | 영상기기의 매뉴얼 디스플레이 방법 |
CA2328795A1 (en) | 2000-12-19 | 2002-06-19 | Advanced Numerical Methods Ltd. | Applications and performance enhancements for detail-in-context viewing technology |
CA2345803A1 (en) * | 2001-05-03 | 2002-11-03 | Idelix Software Inc. | User interface elements for pliable display technology implementations |
US8416266B2 (en) | 2001-05-03 | 2013-04-09 | Noregin Assetts N.V., L.L.C. | Interacting with detail-in-context presentations |
US9760235B2 (en) | 2001-06-12 | 2017-09-12 | Callahan Cellular L.L.C. | Lens-defined adjustment of displays |
US7084886B2 (en) * | 2002-07-16 | 2006-08-01 | Idelix Software Inc. | Using detail-in-context lenses for accurate digital image cropping and measurement |
WO2002101534A1 (en) | 2001-06-12 | 2002-12-19 | Idelix Software Inc. | Graphical user interface with zoom for detail-in-context presentations |
CA2361341A1 (en) | 2001-11-07 | 2003-05-07 | Idelix Software Inc. | Use of detail-in-context presentation on stereoscopically paired images |
CA2370752A1 (en) * | 2002-02-05 | 2003-08-05 | Idelix Software Inc. | Fast rendering of pyramid lens distorted raster images |
US8120624B2 (en) | 2002-07-16 | 2012-02-21 | Noregin Assets N.V. L.L.C. | Detail-in-context lenses for digital image cropping, measurement and online maps |
CA2393887A1 (en) | 2002-07-17 | 2004-01-17 | Idelix Software Inc. | Enhancements to user interface for detail-in-context data presentation |
US7549127B2 (en) * | 2002-08-01 | 2009-06-16 | Realnetworks, Inc. | Method and apparatus for resizing video content displayed within a graphical user interface |
CA2406047A1 (en) * | 2002-09-30 | 2004-03-30 | Ali Solehdin | A graphical user interface for digital media and network portals using detail-in-context lenses |
US7454707B2 (en) * | 2002-09-30 | 2008-11-18 | Canon Kabushiki Kaisha | Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program |
CA2449888A1 (en) | 2003-11-17 | 2005-05-17 | Idelix Software Inc. | Navigating large images using detail-in-context fisheye rendering techniques |
US20070097109A1 (en) * | 2005-10-18 | 2007-05-03 | Idelix Software Inc. | Method and system for generating detail-in-context presentations in client/server systems |
CA2411898A1 (en) | 2002-11-15 | 2004-05-15 | Idelix Software Inc. | A method and system for controlling access to detail-in-context presentations |
US20040226048A1 (en) * | 2003-02-05 | 2004-11-11 | Israel Alpert | System and method for assembling and distributing multi-media output |
US7882258B1 (en) * | 2003-02-05 | 2011-02-01 | Silver Screen Tele-Reality, Inc. | System, method, and computer readable medium for creating a video clip |
JP2007515864A (ja) * | 2003-11-17 | 2007-06-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ画像処理方法 |
US7486302B2 (en) * | 2004-04-14 | 2009-02-03 | Noregin Assets N.V., L.L.C. | Fisheye lens graphical user interfaces |
US8106927B2 (en) | 2004-05-28 | 2012-01-31 | Noregin Assets N.V., L.L.C. | Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci |
US9317945B2 (en) | 2004-06-23 | 2016-04-19 | Callahan Cellular L.L.C. | Detail-in-context lenses for navigation |
US7714859B2 (en) | 2004-09-03 | 2010-05-11 | Shoemaker Garth B D | Occlusion reduction and magnification for multidimensional data presentations |
US7995078B2 (en) | 2004-09-29 | 2011-08-09 | Noregin Assets, N.V., L.L.C. | Compound lenses for multi-source data presentation |
US7580036B2 (en) * | 2005-04-13 | 2009-08-25 | Catherine Montagnese | Detail-in-context terrain displacement algorithm with optimizations |
US8031206B2 (en) | 2005-10-12 | 2011-10-04 | Noregin Assets N.V., L.L.C. | Method and system for generating pyramid fisheye lens detail-in-context presentations |
US7983473B2 (en) | 2006-04-11 | 2011-07-19 | Noregin Assets, N.V., L.L.C. | Transparency adjustment of a presentation |
US8301505B2 (en) * | 2007-01-16 | 2012-10-30 | Microsoft Corporation | Integrated content viewing and payment |
US9137497B2 (en) | 2007-04-11 | 2015-09-15 | At&T Intellectual Property I, Lp | Method and system for video stream personalization |
US9026938B2 (en) | 2007-07-26 | 2015-05-05 | Noregin Assets N.V., L.L.C. | Dynamic detail-in-context user interface for application access and content access on electronic displays |
US20110093890A1 (en) * | 2009-10-21 | 2011-04-21 | John Araki | User control interface for interactive digital television |
US8698845B2 (en) | 2010-01-06 | 2014-04-15 | Apple Inc. | Device, method, and graphical user interface with interactive popup views |
US20110163966A1 (en) * | 2010-01-06 | 2011-07-07 | Imran Chaudhri | Apparatus and Method Having Multiple Application Display Modes Including Mode with Display Resolution of Another Apparatus |
US8291344B2 (en) | 2010-04-07 | 2012-10-16 | Apple Inc. | Device, method, and graphical user interface for managing concurrently open software applications |
US9513801B2 (en) | 2010-04-07 | 2016-12-06 | Apple Inc. | Accessing electronic notifications and settings icons with gestures |
US9823831B2 (en) | 2010-04-07 | 2017-11-21 | Apple Inc. | Device, method, and graphical user interface for managing concurrently open software applications |
TWI507925B (zh) * | 2010-06-23 | 2015-11-11 | Pixart Imaging Inc | You can switch the range of interactive pointing devices and how to switch fetch ranges |
US8939885B2 (en) * | 2010-09-17 | 2015-01-27 | Penelope S. Martin | System and method for eliciting a relaxation response |
CN102098451A (zh) * | 2010-12-15 | 2011-06-15 | 广东威创视讯科技股份有限公司 | 一种基于合成视频的图像分割显示方法 |
US9244606B2 (en) | 2010-12-20 | 2016-01-26 | Apple Inc. | Device, method, and graphical user interface for navigation of concurrently open software applications |
US8806369B2 (en) | 2011-08-26 | 2014-08-12 | Apple Inc. | Device, method, and graphical user interface for managing and interacting with concurrently open software applications |
EP2615564A1 (en) * | 2012-01-11 | 2013-07-17 | LG Electronics | Computing device for performing at least one function and method for controlling the same |
JP6273263B2 (ja) | 2012-05-09 | 2018-01-31 | アップル インコーポレイテッド | ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース |
WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
JP6002836B2 (ja) | 2012-05-09 | 2016-10-05 | アップル インコーポレイテッド | ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース |
WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
CN107728906B (zh) | 2012-05-09 | 2020-07-31 | 苹果公司 | 用于移动和放置用户界面对象的设备、方法和图形用户界面 |
WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
EP2847662B1 (en) | 2012-05-09 | 2020-02-19 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
EP2847660B1 (en) | 2012-05-09 | 2018-11-14 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
WO2013169845A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for scrolling nested regions |
EP2847658B1 (en) | 2012-05-09 | 2017-06-21 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
CN105144057B (zh) | 2012-12-29 | 2019-05-17 | 苹果公司 | 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面 |
JP6093877B2 (ja) | 2012-12-29 | 2017-03-08 | アップル インコーポレイテッド | 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース |
CN107832003B (zh) | 2012-12-29 | 2021-01-22 | 苹果公司 | 用于放大内容的方法和设备、电子设备和介质 |
JP6158947B2 (ja) | 2012-12-29 | 2017-07-05 | アップル インコーポレイテッド | タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース |
CN105264479B (zh) | 2012-12-29 | 2018-12-25 | 苹果公司 | 用于对用户界面分级结构进行导航的设备、方法和图形用户界面 |
US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
US9674426B2 (en) | 2015-06-07 | 2017-06-06 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
CN108389156A (zh) * | 2017-01-04 | 2018-08-10 | 成都科创知识产权研究所 | 数据处理方法、系统及图片编辑方法、系统 |
WO2018232016A1 (en) * | 2017-06-13 | 2018-12-20 | Escardo Alberto Palay | 360 degree television system |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0191576A (ja) * | 1987-04-14 | 1989-04-11 | Rca Licensing Corp | 時間伸長されたビデオ信号発生回路 |
US5341466A (en) * | 1991-05-09 | 1994-08-23 | New York University | Fractal computer user centerface with zooming capability |
JPH0756841A (ja) * | 1993-07-21 | 1995-03-03 | Xerox Corp | プロセッサーベースの装置の操作方法 |
JPH0778243A (ja) * | 1993-07-21 | 1995-03-20 | Xerox Corp | 機械操作方法 |
JPH07244742A (ja) * | 1993-11-01 | 1995-09-19 | Internatl Business Mach Corp <Ibm> | ズーム/パン機能付パーソナル通信機 |
JPH0855232A (ja) * | 1994-07-22 | 1996-02-27 | Eastman Kodak Co | 窓を用いてデジタル画像の配置された区域に機能を適用する方法及び装置 |
JPH08315105A (ja) * | 1995-05-19 | 1996-11-29 | Ricoh Co Ltd | 画像断片位置合わせ方法及び画像断片位置合わせ装置 |
JPH0983947A (ja) * | 1995-09-08 | 1997-03-28 | Internatl Business Mach Corp <Ibm> | マルチメディア対応データ処理システムでビデオ・サイズをリアルタイムに変更するシステム |
JPH09149334A (ja) * | 1995-08-31 | 1997-06-06 | General Instr Corp Of Delaware | ビデオ拡大装置 |
US5793379A (en) * | 1995-04-03 | 1998-08-11 | Nvidia Corporation | Method and apparatus for scaling images having a plurality of scan lines of pixel data |
JPH11102243A (ja) * | 1997-05-14 | 1999-04-13 | Sony Electron Inc | 情報提供装置及び情報提供方法 |
US6275232B1 (en) * | 1998-12-14 | 2001-08-14 | Sony Corporation | Polymorphic event handling for zooming graphical user interface |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5596690A (en) | 1993-07-21 | 1997-01-21 | Xerox Corporation | Method and apparatus for operating on an object-based model data structure to produce a second image in the spatial context of a first image |
JPH0744742A (ja) * | 1993-07-28 | 1995-02-14 | Asahi Glass Co Ltd | 入出管理用装置 |
US5737011A (en) * | 1995-05-03 | 1998-04-07 | Bell Communications Research, Inc. | Infinitely expandable real-time video conferencing system |
WO2000079799A2 (en) * | 1999-06-23 | 2000-12-28 | Sarnoff Corporation | Method and apparatus for composing image sequences |
-
1999
- 1999-01-29 US US09/239,652 patent/US6396962B1/en not_active Expired - Lifetime
-
2000
- 2000-01-28 EP EP10178974A patent/EP2276235A1/en not_active Withdrawn
- 2000-01-28 WO PCT/US2000/002215 patent/WO2000045327A1/en active Application Filing
- 2000-01-28 EP EP00907066A patent/EP1198779A4/en not_active Withdrawn
- 2000-01-28 JP JP2000596515A patent/JP4966451B2/ja not_active Expired - Lifetime
- 2000-01-28 AU AU28629/00A patent/AU2862900A/en not_active Abandoned
-
2011
- 2011-02-18 JP JP2011033924A patent/JP5244930B2/ja not_active Expired - Lifetime
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0191576A (ja) * | 1987-04-14 | 1989-04-11 | Rca Licensing Corp | 時間伸長されたビデオ信号発生回路 |
US5341466A (en) * | 1991-05-09 | 1994-08-23 | New York University | Fractal computer user centerface with zooming capability |
JPH0756841A (ja) * | 1993-07-21 | 1995-03-03 | Xerox Corp | プロセッサーベースの装置の操作方法 |
JPH0778243A (ja) * | 1993-07-21 | 1995-03-20 | Xerox Corp | 機械操作方法 |
JPH07244742A (ja) * | 1993-11-01 | 1995-09-19 | Internatl Business Mach Corp <Ibm> | ズーム/パン機能付パーソナル通信機 |
JPH0855232A (ja) * | 1994-07-22 | 1996-02-27 | Eastman Kodak Co | 窓を用いてデジタル画像の配置された区域に機能を適用する方法及び装置 |
US5793379A (en) * | 1995-04-03 | 1998-08-11 | Nvidia Corporation | Method and apparatus for scaling images having a plurality of scan lines of pixel data |
JPH08315105A (ja) * | 1995-05-19 | 1996-11-29 | Ricoh Co Ltd | 画像断片位置合わせ方法及び画像断片位置合わせ装置 |
JPH09149334A (ja) * | 1995-08-31 | 1997-06-06 | General Instr Corp Of Delaware | ビデオ拡大装置 |
JPH0983947A (ja) * | 1995-09-08 | 1997-03-28 | Internatl Business Mach Corp <Ibm> | マルチメディア対応データ処理システムでビデオ・サイズをリアルタイムに変更するシステム |
JPH11102243A (ja) * | 1997-05-14 | 1999-04-13 | Sony Electron Inc | 情報提供装置及び情報提供方法 |
US6275232B1 (en) * | 1998-12-14 | 2001-08-14 | Sony Corporation | Polymorphic event handling for zooming graphical user interface |
Also Published As
Publication number | Publication date |
---|---|
EP2276235A1 (en) | 2011-01-19 |
JP5244930B2 (ja) | 2013-07-24 |
JP2011141559A (ja) | 2011-07-21 |
EP1198779A4 (en) | 2007-02-21 |
AU2862900A (en) | 2000-08-18 |
JP2002536676A (ja) | 2002-10-29 |
WO2000045327A1 (en) | 2000-08-03 |
US6396962B1 (en) | 2002-05-28 |
EP1198779A1 (en) | 2002-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4966451B2 (ja) | ビデオズーミングシステム及び方法 | |
US6304271B1 (en) | Apparatus and method for cropping an image in a zooming graphical user interface | |
US9600166B2 (en) | Asynchronous handling of a user interface manipulation | |
JP4964386B2 (ja) | グラフィカルデータおよびデジタルドキュメント処理の視覚表示を生成するためのシステムおよび方法 | |
US7554543B2 (en) | System and method for exact rendering in a zooming user interface | |
US20140095277A1 (en) | Detail-in-context lenses for interacting with bjects in digital image presenations | |
US20070097109A1 (en) | Method and system for generating detail-in-context presentations in client/server systems | |
JP2024505995A (ja) | 特殊効果展示方法、装置、機器および媒体 | |
US20020190989A1 (en) | Program and apparatus for displaying graphical objects | |
JP4742051B2 (ja) | 空間・時間モーションブラー効果の生成方法 | |
US6075532A (en) | Efficient redrawing of animated windows | |
US6366294B1 (en) | Snapshot damage handling for rendering objects in a zooming graphical user interface | |
WO2008015978A1 (fr) | dispositif d'affichage d'images vidéo et procédé d'affichage d'images vidéo | |
CN112053370A (zh) | 基于增强现实的显示方法、设备及存储介质 | |
US6323878B1 (en) | System and method for providing zooming video capture | |
US6714198B2 (en) | Program and apparatus for displaying graphical objects | |
JP2003531429A (ja) | デジタルドキュメント処理 | |
US20110069086A1 (en) | Detail-in-Context Presentations in Client/Server Systems | |
US5812125A (en) | Method and apparatus for selectively generating display images | |
EP1120748B1 (en) | Motion picture synthesizing device and method | |
JPH1166351A (ja) | 3次元仮想空間内部におけるオブジェクト動作制御方法および装置とオブジェクト動作制御プログラムを記録した記録媒体 | |
CN116233512A (zh) | 一种显示设备及数据显示的方法 | |
JPH05313850A (ja) | ウインドウサイズの最適化方法 | |
JP2004020960A (ja) | クライアント装置、画像表示処理方法およびクライアントサーバシステム | |
CN114143543A (zh) | 插帧处理方法、显示设备、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061108 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080605 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100524 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100531 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100622 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100721 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101018 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110406 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110627 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110927 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111004 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120319 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4966451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |