JP4742051B2 - 空間・時間モーションブラー効果の生成方法 - Google Patents

空間・時間モーションブラー効果の生成方法 Download PDF

Info

Publication number
JP4742051B2
JP4742051B2 JP2006547115A JP2006547115A JP4742051B2 JP 4742051 B2 JP4742051 B2 JP 4742051B2 JP 2006547115 A JP2006547115 A JP 2006547115A JP 2006547115 A JP2006547115 A JP 2006547115A JP 4742051 B2 JP4742051 B2 JP 4742051B2
Authority
JP
Japan
Prior art keywords
window
frame
frames
different resolutions
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006547115A
Other languages
English (en)
Other versions
JP2007516534A (ja
Inventor
バクスター、ブレント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2007516534A publication Critical patent/JP2007516534A/ja
Application granted granted Critical
Publication of JP4742051B2 publication Critical patent/JP4742051B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Description

関連出願
本願は、米国特許出願(出願番号: 出願日: )の「表示用構成レートを低下させる方法」に関連した出願である。本願はインテルコーポレーションに譲渡されている。
パソコンのディスプレイでは通常、ユーザが実行中の複数の異なる処理(例えば、文書処理、電子メール、表計算や動画など)に対応したアプリケーションウィンドウが層状に積み重ねられている。現在アクティブになっているアプリケーションが一番上になっており、ユーザに最も近く表示される。ユーザが違う処理に切り替えると、ウィンドウは再構成されデスクトップ画像が新しくなり、新たにアクティブになったアプリケーションウィンドウが一番上に来る。
今後パソコン関連製品を企画する上では、スムーズな動画で優れた視覚効果を達成できる3D動画技術を用いてアプリケーションウィンドウを構成することが求められる。構成レートが遅いと、デスクトップ画像の動きがぎこちなくなってしまう。動画をよりスムーズなものにするためにはこの問題を解決しなければならない。しかし、スムーズな動きを達成できるために十分なレベルにまでパソコンのデスクトップ画像の構成レートを引き上げると、必要なグラフィクスメモリの帯域幅が大きくなり過ぎてしまい、携帯用および低価格パソコン向けの製品では許容できない水準にまでコストが上昇してしまう。
コンピュータやメモリのリソースが少ない場合、従来であれば単にフレームを間引きしていた。しかしこのようにすると、本来の画像情報が破棄されてしまうので、今日のパソコン上で動画を表示するとたいていそうであるように、ぎこちない動画になってしまう。このようにフレームを間引きすると、フレームレートが低下しスムーズな動画のために必要なフレームレートを下回る可能性があり、ぎこちなく見える動画になってしまう。
本願は、米国特許出願(出願番号: 出願日: )の「表示用構成レートを低下させる方法」に関連している。当該関連出願では、ウィンドウを変化させる場合に、モーションブラー効果を用いて表示用フレームレートを低下させている。一方、本発明の実施形態では、空間的なブラー効果を利用することによって、必要なグラフィクスメモリの帯域幅をさらに減らす。本発明によれば、時間平均処理の一部を処理負荷が低い空間平均処理で行うことで、モーションブラー効果生成に係る演算処理の負荷を下げることができる。
本発明によると、ウィンドウを構成する領域を平均化する。すなわち、ウィンドウ画像を空間平均化する。その後、同様の方法で当該画像の前後に生成された画像と共にさらに平均化する。こうすることによって、フレームレートを低くしてもスムーズに見える動画を実現でき、且つ演算処理の負荷を下げることができる。例えば、アプリケーションウィンドウの、視聴者に向かってくる、もしくは視聴者から離れていくように見える変化を実現する場合、空間平均法および時間平均法を組み合わせてモーションブラー効果を生成するとしてもよい。空間平均法を時間平均法と組み合わせて用いることによって、デスクトップ画像を始めとする画像を表示する場合の構成レートを低くする。空間平均法を用いることで、時間平均法のみを使用する場合に比べて処理時間が少なくてすむ。モーションブラー効果を生成して3D動画がスムーズな動きに見えるようにするので、低構成レートで表示してもぎこちない動きには見えない。この結果、必要なグラフィクスメモリの帯域幅を減少させることができ、PC関連製品のコストを下げることができる。
以下において、具体的且つ詳細な事例を数多く挙げて本発明を細部にいたるまで説明する。しかし、以下で説明する内容以外の実施形態を本発明が含むことは、当業者には明らかである。また、公知の方法、処理、構成要素およびアルゴリズムは、本発明の説明をあいまいにしない程度に、詳細に説明する。
以下の説明では一部、コンピュータ内でデータビットまたはバイナリ信号に対して行われる処理のアルゴリズムやそのような処理を表す符号を用いている。データ処理の分野においては、当業者同士間で作業の内容を伝える場合に、このようなアルゴリズムによる説明が用いられる。本明細書内および一般的に、アルゴリズムとは、所望の結果を得るために一貫した順序で実施される連続した複数の処理と考えられている。そのような連続した複数の処理には物理量を物理的に操作することも含まれる。必ずしもそうではないが多くの場合、そのような物理量とは電気信号または磁気信号で、行われる操作としては記憶、移動、合成、比較などが挙げられる。先述の信号は、利便性を考慮して一般的な用語を使うべく、ビット、値、成分、符号、文字、項、数字などと呼ばれるが、こういった用語はすべて物理量に対応するものであって、対応する物理量に用いられる便利な名称にすぎない。本明細書において、特に明示されていない限り、「処理」「演算」「計算」「決定」等の用語を用いている部分は、コンピュータや演算処理システム、または同様の演算電子デバイスによる処理や動作に関する。こういったコンピュータシステムは、システム内のレジスタおよび/またはメモリ内の物理(電子)量として表されたデータを操作および変換して、同システム内のメモリ、レジスタまたは同様の情報記憶/送信/表示装置内に、同様に物理量として表される別のデータを得る。
本発明の実施形態はハードウェア、ソフトウェア(マイクロコード)もしくは両方の組み合わせによって実施するとしてもよい。または、少なくとも1つのプロセッサ、データ記憶システム(揮発メモリ、不揮発メモリおよび/または記憶素子を備える)、少なくとも1つの入力装置および少なくとも1つの出力装置から成るプログラム可能なシステム上で実行されるコンピュータプログラムとして構成されてもよい。本明細書で開示した機能を実施するためにデータを入力し、出力情報を生成するために用いられるプログラムコードとしてもよい。生成された出力情報は、1以上の出力装置に公知の方法で供給されるとしてもよいので、処理システムは、例えばデジタル・シグナル・プロセッサ(DSP)、マイクロコントローラ、特定用途向け集積回路(ASIC)もしくはマイクロプロセッサなどのプロセッサを備えるシステムであってもよい。
本発明の実施形態について上記で説明したが、これは本発明のすべてを網羅するものではなく、開示した特定の事例に本発明を限定するものでもない。本明細書では具体的に本発明の実施形態や例を挙げているが、これらはすべて説明を目的としたものであり、当業者であれば上記の具体的な説明を参考に本発明の開示範囲を超えないさまざまな変形例を実施することができる。請求項で使用されている用語は、本発明を本明細書および請求項に開示された具体的な実施形態に限定するものではない。本発明の範囲は請求項によって決まり、請求項は確立された基準に基づいて解釈される。
図1は、一実施形態に係るグラフィクス表示システムを含むコンピュータシステムを示すブロック図である。
図2は、文書処理アプリケーションを実行中のウィンドウを示す。
図3は、一実施形態に係る空間・時間平均法を示す図である。
図4は、一実施形態に係る空間・時間平均方法を示すフローチャートである。
図1は、一実施形態100に係るコンピュータシステムを示す図である。当該コンピュータシステムは、空間平均法および時間平均法を用いてモーションブラー効果を生成する3Dディスプレイプロセッサ102を備える。分かりやすいよう、当該コンピュータシステムの構成要素のうち本発明を説明する上で必要ないものは図示されていない。同図によると、ディスプレイプロセッサ102はメモリコントローラ104に組み込まれたものとしているが、独立したデバイスとしてもよい。また、ディスプレイプロセッサ102は単一チップデバイスとしてもよいし、システムオンチップ技術を用いたシステムLSIやマルチチップモジュール、またはプラグイン回路基板の一部としてもよい。ディスプレイプロセッサ102は、コンピュータシステム、ネットワークパソコン(PC)、インターネット機器、HDTVシステムや対話型テレビシステムを含むテレビ、携帯情報端末(PDA)、ウェアラブルコンピュータなどの2Dおよび/または3Dグラフィクスを表示するシステムに含まれるとしてもよい。
図1に示すように、実施形態100に係るコンピュータシステムは、ディスプレイプロセッサ102を含むメモリコントローラ104と通信を行う主プロセッサ106を有する。ディスプレイプロセッサ102はまた、メモリ108とも通信を行う。主プロセッサ106は1以上の異なる種類のプロセッサ、例えばマイクロプロセッサ、マルチプロセッサおよび中央演算処理装置(CPU)などを有するとしてもよい。メモリ108は、ランダム・アクセス・メモリ(DDR、SDRAM、RDRAMなど)や大容量記憶装置といったさまざまな種類のメモリサブシステムの組み合わせを含むとしてもよい。ディスプレイデバイス110はディスプレイプロセッサ102に接続されていてもよい。ディスプレイデバイス110は、ビデオモニタ、陰極線管(CRT)装置、液晶ディスプレイ(LCD)、反射型液晶パネル(LCOS)またはガスプラズマディスプレイ等の表示モニタ・デバイスのうちどれであってもよい。システムがアプリケーションソフトウェアを実行すると、ディスプレイデバイス110にグラフィックや動画像が表示されるとしてもよい。
ここで、キーボードおよび/またはカーソル制御装置といったさまざまな入力装置(不図示)が、当該コンピュータシステムに接続されているとしてもよい。カーソル制御装置によって、ユーザはコマンドモードを選択したり、グラフィックデータを修正したり、データを入力することができる。より具体的に言うと、ユーザはカーソル制御装置をある面上で動かすことによって、ディスプレイ上の所望の位置(例えばウィンドウズ(登録商標)のアイコン上)にカーソルを置くことができる。本発明では、マウスやトラックボールを始めとする制御装置などさまざまな公知の入力装置を使用してもよい。
図2は、実施形態200に係るディスプレイ環境のスクリーン画像を示す図である。このスクリーン画像は、本発明に係る、動画的変化206の一部としてウィンドウ202と視聴者との間の距離の増減に対してモーションブラー効果を生成する方法の一例を示している。ここで、「ウィンドウ」は従来からあるディスプレイ上の長方形の領域である。ウィンドウ内には普通、データを始めとしてポップアップやプルダウンなどのメニューが表示される小さめの領域、アイコン、符号といった表示要素などが表示される。図2に示したディスプレイ環境において、ウィンドウズ(登録商標)、リナックス、OS/2またはマッキントッシュOSといったオペレーティングシステムによってユーザインターフェースおよび現在実行中のアプリケーションプログラムに関するウィンドウが1以上提供される。オペレーティングシステムのデスクトップ上では一般的に、インターネットブラウザアプリケーションがある1つのウィンドウで実施され、文書処理アプリケーションが別のウィンドウで実施される。
一実施形態に係るウィンドウ表示システムにおいては、ユーザがアイコン102をクリックしてウィンドウをアクティブにすると、同ウィンドウは前方204に移動し、同ウィンドウ中のデータの操作ができるようになる。ここで、長方形のウィンドウ、メニューまたはサブメニューなどの中に表示されるデータは、英数字データおよび/またはグラフィックデータとしてもよい。従って本発明に係る装置および方法は、形状、サイズ、機能に関係なく、コンピュータディスプレイシステム上に表示されたどのようなものにも応用できると考えられる。
図2に示すように、中間ウィンドウ208および210には空間ブラー効果がかかっており、最高表示レートで示された対応する画像をピントが合っていない状態で撮影した場合に得られる写真に類似している。ディスプレイ上の表示物に対応する個々のフレームに空間ブラー効果を施すこの方法によって、表示物をスムーズに変化させる場合に必要な中間フレームの数を減らすことができる可能性がある。図2に示す通り、フルサイズで表示されたウィンドウ内の文書は明瞭に見えると共に、ユーザによる操作が可能である。一方フルサイズ表示でない場合、ウィンドウ内の文書はユーザにはぼやけて見えている。アイコンサイズからフルサイズへとウィンドウのサイズが大きくなるにつれて、表示は明瞭になっていく。
小さなアイコンは、サムネイル状にウィンドウの内容を表示する。例えば、あるアイコンは見出しを含んでおり、この見出しはサイズが大きくなるに従って、漫画のように遠くの霧の中からスムーズに現れるように見える。ウィンドウのアイコンがクリックされ開かれた場合のウィンドウの現れ方にはさまざまなものが考えられる。一実施例では、図2に示すように、ウィンドウが自動的に開いてフルサイズ表示となる。また別の実施例を挙げると、ウィンドウのサイズは一定時間をかけてフルサイズまで大きくなり、内容は後から表示される。また別の実施例では、回転しながらフルサイズまで大きくなっていく。
本発明の実施形態によると、フレームにはまず部分的に空間ブラー効果を施し、低フレームレートであってもスムーズな移動に見えるように、所定時間に対応するフレームを混合する。モーションブラーを用いて上記のような3D動画のスムーズな動きを維持するので、低構成レートでもぎこちない動きには見えない。この結果、所望どおりグラフィクスメモリの帯域幅の使用を節約することができる。
上述したように、時間平均法を用いて、デスクトップ画像を始めとした画像表示用構成レートを低下させるとしてもよい。本発明の実施形態によると、時間平均法と共に空間平均法を用いて、モーションブラー効果生成にかかる処理負荷を減らす。空間平均法を利用するので、時間平均法だけでモーションブラー効果を達成する場合に比べ必要な処理の量が少なくなる。通常、動画のユーザーエフェクトにかかる時間は短く、0.25秒から0.5秒である。変化が動画でスムーズに表示されていれば、平均化方法のわずかな違いは人間の目では普通分からない。空間ブラー効果によって生成される画像はぼかしがかかっており、通常は動いている物の画像であると認識される。
図3は実施形態300を示す図である。実施形態300では、ウィンドウの変化302に際して生成された先頭フレーム304からn番目フレーム306を含む複数のフレームに対して、空間平均および時間平均を行なう。本発明の通常の実施形態によれば、空間平均308を行う対象である複数のフレームの時間間隔は、空間平均を行わない場合に比べると大きく取ってあるので、続く処理の負荷が少なくて済む。また、このような構成に限らずほかの構成を使用してもよい。フレーム302のフォーマットは一般的なものであればどれであってもよい。
空間ブラー効果が施されたフレームシーケンス308において、フレーム間の時間間隔が大きくとってあるのは、本来の画像情報よりも空間解像度が低くなっているためである。空間平均を利用することにより、ウィンドウを変化させるために必要な出力フレームの数は少なくなる。空間および時間ブラー効果の両方を利用するので、最新ディスプレイプロセッサ機器が通常備えている処理機能を複数用いる。
解像度が下げられたフレームはメモリに格納されるとしてもよい。フレーム表示を行う時に適切な解像度を持つフレームを各々生成するとしても良いが、表示ウィンドウを変化させる場合すぐに取り出せるよう、あらかじめフレームを生成してメモリに格納しておく方が効率がよい。各フレームを表示する際の解像度は決まっていないので、各フレームについて解像度を変化させたバージョンをいくつか用意し、後から取り出せるよう格納しておく。解像度が異なる複数のフレームの中から使用するものを選択することができるので、実際に必要な量のデータだけをメモリから取り出す。
フレームの各バージョンは、解像度番号によって識別されるとしてもよい。各バージョンはフィルタ未処理で、解像度が最も高いものから順に、一つ前のものより解像度が低くなっている。各バージョンはサイズが異なり、表示の詳細さも異なる。通常の実施例によると、各フレームの解像度は一つ上のフレームの2分の1と設定される。ウィンドウについてサイズが異なる一組のバージョンが生成されるが、解像度は、例えば、最高のレベル、2分の1レベル、4分の1レベル、8分の1レベルなどとしてもよい。
各フレームの解像度は、表示画面でのサイズおよび変化の内容に応じて決定するとしてもよい。例を挙げると、一連のフレームのうち最大のもの(解像度0)は、ディスプレイ装置の最高解像度(例えば1024×768)を持つ画像であるとしてもよい。このフレームによってユーザは、電子メールやウェブサイトといった内容を表示するウィンドウを見ることができる。解像度−1のフレームは、解像度0フレームの半分のサイズで、解像度−2のフレームは解像度−1フレームの半分のサイズとしてもよい。各フレームの縦方向および横方向の寸法は、一つ前のフレームと比較して半分としてもよい。
ウィンドウに対応して生成された異なる解像度を持つ複数のフレームを利用して、ウィンドウを変化させる。従来技術と同様に、ユーザとウィンドウ間の感覚的な距離が大きくなる場合には、表示が粗くなり、解像度が低いバージョンを使用するとしてもよい。例えば、ウィンドウを回転、縮小、または奥へ後退させる場合、一連のフレームの解像度は−2または−3、つまり行および列の数が4分の1または8分の1であるフレームから始まり、最終的には本来のデータ量の16分の1または64分の1まで減少させるとしてもよい。このようにすることで、メモリの帯域幅使用量をさらに節約することができる。
視聴者に向かってくる、または視聴者から遠ざかっていくように見えるウィンドウの変化は、さまざまな方法を用いてモーションブラーに類似した効果を施すことによって実現してもよい。そのような方法の一例として、解像度を低下させたフレームを用いるとしてもよい(解像度番号が低いものを用いる)。本発明の実施形態は、空間平均法と時間平均法をバランスよく組み合わせ、スムーズな動画的効果を達成している。具体的には、本発明の実施形態では時間ブラー効果と空間ブラー効果を交換している。生成レートを下げて画像を生成し、表示内容が粗くデータ量が少ない画像に対して時間平均を計算するとしてもよい。
サンプリングが持つ離散性という特性のため動画の見た目が悪くなってしまうという問題が生じるが、この問題を軽減すべく、コンピュータが生成した画像に対してモーションブラーに類似した効果を施す。モーションブラーに類似した効果を施すことによって、ビデオシャッターを短時間露光させた場合に得られる効果を実現できる。一般的に、ある物体の第1ポジションから第2ポジションまでの動きを表示することが、自然に生じるモーションブラー効果に対応する。以下で詳細に説明するが、上記の処理で中心となるのは選択フレームについて時間的・空間的平均を計算することである。
視聴者に向かって、または視聴者から遠方に向かってウィンドウが動くように見える変化を実現するために、空間平均法および時間平均法310、312の両方を使用する。具体的には、空間・時間平均法を用いて、フレーム出力時前後の所定または短い期間に対応する画像情報を混合する。このとき画像情報は全てわずかにブラーがかかった状態で保持される。対象となる画像情報を保持して、スムーズな動画的変化を実現するシーケンス314に必要な画像情報を保持しつつ、フレームを間引きしてフレームレートを低下させるとしてもよい。
図4は、一実施形態400に係る空間・時間平均方法を示すフローチャートである。ウィンドウについて、異なる解像度のフレームを生成し、生成されたフレームを利用して空間・時間平均を計算する。このような処理を行うことによって、フレームに対してモーションブラー効果を施す。
ステップ402においては、ウィンドウについて複数のフレームを生成して格納する。これらのフレームは各々異なる解像度を持つ。上述したが、ウィンドウの表示サイズは変更してもよいので、ウィンドウについて解像度が異なるバージョンを数枚生成し、後で取り出せるように格納する。各バージョンはフィルタ未処理で、解像度が最も高いものから順に、一つ前のものより解像度が低くなっている。各バージョンはサイズが異なり、表示の詳細さも異なる。通常の実施例によると、各フレームのサイズは一つ上のフレームの2分の1と設定される。ウィンドウについてサイズが異なる一組のバージョンが生成されるが、解像度は、例えば、最高のレベル、2分の1レベル、4分の1レベル、8分の1レベルなどとしてもよい。
ステップ404においては、所望のウィンドウ移動経路および移動方法を実現するような組み合わせのフレームを含むサブセットを生成する。例えば、ウィンドウが回転、縮小または奥へ後退するように変化する場合、解像度レベルが0から−1、−2、−3と変化していくようにフレームを選択する。一方、フレームをアイコンサイズから本来の解像度を持つ画像へと変化させるように回転または拡大する場合、解像度レベルが−3から−2、−1、0と変化するようにフレームを選択する。
ステップ406においては、複数の解像度低下フレームを含む各サブセットについて時間平均を計算する。本来の画像情報を示している各フレームの解像度が異なるので、入力シーケンス上の間隔が大きく取られている。このため、フレーム毎に解像度を変えない場合と比較して、空間平均の対象となる入力フレームの数が少なくてすむ。
ステップ408においては、空間・時間平均によって生成したフレームを用いて画像表示を行い、動画的変化を実現する。このため、ウィンドウの変化をスムーズな動画で表示できる。サブセットの設定についてはさまざまな基準を用いるとしてもよい。上記で言及した基準を用いてもよいし、それらの変形や組み合わせなどを用いるとしてもよい。本発明の開示範囲においては、サブセットのサイズは限定されず、サブセット毎に変えるとしてもよい。
普通の実施例においては、小さなアイコンがサムネイル状にウィンドウのコンテンツを有している。ウィンドウのコンテンツの例としては、見出しなどが挙げられる。見出しを含むウィンドウは、霧のようにぼんやりと且つスムーズに大きくなって現れてくるように見える。ウィンドウのサイズは、最初は小さく、続いて中程度の大きさ、という具合にどんどん大きくなっていく。フレームを生成するべく、選択時点において時間平均を計算する。例えば、サイズが大きくなっているフレーム数枚に対して時間平均を計算し、フレームを生成する。同様の動作をフレームを全て処理するまで行う。このようなウィンドウの動画的変化にかかる時間は普通短く、継続した動きに見せるために必要な重み付け平均フレームは5〜6枚にすぎない。このためフレームレートを下げて表示を行っても、OSが所望するウィンドウの動画的移行は自然でスムーズに見える。
ウィンドウの変化の結果として最終的に表示されるフレームは、空間・時間平均化フレームを全て含む。アイコンサイズからフルサイズのウィンドウまでの移動経路は、例えば、ブラー効果が施されている。ここで、フレームの使用方法や処理方法には、例えば動画視聴に通常用いられる前方順のほか逆順や無作為順などさまざまなものがあり、そのうちどれを使用してもよい。
本発明の実施形態について上記で説明したが、これは本発明のすべてを網羅するものではなく、開示した特定の事例に本発明を限定するものでもない。本明細書では具体的に本発明の実施形態や例を挙げているが、これらはすべて説明を目的としたものであり、当業者であれば上記の具体的な説明を参考に本発明の開示範囲を超えないさまざまな変形例を実施することができる。請求項で使用されている用語は、本発明を本明細書および請求項に開示された具体的な実施形態に限定するものではない。本発明の範囲は請求項によって決まり、請求項は確立された基準に沿って解釈される。
符号の説明
102 ディスプレイプロセッサ
104 メモリコントローラ
106 主プロセッサ
108 メモリ
110 ディスプレイ
202 ウィンドウ
204 ウィンドウ
208、210 中間ウィンドウ
302 ウィンドウ変化
304 先頭フレーム
306 n番目フレーム
308 空間平均化フレームシーケンス
310、312 時間平均化
314 シーケンス

Claims (10)

  1. モーションブラー化の方法であって、
    ウィンドウについて、フレーム毎に異なる解像度を持つ一連のフレームを生成および格納し、
    視聴者に向かってくる、または視聴者から遠ざかっていくように見える前記ウィンドウの変化に対応して、互いに解像度が異なる複数のフレームを前記解像度が順次変化するように組み合わせてフレームサブセットを準備し、
    前記フレームサブセットのフレーム毎にぼかしを加える処理である空間平均化を施した後に、フレーム間で画像情報を混合する時間平均を計算し、
    前記フレームサブセットにより生成された、空間・時間平均化フレームを表示し前記ウィンドウを変化させること
    を含む方法。
  2. 前記ウィンドウについて、フレーム毎に異なる解像度を持つ一連のフレームを生成および格納することは、
    前記ウィンドウについて、解像度が異なるバージョンを複数生成すること
    を含む請求項に記載の方法。
  3. 前記ウィンドウについて、解像度が異なるバージョンを複数生成することは、
    各バージョンはフィルタ未処理で、最高解像度のバージョンから順に一つ前のバージョンより解像度が低くなっている複数のバージョンを生成すること
    を含む請求項に記載の方法。
  4. 前記ウィンドウの変化に対応するように、互いに解像度が異なる複数のフレームを組み合わせてフレームサブセットを準備することは、
    前記ウィンドウが縮小または拡大する場合の前記ウィンドウの変化に対応するように、複数のフレームを組み合わせて前記フレームサブセットを準備すること
    を含む請求項に記載の方法。
  5. プロセッサが実行可能なモーションブラー効果を生成するためのプログラムを記憶しているコンピュータによる読出し可能な記憶媒体であって、
    ウィンドウについて、フレーム毎に異なる解像度を持つ一連のフレームを生成および格納させる命令と、
    視聴者に向かってくる、または視聴者から遠ざかっていくように見える前記ウィンドウの変化に対応して、互いに解像度が異なる複数のフレームを前記解像度が順次変化するように組み合わせてフレームサブセットを準備させる命令と、
    前記フレームサブセットのフレーム毎にぼかしを加える処理である空間平均化を施した後に、フレーム間で画像情報を混合する時間平均を計算させる命令と、
    前記フレームサブセットにより生成された、空間・時間平均化フレームを表示し前記ウィンドウを変化させる命令
    を含むプログラムを記憶しているコンピュータによる読出し可能な記憶媒体。
  6. 前記ウィンドウについて、フレーム毎に異なる解像度を持つ一連のフレームを生成および格納させる命令は、
    前記ウィンドウについて、解像度が異なるバージョンを複数生成させる命令
    を含む請求項に記載のプログラムを記憶しているコンピュータによる読出し可能な記憶媒体。
  7. 前記ウィンドウについて、解像度が異なるバージョンを複数生成させる命令は、
    各バージョンはフィルタ未処理で、最高解像度のバージョンから順に一つ前のバージョンより解像度が低くなっている複数のバージョンを生成させる命令
    を含む請求項に記載のプログラムを記憶しているコンピュータによる読出し可能な記憶媒体。
  8. 前記ウィンドウの変化に対応するように、互いに解像度が異なる複数のフレームを組み合わせてフレームサブセットを準備させる命令は、
    前記ウィンドウが縮小または拡大する場合の前記ウィンドウの変化に対応するように、複数のフレームを組み合わせて前記フレームサブセットを準備させる命令
    をさらに含む請求項に記載のプログラムを記憶しているコンピュータによる読出し可能な記憶媒体。
  9. 空間平均法および時間平均法を用いてモーションブラー効果を生成するディスプレイプロセッサであって、モーションブラー効果の生成は、ウィンドウについて、フレーム毎に異なる解像度を持つ一連のフレームを生成および格納し、視聴者に向かってくる、または視聴者から遠ざかっていくように見える前記ウィンドウの変化に対応して、互いに解像度が異なる複数のフレームを前記解像度が順次変化するように組み合わせてフレームサブセットを準備し、前記フレームサブセットのフレーム毎にぼかしを加える処理である空間平均化を施した後に、フレーム間で画像情報を混合する時間平均を計算し、前記フレームサブセットにより生成された、空間・時間平均化フレームを表示し前記ウィンドウを変化させることを含むディスプレイプロセッサ
    を備えるシステム。
  10. 前記ウィンドウについて生成された前記一連のフレームを格納するメモリ
    をさらに備える請求項に記載のシステム。
JP2006547115A 2003-12-23 2004-12-13 空間・時間モーションブラー効果の生成方法 Expired - Fee Related JP4742051B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/747,322 2003-12-23
US10/747,322 US7616220B2 (en) 2003-12-23 2003-12-23 Spatio-temporal generation of motion blur
PCT/US2004/041905 WO2005066900A1 (en) 2003-12-23 2004-12-13 Spatio-temporal generation of motion blur

Publications (2)

Publication Number Publication Date
JP2007516534A JP2007516534A (ja) 2007-06-21
JP4742051B2 true JP4742051B2 (ja) 2011-08-10

Family

ID=34679297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006547115A Expired - Fee Related JP4742051B2 (ja) 2003-12-23 2004-12-13 空間・時間モーションブラー効果の生成方法

Country Status (7)

Country Link
US (1) US7616220B2 (ja)
JP (1) JP4742051B2 (ja)
KR (1) KR100860150B1 (ja)
CN (1) CN100520830C (ja)
DE (1) DE112004002391B4 (ja)
TW (1) TWI276008B (ja)
WO (1) WO2005066900A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7506267B2 (en) * 2003-12-23 2009-03-17 Intel Corporation Compose rate reduction for displays
US20050210416A1 (en) * 2004-03-16 2005-09-22 Maclaurin Matthew B Interactive preview of group contents via axial controller
US7548243B2 (en) * 2004-03-26 2009-06-16 Pixar Dynamic scene descriptor method and apparatus
US7683904B2 (en) * 2004-05-17 2010-03-23 Pixar Manual component asset change isolation methods and apparatus
CN101317450B (zh) * 2005-11-29 2010-09-15 日本先锋公司 记录装置、再现装置、记录方法
US20080118175A1 (en) * 2006-11-16 2008-05-22 Barinder Singh Rai Creating A Variable Motion Blur Effect
US8416245B2 (en) * 2008-01-15 2013-04-09 Microsoft Corporation Creation of motion blur in image processing
US8624898B1 (en) 2009-03-09 2014-01-07 Pixar Typed dependency graphs
EP2381372A1 (en) * 2010-04-23 2011-10-26 Research In Motion Limited Visual shuffling of media icons
US8446411B2 (en) 2010-06-11 2013-05-21 Microsoft Corporation Adaptive image rendering and use of imposter
US8749560B2 (en) 2010-10-19 2014-06-10 Apple Inc. Image motion blurring
US8823746B2 (en) 2010-10-19 2014-09-02 Apple Inc. System and method for motion blur using velocity vectors
FR2968878A1 (fr) * 2010-12-14 2012-06-15 Thomson Licensing Procede et dispositif pour generer des images comportant du flou cinetique
WO2012166512A2 (en) * 2011-05-31 2012-12-06 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
CN103455969B (zh) 2013-08-28 2019-06-04 腾讯科技(成都)有限公司 图像处理的方法及装置
US9704272B2 (en) 2014-11-21 2017-07-11 Microsoft Technology Licensing, Llc Motion blur using cached texture space blur
US10289951B2 (en) * 2016-11-02 2019-05-14 Adobe Inc. Video deblurring using neural networks
CN111514586B (zh) * 2020-04-08 2023-10-24 完美世界(北京)软件科技发展有限公司 运动模糊的实现方法及装置、存储介质、电子装置
US11337177B2 (en) 2020-09-23 2022-05-17 Glowstik, Inc. System and method for generating amorphous dynamic display icons

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4227212A (en) * 1978-09-21 1980-10-07 Westinghouse Electric Corp. Adaptive updating processor for use in an area correlation video tracker
US4785818A (en) * 1986-06-30 1988-11-22 General Electric Company Method and means or dynamically weighted temporal averaging of pixel data
GB2262853B (en) * 1991-12-20 1995-07-19 Sony Broadcast & Communication Digital video signal processing
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5471572A (en) * 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5512956A (en) * 1994-02-04 1996-04-30 At&T Corp. Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences
JP4067138B2 (ja) 1994-06-07 2008-03-26 株式会社セガ ゲーム装置
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US5678015A (en) * 1995-09-01 1997-10-14 Silicon Graphics, Inc. Four-dimensional graphical user interface
US5809219A (en) * 1996-04-15 1998-09-15 Silicon Graphics, Inc. Analytic motion blur coverage in the generation of computer graphics imagery
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6057847A (en) * 1996-12-20 2000-05-02 Jenkins; Barry System and method of image generation and encoding using primitive reprojection
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
US6631240B1 (en) * 1997-07-23 2003-10-07 University Of Washington Multiresolution video
US6417853B1 (en) * 1998-02-05 2002-07-09 Pinnacle Systems, Inc. Region based moving image editing system and method
US6243498B1 (en) * 1998-10-19 2001-06-05 Raytheon Company Adaptive non-uniformity compensation using feedforwarding shunting
US6330371B1 (en) * 1998-10-19 2001-12-11 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and min-mean filter
JP2001043347A (ja) 1999-07-30 2001-02-16 Sharp Corp 画像記録装置、画像再生装置、及び画像記録媒体
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US6396502B1 (en) * 1999-10-15 2002-05-28 Hewlett-Packard Company System and method for implementing accumulation buffer operations in texture mapping hardware
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
US6396520B1 (en) * 2000-01-05 2002-05-28 Apple Computer, Inc. Method of transition between window states
US6600491B1 (en) * 2000-05-30 2003-07-29 Microsoft Corporation Video-based rendering with user-controlled movement
JP4071422B2 (ja) * 2000-06-28 2008-04-02 株式会社東芝 モーションブラー画像描画方法及び描画装置
US20020094026A1 (en) * 2001-01-12 2002-07-18 Edelson Steven D. Video super-frame display system
US6910060B2 (en) * 2001-05-21 2005-06-21 Computational Sensor Corp. Spatio-temporal filter and method
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
RU2308761C2 (ru) * 2001-09-07 2007-10-20 Интегрэф Софтвеа Текнолоджис Кампэни Система для обнаружения первого объекта, скрытого вторым объектом, способ визуального отображения первого объекта и способ представления на экране дисплея данных первого объекта
JP3779620B2 (ja) 2002-01-17 2006-05-31 コナミ株式会社 画像処理プログラム
US7263660B2 (en) * 2002-03-29 2007-08-28 Microsoft Corporation System and method for producing a video skim
GB2391149B (en) * 2002-07-19 2005-10-26 Autodesk Canada Inc Processing scene objects
US6885939B2 (en) * 2002-12-31 2005-04-26 Robert Bosch Gmbh System and method for advanced 3D visualization for mobile navigation units
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7506267B2 (en) * 2003-12-23 2009-03-17 Intel Corporation Compose rate reduction for displays
US7450124B2 (en) * 2005-03-18 2008-11-11 Microsoft Corporation Generating 2D transitions using a 3D model

Also Published As

Publication number Publication date
CN100520830C (zh) 2009-07-29
US20050134591A1 (en) 2005-06-23
TWI276008B (en) 2007-03-11
KR20060103461A (ko) 2006-09-29
CN1898702A (zh) 2007-01-17
JP2007516534A (ja) 2007-06-21
KR100860150B1 (ko) 2008-09-24
WO2005066900A1 (en) 2005-07-21
US7616220B2 (en) 2009-11-10
DE112004002391T5 (de) 2006-11-16
DE112004002391B4 (de) 2009-12-03
TW200529096A (en) 2005-09-01

Similar Documents

Publication Publication Date Title
JP4644208B2 (ja) 表示用構成レートを低下させる方法
JP4742051B2 (ja) 空間・時間モーションブラー効果の生成方法
CN110377264B (zh) 图层合成方法、装置、电子设备及存储介质
US9142044B2 (en) Apparatus, systems and methods for layout of scene graphs using node bounding areas
KR102278932B1 (ko) 애플리케이션 프로그램 처리 방법 및 단말 디바이스
US7554543B2 (en) System and method for exact rendering in a zooming user interface
US7710429B2 (en) Stationary semantic zooming
US7626587B1 (en) Method and apparatus for displaying image data of a virtual desktop from one or more frame buffers onto a display screen
US7199802B2 (en) Multiple-mode window presentation system and process
US8619083B2 (en) Multi-layer image composition with intermediate blending resolutions
US20070296738A1 (en) Manipulating desktop backgrounds
US20030142141A1 (en) Displaying specified resource usage
CN110363831B (zh) 图层合成方法、装置、电子设备及存储介质
CN110457102B (zh) 可视对象的模糊方法、渲染方法及计算设备
US6075532A (en) Efficient redrawing of animated windows
CN113810755B (zh) 全景视频预览的方法、装置、电子设备及存储介质
CN112464126B (zh) 一种基于Threejs生成全景图表的方法、终端设备及存储介质
US10613722B1 (en) Distorting a graph on a computer display to improve the computer's ability to display the graph to, and interact with, a user
JP2009020517A (ja) 表示データ作成装置、表示データ作成方法、表示データ作成プログラム、および表示データ作成プログラムを記録したコンピュータ読取り可能な記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090903

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees