JPWO2019150450A1 - 画像処理装置および表示画像生成方法 - Google Patents
画像処理装置および表示画像生成方法 Download PDFInfo
- Publication number
- JPWO2019150450A1 JPWO2019150450A1 JP2019568443A JP2019568443A JPWO2019150450A1 JP WO2019150450 A1 JPWO2019150450 A1 JP WO2019150450A1 JP 2019568443 A JP2019568443 A JP 2019568443A JP 2019568443 A JP2019568443 A JP 2019568443A JP WO2019150450 A1 JPWO2019150450 A1 JP WO2019150450A1
- Authority
- JP
- Japan
- Prior art keywords
- texture
- display image
- pixel
- reference range
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 238000000034 method Methods 0.000 title claims description 42
- 239000013598 vector Substances 0.000 claims abstract description 73
- 238000005070 sampling Methods 0.000 claims description 75
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 38
- 230000008569 process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
Abstract
入力情報取得部72はユーザ操作を受け付ける。テクスチャ領域取得部74は表示画像のうちテクスチャを用いて表す領域を取得する。速度取得部76は表示画像平面におけるテクスチャの移動速度ベクトルを画素ごとに取得する。テクスチャ参照部78は、移動速度の大きさに応じて、速度ベクトルの軸方向に参照範囲を調整したうえ、テクセル値をサンプリングする。画素値決定部82はテクセル値から画素値を決定する。出力部84は表示画像を出力する。
Description
本発明は、テクスチャデータを用いて表示画像を生成する画像処理装置および表示画像生成方法に関する。
近年、画像表示技術は進化の一途を辿り、携帯端末、タブレット、テレビ受像器、パーソナルコンピュータ、ヘッドマウントディスプレイなど、様々な形態で映像を楽しんだり情報を取得したりすることが容易に行えるようになってきた。特に表示装置は高解像度化が実現され、臨場感のある高精細な画像を見ることが身近なものになっている。また人の視覚刺激の時間積分機能を利用して、像が移動する場合に、画素を間引いた複数パターンの画像を順に表示させることにより、間引く前の解像度で画像を知覚させる技術が提案されている(例えば引用文献1参照)。
表示装置の解像度が高くなると、1画素で表現される対象物のエリアが小さくなる。そのため像が動いている場合、解像度が高くなるほど、同じエリアを表す画素が前のフレームから離間した位置に移動しやすくなり、不連続に見えたり違和感を与えたりすることがある。しかしながら、解像度とフレームレートの双方を向上させることは、元画像のデータサイズや表示処理の負荷の増大を招く。不連続性を解消するために高周波成分を抑えるなどの処理を一律に行うと、表示装置が本来有する高精細画像の表示性能を損なうことになる。
本発明はこうした課題に鑑みてなされたものであり、その目的は、表示装置の解像度やフレームレートによらず表示画像を安定的かつ良好に見せることのできる技術を提供することにある。
本発明のある態様は画像処理装置に関する。この画像処理装置は、表示画像平面に対するテクスチャの移動速度ベクトルを、表示画像の画素ごとに取得する速度取得部と、移動速度ベクトルによって参照範囲を調整したうえで、当該参照範囲のテクセル値をサンプリングするテクスチャ参照部と、サンプリングされたテクセル値に基づき画素値を決定する画素値決定部と、画素値が決定された表示画像のデータを出力する出力部と、を備えたことを特徴とする。
本発明のさらに別の態様は表示画像生成方法に関する。この表示画像生成方法は、表示画像平面に対するテクスチャの移動速度ベクトルを、表示画像の画素ごとに取得するステップと、移動速度ベクトルによって参照範囲を調整したうえで、当該参照範囲のテクセル値をサンプリングするステップと、サンプリングされたテクセル値に基づき画素値を決定するステップと、画素値が決定された表示画像のデータを出力するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、表示装置の解像度やフレームレートによらず表示画像を安定的かつ良好に見せることができる。
図1は、本実施の形態を適用できる画像処理システムの構成例を示す。画像処理システム8は、ユーザが操作する入力装置14、ユーザ操作などに応じて表示画像を生成する画像処理装置10、画像を表示する表示装置16を含む。
画像処理装置10と、入力装置14、表示装置16とは、有線ケーブルで接続されても、Bluetooth(登録商標)など既知の無線通信技術により接続されてもよい。またこれらの装置の外観形状は図示するものに限らない。さらにこれらのうち2つ以上の装置を一体的に備えた装置としてもよい。例えば画像処理装置10、入力装置14、表示装置16を、それらを備えた携帯端末などで実現してもよい。また表示装置16は、ユーザが頭部に装着することにより眼前に画像を表示するヘッドマウントディスプレイ(以下、「HMD」と表記する)でもよい。画像処理装置10はHMDに内蔵してもよい。
入力装置14は、ゲームコントローラ、キーボード、マウス、ジョイスティック、表示装置16の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。あるいは入力装置14は、音声を入力するマイクロフォンや実空間の様子を撮影する撮像装置であってもよい。入力装置14は、ユーザが操作することにより、処理の開始、終了、機能やコンテンツの選択、各種コマンド入力などの要求を受け付け、画像処理装置10に電気信号として供給する。
画像処理装置10は、入力装置14を介したユーザ操作などに応じて表示画像のデータを生成し、表示装置16に出力する。ここで表示画像として示される情報の種類は特に限定されず、ユーザが求める機能やコンテンツの内容などによって適宜決定してよい。例えば電子書籍、地図、ホームページ、写真など、情報自体には動きを含まない画像でもよいし、電子ゲームの画面など動きがあることを前提とした画像でもよい。図示しない撮像装置で撮影した画像に仮想オブジェクトを重畳描画した拡張現実の画像などでもよい。
表示装置16は、画像処理装置10が生成した画像を出力する一般的な装置である。例えば液晶テレビ、有機ELテレビ、プラズマテレビ、PCモニターなどのいずれでもよい。あるいはタブレット端末や携帯端末のディスプレイでもよいし、HMDやプロジェクタなどでもよい。
図2は、本実施の形態で表示させる画像と表示装置16の画素の関係を模式的に示している。同図(a)は表示対象の画像の一部を構成する文字「A」の領域を示している。(b)は文字「A」を表示装置16の画面に表示させた状態を示している。(a)に示すように、表示対象の画像はそれ自体が(u,v)座標で定義される2次元配列の画素ごとに色が設定されてなるデータ構造を有する。
画像処理装置10は、このようにあらかじめ生成された表示対象の画像に基づき、(b)に示すように表示装置16に対応する解像度を有する表示画像を生成する。画像処理装置10は、(a)に示すような画像の各画素の値を用いて(b)に示す表示画像の各画素の値を決定する。つまり表示対象の画像のuv座標系とは独立したxy座標系で表示画像を生成する。
この処理は、コンピュータグラフィクスにおけるテクスチャマッピングに相当するため、以後(a)に示すような表示対象の画像を「テクスチャ」と呼ぶ。本実施の形態では表示対象の情報を表す画像を、表示装置16に表示させたときの解像度より高い解像度のテクスチャデータとして準備しておく。上述のとおりテクスチャとして表される画像の種類は限定されず、文字や図形からなる画像であっても物体表面を表す画像であってもよい。
図3は、テクスチャの画素(テクセル)を用いて表示画像の画素値を決定する手法の例を説明するための図である。同図(a)、(b)はどちらも、テクスチャ50と表示画像52を側面から見た状態を模式的に示しており、各面において等間隔で示された太線が画素の境界を示している。テクスチャ50のテクセルが表示画像52の画素より細かい場合、表示画像52の1画素に複数のテクセルが対応する。図示する例では2つのテクセル56a、56bが、表示画像52の画素54に対応している。
ここでテクセル56a、56bの値をp1およびp2とすると、表示画像52の画素54の画素値Cを次のように決定する。
C=(p1+p2)/2
ただし上記は1次元での画素の対応のみを考えており、図の奥行き方向を含めた2次元で、2×2=4個のテクセルが画素54に対応する場合、画素値は当該4個のテクセル値の平均値とする。
C=(p1+p2)/2
ただし上記は1次元での画素の対応のみを考えており、図の奥行き方向を含めた2次元で、2×2=4個のテクセルが画素54に対応する場合、画素値は当該4個のテクセル値の平均値とする。
このような画素値の決定手法は、テクスチャを表示装置16の解像度に応じて縮小していることと同等である。一方、テクスチャ50が表示装置16の画面に対し移動している場合は、隣接したテクセルの値を加味することにより、移動体に対する視覚的な効果を演出できる。例えば(b)に黒矢印で示すように、表示画像52の面に対しテクスチャ50が図の下方向に移動している場合は、その時点で画素54に対応しているテクセル56a、56bの値p1、p2に加え、次に対応する領域に入ってくるテクセル156cの値p0を含めて、画素54の画素値Cを次のように決定する。
C=p0/4+p1/2+p2/4
C=p0/4+p1/2+p2/4
すなわちテクスチャ50が移動する場合、テクスチャ上でテクセルを読み出す範囲(参照範囲)を、移動方向の軸において拡大する。また拡大した軸方向で中心から端に向かうほど小さい係数で、テクセル値を加重平均した値を画素値とする。このような処理により、移動方向において像が多少ぼけ、実際に動いている物を見るときと同様の画像表現を実現できる。また表示対象の移動に対しフレーム間での像の変化が滑らかになるため、表示装置の解像度に対する適正なフレームレートより低いフレームレートでも、画像を良好に見せることができる。
この場合も実際には、図の奥行き方向を含めた2次元でテクセル値を参照し画素値の決定に用いる。なおテクスチャの移動は、表示対象の空間でテクスチャをマッピングした面自体が移動する場合、当該面にマッピングするテクスチャ上の領域が移動する場合、および、それらが同時に移動する場合に生じる。以後、それらを含めて「テクスチャの移動」と呼ぶ。
図4は、2次元の移動を考慮したときに画素値を決定する様子を模式的に示している。ここでは下段に示す表示画像52の1画素が、上段に示すテクスチャのうち2×2=4個のテクセルに対応するとする。表示画像52において画素62aはテクスチャ50aが静止している場合、画素62bはテクスチャ50bが矢印で示す右方向に移動している場合、画素62cはテクスチャ50cが矢印で示す右上方向に移動している場合の画素を、それぞれの表れ方で示している。
またテクスチャ50a、50b、50cにおいて、表示画像52の画素62a、62b、62cを決定するための参照範囲60a、60b、60cを示している。さらに参照範囲60a、60b、60cにおいて各テクセルに与える重み係数を、最大値を黒とするグレースケールで示している。まずテクスチャ50aが静止している場合、画素62aに対応する4個のテクセルからなる領域を参照範囲60aとし、それらのテクセル値を、均等な重みで平均する。
テクスチャ50bが右方向に移動している場合、上述したように進行方向の軸で参照範囲を拡張する。図示する例では2個から3個へ拡張した結果、3×2個のテクセルからなる領域を参照範囲60bとしている。このとき進行方向で先頭の2画素と後尾の2画素の重みを軽くする。テクスチャ50cが右上方向に移動している場合も同様に、進行方向の軸で参照範囲を拡張する。図示する例では先頭(または後尾)の3画素を増やした結果、7テクセルからなる領域を参照範囲60cとしている。このとき先頭の3画素と後尾の3画素の重みを軽くする。
このように画素値を決定すると、表示画像52の画素62a、62b、62cとその隣接する画素により、図示するように移動速度が生じている方向で変化が滑らかな像が得られる。なおこれまで示した例では、わかりやすさのためにテクスチャ50と表示画像52の画素境界が一致していたが、適切な窓関数(図3の58a、58b)またはフィルタを状況に応じて制御し、テクセル値の畳み込みを行うことにより、テクスチャ50の位置によらず同様に画素値を決定できる。
図5はテクスチャの移動速度に対する窓関数の変化の例を示している。なお同図に示す窓関数は、横軸をテクスチャ上の横または縦方向の位置を示す1次元のものであるが、実際は2次元で設定する。またこの例では1次元で4個のテクセルが表示画像の1画素に対応するとしている。(a)、(b)、(c)の最上段はいずれも、テクスチャが静止している、すなわち速度V=0のときの窓関数を示している。この場合、図3の(a)に示したように、表示画像の1画素に対応する4テクセルを参照範囲とし、それらの値に等しい係数、この場合は1/4を乗算して合計することにより、表示画像の画素値を算出する。したがって窓関数は図示するような矩形窓となる。
(a)の2段目、3段目、4段目はそれぞれ、テクスチャが速度V=V0、2V0、3V0で移動するときの窓関数を例示している。定性的には図示するように、速度Vが大きいほどテクスチャの参照範囲を、その方向に拡張する。ここで1フレームあたり1テクセル移動する速度を速度V0とすると、図示する例は、前のフレームからのテクスチャの移動分だけ参照範囲を広げていることになる。また上述したように、拡張した軸方向で範囲の中心から離れるほど係数を小さくする。
その結果、例えば速度V0のときは参照範囲の5テクセルに対し、
[1/8,1/4,1/4,1/4,1/8]
なる係数が与えられる。速度2V0のときは参照範囲の6テクセルに対し、
[1/16,3/16,1/4,1/4,3/16,1/16]
なる係数が与えられる。速度3V0のときは参照範囲の7テクセルに対し、
[1/24,1/8,5/24,1/4,5/24,1/8,1/24]
なる係数が与えられる。
[1/8,1/4,1/4,1/4,1/8]
なる係数が与えられる。速度2V0のときは参照範囲の6テクセルに対し、
[1/16,3/16,1/4,1/4,3/16,1/16]
なる係数が与えられる。速度3V0のときは参照範囲の7テクセルに対し、
[1/24,1/8,5/24,1/4,5/24,1/8,1/24]
なる係数が与えられる。
(a)に示すような窓関数によれば、速度の増加に応じて移動方向の像の曖昧さが増し、実際に移動体を見たときと同様の様子で画像を表示させることができる。また表示装置の解像度に対しフレームレートが低くても、移動方向におけるフレーム間での不連続性が抑えられる。
一方、移動している表示対象をユーザが目で追っている(以後、「追従視している」と呼ぶ)場合、そのような曖昧さがかえって不都合となる場合がある。すなわち追従視が可能な移動速度では、網膜上では像が停止しているため、本来は静止画と同様に見えるはずの像がぼやけて見えることになる。像の詳細を見たいという意思をもって追従視している場合は、そのようなぼやけが妨げとなりユーザにストレスを与え得る。例えばスクロールさせながら電子書籍の文字を目で追っているときなどは、スクロール期間で文字がぼやけることで読みづらさや違和感を与えることが考えられる。
そこで図の(b)、(c)に示すように、テクスチャの移動速度の増加に対しテクスチャの参照範囲を狭めることも考えられる。例えば速度V0のときは参照範囲を移動方向に1テクセル分狭め、残りの3テクセルに対し、
[1/3,1/3,1/3]
なる係数を与える。速度2V0のときは参照範囲をさらに1テクセル分狭め、残りの2テクセルに対し、
[1/2,1/2]
なる係数を与える。速度3V0のときは参照範囲をさらに1テクセル分狭め、残りの1テクセルに対し、
[1]
なる係数を与える。すなわち速度3V0のときは参照先の1つのテクセル値をそのまま画素値とする。
[1/3,1/3,1/3]
なる係数を与える。速度2V0のときは参照範囲をさらに1テクセル分狭め、残りの2テクセルに対し、
[1/2,1/2]
なる係数を与える。速度3V0のときは参照範囲をさらに1テクセル分狭め、残りの1テクセルに対し、
[1]
なる係数を与える。すなわち速度3V0のときは参照先の1つのテクセル値をそのまま画素値とする。
人には、十から数百ミリ秒オーダーの視覚的刺激を記憶し加算して認識する視覚的な特性がある。そのため追従視により注視位置が移動すると、移動経路にある画素の色が加算されて認識される。そのため移動速度の増加に応じてテクスチャの参照範囲をあえて狭め、各フレームの表示画像において空間的な合成の程度を抑えておくことにより、よりクリアな像を知覚できる。またこのような制御によれば、テクスチャの読み出しや演算の負荷を軽減することができる。
図示するように前のフレームからの移動分だけ参照範囲を狭める場合、そのような制御を適用する移動速度の上限を、1フレームあたり表示画像の1画素分(図示する例ではテクスチャの4テクセル分)とすれば破綻がない。逆にそれ以上の移動速度では、像の詳細を提示する必要性が小さくなると考えられるため、(a)のように参照範囲を速度の増加とともに広げるようにしてもよい。なお(b)で示した窓関数や上述した係数は例示である。例えば窓関数を(c)のように曲線で定義すれば、テクセルの位置や表示画像の画素とのサイズの関係などによらず適用できる。
図6は画像処理装置10の内部回路構成を示している。画像処理装置10は、CPU(Central Processing Unit)22、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部32、ハードディスクドライブや不揮発性メモリなどの記憶部34、表示装置16へデータを出力する出力部36、入力装置14からデータを入力する入力部38、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。
CPU22は、記憶部34に記憶されているオペレーティングシステムを実行することにより画像処理装置10の全体を制御する。CPU22はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。GPU24は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU22からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部36に出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図7は、本実施の形態における画像処理装置10の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図6に示したCPU22、GPU24、メインメモリ26、出力部36、入力部38などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリ26にロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
画像処理装置10は、入力装置14からの入力情報を取得する入力情報取得部72、表示画像においてテクスチャを表す領域を取得するテクスチャ領域取得部74、テクスチャの移動速度を取得する速度取得部76、速度に応じた範囲でテクスチャを参照するテクスチャ参照部78、テクスチャのデータを格納するテクスチャ記憶部80、読み出されたテクセル値に基づき表示画像の画素値を決定する画素値決定部82、表示画像のデータを表示装置16に出力する出力部84を含む。
入力情報取得部72は図6の入力部38、CPU22などで実現され、ユーザ操作の内容を入力装置14から取得する。ここでユーザ操作とは、実行する情報処理の内容や表示対象の選択、処理の開始/終了、実行している情報処理に対するコマンド入力など、一般的な情報処理でなされるものでよい。入力情報取得部72は取得したユーザ操作の内容を、テクスチャ領域取得部74と速度取得部76に適宜供給する。
テクスチャ領域取得部74は図6のCPU22、メインメモリ26などで実現され、ユーザ操作の内容に基づき表示画像の構成を決定する。このとき、表示画像の平面においてテクスチャを表す領域を取得するとともに、当該領域とテクスチャの識別情報とを対応づけて、速度取得部76およびテクスチャ参照部78に通知する。テクスチャを表す領域の取得手法は、表示する画像の内容や情報の種類によって様々である。例えば単に、あらかじめ設定された表示画像の平面上の領域に係るデータをメインメモリ26などから読み出すのみでもよいし、仮想世界に対する視点に基づきスクリーンを設定し、テクスチャを用いて表すべき仮想オブジェクトを射影することにより求めてもよい。
テクスチャ領域取得部74はまた、ユーザ操作やあらかじめ設定された規則に従い、表示画像の構成を変化させてもよい。例えば電子ゲームの結果としてゲーム画面を生成する態様においては、ゲームの処理なども行ってよい。表示画像の構成を変化させた結果、テクスチャを表す領域を移動させる必要が生じた場合、テクスチャ領域取得部74はその情報を速度取得部76に随時通知する。
速度取得部76は図6のCPU22、GPU24、メインメモリ26などで実現され、表示画像の平面に対するテクスチャの移動速度を、表示画像の画素ごとに取得する。テクスチャの移動は、ユーザ操作によるものでもよいし、あらかじめプログラムされたものでもよい。いずれの場合も、表示画像の平面においてテクスチャを表す領域自体を移動させる場合、領域内でテクスチャの像を移動させる場合、その双方を同時に移動させる場合がある。テクスチャを表す領域自体を移動させる場合、その情報はテクスチャ領域取得部74から取得する。
領域内でテクスチャの像を移動させる場合、例えばスクロールや拡大縮小を実施する場合は、入力情報取得部72からそれらのユーザ操作の内容を取得したり、あらかじめメインメモリ26などに格納された設定を読み出したりする。テクスチャ記憶部80は図6の記憶部34、メインメモリ26などで構成され、テクスチャのデータを格納する。上述したように、本実施の形態では表示装置16の画面の解像度より高い解像度のテクスチャを準備する。また後述するように、テクスチャデータを複数の解像度で準備してもよい。
1テクセルの領域が、表示時の1画素の領域より小さいテクスチャを用いることにより、図3から5に示した畳み込みを実現できる。一方、表示画像に対し過度に高い解像度のテクスチャを用いると、テクセル値の読み出しや演算の負荷が増加する。したがってテクスチャが拡縮され、表示画像の1画素に対応するテクスチャ上の領域のサイズが変化する態様においては、複数解像度のテクスチャデータを準備することにより、解像度を適応的に選択できるようにする。また後述するように、移動速度の増加に伴う参照範囲の縮小に、高解像度のテクスチャを利用してもよい。
テクスチャ参照部78は図6のCPU22、GPU24、メインメモリ26などで実現され、表示画像の画素ごとにテクスチャの参照範囲、ひいてはサンプリング点の分布を決定し、テクスチャ記憶部80から該当するテクセルの値を読み出す。この際、上述のとおり表示画像の平面に対するテクスチャの移動速度に応じて参照範囲を変化させる。図5で説明したように、速度の増加に対し参照範囲を広げる場合と狭める場合でそれぞれの効果が得られるため、移動速度や追従視の状況に応じて適切に切り替える。
画素値決定部82は図6のCPU22、GPU24、メインメモリ26などで実現され、読み出したテクセル値を演算し、表示画像の画素値を決定する。すなわち図5で例示したように、移動速度によって定まる窓関数を用いてテクセル値を畳み込む。そのため、移動速度に伴い参照範囲を広げる場合と狭める場合の双方で、移動速度を複数段階に分けたそれぞれに対し窓関数を定義する式や行列を設定しておく。
出力部84は図6のCPU22、GPU24、メインメモリ26、出力部36などで実現され、そのようにして全画素の値が決定された画像を表示画像として表示装置16に出力する。テクスチャで表す領域以外の領域が表示画像に含まれる場合、出力部84は、その情報をテクスチャ領域取得部74から取得し、当該領域の画像を別途描画してから出力する。
次に、これまで述べた構成によって実現される画像処理装置10の動作を説明する。図8は、本実施の形態における画像処理装置10がテクスチャの移動を加味して表示画像を生成、出力する処理手順を示すフローチャートである。まず画像処理装置10のテクスチャ領域取得部74は、入力装置14に対するユーザ操作に基づき、表示するコンテンツや情報など表示対象に係る情報を取得する(S10)。
次にテクスチャ領域取得部74は、ユーザ操作あるいはあらかじめ定められた規則に従い、表示画像においてテクスチャにより表すべき領域(テクスチャ領域)を決定する(S12)。続いて速度取得部76は、ユーザ操作あるいはあらかじめ定められた規則に従い、テクスチャ領域の画素ごとに、テクスチャの移動速度の大きさと方向を表す速度ベクトルを取得する(S14)。例えば文書などをスクロールさせる場合や、テクスチャ領域自体が平行移動する場合は、テクスチャ領域内の全ての画素で同じ速度ベクトルとなる。
表示倍率を変化させる場合は、拡縮の中心では速度が0、中心から離れるほど速度が大きくなる放射状の速度ベクトルとなる。また自由視点から表示対象を見る態様においては、表示対象の面に対する視線の角度によって速度ベクトルの分布が変化する。速度取得部76は例えば、現フレームにおける対象画素に対応するテクスチャ上の位置が、1つ前のフレームにおいてどの位置にあったかを特定し、位置の差分に基づきテクスチャの速度ベクトルを画素ごとに求める。そのため速度取得部76には、少なくとも1つ前のフレームにおける表示画像の位置座標とテクスチャの位置座標とを対応づけたデータを格納するバッファメモリを設ける。
次にテクスチャ参照部78は、速度ベクトルに基づき適切な窓関数を決定し(S16)、テクスチャ記憶部80に格納されたテクスチャデータのうち、参照範囲にあるテクセル値を読み出す(S18)。これに先立ちテクスチャ参照部78は、移動速度の増加に対し参照範囲を広げるか狭めるかを、移動速度や追従視の状況など所定の基準に照らして決定してもよい。またS18においてテクスチャ参照部78は、表示画像の1画素に対するテクセルの大きさや、テクスチャの移動速度などに基づき、適切な解像度のテクスチャを選択してもよい。
次に画素値決定部82は、読み出されたテクセルと窓関数を用いて畳み込みを行うことにより対象画素の画素値を算出する(S20)。テクスチャ領域の全画素について画素値が決定していなければ(S22のN)、ラスタ順などで定まる次の画素に対しS14〜S20の処理を繰り返す。テクスチャ領域の全画素値が決定したら(S22のY)、出力部84は、テクスチャ領域以外の領域の画像を適宜描画するなどして表示画像を完成させ、そのデータを表示装置16に適切なタイミングで出力する(S24)。ユーザ操作などにより表示を終了させる必要がない期間は(S26のN)、S12〜S24の処理を繰り返し、表示終了のタイミングで全処理を終了させる(S26のY)。
次に、これまで述べた構成を、表示装置16をHMDとし、表示対象を自由な視点から見る態様に適用したときの実施の形態について詳述する。図9は、本実施の形態で表示装置をHMDとした場合の表示態様の例を示している。この例ではユーザ128が、仮想空間に存在する表示対象120を自由視点から見る状態をつくり出す。表示対象120の像には、文書などをテクスチャデータを用いて表す。
このときテクスチャ領域取得部74は、ユーザ128の位置や視線130の方向に応じて設定したスクリーン132に、表示対象120を形成する平面の4隅を射影してテクスチャ領域を形成する。そしてテクスチャ参照部78は、当該テクスチャ領域内の画素位置に対応する、テクスチャ上の位置座標を導出することで、テクセル値を読み出す。画素値決定部82は、読み出されたテクセル値を用いて表示画像の画素値を決定する。
HMDを導入する場合、ユーザ128の位置や視線130は、HMDの内部に設けたモーションセンサの計測値に基づく頭部の位置や姿勢から推定される。頭部の位置や姿勢はこのほか、HMDの外面に設けた所定形状のマーカーを、図示しないカメラで撮影し、その像を解析することによって導出してもよいし、HMD側にカメラを設け、その撮影画像から環境地図の形成とともに導出してもよい。
HMDを装着したユーザの位置や視線を特定する技術としては様々なものが実用化されており、本実施の形態ではそのいずれを適用してもよい。この際、外部のセンサ値や撮影画像のデータは、所定のレートで入力情報取得部72が取得し、テクスチャ領域取得部74が解析を行う。
ユーザは、表示対象120が表された表示画像を見ながら、顔の向きを変えたり、前後左右に動いたりすることにより、表示対象120のうち表示させる領域を移動させる。またHMDの内部に図示しない注視点検出器を設けることにより、表示画像中の注視点を取得できる。眼球に照射した赤外線の反射を検出するなどして、画面上の注視点を検出する技術は一般的なものである。なお表示領域の平行移動や拡縮、仮想空間における表示対象に対する視点の移動といった操作は、平板型ディスプレイに表示させた画像であっても入力装置14を用いて実現できるため、以後述べる手法をHMDに限る趣旨ではない。
図10は、HMDの表示画面に対応するスクリーン132と、表示対象120に表されるテクスチャ134の画素の関係を模式的に示している。同図はユーザ128と表示対象120の存在する仮想空間を側面から見た状態を示している。このような系では、表示対象120を固定としても、ユーザ128の頭部が動くことにより、スクリーン132に対し相対的にテクスチャ134が移動する。
例えばユーザ128が下方を向く過程において、スクリーン132aがスクリーン132bの位置へ移動すると、スクリーン132a、132b上の網掛けされた画素242に射影されるテクスチャ134上の位置は、テクセル240aからテクセル240bへと移動する。したがってこの移動が生じる微小時間において、画素242にはおよそ、テクセル240aから240bまでの3つのテクセルが対応することになる。そこで円244内に模式的に示したように、窓関数aを用いて3テクセル程度の畳み込みを行い画素値を決定すれば、速度方向に色がブレンドされる結果、実際の移動体の見た目に近い像を表現できる。
あるいは窓関数bを用いて、1テクセルなど狭い範囲のテクセルから画素値を決定すれば、追従視している場合に静止画と同様にぼけの少ない像を知覚できる。また速度の増加に応じて参照範囲を狭めることにより、視覚的に生じやすくなるぼけを打ち消す方向に作用し、安定して詳細度の高い像を視認できるようになる。
図11は、2次元方向の移動を考慮し、移動速度に対しテクスチャの参照範囲を狭める態様における当該範囲の定性的な変化を示している。同図は表示画像の1画素に、4×4テクセルのブロックが射影される状況を想定しており、矢印で示す速度ベクトルでテクスチャが相対的に移動したときの参照範囲を、各ブロック内の円形または楕円形で示している。ただし当該円形、楕円形は、画素値の決定に用いるテクスチャの参照範囲を概念として表象するものであり、実際には黒丸で示すような離散的なサンプリング点を範囲に応じて決定する。
まずスクリーンに対するテクスチャの速度が0のとき、ブロック250aに円形で示すように、ブロックの中心から均等な範囲のテクセルを参照する。スクリーンに対しテクスチャが横方向に移動する場合、すなわち速度ベクトル(Vx,0)のときは、ブロック250b、250cに楕円形で示すように、速度Vxが大きいほど横方向の参照範囲がより狭まるようにする。スクリーンに対しテクスチャが縦方向に移動する場合、すなわち速度ベクトル(0,Vy)のときは、ブロック250d、250eに楕円形で示すように、速度Vyが大きいほど縦方向の参照範囲がより狭まるようにする。
スクリーンに対しテクスチャが斜め方向に移動する場合、すなわち速度ベクトル(Vx,Vy)のときは、ブロック250f、250g、250h、250iに楕円形で示すように、速度(Vx2+Vy2)1/2が大きいほど速度ベクトルと同方向の参照範囲がより狭まるようにする。なお移動速度の増加に対し参照範囲が小さくなれば、両者の具体的な関係は特に限定されず、例えば反比例でもよいし1次関数や指数関数などでもよい。
図12は、移動速度の増加に対してテクスチャの参照範囲を狭める際の、当該参照範囲の算出手法の一例を説明するための図である。まず表示画像の1画素に対応するテクスチャ上の矩形領域252の各辺をベクトルdu、ベクトルdvとする。矩形領域252は図11のブロック250aなどに対応する。
図11で示したように、表示画像の当該画素においてテクスチャが速度ベクトルVの方向に移動するとき、当該速度ベクトルVの方向において矩形領域252を縮小する。具体的にはベクトルdu、ベクトルdvを速度ベクトルVの方向と、それに垂直な方向の成分に分離し、そのうち前者に、速度|V|の増加に対し減少するような縮小率m(0<m<1)を乗算する。そして後者と合成することにより得られるベクトルdu’、dv’を辺とする矩形領域254を、新たな参照範囲とする。
ベクトルduと速度ベクトルVのなす角度をθとすると、ベクトルdu’およびベクトルdv’は次のように求められる。
du’=m・du・cosθ+du・sinθ
dv’=m・dv・sinθ+dv・cosθ
角度θに係る三角関数は、例えば速度ベクトルVとベクトルduの内積から求められる。なお図12においては縮小率m=0.5として、縮小方向を白抜きの矢印で示している。mを1より大きくすれば、同様の計算で速度の増加に対し参照範囲を広げられる。
du’=m・du・cosθ+du・sinθ
dv’=m・dv・sinθ+dv・cosθ
角度θに係る三角関数は、例えば速度ベクトルVとベクトルduの内積から求められる。なお図12においては縮小率m=0.5として、縮小方向を白抜きの矢印で示している。mを1より大きくすれば、同様の計算で速度の増加に対し参照範囲を広げられる。
このような計算を表示画像の画素ごとに実施し、得られた参照範囲全体に分布するようにサンプリング点を定めることにより、参照範囲を反映した画素値を決定できる。本実施の形態では、表示画像の1画素に対応する領域をテクスチャ平面で定義し、それを図示するような手法で変形させたうえで、サンプリング点の位置座標を決定する。その後は従来のピクセルシェーダーを利用して、効率よくテクセル値の読み出しを行う。
図13は、表示画像平面上の領域とテクスチャ平面上の領域の対応関係を説明するための図である。図中、左側がテクスチャ平面140、右側が表示画像平面142であり、両者とも格子状に区切られてなる最小単位の正方形が画素を表す。図11、12の例はわかりやすさのため、表示対象のうちテクスチャをマッピングする面(以後、「マッピング対象面」と呼ぶ)が表示画像平面に平行な場合を想定していたが、図13は視線の傾きにより両者が平行でない状態を示している。
そのため見かけ上のテクセル領域が正方形ではないが、速度に対する参照範囲の導出には図12で示した手法を適用できる。このようにマッピング対象面144が表示画像平面142と平行でない場合、表示画像平面142上の位置によって、1画素に対応するテクセルの数が変化する。例えば画素146はおよそ1テクセルと対応するのに対し、画素148は4つ以上のテクセルと対応する。表示画像平面142の画素146、148に含まれるテクスチャ画像の領域は、テクスチャ平面140上では領域150、152で近似される。
マッピング対象面144は、図9で示した系において表示対象120をスクリーン132に射影した像を形成するため、マッピング対象面144における位置座標が表示画像平面142のどの位置に射影されるかは、一般的な座標変換を用いて特定することができる。表示画像平面142における各画素(例えば画素146、148)に対応するテクスチャ平面140上の領域(例えば領域150、152)は、その逆変換により求めることができるが、本実施の形態では偏微分を用いた線形近似により処理を効率化する。
まず表示画像平面142における座標(x,y)を、テクスチャ平面140における対応する座標(u,v)へ変換する関数f(x,y)を次のように定義する。
表示画像平面142において、ある位置座標(x0,y0)からx軸方向に±dの位置での関数f1のテイラー展開は次のようになる。
上記2式の差をとると次式が成り立つ。
同様に、位置座標(x0,y0)からy軸方向に±dの位置での関数f1のテイラー展開、x軸方向、y軸方向に±dの位置での関数f2のテイラー展開を考慮すると、表示画像平面142において位置座標(x0,y0)から(Δx,Δy)だけ離れた位置座標(x,y)に対応する、テクスチャ平面140における位置座標(u,v)は次のように近似できる。
ここで(u0,v0)は、表示画像平面142における位置座標(x0,y0)に対応するテクスチャ平面140における位置座標である。また行列Aの各要素a11、a12、a21、a22、は次のように定義される。
上記変換式によれば、表示画像平面142における1画素の正方形の領域は、テクスチャ平面140において、行列Aの各列をそれぞれ成分とするベクトルtu(a11,a21)と、tv(a12,a22)の方向に辺を有する平行四辺形の領域に対応づけられる。
図14は、上記変換式を用いて決定した、テクスチャ平面における平行四辺形を例示している。同図は、図13に示したテクスチャ平面140における領域152とその近傍の領域を表しており、平行四辺形160は領域152に対応する。また平行四辺形160の中心の位置座標(u0,v0)は、表示画像平面における元の画素148の中心の位置座標(x0,y0)に対応する。また、平行四辺形160の中心の位置座標(u0,v0)における関数f1およびf2を、uおよびvと表記している。
上述のとおり平行四辺形160は、ベクトルtu(a11,a21)=(∂u/∂x, ∂v/∂x)、tv(a12,a22)=(∂u/∂y, ∂v/∂y)に平行な辺を有する。また、平行四辺形160に外接する矩形162の横方向および縦方向の辺の長さSu、Svは、ベクトルtuおよびtvの成分ごとの長さの和、すなわちSu=|∂u/∂x|+|∂u/∂y|、Sv=|∂v/∂x|+|∂v/∂y|となる。ここで平行四辺形160の辺を構成するベクトルtu、tvは、図12に示したベクトルdu、dvに対応する。
したがって図12において説明したようにテクスチャの速度ベクトルに応じて新たなベクトルdu’、dv’を求めることにより、平行四辺形160を変形し、最終的な参照範囲を表す平行四辺形を決定する。本実施の形態ではさらに、当該最終的な参照範囲の大きさによって、テクセル値のサンプリング数を調整する。
図15は参照範囲の大きさに応じたサンプリング点の数および分布の変化例を模式的に示している。図はテクスチャ平面の一部を示しており、格子状に区切られてなる最小単位の正方形がテクセルを表す。また1テクセルの領域の横方向および縦方向の辺の長さを1とする。まず(a)に示すように、外接矩形の横方向の辺の長さSu、および縦方向の辺の長さSvのうち大きい方の値が1.0以上4.0未満のときは、参照範囲の領域のうち4点をサンプリングする。すなわち黒丸で示されるサンプリング点のテクセル値を読み出し、画素値の決定に用いる。
なお同図においては条件(a)を満たす最大サイズの平行四辺形、すなわちSu=SV=4の正方形のみを例示しているが、実際の参照範囲は様々な平行四辺形でよく、それによってサンプリング点の分布も異なる。他の条件でも同様である。次に(b)に示すように、外接矩形の辺の長さSu、Svのうち大きい方の値が4.0以上6.0未満の場合は、参照範囲の領域のうち9点をサンプリングする。(c)に示すように、外接矩形の辺の長さSu、Svのうち大きい方の値が6.0以上8.0未満の場合は、参照範囲の領域のうち16点をサンプリングする。
それより大きい場合も同様に、外接矩形のサイズに応じてサンプリング数とその分布の決定規則を設定しておけば、マッピング対象面がどの位置や角度にあっても、同様の計算で画素値を決定できる。なおサンプリング数を切り替える条件やサンプリング数は図示したものに限らない。上述したように、図示する例は参照範囲が正方形の場合であるため、横方向、縦方向に同じ間隔で均等にサンプリング点を分布させている。この場合を含め、任意の平行四辺形においてサンプリング点の分布を決定するための規則を準備する。
図16は、図15の条件(a)のように4点のサンプリングを行うときのサンプリング点の決定規則を説明するための図である。同図の平行四辺形は、図14に示した平行四辺形160に対応している。この平行四辺形160の外接矩形162は図15の条件(a)を満たしているため、サンプリング点は4つとなる。この場合、平行四辺形160の中心座標(u0,v0)と同じ中心を有し縦横それぞれの方向に1/2倍に縮小した平行四辺形の頂点A、B、C、Dをサンプリング点として定める。中心座標(u0,v0)をqとおくと、サンプル点A、B、C、およびDは、ベクトルtu、tvを用いて次のように表される。
図17は、図15の条件(b)のように9点のサンプリングを行うときのサンプリング点の決定規則を説明するための図である。この場合、図16で示した4点のサンプリング点A〜Dと同様の計算により求められるサンプリング点A’〜D’と、それらのうち隣り合う2点の中点であるE、F、G、H、および、中心qの9点とする。ただし点A’〜D’は、上記A〜Dを算出する式におけるベクトルtu、tvの係数を1/3に代えて算出する。すなわち9点のサンプリング点は、q、q±1/3・tu±1/3・tv、q±1/3・tu、q±1/3・tvとなる。
図18は、図15の条件(c)のように16点のサンプリングを行うときのサンプリング点の決定規則を説明するための図である。この場合、図16で示した4点のサンプリング点A〜Dと同様の計算により求められるサンプリング点A”〜D”と、点A”〜D”のうち隣り合う2点を1:2および2:1に内分する8点、および、それらの点をベクトルtu、tvのいずれかの方向で1:2および2:1に内分する4点、の16点とする。ただし点A”〜D”は、上記A〜Dを算出する式におけるベクトルtu、tvの係数を3/8に代えて算出する。すなわち16点のサンプリング点は、q±3/8・tu±3/8・tv、q±3/16・tu±3/8・tv、q±3/8・tu±3/16・tv、q±3/16・tu±3/16・tvとなる。
なおサンプリング点A〜D等、平行四辺形の頂点に最も近い4点を決定する際のベクトルtu、tvの係数αは、図15で示した各条件の最大外接矩形の辺のサイズを2N(N=2、3、4、・・・)とすると、次のように一般化できる。
α=(N−1)/2N
このような規則を設定し、平行四辺形のサイズに応じてサンプリング数およびその分布を決定すれば、平行四辺形の参照範囲の領域から均等に、必要十分なサンプリングを行える。またこのようなサンプリング処理は、既存のバイリニアサンプリング回路を用いて効率的に実行可能である。ただし本実施の形態におけるサンプリングの具体的な規則をこれに限る主旨ではない。
α=(N−1)/2N
このような規則を設定し、平行四辺形のサイズに応じてサンプリング数およびその分布を決定すれば、平行四辺形の参照範囲の領域から均等に、必要十分なサンプリングを行える。またこのようなサンプリング処理は、既存のバイリニアサンプリング回路を用いて効率的に実行可能である。ただし本実施の形態におけるサンプリングの具体的な規則をこれに限る主旨ではない。
図19は、スクリーンに対するテクスチャの移動速度に応じて参照先のテクスチャの解像度を切り替える場合の画素の関係を模式的に示している。同図は図10と同様に仮想空間を側面から見た状態を示している。テクスチャを複数解像度で準備しておき、スクリーンと表示対象との距離に基づき適切な解像度を選択してマッピングを行う技術はミップマップとして知られている。本実施の形態では、テクスチャのデータ構造や読み出し回路として、そのような一般的な技術を利用できる。
図においてテクスチャ260aは、スクリーンと表示対象との距離から定まる適正な解像度であり、例えばスクリーンに射影したときに表示画像とテクスチャの画素領域の大きさが同程度となるような解像度である。ユーザ128が動かず、スクリーンに対しテクスチャが移動しない場合は、当該適正な解像度のテクスチャ260aを参照する。
ここでユーザ128が下方を向き始め、スクリーン132aがスクリーン132bの位置へ移動したら、ひいてはテクスチャの相対的な移動が生じたら、テクスチャ260aより高い解像度のテクスチャ260bへ参照先を切り替える。スクリーンが表示対象に近づいたり遠ざかったりした場合は、ミップマップと同様の規則により適正な解像度を仮に設定したうえ、画像の拡縮によるテクスチャの移動速度を加味して、参照先の解像度を画素ごとに決定する。
図20は、2次元方向の移動を考慮し、移動速度に対しテクスチャの参照範囲を狭める態様における、移動速度に応じたテクスチャの解像度の切り替えを定性的に示している。図の示し方はおよそ図11と同様であるが、テクスチャの解像度を切り替えることにより、表示画像の1画素に射影されるテクセルの数が変化している。この例では、スクリーンに対するテクスチャの速度が0のとき、表示画像の1画素に対し1テクセルからなるブロック262aが対応するような解像度のテクスチャを選択している。
スクリーンに対しテクスチャが移動し、移動速度が第1のしきい値を超えたとき、ブロック262b、262d、262fに示すように、静止時の解像度の2×2倍の解像度のテクスチャを選択する。移動速度が、第1のしきい値より大きい第2のしきい値を超えたときは、ブロック262c、262g、262e、262h、262iに示すように、静止時の解像度の4×4倍の解像度のテクスチャを選択する。
このようにすることで、必要十分な解像度のテクスチャを用いて処理負荷の増大を抑えつつ、移動速度に依存した画素値の制御を行える。このことは、移動速度の増加に応じて参照範囲を広げる態様でも同様である。なおミップマップの処理系を利用する場合、通常のLOD(Level of Detail)に対し、速度に応じたオフセット分を演算してLODを指定すれば、ミップマップの処理を兼ねた適切なタイミングで解像度の切り替えを行える。
テクスチャの解像度を切り替える態様においては、表示画像の1画素に対応するテクセルのサイズが、テクスチャの移動速度の増加に応じて小さくなる。したがってサンプリング数を固定として解像度を高くするのみで、実質的には速度に応じて参照範囲を狭めているのと同様となる。最も単純にはサンプリング数を1つで固定し、表示画像の画素中心に対応する、テクスチャ上の1つのテクセルの値を読み出し、それを画素値とすればよい。
ただしこの場合、参照範囲は速度ベクトルの方向によらず等方的に狭められる。速度ベクトルの方向のみ参照範囲を狭める場合は、図に黒丸で示すように、速度ベクトルに垂直な直線上の2点をサンプリング点とすることが考えられる。図示するように速度によらず同じ2点をサンプリングしても、解像度が高くなることにより速度方向の参照範囲が狭められていることになる。なおサンプリング点は2点に限らず3点以上でもよい。あるいは速度によってサンプリングの点数を変化させてもよい。いずれの場合も、サンプリングされたテクセル値を平均することにより画素値を決定する。
図21は、速度ベクトルに垂直な直線上の2点のサンプリング点を決定する手法を説明するための図である。図の下段の左側がテクスチャ平面270、右側が表示画像平面272であり、両者とも格子状に区切られてなる最小単位の正方形が画素を表す。同図上段に示すように、時刻t0でテクスチャが静止している状態から、速度が生じ増加する各時刻t1、t2に対し、速度ベクトルVと垂直な直線上の2点をサンプリングする。このとき上述のとおり、速度の増加に応じてテクスチャの解像度を上げていけば、領域274、276、278というように、速度ベクトルの方向に参照範囲を狭めることができる。
下段の表示画像平面272には、ある時刻において、速度ベクトルVに垂直な直線上に決定した2つのサンプリング点280を示している。当該直線上の単位ベクトルWxyは、テクスチャ平面270では次のように表せる。
Wuv=tu・Wx+tv・Wy
ここでWx、Wyはそれぞれ、ベクトルWxyのx成分、y成分である。テクスチャ平面270におけるサンプリング点は、表示画像の画素中心に対応するテクスチャ平面上の位置座標(u0,v0)から、1より小さい係数を|Wuv|に乗算した分だけベクトルWuv方向および−Wuv方向に離れた2点とする。
Wuv=tu・Wx+tv・Wy
ここでWx、Wyはそれぞれ、ベクトルWxyのx成分、y成分である。テクスチャ平面270におけるサンプリング点は、表示画像の画素中心に対応するテクスチャ平面上の位置座標(u0,v0)から、1より小さい係数を|Wuv|に乗算した分だけベクトルWuv方向および−Wuv方向に離れた2点とする。
座標(u0,v0)をqと表記すると、例えばサンプリング点A、Bを次のように決定する。
A=q+|V|/2・Wuv
B=q−|V|/2・Wuv
この式によれば、速度ベクトルに垂直な方向に、速度Vだけ離れた2点をサンプリング点とすることができる。
A=q+|V|/2・Wuv
B=q−|V|/2・Wuv
この式によれば、速度ベクトルに垂直な方向に、速度Vだけ離れた2点をサンプリング点とすることができる。
図22は、速度ベクトルVと垂直な直線上の3点をサンプリングする様子を模式的に示している。この場合も時刻t0でテクスチャが静止している状態から、速度が生じ増加する各時刻t1、t2において、テクスチャの解像度を高めるとともに、速度ベクトルVと垂直方向に3点を決定する。例えば図21で説明した2点の中点を追加のサンプリング点とし、サンプリング点A、B、Cを次のように決定する。
A=q+|V|/2・Wuv
B=q
C=q−|V|/2・Wuv
A=q+|V|/2・Wuv
B=q
C=q−|V|/2・Wuv
これまで述べた態様では、テクスチャ上で1つまたは複数のサンプリング点を、テクスチャの移動速度に応じて決定し、そのテクセル値をブレンドすることで、1フレーム分の表示画像の画素値を決定した。一方、サンプリング点の分布を、連続したフレームに対し時間方向に分離することにより、視覚刺激の時間積分機能を利用して認識上でブレンドさせることが考えられる。図23は、サンプリング点の分布を時間方向に分離する態様におけるサンプリングの様子を模式的に示している。
この態様では、表示画像の画素に対する適正な解像度より所定量、高い解像度のテクスチャを参照先とする。図に示す3つの矩形はそれぞれ、各時刻t0、t1、t2において表示画像の1画素に対応するテクスチャ上の領域を示しており、例えばいずれも2×2のテクセルからなるブロックで構成される。まずスクリーンに対しテクスチャが静止しているとき(V=0)、ブロック290aの中心から等しい距離のサンプリング点を均等に設定する。図示する例では、ブロック290aの中心と4頂点との中点A、B、C、Dの4点をサンプリング点としている。
このようにサンプリング点を4点とした場合、表示画像の4フレームを1単位とし、1単位の表示時間で4つのテクセル値が順に表示されるようにする。すなわち当該単位の最初のフレームに対しサンプリング点Aのテクセル値を読み出して画素値とする。2番目、3番目、4番目のフレームに対し、それぞれサンプリング点B、C、Dのテクセル値を読み出し、画素値とする。すると1単位分のフレームの該当画素を見たユーザには、視覚刺激の時間積分機能によって、サンプリング点A、B、C、Dの色がブレンドされて見える。テクスチャがスクリーンに対し停止している限りは、同じサンプリング点のテクセル値を循環して読み出し、表示する。
スクリーンに対しテクスチャが移動している場合、図11で示したのと同様、速度ベクトルの方向に参照範囲を縮小する。このときブロック290b、290cに示すように、速度Vが大きいほど参照範囲がより狭まるようにサンプリング点の分布を調整する。速度の変化に対する参照範囲の変化のさせ方は、図11、12などで説明したのと同様でよい。
そして静止している場合と同様、4つのサンプリング点のテクセル値を、4フレームに渡って順に読み出し、フレームごとに個別に表示させることにより、1単位分のフレームを見たときに、認識上でブレンドされるようにする。この場合も、1フレームの表示画像上で、速度に応じた参照範囲のテクセルをブレンドしたときと同様の効果が得られる。また1フレームの1画素あたり1つのテクセル値を読み出せばよいため、複数のテクセル値を同時に読み出し、演算するのと比較して処理の負荷を抑えることができる。
なお表示画像の画素領域に対し一般的なミップマップで適正とされる解像度より1段階、高い解像度のテクスチャを参照先とすることにより、図示するように、表示画像の1画素に対応するテクセルを、2×2程度に安定させることができる。そのため図示する例では1画素当たり4つのサンプル点としているが、本実施の形態をそれに限る趣旨ではない。1画素当たりのサンプル点をN個とした場合、Nフレームが1単位となる。また、一度に読み出すテクセル値を複数とし、それらをブレンドして1フレームの画素値としてもよい。例えば2つのテクセル値を用いて画素値を決定する場合、N個のテクセルをN/2フレームで表せばよい。
テクスチャの移動速度の増加に対し参照範囲を狭めていく態様は、スクリーンに対し比較的低速に移動している表示対象の像をユーザが追従視しているときに、そのディテールを視認させることができるという点で有効である。一方、ユーザが意識して見ていない対象や、ほぼ静止していたりある程度高速で移動している対象について同様の処理を行うと、エイリアシングやちらつきが問題になることが考えられる。そのため対象物の移動速度やユーザの視線などその場の状況を考慮して、移動速度に基づく参照範囲の制御の有無や感度の調整を適応的に行うことが望ましい。
図24は、画像処理装置10が、テクスチャの参照範囲の制御の態様を状況に応じて変化させる場合の、画素値の決定手順を示すフローチャートである。この手順は、図8で示したフローチャートのS14からS20の処理として導入できる、画素ごとの処理である。またこの態様においてテクスチャ参照部78は、画面におけるユーザの注視点を継続して検出する注視点検出器から計測結果を順次取得し、ユーザが表示対象を追従視しているか否かを判定する追従視判定機能を備えるものとする。
まず速度取得部76は、スクリーンに対しテクスチャが移動しているか(S30)、移動している場合は速度Vがしきい値Vthより小さいか、を監視する(S30のY、S32)。移動していない場合(S30のN)は、参照範囲の調整をせずに、画素に対応するテクセルの値を読み出す(S42)。速度Vがしきい値Vth以上の場合は(S32のN)、参照範囲を広げてテクセル値を読み出す(S40、S42)。ここで速度のしきい値Vthは、例えばフレーム間で表示画像の1画素分の移動がなされる速度とする。なお速度Vがしきい値Vth以上の場合、参照範囲の調整を行わずにテクセル値を読み出してもよい。
速度Vがしきい値Vthより小さい場合でも(S32のY)、ユーザが当該画素に表される対象を追従視していない場合は(S34のN)、参照範囲を広げてテクセル値を読み出す(S40、S42)。一般に眼球運動には滑動性眼球運動、跳躍性眼球運動、固視微動といった特性の異なる運動成分が含まれている。本実施の形態での追従視は、滑動性眼球運動により対象全体を大まかに眼で追うような状態を想定する。したがってテクスチャ参照部78は、例えば注視点を所定の時間窓で平均化した位置座標を監視し、テクスチャあるいは表示対象の像そのものの動きベクトルと注視点の平均値の移動ベクトルとが所定時間一致したとき、追従視していると判定する。
なお電子書籍を読み進める場合や、地図で地名を確認しながらスクロールさせる場合など、表示内容やユーザ操作の状況によって、注視点の検出結果を得ずとも追従視していることが推定できる場合は、追従視の判定処理を省略できる。また同じ対象物の像に含まれる画素については、そのいずれかについて追従視していることが判定されたら、その他の画素も追従視しているとして判定処理を省略してもよい。追従視していることが判定された場合(S34のY)、テクスチャ参照部78は、速度ベクトルや追従視の状況に応じて速度に対する参照範囲の感度を調整したうえ(S36)、速度に応じて参照範囲を狭める調整を行う(S38)。ここで「感度」とは、速度の増加に対する参照範囲の変化の大きさをいう。
移動速度や注視点の動きが条件を満たしていても、場合によってエイリアシングが目立つことがあり得る。本発明者の知見によれば、例えばスクリーンに対しテクスチャの移動方向が変化するタイミングではエイリアシングが目立ちやすい。また平板型ディスプレイと比較するとHMDでの表示では全体的にエイリアシングが生じやすい。そのようなエイリアシングが発生しやすい状況を事前の実験で特定しておき、該当する状況になった場合に感度を下げることにより、参照範囲の制御による画質の劣化が生じにくくなる。
テクスチャ参照部78はそのようにして決定した参照範囲を反映するようにサンプリング点を決定し、テクスチャデータからテクセル値を読み出す(S42)。そして画素値決定部82は、読み出されたテクセル値を用いて上述のとおり対象画素の画素値を決定する。
以上述べた本実施の形態によれば、表示対象をテクスチャデータとして準備し、それをマッピングすることで表示画像を生成する。ここで表示画像平面に対しテクスチャが移動しているとき、画素値の決定に用いるテクスチャの参照範囲を、テクスチャの移動速度に応じて変化させる。
速度の増加に対し参照範囲を拡張する場合、モーションブラーのように表示対象が移動していることが表現できるとともに、表示装置の解像度に対するフレームレートの適正値より低いフレームレートにおいて生じやすい、移動方向での像の不連続性を抑えることができる。参照範囲を縮小する場合は、各フレームにおいて表示装置の解像度を最大限に活かした詳細な画像を表示できる。
したがって表示画像平面に対するテクスチャの相対速度や、ユーザが像を追従視しているか否かなどの状況によって両者を使い分けることにより、表示装置の解像度を活かしつつそれによって生じ得る画質の劣化も抑えられる。また参照範囲の調整を、速度ベクトルの軸方向に限定し、それと垂直な成分は保存することにより、必要以上の調整により画質が却って劣化するのを防ぐことができる。
さらにテクスチャの相対速度によって、参照先のテクスチャの解像度を切り替える。具体的には速度が大きくなるほど解像度の高いテクスチャを用いることにより、表示画像の1画素に対する1テクセルの領域が狭くなり、同数のサンプリングで自ずと参照範囲を狭めることができる。速度の増加に応じて参照範囲を拡張する場合でも、テクスチャ静止している場合など細かい制御をしない状況においては本来の適正解像度のテクスチャを利用できるため、テクセル値の読み出しや演算に係る処理コストの増大を抑えることができる。
また、テクスチャの相対速度によって制御された参照範囲における、複数のサンプリング点のテクセルを、複数のフレームに分けて順番に表す。このようにすると、人が有する視覚刺激の時間積分機能によって、当該複数フレームを見たときに、それらがブレンドされて知覚される。結果として、テクセル値の読み出しや演算処理を効率化しつつ、上述と同様の効果を得ることができる。
本実施の形態は、速度に応じて参照範囲を調整し、それを反映する分布でサンプリング点を決定することを基本とするため、調整前の参照範囲の形状は限定されない。したがって、表示画像平面に対し表示対象が3次元方向にいかなる傾きを有していても適用可能である。結果として、自由視点から表示対象を見るような態様との親和性が高い。また電子書籍やウェブサイトなどの文字情報をスクロールしながら読み進めるような態様においても、文字をクリアに視認させることができる。
表示画面の画素の細かさに応じて適切な解像度のテクスチャを参照し、当該細かさに適合した分解能でテクスチャの参照範囲を制御することにより、表示装置の解像度とフレームレートの組み合わせによらず安定した画像表現を実現できる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
8 画像処理システム、 10 画像処理装置、 14 入力装置、 16 表示装置、 72 入力情報取得部、 74 テクスチャ領域取得部、 76 速度取得部、 78 テクスチャ参照部、 80 テクスチャ記憶部、 82 画素値決定部、 84 出力部。
以上のように本発明は、画像表示装置、画像再生装置、ゲーム装置、パーソナルコンピュータ、携帯端末など各種情報処理装置や、それらのいずれかを含む情報処理システムなどに利用可能である。
Claims (12)
- 表示画像平面に対するテクスチャの移動速度ベクトルを、表示画像の画素ごとに取得する速度取得部と、
前記移動速度ベクトルによって参照範囲を調整したうえで、当該参照範囲のテクセル値をサンプリングするテクスチャ参照部と、
サンプリングされたテクセル値に基づき画素値を決定する画素値決定部と、
画素値が決定された表示画像のデータを出力する出力部と、
を備えたことを特徴とする画像処理装置。 - 前記テクスチャ参照部は、テクスチャの移動速度の増加に応じて、前記移動速度ベクトルの軸方向で前記参照範囲を拡張または縮小することを特徴とする請求項1に記載の画像処理装置。
- 前記テクスチャ参照部は、テクスチャの移動速度によって、前記参照範囲を調整するか否かを切り替えることを特徴とする請求項1に記載の画像処理装置。
- 前記テクスチャ参照部は、ユーザの注視点の時間変化に基づき、テクスチャの移動速度の増加に応じて前記参照範囲を拡張するか縮小するかを切り替えることを特徴とする請求項2に記載の画像処理装置。
- 複数解像度のテクスチャのデータを格納するテクスチャ記憶部をさらに備え、
前記テクスチャ参照部は、テクスチャの移動速度の増加に応じて、参照先のテクスチャの解像度を高解像度側へ切り替えることを特徴とする請求項1から4のいずれかに記載の画像処理装置。 - 前記テクスチャ参照部は、表示画像の画素に対応するテクスチャ上の領域に、テクスチャの移動速度によらない所定数のサンプリング点を設定することにより、テクスチャの移動速度の増加に応じて参照範囲を縮小することを特徴とする請求項5に記載の画像処理装置。
- 前記テクスチャ参照部は、前記移動速度ベクトルと垂直な直線上に、前記所定数のサンプリング点を設定することを特徴とする請求項6に記載の画像処理装置。
- 前記画素値決定部は、前記参照範囲のテクセル値に基づき画素ごとに複数の画素値を決定し、表示画像の複数フレームにおいて、当該複数の画素値を順に表すことを特徴とする請求項1から4のいずれかに記載の画像処理装置。
- 前記画素値決定部は、前記移動速度ベクトルに応じた窓関数で、前記テクセル値の畳み込みを行うことにより画素値を決定することを特徴とする請求項1に記載の画像処理装置。
- テクスチャにより表される表示対象の面を表示画像平面に射影することにより、表示画像におけるテクスチャ領域を取得するテクスチャ領域取得部をさらに備え、
前記テクスチャ参照部は、前記射影の結果に基づき、前記テクスチャ領域内の1画素に対応するテクスチャ平面の領域を特定し、前記移動速度ベクトルによって当該領域を変形させることにより、前記参照範囲を調整することを特徴とする請求項1から4のいずれかに記載の画像処理装置。 - 表示画像平面に対するテクスチャの移動速度ベクトルを、表示画像の画素ごとに取得するステップと、
前記移動速度ベクトルによって参照範囲を調整したうえで、当該参照範囲のテクセル値をサンプリングするステップと、
サンプリングされたテクセル値に基づき画素値を決定するステップと、
画素値が決定された表示画像のデータを出力するステップと、
を含むことを特徴とする画像処理装置による表示画像生成方法。 - 表示画像平面に対するテクスチャの移動速度ベクトルを、表示画像の画素ごとに取得する機能と、
前記移動速度ベクトルによって参照範囲を調整したうえで、当該参照範囲のテクセル値をサンプリングする機能と、
サンプリングされたテクセル値に基づき画素値を決定するステップと、
画素値が決定された表示画像のデータを出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/003040 WO2019150450A1 (ja) | 2018-01-30 | 2018-01-30 | 画像処理装置および表示画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019150450A1 true JPWO2019150450A1 (ja) | 2021-01-14 |
JP6849826B2 JP6849826B2 (ja) | 2021-03-31 |
Family
ID=67479294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568443A Active JP6849826B2 (ja) | 2018-01-30 | 2018-01-30 | 画像処理装置および表示画像生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11450036B2 (ja) |
JP (1) | JP6849826B2 (ja) |
WO (1) | WO2019150450A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11715302B2 (en) * | 2018-08-21 | 2023-08-01 | Streem, Llc | Automatic tagging of images using speech recognition |
CN114175631A (zh) * | 2019-07-31 | 2022-03-11 | 佳能株式会社 | 图像处理设备、图像处理方法、程序和存储介质 |
US20240312111A1 (en) * | 2023-03-16 | 2024-09-19 | Intel Corporation | Optical flow mip adjustment for rendering and encoding |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003115056A (ja) * | 1999-12-16 | 2003-04-18 | Sega Corp | 画像生成方法及びこれを用いた画像生成装置 |
JP2007041196A (ja) * | 2005-08-02 | 2007-02-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
JP2008502978A (ja) * | 2004-06-16 | 2008-01-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | フォワード・テクスチャ・マッピング3dグラフィックス・システム |
JP2017091483A (ja) * | 2015-11-17 | 2017-05-25 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、情報処理装置、および画像処理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3367509B2 (ja) * | 1999-12-16 | 2003-01-14 | 株式会社セガ | 画像生成方法及びこれを用いた画像生成装置 |
US7446780B1 (en) * | 2003-08-29 | 2008-11-04 | Nvidia Corporation | Temporal antialiasing in a multisampling graphics pipeline |
JP2006337771A (ja) | 2005-06-02 | 2006-12-14 | Sony Corp | 画像処理装置、その方法、そのプログラムおよび記録媒体 |
JP6049452B2 (ja) * | 2012-12-29 | 2016-12-21 | キヤノン株式会社 | 情報表示装置、情報表示システム、それらの制御方法、及びプログラム |
US9665171B1 (en) * | 2013-03-04 | 2017-05-30 | Tobii Ab | Gaze and saccade based graphical manipulation |
JP6684559B2 (ja) * | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
US10721456B2 (en) * | 2016-06-08 | 2020-07-21 | Sony Interactive Entertainment Inc. | Image generation apparatus and image generation method |
KR102650215B1 (ko) * | 2016-10-18 | 2024-03-21 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP6849430B2 (ja) * | 2016-12-27 | 2021-03-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7008220B2 (ja) * | 2018-06-21 | 2022-01-25 | パナソニックIpマネジメント株式会社 | 映像表示システム、映像表示方法、プログラム、及び移動体 |
-
2018
- 2018-01-30 WO PCT/JP2018/003040 patent/WO2019150450A1/ja active Application Filing
- 2018-01-30 US US16/960,991 patent/US11450036B2/en active Active
- 2018-01-30 JP JP2019568443A patent/JP6849826B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003115056A (ja) * | 1999-12-16 | 2003-04-18 | Sega Corp | 画像生成方法及びこれを用いた画像生成装置 |
JP2008502978A (ja) * | 2004-06-16 | 2008-01-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | フォワード・テクスチャ・マッピング3dグラフィックス・システム |
JP2007041196A (ja) * | 2005-08-02 | 2007-02-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
JP2017091483A (ja) * | 2015-11-17 | 2017-05-25 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、情報処理装置、および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200342636A1 (en) | 2020-10-29 |
JP6849826B2 (ja) | 2021-03-31 |
US11450036B2 (en) | 2022-09-20 |
WO2019150450A1 (ja) | 2019-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10739849B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
KR102641272B1 (ko) | 재투영된 프레임을 위한 모션 스무딩 | |
US10775886B2 (en) | Reducing rendering computation and power consumption by detecting saccades and blinks | |
US10720128B2 (en) | Real-time user adaptive foveated rendering | |
US11314325B2 (en) | Eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
US11704768B2 (en) | Temporal supersampling for foveated rendering systems | |
US10853918B2 (en) | Foveal adaptation of temporal anti-aliasing | |
JP6849826B2 (ja) | 画像処理装置および表示画像生成方法 | |
CN111292236B (zh) | 一种减少中央凹注视渲染中的混叠伪像的方法和计算系统 | |
JP7150134B2 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
US11308685B2 (en) | Rendering computer-generated reality text | |
CN110300994A (zh) | 图像处理装置、图像处理方法以及图像系统 | |
KR20210029244A (ko) | 동적 패널 마스킹 | |
WO2011135052A1 (en) | Apparent display resolution enhancement for moving images | |
JPWO2020170454A1 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
JP7142762B2 (ja) | 表示装置および画像表示方法 | |
JP6965374B2 (ja) | 画像処理装置および表示画像生成方法 | |
KR102705789B1 (ko) | 컴퓨터 생성 현실 텍스트의 렌더링 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6849826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |