JP5208767B2 - オンザフライハードウェア画像纏め - Google Patents

Description

本発明は画像纏め（interdigitation：インタディジテーション）機能のある表示装置、とりわけ画像纏め処理により立体視用画像を生成する投映装置用コンピュータアーキテクチャに関する。

裸眼立体視ディスプレイはその使用者即ち看者が偏光眼鏡等の鑑賞器具を使用する必要がない立体画像表示装置である。例えば細長くて薄いレンズ即ちレンチキュールのアレイを複数の視点、例えば右目及び左目で同時に眺めると、右目に発する視線と左目に発する視線は別々のレンチキュール上に合焦する。ＳｔｅｒｅｏＧｒａｐｈｉｃｓ社のＳｙｎｔｈａＧｒａｍ（商標；以下省略）ディスプレイはこうしたレンチキュールを利用する裸眼立体視ディスプレイであり、同じ場面を別々の方向から捉えた複数個の原画像（パースペクティブビュー）を表示させることによって看者にリアルな立体視体験を提供する。即ち、一対の像が看者の目に映り、看者の脳裏で立体画像を形成するよう、複数の像を表示させる。

ＳｙｎｔｈａＧｒａｍディスプレイは、ディジタルフラットパネルカラーディスプレイ（例えば液晶ディスプレイやプラズマディスプレイ）の画面上に上掲のアレイ即ちレンチキュラレンズアレイを正確・精密に配置しておき、画面上の画像に組み込まれている複数個のパースペクティブビューをそのレンチキュラレンズアレイによって光学的に相互分離させる仕組みである。複数個のパースペクティブビューを纏めて表示画像を生成する処理は画像纏め処理例えばＩｎｔｅｒｚｉｇｇｉｎｇ（商標；以下省略）と呼ばれている。この処理では、レンチキュラレンズアレイの物理特性及び対画面位置関係に基づき、パースペクティブビューから表示画像へとその成分値をサブピクセル単位で精密にマッピングする。個々のパースペクティブビューに対しては、そのデータフォーマットがディジタルフォーマットであること、その構図、位置、バランス及び視差が適正であること、並びにその縦横ピクセル数が他のビューと揃っていることが求められる。難しい計算を伴うけれども、パースペクティブビュー群の生成は様々な写真技術やＣＧ（computer graphics）ソフトウェアで行うことができる。

表示画像内ピクセルは複数個のサブピクセルを隣り合わせに並べた構成である。通常、これらのサブピクセルは、レッド（Ｒ）−グリーン（Ｇ）−ブルー（Ｂ）パターンで配置される。サブピクセル間には各サブピクセルを取り巻く僅かな隙間があるけれども、これはほとんど無視することができる。画像纏め処理とは、パースペクティブビュー内サブピクセルをこうした表示画像内サブピクセルに対し精密乃至正確に割り当てるマッピング処理であり、専らレンチキュラレンズアレイのシート（レンチキュラシート）のサイズ及び物理特性に基づき行われる。当該物理特性としては、例えばレンチキュラシート上におけるレンチキュール密度（又は対応するレンチキュールピッチ）及び表示画面に対するレンチキュールの傾き角を使用する。また、画像纏め処理の際には、画面解像度（ピクセル数）が例えば１６００×１２００で一定と仮定する。

なお、ＳｙｎｔｈａＧｒａｍディスプレイについては、「レンチキュラ立体像視野角拡張方法及び装置」(Method and Apparatus for Maximizing the Viewing Zone of a Lenticular Stereogram)と題する特許文献１、「合成パノラマグラム」(Synthetic Panoramagram)と題する特許文献２、「裸眼立体視スクリーン」(Autostereoscopic Screen)と題する特許文献３、並びに「裸眼立体視用ピクセル配置方法」(Autostereoscopic Pixel Arrangement Techniques)と題する特許文献４に、より詳細な説明がある。この参照を以てこれらの文献の内容を本願に繰り入れることとする。

米国特許第６５１９０８８号明細書 米国特許第６３６６２８１号明細書 米国特許出願公開第２００２／００３６８２５号明細書 米国特許出願公開第２００２／００１１９６９号明細書 米国特許出願公開第２００６／００１２８７８号明細書 Feldman et al., "Interactive 2D to 3D Stereoscopic Image Synthesis"

しかしながら、ＳｙｎｔｈａＧｒａｍディスプレイ等の裸眼立体視ディスプレイには、多量のデータを正確且つ迅速に処理することが難しく、画像鑑賞の醍醐味が損なわれやすいという問題がある。これは、ピクセル情報が正確に再生されなかったり画像の動きにもたつきがあったりすると、画像が決定的に味気なくなるからである。

本発明の目的の一つは、既存のシステムに存する種々の問題点を緩和乃至解消できより優れた性能を提供可能なアーキテクチャ、とりわけ画像纏め処理対象データを迅速且つ正確に提供できまた前掲の環境で稼働させ可能なものを、提供することにある。

本発明の一実施形態は、複数個のサブピクセルからなるピクセルを複数個有し各サブピクセルが互いに異なる色成分を表す画面上に、原画像を裸眼立体視可能に表示させる画像纏め方法であって、原画像のピクセル毎にテキスチャメモリ内座標値を生成するステップと、そのテキスチャメモリ内座標値を画面上でのピクセル位置に換算するステップと、画面上でのピクセル位置に基づき原画像番号を求めることによって色成分の採取元になる原画像を特定するステップと、その看取方向が互いに異なる複数個の原画像から裸眼立体視用画像へと、原画像番号に基づき採取元原画像内の相対応するピクセル位置をマッピングするステップと、各採取元原画像上の相対応するピクセル位置から色成分を採取して表示画像内ピクセルの色を決めるステップと、を有する。

以下、本発明の好適な実施形態に関し別紙図面を参照して説明する。本件技術分野にて習熟を積まれた方々（いわゆる当業者）であれば、別紙図面及びそれに基づく説明から、本発明の有用性について理解することができよう。

本発明で立体視用の画像纏め処理に使用しているアーキテクチャは、そのシームレス性が高く、所与条件の変化に対しオンザフライ的に即ち延引なしに対応できるアーキテクチャである。生成される立体視用画像（纏め画像）は連続変数たる対看者距離、動作温度、対画面位置関係等の諸条件に相応しい画像になる。

更に、画像纏め処理の計算がピクセルレベルであるので、グラフィクスハードウェアのピクセルシェーダ機能を利用し短時間で済ませることができ、リアルタイム裸眼立体視表示にひときわ適している。また、ユーザからの支持で又はソフトウェアからの要求で画像纏め処理用パラメタ（纏めパラメタ）を変化させることができる。例えば、纏め画像リアルタイム表示の際にレンチキュール密度の値を随時調整することができる。

本アーキテクチャは例えば一体型ディスプレイで使用される。ここでいう一体型ディスプレイはその表示部（モニタ）と画像纏め装置が同一筐体内に収容されたディスプレイのことである。この種のディスプレイに対しては、纏めパラメタのパラメタのうち最低限必要なものは看者が予め指定しておくことができる。例えば、最適看取距離パラメタ、周囲温度パラメタ、製造時配置誤差修正用位置調整パラメタ等である。

纏めパラメタはより高度な形態で入力することもできる。例えば、そのディスプレイに装備されている一群の温度センサを使用しディスプレイ全表面の平均温度を間断なく取り込んでもよいし、搭載されている動き検知システム（特にその距離センサやレンジファインダ）を利用し周辺の看者達までの最尤平均距離を求めてもよい。また、ノブ等の操作子を設け、そのダイアル操作等でそのディスプレイ用の最適看取距離の入力を受ける用にしてもよい。

データ入力に使用できるフォーマットも多様である。即ち、ＳｙｎｔｈａＧｒａｍディスプレイはナインタイルフォーマットに特化されているが、使用するパースペクティブビューの個数がそれとは異なるフォーマットも使用できる。また、１個のパースペクティブビューと深さマップ情報との組合せで構成されたフォーマットでデータを入力し、そのパースペクティブビューを深さマップ情報に基づき加工して複数個のパースペクティブビューをオンザフライ生成するようにしてもよい。

本アーキテクチャでは、入力された情報に基づき入力された情報をオンザフライ的に画像纏め処理するので、入力変化に即応した正確性の高い纏め画像を生成することができる。

また、本アーキテクチャにてＧＰＵ(graphics processing unit)を画像纏め処理用ハードウェアプラットフォームとして使用しているのは、それによってこの画像纏め処理を効率的に実行できるからである。他種カスタムハードウェア例えばプログラマブルＦＧＰＡアーキテクチャを使用し、ＭＰＥＧ圧縮済ナインタイル動画データを処理するようにしてもよい。

裸眼立体視用画像を組成する個々のパースペクティブビューはその立体視用画像より低解像度でよい。本アーキテクチャでは、従来のＳｙｎｔｈａＧｒａｍディスプレイと同じく９個の（又は別の個数の）パースペクティブビューを使用するので、その縦横各解像度をそれぞれ纏め画像の縦横各解像度の１／３にし画像細部の損失を最小限に抑えることができる。このように、ＳｙｎｔｈａＧｒａｍディスプレイ内の単一バッファに９個のパースペクティブビューを収めるフォーマットのことを、ナインタイルフォーマットと呼ぶ。

更に、各パースペクティブビューのアスペクト比と、立体視用画像のそれとが、異なっていてもよい。また、パースペクティブビュー間でアスペクト比が異なっていても、スケーリングやセンタリング等の処理を施した上で画像纏め処理を実行することで、相応の纏め画像を生成することができる。

ナインタイルフォーマットで保存されたデータ（以下「ナインタイルデータ」）はＪＰＥＧ、ＭＰＥＧ等の圧縮／展開規格乃至コーデックで圧縮することができる。即ち、裸眼立体視表示用の画像コンテンツをこうした規格で圧縮しても特に支障がない。これは、画像纏め処理では、Ｒ，Ｇ，Ｂ各色成分を互いに別々のパースペクティブビューから採取して組み合わせ、立体視用画像の各ピクセルを生成するからである。即ち、もともと空間コヒーレンシに欠けているので、そうしたブロック単位圧縮方式のコーデックの使用でマッピングの精密性が損なわれてもかまわないからである。

更に、ナインタイルデータを圧縮することによって作成から表示までのデータ処理速度を高めることができる。ナインタイルデータをディジタル記録媒体例えばＣＤ、ＤＶＤ等のディスク状媒体に保存し、またその媒体上から再生する際等には、データレートが高いと再生画像の動きが滑らかになり、またデータ転送がより迅速になる。これは、１台のコンピュータ上で実行する場合でも、またインターネットを介したストリーム配信で実行する場合でも変わりはない。

また、ナインタイルフォーマットであれば、使用するディスプレイの特性に対し不感な形態で、画像コンテンツを保持することができる。まず、ディスプレイ例えばＳｙｎｔｈａＧｒａｍディスプレイの特性は、使用するレンチキュラシートの光学特性を表す一組のユニークなパラメタで表現できる。例えばレンチキュール密度（又はそれに反比例するレンチキュールピッチ）やＷｉｎｎｅｋ角である。本願では、レンチキュール長軸と直交する方向における単位距離当たりレンチキュール個数のことをレンチキュール密度と呼び、レンチキュール長軸の延長線と画面縦縁との交差角度のことをＷｉｎｎｅｋ角と呼ぶ。レンチキュール長軸とは、レンチキュールの湾曲面が他のレンチキュールと接触する点を結んだ線即ちレンチキュラ同士の境界線のことである。

従って、表示に相応しい纏め画像を得るには、そのディスプレイに係るパラメタ値を使用して画像纏め処理例えばＩｎｔｅｒｚｉｇｇｉｎｇすればよい。特に、パースペクティブビュー群をナインファイルフォーマットで中間的に保存し、しかる後にＩｎｔｅｒｚｉｇｇｉｎｇするようにするとよい。ナインタイルデータをＩｎｔｅｒｚｉｇｇｉｎｇした段階でディスプレイ種別や看取条件が反映されるので、保存時にディスプレイ種別等を考慮する必要がない。

また、ＳｙｎｔｈａＧｒａｍディスプレイ等のディスプレイでサポートできる立体視距離（纏め画像が好適に見える距離）を多くするには、立体視距離に対して不感なナインタイルデータを生成し、しかる後ユニークなパラメタ（群）によって立体視距離を与えてＩｎｔｅｒｚｉｇｇｉｎｇすればよい。

同じく画像纏め処理に関わる量である動作温度に応じ画像纏め処理の内容を調整することもできるので、動作温度が変化しても看者が享受する裸眼立体視体験はあまり影響されない。

ナインタイルデータに対する画像纏め処理には次に示すようにグラフィクスハードウェアを利用することができる。まず、先の参照を以てその内容を本願に繰り入れた特許文献３及び４で概説されているように、サブピクセル単位での画像纏め処理は、既存のグラフィクスハードウェアにも搭載されているＧＰＵ上で、そのためのプログラムを実行することにより実現することができる。ＧＰＵが搭載されるボード上には、テキスチャブロック及び図形データの保持、ライティング処理及びテキスチャ処理に関わる演算、並びに標準的なパイプライン式グラフィクス変換を実行できるよう、十分な容量のメモリが搭載されるものである。また、ＧＰＵが搭載されるボードはプログラマブルであり、アセンブリ又はそれに類する言語で作成したプログラムに図形頂点毎の計算（バーテクスシェーダの場合）やピクセル毎の計算（ピクセルシェーダの場合）を実行することができる。ＤｉｒｅｃｔＸ（登録商標）、ＯｐｅｎＧＬ（登録商標）等の高級グラフィクス言語を拡張し、その種のグラフィクスボード機能をアプリケーションレベルでサポートすることもできる。画像纏めアルゴリズムは複雑であるが、高級言語でもＣｇ、ＨＬＳＬ等といった新しい言語を使用すれば、アセンブラ等の低級言語によるコードなしで、当該アルゴリズムをグラフィクスボードに移植することができる。

本発明の一実施形態で画像纏め装置内ピクセルシェーディング部材として使用されるのは、ＧＰＵ上で実行されるピクセルシェーダプログラムである。ピクセルシェーダ（別名フラグメントシェーダ）は描画ピクセル毎に実行される短いプログラムであり、そのコードはアセンブラ又はそれに類する言語で作成される。ピクセルシェーダは複数のベクトルデータを一括処理できるよう、即ち単一ステップで全ピクセル、全サブピクセルの演算をこなせるよう、構成することができる。画像纏め処理の計算をピクセルレベルにしたのはそのためである。なお、後述するピクセルシェーダはフルスクリーン処理専用に作成されていて、ウィンドウ処理には使用できないが、ウィンドウ処理が可能なピクセルシェーダも問題なく作成することができる。

既存の画像纏め装置でも、画像纏めアルゴリズムをピクセルシェーダによって実行するのが通例である。その種の装置では、まず画像サブシステム内のテキスチャメモリに２個のブロックを確保し、確保したテキスチャメモリブロックのうち１個を使用して画像データを参照し、他の１個を使用してそのマッピング先を決定し、そして表示画面にぴったりはまるよう正規化されているクアッド図形１個（三角形２個）を描画することで、画像纏め処理を実行する。

即ち、この古典的なやり方では、１個目のテキスチャメモリブロック即ちビューテキスチャブロック内に、画像纏め処理に供すべき原画像をナインタイルフォーマットで保持する。ナインタイルデータ保持用バッファは、画面がどのようなサイズであっても同じでよい。

もう１個のテキスチャメモリブロック即ちマッピングテキスチャブロックは、画面サイズと等しいサイズのブロックであり、立体視用画像の各ピクセルにどのパースペクティブビューからマッピングすればよいかを規定する基準情報、即ちルックアップテーブルを保持する。但し、タイリングと呼ばれる手法を使用することで、マッピングテキスチャブロックのサイズを画面サイズより小さくすることができる。タイリングとは、画面が埋め尽くされるまで縦横にマッピングを繰り返す手法である。マッピングに使用するタイルのサイズは、マッピング先画面のサイズと、許容公差とから決められる。

画像纏め処理
一般化したモデルで表現すると、画像纏め処理とは、与えられたＮ個の原画像を纏めて１個の立体視用画像（纏め画像）を生成するプロセスのことである。原画像はピクセルの配列乃至格子であり、各ピクセルはＲ色強度を表すＲ色サブピクセル、Ｇ色強度を表すＧ色サブピクセル及びＢ色強度を表すＢ色サブピクセルから構成される。纏め画像は、Ｎ個の原画像から互いに別々の位置のピクセル又は互いに異なる基本色のサブピクセル（例えばフルカラーＲＧＢピクセル群のＲ，Ｇ又はＢ色サブピクセルのみ）を取り出し格子状に並べることで生成する。

Ｒ，Ｇ，Ｂ各色のサブピクセルを組にして使用するのはそれらの加法混色によってフラットパネルディスプレイの画面上に様々な色を発現させるためであり、種々の製品に具現している通りサブピクセル同士の位置関係には特に制限がない。従って、横並びに配置するのが通例ではあるが、三角形の頂点に配置する、縦積み、横積み等のモザイク状パターンで配置する等、Ｒ，Ｇ，Ｂ各色サブピクセルは様々に配置できる。これは、ピクセル配置が十分密でサブピクセル同士を区別することができない限り、配置に違いがあっても目には留まらないし気にもならないからである。肉眼にこうした光学不感性が備わっているため見た目のサブピクセル配置を様々に変化させうることと、レンチキュラシートを画面に対してある角度Φだけ傾けるＷｉｎｎｅｋ方式とを併せて利用すれば、表示解像度（ピクセル数）縦横比と画面アスペクト比の相違を補うことができる。ただ、表示解像度縦横比と画面アスペクト比の相違分をこの方式で広範囲に補うには、サブピクセル間隔（ドットピッチ）を十分小さくしなければならない。効果の程度も、あらまし、レンチキュールピッチに対するドットピッチの比率がどれだけ小さいかに依存している。

纏め画像を構成する（サブ）ピクセル即ち纏め先（サブ）ピクセルの値を求める上で懸案となる事項は、第１に当該纏め先（サブ）ピクセルの値の採取元になる原画像即ち採取元原画像の選定であり、第２に採取元原画像内（サブ）ピクセルのうち纏め先（サブ）ピクセルの値特定乃至値算出に使用する（サブ）ピクセル即ち導出基礎（サブ）ピクセルの選定である。前者は、その纏め先（サブ）ピクセルがその上のレンチキュールに対し画面上でどのような位置を占めるかによって決めればよく、後者は、纏め画像ピクセルマップに原画像データを案分マッピングすることによって決めればよい。

図１Ａに原画像の選び方を示す。図中、矢印１００６は表示画面１００２上における右目ビュー方向を、矢印１００７は左目ビュー方向を、それぞれ表している。表示画面１００２の上には、当該表示画面１００２と直に面するようレンチキュール１００１が配置されている。レンチキュール１００１はレンチキュラシートを構成するレンチキュールのうちの１本であり、その直下における（サブ）ピクセルの位置はＬで表されている。位置Ｌは、その中心がレンチキュール１００１の左縁上にある（サブ）ピクセルの中心位置１００３がＬ＝０．０、その中心がレンチキュール１００１の右縁上にある（サブ）ピクセルの中心位置１００４がＬ＝１．０、その中心がレンチキュール１００１の中心線上にある（サブ）ピクセルの中心位置１００５がＬ＝０．５になるよう正規化されている。この場合、Ｎ個の原画像のうち採取元原画像とするに相応しい成分画像Ｃは、次の式
Ｃ＝（１−Ｌ）×（Ｎ−１） （１）
で表される。番号Ｃは、Ｃ＝１即ち最初の原画像が左目ビューの左端にある位置で使用され、Ｃ＝Ｎ即ち最後の原画像が右目ビューの右端にある位置で使用されるよう、設定されている。例えば、レンチキュール１００１の左縁から右に向かいレンチキュール幅／３離れた位置にその中心位置があるサブピクセルの値を、２１個の原画像（即ちＮ＝２１）に基づき決める場合、Ｃ＝（１−０．３３３）×（２１−１）＝１３．３３に最も近い整数が１３であるので、そのサブピクセル値の採取元原画像は１３番目の原画像になる。

原画像の個数Ｎが比較的少ない場合は、複数個の原画像を採取元原画像として選定し、それらの画像上の導出基礎（サブ）ピクセル値を平均するのが有益である。その際には、まず、レンチキュール直下における（サブ）ピクセルの中心位置Ｌから
Ｌ１＝Ｌ−Ｒ／２ （２）
Ｌ２＝Ｌ＋Ｒ／２ （３）
を求める。これらの式中、Ｒはレンチキュール幅を１として表した（サブ）ピクセル幅であるが、実際の値より小さめ又は大きめの値にすることもできる。Ｒを実際の幅より小さくすれば、（サブ）ピクセル値の平均化が制限されるので偽像の発生が少なくなる。実際の幅を使用した場合、（サブ）ピクセル値の平均化の影響で纏め画像にシャープネスの劣化が生じることがあるが、Ｒを小さめにすればそれも発生しにくくなる。なお、Ｌ１が０．０未満になるときは１を加算して０．０以上にし、Ｌ２が１．０超になるときは１を減じて１．０以下にする。

その後は、
Ｃ１＝（１−Ｌ１）×（Ｎ−１） （４）
Ｃ２＝（１−Ｌ２）×（Ｎ−１） （５）
を計算する。例えば、レンチキュール１００１の左縁から右に向かいレンチキュール幅／３離れた位置にその中心位置があるサブピクセルの値を、２１個の原画像（即ちＮ＝２１）に基づき決める場合、サブピクセル幅がレンチキュール幅の１／１０であるなら、Ｌ＝０．３３３、Ｒ＝０．１、Ｌ１＝０．３３３−０．０５、Ｌ２＝０．３３３＋０．０５、Ｃ１＝（ｌ−０．２８３）×２０＝１４．３３、Ｃ２＝（１−０．３８３）×２０＝１２．３３となるので、Ｃ１〜Ｃ２の範囲は１４．３３〜１２．３３となる。この範囲Ｃ１〜Ｃ２は加重平均すべき（サブ）ピクセル値の採取元原画像の範囲を示しているので、この場合ならその範囲Ｃ１〜Ｃ２に属する第１４、第１３及び第１２の原画像を採取元原画像として選定する。この例で加重平均に使用すべき案分荷重は、
第１２原画像への荷重：
（１２．５−１２．３３）／（１４．３３−１２．３３）＝０．０８５ （６）
第１３原画像への荷重：
（１３．５−１２．５ ）／（１４．３３−１２．３３）＝０．５００ （７）
第１４原画像への荷重：
（１４．３３−１３．５）／（１４．３３−１２．３３）＝０．４１５ （８）
となる。

採取元原画像が決まったら、求めたい纏め先（サブ）ピクセルを単純に各採取元原画像上にマッピングすることによって、各採取元原画像内の（サブ）ピクセルから導出基礎（サブ）ピクセルを選定する。例えば前掲の計算で第１３原画像が選ばれている場合、その画像の座標系上に、最終的に得たい纏め画像における纏め先（サブ）ピクセルの位置をマッピングすることによって、第１３原画像中のどの（サブ）ピクセル値を採用するかを決めればよい。大抵の場合、マッピング先原画像から最も適する（サブ）ピクセルを選ぶだけでよいが、その代わりに、許容位置範囲に属する（サブ）ピクセル値同士を加重平均して求めてもよい。

原画像のサイズは用途次第であり、最終的に得るべき纏め画像と等しくすることもあれば、高速計算が必要なリアルタイム表示時等には、前述の通り当該纏め画像より小さくすることもある。いずれにせよ、ここでのピクセルマッピングは採取元原画像から纏め画像への案分マッピングにより実行できる。

例えば、纏め画像が横方向４８００サブピクセル（横方向表示解像度（１６００ピクセル）×１ピクセル当たりサブピクセル３個（ＲＧＢ各色１個））、縦方向１０２４サブピクセルの格子であり、各原画像の解像度が纏め画像のそれより低く横方向５２０ピクセル×縦方向３４０ピクセルであるとする。この場合には、纏め画像内サブピクセルのうち位置（Ｘ，Ｙ）にあるサブピクセルの値を求めるため、原画像内ピクセルのうち位置（５２０Ｘ／４８００，３４０Ｙ／１０２４）にあるピクセルの値を導出基礎ピクセル値として選定すればよい。なお、どの例でも左下のピクセルを（０，０）としている。

なお、上掲の手法は、レンチキュールが画面上におけるピクセルの列に対して平行か、それとも傾いているかによらず、使用することができる。レンチキュールが傾いていない場合と傾いている場合の違いはただ一つ、レンチキュール直下における（サブ）ピクセルの横方向位置Ｌを正しく計算するのに、レンチキュールが傾いている場合はその傾き角を算入しなければならないということだけである。

そして、画像纏め処理でＲ色，Ｇ色又はＢ色のサブピクセルのみを導出する場合は、その色のサブピクセルだけを原画像から採取する。

非ＧＰＵ実施形態
マッピングにテキスチャメモリを利用するこうした手法は、ＧＰＵによる画像纏め処理に相応しい手法として認知されている。ただ、裸眼立体視ディスプレイの高解像度化に伴い、マッピングテキスチャブロックのシアサイズ肥大が問題になり始めている。また、ＧＰＵ内の記憶空間が限られているため、グラフィクスボード上のメモリ（オンボードメモリ）内に大量の情報を記憶させねばならないとなると、性能劣化即ちマッピング及び纏め速度の低下が生じてしまう。更に、今日のグラフィクスボード上で確保できるテキスチャメモリブロックは原則として２の冪乗サイズのブロックだけであり、使用できるメモリ量を増やすにはブロックサイズを２の冪乗ペースで増やす必要がある。例えば、その画面解像度が２５６０×１６００のディスプレイを新たにサポートするには、マッピングに４０９６×２０４８×３（２４ＭＢ）のテキスチャメモリブロックが必要である。このメモリブロックは記憶空間を費消するフレーム別描画にも使用されるので、他種グラフィクス処理例えばシーンジョミトリ及びアピアランス処理にテキスチャメモリブロックを割り当てられなくなる可能性がある。

更に、画像纏め処理におけるマッピング計算では、種々の光学的条件及び看取条件を反映させ、纏めるべきビューの個数に依拠し、更にレンチキュラ密度（又はその逆数のレンチキュラピッチ）及び傾き角を勘案し、そして必要ならばマッピング修正によって裸眼立体視ディスプレイに対する最適な立体視距離を設定する。マッピング計算では、これらの諸条件を踏まえ画面上の各サブピクセルで表示させるべきパースペクティブビューを選定するが、最適化Ｃ＋＋等で作成された既存のマップ生成用ソフトウェアでは、当代のＣＰＵ上で実行してもマップ計算（ビューマップ計算）に３０秒もかかることがある。

そして、既存のソフトウェアをＣＰＵ上で実行するアーキテクチャでは、新規なマップを計算するだけでなくそれをグラフィクスボードに転送することも必要であるので、画像纏め処理に関わる諸条件をリアルタイム修正するのは困難である。

これに対し、本発明の実施形態ではパースペクティブビュー群に基づく画像纏め処理により、立体視用画像をリアルタイム生成でき、その処理の特性を即時調整でき、そしてその処理によってディスプレイとそれに被着しているレンチキュラシートと間の物理的関係を反映させることができる。図１Ｂにディジタルディスプレイ１０２の画面を示す。その一部である表示エリア１０１は複数本の走査線１０７によって形成されており、各走査線１０７上には一群のピクセル１０３が精密に配置されており、各ピクセル１０３は互いに別々の色を表す複数個のサブピクセル１０４から構成されている。また、その表示エリア１０１上にはほぼ同じ寸法のレンチキュラシート１０５が精密に配置、固着されており、そのシート１０５上には傾きのある一群のレンチキュール１０６が形成されている。

どのレンチキュール１０６も、走査線１０７との交差個所それぞれで、サブピクセル１０４を非整数個ずつ覆っている。レンチキュール１０６には、その下にあるサブピクセル１０４から発せられた光を部位毎に異なる角度に屈折させて看者に届けるという光学特性がある。この現象はレンチキュール１０６毎、走査線１０７毎に生じる。そして、シート１０５の構成は、このレンチキュール１０６の単位幅当たり本数即ちレンチキュール密度と、古典的な風景写真でいえば縦縁に当たる辺に対するレンチキュール１０６の回転量即ち傾き角Φ１０８とによって表すことができる。従って、これらレンチキュール密度及び傾き角Φ１０８を適宜設定し、各サブピクセルに採取元パースペクティブビューを関連づける（マッピングする）画像纏め処理を実行することにより、看者が正しく看取できるよう各パースペクティブビューを空間投映させることができる。看者の左目と右目には互いに異なるパースペクティブビューが映り、看者の脳裏には立体画像が浮かぶ。

図２に、画像纏め処理におけるマッピング処理の内容を前掲のものとは別の形態で示す。図中、表示エリア２０１上には複数本のレンチキュールからなるレンチキュラレンズアレイ２０２があり、各レンチキュールはその幅方向に沿って複数個のセクション２０３に区分されている。セクション２０３の個数は投映したいビューの個数で決まり、どのレンチキュールでも同じ個数である。各セクション２０３に付されている原画像番号（view number）２０４は、レンチキュールに屈折特性があるため、アレイ２０２下におけるサブピクセル２０６の位置に対し逆順になっている。従って、表示エリア２０１内でサブピクセル２０６を指定することで、そのサブピクセル２０６の中心２０７の直上にあるセクション２０３を例外なく特定することができるので、各サブピクセルにパースペクティブビューを関連づける処理を原画像番号を使用して実行することができる。なお、この例ではその看取方向が異なる９個のパースペクティブビューが投映されるが、投映するパースペクティブビューの個数は９個以外でもよい。

図３にメモリ内ビュー配置の例としてナインタイル配置を示す。この配置は、その看取方向が異なる複数個のビューを、例えばコンピュータメモリ内の１個のバッファ上に互いに重なり合わないよう統合できる配置である。本実施形態で使用できる配置形態は他にも多々考えられるが、標準的なビューの個数が９個であることに鑑み、ここでは単一のバッファ３０１を９個のタイル３０２〜３１０へと格子状に区分するナインタイル配置を使用している。各タイル３０２〜３１０は、その母体たるナインタイルバッファ３０１に対し縦１／３且つ横１／３のサイズであり、バッファ３０１のそれとほぼ等しいアスペクト比を有している。また、タイル３０２〜３１０の各辺をピクセルサイズの整数倍にするとカラム及びローに余りが出ることがあり、その場合、バッファ３０１の右方空間３１１及び下方空間３１２にある何本かのカラム及びローは使用しない。そして、各パースペクティブビューのデータは、左上のタイル３０２に左端のパースペクティブビュー、中央のタイル３０６に中央のパースペクティブビュー、右下のタイル３１０に右端のパースペクティブビュー、という要領で収める。なお、本願では９個のパースペクティブビューに基づき裸眼立体視用画像を表示するディスプレイを例に説明を行うが、使用するパースペクティブビューの個数やその配置は別の個数乃至配置でもよい。いわゆる当業者なら理解できるであろう。同様に、１個の平面ビュー及び深さマップ情報で立体視用コンテンツを記述するフォーマットを使用する場合にも、当該平面ビューから複数のパースペクティブビューを合成する処理を上掲のプロセスに付加し、合成したパースペクティブビューを上記の如く配置することができる。

ピクセルシェーディング
ハードウェアベースで画像纏め処理を実行する実施形態では、昨今のグラフィクスボードに備わる優れた機能、とりわけピクセルシェーディング（別名フラグメントシェーディング）機能を利用し、画面上のピクセル毎に同一のプログラム即ちピクセルシェーダを実行する。このピクセルシェーダを使用するに当たっては、まず、グラフィクスボード上のメモリのうち本来はテキスチャデータ記憶用のブロック即ちテキスチャメモリブロックを１個、ナインタイルバッファの保持に割り当てる。従来は、ＧＰＵにてテキスチャメモリブロックを使用する場合２の冪乗個単位でブロックの割当を受けねばならなかったが、昨今のグラフィクスボードではそうしたルールを使用していないので、こうした割当が可能である。なお、使用するテキスチャメモリブロックには、少なくともナインタイルバッファを保持できるだけのサイズがなくてはならない。説明の都合上、ナインタイルバッファの縦横寸法（ピクセル数）と、それに割り当てられるテキスチャメモリブロックの縦横寸法とが、等しいものとする。また、ナインタイルバッファ内に不使用ロー及び不使用カラムが生じないよう、ナインタイルバッファの縦横寸法が３の倍数（縦横同一値）に設定されているものとする。

また、グラフィクスを表示させるには何らかの幾何図形をＧＰＵに与えて描画させねばならない。纏め画像処理に当たっては、そのための幾何図形としてごく簡単な図形を１個与え、シーン環境にてライティングなしで描画させる。テキスチャリングを伴うより高度な方式を用い、ナインタイルデータに基づき最終的な纏め画像を生成することもできる。

図４に示した図形は当該ごく単純な図形の例、即ち２個の三角形４０２及び４０３からなる正方形のクアッド図形４０１である。反時計回りに見ると、三角形４０２の頂点は４０４、４０５及び４０６の３個、三角形４０３の頂点は４０４、４０６及び４０７であり、そのうち４０４及び４０６は三角形４０２及び４０３によって共有されている。また、この図形４０１は、三次元図形を二次元表記するのに使用されいわゆる当業者には既知のＵＶマップ上で、テキスチャメモリブロック上における頂点間グラフィクスデータを表すＵＶテキスチャとして定義されている。従って、各頂点４０４〜４０７の座標値４０８〜４１１はＵＶテキスチャ座標値、即ちテキスチャメモリ内でのＵＶ座標値である。更に、これらの座標値４０８〜４１１は、順に（０．０，０．０）、（１．０，０．０）、（１．０，１．０）及び（０．０，１．０）という値にする。

このように０〜１の範囲内にマッピングするのは、ピクセルシェーダで処理されるピクセル位置が、正規化されたピクセル位置になるようにするためである。このマッピングに加え、表示画面にぴったりはまるよう図形４０１が精密にスケーリングされているので、画面上における各ピクセル位置をピクセルシェーダで求めることが可能である。また、ＧＰＵのハードウェアによって正方形のクアッド図形が変形されたら、バーテクスシェーダは各ピクセルのＵＶ（正規化）テキスチャメモリ内座標値をピクセルシェーダに与える。ピクセルシェーダは、それに既知の画面横寸及び画面縦寸を乗じて画面上での座標値に変換する。

ピクセルシェーダでは、原則として、この処理をどのピクセルについても分け隔てなく実行する。その際ピクセルシェーダに入力されるのは、変形済クアッド図形におけるテキスチャメモリ内座標値、テキスチャメモリ上のナインタイルバッファの内容即ちナインタイルテキスチャ、並びに画面の横寸及び縦寸やレンチキュラレンズアレイの光学特性を表す一群の入力パラメタである。レンチキュラレンズアレイの光学特性を表すパラメタとしては、画面に対するレンチキュラレンズアレイの傾き角又はその正接値と、レンチキュラ密度（例えばレンチキュラの１セクション当たりピクセル数）又はレンチキュラピッチとを入力する。また、ピクセルシェーダから出力されるのはこのピクセルの色（ＲＧＢ値）である。

図５にピクセルシェーダの動作を示す。ピクセルシェーダは、表示画面５０４をくまなく覆うよう比例スケーリングされている描画対象図形即ちクアッド図形５０３をラスタ化処理し、各ピクセル５０１の位置を表すテキスチャメモリ内座標値（Ｕ，Ｖ）５０２即ちＵＶテキスチャ座標値を求める。この座標値５０２の値域はＵ座標が０．０〜１．０、Ｖ座標が０．０〜１．０の範囲である。ピクセルシェーダは、その座標値５０２の他、画面横寸５０７及び画面縦寸５０８といった入力パラメタに基づき計算５０５を行い、画面上でのピクセル位置（Ｘ，Ｙ）５０６を求める。

ピクセルシェーダは、画面上ピクセル位置５０６の他、レンチキュラレンズアレイにおける傾き角正接値５１０及びレンチキュール密度５１１を用いて更なる計算５０９を行い、Ｒ，Ｇ，Ｂ各色サブピクセル成分の採取元を表す三通りの原画像番号５１２を求める。この計算５０９は図２を参照して説明したビュー計算手法によって行う。

ピクセルシェーダは、それら三通りの原画像番号５１２に従いナインタイルテキスチャ５１３から３個のタイル５１４〜５１６を選択し、更に座標値５０２に基づき案分マッピングを実行することにより、それらタイル５１４〜５１６各々から相応のピクセル位置５１７〜５１９を探し出す。ピクセルシェーダは、各位置５１７〜５１９からサブピクセルを一色ずつ採取し採取したサブピクセル５２０〜５２２を組み合わせることにより、画面上ピクセルの最終的な（ＲＧＢ）出力色５２３を決定する。サブピクセルを一色ずつ採取して纏め画像を生成するには、例えば、纏め画像内の狙ったピクセルに取り出すべきピクセル（例えばＲ色のピクセル）についてピクセルシェーダが評価計算を行い、対応する色のサブピクセル（例えばＲ色サブピクセル５２０）を採取する、という手法を使用する。

また、タイルをユニークに選択する必要はない。ＲＧＢ計三色のサブピクセルのうち２個を同一のパースペクティブビューから採取してもよい。このアルゴリズムをここで述べた配置即ちナインタイル配置以外のタイル配置に拡張してもよい。その際には当該非ナインタイル配置をカバーするよう二段階目の計算５０９に修正を施する。格子状であれば、新たなタイル配置も横方向タイル個数ＶＨ及び縦方向タイル個数ＶＶで規定できる。なお、ナインタイル配置の場合ＶＨ＝３、ＶＶ＝３である。

更に、このようにピクセルシェーディングによって画像纏め処理を行う実施形態では、シャープニング処理をリアルタイムに実行することができる。例えば、画像纏め処理後の第２パスレンダリングとしてシャープニング処理を実行することで纏め画像の質を更に高めることができる。シャープニング処理に使用するフィルタ即ちシャープニングフィルタの荷重は、シャープニングに関わる一種類のパラメタをインタラクティブ操作で設定するだけで、調整することができる。なお、画像纏めに使用する種々の入力パラメタ、即ちレンチキュールのピッチ又は密度、レンチキュールの傾き角並びに立体視距離も、同じ要領でインタラクティブに調整できる。こうした画像纏め後フィルタリング機能は、ピクセルシェーダのアーキテクチャにマルチパスレンダリング機能を付加することで実現できる。

シャープニングアルゴリズムはピクセルレベルで実現できるので、縦方向と横方向に対し別様に働かせることもできる。レンチキュール長軸は概ね縦方向に延びているので、別様に働かせることによって、縦横両方向に同様に働かせることによる光学特性差を防止することができる。

スケーリング法
ピクセルシェーダを用いた実施形態では、ＧＰＵによるタイルスケーリングをテキスチャスケーリングと同じ手段で効率的に実行することができる。これは効率的なやり方である。また、別のスケーリング法を用い、また横方向と縦方向でスケーリング計算の方法を変えることで、出力の質をより高めることもできる。

まず、タイルスケーリング、即ち原画像たるパースペクティブビューのサイズを表示画面のサイズに合わせるためのスケーリングは、上方スケーリング（拡大）になるのが普通である。例えば、その寸法が４２６ピクセル×３４１ピクセルのパースペクティブビューをナインタイル配置すると、その合計寸法は１２７８ピクセル×１０２３ピクセルになる。こうしたパースペクティブビューから１２８０ピクセル×１０２４ピクセルの纏め画像を生成するなら、縦横両方向共に、３よりやや大きなスケーリング係数を使用して各パースペクティブビューを上方スケーリング（拡大）するのが有効であろう。なお、パースペクティブビューをナインタイル配置したときの合計寸法が、生成したい纏め画像のサイズとこうして（ほぼ）一致することは珍しくない。

また、スケーリング係数は縦方向でも横方向でも同一の又は近い値になるのが普通であるが、レンチキュール長軸の向きが横方向よりもかなり縦方向に近いため縦方向と横方向とでスケーリング結果の知覚のされ方が違うことからすれば、横方向スケーリングに比べ縦方向スケーリングを尖鋭且つ精密に行うのが有益である。そのため、本実施形態では、横方向と縦方向とで働き方が違う拡張型スケーリングアルゴリズムを使用することにより、シャープネスの良好さを維持しつつ、画質を向上させ且つ纏め画像における偽像の発生を抑えている。

この拡張型スケーリングアルゴリズムは、まだ画像纏め処理に供されていないビューをスケーリングするに当たり、縦方向寸法については単純な選択スケーリング法を使用し、横方向寸法についてはリニアフィルタスケーリング法を使用する、というアルゴリズムである。それに続く画像纏め処理はどのような手法でもよい。縦方向は選択法、横方向はリニアフィルタ法というように縦横で異なるスケーリング方法を使用することで、裸眼立体視用画像例えばグラフィクスの質を高めることができる。

この拡張型スケーリングアルゴリズムについて説明するため、いま、纏め画像即ちアウトプットの寸法を（Ｗｏ，Ｈｏ）、原画像即ちソースたる各パースペクティブビューの寸法を（Ｗｓ，Ｈｓ）で表すこととする。横方向における各パースペクティブビューの所要拡大率はＷｏ／Ｗｓ、縦方向におけるそれはＨｏ／Ｈｓとなる。仮に単純な選択スケーリング法を用い任意のパースペクティブビューのビットマップを纏め画像のビットマップへとマッピングするなら、例えば次の式
ｘｓ＝（（ｘｏ＋０．５）／（Ｗｏ／Ｗｓ））の整数切り上げ値 （９）
ｙｓ＝（（ｙｏ＋０．５）／（Ｈｏ／Ｈｓ））の整数切り上げ値 （１０）
を使用すればよい。式中、（ｘｏ，ｙｏ）は纏め画像原点を基準にした導出対象サブピクセルのピクセル位置、（ｘｓ，ｙｓ）は相応するパースペクティブビューの原点を基準にしたそのパースペクティブビュー内サブピクセルのピクセル位置である。纏め画像内ピクセルの中心位置はその上にあるカラム状レンチキュールの下にあるものとしている。式（９）及び（１０）を使用する際には、纏め画像内導出対象サブピクセルのピクセル位置（ｘｏ，ｙｏ）を、それに適合するパースペクティブビュー内サブピクセルのピクセル位置（ｘｓ，ｙｓ）から求める。なお、同じピクセルに属する各サブピクセルは、通常、互いに別々のパースペクティブビュー即ちナインタイル配置内の別々の画像を画像データ採取元とするので、それらのサブピクセルは一般に別々のビューに由来するものとなる。

本実施形態における拡張型スケーリングアルゴリズムは、縦方向については単純な選択スケーリング法を実行し、横方向については式（９）及び（１０）を変形した式でリニアフィルタスケーリング法を実行するというものである。式の変形内容は、ｘｓの計算を
もしｘｓ ｍｏｄ ３＝０ならｘｓ２＝ｘｓ−１ （１１）
もしｘｓ ｍｏｄ ３＝１ならｘｓ２＝ｘｓ （１２）
もしｘｓ ｍｏｄ ３＝２ならｘｓ２＝ｘｓ＋１ （１３）
というように変形する、というものである。ｍｏｄは剰余関数、即ち整数による除算で生じる余りを求める剰余関数であり、例えばｘｓ ｍｏｄ ３＝０とはｘｓが３で割り切れるという意味である。また、ビットマップの縁に位置するピクセル即ち各ローの左端に位置するピクセル及び右端に位置するピクセルについては特別な扱いが必要であり、常にｘｓ２＝ｘｓとする。そして、この拡張型スケーリングアルゴリズムでは、ピクセル位置（ｘｏ，ｙｏ）にある纏め画像内導出対象サブピクセルの値を、次の式
（ｘｏ，ｙｏ）サブピクセル値＝｛（ｘｓ，ｙｓ）サブピクセル値×２＋
（ｘｓ２，ｙｓ２）サブピクセル値｝／３ （１４）
に従い二種類のサブピクセルの値を加重平均して求める。

ここに、通常のピクセルシェーダでは、テキスチャデータに対するフィルタリング結果を原則として１個ずつしか得ることができない。他方、上掲の拡張型スケーリングアルゴリズムは、最寄りの点に対するサンプリングにリニアフィルタリングを組み合わせたアルゴリズムである。従って、仮に通常のピクセルシェーダをＧＰＵ上で実行することによりこのアルゴリズムを実行することとすると、ピクセルシェーダによる計算が少々低効率になってしまう。さりとて、仮に別の即ちＧＰＵ以外のハードウェアを用い本アルゴリズムを実行したとしたら、本アルゴリズムを実行する際に他のコンポーネントにアドレスできなくなることがある。これを避けるには、ベクトルデータを処理できるようピクセルシェーダの構造を最適化すればよい。即ち、本実施形態では、好ましくは、Ｒ，Ｇ，Ｂ各色成分毎に別々のコードで計算を行うのではなく、それら三色の成分をそれ単独で一括表現できるベクトル変数を用い三色全てを同時に計算することができるよう、ピクセルシェーダを最適化する。

次のコード
float4 ninetilerow;
float4 ninetilecol;
int4 view;
・
・
ninetilerow=floor(view/3)+IN.texture0.y;
ninetilecol=floor(view%3)+IN.texture0.x;
は、最適化されたピクセルシェーダソフトウェアの一例である。このコードはＨＬＳＬ（高級シェーディング言語）で記述されている。変数view、ninetilerow及びninetilecolは各４個の成分を有しているが、そのうち使用するのはＲ，Ｇ，Ｂ計算用の各３個の成分であり、４個目の成分は計算に使用しない。変数IN.texture0はクアッド図形のＵＶテキスチャ座標値、.x及び.yはそのＸ及びＹ成分、演算子%は前出のｍｏｄ関数である。

なお、ピクセルシェーダの計算能力が低く、前掲の手法による横方向フィルタリングを施すことができない場合は、より単純なフィルタリングアルゴリズムに従い横方向に何らかの平均化乃至平滑化を施すとよい。例えば、原画像内で左右に並んでいるピクセル同士を部分的に混合させることによってスケーリングを実行し、ｘｓ ｍｏｄ ３の計算を省略するとよい。

他の考察点
本アーキテクチャによれば、纏め画像を種々の入力パラメタ、例えばレンチキュラレンズアレイにおけるレンチキュラの傾き角正接値及び密度若しくはその逆数たるピッチに基づき生成することができ、従って入力パラメタの値をその入力に前後して変化させることで纏め画像を変化させることができる。横寸／縦寸入力パラメタの値、ナインタイルテキスチャの内容並びにクアッド図形の寸法については、ピクセルシェーダのプログラムで無闇に変化させるべきでないが、レンチキュール密度やレンチキュールピッチについては、看者位置変化に応じて立体視距離、ディスプレイ温度、構成変更等をリアルタイムに変化させる上で、その頻繁な変更も有益である。昨今のコンピュータハードウェア及びグラフィクスボードなら、入力パラメタが例えば１秒当たり１００回以上という高頻度で変化してもそれに対処できる。入力パラメタの可変化によって、全体的な性能を良好に維持しつつ、画像纏め処理の即時性を高めることができる。

図６に、本発明の一実施形態に係る機能を提供可能なアーキテクチャを有するコンピュータ乃至計算装置の一例６０１を示す。計算／処理レベル６１１の処理はＣＰＵが、ＧＰＵ／グラフィクスレベル６１２の処理はＧＰＵが実行する。画像纏め、スケーリング及びシャープニングの各処理は、レベル６１１にて反復実行型のプログラムを実行することで実行することができる。また、それらの処理の一部又は全部をレベル６１２で実行することもできる。ＧＰＵはＣＰＵとディスプレイの間に介在し、ＣＰＵでは低速でしか実行できない処理をＣＰＵの代わりに実行する。本実施形態の処理のうち幾つか、例えばピクセルマスキングではこのＧＰＵの機能を利用する。また、そうした処理の一部又はほとんどをピクセルレベル６１３に移すことができる。それには、グラフィクスハードウェア又はＧＰＵのピクセルシェーディング機能を利用し、ピクセル関連乃至ピクセルレベルの計算が互いに並列に行われるよう、プログラマブルな処理パワーを各ピクセルに割り振ればよい。即ち、ＧＰＵ機能の一種であるピクセルシェーディング機能を利用することによって、各ピクセルに対しプログラマブルな処理パワーを割り振り、ピクセル毎の処理を並列に実行することができる。

このように、計算／処理レベル６１１とグラフィクスレベル６１２及びピクセルレベル６１３の間には判然とした違いがあり、図示の通りタイルスケーリング６０２及びテキスチャスケーリング６０３が計算／処理レベル６１１に属するのに対して、画像纏め６０４の計算要素はピクセルレベル６１３にまたそのサブシステム的処理機能たるピクセルシェーディング６０５はグラフィクスレベル６１２にそれぞれ属している。なお、画像纏めの計算を別のレベルで実行してもよいし、その一部をあるレベルでまた他の一部を他のレベルでというように複数のレベルで分担実行してもよい。

ピクセルシェーディングを利用するメリットは、グラフィクスハードウェアの機能のうちピクセルベースの計算をプログラムに従い実行する機能を使用することで、処理速度が高まることにある。処理速度が高いことは、ユーザ入力をリアルタイムに受け取らねばならない用途でとりわけ有益である。更に、画像纏め処理をピクセルベースで行うことによって、レンチキュール密度やレンチキュールピッチの散発的乃至継続的変化等、入力パラメタ値の変化に対しごく短時間で応答し、立体視距離、ディスプレイ温度等を変化させることができる。

また、横方向スケーリングと縦方向スケーリングに互いに別々のスケーリングアルゴリズムを使用すること、具体的には横方向にリニアフィルタスケーリング法をまた縦方向に選択スケーリング法を使用することで、裸眼立体視用画像（纏め画像）の画質を高めることができる。それらのアルゴリズムはＣＰＵ及びＧＰＵによっても実行することができるが、並列的ピクセルシェーディング機能又はそれに類する並列グラフィクス処理機能を使用しプログラマブルな処理パワーを各ピクセルに割り振れば、より高い性能を実現することができる。このスケーリング機能を、画像纏め処理に使用されるピクセルシェーディング機能に緊密に統合すれば、両者の相乗効果で更に優れた出力を得ること、またピクセルシェーダの使用によりかつてないほど処理を高速化することができる。

設けうるコンポーネントとしては、更に、横方向と縦方向とで別様に作用するシャープニングフィルタ６０６がある。図６ではＧＰＵ／グラフィクスレベル６１２内の付加的部材として示されているが、このフィルタ６０６を使用すると裸眼立体視用画像の画質が高まる。このシャープニングフィルタは、横方向だけに作用するよう設けることも、また同図の如くレベル６１２に設けるのではなく（本実施形態の他のコンポーネントと同じく）他のレベルに設けることもできる。そして、例えばピクセルシェーディングに係る計算の中にシャープニングフィルタに係る計算を組み入れる等、幾つかの処理を同一コンポーネントで統合実行することやある種の処理を複数のコンポーネントに分担させることもできる。

実稼働時の使用順序は、例えば、画像纏め前シャープニング処理、次いでスケーリング処理、更に画像纏め処理、そして画像纏め後シャープニング処理という順にする。時間的な制限等がある場合は、画像纏め前後に計２回行っているシャープニング処理のうち一方をやめてもよい。従来であれば、これらの処理を専らＣＰＵ上で従って低速で実行し、それによって生成した画像乃至ビットマップをグラフィクスレベルのコンポーネント又はサブシステムに送っていたところであるが、本実施形態では、引き続きＣＰＵも関わるものの、可能な限り多くのグラフィクス処理をピクセルシェーディング機能で高速にこなすことができる。

以上、本発明及びその具体的な実施形態について説明したが、これは本発明の要旨を限定する趣旨のものではなく、本発明の技術的範囲が広く様々な実施形態があり得ることを示すためのものである。更に、上述した実施形態に対し、本発明の技術的範囲内で更なる変形を施せることもご理解頂きたい。本願の狙いは、本発明の原理に基づくあらゆる変形物、用途乃至改良物を包含すること、またいわゆる当業者にとり既知の又は当業者が慣用している手法で本発明を変形したものも包含することにある。

画像纏めの基本概念、特にマッピング処理の内容を示す図である。 ディジタルディスプレイの表示エリア及びそれを覆うレンチキュラシートを示す図である。 画像纏めにおけるマッピング処理の内容をまた別の形態で示す図である。 １個のバッファ内を格子化し９個のタイルに分けるナインタイル配置を示す図である。 画面描画プロセスで使用するクアッド図形、即ち２個の三角形を含む１個の正方形領域を示す図である。 本装置におけるピクセルシェーダの動作を示す図である。 本装置に係る動作を実行可能なコンピュータ乃至計算装置の大まかなアーキテクチャを示す図である。

Claims (29)

1. 複数個のサブピクセルおよびサブピクセル成分を持つピクセルを複数個有する画面上に、原画像を裸眼立体視可能に表示させる画像纏め方法であって、
   原画像のピクセル毎にテキスチャメモリ内座標値を生成するステップと、
   そのテキスチャメモリ内座標値に基づき画面上でのピクセル位置を算出するステップと、
   画面上でのピクセル位置に基づき、サブピクセル毎に１個ずつ原画像番号を計算するステップと、
   表示画像内ピクセルの色を表すべく相対応するピクセル位置のそれぞれから１個のサブピクセル成分を採取するステップと、
   を有し、ピクセルレベルで前記サブピクセル成分の採取を実行する画像纏め方法。
2. 請求項１記載の画像纏め方法であって、目標となる横寸及び縦寸を特定し、その横寸及び縦寸を目標として原画像をスケーリングするステップ
   をさらに有する画像纏め方法。
3. 請求項２記載の画像纏め方法であって、少なくとも一方向については、前記スケーリングをリニアフィルタスケーリング法により行う画像纏め方法。
4. 請求項２記載の画像纏め方法であって、前記スケーリングに当たり、複数個のサブピクセルの加重平均を求める画像纏め方法。
5. 請求項１から４のいずれか一項に記載の画像纏め方法であって、前記ピクセル成分の採取に当たり、相対応するピクセル位置のそれぞれから１個のサブピクセル成分を選択し、それらを単一のベクトルに纏めて表示画像内ピクセルの全色成分を表す画像纏め方法。
6. 請求項１から５のいずれか一項に記載の画像纏め方法であって、前記原画像番号の計算は、少なくとも一種類のＷｉｎｎｅｋ角を含む入力パラメタを利用する画像纏め方法。
7. 請求項１から６のいずれか一項に記載の画像纏め方法であって、前記原画像番号の計算は、密度又はピッチを含む入力パラメタを利用する画像纏め方法。
8. 原画像から裸眼立体視用画像へのマッピング方法であって、
   裸眼立体視用画像が表示される画面におけるピクセル位置に基づき、サブピクセル成分毎に１個ずつ原画像番号を計算するステップと、
   その看取方向が互いに異なる複数個の原画像から裸眼立体視用画像へと、原画像番号に基づきピクセル位置をマッピングするステップと、
   表示画像内ピクセルの色を表すべくピクセル位置のそれぞれからサブピクセル成分を１個ずつ採取するステップと、
   を有し、
   原画像番号の計算に先立ち、
   原画像のピクセル毎にテキスチャメモリ内座標値を生成するステップと、
   ピクセル毎のテキスチャメモリ内座標値に基づき画面上でのピクセル位置を計算するステップと、
   を実行し、
   ピクセルレベルで上記マッピングを実行するマッピング方法。
9. 請求項８記載のマッピング方法であって、目標となる横寸及び縦寸を特定し、その横寸及び縦寸を目標として原画像をスケーリングするステップ
   をさらに有するマッピング方法。
10. 請求項９記載のマッピング方法であって、少なくとも一方向については、上記スケーリングをリニアフィルタスケーリング法により行うマッピング方法。
11. 請求項９記載のマッピング方法であって、上記スケーリングに当たり、複数個のサブピクセルの加重平均を求めるマッピング方法。
12. 請求項８から１１のいずれか一項に記載のマッピング方法であって、前記採取に当たり、相対応するピクセル位置のそれぞれから１個のサブピクセル成分を選択し、それらを単一のベクトルに纏めて表示画像内ピクセルの全色成分を表すマッピング方法。
13. 請求項８から１２のいずれか一項に記載のマッピング方法であって、レンチキュラレンズアレイの傾き角正接値を含む入力パラメタに基づきマッピングを行うマッピング方法。
14. 請求項８から１３のいずれか一項に記載のマッピング方法であって、密度又はピッチを含む入力パラメタに基づきマッピングを行うマッピング方法。
15. 複数個のサブピクセルおよびサブピクセル成分を持つピクセルを複数個有する画面上に、原画像を裸眼立体視可能に表示させる画像纏め装置であって、
    原画像のピクセル毎にテキスチャメモリ内座標値を生成し、
    そのテキスチャメモリ内座標値に基づき画面上でのピクセル位置を算出し、
    画面上でのピクセル位置に基づき、サブピクセル毎に１個ずつ原画像番号を計算し、
    表示画像内ピクセルの色を表すべく相対応するピクセル位置のそれぞれから１個のサブピクセル成分を採取し、
    またピクセルレベルで前記原画像番号の計算及び前記サブピクセル成分の採取を実行するよう、
    構成されたコンピュータを備える画像纏め装置。
16. 請求項１５記載の画像纏め装置であって、前記コンピュータはさらに、目標となる横寸及び縦寸を特定し、その横寸及び縦寸を目標として原画像をスケーリングするよう構成される画像纏め装置。
17. 請求項１６記載の画像纏め装置であって、少なくとも一方向については、前記スケーリングをリニアフィルタスケーリング法により行う画像纏め装置。
18. 請求項１６記載の画像纏め装置であって、前記スケーリングに当たり、複数個のサブピクセルの加重平均を求める画像纏め装置。
19. 請求項１５から１８のいずれか一項に記載の画像纏め装置であって、前記ピクセル成分の採取に当たり、相対応するピクセル位置のそれぞれから１個のサブピクセル成分を選択し、それらを単一のベクトルに纏めて表示画像内ピクセルの全色成分を表す画像纏め装置。
20. 請求項１５から１９のいずれか一項に記載の画像纏め装置であって前記原画像番号の計算は、レンチキュラレンズアレイの傾き角正接値を含む入力パラメタを利用する画像纏め装置。
21. 請求項１５から２０のいずれか一項に記載の画像纏め装置であって、前記原画像番号の計算は、密度又はピッチを含む入力パラメタを利用する画像纏め装置。
22. 原画像から裸眼立体視用画像へのマッピング方法であって、
    原画像をスケーリングすることによりスケーリング済画像を生成するステップと、
    前記スケーリング済画像をピクセルシェーディングすることにより、原画像のピクセル毎にテキスチャメモリ内座標値を生成してピクセル毎のテキスチャメモリ内座標値に基づき画面上でのピクセル位置を計算し、裸眼立体視用画像が表示される画面におけるピクセル位置に基づきサブピクセル成分毎に１個ずつ原画像番号を計算して、その看取方向が互いに異なる複数個のビューの画像から裸眼立体視用画像へと、ピクセル位置をマッピングするステップと、
    を有し、前記マッピングをピクセルレベルで計算装置が実行する方法。
23. 請求項２２記載のマッピング方法であって、レンチキュールの密度又はピッチの変化に対し前記ピクセルシェーディングと並行してリアルタイム応答するステップを有するマッピング方法。
24. 請求項２２または２３記載のマッピング方法であって、前記スケーリングに当たり、横方向スケーリングと縦方向スケーリングを互いに別のスケーリングアルゴリズムにより行うマッピング方法。
25. 請求項２４記載のマッピング方法であって、横方向スケーリング用のスケーリングアルゴリズムがリニアフィルタスケーリング法、縦方向スケーリング用のスケーリングアルゴリズムが選択スケーリング法であるマッピング方法。
26. 請求項２４記載のマッピング方法であって、横方向と縦方向とで別様に作用するシャープニングフィルタを用い裸眼立体視用画像をシャープニングするステップを有するマッピング方法。
27. 請求項２６記載のマッピング方法であって、横方向のみについてシャープニングを実行するマッピング方法。
28. 請求項２２から２７のいずれか一項に記載のマッピング方法であって、少なくとも裸眼立体視用画像の表示に使用されるレンチキュールの幅に占めるピクセル又はその一部分の幅の割合に基づき、原画像から採取したピクセル値を平均化するステップを有するマッピング方法。
29. 請求項２８記載のマッピング方法であって、レンチキュールの幅がピクセル又はその一部分の幅と異なるマッピング方法。

Images