JP5328852B2 - 画像処理装置、画像処理方法、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム及び情報記憶媒体に関する。

仮想三次元空間内に配置されたオブジェクト及び視点を表すデータに基づいて、三次元表示用のラスタ画像（左目用ラスタ画像及び右目用ラスタ画像）を生成する技術が存在する。そして、このようにして生成される三次元表示用のラスタ画像が、例えば、フレームシーケンシャル方式、パッシブグラス方式、視差バリア方式などの方式によって、三次元画像表示を実現した表示装置に入力されると、仮想三次元空間内に配置された視点からオブジェクトを見た様子を表すラスタ画像が表示装置に三次元で表示されることとなる。

また、二次元のラスタ画像に基づいて、三次元表示用のラスタ画像を生成する擬似三次元化処理を行うことができる画像処理装置も存在する。このようにして生成される三次元表示用のラスタ画像が表示装置に入力された際にも、表示装置にラスタ画像が三次元で表示されることとなる。また、入力される二次元のラスタ画像に対して擬似三次元化処理を行って三次元表示用のラスタ画像を生成した上で画像を三次元で表示する表示装置も存在する。そして、このような画像処理装置や表示装置のなかには、ユーザから受け付ける操作入力に応じて、擬似三次元化処理を実行するか否かを切り替えることができるものもある。

例えば、ゲームコンソール等でゲームプログラムを実行することにより生成される画像が表示装置に表示される状況において、仮想三次元空間内に配置されたオブジェクト及び視点を表すデータに基づいて三次元表示用のラスタ画像が生成されてメモリに描画される際には、メモリに描画されたラスタ画像に対して擬似三次元化処理が実行される必要がそもそもない。一方で、上述の状況において、回想シーンなどの動画像が再生される際には、動画像に含まれるフレーム画像に対して擬似三次元化処理が実行された上で表示装置に表示されるようにするとフレーム画像が三次元で表示されることとなる。

また、例えば、動画像に含まれるフレーム画像が順次表示装置に表示される状況において、文字が含まれていないフレーム画像については、フレーム画像に対して擬似三次元化処理が実行された上で表示装置に表示されるようにすると、フレーム画像が三次元で表示されることとなる。一方で、上述の状況において、文字が含まれているフレーム画像については、フレーム画像に対して擬似三次元化処理が実行された上で表示装置に表示されるようにすると文字の視認性が低下するおそれがある。

また、例えば、メモリに描画されたラスタ画像の種別（例えば、人物検出ができるか否か、自然画像であるか否か）等によって、擬似三次元化処理の負荷が異なるような場合に、表示の対象となる一連のラスタ画像に、擬似三次元化処理の負荷が高いラスタ画像と擬似三次元化処理の負荷が低いラスタ画像とが混在することがある。このような場合には、擬似三次元化処理の負荷が高いラスタ画像については、擬似三次元化処理が実行されないことが望ましい。

以上のような、表示の対象となる一連のラスタ画像に、擬似三次元化処理が実行されることが望ましいラスタ画像とそうでないラスタ画像とが混在する状況で、擬似三次元化処理が実行されるか否かをユーザの操作入力によって切り替えるとすると、ユーザには煩わしい作業が強いられることとなる。上述のような状況では、ラスタ画像の基礎となるデータに基づくラスタ画像のメモリへの描画（例えば、描画された画像は三次元表示用のラスタ画像であるか否か、実行されたコマンドに三次元表示用のラスタ画像の描画を示すグラフィックコマンドが含まれるか否か、実行されたコマンドにエンコードされた動画像データのデコードを示すコマンドが含まれるか否か、ラスタ画像が描画されるメモリの種別、ラスタ画像の種別、ラスタ画像の生成の基礎となるデータの種別、など）に応じて、擬似三次元化処理が実行されるか否かが制御されることが望ましい。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、ユーザに煩わしい作業を強いることなく、メモリに描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像が表示されるか、メモリに描画されるラスタ画像が表示されるか、が制御されるようにすることにある。

上記課題を解決するために、本発明に係る画像処理装置は、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段と、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段と、を含むことを特徴とする。

また、本発明に係る画像処理方法は、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画ステップと、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、としてコンピュータを機能させることを特徴とする。

また、本発明に係る情報記憶媒体は、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、としてコンピュータを機能させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明によれば、ラスタ画像の基礎となるデータに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御が行われるので、ユーザに煩わしい作業を強いることなく、メモリに描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像が表示されるか、メモリに描画されるラスタ画像が表示されるか、が制御されることとなる。

本発明の一態様では、前記制御手段は、前記描画手段により三次元表示用のラスタ画像がメモリに描画された場合に、メモリに描画されたラスタ画像を表示装置に表示させることを特徴とする。

また、本発明の一態様では、前記制御手段は、ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、三次元表示用のラスタ画像の描画を示すグラフィックコマンドが含まれる場合に、メモリに描画されたラスタ画像を表示装置に表示させ、そうでない場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させることを特徴とする。

また、本発明の一態様では、前記制御手段は、ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、エンコードされた動画像データのデコードを示すコマンドが含まれる場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させ、そうでない場合に、メモリに描画されたラスタ画像を表示装置に表示させることを特徴とする。

また、本発明の一態様では、前記制御手段は、前記描画手段によりラスタ画像が描画されるメモリの種別に応じて前記制御を行うことを特徴とする。

また、本発明の一態様では、前記制御手段は、前記データ又は前記ラスタ画像の属性に応じて前記制御を行うことを特徴とする。

また、本発明の一態様では、前記制御手段によりメモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させる制御が行われる場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を生成する三次元表示用ラスタ画像生成手段、をさらに含むことを特徴とする。

本発明の一実施形態に係る画像処理装置の構成図である。 本発明の一実施形態に係る画像処理装置で実現される機能の一例を示す機能ブロック図である。 仮想空間の一例を示す図である。 本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る画像処理装置１０の構成図である。図１に示すように、本実施形態に係る画像処理装置１０の制御部は、メインプロセッサ１２及び複数のサブプロセッサ１４（１４−１、１４−２、・・・、１４−ｎ）を含んでいる。メインプロセッサ１２及びサブプロセッサ１４はいずれもバス１６に接続されており、バス１６を介して相互にデータを送受信できるようになっている。バス１６には、さらに、メインメモリ１８、画像処理部２０が接続され、入出力処理部２２を介して、ネットワークボード２４、ハードディスクドライブ２６、光ディスクドライブ２８、コントローラ３０、などが接続されている。なお、入出力処理部２２には、これら以外のユニット（例えば、ＵＳＢ（Universal Serial Bus）ポートや、カメラユニットや、スピーカや、マイク等）が接続されていてももちろん構わない。

メインプロセッサ１２は、システム等のプログラムを実行したり、ハードディスクドライブ２６に読み取られるハードディスクや光ディスクドライブ２８に読み取られる光ディスクに記憶されたプログラム若しくはデータ、又は、通信ネットワークを介して供給されるプログラム若しくはデータなどに基づいて、各種情報処理を行ったり、サブプロセッサ１４に対する制御を行ったりする。サブプロセッサ１４は、メインプロセッサ１２からの指示に従って、各種情報処理を行ったり、画像処理装置１０の各部を、ハードディスクや光ディスクに記憶されたプログラム若しくはデータ、又は、通信ネットワークを介して供給されるプログラム若しくはデータ、等に基づいて制御したりする。また、本実施形態では、サブプロセッサ１４にはＤＭＡＣ（Direct Memory Access Controller）が内蔵されており、メインプロセッサ１２を介さずに、メインメモリ１８に対して直接アクセスできるようになっている。

メインメモリ１８には、ハードディスクや光ディスクに記憶されたプログラム若しくはデータ、又は、通信ネットワークを介して供給されるプログラム若しくはデータ、などが必要に応じて書き込まれる。メインメモリ１８は、メインプロセッサ１２やサブプロセッサ１４のワークメモリとしても用いられる。また、本実施形態では、メインメモリ１８には、本実施形態に係る画像処理装置１０にインストールされるゲームプログラムやエミュレータプログラムも記憶されることとなる。

画像処理部２０は、ＧＰＵ（Graphical Processing Unit）とフレームバッファとを含んで構成される。ＧＰＵは、メインプロセッサ１２やサブプロセッサ１４から供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画する。フレームバッファに描画された画像は、所定のタイミングでビデオ信号に変換されてモニタ３２に出力される。本実施形態では、家庭用テレビ受像機や、液晶ディスプレイなどが、モニタ３２として用いられる。本実施形態では、画像処理部２０とモニタ３２とはＨＤＭＩ（High-Definition Multimedia Interface）ケーブルにより接続されている。そして、本実施形態では、画像処理部２０は、フレームバッファに描画された画像を、所定のタイミングでＨＤＭＩのビデオ信号に変換してモニタ３２に出力する。

本実施形態に係るモニタ３２は、左目用ラスタ画像と右目用ラスタ画像とが交互に表示されるフレームシーケンシャル方式によって三次元画像表示（３Ｄ表示）を行うことができるようになっている。

入出力処理部２２には、ネットワークボード２４、ハードディスクドライブ２６、光ディスクドライブ２８、コントローラ３０、等が接続される。入出力処理部２２は、メインプロセッサ１２又はサブプロセッサ１４と、ネットワークボード２４、ハードディスクドライブ２６、光ディスクドライブ２８、又は、コントローラ３０、等との間のデータ授受を制御する。

ネットワークボード２４は入出力処理部２２とネットワークとに接続されており、画像処理装置１０が、ネットワークを介して外部とデータ通信するのを中継するようになっている。光ディスクドライブ２８は、メインプロセッサ１２及びサブプロセッサ１４からの指示に従って、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスクに記憶されたプログラムやデータを読み取る。また、ハードディスクドライブ２６は一般的なハードディスク装置であり、ハードディスクに記憶されたプログラムやデータを読み取る。光ディスクやハードディスクには各種プログラムやデータがコンピュータ読み取り可能に記憶される。なお、画像処理装置１０は、光ディスクやハードディスク以外の、他のコンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成されていてもよい。コントローラ３０は、汎用操作入力手段であり、ユーザが各種操作を入力するために用いられる。入出力処理部２２は、所定時間（例えば１／６０秒）ごとにコントローラ３０の各部の状態をスキャンし、その結果を表す操作状態をメインプロセッサ１２やサブプロセッサ１４に供給する。メインプロセッサ１２やサブプロセッサ１４は、ユーザによって行われた操作の内容をその操作状態に基づいて判断する。

図２は、本実施形態に係る画像処理装置１０で実現される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置１０では、図２に示す機能以外の機能も実現されている。図２に示すように、画像処理装置１０は、機能的に、プログラム実行部４０、描画部４２、擬似三次元化制御部４４、画像出力部４６、擬似三次元化実行部４８、を含んでいる。そして、描画部４２は、オブジェクト画像描画部４２ａと、フレーム画像描画部４２ｂと、を含んでいる。プログラム実行部４０、フレーム画像描画部４２ｂは、メインプロセッサ１２又はサブプロセッサ１４を主として実現される。オブジェクト画像描画部４２ａ、擬似三次元化制御部４４、画像出力部４６は、画像処理部２０を主として実現される。擬似三次元化実行部４８は、サブプロセッサ１４を主として実現される。

これらの機能は、画像処理装置１０で、本実施形態に係るプログラムが実行されることにより実現される。このプログラムは、コンピュータ通信ネットワーク経由で通信インタフェースを介して他のコンピュータからダウンロードされてもよいし、光ディスク（例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなど）、ＵＳＢメモリ等のコンピュータ読み取り可能な情報記憶媒体に格納され、そこから光ディスクドライブ２８やＵＳＢポートなどを介して画像処理装置１０にインストールされてもよい。

そして、本実施形態に係る画像処理装置１０では、予め、画像をモニタ３２に二次元表示で出力するのか、三次元表示で出力するのかが設定されている。ここでは、本実施形態に係る画像処理装置１０において、予め、画像が三次元表示で出力されることが設定されることとする。

また、本実施形態に係る画像処理装置１０では、所定の時間間隔毎に（例えば、１／６０秒毎に）、ラスタ画像の描画及びモニタ３２での当該ラスタ画像の表示が行われる。

プログラム実行部４０は、画像処理装置１０にインストトールされたゲームプログラム（ハードディスクドライブ２６に読み取られるハードディスクや光ディスクドライブ２８に読み取られる光ディスクに記憶されたゲームプログラム）を実行する。本実施形態に係る画像処理装置１０は、上述のゲームプログラムを実行することにより、図３に例示する仮想空間５０をメインメモリ１８上に構築する。プログラム実行部４０は、ポイント、ライン、ポリゴンなどを表すベクタデータに基づいて、仮想オブジェクト５２を生成して、生成した仮想オブジェクト５２を仮想空間５０内に配置する。また、プログラム実行部４０は、視点５４の位置及び視線方向を示すデータに基づいて、視点５４を仮想空間５０内に配置する。本実施形態では、仮想オブジェクト５２は複数のポリゴンにより構成されている。各ポリゴンにはテクスチャがマッピングされている。上述のベクタデータや、視点５４の位置及び視線方向を示すデータは、予め、ハードディスクドライブ２６に読み取られるハードディスクや光ディスクドライブ２８に読み取られる光ディスクに記憶されている。

そして、プログラム実行部４０は、視点５４から視線方向を見た様子を表すラスタ画像（ビットマップ画像）の描画を示すグラフィックスコマンドを、オブジェクト画像描画部４２ａに出力する。このグラフィックスコマンドには、仮想オブジェクト５２が配置されている位置を示すデータや視点５４の位置及び視線方向を示すデータが関連付けられている。

オブジェクト画像描画部４２ａは、プログラム実行部４０から上述のグラフィックスコマンドを受け付けると、視点５４の位置に対して所定の長さだけ左にずらした位置（図３に示す左視点５６）から仮想空間５０を見た様子を表す左目用ラスタ画像、及び、プログラム実行部４０から受け付けた視点５４の位置に対して所定の長さだけ右にずらした位置（図３に示す右視点５８）から仮想空間５０を見た様子を表す右目用ラスタ画像、を生成して、これらのラスタ画像を、それぞれに対応付けられるフレームバッファに描画する。このように、本実施形態に係る画像処理部２０には、左目用ラスタ画像が描画されるフレームバッファと、右目用ラスタ画像が描画されるフレームバッファと、が含まれている。

また、プログラム実行部４０は、ゲームプログラムの実行中に所定のイベントが発生すると回想シーンなどの動画像が再生される状態となる。このような状態になると、プログラム実行部４０は、ハードディスクや光ディスクに記憶されている、エンコードされた動画像データを取得する。そして、フレーム画像描画部４２ｂが、取得した動画像データをデコードした上で、この動画像データを構成する一連のフレーム画像をメインメモリ１８に描画する。なお、フレーム画像は、ラスタ画像（ビットマップ画像）である。

本実施形態では、動画像の再生が終了すると、プログラム実行部４０による、視点５４から視線方向を見た様子を表すラスタ画像（ビットマップ画像）の描画を示すグラフィックスコマンドの、オブジェクト画像描画部４２ａへの出力、及び、オブジェクト画像描画部４２ａによる、左目用ラスタ画像及び右目用ラスタ画像のフレームバッファへの描画が再開される。

擬似三次元化制御部４４は、ラスタ画像の描画に応じて、画像出力部４６に、通常モードによるラスタ画像の出力を行わせるか、擬似三次元化モードによるラスタ画像の出力を行わせるか、の制御を行う。本実施形態では、通常モードとは、描画されたラスタ画像がモニタ３２に出力されるモードを指し、擬似三次元化モードとは、描画されたラスタ画像に基づいて生成される三次元表示用のラスタ画像（例えば、左目用ラスタ画像と右目用ラスタ画像の組合せ）がモニタ３２に出力されるモードを指す。

画像出力部４６は、フレームバッファ又はメインメモリ１８に描画されたラスタ画像を、通常モード又は擬似三次元化モードのいずれか一方のモードでモニタ３２に出力する。

ここで、本実施形態に係る画像処理装置１０で行われる、フレームバッファ又はメインメモリ１８に描画されたラスタ画像をモニタ３２に出力する処理の流れの一例を、図４Ａ及び図４Ｂに例示するフロー図を参照しながら説明する。

まず、擬似三次元化制御部４４が、出力の対象となるラスタ画像が描画されているメモリのアドレスに基づいて、当該ラスタ画像が、フレームバッファに描画されているかメインメモリ１８に描画されているかを特定する（Ｓ１０１）。そして、出力の対象となるラスタ画像がメインメモリ１８に描画されていることが特定された場合は、擬似三次元化制御部４４は、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知する。（Ｓ１０２）。そして、画像出力部４６は、この通知の受付に応じて、擬似三次元化実行部４８に、出力の対象となるラスタ画像に基づく三次元表示用のラスタ画像の生成指示（擬似三次元化処理の実行指示）を通知する（Ｓ１０３）。そして、擬似三次元化実行部４８は、この通知の受付に応じて、出力の対象となるラスタ画像に基づいて、左目用ラスタ画像及び右目用ラスタ画像の組合せを生成する（擬似三次元化処理を実行する）（Ｓ１０４）。そして、擬似三次元化実行部４８は、Ｓ１０４に示す処理で生成された左目用ラスタ画像及び右目用ラスタ画像の出力指示を画像出力部４６に通知する（Ｓ１０５）。そして、画像出力部４６が、この通知に応じて、擬似三次元化実行部４８により生成された左目用ラスタ画像及び右目用ラスタ画像が含まれる、ＨＤＭＩにおけるフレームパッキング方式に従ったパケットを生成する（Ｓ１０６）。なお、フレームパッキング方式は、ＨＤＭＩ１．４における３Ｄ映像信号の伝送方式の一つである。そして、画像出力部４６が、生成したパケットをモニタ３２に伝送する（Ｓ１０７）。なお、本実施形態では、メインメモリ１８に描画されたラスタ画像に基づく左目用ラスタ画像と右目用ラスタ画像の組合せの生成及び出力は、サブプロセッサ１４のＤＭＡＣによるＤＭＡ（Direct Memory Access）により行われ、フレームバッファを介さない。

一方、Ｓ１０１に示す処理で、フレームバッファに描画されていることが特定された場合は、擬似三次元化制御部４４は、通常モードでのラスタ画像の出力指示を画像出力部４６に通知する（Ｓ１０８）。そして、画像出力部４６は、この通知の受付に応じて、表示の対象となるラスタ画像が含まれるパケットを生成する（Ｓ１０９）そして、画像出力部４６が、生成したパケットをモニタ３２に伝送する（Ｓ１１０）。

本実施形態では、上述のように、オブジェクト画像描画部４２ａにより、左視点５６から仮想空間５０を見た様子を表す左目用ラスタ画像、及び、右視点５８から仮想空間５０を見た様子を表す右目用ラスタ画像、が生成されて、これらのラスタ画像が、それぞれに対応付けられるフレームバッファに描画されているので、Ｓ１０９に示す処理において、画像出力部４６は、これらの左目用ラスタ画像及び右目用ラスタ画像が含まれる、ＨＤＭＩにおけるフレームパッキング方式に従ったパケットを生成する。

そして、モニタ３２は、Ｓ１０７又はＳ１１０に示す処理で伝送されたパケットを受け付けると、そのパケットをＨＤＭＩにおけるフレームパッキング方式に従って解釈することで、受け付けたパケットから、左目用ラスタ画像及び右目用ラスタ画像を抽出する（Ｓ１１１）。そして、モニタ３２は、左目用ラスタ画像及び右目用ラスタ画像をフレームシーケンシャル方式によって三次元で表示する（Ｓ１１２）。

本実施形態に係る画像処理装置１０では、所定の時間間隔毎に、フレームバッファ又はメインメモリ１８へのラスタ画像の描画、及び、上述のＳ１０１〜Ｓ１１２に示す処理が実行されることとなる。なお、上述の処理例における、画像出力部４６によるパケットの伝送方式はフレームパッキング方式に限定されず、例えば、サイドバイサイド方式やトップアンドボトム方式などの、他の３Ｄ映像信号の伝送方式を用いても構わない。

以上のように、本実施形態に係る画像処理装置１０では、表示の対象となるラスタ画像が動画像データを構成するフレーム画像であり、当該フレーム画像であるラスタ画像がメインメモリ１８に描画されている場合には、そのラスタ画像に基づいて生成される（擬似三次元化処理により生成される）左目用ラスタ画像及び右目用ラスタ画像がモニタ３２に表示される。一方で、本実施形態に係る画像処理装置１０では、表示の対象となるラスタ画像がベクタデータに基づいて生成されるラスタ画像であり、当該ラスタ画像がフレームバッファに描画されている場合には、画像処理部２０により生成される左目用ラスタ画像及び右目用ラスタ画像がモニタ３２に表示される。この場合は、擬似三次元化実行部４８による擬似三次元化処理は実行されない。このようにして、本実施形態では、ユーザに煩わしい作業を強いることなく、ラスタ画像が描画されるメモリの種別に応じて、描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像がモニタ３２に表示されるか、メモリに描画されるラスタ画像がモニタ３２に表示されるか、が制御されることとなる。また、本実施形態によれば、画像処理部２０により生成された左目用ラスタ画像及び右目用ラスタ画像に対して擬似三次元化処理が実行されてしまう事態を防ぐことができることとなる。

また、本実施形態に係る画像処理装置１０は、当該画像処理装置１０とは異なる種類のプロセッサを備える装置（以下、他種装置と呼ぶ。）で実行可能なプログラムを実行するための仮想マシンとして機能するプロセスであるエミュレータを実行することができるようになっている。このエミュレータは、本実施形態に係る画像処理装置１０にインストールされているエミュレータプログラムを起動することにより生成される。

本実施形態に係るエミュレータでは、他種装置が備える２種類のプロセッサ（ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphic Processing Unit））がエミュレートされる。以下、他種装置が備えるＣＰＵを他種ＣＰＵと呼び、他種装置が備えるＧＰＵを他種ＧＰＵと呼ぶこととする。本実施形態に係る画像処理装置１０が備えるメインプロセッサ１２やサブプロセッサ１４と他種ＣＰＵとは、命令セットが異なる。また、本実施形態に係る画像処理装置１０が備える画像処理部２０に含まれるＧＰＵと他種ＧＰＵとも命令セットが異なる。

本実施形態では、他種ＣＰＵのエミュレートに関する処理はメインプロセッサ１２によって実行される。また、本実施形態では、エミュレートされた他種ＣＰＵが出力するグラフィックスコマンド（他種ＧＰＵが実行可能なグラフィックスコマンド）が、メインメモリ１８に書き込まれる。そして、サブプロセッサ１４が、メインメモリ１８に書き込まれたグラフィックスコマンドを、画像処理装置１０の画像処理部２０に含まれるＧＰＵが実行可能なグラフィックスコマンドに変換する。そして、画像処理部２０が、変換されたグラフィックスコマンドの実行を行う。

そして、本実施形態に係るエミュレータは、他種プロセッサにおける特定のコマンド（例えば、ノーオペレーション（ＮＯＰ）コマンド）については、そのコマンドに設定されているパラメータの値（例えば、オペランド）に応じた処理を実行する。そのため、例えば、ベクタデータに基づく三次元表示用のラスタ画像（左目用ラスタ画像及び右目用ラスタ画像）の生成処理が、他種プロセッサにおけるＮＯＰコマンドに設定されているパラメータの値として設定されている場合には、当該生成処理が他種装置では実行できなくても、本実施形態に係る画像処理装置１０では実行されることとなる。そして、エミュレータにより上述のＮＯＰコマンドに応じた処理が実行される際には、サブプロセッサ１４が、三次元表示用のラスタ画像の描画を示すグラフィックスコマンドを、画像処理部２０に出力する。そして、画像処理部２０は、左目用ラスタ画像及び右目用ラスタ画像を生成して、これらのラスタ画像を、それぞれに対応付けられるフレームバッファに描画する。

そして、本実施形態では、例えば、エミュレータ上で実行されるゲームプログラムにおいて動画像が再生される状況になると、エミュレータは、動画像データを構成する一連のフレーム画像をメインメモリ１８に描画する。

そして、本実施形態では、エミュレータによりゲームプログラムが実行されている場合でも、擬似三次元化制御部４４は、出力の対象となるラスタ画像が、メインメモリ１８に描画されたものである場合には、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知し、フレームバッファに描画されたものである場合には、通常モードでのラスタ画像の出力指示を画像出力部４６に通知する。擬似三次元化モードでのラスタ画像の出力指示が画像出力部４６に通知された場合は、上述のＳ１０３〜Ｓ１０７、Ｓ１１１、及び、Ｓ１１２に示す処理と同様の処理が実行されることとなる。通常モードでのラスタ画像の出力指示が画像出力部４６に通知された場合は、上述のＳ１０９〜Ｓ１１２に示す処理と同様の処理が実行されることとなる。

このようにして、本実施形態に係る画像処理装置１０においてエミュレータにおいてプログラムが実行される場合でも、ユーザに煩わしい作業を強いることなく、ラスタ画像が描画されるメモリの種別に応じて、描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像がモニタ３２に表示されるか、メモリに描画されるラスタ画像がモニタ３２に表示されるか、が制御されることとなる。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、画像処理装置１０によって、一連のフレーム画像から構成される映画等の動画像が再生される場面において、擬似三次元化制御部４４は、公知の文字認識技術により、上述のメインメモリ１８に描画されたフレーム画像に文字が含まれているか否かを判定するようにしてもよい。そして、フレーム画像に文字が含まれていると判定された際には、擬似三次元化制御部４４は、通常モードでのラスタ画像の出力指示を画像処理部２０に通知し、フレーム画像に文字が含まれていないと判定された際には、擬似三次元化制御部４４は、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知するようにしてもよい。こうすれば、文字が含まれるフレーム画像は三次元でモニタ３２に表示されなくなるので、文字の視認性の低下を防ぐことができる。

また、擬似三次元化実行部４８により実行される擬似三次元化処理に用いられるアルゴリズム（例えば、表示の対象となるラスタ画像と直前のフレームで表示されたラスタ画像との差分に基づいて各画素の奥行を特定するアルゴリズム、テンプレートとして予め設定された形状の領域の奥行を当該テンプレートに対応付けられる値に設定するアルゴリズム、等）の種別に基づいて、ラスタ画像の特徴や属性と擬似三次元化処理の負荷との関係が特定可能である場合がある。このような場合に、例えば、ハードディスクやメインメモリ１８に、予め、処理負荷が比較的低いラスタ画像の特徴や属性に関する条件を示すデータ（例えば、自然画像であること、人物検出が可能であること、直前のフレームにおけるラスタ画像との間での特徴量の差が所定量未満であること、など）を記憶するようにしてもよい。そして、擬似三次元化制御部４４は、表示の対象となるラスタ画像が、例えば、公知の画像処理技術を用いてラスタ画像を解析するようにしてもよい。そして、擬似三次元化制御部４４は、解析結果に基づいて、記憶されているデータが示す条件を当該ラスタ画像が満足すると判定した場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知し、そうでない場合に、通常モードでのラスタ画像の出力指示を画像出力部４６に通知するようにしてもよい。

以上のように、擬似三次元化制御部４４は、ラスタ画像の生成の基礎となるデータの属性や、ラスタ画像の属性に応じて、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知するか、通常モードでのラスタ画像の出力指示を画像出力部４６に通知するか、を決定するようにしてもよい。

また、例えば、擬似三次元化制御部４４は、画像出力部４６により出力されるラスタ画像の生成の基礎となるデータの取得から当該ラスタ画像の描画までの間に画像処理装置１０が実行したコマンドに、ベクタデータ又は動画像データに基づく三次元表示用のラスタ画像の描画（例えば、左目用ラスタ画像及び右目用ラスタ画像の描画）を示すグラフィックコマンドが含まれる場合に、通常モードでのラスタ画像の出力指示を画像処理部２０に通知し、そうでない場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知するようにしてもよい。

また、例えば、擬似三次元化制御部４４は、画像出力部４６により出力されるラスタ画像の生成の基礎となるデータの取得から当該ラスタ画像の描画までの間に画像処理装置１０が実行したコマンドに、エンコードされた動画像データのデコードを示すコマンドが含まれる場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知し、そうでない場合に、通常モードでのラスタ画像の出力指示を画像処理部２０に通知するようにしてもよい。

また、例えば、擬似三次元化制御部４４は、画像出力部４６により出力されるラスタ画像の生成の基礎となるデータが、光ディスクから読み出されたフレーム画像である場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知し、そうでない場合に、通常モードでのラスタ画像の出力指示を画像処理部２０に通知するようにしてもよい。

また、例えば、擬似三次元化制御部４４は、表示の対象となるラスタ画像が、左目用ラスタ画像及び右目用ラスタ画像の２枚である場合に、通常モードでのラスタ画像の出力指示を画像処理部２０に通知し、そうでない場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部４６に通知するようにしてもよい。

以上の説明においても、擬似三次元化モードでのラスタ画像の出力指示が画像出力部４６に通知された場合は、上述のＳ１０３〜Ｓ１０７、Ｓ１１１、及び、Ｓ１１２に示す処理と同様の処理が実行され、通常モードでのラスタ画像の出力指示が画像出力部４６に通知された場合は、上述のＳ１０９〜Ｓ１１２に示す処理と同様の処理が実行されることとなる。

また、例えば、画像出力部４６は、通常モードでのラスタ画像の出力指示を擬似三次元化制御部４４から受け付けた際に、表示の対象となるラスタ画像が１枚である場合には、当該ラスタ画像と同一の画像が左目用ラスタ画像としても右目用ラスタ画像としても含まれる、ＨＤＭＩにおけるフレームパッキング方式に従ったパケットを生成して、生成したパケットをモニタ３２に伝送するようにしてもよい。また、画像出力部４６は、通常モードでのラスタ画像の出力指示を擬似三次元化制御部４４から受け付けた際に、表示の対象となるラスタ画像が１枚である場合に、３Ｄ映像信号の伝送方式を用いずに、２Ｄ映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ３２に伝送するようにしてもよい。

また、本実施形態に係る画像処理装置１０において、コントローラ３０から受け付けるユーザによる操作入力に応じて、擬似三次元処理を実行するか否かの設定が可能であっても構わない。ここで、擬似三次元処理を実行しない旨が設定された場合は、擬似三次元化制御部４４による上述の制御が行われないようにして、画像出力部４６が、フレームバッファ又はメインメモリ１８に描画されたラスタ画像が含まれるパケットを生成して、モニタ３２に伝送するようにしてもよい。このとき、画像出力部４６は、３Ｄ映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ３２に伝送するようにしても、２Ｄ映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ３２に伝送するようにしてもよい。

また、本実施形態に係る画像処理装置１０において、コントローラ３０から受け付けるユーザによる操作入力に応じて、三次元表示を行うか否かの設定が可能であっても構わない。ここで、三次元表示を行わない旨が設定された場合は、オブジェクト画像描画部４２ａは、視点５４の位置から仮想空間５０を見た様子を表すラスタ画像をフレームバッファに描画するようにしてもよい。そして、画像出力部４６は、２Ｄ映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ３２に伝送するようにしてもよい。

例えば、モニタ３２において３Ｄ表示を実現する方法はフレームシーケンシャル方式にには限定されない。例えば、モニタ３２が、水平走査線ごとに偏光特性を変えるパッシブグラス方式によって３Ｄ表示を実現するようにしてもよい。また、モニタ３２は、視差バリア方式によって３Ｄ表示が実現された裸眼３Ｄディスプレイであっても構わない。

また、画像処理装置１０にモニタ３２が含まれている必要はなく、画像処理装置１０が、画像処理装置１０に接続されたモニタ３２に上述のパケットを出力するようにしてもよい。

また、擬似三次元化処理を擬似三次元化実行部４８で実行されないようにしてもよい。その代わりに、画像処理部２０が、擬似三次元化処理を実行可能なモニタ３２に、擬似三次化処理の実行指示を表示の対象となるラスタ画像とともに出力するようにしてもよい。そして、モニタ３２が、擬似三次化処理の実行指示とともに受け付けたラスタ画像に対して、擬似三次元化処理を実行して左目用ラスタ画像及び右目用ラスタ画像を生成して、生成した左目用ラスタ画像及び右目用ラスタ画像を表示するようにしてもよい。

また、プログラム実行部４０、描画部４２、擬似三次元化制御部４４、画像出力部４６、並びに、擬似三次元化実行部４８の機能の一部又は全部が、グラフィックカード等の電子機器において実現されていてもよい。また、上述の機能が当該電子機器において、ハードウェアによる回路により実現されていても、ソフトウェアにより実現されていても構わない。

また、本実施形態に係るメインプロセッサ１２、サブプロセッサ１４、画像処理部２０の役割分担は上述のものには限定されない。例えば、擬似三次元化実行部４８が画像処理部２０やメインプロセッサ１２により実現されていてもよい。

１０ 画像処理装置、１２ メインプロセッサ、１４ サブプロセッサ、１６ バス、１８ メインメモリ、２０ 画像処理部、２２ 入出力処理部、２４ ネットワークボード、２６ ハードディスクドライブ、２８ 光ディスクドライブ、３０ コントローラ、３２ モニタ、４０ プログラム実行部、４２ 描画部、４２ａ オブジェクト画像描画部、４２ｂ フレーム画像描画部、４４ 擬似三次元化制御部、４６ 画像出力部、４８ 擬似三次元化実行部、５０ 仮想空間、５２ 仮想オブジェクト、５４ 視点、５６ 左視点、５８ 右視点。

Claims (10)

1. ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段と、
   前記ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに応じて、前記メモリに描画されたラスタ画像を表示装置に表示させるか、前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段と、
   を含むことを特徴とする画像処理装置。
2. 前記制御手段は、前記描画手段により三次元表示用のラスタ画像が前記メモリに描画された場合に、前記メモリに描画されたラスタ画像を表示装置に表示させる、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、三次元表示用のラスタ画像の描画を示すグラフィックコマンドが含まれる場合に、前記メモリに描画されたラスタ画像を表示装置に表示させ、そうでない場合に、前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させる、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、エンコードされた動画像データのデコードを示すコマンドが含まれる場合に、前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させ、そうでない場合に、前記メモリに描画されたラスタ画像を表示装置に表示させる、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記制御手段は、前記描画手段によりラスタ画像が描画される前記メモリの種別に応じて前記制御を行う、
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記制御手段は、前記データ又は前記ラスタ画像の属性に応じて前記制御を行う、
   ことを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記制御手段により前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させる制御が行われる場合に、前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を生成する三次元表示用ラスタ画像生成手段、をさらに含む、
   ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 画像処理装置に含まれる描画手段が、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画ステップと、
   前記画像処理装置に含まれる制御手段が、前記ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに応じて、前記メモリに描画されたラスタ画像を表示装置に表示させるか、前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御ステップと、
   を含むことを特徴とする画像処理方法。
9. ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、
   前記ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに応じて、前記メモリに描画されたラスタ画像を表示装置に表示させるか、前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、
   としてコンピュータを機能させることを特徴とするプログラム。
10. ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、
    前記ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに応じて、前記メモリに描画されたラスタ画像を表示装置に表示させるか、前記メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、
    としてコンピュータを機能させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
    

Images