JP5901376B2 - 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、立体視表示が可能な情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関する。

従来から、立体視表示が可能なテレビジョン受信機が実用化されている。例えば、特開２０１１-２５０３２２号公報（特許文献１）は、サイドバイサイド（Side By Side）方式およびトップアンドボトム（Top And Bottom）方式の映像信号から、各方式に応じた３Ｄ映像信号を生成して、３Ｄ表示を行う表示装置を開示する（特に、図３および図７ならびに対応する説明参照のこと）。

特開２０１１-２５０３２２号公報

サイドバイサイド方式やトップアンドボトム方式といった、立体視表示を行うための特殊な映像信号が用いられる場合には、ユーザは、そのような特殊な映像信号に対応した表示装置を用いなければ立体視表示を楽しむことができない。また、特殊な映像信号に対応した表示装置を有している場合であっても、それ以外の素材を用いて立体視表示を手軽に楽しむということはできない。

ある実施の形態は、立体視表示を手軽に楽しむことができる情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法を提供する。

第１の例示的な実施の形態に従う情報処理装置は、立体視表示が可能な表示部と、被写体を所定周期で撮像することで入力画像を順次生成する第１の生成手段と、入力画像から右眼用画像および左眼用画像を生成する第２の生成手段と、右眼用画像および左眼用画像を用いて、表示部で立体視表示を行う表示制御手段とを含む。この実施の形態によれば、立体視表示を行うための特殊な映像信号に対応した表示装置がなくとも、立体視表示を楽しむことができる。

第２の例示的な実施の形態において、上記第２の生成手段は、入力画像の第１の領域および第２の領域をそれぞれ抽出することで、右眼用画像および左眼用画像を生成する。この実施の形態によれば、ステレオ画像が同一平面に並べて配置されたような素材画像を用いて立体視表示を楽しむことができる。

第３の例示的な実施の形態において、第２の生成手段は、入力画像の第１の領域および第２の領域から右眼用画像および左眼用画像をそれぞれ生成する。この実施の形態によれば、入力画像に設定されたそれぞれの領域に応じた右眼用画像および左眼用画像を生成できる。

第４の例示的な実施の形態において、第２の生成手段は、第１の領域と第２の領域とを互いに重複しないように設定する。この実施の形態は、平行法／交差法による立体視映像の素材画像に好適である。

第５の例示的な実施の形態において、上記第１の領域および第２の領域の各々は、入力画像を２分割したそれぞれの部分画像の少なくとも一部に設定される。この実施の形態によれば、ステレオ画像が同一平面に並べて配置されたような素材画像に対して、立体視表示に必要な画像を生成する処理を簡素化できる。

第６の例示的な実施の形態において、第１の領域および第２の領域は、同一形状に設定される。この実施の形態によれば、素材に表現されている画像間の視差を維持できる。

第７の例示的な実施の形態に従う情報処理装置は、入力画像を表示するとともに、表示された入力画像に対する第１の領域および第２の領域の範囲の設定を受け付ける入力手段をさらに含み、上記第２の生成手段は、入力手段が受け付けた設定に従って、右眼用画像および左眼用画像を生成する範囲を変更する。この実施の形態によれば、素材画像を撮像した結果を見ながら、ユーザは右眼用画像および左眼用画像を生成する範囲を容易に設定できる。

第８の例示的な実施の形態において、上記被写体は、オブジェクトを第１の視点で描画した第１の画像と、オブジェクトを第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に並べて配置された画像を含む。

第９の例示的な実施の形態において、上記第２の生成手段は、入力画像に含まれる第１の色成分および第２の色成分をそれぞれ抽出することで、右眼用画像および左眼用画像を生成する。この実施の形態によれば、アナグリフ画像のような、分割された色成分で表現された素材画像から立体視表示を行うことができる。

第１０の例示的な実施の形態において、第１の色成分および第２の色成分は、互いに補色となるように選択される。

第１１の例示的な実施の形態に従う情報処理装置は、右眼用画像および左眼用画像の彩度を調整する調整手段をさらに含む。この実施の形態によれば、立体視表示される際のユーザの負担を軽減できる。

第１２の例示的な実施の形態において、被写体は、第１の色成分を主としてオブジェクトを第１の視点で描画した第１の画像と、第２の色成分を主としてオブジェクトを第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に重ねて配置された画像を含む。

第１３の例示的な実施の形態に従う情報処理装置は、携帯可能に構成される。この実施の形態によれば、ユーザは手軽に立体視表示を楽しむことができる。

第１４の例示的な実施の形態に従えば、立体視表示が可能な表示部を有するコンピュータで実行される情報処理プログラムが提供される。情報処理プログラムは、コンピュータに、被写体を所定周期で撮像することで入力画像を順次生成する第１の生成ステップと、入力画像から右眼用画像および左眼用画像を生成する第２の生成ステップと、右眼用画像および左眼用画像を用いて、表示部で立体視表示を行う表示ステップとを実行させる。

第１５の例示的な実施の形態に従う情報処理システムは、立体視表示が可能な表示装置と、被写体を所定周期で撮像することで入力画像を順次生成する第１の生成手段と、入力画像から右眼用画像および左眼用画像を生成する第２の生成手段と、右眼用画像および左眼用画像を用いて、表示装置で立体視表示を行う表示制御手段とを含む。

第１６の例示的な実施の形態に従えば、立体視表示が可能な表示部を有するコンピュータで実行される情報処理方法が提供される。情報処理方法は、被写体を所定周期で撮像することで入力画像を順次生成する第１の生成ステップと、入力画像から右眼用画像および左眼用画像を生成する第２の生成ステップと、右眼用画像および左眼用画像を用いて、表示部で立体視表示を行う表示ステップとを含む。

第１４〜第１６の例示的な実施の形態によれば、上述の第１の例示的な実施の形態と同様の利点を得られる。

上述の実施の形態によれば、立体視表示を手軽に楽しむことができる。

本実施の形態に従うゲーム装置の正面図（開状態）である。 本実施の形態に従うゲーム装置の正面図（閉状態）である。 平行法／交差法による立体視映像の素材画像の一例を示す図である。 アナグリフ形式の立体視映像の素材画像の一例を示す図である。 本実施の形態に従うゲーム装置を用いて立体視表示を楽しむ際の使用例を示す図である。 本実施の形態に従うゲーム装置のハードウェア構成を示す模式図である。 本実施の形態に従うゲーム装置の制御構成を示す模式図である。 本実施の形態に従うゲーム装置における右矩形領域および左矩形領域の設定用ユーザインターフェイスの一例を示す図である。 本実施の形態に従うゲーム装置で実行される立体視表示機能に係る処理手順を示すフローチャートである。

本実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜Ａ．全体構成＞
典型的な実施の形態に従う情報処理装置は、携帯型のゲーム装置として具現化される。本実施の形態に従うゲーム装置は、プロセッサなどを搭載するコンピュータであり、立体視表示が可能な表示部（表示装置）を有している。

別の実施の形態に従う情報処理装置は、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistance）、デジタルカメラなどとして具現化される。

さらに別の実施の形態に従えば、立体視表示が可能な表示部を有するコンピュータを制御する情報処理プログラムとして具現化される。さらに別の実施の形態に従えば、立体視表示が可能な表示装置と、当該表示装置を利用可能な制御主体とを含む情報処理システムとして具現化される。さらに別の実施の形態に従えば、立体視表示が可能な表示装置と、撮像装置と、当該表示装置および撮像装置を利用可能な制御主体とが連係して実行される情報処理方法として具現化される。

以下では、典型例として、携帯型のゲーム装置として具現化した構成について説明する。

＜Ｂ．ゲーム装置の外観構成＞
まず、本実施の形態に従うゲーム装置１の外観構成について説明する。

図１は、本実施の形態に従うゲーム装置１の正面図（開状態）である。図２は、本実施の形態に従うゲーム装置１の正面図（閉状態）である。

図１および図２に示すように、ゲーム装置１は、上側ハウジング２と下側ハウジング３とを有し、折り畳み可能に構成されるとともに、ユーザによる携帯に適したサイズに構成されている。すなわち、ゲーム装置１は、開いた状態および閉じた状態のいずれにおいても、ユーザが両手または片手で把持できるようになっている。

上側ハウジング２には、立体視表示が可能な表示部（表示装置）として、ＬＣＤ（Liquid Crystal Display：液晶表示装置）４が設けられている。上側ＬＣＤ４の具体的な実装例としては、パララックスバリア方式の表示デバイスを採用できる。代替の構成として、レンチキュラ方式またはシャッタメガネ方式（時分割方式）の表示デバイスを採用してもよい。後述するように、上側ＬＣＤ４には、右眼用画像および左眼用画像がそれぞれ提供されることで、ユーザに立体視表示を提供する。

下側ハウジング３には、表示部（表示装置）として、下側ＬＣＤ５が設けられている。下側ＬＣＤ５としては、立体視表示が可能な表示デバイスを採用してもよいが、本実施の形態においては、オブジェクトや各種情報などを非立体視表示（平面表示）すれば十分であるので、一般的な表示デバイスが採用される。さらに、下側ＬＣＤ５と関連付けて、入力部（入力手段）として、タッチパネル６が設けられている。タッチパネル６は、典型的には、抵抗膜方式または静電容量式のポインティングデバイスが採用される。

下側ハウジング３には、ユーザが各種操作を行うための操作部（操作手段）として、ボタン群７と、十字ボタン８と、コントロールパッド９とが設けられている。さらに、電源ボタンやその他の操作を行うためのボタンが設けられている。

ゲーム装置１は、何らかの被写体を撮像するための撮像装置（撮像手段）として、内側カメラ１１（図１参照）ならびに外側カメラ１０Ｒおよび１０Ｌ（図２参照）が上側ハウジング２に設けられている。後述するように、ゲーム装置１は、いずれかのカメラで被写体を撮像することで生成される入力画像を用いて、上側ＬＣＤ４において立体視表示を行う。なお、外側カメラ１０Ｒおよび１０Ｌは、いわゆるステレオカメラとして機能することもできるが、本実施の形態に従う立体視表示の機能を実行する際には、外側カメラ１０Ｒおよび１０Ｌのうち一方のみが有効化される。

＜Ｃ．立体視表示機能の概要＞
次に、本実施の形態に従う立体視表示機能の概要について説明する。

本実施の形態に従う立体視表示機能は、ゲーム装置１に搭載されたカメラ（外側カメラ１０Ｒ、外側カメラ１０Ｌ、内側カメラ１１）および立体視表示が可能な表示部（上側ＬＣＤ４）を利用して、立体視表示をユーザへ提供する。より具体的には、ゲーム装置１は、被写体を周期的にカメラで撮像することで入力画像（二次元表示用の画像）を順次生成するとともに、当該入力画像から右眼用画像および左眼用画像を生成する。そして、この生成された右眼用画像および左眼用画像（立体視表示用の画像）を用いて、上側ＬＣＤ４で立体視表示を行う。

この立体視表示を行うための被写体としては、立体視映像の素材が想定される。
図３は、平行法／交差法による立体視映像の素材画像１００の一例を示す図である。図４は、アナグリフ形式の立体視映像の素材画像１５０の一例を示す図である。

図３に示す素材画像１００は、何らかのオブジェクトを異なる視点を有する２つのカメラで撮像（ステレオ撮像）することで生成されるステレオ画像（右眼用画像および左眼用画像）を横に並べたものである。すなわち、ゲーム装置１のカメラで撮像される被写体となる素材画像１００では、オブジェクトを第１の視点で描画した第１の画像１０１と、当該オブジェクトを第１の視点とは異なる第２の視点で描画した第２の画像１０２とが同一面内に並べて配置されている。このステレオ画像（右眼用画像および左眼用画像）の配置方法としては、典型的には平行法および交差法があり、いずれか一方に従って素材画像１００が作成される。

平行法によれば、ユーザが素材画像１００の右側に配置された第２の画像１０２を右眼で見るとともに、素材画像１００の左側に配置された第１の画像１０１を左眼で見ることで、立体視表示ができるように視差が与えられている。すなわち、平行法に従って作成された素材画像１００では、左眼用の画像がユーザから見て左側に配置され、右眼用の画像が右側に配置されている。

これに対して、交差法によれば、ユーザが素材画像の左側に配置された第１の画像を右眼で見るとともに、素材画像の右側に配置された第２の画像を左眼で見ることで、立体視表示ができるように視差が与えられている。すなわち、交差法に従って作成された素材画像では、左眼用の画像がユーザから見て右側に配置され、右眼用の画像が左側に配置されている。なお、平行法と交差法との間では、ユーザがそれぞれの眼で見る状態が異なるので、第１の画像同士および第２の画像同士も異なった内容となる。

平行法または交差法によれば、ユーザが見た場合に横方向に画像が配置されるように、サイドバイサイド（Side By Side）方式が採用されるが、上下方向に画像が配置されるトップアンドボトム（Top And Bottom）方式を採用してもよい。

図４に示す素材画像１５０は、右眼用画像および左眼用画像がそれぞれ異なる色成分に分けて（分割された色成分で）表現された状態で、１枚の画像として合成したものである。ユーザは、この異なる色に対応するメガネを用いることで、立体視表示を楽しむことができる。なお、説明の便宜上、図４では、一方の色を実線で表現するとともに、他方の色を破線で表現している。すなわち、ゲーム装置１のカメラで撮像される被写体となる素材画像１５０では、オブジェクトを第１の視点から見た内容を主として第１の色成分で描画した第１の画像１５１と、当該オブジェクトを第１の視点とは異なる第２の視点から見た内容を主として第２の色成分で描画した第２の画像１５２とが同一面内に重ねて配置したものである。

アナグリフ画像に用いられる２つの色（第１の色成分および第２の色成分）は、互いに補色となるように選択されることが好ましい。例えば、ＲＧＢ／ＣＭＹ表色系によれば、（１）赤色（Ｒ）と青緑色（シアン）（Ｃ）との組合せ、（２）緑（Ｇ）と紫（マゼンタ）（Ｍ）との組合せ、（３）青（Ｂ）と黄色（イエロー）（Ｙ）との組合せ、などが考えられる。

図５は、本実施の形態に従うゲーム装置１を用いて立体視表示を楽しむ際の使用例を示す図である。図５には、一例として、立体視表示に対応していないテレビジョン受信機２００に、サイドバイサイド方式の映像信号が入力されている例を示す。ユーザがゲーム装置１の外側カメラ１０Ｒまたは１０Ｌを用いて、テレビジョン受信機２００の表示面を被写体として撮像すると、後述するような処理が実行されて、テレビジョン受信機２００の表示面に表示されている素材画像から右眼用画像および左眼用画像が生成される。そして、この生成された右眼用画像および左眼用画像を用いて、上側ＬＣＤ４においてその被写体に含まれるオブジェクトが立体視表示される。

また、ゲーム装置１のカメラを用いて、図３に示す素材画像１００を撮像した場合も同様に、図５に示すような立体視表示が行われる。さらに、ゲーム装置１のカメラを用いて、図４に示すアナグリフ画像である素材画像１５０を撮像した場合も同様に、図５に示すような立体視表示が行われる。

本実施の形態に従う立体視表示機能は、図３および図５に示すような立体視映像の素材から立体視表示を行う処理と、図４に示すアナグリフ画像のような立体視映像の素材から立体視表示を行う処理とを実行可能となっている。以下の説明では、説明の便宜上、前者を「サイドバイサイドモード」と称し、後者を「アナグリフモード」と称す。なお、「サイドバイサイドモード」との名称は便宜上であり、トップアンドボトム方式のような、上下方向に右眼用画像および左眼用画像が配置される素材にも適用可能であることは自明である。

＜Ｄ．ゲーム装置のハードウェア構成＞
次に、本実施の形態に従うゲーム装置１のハードウェア構成について説明する。

図６は、本実施の形態に従うゲーム装置１のハードウェア構成を示す模式図である。図６を参照して、ゲーム装置１は、その主たるハードウェアとして、ＣＰＵ（Central Processing Unit）２０と、ＧＰＵ（Graphical Processing Unit）２２と、ＲＡＭ（Random Access Memory）２４と、フラッシュメモリ２６と、ディスプレイ駆動部２８と、入出力インターフェイス（Ｉ／Ｆ）３０とを含む。これらのコンポーネントは、バス３２を介して互いに接続されている。

ＣＰＵ２０は、ゲーム装置１における各種制御を実行する処理主体となるプロセッサである。ＧＰＵ２２は、上側ＬＣＤ４および下側ＬＣＤ５での表示に必要な処理をＣＰＵ２０と協働して実行する。ＲＡＭ２４は、ＣＰＵ２０およびＧＰＵ２２でのプログラムの実行に必要なデータやパラメータなどを格納するワーキングメモリとして機能する。フラッシュメモリ２６は、ＣＰＵ２０で実行される情報処理プログラム９０や、ユーザが設定した各種パラメータなどを不揮発的に格納する。

ディスプレイ駆動部２８は、上側ＬＣＤ４および下側ＬＣＤ５で画像を表示するための駆動指令を与える。ディスプレイ駆動部２８は、立体視表示が可能な上側ＬＣＤ４に対して、右眼用画像および左眼用画像を表示させるための信号を与えるとともに、下側ＬＣＤ５に対して、表示用画像を表示させるための信号を与える。ディスプレイ駆動部２８は、ＣＰＵ２０および／またはＧＰＵ２２からの描画命令などに従って、上側ＬＣＤ４へ与える右眼用画像および左眼用画像を示すデータを一時的に保持するＶＲＡＭ（Video Random Access Memory）２８１および２８２（ＶＲＡＭ１ＲおよびＶＲＡＭ１Ｌ）と、下側ＬＣＤ５へ与える表示画像を示すデータを一時的に保持するＶＲＡＭ２８３（ＶＲＡＭ２）とを含む。

入出力インターフェイス３０は、入力部（入力手段）である、タッチパネル６および操作部（ボタン群７、十字ボタン８、コントロールパッド９）を介したユーザからの操作を受け付け、その操作内容をＣＰＵ２０へ出力する。また、入出力インターフェイス３０は、外側カメラ１０Ｒおよび１０Ｌならびに内側カメラ１１で撮像された画像データを受け付け、その画像データをＣＰＵ２０などへ出力する。さらに、入出力インターフェイス３０は、図示しないインジケータ（表示器）やスピーカなどと接続されており、光や音をユーザへ与える。

外側カメラ１０Ｒおよび１０Ｌならびに内側カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳイメージセンサといった撮像素子と、撮像素子で取得された画像データを読出すための周辺回路とを含む。

＜Ｅ．ゲーム装置の制御構成＞
次に、本実施の形態に従うゲーム装置１の立体視表示機能を実現するための制御構成について説明する。

（ｅ１：全体構成）
図７は、本実施の形態に従うゲーム装置１の制御構成を示す模式図である。図７を参照して、ゲーム装置１は、その制御構成として、撮像制御部５０と、セレクタ５２と、領域抽出部６０と、領域設定部６２と、比率調整部６４と、画像配置部６６と、色抽出部７０と、彩度調整部７２と、表示バッファ８０とを含む。これらの機能モジュールは、典型的には、ゲーム装置１のＣＰＵ２０が、ＧＰＵ２２、ＲＡＭ２４、フラッシュメモリ２６、入出力インターフェイス３０などの物理コンポーネントを利用しつつ、情報処理プログラム９０を実行することで実現される。

これらの機能モジュールのうち、領域抽出部６０、領域設定部６２、比率調整部６４、および画像配置部６６は、主として、サイドバイサイドモードが選択されたときに有効化される。色抽出部７０および彩度調整部７２は、主として、アナグリフモードが選択されたときに有効化される。一方、撮像制御部５０、セレクタ５２、および表示バッファ８０は、共通的に利用される。

実際の使用時において、立体視映像の素材画像に応じて、ユーザは、サイドバイサイドモードまたはアナグリフモードを選択する。すると、それぞれ対応する機能モジュールが有効化され、カメラ１０Ｒ，１０Ｌ，１１のいずれかで撮像された入力画像から右眼用画像および左眼用画像が生成され、上側ＬＣＤ４へ出力されることで、立体視表示が実現される。

以下、各機能モジュールの処理内容について説明する。
（ｅ２：撮像処理）
撮像制御部５０は、ユーザ操作に応答して、カメラ１０Ｒ，１０Ｌ，１１のうち選択されたカメラに対して撮像指令を与えることで、当該カメラを有効化する。そして、撮像制御部５０は、当該選択されたカメラが被写体を撮像することで生成される画像データを内部の入力画像バッファ５１に格納する。

基本的には、カメラでの撮像は周期的に繰り返される。そして、画像データが入力される毎に後述の処理が実行されるので、カメラで撮像された被写体から生成される立体視表示は、リアルタイムで更新されることになる。すなわち、選択されたカメラおよび撮像制御部５０は、被写体を所定周期で撮像することで入力画像を順次生成する生成手段として機能する。

入力画像バッファ５１に格納される画像データが入力画像として出力されると、セレクタ５２は、その入力画像をユーザが選択したモードに応じて、領域抽出部６０または色抽出部７０へ出力する。

（ｅ３：サイドバイサイドモード）
サイドバイサイドモードが選択されると、撮像制御部５０で生成された入力画像は、入力画像バッファ５１から領域抽出部６０へ入力され、右眼用画像および左眼用画像の生成が開始される。すなわち、領域抽出部６０、比率調整部６４、および画像配置部６６は、入力画像から右眼用画像および左眼用画像を生成する生成手段として機能する。

領域抽出部６０は、入力画像の右矩形領域および左矩形領域をそれぞれ抽出することで、右領域画像および左領域画像を生成する。この右領域画像および左領域画像は、後述する比率調整部６４および画像配置部６６による処理を経て、右眼用画像および左眼用画像として出力される。したがって、右眼用画像および左眼用画像として出力される範囲は、右矩形領域および左矩形領域によって決定されることになる。すなわち、領域抽出部６０は、入力画像の右矩形領域および左矩形領域から右眼用画像および左眼用画像をそれぞれ生成する。

より具体的には、領域抽出部６０は、設定された右矩形領域および左矩形領域の範囲を示す座標値に基づいて、その座標値で定義される矩形領域内にある入力画像の一部（部分画像）を抽出する。すなわち、右領域画像および左領域画像は、入力画像の部分画像となる。

入力画像に設定される右矩形領域および左矩形領域の形状、サイズおよび位置については、予め設定されたデフォルト値に従って決定されてもよいし、ユーザが任意に設定するようにしてもよい。

図３および図５を用いて説明したように、サイドバイサイドモードで撮像される素材画像では、典型的に、ステレオ画像を並べて配置したものである。そのため、入力画像に設定される境界線を中心として、右矩形領域および左矩形領域を対称的に設定してもよい。最も単純には、入力画像を２分割（半分に）したそれぞれの部分画像を右領域画像および左領域画像として出力してもよい。あるいは、入力画像を２分割（半分に）したそれぞれの部分画像のそれぞれの一部を右領域画像および左領域画像として出力してもよい。すなわち、右矩形領域および左矩形領域の各々は、入力画像を２分割したそれぞれの部分画像の少なくとも一部に設定されてもよい。

なお、ステレオ画像に設定されている視差（画素間の対応関係）を維持するため、右矩形領域および左矩形領域は、同一形状（同一サイズ）に設定されることが好ましい。あわせて、右矩形領域および左矩形領域とは互いに重複しないように設定されることが好ましい。

右矩形領域および左矩形領域の形状、サイズおよび位置については、ユーザがインタラクティブに設定できることが好ましい。そこで、領域設定部６２は、下側ＬＣＤ５に入力画像を二次元表示するとともに、表示された入力画像に対する右矩形領域および左矩形領域の範囲の設定を受け付ける。領域設定部６２が受け付けたユーザからの範囲の設定は、領域抽出部６０へ出力される。領域抽出部６０は、領域設定部６２が受け付けた設定に従って、右領域領域（右眼用画像）および左領域領域（左眼用画像）を生成する範囲を変更する。

図８は、本実施の形態に従うゲーム装置１における右矩形領域および左矩形領域の設定用ユーザインターフェイスの一例を示す図である。図８に示すように、カメラで被写体（立体視映像の素材）を撮像することで生成される入力画像が下側ＬＣＤ５に表示されるとともに、その入力画像の上に、設定されている右矩形領域および左矩形領域を示す表示枠１６および１８がオーバラップ表示される。この表示枠１６および１８のいずれか一方に対して、ユーザが変更する操作を行うと、設定されている右矩形領域および左矩形領域が連動して変更される。

すなわち、図８に示すユーザインターフェイスでは、カメラによって生成された入力画像が非立体視表示（平面表示）されるとともに、右眼用画像および左眼用画像として出力される一対の矩形領域が変更可能に表示される。

図８に示す表示枠１６および１８は、その四隅に操作可能なポイントが設けられている。ユーザは、スタイラスペン１４などを用いて、いずれかのハンドリングポイントをドラッグすることで、表示枠１６および１８の形状が連動して変化する。このとき、右矩形領域および左矩形領域の形状および／またはサイズが互いに同一に保たれるように、表示枠１６および１８のいずれか一方に対する操作がなされると、他方の表示枠についても形状（サイズ）が変更される。より具体的には、下側ＬＣＤ５の左右中心軸を中心として、表示枠１６および表示枠１８は対称的にその形状（サイズ）が変更される。

上述のような処理によって入力画像から抽出された右領域画像および左領域画像は、比率調整部６４へ出力される。比率調整部６４は、入力された右領域画像および左領域画像の縦横比率や全体サイズを調整する。例えば、サイドバイサイド方式の映像信号では、本来表示される右眼用画像および左眼用画像がそれぞれ１／２に圧縮されているので、比率調整部６４は、このような圧縮された画像を本来の比率に戻す処理を行う。

比率調整部６４によって調整された後の右領域画像および左領域画像は、画像配置部６６へ出力される。画像配置部６６は、カメラで撮像された立体視映像の素材画像が平行法に従って作成されたものであるか、あるいは交差法に従って作成されたものであるかを示すユーザからの情報を受けて、最終的に右眼用画像および左眼用画像として出力する画像の配置を決定する。

より具体的には、立体視映像の素材画像が平行法に従って作成されたものである場合には、画像配置部６６は、調整後の右領域画像を右眼用画像として出力するとともに、調整後の左領域画像を左眼用画像として出力する。これに対して、立体視映像の素材画像が交差法に従って作成されたものである場合には、画像配置部６６は、調整後の左領域画像を右眼用画像として出力するとともに、調整後の右領域画像を左眼用画像として出力する。すなわち、画像配置部６６は、交差法が指定された場合には、右領域画像と左領域画像との配置順序を入れ替える。

画像配置部６６から出力される右眼用画像および左眼用画像は、それぞれ表示バッファ８０の右眼用表示バッファ８１および左眼用表示バッファ８２へ格納される。

なお、立体視映像の素材画像とカメラとの間の位置関係がずれている場合には、入力画像に歪みが生じる。この場合には、素材画像に含まれる特徴的な領域などを検出して、この入力画像の歪みを補正する処理を前処理として行ってもよい。

例えば、位置合わせマークなどが印刷された素材画像では、その位置合わせマークに基づく画像処理を行うことで、入力画像に対して右矩形領域および左矩形領域を自動的に設定するようにしてもよい。

また、カメラの光学的な歪みや素材画像の歪みなどの要因によって、生成される右眼用画像および左眼用画像の間の対応関係がずれる可能性がある。このような場合には、ユーザが右眼用画像および左眼用画像として出力する範囲、すなわち設定される右矩形領域および左矩形領域をユーザが微調整できるようにしてもよい。あるいは、この微調整についても、画像処理を用いて自動的に行うようにしてもよい。

（ｅ４：アナグリフモード）
アナグリフモードが選択されると、撮像制御部５０で生成された入力画像は、入力画像バッファ５１から色抽出部７０へ入力され、右眼用画像および左眼用画像の生成が開始される。すなわち、色抽出部７０および彩度調整部７２は、入力画像から右眼用画像および左眼用画像を生成する生成手段として機能する。

色抽出部７０は、入力画像に含まれる第１の色成分および第２の色成分をそれぞれ抽出することで、第１の色画像および第２の色画像を生成する。この第１の色画像および第２の色画像は、後述する彩度調整部７２による処理を経て、右眼用画像および左眼用画像として出力される。

より具体的には、入力画像は、各画素について各色の階調値を示す情報を含む。典型的には、入力画像は、ｉ番目の画素について（Ｒｉ，Ｇｉ，Ｂｉ）の情報を含む。ここで、（Ｒｉ，Ｇｉ，Ｂｉ）は、赤色の濃度（階調値）、緑色の濃度（階調値）、青色の濃度（階調値）を示す。

例えば、立体視映像の素材画像が赤色と青緑色（シアン）との組合せによって表現されたアナグリフ画像である場合には、色抽出部７０は、まず、第１の色成分として、入力画像の各画素の赤成分を抽出して第１の色画像を生成する。この第１の色画像は、ｉ番目の画素について（Ｒｉ，０，０）の情報を含む。次に、色抽出部７０は、第２の色成分として、入力画像の各画素の緑成分および青成分を抽出して第２の色画像を生成する。この第２の色画像は、ｉ番目の画素について（０，Ｇｉ，Ｂｉ）の情報を含む。

上述のような処理によって入力画像から抽出された第１の色画像および第２の色画像は、彩度調整部７２へ出力される。彩度調整部７２は、第１の色画像および第２の色画像の彩度を調整する。これは、アナグリフモードでは、抽出された第１の色画像および第２の色画像の間は、例えば、赤色と青緑色（シアン）という補色の関係にある。すなわち、第１の色画像と第２の色画像との色が極端に異なっており、素材画像の種類によっては、ユーザの目に負担を与える可能性があり得る。そこで、彩度調整部７２は、出力される右眼用画像および左眼用画像の間の彩度がなるべく近くなるように、第１の色画像および第２の色画像の彩度を調整する。

より具体的には、ユーザは、ゲーム装置１の操作部を介して彩度調整の指示を入力することができる。彩度調整部７２は、この彩度調整情報に従って、第１の色画像および第２の色画像の彩度を調整する。彩度を最大限に維持することが指示されている場合には、彩度調整部７２は、基本的には、入力される第１の色画像および第２の色画像をそのまま右眼用画像および左眼用画像として出力する。これに対して、彩度を低減するように指示されている場合には、彩度調整部７２は、第１の色画像の赤成分をモノクロ化するとともに、第２の色画像の緑成分および青成分をモノクロ化した上で、右眼用画像および左眼用画像として出力する。

このモノクロ化の処理例について説明する。例えば、第１の色画像のｉ番目の画素が（Ｒｉ，Ｇｉ，Ｂｉ）＝（１００，０，０）といった階調値を有しているとする。この第１の色画像のｉ番目の画素に対しては、（１００，０，０）→（１００，５０，５０）→（１００，１００，１００）といった具合に、緑成分および青成分を徐々に増加させることで、彩度を小さくする。また、第２の色画像のｉ番目の画素が（Ｒｉ，Ｇｉ，Ｂｉ）＝（０，５０，１００）といった階調値を有しているとする。この第２の色画像のｉ番目の画素に対しては、（０，５０，１００）→（２０，７０，９８）→（９０，９０，９０）といった具合に、赤成分を徐々に増加させることで、彩度を小さくする。

なお、調整後の第１の色画像と第２の色画像との間で画像全体の明るさをバランスすることが好ましい。そのため、人間の視感度などを考慮して、赤成分、緑成分、青成分の増減量を適宜調整することが好ましい。

彩度調整部７２から出力される右眼用画像および左眼用画像は、それぞれ表示バッファ８０の右眼用表示バッファ８１および左眼用表示バッファ８２へ格納される。

（ｅ５：画像出力処理）
表示バッファ８０は、右眼用表示バッファ８１および左眼用表示バッファ８２にそれぞれ格納される右眼用画像および左眼用画像を上側ＬＣＤ４へ順次出力する。これによって、上側ＬＣＤ４において立体視表示が提供される。すなわち、表示バッファ８０は、右眼用画像および左眼用画像を用いて、表示部である上側ＬＣＤ４で立体視表示を行う表示制御手段として機能する。

＜Ｆ．処理手順＞
次に、本実施の形態に従う立体視表示機能に係る処理手順について説明する。

図９は、本実施の形態に従うゲーム装置１で実行される立体視表示機能に係る処理手順を示すフローチャートである。図９に示す処理手順は、典型的には、ゲーム装置１のＣＰＵ２０がプログラムを実行することで実現される。ゲーム装置１で実行されるプログラムは、単一でなくともよく、ＯＳ（Operating System）が提供するライブラリなどを利用して実行されてもよい。

図９を参照して、ゲーム装置１のＣＰＵ２０は、選択されたカメラで被写体（素材画像）を撮像することで入力画像を生成する（ステップＳ１００）。続いて、ゲーム装置１のＧＰＵ２２は、選択されているモードを判断する（ステップＳ１０２）。

サイドバイサイドモードが選択されている場合（ステップＳ１０２において「サイドバイサイド」の場合）には、ゲーム装置１のＣＰＵ２０は、予め設定されている、またはユーザが設定した右矩形領域および左矩形領域の座標値を取得する（ステップＳ１１０）。

そして、ゲーム装置１のＣＰＵ２０は、入力画像に対して設定される右矩形領域に含まれる部分画像（右領域画像）を抽出する（ステップＳ１１２）。続いて、ゲーム装置１のＣＰＵ２０は、（設定に応じて）抽出した右領域画像についての縦横比率や全体サイズを調整し、右眼用画像として右眼用表示バッファ８１に出力する（ステップＳ１１４）。

ステップＳ１１２およびＳ１１４の実行後または実行と並行して、ゲーム装置１のＣＰＵ２０は、入力画像に対して設定される左矩形領域に含まれる部分画像（左領域画像）を抽出する（ステップＳ１１６）。続いて、ゲーム装置１のＧＰＵ２２は、（設定に応じて）抽出した左領域画像についての縦横比率や全体サイズを調整し、左眼用画像として左眼用表示バッファ８２に出力する（ステップＳ１１８）。そして、ステップＳ１３０の処理が実行される。

なお、ステップＳ１１４およびＳ１１８において、交差法が選択されている場合には、調整後の右領域画像および左領域画像は、入れ替えられて、それぞれ左眼用表示バッファ８２および右眼用表示バッファ８１へ出力される。

再度ステップＳ１０２に戻って、アナグリフモードが選択されている場合（ステップＳ１０２において「サイドバイサイド」の場合）には、ゲーム装置１のＣＰＵ２０は、入力画像に含まれる第１の色成分を抽出して第１の色画像を生成する（ステップＳ１２０）。続いて、ゲーム装置１のＧＰＵ２２は、（設定に応じて）生成した第１の色画像についての彩度を調整し、右眼用画像として右眼用表示バッファ８１に出力する（ステップＳ１２２）。

ステップＳ１２０およびＳ１２２の実行後または実行と並行して、ゲーム装置１のＣＰＵ２０は、入力画像に含まれる第２の色成分を抽出して第２の色画像を生成する（ステップＳ１２４）。続いて、ゲーム装置１のＧＰＵ２２は、（設定に応じて）生成した第２の色画像についての彩度を調整し、左眼用画像として左眼用表示バッファ８２に出力する（ステップＳ１２６）。そして、ステップＳ１３０の処理が実行される。

ステップＳ１３０において、ゲーム装置１のＧＰＵ２２は、右眼用表示バッファ８１および左眼用表示バッファ８２にそれぞれ書込まれた右眼用画像および左眼用画像を上側ＬＣＤ４へ出力することで立体視表示を行う（ステップＳ１３０）。そして、ゲーム装置１のＣＰＵ２０は、立体視表示機能の終了が指示されているか否かを判断する（ステップＳ１３２）。立体視表示機能の終了が指示されていない場合（ステップＳ１３２においてＮＯの場合）には、ステップＳ１００以下の処理が繰り返される。

これに対して、立体視表示機能の終了が指示された場合（ステップＳ１３２においてＹＥＳの場合）には、処理を終了する。

＜Ｇ．その他の形態＞
上述した構成に加えて、以下のような形態を採用することもできる。

（１）撮像装置（撮像手段）と表示装置（表示部）とが別体
上述のゲーム装置１では、撮像装置であるカメラと立体視表示が可能な表示装置とが同一の筐体に実装されているが、両者を別体として構成してもよい。

（２）立体感の調整
上述のゲーム装置１において生成された右眼用画像および左眼用画像をそのまま上側ＬＣＤ４に描画するのではなく、両画像の相対的な描画位置をずらすことで、立体感を調整可能にしてもよい。

（３）多視点画像への適用
上述のゲーム装置１では、主として、立体視表示を行うための素材画像を例に説明したが、所定の視差が与えられた複数のカメラで被写体を撮像することで得られる多視点画像に適用可能である。例えば、異なる視野範囲を撮像することで得られた複数の画像をつなぎ合わせたパノラマ画像などにも本実施の形態は適用できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ゲーム装置、２ 上側ハウジング、３ 下側ハウジング、４ 上側ＬＣＤ、５ 下側ＬＣＤ、６ タッチパネル、７ ボタン群、８ 十字ボタン、９ コントロールパッド、１０Ｌ，１０Ｒ 外側カメラ、１１ 内側カメラ、１４ スタイラスペン、１６，１８ 表示枠、２０ ＣＰＵ、２２ ＧＰＵ、２４ ＲＡＭ、２６ フラッシュメモリ、２８ ディスプレイ駆動部、３０ 入出力インターフェイス、３２ バス、５０ 撮像制御部、５１ 入力画像バッファ、５２ セレクタ、６０ 領域抽出部、６２ 領域設定部、６４ 比率調整部、６６ 画像配置部、７０ 色抽出部、７２ 彩度調整部、８０ 表示バッファ、８１ 右眼用表示バッファ、８２ 左眼用表示バッファ、９０ 情報処理プログラム、１００，１５０ 素材画像、１０１，１５１ 第１の画像、１０２，１５２ 第２の画像、２００ テレビジョン受信機、２８１，２８２，２８３ ＶＲＡＭ。

Claims (20)

1. 情報処理装置であって、
   立体視表示が可能な表示部と、
   オブジェクトを第１の視点で描画した第１の画像と前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に並べて配置された画像を撮像することで、入力画像を生成する第１の生成手段と、
   前記入力画像から右眼用画像および左眼用画像を生成する第２の生成手段と、
   前記右眼用画像および左眼用画像を用いて、前記表示部で立体視表示を行う表示制御手段とを備える、情報処理装置。
2. 前記第２の生成手段は、前記入力画像の第１の領域および第２の領域をそれぞれ抽出することで、前記右眼用画像および左眼用画像を生成する、請求項１に記載の情報処理装置。
3. 前記第２の生成手段は、前記入力画像の第１の領域および第２の領域から前記右眼用画像および左眼用画像をそれぞれ生成する、請求項２に記載の情報処理装置。
4. 前記第２の生成手段は、前記第１の領域と前記第２の領域とを互いに重複しないように設定する、請求項２または３に記載の情報処理装置。
5. 前記第１の領域および前記第２の領域の各々は、前記入力画像を２分割したそれぞれの部分画像の少なくとも一部に設定される、請求項２〜４のいずれか１項に記載の情報処理装置。
6. 前記第１の領域および前記第２の領域は、同一形状に設定される、請求項２〜５のいずれか１項に記載の情報処理装置。
7. 前記入力画像を表示するとともに、表示された入力画像に対する前記第１の領域および前記第２の領域の範囲の設定を受け付ける入力手段をさらに備え、
   前記第２の生成手段は、前記入力手段が受け付けた設定に従って、前記右眼用画像および左眼用画像を生成する範囲を変更する、請求項２〜６のいずれか１項に記載の情報処理装置。
8. 情報処理装置であって、
   立体視表示が可能な表示部と、
   第１の色成分を主としてオブジェクトを第１の視点で描画した第１の画像と、第２の色成分を主として前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に重ねて配置された画像を撮像することで、入力画像を生成する第１の生成手段と、
   前記入力画像から右眼用画像および左眼用画像を生成する第２の生成手段と、
   前記右眼用画像および左眼用画像を用いて、前記表示部で立体視表示を行う表示制御手段とを備える、情報処理装置。
9. 前記第２の生成手段は、前記入力画像に含まれる前記第１の色成分および前記第２の色成分をそれぞれ抽出することで、前記右眼用画像および前記左眼用画像を生成する、請求項８に記載の情報処理装置。
10. 前記第１の色成分および前記第２の色成分は、互いに補色となるように選択される、請求項９に記載の情報処理装置。
11. 前記右眼用画像および前記左眼用画像の彩度を調整する調整手段をさらに備える、請求項９または１０に記載の情報処理装置。
12. 前記情報処理装置は、携帯可能に構成される、請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記第１の生成手段は、繰り返し撮像を行うことで前記入力画像を順次生成する、請求項１〜１２のいずれか１項に記載の情報処理装置。
14. 前記第１の生成手段は、所定周期で撮像を行うことで前記入力画像を順次生成する、請求項１３に記載の情報処理装置。
15. 立体視表示が可能な表示部を有するコンピュータで実行される情報処理プログラムであって、前記コンピュータに
    オブジェクトを第１の視点で描画した第１の画像と前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に並べて配置された画像を撮像することで、入力画像を生成する第１の生成ステップと、
    前記入力画像から右眼用画像および左眼用画像を生成する第２の生成ステップと、
    前記右眼用画像および左眼用画像を用いて、前記表示部で立体視表示を行う表示ステップとを実行させる、情報処理プログラム。
16. 立体視表示が可能な表示部を有するコンピュータで実行される情報処理プログラムであって、前記コンピュータに
    第１の色成分を主としてオブジェクトを第１の視点で描画した第１の画像と、第２の色成分を主として前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に重ねて配置された画像を撮像することで、入力画像を生成する第１の生成ステップと、
    前記入力画像から右眼用画像および左眼用画像を生成する第２の生成ステップと、
    前記右眼用画像および左眼用画像を用いて、前記表示部で立体視表示を行う表示ステップとを実行させる、情報処理プログラム。
17. 立体視表示が可能な表示装置と、
    オブジェクトを第１の視点で描画した第１の画像と前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に並べて配置された画像を撮像することで、入力画像を生成する第１の生成手段と、
    前記入力画像から右眼用画像および左眼用画像を生成する第２の生成手段と、
    前記右眼用画像および左眼用画像を用いて、前記表示装置で立体視表示を行う表示制御手段とを備える、情報処理システム。
18. 立体視表示が可能な表示装置と、
    第１の色成分を主としてオブジェクトを第１の視点で描画した第１の画像と、第２の色成分を主として前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に重ねて配置された画像を撮像することで、入力画像を生成する第１の生成手段と、
    前記入力画像から右眼用画像および左眼用画像を生成する第２の生成手段と、
    前記右眼用画像および左眼用画像を用いて、前記表示装置で立体視表示を行う表示制御手段とを備える、情報処理システム。
19. 立体視表示が可能な表示部を有するコンピュータで実行される情報処理方法であって、
    オブジェクトを第１の視点で描画した第１の画像と前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に並べて配置された画像を撮像することで、入力画像を生成する第１の生成ステップと、
    前記入力画像から右眼用画像および左眼用画像を生成する第２の生成ステップと、
    前記右眼用画像および左眼用画像を用いて、前記表示部で立体視表示を行う表示ステップとを含む、情報処理方法。
20. 立体視表示が可能な表示部を有するコンピュータで実行される情報処理方法であって、
    第１の色成分を主としてオブジェクトを第１の視点で描画した第１の画像と、第２の色成分を主として前記オブジェクトを前記第１の視点とは異なる第２の視点で描画した第２の画像とが同一面内に重ねて配置された画像を撮像することで、入力画像を生成する第１の生成ステップと、
    前記入力画像から右眼用画像および左眼用画像を生成する第２の生成ステップと、
    前記右眼用画像および左眼用画像を用いて、前記表示部で立体視表示を行う表示ステップとを含む、情報処理方法。

Images