JP5186715B2 - 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム - Google Patents

表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム Download PDF

Info

Publication number
JP5186715B2
JP5186715B2 JP2010135207A JP2010135207A JP5186715B2 JP 5186715 B2 JP5186715 B2 JP 5186715B2 JP 2010135207 A JP2010135207 A JP 2010135207A JP 2010135207 A JP2010135207 A JP 2010135207A JP 5186715 B2 JP5186715 B2 JP 5186715B2
Authority
JP
Japan
Prior art keywords
display
parallax
operation input
display control
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010135207A
Other languages
English (en)
Other versions
JP2012004663A (ja
Inventor
祐亮 秋房
敏男 仙石
直生 中野
直子 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2010135207A priority Critical patent/JP5186715B2/ja
Priority to US12/858,810 priority patent/US9602809B2/en
Priority to EP10173640.3A priority patent/EP2395760B1/en
Publication of JP2012004663A publication Critical patent/JP2012004663A/ja
Application granted granted Critical
Publication of JP5186715B2 publication Critical patent/JP5186715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Description

本発明は、立体視表示が可能な表示装置を制御するための表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システムに関する。
表示デバイスの開発や画像処理能力の向上などによって、立体視表示を提供する各種表示装置が実用化されつつある。このような立体視表示(立体画像)を実現する基本的な方法として、共通の被写体を異なる観測点で撮像することで得られる、所定の視差を有する一対の画像(ステレオ画像)を用いる方法が知られている。
例えば、特開2006−251683号公報(特許文献1)には、左右のビデオカメラを使用して右側の視差画像と左側の視差画像とを撮影することにより立体画像を形成する立体画像撮影システムが開示されている。この立体画像撮影システムでは、左右のビデオカメラに使用される撮影レンズを制御して焦点距離を変化させることにより、ズーム処理を行うこともできる。
上述の先行技術文献に開示されるような視差を有する一対の画像(左目用画像および右目用画像)を用いて立体視表示を行う場合には、左目用画像がユーザの左目から見えるように、かつ、右目用画像がユーザの右目から見えるように、表示装置上で表示することにより、ユーザにとってみれば、左目用画像と右目用画像との間で重なって表示されている部分が表示装置の表示面付近に見えることになる。
すなわち、左目用画像と右目用画像との間で重なって表示されている部分は、ユーザにとって焦点を合わせやすい部分である。そのため、左目用画像と右目用画像との間で重なって表示される部分に、ユーザが注目したいものなどが位置するように、表示装置の表示面における左目用画像および右目用画像についての視差を調整することが好ましい。
特開2006−251683号公報
ところで、上述の先行技術文献に示されるようなズーム処理などを行うと、左目用画像および右目用画像として表示される範囲(被写体の大きさや位置)が変化することになる。一般的には、ユーザは、被写体のうち特定の部分に注目したい場合などに、ズーム処理などを行うことが多いと考えられる。
このとき、ズーム処理などによって、表示装置上で表示される被写体の大きさや位置が変化することで、ズーム処理前における表示装置上での視差と、ズーム処理後における表示装置上での視差についても異なった状態となってしまう。そのため、ズームをしたときに、ユーザが注目していた部分の視差が変更されてしまう。例えば、ユーザが注目していた部分が表示面付近に見えるように視差が調整されている状態から、ズームをしたときに、その注目していた部分の視差が変更されて表示面付近から離れて見えて、ユーザが注目したいと思っていた部分とは異なる部分が表示装置の表示面付近に見えてしまうことも想定される。
本発明は、このような新規な課題を解決するためになされたものであって、その目的は、ユーザが所望する立体視表示を簡単な操作で実現できる表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システムを提供することである。
本発明の第1の局面に従えば、立体視表示が可能な表示装置に立体視画像を表示するための、入力装置を利用可能な表示制御装置のコンピュータで実行される表示制御プログラムを提供する。本表示制御プログラムは、コンピュータを、入力装置からの操作入力を受付ける操作入力受付手段と、操作入力受付手段が受付けた操作入力の内容に基づいて、立体視画像のズーム処理を行うズーム制御手段と、操作入力受付手段が受付けた操作入力の内容に基づいて、立体視画像の視差を調整する視差制御手段と、ズーム制御手段によってズーム処理された立体視画像を視差制御手段によって調整された視差で表示装置に表示する表示制御手段として機能させる。
この第1の局面によれば、ユーザは、入力装置に対する1つの操作を行うことで、表示装置の表示面において表示される立体視画像をズーム処理することと、立体視画像についての視差を調整することとを同時に実行できる。これにより、ユーザは、単一の操作で、ズームをしながら同時にそのズームにより変化してしまった視差を調整できるので、簡単な操作で注目部分を見やすくズームすることができる。
本発明の第2の局面に従えば、上述の第1の局面において、入力装置は、操作入力として、少なくとも2次元の値を出力する。
この第2の局面によれば、少なくとも2次元の値を操作入力とするので、ズーム処理に関する操作と、視差の調整に関する操作とを独立に規定することができる。
本発明の第3の局面に従えば、上述の第2の局面において、ズーム制御手段は、操作入力に含まれる一方の次元の値に基づいて、立体視画像のズーム処理を行い、視差制御手段は、操作入力に含まれる他方の次元の値に基づいて、立体視画像の視差を調整する。
この第3の局面によれば、操作入力に含まれる各次元の値の別に、立体視画像をズーム処理するための値と、立体視画像についての視差を調整するための値とをそれぞれ独立に生成できる。
本発明の第4の局面に従えば、上述の第2または第3の局面において、入力装置は、ポインティングデバイスを含み、ズーム制御手段は、ポインティングデバイスから出力される第1軸方向の位置に基づいて、立体視画像のズーム処理を行い、視差制御手段は、ポインティングデバイスから出力される第2軸方向の位置に基づいて、立体視画像の視差を調整する。
この第4の局面によれば、ユーザは、2次元の広がりを有するポインティングデバイス上の任意の位置を操作することができる。そのため、所望する立体視を実現するための操作を容易に行うことができる。
本発明の第5の局面に従えば、上述の第4の局面において、表示制御プログラムは、コンピュータを、さらに、第1軸方向および第2軸方向を座標軸とする2次元座標において、立体視画像のズームの状態を示す第1状態値と立体視画像の視差の状態を示す第2状態値とに対応する座標位置に、状態値オブジェクトを表示する状態値オブジェクト表示手段として機能させる。
この第5の局面によれば、ユーザに対して、立体視画像のズームの状態を示す第1状態値と立体視画像の視差の状態を示す第2状態値とを明示的に提示することができる。これにより、ユーザは、立体視表示の状態を一見して把握することができるとともに、目的の立体視表示を得るための操作を容易に行うことができる。
本発明の第6の局面に従えば、上述の第5の局面において、表示制御プログラムは、コンピュータを、さらに、2次元座標における状態値オブジェクトの表示位置とポインティングされた位置との間の変位方向に応じて、立体視画像のズーム処理を行うための第1指令値と、立体視画像の視差を調整するための第2指令値とを生成する第1指令生成手段として機能させ、状態値オブジェクト表示手段は、ポインティングされた位置に応じて、状態値オブジェクトの表示位置を更新する。
この第6の局面によれば、ユーザは、2次元座標において表示されている状態値オブジェクトを基準として、目的の操作方向に応じた位置をポインティングすればよいので、直感的に立体視表示を調整することができる。
本発明の第7の局面に従えば、上述の第6の局面において、状態値オブジェクト表示手段は、状態値オブジェクトの表示位置とポインティングされた位置との間の距離に応じた速度で、状態値オブジェクトの表示位置を更新する。
この第7の局面によれば、ユーザ操作に応答して、状態値オブジェクトの表示位置が更新されるので、ユーザは、直感的に操作を行うことができる。
本発明の第8の局面に従えば、上述の第2〜第7の局面において、入力装置は、少なくとも2自由度の入力を同時に受付けることが可能なアナログデバイスを含み、所定の基準位置からの変位方向および変位量に応じた値をもつ操作入力を出力する。
この第8の局面によれば、入力装置の一例としてアナログデバイスが利用される。ユーザは、アナログデバイスに対する操作量(典型的には、押込量)に応じて、目的の立体視表示を得るための操作を行うことができるので、より操作性を高めることができる。
本発明の第9の局面に従えば、上述の第8の局面において、表示制御プログラムは、コンピュータを、さらに、アナログデバイスにおける基準位置からの変位方向に応じて、立体視画像のズーム処理を行うための第1指令値と、立体視画像の視差を調整するための第2指令値とを生成する第2指令生成手段として機能させる。
本発明の第10の局面に従えば、上述の第9の局面において、第2指令生成手段は、アナログデバイスにおける基準位置からの変位量に応じた速度で、立体視画像のズームの状態、ならびに、立体視画像の視差の状態を変化するように、第1指令値および第2指令値を生成する。
この第9および第10の局面によれば、ユーザは、アナログデバイスに与える変位量を大きくするほど、より大きな指令値を生成することができる。すなわち、ユーザは、立体視画像のズームの状態、および、立体視画像の視差の状態をより短時間で変化させたい場合には、アナログデバイスをより大きく変位させ、微調整を行いたい場合には、アナログデバイスをより小さく変位させることで対処できる。
本発明の第11の局面に従えば、上述の第3〜第10の局面において、入力装置は、2次元の値に対応付けられた2つの方向を独立して操作可能な1または複数のボタンを含み、それぞれの方向におけるボタン操作に応じた値をもつ操作入力を出力する。
本発明の第12の局面に従えば、上述の第11の局面において、表示制御プログラムは、コンピュータを、さらに、それぞれの方向におけるボタン操作に基づいて、立体視画像のズーム処理を行うための第1指令値と、立体視画像の視差を調整するための第2指令値とを生成する第3指令生成手段として機能させる。
この第11および第12の局面によれば、ユーザは、従来から汎用されているボタン操作と同様の操作で立体視表示を調整することができる。
本発明の第13の局面に従えば、表示制御プログラムは、コンピュータを、さらに、視差を有する第1画像および第2画像の全部または一部を表示装置の表示面にそれぞれ表示することで、立体視表示を行う画像表示手段として機能させ、ズーム制御手段は、操作入力受付手段が受付けた操作入力の内容に基づいて、表示装置の表示面において第1画像および第2画像のズーム処理を行い、視差制御手段は、操作入力受付手段が受付けた操作入力の内容に基づいて、表示装置の表示面における第1画像および第2画像についての視差を調整する。
この第13の局面によれば、典型的には、ステレオ画像を用いて立体視表示を提供するような表示装置により適した処理を提供することができる。
本発明の第14の局面に従えば、上述の第13の局面において、画像表示手段は、第1画像および第2画像を実質的に同一の表示領域に表示する。
この第14の局面によれば、ユーザが注目したいオブジェクトが表示装置の表示面付近に表示させることができる。
本発明の第15の局面に従えば、上述の第13または第14の局面において、表示制御装置は、所定の間隔だけ離して配置された第1撮像装置および第2撮像装置を利用可能であり、画像表示手段は、第1撮像装置および第2撮像装置がそれぞれ撮像することで生成される第1入力画像および第2入力画像のうち、操作入力に応じたそれぞれの範囲を第1画像および第2画像として表示する。
この第15の局面によれば、第1撮像装置および第2撮像装置により生成される画像を部分的に切出すだけで、ズーム処理を実現することができる。そのため、光学的な機構がなくとも、表示装置に表示される画像をズームすることができる。
本発明の第16の局面に従えば、上述の第13または第14の局面において、表示制御装置は、画像を記憶するための記憶装置を利用可能であり、表示制御プログラムは、コンピュータを、さらに、所定操作に応答して、当該時点における第1画像および第2画像の拡大表示または縮小表示の状態に応じた大きさの画像を、当該時点における第1画像および第2画像についての視差の状態を示す情報と関連付けて記憶装置に保存する保存手段として機能させる。
本発明の第17の局面に従えば、上述の第13または第14の局面において、表示制御装置は、視差を有する一対の画像を少なくとも記憶する記憶装置を利用可能であり、表示制御手段は、記憶装置に記憶されている一対の画像を、第1画像および第2画像として取得する。
本発明の第18の局面によれば、上述の第17の局面において、記憶装置は、一対の画像に関連付けて、当該一対の画像についての視差の状態を示す情報を記憶しており、表示制御手段は、初期状態として、一対の画像から取得した第1画像および第2画像を、当該一対の画像についての視差の状態を示す情報に基づく相対的な位置関係で表示装置の表示面に表示する。
この第16〜18の局面によれば、保存直前の状態を容易に再現することができる。そのため、ユーザは、所望の立体視表示に調整してしまえば、その後、何度もその状態を再現することができる。
本発明の第19の局面によれば、上述の第1〜第18の局面において、表示制御装置は、非立体視表示を行う表示装置を利用可能であり、表示制御プログラムは、コンピュータを、さらに、非立体視表示を行う表示装置において、立体視画像のズームの状態、ならびに、立体視画像の視差の状態を表示するための状態値表示手段として機能させる。
この第19の局面によれば、ユーザは、現在の立体視表示の状態を一見して認識することができる。
本発明の第20の局面に従えば、立体視表示が可能な表示装置を制御するための表示制御装置のコンピュータで実行される表示制御方法を提供する。本表示制御方法は、入力装置からの操作入力を受付ける操作入力受付ステップと、操作入力受付ステップにおいて受付けた操作入力の内容に基づいて、立体視画像のズーム処理を行うズーム制御ステップと、操作入力受付ステップにおいて受付けた操作入力の内容に基づいて、立体視画像の視差を調整する視差制御ステップと、ズーム制御ステップにおいてズーム処理された立体視画像を視差制御ステップにおいて調整された視差で表示装置に表示する表示制御ステップとを含む。
本発明の第21の局面に従えば、表示制御装置を提供する。本表示制御装置は、立体視画像を表示可能な表示装置と、入力装置と、入力装置からの操作入力を受付ける操作入力受付手段と、操作入力受付手段が受付けた操作入力の内容に基づいて、立体視画像のズーム処理を行うズーム制御手段と、操作入力受付手段が受付けた操作入力の内容に基づいて、立体視画像の視差を調整する視差制御手段と、ズーム制御手段によってズーム処理された立体視画像を視差制御手段によって調整された視差で表示装置に表示する表示制御手段とを含む。
本発明の第22の局面に従えば、表示制御プログラムを格納した記憶媒体と当該記憶媒体を装着可能な表示制御装置本体とを含む表示制御システムを提供する。表示制御装置本体は、立体視画像を表示可能な表示装置と、入力装置とを含む。表示制御装置本体のコンピュータが当該記憶媒体に格納された情報処理プログラムを実行することで、表示制御装置本体を、入力装置からの操作入力を受付ける操作入力受付手段と、操作入力受付手段が受付けた操作入力の内容に基づいて、立体視画像のズーム処理を行うズーム制御手段と、操作入力受付手段が受付けた操作入力の内容に基づいて、立体視画像の視差を調整する視差制御手段と、ズーム制御手段によってズーム処理された立体視画像を視差制御手段によって調整された視差で表示装置に表示する表示制御手段として機能させる。
この第20〜第22の局面によれば、上述の第1の局面と同様の作用効果を得ることができる。
本発明によれば、ユーザが所望する立体視表示を簡単な操作で実現できる。
本発明の実施の形態に従うゲーム装置の正面図(開状態)である。 図1に示すゲーム装置1の上面側を中心とする投影図である。 図1に示すゲーム装置1の底面側を中心とする投影図である。 本発明の実施の形態に従うゲーム装置1の電気的構成を示すブロック図である。 本発明の実施の形態に従うゲーム装置での表示制御を実現するための電気的構成を示すブロック図である。 図5に示す上側LCDの断面模式図である。 本発明の実施の形態に従うゲーム装置において立体視表示に用いられる視差を有する一対の画像を生成する方法の一例について説明するための図である。 図7に示す方法によって生成された視差を有する一対の画像を用いて立体視表示を提供する方法について説明するための図である。 本発明の実施の形態に従うゲーム装置におけるズームの機能を説明するための図である。 図9に示すズーム処理に応じて生じる視差量の変化を説明するための図である。 本実施の形態に従うズーム処理および視差の調整を行うための処理例を示す図である。 視差ベースの変更によって生じる現象を説明するための図である。 本発明の実施の形態に従うゲーム装置において表示されるユーザインターフェイス画面の一例を示す。 図13に示すユーザインターフェイス画面において画面上下方向の操作を説明するための図である。 図13に示すユーザインターフェイス画面において画面左右方向の操作を説明するための図である。 図13に示すユーザインターフェイス画面における操作例を説明するための図である。 本実施の形態に従うゲーム装置におけるポインティングデバイスによる操作例(その1)を説明するための図である。 本実施の形態に従うゲーム装置におけるポインティングデバイスによる操作例(その2)を説明するための図である。 本発明の実施の形態に従うゲーム装置において提供される表示制御機能を実現するための制御構造を示すブロック図である。 本発明の実施の形態に従うゲーム装置における保存される画像のデータ構造の一例を示す図である。 本発明の実施の形態に従うゲーム装置において提供される表示制御処理に係るメインルーチンのフローチャートである。 本発明の実施の形態に従うゲーム装置において提供される表示制御処理に係る「撮像モード」におけるフローチャートである。 図22に示すフローチャート内の3D撮像処理サブルーチンの内容を示すフローチャートである。 図22に示すフローチャート内の2D撮像処理サブルーチンの内容を示すフローチャートである。 本発明の実施の形態に従うゲーム装置において提供される表示制御処理に係る「CGモード」におけるフローチャートである。 本発明の実施の形態に従うゲーム装置において提供される表示制御処理に係る「閲覧モード」におけるフローチャートである。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
本発明に係る表示制御装置の代表例として、以下では、コンピュータである携帯型のゲーム装置1について説明する。また、本発明に係る表示装置を制御するための表示制御プログラムの具現化例として、ゲーム装置1に内蔵された固定の(non-transitory)コンピュータ読取可能な記憶媒体、あるいは、ゲーム装置1と着脱可能な固定のコンピュータ読取可能な記憶媒体に格納される命令セットについて例示する。すなわち、本実施の形態においては、ゲーム装置1が予め用意されたプログラムを実行することで、以下に示すような表示制御の処理を実現する。
ゲーム装置1は、立体視表示が可能な表示装置を有するとともに、ユーザなどからの操作を受付ける入力装置が利用可能となっている。本明細書において「利用可能な」とは、対象の装置・手段・デバイスなどがコンピュータと有線または無線で接続されており、データ通信が可能であることを意味する。このとき、利用可能な装置・手段・デバイスについては、表示制御装置と一体的に構成されてもよいし、表示制御装置とは独立して構成されてもよい。
なお、本発明に係る表示制御装置は、ゲーム装置1に限られることなく、各種アプリケーションについても実行可能な、パーソナルコンピュータ、携帯電話、携帯端末などとして実装してもよい。さらに、本発明に係る表示制御プログラムは、パーソナルコンピュータなどで実行される各種アプリケーションの一部の機能として組み込まれてもよい。
<A.用語>
(1) 本明細書において、「立体視表示」、「3次元表示」、「3D表示」とは、ユーザが画像に含まれる少なくとも一部のオブジェクトを立体的に視認することができるように、当該画像を表現することを意味する。ユーザにオブジェクトを立体的に視認させるために、典型的には、人間の目や脳の生理的な働きを利用する。
(2) 本明細書において、「立体視画像」とは、ユーザにオブジェクトを立体的に視認させるために表示される画像を意味し、後述するような立体視表示を提供するための方法に応じて、各種の画像形態が想定される。後述するような、ステレオ画像(左目用画像および右目用画像)を用いる場合には、両画像を合わせて立体視画像と称する。
(3) 本明細書において、「平面表示」、「2次元表示」、「2D表示」とは、上述の「立体視表示」などと相対する用語であり、ユーザが画像に含まれるオブジェクトを立体的に視認できないような態様で、当該画像を表現することを意味する。
(4) 本明細書において、「視差」とは、ユーザが左目で見える像と右目で見える像との間における、共通のオブジェクト(対象点)についての見え方の違い(の度合い)を意味する。この共通のオブジェクトは、表示装置の表示面に現れる画像の一部に過ぎない場合もある。
何らかのオブジェクト(被写体)を異なる観測点から(現実に、あるいは、仮想的に)観測した場合に、それぞれの観測点で観測される像を表す画像を生成すると、これらの画像は「視差を有する」ことになる。さらに、単一の画像から擬似的に視差を有する複数の画像を生成することもできる。本明細書における「視差を有する画像」は、このような方法により生成される画像をも含む。
(5) 本明細書において、「視差量」とは、表示装置の表示面に現れる、ユーザの左目によって視認される画像とユーザの右目によって視認される画像との間における、共通のオブジェクト(対象点)を表す像の位置の差(大きさ)を意味する。すなわち、本明細書における「視差量」は、主として、表示装置に表示される画像のうち、ユーザが注目する各オブジェクト(対象点)について算出することができる。
(6) 本明細書において、「視差を調整する」とは、上述の「視差量」を変更することを意味する。すなわち、ユーザの左目によって視認される画像とユーザの右目によって視認される画像との間における、ある共通のオブジェクト(対象点)を表す像の位置の差(大きさ)を異ならせることを意味する。
このような「視差を調整する」方法を実現する手段としては、典型的には、表示装置の表示面に表示される一対の画像(左目用および右目用の画像)が有する視差を変更する方法と、表示装置の表示面に当該一対の画像を表示する際の位置関係を変更する方法とが考えられる。
前者について言えば、左目用の画像を生成するための観測点と右目用の画像を生成するための観測点とを異なる位置に設定した場合に、それらの画像内に含まれる共通のオブジェクト(対象点)についてみれば、当該共通のオブジェクト(対象点)を表す像の左目用の画像内における位置と、当該共通のオブジェクト(対象点)を表す像の右目用の画像内における位置とは異なる。そのため、ユーザに対しては、非ゼロの視差量を有する画像を提示することができる。そこで、これらの画像を生成する際の観測点についての相対的な位置関係を変更することで、視差量を調整できる。ここで、当該一対の画像の生成には、現実の撮像装置を用いることもでき、また、仮想的な撮像装置を用いることもできる。
後者について言えば、表示装置の表示面でのそれぞれの画像の表示位置をずらすことによっても、視差量を調整できる。より具体的には、各画像を表示させる際の表示位置・表示範囲・画像間の相対的な位置ずれなどを調整することができる。
(7) 本明細書において、「(画像の)ズーム」あるいは「ズーム処理」とは、表示装置の表示面に表現される画像の内容が変化することを意味する。より具体的には、表示装置の表示面に表示される何らかのオブジェクトの大きさ・表示位置・観測点などを異ならせる処理を意味する。典型的には、表示されている画像を拡大して表示したり、あるいは、縮小して表示したりするような処理を含む。
例えば、拡大表示(ズームイン処理)の典型例としては、ある時点において表示装置の表示面に現れていたオブジェクトの一部のみを表示装置の表示面に表示させる。あるいは、縮小表示(ズームアウト処理)の典型例としては、ある時点において表示装置の表示面に現れていたオブジェクトの周囲を含めて表示装置の表示面に表示させるといった動作である。
このような「ズーム処理」を実現する方法としては、撮像装置(現実のカメラおよび仮想的なカメラのいずれをも含みうる)のオブジェクトに対する相対的位置・視野範囲・画角・光学系などを適宜変更する方法などが挙げられる。加えて、何らかの画像を表示装置の表示面に表示させる際の表示位置・表示範囲・画像間の相対的な位置ずれなどを適宜変更する方法なども採用することができる。
(8) 本明細書において、撮像装置(撮像手段)を用いて何らかの画像データを取得することを「撮像」と記す。この撮像により取得された画像データは、そのまま表示装置(表示手段)上に表示することも可能であり、また、取得されたままの状態、あるいは、何らかの加工がなされた後の状態で、当該画像データを記憶装置(記憶手段)に格納(保存)することも可能である。
<B.概要>
本実施の形態に従うゲーム装置1においては、表示装置の表示面で表現される画像についてのズーム操作(拡大表示/縮小表示の処理)、および、表示装置の表示面に対して立体的に視認されるオブジェクトの立体感の調整についての操作(視差を調整する処理)をユーザが同時に与えることができる。
後述するように、たとえば、表示装置の表示面で表現される画像についてのズーム操作のみが実行された場合であっても、表示装置の表示面に表示される第1画像と第2画像との間の視差量が変動することがある。
本実施の形態に従うゲーム装置1は、たとえば、表示される画像に対するズーム処理を行いながら、注目オブジェクトについての表示面からの飛び出し量を適正にするなどの操作を容易に行うことができる。
<C.装置の外観>
図1は、本発明の実施の形態に従うゲーム装置1の正面図(開状態)である。図2は、図1に示すゲーム装置1の上面側を中心とする投影図である。すなわち、図2(A)は、ゲーム装置1の正面図(閉状態)を示し、図2(B)は、ゲーム装置1の前面図を示し、図2(C)は、ゲーム装置1の左側面図を示し、図2(D)は、ゲーム装置1の右側面図を示す。図3は、図1に示すゲーム装置1の底面側を中心とする投影図である。すなわち、図3(A)は、ゲーム装置1の底面図を示し、図3(B)は、ゲーム装置1の背面図を示す。本明細書においては、便宜上、ゲーム装置1を図1に示すように配置した状態を基準として、「正面」、「前面」、「左側面」、「右側面」、「底面」、「背面」という用語を用いるが、これらの用語は形式的な呼称であり、ユーザによるゲーム装置1の使用形態の制約などを意図するものではない。
図1〜図3を参照して、本実施の形態に従う携帯型のゲーム装置1は、折り畳み可能に構成されている。ゲーム装置1は、開いた状態では、図1のような外観であり、閉じた状態では、図2(A)のような外観となっている。ゲーム装置1は、開いた状態であっても、ユーザが両手または片手で把持することができるようなサイズであることが好ましい。
ゲーム装置1は、上側ハウジング2と下側ハウジング3とを有する。上側ハウジング2と下側ハウジング3とは、開閉可能(折り畳み可能)に連結されている。図1に示す例では、上側ハウジング2および下側ハウジング3の各々は、長方形の板状に形成され、互いの長辺部分でヒンジ4を介して回転可能に連結されている。ゲーム装置1は、ユーザによって使用するときに、開状態に維持され、使用されないときに、閉状態に維持される。
また、ゲーム装置1では、上側ハウジング2と下側ハウジング3との間の角度を、閉状態の位置と開状態の位置との間(略0°〜略180°)の任意の角度で維持することもできる。言い換えれば、上側ハウジング2を下側ハウジング3に対して任意の角度で静止させることができる。このハウジング間の静止には、上側ハウジング2と下側ハウジング3との連結部分に発生する摩擦力などが用いられる。摩擦力に加えて、あるいは、摩擦力に代えて、上側ハウジング2と下側ハウジング3との連結部内にラッチ機構を採用してもよい。
上側ハウジング2には、立体視表示が可能な表示装置(表示手段)として、上側LCD110が設けられている。上側LCD110は、長方形状を有し、その長辺方向が上側ハウジング2の長辺方向に一致するように配置される。本実施の形態に従うゲーム装置1では、ユーザが立体視表示をより楽しむことができるように、下側LCD120の画面サイズに比較してより大きな画面サイズを有する上側LCD110を採用する構成を示す。但し、必ずしも、このように画面サイズを異ならせる必要はなく、アプリケーションの用途やゲーム装置1のサイズなどに応じて、画面サイズは適宜設計することができる。上側LCD110の詳細な構成については、後述する。
上側ハウジング2には、何らかの被写体を撮像するための撮像装置(撮像手段)が設けられている。より具体的には、上側ハウジング2には、一対の外側カメラ131L,131R(図2(A)参照)と、内側カメラ133(図1参照)とが設けられている。ここで、内側カメラ133は、上側LCD110の上部に配置されており、一対の外側カメラ131Lおよび131Rは、内側カメラ133が配置されている内側主面とは反対側の面、すなわち上側ハウジング2の外側主面(ゲーム装置1が閉状態となった場合に外側となる面に相当)に配置されている。
このような位置関係によって、一対の外側カメラ131Lおよび131Rは、上側ハウジング2の外側主面が向く方向に存在する被写体を撮像することができ、一方、内側カメラ133は、外側カメラ131Lおよび131Rの撮像方向の逆方向、すなわち、上側ハウジング2の内側主面が向く方向に存在する被写体を撮像することができる。
一対の外側カメラ131Lおよび131Rは、所定の間隔だけ離して配置されており、これらの外側カメラ131Lおよび131Rが取得する一対の画像データ(以下「入力画像」とも称す。)は、被写体を立体視表示として再現するために用いられる。すなわち、外側カメラ131Lおよび131Rは、いわゆるステレオカメラとして機能する。外側カメラ131Lおよび131Rの撮像によって取得される一対の入力画像の間には、外側カメラ131Lと外側カメラ131Rとの相対的な位置関係に応じた、所定の視差が存在する。
なお、後述するように、外側カメラ131Lおよび131Rの撮像によって取得された一対の入力画像のうち、ユーザ操作に応じて定められるそれぞれの範囲(部分画像)が立体視表示に用いられる場合もある。すなわち、一対の入力画像のうち、立体視表示に用いられる範囲は、ユーザ操作によって適宜変更される。
一方、内側カメラ133の撮像によって取得される入力画像は、基本的には、非立体視表示(平面視表示、通常表示)に用いられる。したがって、本実施の形態に従うゲーム装置1においては、外側カメラ131Lおよび131Rを有効化すると、立体視表示をするための一対の入力画像を取得でき、内側カメラ133を有効化すると、非立体視表示をするための入力画像を取得できる。
さらに、上側ハウジング2には、上側LCD110の右側に立体視ボリューム145が設けられている。この立体視ボリューム145は、上側LCD110における立体視表示を調整するために用いられる。
なお、外側カメラ131Lおよび131Rと内側カメラ133との間の切換、すなわち、立体視表示と通常表示との切換は、ゲーム装置1で実行されるプログラム上でユーザが選択することも可能である。この際、立体視ボリューム145を立体視表示と通常表示との切換に用いてもよい。
上側ハウジング2には、音声発生装置(音声発生手段)としてのスピーカ(図4に示すスピーカ151)が収納されている。より具体的には、上側ハウジング2の内側主面中央部に配置されている上側LCD110に対して、左右両側に音抜き孔151Lおよび151Rがそれぞれ配置されている。スピーカ151で発生した音声は、スピーカ151と連通する音抜き孔151Lおよび151Rを通じて、ユーザへ向けて放射される。
一方、下側ハウジング3には、表示部(表示手段)として、下側LCD(Liquid Crystal Display:液晶表示装置)120が設けられている。下側LCD120は、長方形状を有し、その長辺方向が下側ハウジング3の長辺方向と一致するように配置される。
下側LCD120としては、後述するような立体視表示が可能な表示装置を採用してもよいが、本実施の形態においては、各種情報などを非立体表示する通常の表示装置が採用される。そのため、下側LCD120としては、例えば、EL(Electro Luminescence:電界発光)を利用した表示装置というような、他の適切な形式の表示装置を採用してもよい。さらに、表示部(表示手段)の解像度は、実行されるアプリケーションなどに応じて適切に設計される。
下側ハウジング3には、ユーザなどからの操作を受付ける入力部(入力装置)として、コントロールパッド154と、十字ボタン161と、ボタン群142,162とが設けられている。これらの入力部は、上側ハウジング2と下側ハウジング3とを折り畳んだときに内側となる、下側ハウジング3の主面上に設けられている。特に、コントロールパッド154および十字ボタン161は、ユーザがゲーム装置1を把持した際に、その左手で容易に操作できる位置に配置され、ボタン群162は、ユーザがゲーム装置1を把持した際に、その右手で容易に操作できる位置に配置される。
コントロールパッド154は、主として、ゲーム装置1における立体視表示を調整するための操作(詳細については後述する)を受付ける。特に、コントロールパッド154は、少なくとも2自由度の入力を同時に受付けることが可能なアナログデバイスの一例である。より具体的には、コントロールパッド154は、ユーザの操作を受付ける突起部を有するとともに、下側ハウジング3に対する相対的な位置関係を、少なくとも紙面上下方向および紙面左右方向に変更することが可能な構造となっている。そして、コントロールパッド154は、所定の基準位置からの変位方向および変位量に応じた2次元のアナログ値を出力する。典型例として、コントロールパッド154は、2つの軸にそれぞれ対応付けられた2つのポテンショメータを含んでおり、各ポテンショメータは、ユーザによる操作量および操作方向に応じた値のアナログ値(典型的には、電圧または電流)を出力する。これらの2つのポテンショメータからの出力値を組み合わせた2次元の値が、後述する「操作入力」として扱われる。
したがって、ユーザがコントロールパッド154を基準位置(典型的には、下側ハウジング3に対して垂直方向)からより大きく変化させることで、コントロールパッド154は、より大きなアナログ値を出力する。
なお、図1に示すコントロールパッド154に代えて、アナログスティック、または、ジョイスティックなどを採用してもよい。
十字ボタン161は、2つの方向を独立して操作可能な入力部であり、ユーザがそれぞれの方向におけるボタン操作をすることで、それに応じた値をもつ2次元の値が出力される。この2次元の値も後述する「操作入力」として扱われる。但し、この十字ボタン161によって生成される2次元の値は、上述のコントロールパッド154とは異なり、各方向の別に「オン」または「オフ」となるデジタル値である。より具体的には、十字ボタン161は、ユーザが紙面上下方向および紙面左右方向に変位させることが可能であり、その変位方向に対応付けて、「オン」または「オフ」が出力される。
ボタン群162は、紙面上下左右方向にそれぞれ対応付けられた、4つの操作ボタン162A,162B,162X,162Yを含む。すなわち、ボタン群162についても、2つの方向を独立して操作可能な入力部に相当し、ユーザがそれぞれの方向に対応付けて配置された操作ボタン162A,162B,162X,162Yを操作することで、その操作状態を示す値が出力される。この操作状態を示す値も後述する「操作入力」として検出される。
十字ボタン161および/またはボタン群162が出力する操作入力は、ゲーム装置1における立体視表示の調整(詳細については後述する)に用いられてもよい。あるいは、ゲーム装置1で実行される各種アプリケーションにおいては、これらの操作入力は、ゲーム進行などに係る、選択・決定・キャンセルといった操作に用いられる。
ボタン群142は、セレクトボタン142aと、HOMEボタン142bと、スタートボタン142cと、電源ボタン142dとを含む。セレクトボタン142aは、典型的には、ゲーム装置1で実行されるアプリケーションを選択するために用いられる。HOMEボタン142bは、典型的には、ゲーム装置1で実行されるメニューアプリケーションや各種アプリケーションを初期状態にするために用いられる。スタートボタン142cは、典型的には、ゲーム装置1においてアプリケーションの実行を開始するために用いられる。電源ボタン142dは、ゲーム装置1の電源をオン/オフするために用いられる。
下側ハウジング3内には、音声取得装置(音声取得手段)としてのマイク(図4に示すマイク153)が収納されている。そして、下側ハウジング3の主面上には、マイク153がゲーム装置1の周囲における音を取得するためのマイク用孔153aが設けられている。なお、マイク153が収納される位置、および、当該マイク153と連通するマイク用孔153aの位置は、下側ハウジング3の主面上に限られることなく、例えば、マイク153をヒンジ4内に収納するとともに、ヒンジ4の表面であって、マイク153の収納位置に対応する位置にマイク用孔153aを設けてもよい。
ゲーム装置1には、コントロールパッド154、十字ボタン161、および、ボタン群142,162に加えて、別の入力部(入力手段)であるポインティングデバイスとして、タッチパネル122がさらに設けられている。タッチパネル122は、下側LCD120の画面上を覆うように装着され、ユーザによる入力操作(ポインティング操作)が行われた場合に、対応する2次元座標の値を検出する。すなわち、タッチパネル122は、第1軸方向(画面上下方向)および第2軸方向(画面左右方向)を座標軸とする2次元座標に対応付けられたポインティングデバイスの一例であり、タッチパネル122(ポインティングデバイス)上でポインティングされた位置に対応する2次元座標での座標値に応じた操作入力を出力する。
タッチパネル122としては、典型的には、抵抗膜方式を採用することができる。但し、抵抗膜方式に限らず、各種の押圧式のタッチパネルを採用することもできる。また、タッチパネル122の解像度(検出精度)は、下側LCD120の解像度(表示精度)と同程度であることが好ましい。但し、タッチパネル122の解像度と下側LCD120の解像度とを完全に一致させる必要はない。
タッチパネル122に対するポインティング操作は、通常、ユーザがスタイラスペン177を用いることで行われるが、スタイラスペン177に代えて、ユーザ自身の指などでポインティング操作(入力操作)を行うことも可能である。図1,図3(B)に示すように、下側ハウジング3の背面には、スタイラスペン177の収納部176が設けられている。すなわち、タッチパネル122に対する入力操作を行うためのスタイラスペン177は、通常、収納部176に格納されており、ユーザが必要に応じて取り出すことになる。
なお、ポインティングデバイスとしては、タッチパネル122を例示したが、これに代えて、あるいは、これに加えて、マウス、トラックボール、ペンタブレットなどを用いてもよい。また、表示装置の表示面に対して遠隔から座標を指示できるポインタ装置(典型的には、Wii(登録商標)のコントローラなど)を採用してもよい。
図2(C),図2(D),図3(A),図3(B)に示すように、下側ハウジング3の背面の左端部には、Lボタン162Lが設けられており、下側ハウジング3の背面の右端部には、Rボタン162Rが設けられている。Lボタン162LおよびRボタン162Rは、ユーザがゲーム装置1を把持した際に、左手人差し指および右手人差し指でそれぞれ容易に操作できる位置に配置される。Lボタン162LおよびRボタン162Rについては、ゲーム装置1で実行される各種のアプリケーションにおいて、選択などの操作に用いられる。
図2(C)に示すように、下側ハウジング3の左側面には、音量ボリューム144が設けられている。音量ボリューム144は、ゲーム装置1に搭載されているスピーカ(図4に示すスピーカ151)からの音量を調整するために用いられる。
図2(D)に示すようには、下側ハウジング3の右側面には、無線スイッチ143が設けられている。無線スイッチ143は、ゲーム装置1における無線通信(詳細については後述する)をオン状態(有効化状態)またはオフ状態(無効化状態)に切換える。
ゲーム装置1に対しては、ゲームカード171および/またはメモリカード173が装着可能となっている。
すなわち、図3(B)に示すように、下側ハウジング3の背面には、ゲームカード171を装着するためのゲームカードスロット170が設けられている。ゲームカードスロット170の奥側には、ゲーム装置1とゲームカード171との間を電気的に接続するためのインターフェイスが設けられている。ゲームカードスロット170は、ゲームカード171を着脱自在に構成されている。ゲームカード171は、アプリケーションプログラムやゲームプログラム(いずれも命令セットを含む)などを保持する。
また、図2(C)に示すように、下側ハウジング3の左側面には、メモリカード173を装着するためのメモリカードスロット172が設けられている。メモリカードスロット172の奥側には、ゲーム装置1とメモリカード173との間を電気的に接続するためのインターフェイスが設けられている。メモリカードスロット172は、メモリカード173を着脱自在に構成されている。メモリカード173は、他の情報処理装置・ゲーム装置から取得したプログラムや画像データの読出し、ならびに、ゲーム装置1によって撮像および/または画像処理された画像データの記憶(保存)などに用いられる。ゲームカード171は、例えば、SD(Secure Digital)カードなどの不揮発性記憶媒体からなる。
ゲーム装置1には、動作状態などをユーザに提示するための各種表示装置が設けられている。より具体的には、下側ハウジング3および上側ハウジング2には、表示装置(表示手段)として、複数のLED(Light Emitting Diode)からなるインジケータ群147が設けられている。インジケータ群147は、立体表示インジケータ147aと、お知らせインジケータ147bと、無線インジケータ147cと、電源インジケータ147dと、充電インジケータ147eとを含む。立体表示インジケータ147aは、上側ハウジング2の主面上に設けており、その他のインジケータは、下側ハウジング3の主面または側面に設けられている。
立体表示インジケータ147aは、上側LCD110において立体視表示が行われているか否かを通知する。典型的には、上側LCD110での立体視表示が有効化されているときに、立体表示インジケータ147aは点灯する。
お知らせインジケータ147bは、ユーザに通知すべき情報が存在するか否かを通知する。典型的には、ユーザに対して未読の電子メールが存在しているときや、各種のサーバから何らかのメッセージを受信しているときに、お知らせインジケータ147bは点灯する。
無線インジケータ147cは、ゲーム装置1における無線通信の状態を通知する。典型的には、無線通信が有効化されているときに、無線インジケータ147cは点灯する。
電源インジケータ147dは、ゲーム装置1における電源状態を通知する。ゲーム装置1は、図示しないバッテリを内蔵しており(典型的には、下側ハウジング3に収納される)、主として、このバッテリからの電力で駆動する。そのため、電源インジケータ147dは、ゲーム装置1における電源の投入状態、および/または、バッテリの残量の状態などを通知する。典型的には、ゲーム装置1の電源が投入状態(オン状態)であって、かつ、バッテリの残量が十分であるときに、電源インジケータ147dは、緑色に点灯し、ゲーム装置1の電源が投入状態(オン状態)であって、かつ、バッテリの残量が低下しているときに、赤色に点灯する。
充電インジケータ147eは、上述のバッテリに対する充電状態を通知する。典型的には、ゲーム装置1に対して充電アダプタ(図示しない)などが装着されて内蔵のバッテリが充電状態であるときに、充電インジケータ147eは点灯する。なお、充電アダプタは、図3(A)に示すように、ゲーム装置1の背面に設けられている充電端子174に接続される。
また、本実施の形態に従うゲーム装置1は、赤外線通信の機能を搭載しており、ゲーム装置1の背面には、赤外線ポート179が設けられている。この赤外線ポート179は、データ通信の搬送波である赤外線を投光/受光する。
さらに、ゲーム装置1の前面には、ゲーム装置1を吊り下げるためのストラップを接続するためのフック31,32が設けられている。
また、下側ハウジング3の前面には、ヘッドホンおよび/またはマイクを接続するための接続端子158が設けられている。
<D.装置の電気的構成>
図4は、本発明の実施の形態に従うゲーム装置1の電気的構成を示すブロック図である。
図4を参照して、ゲーム装置1は、演算処理部100と、上側LCD110と、下側LCD120と、タッチパネル122と、外側カメラ131L,131Rと、内側カメラ133と、無線モジュール134と、不揮発性メモリ136と、メインメモリ138と、マイコン140と、ボタン群142と、音量ボリューム144と、立体視ボリューム145と、電源管理IC(Integrated Circuit)146と、インジケータ群147と、加速度センサ148と、インターフェイス回路150と、スピーカ151と、ヘッドホン用アンプ152と、マイク153と、コントロールパッド154と、接続端子158と、十字ボタン161と、ボタン群162と、ゲームカードスロット170と、メモリカードスロット172と、赤外線モジュール178とを含む。また、ゲーム装置1は、図示しないバッテリおよび電源回路を含む。
演算処理部100は、ゲーム装置1の全体の制御を司る。具体的には、演算処理部100は、不揮発性メモリ136に予め格納されているファームウェア(命令セット)、ゲームカードスロット170に装着されるゲームカード171から読出されるプログラム(命令セット)やデータ、メモリカードスロット172に装着されるメモリカード173から読出されるプログラム(命令セット)やデータなどを実行することで、上側LCD110における立体視表示の制御を含む各種処理を実現する。
なお、演算処理部100で実行されるプログラム(命令セット)がゲームカード171やメモリカード173を通じて提供される場合に加えて、CD−ROMやDVDなどの光学式の記憶媒体を通じて、ゲーム装置1へ提供されるようにしてもよい。さらに、ネットワークを通じて接続されるサーバ装置(図示しない)からプログラムが提供されるようにしてもよい。
より具体的には、演算処理部100は、CPU(Central Processing Unit)102と、GPU(Graphical Processing Unit)104と、VRAM(Video Random Access Memory)106と、DSP(Digital Signal Processor)108とを含む。これらの各部の処理については、後述する。また、演算処理部100は、各部との間でデータを遣り取りする。
外側カメラ131L,131Rおよび内側カメラ133の各々は、演算処理部100に接続され、演算処理部100からの指示に応答して、撮像により取得した入力画像を演算処理部100へ出力する。これらのカメラの各々は、CCD(Charge Coupled Device)やCIS(CMOS Image Sensor)といった撮像素子と、撮像素子で取得された画像データ(入力画像)を読出すための周辺回路とを含む。
無線モジュール134は、他のゲーム装置1や何らかの情報処理装置との間で無線信号を介してデータを遣り取りする。一例として、無線モジュール134は、IEEE802.11a/b/g/nといった規格に準拠した無線LAN方式により、他の装置との間でデータ通信を行う。
不揮発性メモリ136は、ゲーム装置1の基本動作に必要なファームウェアなどを格納しており、そのファームウェアを記述するコードがメインメモリ138に展開される。演算処理部100のCPU102がメインメモリ138に展開されたコードを実行することで、ゲーム装置1での基本処理が実現される。また、不揮発性メモリ136には、ゲーム装置1において予め設定される各種パラメータに関するデータ(プリセットデータ)が格納されてもよい。一例として、不揮発性メモリ136は、フラッシュメモリからなる。
メインメモリ138は、演算処理部100が処理を実行するためのワーク領域またはバッファ領域として用いられる。すなわち、メインメモリ138は、演算処理部100での処理に必要なプログラム(コード)やデータを一時的に記憶する。一例として、メインメモリ138は、PSRAM(Pseudo-SRAM)からなる。
マイコン140は、主として、ユーザインターフェイスに係る処理を提供する。より具体的には、マイコン140は、演算処理部100と接続されるとともに、ボタン群142、音量ボリューム144、立体視ボリューム145、電源管理IC146、インジケータ群147、および、加速度センサ148と接続される。マイコン140は、ユーザによるボタン操作などを検知して、その検知結果を演算処理部100へ出力するとともに、演算処理部100からの信号に応答して、ユーザへ各種情報を通知するためのインジケータを点灯する。
また、マイコン140は、リアルタイムカウンタ(RTC:Real Time Clock)141を有している。リアルタイムカウンタ141は、計時機能を提供する部位であり、予め定まった周期で時間をカウントする。このカウント結果は、逐次、演算処理部100へ出力される。演算処理部100は、リアルタイムカウンタ141によってカウントされたカウント値に基づいて、現在時刻(日付)等を算出することもできる。
電源管理IC146は、ゲーム装置1に搭載される電源(典型的には、上述のバッテリ)から各部へ電力を供給するとともに、その供給量を制御する。
加速度センサ148は、ゲーム装置1の変位を検出し、その検出結果は、マイコン140を通じて演算処理部100へ出力される。加速度センサ148による検出結果は、ゲーム装置1で実行されるプログラム(ゲームアプリケーション)などに利用される。
赤外線モジュール178は、他のゲーム装置1との間で無線通信(赤外線通信)を行う。この赤外線モジュール178による無線通信は、無線モジュール134による無線通信に比較して到達可能距離が短くなっている。すなわち、赤外線モジュール178は、予め定められた通信プロトコルに従って、同種のゲーム装置1との間でデータの遣り取りを行うように設計される。なお、この赤外線通信の搬送波である赤外線は、赤外線ポート179(図3(B)参照)を通じて投光/受光される。
インターフェイス回路150は、演算処理部100と接続されるとともに、スピーカ151、ヘッドホン用アンプ152、マイク153、コントロールパッド154、および、タッチパネル122と接続される。より具体的には、インターフェイス回路150は、スピーカ151、ヘッドホン用アンプ152、マイク153の制御を行うための音声制御回路(図示しない)と、タッチパネル122の制御を行うためのタッチパネル制御回路(図示しない)とを含む。
スピーカ151は、インターフェイス回路150からの音声信号を増幅して、音抜き孔151Lおよび151Rから音声を出力する。ヘッドホン用アンプ152は、インターフェイス回路150からの音声信号を増幅して、接続されるヘッドホンから音声を出力する。マイク153は、ゲーム装置1に向かって発声されたユーザの音声などを検知して、検知した音声を示す音声信号をインターフェイス回路150に出力する。
以上のように、インターフェイス回路150を構成する音声制御回路は、マイク153で検知されたアナログの音声信号に対してA/D(アナログ/デジタル)変換を行い、その結果得られたデジタルの音声信号を演算処理部100へ出力するとともに、演算処理部100などで生成されたデジタルの音声信号に対してD/A(デジタル/アナログ)変換を行い、その結果得られたアナログの音声信号をスピーカ151および/または接続されるヘッドホンへ出力する。
また、インターフェイス回路150を構成するタッチパネル制御回路は、タッチパネル122からの検出信号に応答して、ユーザが入力操作(ポインティング操作)した位置を示すタッチ位置データを生成して演算処理部100へ出力する。すなわち、タッチパネル122は、そのタッチ面上でポインティングされた位置に対応する2次元座標での座標値に応じた操作入力(タッチ位置データ)を出力する。
ゲームカードスロット170およびメモリカードスロット172は、それぞれ、演算処理部100と接続される。ゲームカードスロット170は、演算処理部100からの指令に応答して、コネクタを介して、装着されたゲームカード171との間でデータの読出しおよび書込みを行う。メモリカードスロット172は、演算処理部100からの指令に応答して、コネクタを介して、装着されたメモリカード173との間でデータの読出しおよび書込みを行う。
下側LCD120および上側LCD110は、演算処理部100からの指令に従って、それぞれ画像を表示する。ゲーム装置1の典型的な使用形態においては、下側LCD120に各種操作を受付けるための画像が表示されるとともに、上側LCD110では、立体視表示が行われる。
<E.表示部の構成>
図5は、本発明の実施の形態に従うゲーム装置1での表示制御を実現するための電気的構成を示すブロック図である。図6は、図5に示す上側LCD110の断面模式図である。
図5を参照して、演算処理部100は、CPU102に加えて、主として、上側LCD110および下側LCD120においてそれぞれ画像を表示するための処理(画像処理)を行うためのGPU104を含む。GPU104は、画像処理に特化した処理回路を有しており、CPU102からの指令に応答して、上側LCD110および下側LCD120にそれぞれ表示すべき画像を逐次生成する。これらの画像は、上側LCD110用のVRAM106a、および、下側LCD120用のVRAM106bへそれぞれ転送される。
このとき、上側LCD110において立体視表示を行うための一対の画像(左目用画像および右目用画像)は互いに独立してVRAM106aへ書込まれる。これに対して、下側LCD120においては通常表示(非立体視表示)が行われるので、単一の画像がVRAM106bへ書込まれる。
上側LCD110は、LCDコントローラ111と、LCDパネル112と、バリア液晶113とを含む。これに対して、下側LCD120は、LCDコントローラ121と、LCDパネル123とを含む。
さらに、上側LCD110の構造について説明する。
図6には、上側LCD110の典型例として、パララックスバリア方式の液晶表示デバイスの構造を示す。上側LCD110は、ガラス基板118とガラス基板119との間に配置されたLCDパネル112を含む。
LCDパネル112は、左目用画素群112Lおよび右目用画素群112Rを含む。ガラス基板118のガラス基板119の側とは反対側に、図示しないバックライトが設けられており、このバックライトからの光は左目用画素群112Lおよび右目用画素群112Rに向けて照射される。そして、左目用画素群112Lおよび右目用画素群112Rは、バックライトからの光を調節するための空間光変調器として機能する。ここで、左目用画素群112Lの各画素と右目用画素群112Rの各画素とは交互に配置される。
ガラス基板118の左目用画素群112Lおよび右目用画素群112Rに接する側とは反対の側に、視差光学系であるバリア液晶113が設けられる。このバリア液晶113には、複数のスリット114が所定間隔で行列状に設けられている。各スリット114の中心位置を通り、かつガラス基板118の面に対して垂直方向の軸を基準として、左目用画素群112Lおよび右目用画素群112Rとが対称的に配置される。このように、各スリットに対応付けられる左目用画素群112Lおよび右目用画素群112Rの各組について、スリットとの間の位置関係を適切に設計することで、ユーザは、その左目で左目用画素群112Lだけを視認するとともに、その右目で右目用画素群112Rだけを視認することになる。
すなわち、バリア液晶113に含まれる各スリット114が、ユーザの右目および左目による視界をそれぞれ対応する角度に制限する。その結果、ユーザの左目の視線AXLには左目用画素群112Lのみが存在し、一方、ユーザの右目の視線AXRには右目用画素群112Rのみが存在することになる。
ここで、左目用画素群112Lおよび右目用画素群112Rに、所定の視差を有する一対の画像を表示させることで、所定の視差を有する画像をユーザに提示することができる。このような所定の視差を有する一対の画像を表示することで、ユーザから見れば、被写体を立体的に見ていると感じることになる。以下では、バリア液晶113のユーザ側の表面、すなわち、この画像が実際に表示される面を(上側LCD110の)表示面とも称す。
より具体的には、図5に示すように、GPU104は、左目用画像および右目用画像をVRAM106aのアドレスを指定して順次書込む。LCDコントローラ111は、VRAM106aに書込まれた左目用画像および右目用画像を構成する列方向の画像が、LCDパネル112に交互に並んで表示されるように、VRAM106aの対象となるアドレスから各列の画像データを順次読出して、LCDパネル112を駆動する。
なお、上側LCD110では、画像を通常表示、すなわち、非立体表示することもできる。この場合には、LCDコントローラ111に対して指令を与えることで、バリア液晶113を無効化する方法と、表示に用いられる左目用画像と右目用画像との間の視差を実質的にゼロとする方法とが存在する。
前者の方法の場合、バリア液晶113が提供する複数のスリット114が無効化されるので、ユーザの左目および右目には、実質的に、左目用画素群112Lおよび右目用画素群112Rからの光が入射することになる。なお、この場合には、ユーザから見た解像度は、立体視表示のときの解像度に比べて、実質的に2倍となる。
後者の方法の場合、ユーザの左目で視認される画像と、右目で視認される画像とが実質的に同一に制御されるので、ユーザは、同じ画像を左目および右目で視認することになる。
一方、下側LCD120においては、非立体表示がなされる。すなわち、GPU104は、表示すべき画像をVRAM106bのアドレスを指定して順次書込み、LCDコントローラ111は、VRAM106bに書込まれた画像を順次読出して、LCDパネル123を駆動する。
なお、図6には、立体視表示が可能な表示装置の典型例として、パララックスバリア方式の表示デバイスを例示したが、例えば、レンチキュラ方式の表示デバイスなどを採用することもできる。これらの方式は、左目用画像の表示エリアと右目用画像の表示エリアとが一定のパターンで(典型的には交互に)配置される。
代替的に、立体表示が可能な表示装置として、主波長成分が異なる2つの画像をそれぞれ独立に表示するとともに、透過波長範囲が異なる2つのカラーフィルタをそれぞれ組込んだメガネをユーザに装着させることで、立体表示を行う構成であってもよい。
類似の構成として、偏光方向を異ならせて2つの画像をそれぞれ表示するとともに、当該2つの偏光方向に対応する偏光フィルタがそれぞれ組込まれたメガネをユーザに装着させることで、立体表示を行う構成であってもよい。
さらに、シャッタメガネ(時分割方式)を利用した方法のように、左目用画像の表示エリアと右目用画像の表示エリアとを共通としつつ、左目用画像と右目用画像とを交互に表示する形態を採用することもできる。
<F.立体視表示>
まず、本実施の形態に従うゲーム装置1の上側LCD110において立体視表示を行うための処理について説明する。
図7は、本発明の実施の形態に従うゲーム装置1において立体視表示に用いられる視差を有する一対の画像を生成する方法の一例について説明するための図である。図8は、図7に示す方法によって生成された視差を有する一対の画像を用いて立体視表示を提供する方法について説明するための図である。
図7(A)には、ゲーム装置1から所定距離に被写体SBJ1として「りんご」が存在しており、この「りんご」を上側ハウジング2に搭載された一対の外側カメラ131L,131Rを用いて撮像(ステレオ撮像)する場合を示す。
なお、以下の説明においては、一対の外側カメラ131Lおよび131Rは水平方向に整列配置されているものとする。このとき、水平方向をX方向と称し、垂直方向をY方向と称し、各外側カメラ131L,131Rのカメラ方向(撮像の光軸方向)をZ方向と称す(以下同様である)。
さらに、立体視を提供する一対の画像(左目用画像および右目用画像からなるステレオ画像)は、実質的に同一の表示領域に表示される。すなわち、図6に示すようなレンチキュラ方式では、左目用画素と右目用画素とが交互に配置されることで、対象の左目用画像および右目用画像は、画面横方向に空間的に交互に表示されることになる。あるいは、シャッタメガネ(時分割方式)では、同一の表示面を時間的に分割することで、対象の左目用画像および右目用画像が時間的に交互に表示されることになる。
したがって、立体視画像のうち、視差がゼロとなる領域は、ユーザから見れば表示面に存在しているように見える。すなわち、目的の領域についての視差をゼロとすることで、ユーザは、その領域に含まれるオブジェクトが表示装置の表示面あるいは表示面付近に位置しているように感じる。
図7(B)には、図7(A)に示すような位置関係において撮像することで得られた一対の画像(ステレオ画像)の一例を示す。すなわち、外側カメラ131Lが被写体SBJ1を撮像することにより、左目用の入力画像PIMGLが生成され、外側カメラ131Rが被写体SBJ1を撮像することにより、右目用の入力画像PIMGRが生成される。
この左目用の入力画像PIMGLと右目用の入力画像PIMGRとを比較すると、入力画像PIMGL内における被写体SBJ1を表す像の位置と、入力画像PIMGR内における被写体SBJ1を表す像の位置とは異なっていることがわかる。すなわち、入力画像PIMGLにおいては、被写体SBJ1を表す像の位置が相対的に右側に位置しており、入力画像PIMGRにおいては、被写体SBJ1を表す像の位置が相対的に左側に位置している。
このように取得された視差を有する一対の画像(ステレオ画像)を、上側LCD110の表示面に表示することで、ユーザは、その「りんご」の被写体SBJ1について、立体的に視認することができる。
なお、上側LCD110の表示面に、外側カメラ131Lおよび131Rの撮像によって生成された一対の画像を重ねて表示することもできるし、これらの画像間の相対的な位置関係を変更することもできる。すなわち、上側LCD110の表示面に、入力画像PIMGLと入力画像PIMGRとを重ねて表示した場合には、撮像時における外側カメラ131Lおよび131Rと被写体SBJ1との間の位置関係に応じた視差量が生じる。さらに、上側LCD110の表示面における、入力画像PIMGLと入力画像PIMGRとの間の相対的な表示位置を変更することで、被写体SBJ1についての視差量を調整することができる。このような視差量の調整によって、ユーザが視認する立体感(飛び出し量/引き込み量)が変化する。
すなわち、図8(A)に示すように、被写体SBJ1について視差量が増大する方向に、入力画像PIMGLと入力画像PIMGRとの間の相対的な位置関係を変更すると、ユーザは、上側LCD110の表示面よりユーザ側に被写体SBJ1が存在しているように感じる。いわば、ユーザは、被写体SBJ1の像が表示面から「飛び出し」ているように視認する。
これに対して、被写体SBJ1について視差量が減少する方向に、入力画像PIMGLと入力画像PIMGRとの間の相対的な位置関係を変更すると、ユーザは、上側LCD110の表示面に近い位置に被写体SBJ1が存在しているように感じる。いわば、ユーザは、被写体SBJ1の像が表示面へ「引き込み」されているように視認する。
このように、上側LCD110の表示面での、入力画像PIMGLと入力画像PIMGRとの間の相対的な表示位置を変更することで、ユーザが立体的に視認する被写体SBJ1の位置(ユーザと表示面とを結ぶ線状の位置)を調整することができる。この場合、上側LCD110の表示面に、視差を有する入力画像PIMGLおよびPIMGRの全部または一部を表示することで、立体視表示が行われることになる。
後述するように、本実施の形態に従うゲーム装置1においては、(a)外側カメラ131Lおよび131R(ステレオカメラ)を用いて現実に被写体を撮像することで取得される一対の画像(ステレオ画像)、(b)コンピュータグラフィックスなどの技術を用いて、予め定義されたオブジェクトを仮想的なカメラ(仮想カメラ)を用いて撮像(レンダリング)することで取得される一対の画像(ステレオ画像)、(c)予め何らかの方法で取得された所定の視差を有する一対の画像(ステレオ画像)、のいずれに対しても、上述のような視差の調整が可能である。但し、「視差を調整する」ための処理としては、それぞれの画像取得方法に応じて、種々の方法を適用可能である。これらの点については、後に詳述する。
<G.ズーム処理>
次に、本実施の形態に従うゲーム装置1が提供する(画像の)ズームの機能について説明する。
図9は、本発明の実施の形態に従うゲーム装置1におけるズームの機能を説明するための図である。図10は、図9に示すズーム処理に応じて生じる視差量の変化を説明するための図である。
上述したように、本明細書における「ズーム処理」は、表示装置の表示面に表現される画像の内容が変化することを意味するが、以下の説明では、典型的な拡大表示の処理例として、いわゆるデジタルズームに類する処理について説明する。なお、実際に撮像を行うような場合には、いわゆる光学ズームを利用してもよい。
図9(A)に示すように、視差を有する一対の入力画像(ステレオ画像)PIMGLおよびIMGRについて考える。これらの入力画像PIMGLおよびIMGRのうち、上側LCD110の表示面での表示には、その内側の範囲である表示画像IMGLおよびIMGRが用いられるとする。但し、上述したように、視差を調整するために、画像間の相対的な表示位置が変更されることもあるので、表示画像IMGLおよびIMGRは、上側LCD110の表示面のサイズより大きなサイズに設定されることが好ましい。
次に、ユーザがこれらの画像に対して拡大表示(ズームイン処理)を指示したとする。すると、図9(B)に示すように、表示に用いられる領域がより狭くなるように、表示画像IMGLおよびIMGRの範囲が変更される。元の状態では、入力画像PIMGLおよびPIMGRに対して、表示画像IMGLおよびIMGRがそれぞれ設定されていたものが、それぞれ表示画像IMGL#およびIMGR#に変更されたとする。
図9(B)に示すような表示画像IMGL#およびIMGR#に変更されることで、画像内で注目されている像の表示面におけるサイズが相対的に大きくなる。その結果、注目している像が拡大表示されることになる。
なお、縮小表示(ズームアウト処理)については、表示画像のサイズがより大きくなるように変更される。
次に、このようなズーム処理が行われた際の視差量の変化について、図10を参照して説明する。
図10(A)には、上側LCD110の表示面に、図9(A)に示す表示画像IMGLと表示画像IMGRとを所定の相対距離だけずらして表示している状態を示す。このとき、表示画像IMGL内の「りんご」を表す像と表示画像IMGR内の「りんご」を表す像との間の表示位置の差(すなわち、視差量)がD1であったとする。
次に、図9(B)に示すような拡大表示を行うと、図10(B)に示すように、上側LCD110の表示面に対する表示範囲が小さくなる。すなわち、図10(C)示すように、上側LCD110の表示面には、表示画像IMGL内の「りんご」を表す像および表示画像IMGR内の「りんご」を表す像がより拡大して表示される。
その結果、両画像内の「りんご」を表す像との間の視差量は、D1からD2に増大する。この視差量D2は、視差量D1に対して、表示画像IMGL,IMGRのサイズと表示画像IMGL#,IMGR#の領域サイズとの間の比に応じた拡大率を乗じたものとなる。
その結果、上側LCD110の表示面における「りんご」を表す像について視差量は、視差量の調整を指示していないにもかかわらず、拡大表示処理に伴って増大することになる。その結果、ユーザが感じるこの「りんご」についての立体感(表示面からの飛び出し/表示面への引き込み量)が変化することになる。
このような視差量の変動は、縮小表示処理を実施した場合にも同様の現象が生じる。
さらに、表示面に表現される画像の大きさ、表示面における画像の表示位置、表現される画像を生成する際の観測点などを変更した場合にも、上述と同様の現象が生じ得る。
上述のように、ユーザが注目しているオブジェクト(領域)についての視差量が変化することで、ユーザが感じる立体感が変化してしまう。そのため、ユーザが画像内の何らかのオブジェクトに注目している場合には、ズーム処理の操作とともに、視差を調整するための操作を同時に行うことが好ましい。そこで、本実施の形態に従うゲーム装置1は、ズーム処理の操作と視差の調整の操作とを同時に行うことができるユーザインターフェイスを提供する。
<H.ズーム処理および視差の調整の実現例>
上述したように、本実施の形態に従うズーム処理の処理は、上側LCD110の表示面に表現される画像の内容が変化することを意味する。このような画像の内容を変化させるための処理は、上述の図9および図10に示す方法に加えて、他の各種方法が存在する。また、本実施の形態に従う視差の調整の処理についても、上述の図8に示すように表示画像の相対的な位置関係を変更する方法に加えて、他の各種方法が存在する。
そこで、表示装置での立体視表示に用いられる一対の画像(ステレオ画像)の取得方法(ソース)に区分して、ズーム処理および視差の調整の実現例について説明する。
図11は、本実施の形態に従うズーム処理および視差の調整を行うための処理例を示す図である。図12は、視差ベースの変更によって生じる現象を説明するための図である。
図11には、基本的には、コンピュータグラフィックスなどの技術を用いて、オブジェクトを仮想的カメラによってレンダリングする場合の処理例を示す。すなわち、図11に示す各処理例においては、ある仮想空間内に被写体SBJ2が配置されており、この被写体SBJ2に対して、一対の仮想カメラ202および204が配置されているものとする。より具体的には、図11(A)には、仮想カメラ間のステレオベースを変更する処理例を示し、図11(B)には、仮想カメラのカメラ角度を変更する処理例を示し、図11(C)には、仮想カメラの視野範囲を変更する処理例を示し、図11(D)には、仮想カメラの配置位置を変更する処理例を示す。
(j1.仮想カメラ間のステレオベース変更)
図11(A)に示す例では、仮想カメラ間のX方向の距離を変更することで、ズーム処理が実行される。すなわち、図11(A)に示す例では、変更前の仮想カメラ202および204をX方向にスライドすることで、それぞれ仮想カメラ202#および204#に変更されたとする。両仮想カメラの位置変更に伴って、その視野における被写体SBJ2の位置や大きさが変更されるため、生成されるステレオ画像の内容は変化する。
なお、一対の仮想カメラについてのX方向の距離は「ステレオベース」と称され、この「ステレオベース」の大きさによって、生成されるステレオ画像が有する視差の大きさが変化する。その結果、立体視表示が提供する立体感の大きさについても影響が生じる。図12を参照して、より具体的に説明する。
図12(A)に示すように、仮想カメラ202と仮想カメラ204との間のステレオベースd11であったとする。このステレオベースd11の大きさは、生成されるステレオ画像が有する視差の大きさを決定する。このステレオ画像の有する視差が大きいほど、ユーザが注目オブジェクトを立体的に視認できる範囲(飛び出し可能量)を大きくできる。
そのため、図12(B)に示すように、仮想カメラ202#と仮想カメラ204#との間のステレオベースがd12(<d11)であるとすると、ユーザが注目オブジェクトを立体的に視認できる範囲(飛び出し可能量)は小さくなる。
なお、仮想カメラ202#と仮想カメラ204#とを同じ位置に配置した場合には、それぞれの仮想カメラの撮像により生成される画像は、互いに一致するので、立体視表示することはできない。
このように、仮想カメラ間のステレオベースの大きさを変更することで、被写体SBJ2についてのズーム処理が実行されるとともに、立体視表示の状態も変化する。すなわち、図11(A)に示す場合では、飛び出し可能量が変化するため、ユーザが視認する飛び出し位置なども変化し得る。
言い換えれば、図11(A)に示すような仮想カメラ間のステレオベースを変更することで、ズーム処理および視差の調整を同時に実現することができる。
(j2.仮想カメラのカメラ角度の変更)
図11(B)に示す例では、仮想カメラのカメラ角度を変更することで、ズーム処理が実行される。すなわち、図11(B)に示す例では、変更前の仮想カメラ202および204においては、そのカメラ方向がZ方向と平行であったが、変更後の仮想カメラ202#および204#においては、そのカメラ方向がより内側に向けられている。
このようなカメラ角度の変更に伴って、それぞれの仮想カメラの視野も変更されるので、生成されるステレオ画像の内容は変化する。
(j3.仮想カメラの視野範囲の変更)
図11(C)に示す例では、仮想カメラの視野範囲を変更することで、ズーム処理が実行される。すなわち、図11(C)に示す例では、変更前の仮想カメラ202および204の視野範囲212および214に対して、変更後の仮想カメラ202および204の視野範囲212#および214#は、より狭くなっている。
このような視野範囲の変更に伴って、それぞれの範囲内に存在する被写体SBJ2の位置や大きさが変更されるため、生成されるステレオ画像の内容は変化する。
(j4.仮想カメラの配置位置の変更)
図11(D)に示す例では、仮想カメラの配置位置を変更することで、ズーム処理が実行される。すなわち、図11(D)に示す例では、変更前の仮想カメラ202および204においては、その配置位置がより被写体SBJ2に近くなっていたが、変更後の仮想カメラ202#および204#においては、その配置位置が被写体SBJ2に対して離れている。
このような仮想カメラの配置位置の変更に伴って、それぞれの仮想カメラの視野も変更されるので、生成されるステレオ画像の内容は変化する。
なお、図11(A)〜図11(D)に示す処理の一部については、現実のカメラを用いて実際に撮像する場合にも適用できる。
<J.ズーム処理および視差の調整についてのまとめ>
表示装置での立体視表示に用いられる一対の画像(ステレオ画像)の取得方法として、(a)外側カメラ131Lおよび131R(ステレオカメラ)を用いて現実に被写体を撮像する処理(以下「撮像モード」とも称す。)、(b)コンピュータグラフィックス(CG)などの技術を用いて、予め定義されたオブジェクトを仮想的なカメラ(仮想カメラ)を用いて撮像(レンダリング)する処理(以下「CGモード」とも称す。)、および、(c)予め何らかの方法で取得された所定の視差を有する一対の画像(ステレオ画像)を利用する処理(以下「閲覧モード」とも称す。)を考える。すなわち、ゲーム装置1は、「撮像モード」、「CGモード」、「閲覧モード」の3つのモードを有するものとする。なお、すべてのモードを搭載している必要はない。
(j1.撮像モード)
この場合には、ズーム処理を実現する方法として、以下のような実現方法が考えられる。
(1) 図10に示すようにデジタルズーム処理を利用する方法
(2) 外側カメラ(ステレオカメラ)に搭載される光学的なズーム機構を利用する方法
(3) ゲーム装置1を把持するユーザが被写体に接近する方法
この場合には、視差の調整を実現する方法として、以下のような実現方法が考えられる。
(1) 図8に示すように表示画像の相対的な位置関係を変更する方法
(j2.CGモード)
この場合には、ズーム処理を実現する方法として、以下のような実現方法が考えられる。
(1) 図11(A)に示すように仮想カメラ間のステレオベースを変更する方法
(2) 図11(B)に示すよう仮想カメラのカメラ角度を変更する方法
(3) 図11(C)に示すように仮想カメラの視野範囲を変更する方法
(4) 図11(D)に示すように仮想カメラの配置位置を変更する方法
(5) 図10に示すように生成された画像に対してさらにデジタルズーム処理を利用する方法
この場合には、視差の調整を実現する方法として、以下のような実現方法が考えられる。
(1) 図8に示すように表示画像の相対的な位置関係を変更する方法
(2) 図11(A)に示すように仮想カメラ間のステレオベースを変更する方法
(3) 図11(B)に示すよう仮想カメラのカメラ角度を変更する方法
(4) 図11(C)に示すように仮想カメラの視野範囲を変更する方法
(5) 図11(D)に示すように仮想カメラの配置位置を変更する方法
(j3.閲覧モード)
この場合には、ズーム処理を実現する方法として、以下のような実現方法が考えられる。
(1) 図10に示すようにデジタルズーム処理を利用する方法
この場合には、視差の調整を実現する方法として、以下のような実現方法が考えられる。
(1) 図8に示すように表示画像の相対的な位置関係を変更する方法
<K.ユーザインターフェイス>
次に、本実施の形態に従うゲーム装置1において提供されるユーザインターフェイスについて説明する。
上述したように、本実施の形態に従うゲーム装置1は、少なくとも、ズーム処理の操作と視差の調整の操作とを同時に行うことができるようなユーザインターフェイスを提供する。ゲーム装置1は、このようなユーザインターフェイスの一例として、ズーム処理を操作するための第1座標軸と、視差を調整するための第2座標軸とを含む、少なくとも2次元の座標系を表示する。
図13は、本発明の実施の形態に従うゲーム装置1において表示されるユーザインターフェイス画面の一例を示す。図14は、図13に示すユーザインターフェイス画面において画面上下方向の操作を説明するための図である。図15は、図13に示すユーザインターフェイス画面において画面左右方向の操作を説明するための図である。なお、図13〜図15には、主として、「撮像モード」において用いられる画面例を示すが、基本的な構成は、他の「CGモード」および「閲覧モード」においても同様である。
図13を参照して、ゲーム装置1は、上側LCD110における立体視表示を制御するためのユーザインターフェイス画面を下側LCD120に表示する。下側LCD120には、ポインティングデバイスであるタッチパネル122が設けられている。タッチパネル122は、ユーザがタッチパネル122上のいずれかの位置をポインティングすると、その位置に対応する操作入力を出力する。そして、この操作入力に応じて、ズーム処理の操作と視差の調整の操作とが実行される。
ゲーム装置1の下側LCD120には、上側LCD110に表示される左目用画像および右目用画像のズームの状態を表現するための座標系と、上側LCD110に表示される左目用画像および右目用画像についての視差の状態を表現するための座標系とからなる座標系(2次元空間)が表示される。そして、左目用画像および右目用画像(立体視画像)についての、ズームの状態と視差の状態とに対応する2次元の座標位置に、2つの状態値を示す状態値オブジェクトが表示される。
すなわち、非立体視表示を行う表示装置である下側LCD120において、上側LCD110に表示される左目用画像および右目用画像のズームの状態、ならびに、当該左目用画像および右目用画像についての視差の状態が表示される。
より具体的には、図13に示すユーザインターフェイス画面では、2次元空間を示す背景画像302上に、ズーム処理の操作に関する第1軸画像304と、視差の調整に関する第2軸画像306とが表示されている。さらに、第1軸画像304と第2軸画像306との交点には、マーカー画像308が表示される。ユーザがズーム処理および視差の調整について操作を行うと、これらの操作に応答して、マーカー画像308の表示位置が順次更新される。
ユーザによる、タッチパネル122、コントロールパッド154、十字ボタン161、ボタン群162(いずれも図1参照)などの入力装置の操作に従って、ズームの変更および視差の調整が実行される。各入力装置に対するユーザの操作と、その操作に応答して実行される処理の内容については、後述する。
下側LCD120に表示されるユーザインターフェイス画面においては、ズーム処理に関する操作と視差の調整に関する操作とを互いに独立に実行できればよい。そのため、ズーム処理の操作に関する第1軸画像304と、視差の調整に関する第2軸画像306とは、図13に示す位置関係に限られない。但し、ユーザ操作の直感性から、下側LCD120の画面上下方向をズーム処理の操作に対応付け、下側LCD120の画面左右方向を視差の調整の操作に対応付けることが好ましい。
たとえば、図14に示すように、ユーザがスタイラスペン177などを用いてマーカー画像308を下側LCD120の上下方向に操作すると、上側LCD110に表示される画像(立体視表示)が拡大(ズームイン)または縮小(ズームアウト)される。マーカー画像308が下側LCD120の上側へ移動するほどより大きく拡大表示され、マーカー画像308が下側LCD120の下側へ移動するほどより大きく縮小表示される。なお、このズーム処理では、上側LCD110に表示される右目用画像および左目用画像が共に同じ倍率で拡大または縮小される。
また、図15に示すように、ユーザがスタイラスペン177などを用いてマーカー画像308を下側LCD120の画面左右方向に操作すると、上側LCD110により立体的に視認される注目オブジェクトが表示面から飛び出して見え、または、表示面に引き込まれるように見える。マーカー画像308が下側LCD120の右側へ移動するほどより大きく飛び出して見え、マーカー画像308が下側LCD120の左側へ移動するほどより表示面の奥側に見える。すなわち、マーカー画像308が画面左右方向に操作されることで、上側LCD110に表示される、右目用画像と左目用画像との重なり度合い(表示時の相対的な位置関係)が変更される。なお、飛び出し側と引き込み側とを入れ換えて配置してもよい。
なお、図14および図15に示すように、タッチパネル122を用いて操作する方法の他に、コントロールパッド154、十字ボタン161、ボタン群162などを用いても、同様の操作が可能である。
以上のような操作によって決定された、ズームの状態、および、視差の調整の状態に応じて、右目用画像および左目用画像が上側LCD110に表示される。そして、これらの右目用画像および左目用画像によって、ユーザは、それらの画像に含まれる注目オブジェクトを立体的に視認することができる。
なお、図13〜図15に示す「撮像モード」において用いられるユーザインターフェイス画面について説明する。図15に示すように、2次元空間を示す背景画像302上に、各種の操作を受付ける、あるいは、操作をガイダンスするための画像(以下「操作画像」とも称す。)が表示される。すなわち、図15に示すユーザインターフェイス画面は、その上部に操作画像316,318,320,322が配置され、その底部に操作画像310,312,314が配置されている。
操作画像316および318は、いずれも、撮像装置(外側カメラ131L,131Rまたは内側カメラ133)の撮像により取得される画像を保存する処理に関する操作を受付ける。すなわち、ユーザが操作画像316および318の表示された領域をポインティングすると、撮像装置により取得される画像の全部または一部が、記憶装置(不揮発性メモリ136やメモリカード173など)へ保存される。なお、この画像の保存時には、当該時点におけるズームの状態に応じた大きさの画像が、当該時点における視差の調整の状態を示す情報と関連付けて記憶装置に保存される。この保存処理の詳細については、後述する。
なお、操作画像316はLボタン162L(図3(B)など参照)と対応付けられ、操作画像318はLボタン162R(図3(B)など参照)と対応付けられる。ユーザがLボタン162LまたはRボタン162Rを操作することでも、画像の保存処理が実行される。
また、「撮像モード」においては、撮像装置(外側カメラ131L,131Rまたは内側カメラ133)の撮像により取得される画像が上側LCD110に逐次表示(リアルタイム表示)される。すなわち、上側LCD110は、撮像装置を用いて撮像を行う場合の「ファインダー」として機能する。このように、上側LCD110においてリアルタイムで更新される画像を「Live画像」とも称す。なお、このLive画像としては、立体視表示であってもよいし、非立体視表示であってもよい。
操作画像320は、保存される画像の種別の選択を受付ける。ゲーム装置1では、撮像装置で取得される画像を静止画像または動画像(いわば、静止画像を連続的に取得する形態)として保存することが可能である。図13〜図15には、操作画像320として、動画像を示す「ムービー」の文字および対応する絵柄が表示されている。ユーザが操作画像320の表示された領域をポインティングすると、ゲーム装置1のモードが「静止画像」から「動画像」に切り替わる。なお、「動画像」においては、操作画像320として、静止画像を示す文字および図柄が表示される。
操作画像322は、撮像に用いられるカメラ種別の選択を受付ける。ゲーム装置1は、外側カメラ131Lおよび131R(ステレオカメラ)と、内側カメラ133とを搭載しており、ユーザの要望に応じて、いずれかを選択して使用することが可能である。図13〜図15には、操作画像322として、内側カメラ133を示す「内カメラ」の文字および対応する絵柄が表示されている。ユーザが操作画像322の表示された領域をポインティングすると、撮像に使用される撮像装置が、内側カメラ133から外側カメラ131Lおよび131R(ステレオカメラ)に切り替わる。なお、内側カメラ133が有効化されている場合には、操作画像322として、外側カメラ131Lおよび131R(ステレオカメラ)を示す文字および図柄が表示される。
操作画像310は、現在実行中のアプリケーションを終了の指示を受付ける。すなわち、ユーザが操作画像310の表示された領域をポインティングすると、本実施の表示制御の処理が終了する。
操作画像312は、「撮像モード」と「閲覧モード」との選択を受付ける。図13〜図15には、操作画像312として、閲覧モードを示す「見る」の文字が表示されている。ユーザが操作画像312の表示された領域をポインティングすると、動作モードが「撮像モード」から「閲覧モード」に切り替わる。なお、「閲覧モード」が選択されている場合には、操作画像312として、「撮像モード」を示す「撮る」の文字が表示される。
操作画像314は、本実施の形態に従う表示制御に係る各種パラメータを設定するための処理の開始を受付ける。ユーザが操作画像314の表示された領域をポインティングすると、ゲーム装置1での処理に係る各種パラメータを設定するための画面に切り替わる。そして、各種パラメータを受付ける。
なお、ユーザが操作画像322を選択して内側カメラ133による撮像が有効化されると、立体視表示に必要なステレオ画像を取得することができないので、上側LCD110では、立体視表示ではなく、非立体視表示(平面表示)が提供される。
以下では、外側カメラ131Lおよび131R(ステレオカメラ)の撮像により取得されるステレオ画像を用いて立体視表示を行う動作を「3D撮像処理」と称し、内側カメラ133の撮像により取得される画像を用いて非立体視表示(平面表示)を行う動作を「2D撮像処理」と称する。
この「2D撮像処理」においては、視差の調整を行う必要がないので、図15に示すようなユーザインターフェイス画面においては、視差の調整に関する第2軸画像306についての操作が無効化される。なお、第2軸画像306を消去してもよい。すなわち、「2D撮像処理」では、ズーム処理の操作に関する第1軸画像304についての操作のみが有効化される。もちろん、「3D撮像処理」および「2D撮像処理」のそれぞれに専用のユーザインターフェイス画面を用意してもよい。
また、「閲覧モード」が選択された場合には、図13〜図15に示すユーザインターフェイス画面のうち、操作画像316,318,320,322が取り除かれ、それに代えて、画像の読出し先のフォルダなどを選択するための操作画像が表示される。
また、「CGモード」が選択された場合には、図13〜図15に示すユーザインターフェイス画面のうち、操作画像316,318,320,322が取り除かれ、それに代えて、立体視表示の対象となる注目オブジェクトや仮想空間などを選択するための操作画像が表示される。
<L.操作例>
上述したように、ゲーム装置1では、ユーザによる入力装置の操作に応じて生成される操作入力に基づいて、上側LCD110の表示面において左目用画像および右目用画像をズームするとともに、上側LCD110の表示面における左目用画像および右目用画像についての視差が調整される。これらの処理は、同時並行的に実行される。そのため、入力装置が生成する操作入力は、少なくとも2次元の値を含んでいる。そして、当該操作入力に含まれる一方の次元の値に基づいて、ズーム処理のための第1指令値が生成されるとともに、当該操作入力に含まれる他方の次元の値に基づいて、視差を調整するための第2指令値が生成される。
すなわち、ユーザは、ゲーム装置1に対して、ズーム処理についての操作、および、視差の調整についての操作を同時に行うことができる。以下、このような操作例について、図16を参照して説明する。
図16は、図13に示すユーザインターフェイス画面における操作例を説明するための図である。より具体的には、図16(A)から図16(F)までの順で、ユーザが操作を行ったものとする。なお、図16(B)〜図16(F)に示す破線は、直近の状態からの変化を分かり易くするための便宜上のものであり、現実のユーザインターフェイス画面においては、必ずしも表示する必要はない。
まず、図16(A)に示す位置が初期状態であるとする。すなわち、マーカー画像308が存在する座標に対応する、ズームの状態、および、視差の調整の状態を初期状態であるとする。
なお、初期状態とは、典型的には、外側カメラ131L,131Rの撮像された画像については、ズームの状態値および視差の調整の状態値がそれぞれ予め設定されている初期値(デフォルト値)に設定されている状態である。あるいは、この初期値として、ユーザが予め任意に設定した値、あるいは、ユーザが直近に調整して得られた値を用いてもよい。また、予め保存されている画像を読出して再生する場合には、当該画像と関連付けて保存されている視差情報(この詳細については後述する)に記述されている値を初期値として用いてもよい。
続いて、ユーザが図16(B)に示すような位置をポインティング操作したとすると、マーカー画像308はポインティング位置に移動するとともに、このポインティング操作に応じた指令が内部的に生成される。すなわち、上側LCD110に表示される画像が拡大表示(ズームイン処理)されるとともに、当該画像に含まれる注目オブジェクトが表示面側へより引き込まれて表示されるように並行的に変更される。
続いて、ユーザが図16(C)に示すような位置をポインティング操作したとすると、マーカー画像308はポインティング位置に移動するとともに、このポインティング操作に応じた指令が内部的に生成される。図16(C)に示す例では、下側LCD120の画面上下方向にのみ操作されているので、上側LCD110に表示される画像がさらに拡大表示(ズームイン処理)される一方で、視差の調整については実行されない。
続いて、ユーザが図16(D)に示すような位置をポインティング操作したとすると、マーカー画像308はポインティング位置に移動するとともに、このポインティング操作に応じた指令が内部的に生成される。図16(D)に示す例では、下側LCD120の画面左右方向にのみ操作されているので、上側LCD110に表示される画像のサイズは維持されたまま、当該画像に含まれる注目オブジェクトについて立体視表示が初期状態にリセットされる。
続いて、ユーザが図16(E)に示すような位置をポインティング操作したとすると、マーカー画像308はポインティング位置に移動するとともに、このポインティング操作に応じた指令が内部的に生成される。すなわち、上側LCD110に表示される画像が縮小表示(ズームアウト処理)されるとともに、当該画像に含まれる注目オブジェクトが表示面からより飛び出して表示されるように並行的に変更される。
最後、ユーザが図16(F)に示すような位置をポインティング操作したとすると、マーカー画像308はポインティング位置に移動するとともに、このポインティング操作に応じた指令が内部的に生成される。図16(F)に示す例では、下側LCD120の画面上下方向にのみ操作されているので、上側LCD110に表示される画像が初期状態にリセットされる一方で、視差の調整については実行されない。
以上のように、それぞれの軸方向についての操作入力は互いに独立しており、各軸についての操作内容が並列的に反映される。なお、予め定められた操作を行うことで、初期状態にリセットするようにしてもよい。
<M.入力装置>
ゲーム装置1では、上述のようなズーム処理についての操作、および、視差の調整についての操作を受付けるための入力装置(入力手段)として、コントロールパッド154、十字ボタン161、および、ボタン群162が利用可能である。
ユーザがいずれかの入力装置を操作すると、当該入力装置からはそれに応じた操作入力が出力される。このとき、当該操作入力は、少なくとも2次元の操作値を含む。
以下、各入力装置の操作の詳細について説明する。
(m1) タッチパネル
図13に示すユーザインターフェイス画面に示される2次元座標(背景画像302)が表示されている状態で、ユーザがタッチパネル122のいずれかの位置をポインティングすると、マーカー画像308(状態値オブジェクト)の表示位置とポインティングされた位置との間の変位方向に応じて、ズーム処理に関する指令値、および、視差の調整に関する指令値が生成される。同時に、マーカー画像308(状態値オブジェクト)の表示位置は、ユーザによりポインティングされた位置に移動する。
なお、ユーザによるポインティング操作としては、典型的には、以下の態様を採用することができる。
(i) 1回のポインティングでの操作
図17は、本実施の形態に従うゲーム装置1におけるポインティングデバイスによる操作例(その1)を説明するための図である。図17(A)には、ズーム処理および視差の調整に関してある状態に設定されている場合を示す。この図17(A)に示すユーザインターフェイス画面上で、ユーザが任意の位置をポインティング操作したとする。
たとえば、図17(B)には、図17(A)において示されていたマーカー画像308に対して、比較的近接した位置をポインティングしたとする。すると、マーカー画像308は、このポインティング位置まで移動する。
このとき、状態値オブジェクトであるマーカー画像308とポインティングされた位置との間の距離に応じた速度で、マーカー画像308の表示位置が更新される。
すなわち、図17(C)を参照して、図17(A)において示されていたマーカー画像308に対して、図17(B)でのポインティング位置より離れた位置をユーザがポインティングしたとする。すると、マーカー画像308は、このポインティング位置まで移動するが、その移動速度は、図17(B)におけるマーカー画像308の移動速度に比較してより高い速度で移動する。
言い換えれば、ゲーム装置1の提供するユーザインターフェイス画面(図17参照)においては、ポインティング操作前におけるマーカー画像308の位置と、ポインティングされた位置との間の差(差分ベクトル)に応じた向きで、かつ、その差分ベクトルの大きさに比例する速度で、マーカー画像308がポインティング位置まで移動する。
このように、ポインティング位置のマーカー画像308からの偏差に応じて、マーカー画像308の移動速度を変化させることで、ズーム処理に関する操作量および視差の調整に関する操作量の大きさ(絶対値)に依存することなく、その操作に要する時間を均一化できる。
(ii) ドラッグによる操作
図18は、本実施の形態に従うゲーム装置1におけるポインティングデバイスによる操作例(その2)を説明するための図である。図18(A)には、ズーム処理および視差の調整に関してある状態に設定されている場合を示す。この図18(A)に示すユーザインターフェイス画面においては、ユーザが状態値オブジェクトであるマーカー画像308を選択(ポインティング操作)した後に、任意の位置への移動が可能となる。
たとえば、図18(B)には、図18(A)において示されていたマーカー画像308をポインティングした状態を維持したまま、マーカー画像308を任意の位置に移動させる操作を示す。いわば、マーカー画像308をドラッグすることで、ズーム処理に関する操作および視差の調整に関する操作が可能となる。さらに、図18(C)には、マーカー画像308をドラッグして、より遠くに移動させた状態を示す。
なお、図18に示す例では、ユーザがポインティングした状態を維持している(ドラッグ状態が継続している)限り、マーカー画像308の表示位置はポインティング位置に動機して更新させる。いわば、ユーザのドラッグ操作に連動して移動することになる。
このように、マーカー画像308へのドラッグ操作に応じて、ズーム処理および視差の調整に関する操作を行うことで、ユーザが意図しない設定変更を回避したり、ユーザが所望する状態を容易に探索したりすることができる。
(m2) コントロールパッド
ゲーム装置1では、上述したタッチパネル122での操作に加えて、コントロールパッド154(図1参照)での操作によっても、ズーム処理および視差の調整に関する操作が可能である。
上述したように、コントロールパッド154は、少なくとも2自由度の入力を同時に受付けることが可能なアナログデバイスである。ユーザが当該コントロールパッド154を操作して何らかの変位を与えると、所定の基準位置からの変位方向および変位量に応じた値をもつ操作入力が出力される。この操作入力は、各々が多数の階調値を有する指令値のセットである。なお、実装時には、コントロールパッド154で生成されるアナログ出力は量子化(離散化)されるので、有限階調(たとえば、16階調)を有するデジタル出力となる。
このコントロールパッド154における基準位置からの変位方向に応じて、ズーム処理に関する指令値、および、視差の調整に関する指令値が生成される。すなわち、ズームの状態値および視差の調整の状態値がそれぞれ変化するように、それぞれの指令値が生成される。
より具体的には、コントロールパッド154の変位方向は、図13に示すユーザインターフェイス画面内の2次元座標(背景画像302)に対応付けられている。ユーザがコントロールパッド154を紙面上下方向に操作すると、その押込み量(傾斜量)に応じた速度で、上側LCD110に表示される画像(立体視表示)が拡大(ズームイン)または縮小(ズームアウト)される。同様に、ユーザがコントロールパッド154を紙面左右方向に操作すると、その押込み量(傾斜量)に応じた速度で、上側LCD110の表示面における、右目用画像と左目用画像との重なり度合い(表示時の相対的な位置関係)が変化する。すなわち、上側LCD110により立体的に視認される注目オブジェクトの表示面からの位置が変化する。
端的に表現すれば、ユーザがコントロールパッド154を大きく操作するほど、上側LCD110における立体視表示の状態がより大きく変化することになる。
これらの操作と連動して、下側LCD120に表示されるユーザインターフェイス画面においても、マーカー画像308(状態値オブジェクト)の表示位置が移動する。
このように、コントロールパッド154の操作量(変位方向および変位量)に応じて、ズーム処理および視差の調整に関する操作量を調整できるので、ユーザは、目的の表示状態を用意に得ることができる。
(m3) 十字ボタン/ボタン群
ゲーム装置1では、上述したタッチパネル122での操作に加えて、十字ボタン161またはボタン群162(図1参照)での操作によっても、ズーム処理および視差の調整に関する操作が可能である。
十字ボタン161を用いる場合には、その操作方向が図13に示すユーザインターフェイス画面内の2次元座標(背景画像302)に対応付けられる。すなわち、紙面左右方向へのユーザ操作(ボタン押下)をズーム処理に関する操作に対応付け、紙面上下方向へのユーザ操作(ボタン押下)を視差の調整に関する操作に関する操作に対応付けることが可能である。なお、たとえば、十字ボタン161が「右下」に押下された場合には、十字ボタン161は、「右」および「下」が「オン」されたことを示すデジタル(ON/OFF)信号を出力する。
このように、十字ボタン161は、2次元の値に対応付けられた2つの方向を独立して操作可能なボタンであり、それぞれの方向におけるボタン操作に応じた2次元の値をもつ操作入力を生成する。
また、ボタン群162を用いる場合には、各ボタン操作が図13に示すユーザインターフェイス画面内の2次元座標(背景画像302)に対応付けられる。すなわち、図1に示す操作ボタン162Xおよび162Bをズーム処理に関する操作に対応付け、操作ボタン162Yおよび162Aを視差の調整に関する操作に関する操作に対応付けることが可能である。この場合においても、ユーザは、ボタン群162に含まれる2つのボタン(たとえば、操作ボタン162Xおよび162A)を同時に押下することができる。
このように、ボタン群162は、2次元の値に対応付けられた2つの方向を独立して操作可能な複数のボタンのセットであり、それぞれの方向におけるボタン操作に応じた2次元の値をもつ操作入力を生成する。
上述のような、十字ボタン161またはボタン群162に対してなされる、それぞれの方向におけるボタン操作に基づいて、ズーム処理に関する指令値、および、視差の調整に関する指令値が生成される。
なお、十字ボタン161またはボタン群162で生成される操作入力は、いわゆるデジタル値(オンまたはオフ)であるので、操作継続時間に応じた速度で、ズームを変化させ、および、視差の調整を変化させてもよい。
より具体的には、十字ボタン161またはボタン群162に対するボタン操作がより長く継続するほど、ズーム処理の変化速度が高くなり、また、視差の調整の変化速度が高くなる。
このように、ゲームアプリケーションなどでの操作と同様の操作によって、ズーム処理および視差の調整に関する操作量を調整できるので、ユーザは操作に戸惑うことなく、容易に所望の立体視表示を得ることができる。
<N.制御ブロック図>
図19は、本発明の実施の形態に従うゲーム装置1において提供される表示制御機能を実現するための制御構造を示すブロック図である。
図19を参照して、本実施の形態に従うゲーム装置1は、操作入力受付モジュール400と、指令生成モジュール402と、撮像制御モジュール410と、読出/書込モジュール420と、バッファ430と、レンダリングモジュール440と、記憶部450と、調整モジュール460と、操作画像表示モジュール470とを含む。
これらのモジュールは、典型的には、演算処理部100がプログラム(命令セット)を実行することで具現化される。なお、記憶部450は、不揮発性メモリ136(図4参照)などに含まれる記憶領域によって具現化される。
操作入力受付モジュール400は、上述したような各種の入力装置と接続され、当該入力装置からの操作入力を受付ける。この操作入力には、少なくとも2次元の値が含まれており、操作入力受付モジュール400は、受付けた操作入力に応じた信号を指令生成モジュール402および操作画像表示モジュール470などへ出力する。
指令生成モジュール402は、操作入力に含まれる一方の次元の値に基づいて、ズーム処理に関する指令値(視差調整指令)を生成するとともに、当該操作入力に含まれる他方の次元の値に基づいて、視差の調整に関する指令値(ズーム指令)を生成する。より具体的には、指令生成モジュール402は、入力デバイスの別に、以下のような処理を実行する。
指令生成モジュール402は、タッチパネル122が操作されると、図13に示すユーザインターフェイス画面に示される2次元座標(背景画像302)における状態値オブジェクトであるマーカー画像308の表示位置とポインティングされた位置との間の変位方向に応じて、ズーム処理に関する指令値(視差調整指令)および視差の調整に関する指令値(ズーム指令)を生成する。
また、指令生成モジュール402は、アナログデバイスであるコントロールパッド154が操作されると、そのコントロールパッド154における基準位置からの変位方向に応じて、ズーム処理に関する指令値(視差調整指令)および視差の調整に関する指令値(ズーム指令)を生成する。このとき、指令生成モジュール402は、コントロールパッド154における基準位置からの変位量に応じた速度で、ズームの状態値および視差の調整の状態値がそれぞれ変化するように、それぞれの指令値を生成する。
また、指令生成モジュール402は、2次元の値に対応付けられた2つの方向を独立して操作可能なボタンである、十字ボタン161またはボタン群162が操作されると、それぞれの方向におけるボタン操作に基づいて、ズーム処理に関する指令値(視差調整指令)および視差の調整に関する指令値(ズーム指令)を生成する。
撮像制御モジュール410は、外側カメラ131L,131R(ステレオカメラ)および内側カメラ133と接続され、操作入力受付モジュール400からの指令に応答して、指定されたカメラの撮像により取得された画像をバッファ430へ転送する。
読出/書込モジュール420は、記憶部450への画像の書込(保存)処理(「撮像モード」または「閲覧モード」時)、ならびに、記憶部450からの画像の読出処理(「閲覧モード」時)を実行する。なお、読出/書込モジュール420の処理の詳細については、後述する。
バッファ430は、撮像制御モジュール410および読出/書込モジュール420と接続され、撮像制御モジュール410から出力される画像、および、読出/書込モジュール420から出力される画像を一時的に保持する。バッファ430に保持される画像は、表示制御モジュール462からアクセスされる。また、バッファ430に保持される画像は、読出/書込モジュール420によって、記憶部450に保存される場合もある。
レンダリングモジュール440は、「CGモード」において、記憶部450などに格納されているオブジェクトなどのデータをレンダリング(描画)処理して、表示装置に表示されるべき画像を生成する。なお、レンダリングモジュール440は、上側LCD110において立体視表示を行うために、2つの仮想カメラで対象のオブジェクトを仮想的に撮像することで、所定の視差を有するステレオ画像を動的に生成する。
記憶部450は、表示装置に表示される画像を含む画像データ452と、当該画像データ452に関連付けられた視差情報454とを格納している。さらに、記憶部450は、レンダリングモジュール440がステレオ画像を動的に生成するためのオブジェクトデータ458を格納している。
調整モジュール460は、操作入力受付モジュール400が受付けた操作入力の内容に基づいて、上側LCD110の表示面において左目用画像および右目用画像(立体視画像)のズーム処理を行うとともに、上側LCD110の表示面における左目用画像および右目用画像(立体視画像)の視差を調整する。より具体的には、調整モジュール460は、指令生成モジュール402からの指令値に応答して、ズーム処理および視差調整を行う。すなわち、調整モジュール460は、操作入力に含まれる一方の次元の値に基づいて、左目用画像および右目用画像(立体視画像)のズーム処理を行い、操作入力に含まれる他方の次元の値に基づいて、左目用画像および右目用画像(立体視画像)の視差を調整する。
表示制御モジュール462は、バッファ430と接続され、視差を有する一対の入力画像の全部または一部を表示装置である上側LCD110の表示面にそれぞれ表示することで、立体視表示を行う。特に、表示制御モジュール462は、外側カメラ131Lおよび131R(ステレオカメラ)がそれぞれ撮像することで生成される一対の入力画像のうち、操作入力に応じたそれぞれの範囲を左目用画像および右目用画像(表示画像)として出力する。
特に、表示制御モジュール462は、調整モジュール460によってズーム処理された左目用画像および右目用画像(立体視画像)を調整モジュール460によって調整された視差で表示装置である上側LCD110に表示する。
操作画像表示モジュール470は、操作入力受付モジュール400、指令生成モジュール402、および、調整モジュール460と接続され、下側LCD120にユーザインターフェイス画面や操作画像を表示させる。操作画像表示モジュール470は、たとえば、図13に示すユーザインターフェイス画面に示される2次元座標(背景画像302)において、ズームの状態を示す値と視差の状態を示す値とに対応する座標位置に、状態値オブジェクトとしてのマーカー画像308を表示する。
また、操作画像表示モジュール470は、タッチパネル122上のポインティングされた位置に応じて、状態値オブジェクトとしてのマーカー画像308の表示位置を更新する。このとき、操作画像表示モジュール470は、マーカー画像308の表示位置とポインティングされた位置との間の距離に応じた速度で、マーカー画像308を移動させる。
すなわち、操作画像表示モジュール470は、非立体視表示を行う表示装置である下側LCD120において、ズームの状態、ならびに、視差の状態を表示する。
<O.画像の保存/読出>
(o1.画像保存)
上述の図13に示すように、ゲーム装置1が「撮像モード」である場合には、ユーザがLボタン162LまたはRボタン162Rを押下することで、当該時点で取得されている画像が保存される。
ゲーム装置1においては、外側カメラ131Lおよび131Rの逐次撮像により得られる画像(Live画像)に対して、立体視表示が可能であり、上述したような、ズーム処理の操作、および、視差の調整の操作についても、このLive画像に対して行うこともできる。
そのため、「撮像モード」において、ユーザが撮像を指示(Lボタン162LまたはRボタン162Rの押下)すると、当該指示された時点における、ズーム処理の状態、ならびに、視差の状態を再現できるように、画像が保存される。
より具体的には、上述の図10において説明したように、ズーム処理に係る処理の典型例であるズームイン処理またはズームアウト処理は、外側カメラ131Lおよび131Rの撮像によりそれぞれ撮像された入力画像PIMGLおよびPIMGRに対して、表示装置での表示に用いる領域(表示画像IMGLおよびIMGRの大きさ)を変更する処理に相当する。
そこで、ゲーム装置1(図19の読出/書込モジュール420)は、ユーザによる撮像指示に応答して、当該時点におけるズームの状態に応じた大きさの画像を保存する。一例としては、図10に示すように、入力画像PIMGLのうち表示画像IMGLの範囲、および、入力画像PIMGRのうち表示画像IMGRの範囲を保存する。
さらに、ゲーム装置1(図19の読出/書込モジュール420)は、これらの保存した画像に関連付けて、当該時点における視差の状態を示す情報(図19に示す視差情報454)を保存する。このようなデータ構造について、図20を参照して、より詳細に説明する。
図20は、本発明の実施の形態に従うゲーム装置1における保存される画像のデータ構造の一例を示す図である。
図20(A)には、画像データ452(表示画像IMGLおよびIMGR)とは独立したファイルとして、視差情報454が保存される例を示す。上述したように、ズームの状態は、保存される表示画像IMGLおよびIMGRの範囲に反映されるので、この視差情報454には、表示画像IMGLおよびIMGRが表示装置に表示される際の相対的な位置関係を示す情報が含まれていればよい。
図20(A)に示す視差情報454の例では、「視差情報=20pixel」と記述されている。上述の図7および図8において説明したように、基本的には、表示装置(上側LCD110)に表示される所定の視差を有する一対の画像(ステレオ画像)の相対的な位置関係(重なり度合い)は、人間の目の配置方向、すなわち、X方向について異ならせることでよい。そのため、図20(A)に示す視差情報454の例では、表示画像IMGLと表示画像IMGRとの間を「20pixel」だけずらして表示面に表示することを意味する。
なお、現実のゲーム装置1においては、外側カメラ131Lおよび131R(ステレオカメラ)の取り付け位置のばらつきや、各カメラの光学系のばらつきなどに起因して、キャリブレーションが必要となる場合がある。このキャリブレーションでは、外側カメラ131Lおよび131Rの撮像によりそれぞれ生成される入力画像を整合させるために、位置ずれ量(ΔX,ΔY)、回転角度、傾き、拡大率などの補正パラメータなどが予め取得される。このような場合には、上述の視差情報をこれらの補正パラメータに組入れるようにしてもよい。
より具体的には、図10(B)に示すように、補正パラメータを含む各種の情報は、典型的には、画像データ452L,452Rのヘッダ部分(プリアンブル)456に保持される。このヘッダ部分456は、実質的に画像の内容が記憶されるボディ部分457とは独立して設けられている。たとえば、JPEG(Joint Photographic Experts Group)フォーマットの画像データにおいては、EXIF(Exchangeable Image File Format)情報として組入れられる。そのため、このヘッダ部分456に、上述の補正パラメータに加えて、視差情報454を組入れるようにしてもよい。
(o2.画像読出)
上述した「閲覧モード」では、所定の視差を有する一対の画像(ステレオ画像)が読出される。具体的には、不揮発性メモリ136やメモリカード173(図4参照)などの記憶装置に記憶されている一対の画像(ステレオ画像)が表示装置(上側LCD110)に表示される画像として取得される。
このとき、図20に示すように、読出対象のステレオ画像(表示画像IMGLおよびIMGR)に関連付けられている視差情報454が同時に読出される。この読出されたステレオ画像は、初期状態として、視差情報454に記述された情報に基づく相対的な位置関係で表示面に表示される。
<P.処理手順>
図21は、本発明の実施の形態に従うゲーム装置1において提供される表示制御処理に係るメインルーチンのフローチャートである。図22は、本発明の実施の形態に従うゲーム装置1において提供される表示制御処理に係る「撮像モード」におけるフローチャートである。図23は、図22に示すフローチャート内の3D撮像処理サブルーチンの内容を示すフローチャートである。図24は、図22に示すフローチャート内の2D撮像処理サブルーチンの内容を示すフローチャートである。図25は、本発明の実施の形態に従うゲーム装置1において提供される表示制御処理に係る「CGモード」におけるフローチャートである。図26は、本発明の実施の形態に従うゲーム装置1において提供される表示制御処理に係る「閲覧モード」におけるフローチャートである。
図21〜図26に示す各フローチャートの各ステップは、典型的には、演算処理部100(図4)がプログラム(命令セット)を実行することで提供される。なお、演算処理部100で実行されるプログラムは、単一でなくともよく、基本的なOS(Operating System)を提供するプログラム(あるいは、ファームウェア)とともに、1または複数のアプリケーションが実行されてもよい。さらに、以下に示す処理の全部または一部をハードウェアによって実現してもよい。
(p1.メインルーチン)
図21を参照して、演算処理部100は、ユーザが選択したモードを判断する(ステップS2)。より具体的には、演算処理部100は、図13に示すユーザインターフェイス画面において操作画像312が選択されたか否か、あるいは、図示しないメニュー画面などに対する操作などに基づいて、ユーザが選択したモードを判断する。
ユーザが「撮像モード」を選択した場合(ステップS2において「撮像モード」)には、演算処理部100は、図22に示す撮像処理を開始する(ステップS4)。
また、ユーザが「CGモード」を選択した場合(ステップS2において「CGモード」)には、演算処理部100は、図25に示すCG描画表示処理を開始する(ステップS6)。
また、ユーザが「閲覧モード」を選択した場合(ステップS2において「閲覧モード」)には、演算処理部100は、図26に示す閲覧処理を開始する(ステップS8)。
(p2.撮像モード)
演算処理部100は、「撮像モード」が選択されている場合には、図22に示す撮像処理を開始する。
図22を参照して、まず、演算処理部100は、撮像に必要な初期設定を行う(ステップS10)。より具体的には、演算処理部100は、撮像装置(外側カメラ131L,131Rおよび内側カメラ133)の初期化や、初期画面の表示、初期パラメータの設定などを行う。
続いて、演算処理部100は、ユーザが3D(立体)撮像モードを選択したか否かを判断する(ステップS12)。より具体的には、演算処理部100は、図13に示すユーザインターフェイス画面において操作画像322が選択されたか否かなどに基づいて、ユーザが選択したモードを判断する。
ユーザが「3D撮像モード」を選択した場合(ステップS12においてYESの場合)には、演算処理部100は、図23に示す3D撮像処理サブルーチンを開始する(ステップS14)。これに対して、ユーザが「3D撮像モード」を選択していない場合(ステップS12においてNOの場合)には、演算処理部100は、図24に示す2D撮像処理サブルーチンを開始する(ステップS16)。
いずれかのサブルーチンの終了後、演算処理部100は、撮像処理の終了が指示されたか否かを判断する(ステップS18)。より具体的には、演算処理部100は、図13に示すユーザインターフェイス画面において操作画像310または操作画像312が選択されたか否かなどに基づいて、撮像処理の指示の有無を判断する。
撮像処理の終了が指示されていない場合(ステップS18においてNOの場合)には、演算処理部100は、ステップS12以下の処理を繰返す。これに対して、撮像処理の終了が指示されている場合(ステップS18においてYESの場合)には、演算処理部100は、図22に示す撮像処理を終了し、メインルーチンへリターンする。
(p2−1.3D撮像処理サブルーチン)
図23を参照して、3D撮像処理サブルーチンについて説明する。
演算処理部100は、外側カメラ131Lおよび131Rでの撮像を有効化する(ステップS102)。すなわち、演算処理部100は、外側カメラ131Lおよび131Rに指令を与えて、所定周期または所定イベント毎に、所定の視差を有する一対の入力画像(ステレオ画像)を取得する。この所定の視差を有する一対の入力画像は、一時的に保持される。
続いて、演算処理部100は、ユーザがタッチパネル122に対して何らかの入力を行ったか否かを判断する(ステップS104)。すなわち、演算処理部100は、タッチパネル122から何らかの有意な操作入力が出力されたか否かを判断する。
ユーザがタッチパネル122に対して何らかの入力を行ったと判断された場合(ステップS104においてYESの場合)には、演算処理部100は、下側LCD120に表示されるマーカー画像308とポインティング座標との間の差分ベクトルを算出する(ステップS106)。すなわち、演算処理部100は、下側LCD120に表示されるユーザインターフェイス画面上において、ズーム処理および視差の調整の現在値に対する偏差を算出する。
これに対して、ユーザがタッチパネル122に対して何らの入力も行っていないと判断された場合(ステップS104においてNOの場合)には、演算処理部100は、演算処理部100は、ユーザがコントロールパッド154に対して何らかの入力を行ったか否かを判断する(ステップS108)。すなわち、演算処理部100は、コントロールパッド108から何らかの有意な操作入力が出力されたか否かを判断する。
ユーザがコントロールパッド154に対して何らかの入力を行ったと判断された場合(ステップS108においてYESの場合)には、演算処理部100は、コントロールパッド108から出力される操作入力(アナログ量)からベクトルを算出する(ステップS110)。すなわち、演算処理部100は、ユーザによるコントロールパッド154の操作量に応じて、ズーム処理および視差の調整をすべき偏差を算出する。
ステップS106またはS110の実行後、演算処理部100は、ステップS106またはS110において算出したベクトルの方向へ、当該ベクトルの大きさに対応した速度でマーカー画像308を移動する(ステップS112)。すなわち、算出されるベクトルは、ズーム処理および視差の調整のそれぞれについての操作量に相当し、演算処理部100は、この操作量に応じた位置にマーカー画像308を移動するとともに、当該移動後の位置に対応する状態値となるように、ズーム処理、および、視差を調整する処理が実行される。
これに対して、ユーザがコントロールパッド154に対して何らの入力も行っていない判断された場合(ステップS108においてNOの場合)には、演算処理部100は、ズームの現在の状態値および視差の調整についての現在の状態値を指令値に設定する。
続いて、演算処理部100は、移動後のマーカー画像のY軸方向(図13に示す第1軸画像304の方向)の位置に基づいて、入力画像に対してズーム処理を実行する(ステップS114)。すなわち、演算処理部100は、先の処理において算出された指令値と一致するように、上側LCD110の表示面に表示される入力画像のサイズを調整する。
さらに続いて、演算処理部100は、移動後のマーカー画像のX方向(図13に示す第第2軸画像306の方向)の位置に基づいて、入力画像についての視差の調整を行う(ステップS116)。すなわち、演算処理部100は、先の処理において算出された指令値と一致するように、上側LCD110の表示面に表示される入力画像の重なり度合い(相対的な位置関係)を調整する。
なお、ステップS114におけるズーム処理およびステップS116における視差調整については、その実行順序は問わない。さらに、これらの処理を並列的に実行してもよい。
最終的に、演算処理部100は、ステップS114およびS116において、それぞれ、ズーム処理に係る変更、および、視差を調整するための変更を反映した状態で、一対の入力画像を上側LCD110に表示する(ステップS118)。
続いて、演算処理部100は、ユーザがシャッターONの操作を行ったか否かを判断する(ステップS120)。すなわち、演算処理部100は、Lボタン162LまたはRボタン162Rが押下されたか否かを判断する。
ユーザがシャッターONの操作を行った場合(ステップS120においてYESの場合)には、演算処理部100は、表示されている入力画像を保存する(ステップS122)。このとき、演算処理部100は、一対の入力画像のうち、シャッターONされた時点におけるズームの状態に応じた大きさの画像を保存する。続いて、演算処理部100は、シャッターONされた時点における視差の状態を示す視差情報を当該保存した画像に関連付けて保存する(ステップS124)。
ステップS124の実行後、あるいは、ユーザがシャッターONの操作を行ってない場合(ステップS120においてNOの場合)には、図23に示す3D撮像処理を終了し、図22に示す処理へリターンする。
(p2−2.2D撮像処理サブルーチン)
次に、図24を参照して、2D撮像処理サブルーチンについて説明する。この2D撮像処理サブルーチンは、図23に示す3D撮像処理サブルーチンに比較して、視差の調整に係る処理を除いたものに相当する。したがって、3D撮像処理サブルーチンと類似する処理についての詳細な説明は繰返さない。
演算処理部100は、内側カメラ133での撮像を有効化する(ステップS202)。すなわち、演算処理部100は、内側カメラ133に指令を与えて、所定周期または所定イベント毎に、入力画像(非ステレオ画像)を取得する。
続いて、演算処理部100は、ユーザがタッチパネル122に対して何らかの入力を行ったか否かを判断する(ステップS204)。すなわち、演算処理部100は、タッチパネル122から何らかの有意な操作入力が出力されたか否かを判断する。
ユーザがタッチパネル122に対して何らかの入力を行ったと判断された場合(ステップS204においてYESの場合)には、演算処理部100は、下側LCD120に表示されるマーカー画像308とポインティング座標との間の差分ベクトルを算出する(ステップS206)。但し、後述するように、2D撮像処理においては、ズーム処理の調整のみが実行されるので、図13に示す第1軸画像304の方向の差分のみを算出するようにしてもよい。
これに対して、ユーザがタッチパネル122に対して何らの入力も行っていないと判断された場合(ステップS204においてNOの場合)には、演算処理部100は、演算処理部100は、ユーザがコントロールパッド154に対して何らかの入力を行ったか否かを判断する(ステップS208)。すなわち、演算処理部100は、コントロールパッド154から何らかの有意な操作入力が出力されたか否かを判断する。
ユーザがコントロールパッド154に対して何らかの入力を行ったと判断された場合(ステップS208においてYESの場合)には、演算処理部100は、コントロールパッド154から出力される操作入力(アナログ量)からベクトルを算出する(ステップS210)。但し、後述するように、2D撮像処理においては、ズーム処理の調整のみが実行されるので、コントロールパッド154から出力される紙面上下方向の操作量のみを算出するようにしてもよい。
ステップS206またはS210の実行後、演算処理部100は、ステップS206またはS210において算出したベクトルのY軸方向へ、当該ベクトルの大きさに対応した速度でマーカー画像308を移動する(ステップS212)。これは、2D撮像処理においては、ズーム処理の調整のみが実行されるからである。
これに対して、ユーザがコントロールパッド154に対して何らの入力も行っていない判断された場合(ステップS208においてNOの場合)には、演算処理部100は、ズームの現在の状態値を指令値に設定する。
続いて、演算処理部100は、移動後のマーカー画像のY軸方向(図13に示す第1軸画像304の方向)の位置に基づいて、入力画像に対してズーム処理を実行する(ステップS214)。すなわち、演算処理部100は、先の処理において算出された指令値と一致するように、上側LCD110の表示面に表示される入力画像のサイズを調整する。
最終的に、演算処理部100は、ステップS214において、ズーム処理に係る変更を反映した状態で、入力画像を上側LCD110に表示する(ステップS216)。なお、上側LCD110では、非立体表示(平面表示)がなされるように、バリア液晶113などが無効化される。
続いて、演算処理部100は、ユーザがシャッターONの操作を行ったか否かを判断する(ステップS218)。すなわち、演算処理部100は、Lボタン162LまたはRボタン162Rが押下されたか否かを判断する。
ユーザがシャッターONの操作を行った場合(ステップS218においてYESの場合)には、演算処理部100は、表示されている入力画像を保存する(ステップS220)。このとき、演算処理部100は、一対の入力画像のうち、シャッターONされた時点におけるズームの状態に応じた大きさの画像を保存する。
ステップS220の実行後、あるいは、ユーザがシャッターONの操作を行ってない場合(ステップS218においてNOの場合)には、図24に示す2D撮像処理を終了し、図22に示す処理へリターンする。
(p3.CGモード)
演算処理部100は、「CGモード」が選択されている場合には、図25に示すCG描画表示処理を開始する。
図25を参照して、まず、演算処理部100は、CG描画表示処理に必要な初期設定を行う(ステップS302)。より具体的には、演算処理部100は、レンダリング処理に必要な各種パラメータ、仮想カメラの位置、ステレオベースの値などの初期値を設定する。
続いて、演算処理部100は、所定のオブジェクトファイルを読出す(ステップS304)。すなわち、演算処理部100は、レンダリングの対象とするオブジェクトを特定する。そして、演算処理部100は、対象のオブジェクトを仮想的に撮像することで、所定の視差を有する一対の画像(ステレオ画像)を動的に生成する(ステップS306)。なお、このオブジェクトファイルは、ユーザが明示的に選択する場合もあるが、典型的には、ユーザが選択したアプリケーションに予め組込まれており、これを読込むことで、仮想的な撮像により表示面に表示される画像が生成される。
続いて、演算処理部100は、ユーザがタッチパネル122に対して何らかの入力を行ったか否かを判断する(ステップS308)。すなわち、演算処理部100は、タッチパネル122から何らかの有意な操作入力が出力されたか否かを判断する。
ユーザがタッチパネル122に対して何らかの入力を行ったと判断された場合(ステップS308においてYESの場合)には、演算処理部100は、下側LCD120に表示されるマーカー画像308とポインティング座標との間の差分ベクトルを算出する(ステップS310)。
これに対して、ユーザがタッチパネル122に対して何らの入力も行っていないと判断された場合(ステップS308においてNOの場合)には、演算処理部100は、演算処理部100は、ユーザがコントロールパッド154に対して何らかの入力を行ったか否かを判断する(ステップS312)。
ユーザがコントロールパッド154に対して何らかの入力を行ったと判断された場合(ステップS312においてYESの場合)には、演算処理部100は、コントロールパッド108から出力される操作入力(アナログ量)からベクトルを算出する(ステップS314)。
ステップS310またはS314の実行後、演算処理部100は、ステップS310またはS314において算出したベクトルの方向へ、当該ベクトルの大きさに対応した速度でマーカー画像308を移動する(ステップS316)。
これに対して、ユーザがコントロールパッド154に対して何らの入力も行っていない判断された場合(ステップS312においてNOの場合)には、演算処理部100は、ズームの現在の状態値および視差の調整についての現在の状態値を指令値に設定する。
続いて、演算処理部100は、移動後のマーカー画像のY軸方向(図13に示す第1軸画像304の方向)およびX方向(図13に示す第2軸画像306の方向)におけるそれぞれの位置に基づいて、仮想カメラの位置などを変更した後に、対象のオブジェクトを仮想的に再度撮像することで、所定の視差を有する一対の画像(ステレオ画像)を動的に生成する(ステップS318)。最終的に、演算処理部100は、ステップS318において生成した一対の画像を上側LCD110に表示する(ステップS320)。
その後、演算処理部100は、CG描画表示処理の終了が指示されたか否かを判断する(ステップS322)。CG描画表示処理の終了が指示されていない場合(ステップS322においてNOの場合)には、演算処理部100は、ステップS308以下の処理を繰返す。これに対して、CG描画表示処理の終了が指示されている場合(ステップS322においてYESの場合)には、演算処理部100は、図25に示すCG描画表示処理を終了し、メインルーチンへリターンする。
(p4.閲覧モード)
演算処理部100は、「閲覧モード」が選択されている場合には、図26に示す閲覧処理を開始する。この閲覧処理のフローチャートは、図23に示す3D撮像処理サブルーチンの内容を示すフローチャートに比較して、外側カメラ131L,131Rの撮像によりステレオ画像を取得するのではなく、予め保存されている画像を読出すことでステレオ画像を取得するものに相当する。したがって、3D撮像処理サブルーチンと類似する処理についての詳細な説明は繰返さない。
図26を参照して、まず、演算処理部100は、閲覧処理に必要な初期設定を行う(ステップS402)。より具体的には、演算処理部100は、初期画面の表示、初期パラメータの設定などを行う。
続いて、演算処理部100は、ユーザの選択に応答して、予め記憶されているステレオ画像を読出す(ステップS404)。典型的には、上述の図20に示すような表示画像IMGLおよびIMGRが読出される。このとき、演算処理部100は、読出したステレオ画像に関連付けて保存されている視差情報を読出す。
続いて、演算処理部100は、初期状態として、ステップS404において読出した視差情報に基づく相対的な位置関係で読出したステレオ画像を上側LCD110に表示する(ステップS406)。
続いて、演算処理部100は、ユーザがタッチパネル122に対して何らかの入力を行ったか否かを判断する(ステップS408)。すなわち、演算処理部100は、タッチパネル122から何らかの有意な操作入力が出力されたか否かを判断する。
ユーザがタッチパネル122に対して何らかの入力を行ったと判断された場合(ステップS408においてYESの場合)には、演算処理部100は、下側LCD120に表示されるマーカー画像308とポインティング座標との間の差分ベクトルを算出する(ステップS410)。
これに対して、ユーザがタッチパネル122に対して何らの入力も行っていないと判断された場合(ステップS408においてNOの場合)には、演算処理部100は、演算処理部100は、ユーザがコントロールパッド154に対して何らかの入力を行ったか否かを判断する(ステップS412)。
ユーザがコントロールパッド154に対して何らかの入力を行ったと判断された場合(ステップS412においてYESの場合)には、演算処理部100は、コントロールパッド108から出力される操作入力(アナログ量)からベクトルを算出する(ステップS414)。
ステップS410またはS414の実行後、演算処理部100は、ステップS410またはS414において算出したベクトルの方向へ、当該ベクトルの大きさに対応した速度でマーカー画像308を移動する(ステップS416)。
これに対して、ユーザがコントロールパッド154に対して何らの入力も行っていない判断された場合(ステップS412においてNOの場合)には、演算処理部100は、ズームの現在の状態値および視差の調整についての現在の状態値を指令値に設定する。
続いて、演算処理部100は、移動後のマーカー画像のY軸方向(図13に示す第1軸画像304の方向)の位置に基づいて、読出した入力画像に対してズーム処理を実行する(ステップS418)。さらに続いて、演算処理部100は、移動後のマーカー画像のX方向(図13に示す第第2軸画像306の方向)の位置に基づいて、読出した入力画像についての視差の調整を行う(ステップS420)。最終的に、演算処理部100は、ステップS418およびS420において、それぞれ、ズーム処理に係る変更、および、視差を調整するための変更を反映した状態で、一対の入力画像を上側LCD110に表示する(ステップS422)。
なお、ステップS418におけるズーム処理およびステップS420における視差調整については、その実行順序は問わない。さらに、これらの処理を並列的に実行してもよい。
続いて、演算処理部100は、ユーザが再保存を指示したか否かを判断する(ステップS424)。ユーザが再保存を指示した場合(ステップS424においてYESの場合)には、演算処理部100は、表示されている入力画像を再度保存する(ステップS426)。このとき、演算処理部100は、一対の入力画像のうち、再保存が指示された時点におけるズームの状態に応じた大きさの画像を保存する。続いて、演算処理部100は、再保存が指示された時点における視差の状態を示す視差情報を当該保存した画像に関連付けて保存する(ステップS428)。
ステップS428の実行後、あるいは、ユーザが再保存を指示していない場合(ステップS424においてNOの場合)には、演算処理部100は、閲覧処理の終了が指示されたか否かを判断する(ステップS430)。閲覧処理の終了が指示されていない場合(ステップS430においてNOの場合)には、演算処理部100は、ステップS408以下の処理を繰返す。これに対して、閲覧処理の終了が指示されている場合(ステップS430においてYESの場合)には、演算処理部100は、図26に示す閲覧処理を終了し、メインルーチンへリターンする。
<Q.各種形態>
上述の実施の形態においては、一連の処理が単一の装置において実行される場合を説明したが、他の実施の形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。
さらには、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。
また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。
また、本発明は、立体視表示が可能な表示装置を制御するための表示制御装置のコンピュータで実行される表示制御方法としても具現化される。
また、本発明は、上述したような処理を実行するための表示制御プログラムを格納した記憶媒体が、当該記憶媒体を装着可能な表示制御装置本体に装着されることで実現され得る。すなわち、表示制御装置本体は、少なくとも、立体視画像を表示可能な表示装置と、入力装置とを有しており、この表示制御装置本体に記憶媒体が装着されることで、その中に格納される表示制御プログラムが読み出されて、本実施の形態に係る表示制御処理が実行される。言い換えれば、表示制御装置本体と、それに装着される記憶媒体とからなる表示制御システムとして具現化することができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 ゲーム装置、2 上側ハウジング、3 下側ハウジング、4 ヒンジ、31,32 フック、100 演算処理部、102 CPU、106a,106b RAM、108,154 コントロールパッド、110 上側LCD、120 下側LCD、111,121 LCDコントローラ、112,123 LCDパネル、112L 左目用画素群、112R 右目用画素群、113 バリア液晶、114 スリット、118,119 ガラス基板、122 タッチパネル、131L,131R,131L,131R 外側カメラ、133 内側カメラ、134 無線モジュール、136 不揮発性メモリ、138 メインメモリ、140 マイコン、142,142,162,162 ボタン群、142a セレクトボタン、142b,162L,162R ボタン、142c スタートボタン、142d 電源ボタン、143 無線スイッチ、144 音量ボリューム、145 立体視ボリューム、146 電源管理IC、147 インジケータ群、147a 立体表示インジケータ、147b お知らせインジケータ、147c 無線インジケータ、147d 電源インジケータ、147e 充電インジケータ、148 加速度センサ、150 インターフェイス回路、151 スピーカ、151L,151R 音抜き孔、152 ヘッドホン用アンプ、153 マイク、153a マイク用孔、158 接続端子、161 十字ボタン、162A,162B,162X,162Y,162X,162Y 操作ボタン、170 ゲームカードスロット、171 ゲームカード、172 メモリカードスロット、173 メモリカード、174 充電端子、176 収納部、177 スタイラスペン、178 赤外線モジュール、179 赤外線ポート、202,204 仮想カメラ、212 視野範囲、400 操作入力受付モジュール、402 指令生成モジュール、410 撮像制御モジュール、420 書込モジュール、430 バッファ、440 レンダリングモジュール、450 記憶部、452,452L,452R 画像データ、454 視差情報、456 ヘッダ部分、457 ボディ部分、458 オブジェクトデータ、460 調整モジュール、462 表示制御モジュール、470 操作画像表示モジュール、IMGL,IMGR,IMGL,IMGR 表示画像、PIMGL,PIMGR 入力画像、SBJ1,SBJ2 被写体。

Claims (26)

  1. 立体視表示が可能な表示装置に立体視画像を表示するための、入力装置を利用可能な表示制御装置のコンピュータで実行される表示制御プログラムであって、
    前記コンピュータを、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段として機能させ、
    前記入力装置は、前記操作入力として、少なくとも2次元の値を出力し、
    前記ズーム制御手段は、前記操作入力に含まれる一方の次元の値に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御手段は、前記操作入力に含まれる他方の次元の値に基づいて、前記立体視画像の視差を調整する、表示制御プログラム。
  2. 立体視表示が可能な表示装置に立体視画像を表示するための、入力装置を利用可能な表示制御装置のコンピュータで実行される表示制御プログラムであって、
    前記コンピュータを、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段として機能させ、
    前記入力装置は、前記操作入力として、少なくとも2次元の値を出力するポインティングデバイスを含み、
    前記ズーム制御手段は、前記ポインティングデバイスから出力される第1軸方向の位置に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御手段は、前記ポインティングデバイスから出力される第2軸方向の位置に基づいて、前記立体視画像の視差を調整する、表示制御プログラム。
  3. 前記表示制御プログラムは、前記コンピュータを、さらに、
    前記第1軸方向および前記第2軸方向を座標軸とする2次元座標において、前記立体視画像のズームの状態を示す第1状態値と前記立体視画像の視差の状態を示す第2状態値とに対応する座標位置に、状態値オブジェクトを表示する状態値オブジェクト表示手段として機能させる、請求項に記載の表示制御プログラム。
  4. 前記表示制御プログラムは、前記コンピュータを、さらに、
    前記2次元座標における前記状態値オブジェクトの表示位置とポインティングされた位置との間の変位方向に応じて、前記立体視画像のズーム処理を行うための第1指令値と、前記立体視画像の視差を調整するための第2指令値とを生成する第1指令生成手段として機能させ、
    前記状態値オブジェクト表示手段は、前記ポインティングされた位置に応じて、前記状態値オブジェクトの表示位置を更新する、請求項に記載の表示制御プログラム。
  5. 前記状態値オブジェクト表示手段は、前記状態値オブジェクトの表示位置と前記ポインティングされた位置との間の距離に応じた速度で、前記状態値オブジェクトの表示位置を更新する、請求項に記載の表示制御プログラム。
  6. 立体視表示が可能な表示装置に立体視画像を表示するための、入力装置を利用可能な表示制御装置のコンピュータで実行される表示制御プログラムであって、
    前記コンピュータを、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段として機能させ、
    前記入力装置は、前記操作入力として、少なくとも2自由度の入力を同時に受付けることが可能なアナログデバイスを含み、所定の基準位置からの変位方向および変位量に応じた少なくとも2次元の値をもつ前記操作入力を出力する、表示制御プログラム。
  7. 前記表示制御プログラムは、前記コンピュータを、さらに、
    前記アナログデバイスにおける前記基準位置からの変位方向に応じて、前記立体視画像のズーム処理を行うための第1指令値と、前記立体視画像の視差を調整するための第2指令値とを生成する第2指令生成手段として機能させる、請求項に記載の表示制御プログラム。
  8. 前記第2指令生成手段は、前記アナログデバイスにおける前記基準位置からの変位量に応じた速度で、前記立体視画像のズームの状態、ならびに、前記立体視画像の視差の状態が変化するように、前記第1指令値および前記第2指令値を生成する、請求項に記載の表示制御プログラム。
  9. 前記入力装置は、前記2次元の値に対応付けられた2つの方向を独立して操作可能な1または複数のボタンを含み、それぞれの方向におけるボタン操作に応じた値をもつ前記操作入力を出力する、請求項のいずれか1項に記載の表示制御プログラム。
  10. 前記表示制御プログラムは、前記コンピュータを、さらに、
    それぞれの方向におけるボタン操作に基づいて、前記立体視画像のズーム処理を行うための第1指令値と、前記立体視画像の視差を調整するための第2指令値とを生成する第3指令生成手段として機能させる、請求項に記載の表示制御プログラム。
  11. 前記表示制御プログラムは、前記コンピュータを、さらに、
    視差を有する第1画像および第2画像の全部または一部を前記表示装置の表示面にそれぞれ表示することで、立体視表示を行う画像表示手段として機能させ、
    前記ズーム制御手段は、前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記表示装置の表示面において前記第1画像および前記第2画像のズーム処理を行い、
    前記視差制御手段は、前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記表示装置の表示面における前記第1画像および前記第2画像についての視差を調整する、請求項1〜10のいずれか1項に記載の表示制御プログラム。
  12. 前記画像表示手段は、前記第1画像および前記第2画像を実質的に同一の表示領域に表示する、請求項11に記載の表示制御プログラム。
  13. 前記表示制御装置は、所定の間隔だけ離して配置された第1撮像装置および第2撮像装置を利用可能であり、
    前記画像表示手段は、前記第1撮像装置および前記第2撮像装置がそれぞれ撮像することで生成される第1入力画像および第2入力画像のうち、前記操作入力に応じたそれぞれの範囲を前記第1画像および前記第2画像として表示する、請求項11または12に記載の表示制御プログラム。
  14. 前記表示制御装置は、画像を記憶するための記憶装置を利用可能であり、
    前記表示制御プログラムは、前記コンピュータを、さらに、
    所定操作に応答して、当該時点における前記第1画像および前記第2画像の拡大表示または縮小表示の状態に応じた大きさの画像を、当該時点における前記第1画像および前記第2画像についての視差の状態を示す情報と関連付けて前記記憶装置に保存する保存手段として機能させる、請求項11または12に記載の表示制御プログラム。
  15. 前記表示制御装置は、視差を有する一対の画像を少なくとも記憶する記憶装置を利用可能であり、
    前記表示制御手段は、前記記憶装置に記憶されている前記一対の画像を、前記第1画像および前記第2画像として取得する、請求項11または12に記載の表示制御プログラム。
  16. 前記記憶装置は、前記一対の画像に関連付けて、当該一対の画像についての視差の状態を示す情報を記憶しており、
    前記表示制御手段は、初期状態として、前記一対の画像から取得した前記第1画像および前記第2画像を、当該一対の画像についての視差の状態を示す情報に基づく相対的な位置関係で前記表示装置の表示面に表示する、請求項15に記載の表示制御プログラム。
  17. 前記表示制御装置は、非立体視表示を行う表示装置を利用可能であり、
    前記表示制御プログラムは、前記コンピュータを、さらに、
    前記非立体視表示を行う表示装置において、前記立体視画像のズームの状態、ならびに、前記立体視画像の視差の状態を表示するための状態値表示手段として機能させる、請求項1〜16のいずれか1項に記載の表示制御プログラム。
  18. 立体視表示が可能な表示装置を制御するための表示制御装置のコンピュータで実行される表示制御方法であって、
    力装置からの操作入力を受付ける操作入力受付ステップを備え、前記入力装置は、前記操作入力として、少なくとも2次元の値を出力し、さらに
    前記操作入力受付ステップにおいて受付けた前記操作入力の内容に基づいて、立体視画像のズーム処理を行うズーム制御ステップと、
    前記操作入力受付ステップにおいて受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御ステップと、
    前記ズーム制御ステップにおいてズーム処理された立体視画像を前記視差制御ステップにおいて調整された視差で前記表示装置に表示する表示制御ステップとを備え
    前記ズーム制御ステップでは、前記操作入力に含まれる一方の次元の値に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御ステップでは、前記操作入力に含まれる他方の次元の値に基づいて、前記立体視画像の視差を調整する、表示制御方法。
  19. 立体視表示が可能な表示装置を制御するための表示制御装置のコンピュータで実行される表示制御方法であって、
    力装置からの操作入力を受付ける操作入力受付ステップを備え、前記入力装置は、前記操作入力として、少なくとも2次元の値を出力するポインティングデバイスを含み、さらに
    前記操作入力受付ステップにおいて受付けた前記操作入力の内容に基づいて、立体視画像のズーム処理を行うズーム制御ステップと、
    前記操作入力受付ステップにおいて受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御ステップと、
    前記ズーム制御ステップにおいてズーム処理された立体視画像を前記視差制御ステップにおいて調整された視差で前記表示装置に表示する表示制御ステップとを備え
    前記ズーム制御ステップでは、前記ポインティングデバイスから出力される第1軸方向の位置に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御ステップでは、前記ポインティングデバイスから出力される第2軸方向の位置に基づいて、前記立体視画像の視差を調整する、表示制御方法。
  20. 立体視表示が可能な表示装置を制御するための表示制御装置のコンピュータで実行される表示制御方法であって、
    力装置からの操作入力を受付ける操作入力受付ステップを備え、前記入力装置は、前記操作入力として、少なくとも2自由度の入力を同時に受付けることが可能なアナログデバイスを含み、所定の基準位置からの変位方向および変位量に応じた少なくとも2次元の値をもつ前記操作入力を出力し、さらに
    前記操作入力受付ステップにおいて受付けた前記操作入力の内容に基づいて、立体視画像のズーム処理を行うズーム制御ステップと、
    前記操作入力受付ステップにおいて受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御ステップと、
    前記ズーム制御ステップにおいてズーム処理された立体視画像を前記視差制御ステップにおいて調整された視差で前記表示装置に表示する表示制御ステップとを備える、表示制御方法。
  21. 立体視画像を表示可能な表示装置と、
    操作入力として、少なくとも2次元の値を出力する入力装置と、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段とを備え
    前記ズーム制御手段は、前記操作入力に含まれる一方の次元の値に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御手段は、前記操作入力に含まれる他方の次元の値に基づいて、前記立体視画像の視差を調整する、表示制御装置。
  22. 立体視画像を表示可能な表示装置と、
    操作入力として、少なくとも2次元の値を出力するポインティングデバイスを含む、入力装置と、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段とを備え
    前記ズーム制御手段は、前記ポインティングデバイスから出力される第1軸方向の位置に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御手段は、前記ポインティングデバイスから出力される第2軸方向の位置に基づいて、前記立体視画像の視差を調整する、表示制御装置。
  23. 立体視画像を表示可能な表示装置と、
    入力装置と、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段とを備え
    前記入力装置は、前記操作入力として、少なくとも2自由度の入力を同時に受付けることが可能なアナログデバイスを含み、所定の基準位置からの変位方向および変位量に応じた少なくとも2次元の値をもつ前記操作入力を出力する、表示制御装置。
  24. 表示制御プログラムを格納した記憶媒体と当該記憶媒体を装着可能な表示制御装置本体とを含む表示制御システムであって、
    前記表示制御装置本体は、
    立体視画像を表示可能な表示装置と、
    操作入力として、少なくとも2次元の値を出力する入力装置とを備え、
    前記表示制御装置本体のコンピュータが当該記憶媒体に格納された情報処理プログラムを実行することで、前記表示制御装置本体を、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段として機能させ
    前記ズーム制御手段は、前記操作入力に含まれる一方の次元の値に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御手段は、前記操作入力に含まれる他方の次元の値に基づいて、前記立体視画像の視差を調整する、表示制御システム。
  25. 表示制御プログラムを格納した記憶媒体と当該記憶媒体を装着可能な表示制御装置本体とを含む表示制御システムであって、
    前記表示制御装置本体は、
    立体視画像を表示可能な表示装置と、
    操作入力として、少なくとも2次元の値を出力するポインティングデバイスを含む、入力装置とを備え、
    前記表示制御装置本体のコンピュータが当該記憶媒体に格納された情報処理プログラムを実行することで、前記表示制御装置本体を、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段として機能させ
    前記ズーム制御手段は、前記ポインティングデバイスから出力される第1軸方向の位置に基づいて、前記立体視画像のズーム処理を行い、
    前記視差制御手段は、前記ポインティングデバイスから出力される第2軸方向の位置に基づいて、前記立体視画像の視差を調整する、表示制御システム。
  26. 表示制御プログラムを格納した記憶媒体と当該記憶媒体を装着可能な表示制御装置本体とを含む表示制御システムであって、
    前記表示制御装置本体は、
    立体視画像を表示可能な表示装置と、
    入力装置とを備え、
    前記表示制御装置本体のコンピュータが当該記憶媒体に格納された情報処理プログラムを実行することで、前記表示制御装置本体を、
    前記入力装置からの操作入力を受付ける操作入力受付手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像のズーム処理を行うズーム制御手段と、
    前記操作入力受付手段が受付けた前記操作入力の内容に基づいて、前記立体視画像の視差を調整する視差制御手段と、
    前記ズーム制御手段によってズーム処理された立体視画像を前記視差制御手段によって調整された視差で前記表示装置に表示する表示制御手段として機能させ
    前記入力装置は、前記操作入力として、少なくとも2自由度の入力を同時に受付けることが可能なアナログデバイスを含み、所定の基準位置からの変位方向および変位量に応じた少なくとも2次元の値をもつ前記操作入力を出力する、表示制御システム。
JP2010135207A 2010-06-14 2010-06-14 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム Active JP5186715B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010135207A JP5186715B2 (ja) 2010-06-14 2010-06-14 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム
US12/858,810 US9602809B2 (en) 2010-06-14 2010-08-18 Storage medium storing display control program for providing stereoscopic display desired by user with simpler operation, display control device, display control method, and display control system
EP10173640.3A EP2395760B1 (en) 2010-06-14 2010-08-23 Stereoscopic Display Control Program, Stereoscopic Display Control Method, Stereoscopic Display Control Device, and Stereoscopic Display Control System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010135207A JP5186715B2 (ja) 2010-06-14 2010-06-14 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム

Publications (2)

Publication Number Publication Date
JP2012004663A JP2012004663A (ja) 2012-01-05
JP5186715B2 true JP5186715B2 (ja) 2013-04-24

Family

ID=42678881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010135207A Active JP5186715B2 (ja) 2010-06-14 2010-06-14 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム

Country Status (3)

Country Link
US (1) US9602809B2 (ja)
EP (1) EP2395760B1 (ja)
JP (1) JP5186715B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5409107B2 (ja) * 2009-05-13 2014-02-05 任天堂株式会社 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
JP4754031B2 (ja) 2009-11-04 2011-08-24 任天堂株式会社 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム
JP4876182B2 (ja) * 2009-11-26 2012-02-15 キヤノン株式会社 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395769B1 (en) 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
JP5440461B2 (ja) * 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
JP5450330B2 (ja) * 2010-09-16 2014-03-26 株式会社ジャパンディスプレイ 画像処理装置および方法、ならびに立体画像表示装置
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
KR101727899B1 (ko) * 2010-11-26 2017-04-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
TWI426775B (zh) * 2010-12-17 2014-02-11 Ind Tech Res Inst 攝影機再校正系統及其方法
KR20120091585A (ko) * 2011-02-09 2012-08-20 삼성전기주식회사 디스플레이 장치 및 삼차원 영상 제공방법
KR20130008334A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기
WO2013042311A1 (ja) * 2011-09-20 2013-03-28 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
US9720583B2 (en) * 2011-09-22 2017-08-01 Microsoft Technology Licensing, Llc User interface for editing a value in place
US20130131505A1 (en) * 2011-10-28 2013-05-23 Navident Technologies, Inc. Surgical location monitoring system and method using skin applied fiducial reference
JP2013123153A (ja) * 2011-12-12 2013-06-20 Sony Corp 画像処理装置、その制御方法およびプログラム
WO2013111201A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 立体画像表示制御装置及び立体画像表示制御方法
JP5181084B1 (ja) * 2012-01-27 2013-04-10 パナソニック株式会社 立体画像表示制御装置及び立体画像表示制御方法
US20150187248A1 (en) * 2012-07-25 2015-07-02 Sharp Kabushiki Kaisha Display device and display method
JP2014068145A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
JP5311526B1 (ja) * 2013-03-28 2013-10-09 株式会社 アーチウェイ3D 3d立体視画像作成方法、3d立体視画像作成システム及び3d立体視画像作成プログラム
US9128585B2 (en) * 2013-05-31 2015-09-08 Prezi, Inc. 3D rendering in a ZUI environment
EP3187980B1 (en) * 2014-08-28 2020-07-22 Nintendo Co., Ltd. Information-processing terminal and game device
JP6422584B2 (ja) * 2015-08-06 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
CN112092820B (zh) * 2020-09-03 2022-03-18 广州小鹏汽车科技有限公司 车辆的初始化设置方法、车辆和存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435491A (ja) * 1990-05-30 1992-02-06 Nippon Hoso Kyokai <Nhk> 立体映像の画質制御回路
JPH08313825A (ja) * 1995-05-17 1996-11-29 Matsushita Electric Ind Co Ltd 内視鏡装置
JP3653790B2 (ja) * 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
JP3703196B2 (ja) * 1996-03-04 2005-10-05 キヤノン株式会社 タッチパネル付き情報入力装置
JP3895406B2 (ja) * 1996-03-12 2007-03-22 株式会社東邦ビジネス管理センター データ処理装置およびデータ処理方法
US5971589A (en) * 1996-05-06 1999-10-26 Amadasoft America, Inc. Apparatus and method for managing and distributing design and manufacturing information throughout a sheet metal production facility
US6025833A (en) * 1997-04-08 2000-02-15 Hewlett-Packard Company Method and apparatus for varying the incremental movement of a marker on an electronic display
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP2001326947A (ja) 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置
JP2002101428A (ja) * 2000-09-22 2002-04-05 Toshiba Corp 画像立体視表示装置
US7371163B1 (en) 2001-05-10 2008-05-13 Best Robert M 3D portable game system
CA2361341A1 (en) * 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images
JP4259913B2 (ja) * 2003-05-08 2009-04-30 シャープ株式会社 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
WO2004093467A1 (ja) 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha 3次元画像作成装置、3次元画像再生装置、3次元画像処理装置、3次元画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP4636845B2 (ja) 2004-10-07 2011-02-23 任天堂株式会社 ゲーム装置およびゲームプログラム
US7593603B1 (en) * 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
JP2006251683A (ja) 2005-03-14 2006-09-21 Fujinon Corp 立体画像撮影システム
JP4904986B2 (ja) 2006-08-18 2012-03-28 富士通東芝モバイルコミュニケーションズ株式会社 情報処理装置
JP4692770B2 (ja) * 2006-12-27 2011-06-01 富士フイルム株式会社 複眼デジタルカメラ
JP2010008608A (ja) * 2008-06-25 2010-01-14 Sega Corp 文字判定装置及びプログラム及び記憶媒体
JP5355208B2 (ja) * 2009-05-01 2013-11-27 富士フイルム株式会社 3次元表示装置及びデジタルズーム補正方法

Also Published As

Publication number Publication date
US9602809B2 (en) 2017-03-21
JP2012004663A (ja) 2012-01-05
EP2395760B1 (en) 2017-04-26
EP2395760A3 (en) 2012-07-11
US20110304714A1 (en) 2011-12-15
EP2395760A2 (en) 2011-12-14

Similar Documents

Publication Publication Date Title
JP5186715B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム
JP6981106B2 (ja) 撮像装置、画像表示システム、操作方法、プログラム
US9445084B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5846738B2 (ja) 表示制御プログラム、表示装置、表示システム、および、表示制御方法
EP2802958B1 (en) Mobile display device
JP6139679B2 (ja) 情報処理端末およびゲーム装置
JP5677001B2 (ja) 情報処理装置および情報処理システム
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
JP6397698B2 (ja) 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
JP5738077B2 (ja) 表示制御プログラム、表示装置、表示システム、および、表示制御方法
JP2012115414A (ja) ゲーム装置、ゲームを提供する方法、ゲームプログラム、および、ゲームシステム
US20120293549A1 (en) Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
EP2433685A2 (en) Information processing apparatus capable of associating data with each other, information processing system, and information processing program
JP5725902B2 (ja) 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム
US20120133641A1 (en) Hand-held electronic device
EP2471583B1 (en) Display control program, display control method, and display control system
JP5181084B1 (ja) 立体画像表示制御装置及び立体画像表示制御方法
CN109714585B (zh) 图像传输方法及装置、显示方法及装置、存储介质
US20120162195A1 (en) Image processing apparatus, computer-readable storage medium having image processing program stored therein, image processing method, and image processing system
JP2017016706A (ja) 情報処理端末およびゲーム装置
JP2013219579A (ja) 情報処理装置、3次元画像の補正方法およびプログラム
JP5776964B2 (ja) 情報表示装置、表示制御方法及びプログラム
JP2021092672A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130104

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5186715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250