JP5073013B2 - 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム - Google Patents

表示制御プログラム、表示制御装置、表示制御方法および表示制御システム Download PDF

Info

Publication number
JP5073013B2
JP5073013B2 JP2010133905A JP2010133905A JP5073013B2 JP 5073013 B2 JP5073013 B2 JP 5073013B2 JP 2010133905 A JP2010133905 A JP 2010133905A JP 2010133905 A JP2010133905 A JP 2010133905A JP 5073013 B2 JP5073013 B2 JP 5073013B2
Authority
JP
Japan
Prior art keywords
display
input
stereoscopic
image
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010133905A
Other languages
English (en)
Other versions
JP2011257682A (ja
Inventor
泰幸 大八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2010133905A priority Critical patent/JP5073013B2/ja
Priority to US12/858,639 priority patent/US8599246B2/en
Priority to EP10173727.8A priority patent/EP2395383B1/en
Publication of JP2011257682A publication Critical patent/JP2011257682A/ja
Application granted granted Critical
Publication of JP5073013B2 publication Critical patent/JP5073013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/312Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being placed behind the display panel, e.g. between backlight and spatial light modulator [SLM]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/28Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays involving active lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

この発明は、表示制御プログラム、表示制御装置、表示制御方法および表示制御システムに関し、特にたとえば、裸眼立体視表示が可能な表示装置への表示制御を行うための、表示制御プログラム、表示制御装置、表示制御方法および表示制御システムに関する。
従来、この種の装置として、特許文献1のような、液晶パネルの前面に配置される液晶パララックスバリアを備えた、パララックスバリア方式による立体映像表示装置が知られている。この背景技術では、液晶パララックスバリアへの電圧印加を制御して、その遮光部の透過率を変化させることにより、2D映像表示と3D映像表示とを切り替えることができる。
特開平3−119889号公報
一般に、裸眼立体視表示の適視位置は限られており、適視位置から外れると、3D映像は立体的には見えず2重にぼやけて見えてしまう。たとえば、環境ソフト的な表示の仕方をする場合、ユーザは、自由に移動しながら適視位置でも適視位置外でも閲覧するため、問題となる。
この点、上記の背景技術では、適視位置では3D表示を行い、適視位置外では2D表示を行うことで、どの位置でも快適に閲覧することができるものの、ユーザは、移動のたびに2D表示と3D表示とを手動で切り替える必要があるので、手間が掛かっていた。
それゆえに、この発明の主たる目的は、新規な、表示制御プログラム、表示制御装置、表示制御方法および表示制御システムを提供することである。
本発明の他の目的は、3D表示と2D表示とを自動的に切り替えることができる、表示制御プログラム、表示制御装置、表示制御方法および表示制御システムを提供することである。
この発明は、上記の課題を解決するために、以下の構成を採用した。
第1の発明は、裸眼立体視表示可能な表示装置に表示を行う表示制御装置のコンピュータで実行される表示制御プログラムであって、コンピュータを、所定の立体視画像を用いて、表示装置に立体視表示を行わせる立体視表示手段、所定の平面画像を用いて、表示装置に平面表示を行わせる平面表示手段、所定の入力装置からの入力を受け付ける入力受け付け手段、および、立体視表示手段による表示中に、入力装置から入力受け付け手段への無入力状態が所定期間を超えて継続した場合に、立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段として機能させる。
第1の発明では、表示制御装置は、裸眼立体視表示可能な表示装置に仮想空間を表示する。立体視表示手段は、表示装置に立体視表示を行わせ、平面表示手段は、表示装置に平面表示を行わせる。入力受け付け手段は、所定の入力装置からの入力を受け付ける。表示切り替え手段は、立体視表示手段による表示中に、入力装置から入力受け付け手段への無入力状態が所定期間を超えて継続した場合に、立体視表示手段による表示を平面表示手段による表示に切り替える。
第1の発明によれば、立体視画像表示(3D表示)中に所定期間入力がない場合に、立体視画像表示(3D表示)から平面画像表示(2D表示)に自動的に切り換えることができる。
第2の発明は、第1の発明に従属する表示制御プログラムであって、表示制御装置は、表示装置に仮想カメラで撮像した仮想空間を表示するためのもので、さらにコンピュータを、仮想空間において、オブジェクトを立体視表示するための立体視画像と、オブジェクトを平面表示するための平面画像とを仮想カメラに撮像させる仮想撮像手段として機能させ、立体視表示手段は、仮想撮像手段によって撮像された立体視画像を用いて、表示装置に立体視表示を行わせ、平面表示手段は、仮想撮像手段によって撮像された平面画像を用いて、表示装置に平面表示を行わせる
第2の発明では、仮想空間において、仮想撮像手段が、オブジェクトを立体視表示するための立体視画像、および/または、オブジェクトを平面表示するための平面画像を仮想カメラに撮像させる。立体視表示手段は、仮想撮像手段によって撮像された立体視画像を用いて立体視表示を行わせ、仮想撮像手段によって撮像された平面画像を用いて、平面表示を行わせる
第2の発明によれば、仮想空間内で撮像した立体視画像(3D画像)および/または平面画像(2D画像)を用いて表示切り換えを行うことができる。
第3の発明は、第2の発明に従属する表示制御プログラムであって、仮想撮像手段は、立体視表示手段による表示中には、仮想空間内で所定の間隔を空けて配置された左仮想カメラおよび右仮想カメラにより、オブジェクトが左仮想カメラおよび/または右仮想カメラの撮像範囲に含まれるようにして左画像および右画像を撮像させ、立体視表示手段による表示から平面表示手段による表示へ切り替わった際には、仮想空間内の所定の仮想カメラにより、オブジェクトが撮像範囲に含まれるようにして画像を撮像させる。
第3の発明では、立体視画像表示(3D表示)中には、仮想空間内でオブジェクトに対して左右に間隔を空けて配置された左仮想カメラおよび右仮想カメラで、オブジェクトが左仮想カメラおよび/または右仮想カメラの撮像範囲に含まれるようにして左画像および右画像が撮像される。このとき、左画像および右画像の間には視差がある。立体視画像表示(3D表示)から平面画像表示(2D表示)への切り替えが行われると、仮想空間内の所定の仮想カメラによって、オブジェクトが撮像範囲に含まれるようにして画像が撮像される。この画像には視差がない。
第3の発明によれば、左仮想カメラおよび右仮想カメラと、所定の仮想カメラとの切り替えによって、立体視画像表示(3D表示)から平面画像表示(2D表示)への切り替えを簡易に行うことができる。
第4の発明は、第3の発明に従属する表示制御プログラムであって、平面表示手段は、左仮想カメラおよび右仮想カメラによって撮像された左画像および右画像のいずれか一方を表示させる。
第4の発明では、左画像および右画像は互いに同等なので、いずれか一方を表示することでも、平面画像表示(2D表示)が行える。
第5の発明は、第3の発明に従属する表示制御プログラムであって、所定の仮想カメラは、左仮想カメラおよび右仮想カメラの中間に位置する。
第5の発明によれば、平面画像(2D画像)の撮像位置は、立体視画像(3D画像)の撮像位置の中間位置なので、表示切り替え時の違和感を低減できる。
第6の発明は、第3の発明に従属する表示制御プログラムであって、仮想撮像手段は、立体視表示手段による表示から平面表示手段による表示への切り替えに応じて、左仮想カメラおよび右仮想カメラを共通の位置に移動させて撮像させる。
第6の発明によれば、左仮想カメラおよび右仮想カメラの共通の位置への移動によって、立体視画像表示(3D表示)から平面画像表示(2D表示)への切り替えを簡易に行うことができる。
第7の発明は、第6の発明に従属する表示制御プログラムであって、仮想撮像手段は、立体視表示手段による表示中には、仮想空間内でオブジェクトに対して左右に間隔を空けて配置された左仮想カメラおよび右仮想カメラで左画像および右画像を撮像させる。
第7の発明では、立体視画像表示(3D表示)中には、仮想空間内でオブジェクトに対して左右に間隔を空けて配置された左仮想カメラおよび右仮想カメラで左画像および右画像が撮像される。このとき、左画像および右画像の間には視差がある。立体視画像表示(3D表示)から平面画像表示(2D表示)への切り替えが行われると、左仮想カメラおよび右仮想カメラは共通の位置へと移動され、これによって、左画像および右画像の間の視差がなくなる。
第7の発明によれば、仮想カメラの移動によって、立体視画像表示(3D表示)から平面画像表示(2D表示)への切り替えを簡易に行うことができる。
第8の発明は、第6の発明に従属する表示制御プログラムであって、平面表示手段は、共通の位置で左仮想カメラおよび右仮想カメラによって撮像された左画像および右画像のいずれか一方を表示させる。
第8の発明では、左画像および右画像は互いに同等なので、いずれか一方を表示することで平面画像表示(2D表示)が行える。
第9の発明は、第6の発明に従属する表示制御プログラムであって、平面表示手段は、共通の位置で左仮想カメラおよび右仮想カメラによって撮像された左画像および右画像の両方に基づく平面画像を表示させる。
第9の発明によれば、左画像および右画像は互いに同等なので、両画像に基づいて、たとえば重ねて表示したり1列ずつ交互に表示したりすることで、平面画像表示(2D表示)が行える。
第10の発明は、第6ないし第9のいずれかの発明に従属する表示制御プログラムであって、共通の位置は、立体視表示手段による表示中における左仮想カメラおよび右仮想カメラの位置に対して中間の位置である。
第10の発明によれば、平面画像(2D画像)の撮像位置は、立体視画像(3D画像)の撮像位置の中間位置なので、表示切り替え時の違和感を低減できる。
第11の発明は、第10の発明に従属する表示制御プログラムであって、仮想撮像手段は、左仮想カメラおよび右仮想カメラを中間の位置に向けて徐々に移動させる。
第11の発明では、左仮想カメラおよび右仮想カメラを徐々に移動させることで、表示切り替えを滑らか行うことができる。
なお、仮想撮像手段は、左仮想カメラおよび右仮想カメラを中間の位置に瞬時に移動させてもよい。
第12の発明は、第11の発明に従属する表示制御プログラムであって、仮想撮像手段は、左仮想カメラおよび右仮想カメラを中間の位置に向けて均等な速度で移動させる。
第12の発明では、移動速度を均等にすることで、表示切り替えを滑らか行うことができる。
第13の発明は、第1の発明に従属する表示制御プログラムであって、表示切り替え手段はさらに、平面表示手段による表示中に、入力装置から入力受け付け手段への入力があった場合に、平面表示手段による表示から立体視表示手段による表示に切り替える。
第13の発明では、平面画像表示(2D表示)中に入力があった場合には、平面画像表示(2D表示)から立体視画像表示(3D表示)に自動的に切り替えることができる。
第14の発明は、第7の発明に従属する表示制御プログラムであって、仮想撮像手段は、平面表示手段による表示から立体視表示手段の表示への切り替えに応じて、共通の位置にある左仮想カメラおよび右仮想カメラをオブジェクトに対して左および右に移動させる。
第14の発明では、平面画像表示(2D表示)から立体視画像表示(3D表示)への切り替えに応じて、左仮想カメラおよび右仮想カメラをそれぞれ左および右に移動させるので、左画像および右画像の間に視差が生じ、平面画像(2D画像)は立体視画像(3D画像)となる。
第14の発明によれば、仮想カメラの移動によって、平面画像表示(2D表示)から立体視画像表示(3D表示)への切り替えを簡易に行うことができる。
第15の発明は、第2の発明に従属する表示制御プログラムであって、仮想撮像手段は、仮想空間において、オブジェクトを立体視表示可能な立体視画像と、オブジェクトを平面表示可能な平面画像とを撮像させ、さらにコンピュータを、入力受け付け手段によって受け付けられた入力に応じて、仮想空間内でオブジェクトを制御するオブジェクト制御手段として機能させる。
第15の発明では、仮想空間内のオブジェクトは、入力装置からの入力に応じて、たとえは移動したり変形したりする。
第15の発明によれば、平面画像表示(2D表示)および立体視画像表示(3D表示)の間の切り替えを、オブジェクト制御のためのインタラクティブな入力に関連して行うことができる。
第16の発明は、第15の発明に従属する表示制御プログラムであって、オブジェクト制御手段は、仮想空間内でオブジェクトを自動的に動作させ、入力受け付け手段によって入力が受け付けられた際には、当該入力に応じて、オブジェクトを制御する。
第16の発明によれば、入力装置からの入力がない時にはオブジェクトを自動的に動作させ、入力装置からの入力があった時には入力に応じた動作をさせるインタラクティブな仮想ゲームを行うことができる。
第17の発明は、第15の発明に従属する表示制御プログラムであって、入力装置は、手操作入力装置を含み、入力受け付け手段は、手操作入力装置から手操作入力を受け付ける手操作入力受け付け手段を含む。
第17の発明では、表示切り替えは、オブジェクト制御のための手操作入力に関連して行われる。
第18の発明は、第15ないし第17のいずれかの発明に従属する表示制御プログラムであって、入力装置は、音声入力装置を含み、入力受け付け手段は、音声入力装置から音声入力を受け付ける音声入力受け付け手段を含む。
第18の発明では、表示切り替えは、オブジェクト制御のための音声入力に関連して行われる。
第19の発明は、第15ないし第18のいずれかの発明に従属する表示制御プログラムであって、入力装置は、画像入力装置を含み、入力受け付け手段は、画像入力装置から画像入力を受け付ける画像入力受け付け手段を含む。
第19の発明では、表示切り替えは、オブジェクト制御のための画像入力に関連して行われる。
第20の発明は、第15ないし第19のいずれかの発明に従属する表示制御プログラムであって、入力装置は、動き入力装置を含み、入力受け付け手段は、動き入力装置から動き入力を受け付ける動き入力受け付け手段を含む。
第20の発明では、表示切り替えは、オブジェクト制御のための動き入力に関連して行われる。
第21の発明は、第17ないし第20のいずれかの発明に従属する表示制御プログラムであって、表示切り替え手段は、入力手段のいずれからも入力がない状態を無入力状態として検出する。
第21の発明では、手操作入力,音声入力,画像入力および動き入力のうちの一つまたは複数を含む入力装置からの入力がいずれも無い状態が無入力状態とみなされる。
第17−第21の発明によれば、特にたとえば、手操作,発話,顔の向き,視線,ジェスチャ,装置本体の動きなどをオブジェクト制御に利用する、インタラクティブな仮想ゲームなどを行う場合に、表示切り替えが可能となる。
第22の発明は、第1の発明に従属する表示制御プログラムであって、表示制御装置には手操作入力装置が備えられ、入力受け付け手段は、手操作入力手段により入力された手操作を検出する手操作検出手段を含み、表示切り替え手段は、手操作検出手段によって手操作が検出されていない状態を無入力状態とみなす。
第22の発明では、表示切り替えは、手操作入力に関連して行われる。ここで手操作入力は、オブジェクト制御のための入力でもよいし、それ以外の入力たとえば開始,停止といったコマンドの入力などでもよい。なお、ある実施例では、手操作入力装置は、タッチパネル、各種ボタン(キー)、アナログパッドなどである。
第22の発明によれば、手操作入力に関連した表示切り替えが可能になる。
第23の発明は、第1の発明に従属する表示制御プログラムであって、表示制御装置には音声入力装置が備えられ、入力受け付け手段は、音声入力手段により入力された音声から発話音声を検出する発話音声検出手段を含み、表示切り替え手段は、発話音声検出手段によって発話音声が検出されていない状態を無入力状態とみなす。
第23の発明では、表示切り替えは、音声入力に関連して行われる。ここで音声入力は、オブジェクト制御のための入力でもよいし、それ以外の入力たとえば開始,停止といったコマンドの入力などでもよい。
第23の発明によれば、音声入力に関連した表示切り替えが可能になる。
第24の発明は、第23の発明に従属する表示制御プログラムであって、表示切り替え手段は、閾値を超えるレベルの発話音声が検出されていない状態を無入力状態とみなす。
第24の発明によれば、ユーザ以外の人物の発話音声による誤動作を減らすことができる。
第25の発明は、第1の発明に従属する表示制御プログラムであって、表示制御装置には撮像装置が備えられ、入力受け付け手段は、撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段を含み、表示切り替え手段は、顔検出手段によって顔画像が検出されていない状態を無入力状態とみなす。
第25の発明では、表示切り替えは、画像入力に関連して行われる。ここで画像入力は、オブジェクト制御のための入力でもよいし、それ以外の入力たとえば開始,停止といったコマンドの入力などでもよい。
第25の発明によれば、画像入力に関連した表示切り替えが可能になる。
第26の発明は、第25の発明に従属する表示制御プログラムであって、表示切り替え手段は、閾値を超えるサイズの顔画像が検出されていない状態を無入力状態とみなす。
第26の発明によれば、ユーザ以外の人物の顔による誤動作を減らすことができる。
第27の発明は、第1の発明に従属する表示制御プログラムであって、表示制御装置には、動きセンサが備えられ、入力受け付け手段は、動きセンサにより表示制御装置の動きを検出する動き検出手段を含み、表示切り替え手段は、動き検出手段によって閾値を超える動きが検出されていない状態を無入力状態とみなす。
第27の発明では、表示切り替えは、動き入力に関連して行われる。ここで動き入力は、オブジェクト制御のための入力でもよいし、それ以外の入力たとえば開始,停止といったコマンドの入力などでもよい。
第27の発明によれば、動き入力に関連した表示切り替えが可能になる。
第28の発明は、第1の発明に従属する表示制御プログラムであって、表示装置は、パララックスバリアにより裸眼立体視表示可能な表示装置であり、さらにコンピュータを、立体視表示手段により表示装置に立体視表示を行う場合には、パララックスバリアへ電圧を印加し、平面表示手段により表示装置に平面表示を行う場合には、パララックスバリアへ電圧を印加しない電圧印加制御手段として機能させる。
第28の発明では、立体視画像表示(3D表示)は、パララックスバリアを利用して行われる。立体視画像表示(3D表示)と平面画像表示(2D表示)との間の切り替えは、パララックスバリアへの印加電圧のオン/オフにより実現される。
なお、ある実施例では、パララックスバリアはバリア液晶であり、LCDコントローラがバリア液晶への印加電圧を制御することで、バリア液晶はオン/オフする、つまり不透明/透明になる。液晶に限らず、印加電圧に応じて不透明/透明になる材料であれば、どのような材料でパララックスバリアを構成してもよい。
第28の発明によれば、パララックスバリアを利用することで、立体視画像表示(3D表示)を行うことができると共に、立体視画像表示(3D表示)から平面画像表示(2D表示)に切り替えたとき、パララックスバリアをオフにして(たとえばバリア液晶を透明にして)、適視位置を拡大したり明るさを増大させたりすることができる。
なお、ここでいう立体視画像表示(3D表示)つまり裸眼立体視表示は、たとえばレンチキュラ(凹凸付のシート)など、パララックスバリア以外の方式でも実現できる。さらに、立体視画像表示(3D表示)から平面画像表示(2D表示)つまり平面表示への切り替えも、レンチキュラ(凹凸付のシート)など、パララックスバリア以外の方式でも実現できる。ただし、たとえばレンチキュラの場合、立体視画像表示(3D表示)から平面画像表示(2D表示)に切り替えたときに、適視位置を拡大したり明るさを増大させたりすることは、困難である。
第29の発明は、裸眼立体視表示可能な表示装置に表示を行う表示制御装置のコンピュータで実行される表示制御プログラムであって、表示制御装置には撮像装置が備えられ、コンピュータを、所定の立体視画像を用いて、表示装置に立体視表示を行わせる立体視表示手段、所定の平面画像を用いて、表示装置に平面表示を行わせる平面表示手段、撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段、および、立体視表示手段による表示中に、顔検出手段によって顔画像が検出されていない状態が所定期間を超えて継続した場合に、立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段として機能させる。
第29の発明によれば、立体視画像表示(3D表示)中に所定期間顔画像が検出されない場合に、立体視画像表示(3D表示)から平面画像表示(2D表示)に自動的に切り換えることができる。
第30の発明は、裸眼立体視表示可能な表示装置に表示を行う表示制御装置であって、所定の立体視画像を用いて、表示装置に立体視表示を行う立体視表示手段、所定の平面画像を用いて、表示装置に平面表示を行う平面表示手段、所定の入力装置からの入力を受け付ける入力受け付け手段、および、立体視表示手段による表示中に、入力装置から入力受け付け手段への無入力状態が所定期間を超えて継続した場合に、立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える。
第31の発明は、裸眼立体視表示可能な表示装置に表示を行うための表示制御装置による表示制御方法であって、所定の立体視画像を用いて、表示装置に立体視表示を行う立体視表示ステップ、所定の平面画像を用いて、表示装置に平面表示を行う平面表示ステップ、所定の入力装置からの入力を受け付ける入力受け付けステップ、および、立体視表示ステップによる表示中に、入力装置から入力受け付けステップへの無入力状態が所定期間を超えて継続した場合に、立体視表示ステップによる表示を平面表示ステップによる表示に切り替える表示切り替えステップを備える。
第32の発明は、裸眼立体視表示可能な表示装置に表示を行うための表示制御システムであって、所定の立体視画像を用いて、表示装置に立体視表示を行う立体視表示手段、所定の平面画像を用いて、表示装置に平面表示を行う平面表示手段、所定の入力装置からの入力を受け付ける入力受け付け手段、および、立体視表示手段による表示中に、入力装置から入力受け付け手段への無入力状態が所定期間を超えて継続した場合に、立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える。
第30〜第32の各発明によっても、第1の発明と同様に、立体視画像表示(3D表示)中に所定期間入力がない場合に、立体視画像表示(3D表示)から平面画像表示(2D表示)に自動的に切り換えることができる。
第33の発明は、裸眼立体視表示可能な表示装置に表示を行うための表示制御装置であって、撮像装置、所定の立体視画像を用いて、表示装置に立体視表示を行う立体視表示手段、所定の平面画像を用いて、表示装置に平面表示を行う平面表示手段、撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段、および、立体視表示手段による表示中に、顔検出手段によって顔画像が検出されていない状態が所定期間を超えて継続した場合に、立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える。
第34の発明は、裸眼立体視表示可能な表示装置に表示を行うための表示制御装置による表示制御方法であって、表示制御装置には撮像装置が備えられ、所定の立体視画像を用いて、表示装置に立体視表示を行う立体視表示ステップ、所定の平面画像を用いて、表示装置に平面表示を行う平面表示ステップ、撮像装置により撮像された撮像画像から顔画像を検出する顔検出ステップ、および、立体視表示ステップによる表示中に、顔検出ステップによって顔画像が検出されていない状態が所定期間を超えて継続した場合に、立体視表示ステップによる表示を平面表示ステップによる表示に切り替える表示切り替えステップを備える。
第35の発明は、裸眼立体視表示可能な表示装置に表示を行うための表示制御システムであって、撮像装置、所定の立体視画像を用いて、表示装置に立体視表示を行う立体視表示手段、所定の平面画像を用いて、表示装置に平面表示を行う平面表示手段、撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段、および、立体視表示手段による表示中に、顔検出手段によって顔画像が検出されていない状態が所定期間を超えて継続した場合に、立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える。
第33〜第35の各発明によっても、第29の発明と同様に、立体視画像表示(3D表示)中に所定期間顔画像が検出されない場合に、立体視画像表示(3D表示)から平面画像表示(2D表示)に自動的に切り換えることができる。
この発明によれば、立体視画像表示(3D表示)と平面画像表示(2D表示)とを自動的に切り替えることができるため、ユーザにとってわざわざ切り替える手間がなくなり、利便性が高まる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
この発明の一実施例であるゲーム装置の外観図であり、開状態における正面を示す。 ゲーム装置の外観図であり、(A)が閉状態における上面を示し、(B)が閉状態における左側面を示し、(C)が閉状態における正面を示し、(D)が閉状態における右側面を示し、(E)が閉状態における背面を示し、(F)が閉状態における下面を示す。 3D調整スイッチの動作を説明するための図解図である。 ゲーム装置の電気的構成の一例を示すブロック図である。 図4の電気的構成の要部(立体LCDとSOcの一部とで構成される立体LCD制御部)を示すブロック図である。 視差バリア方式による3D/2D表示の原理を説明するための図解図であり、(A)が視差バリアON状態(3D表示)を示し、(B)が視差バリアOFF状態(2D表示)を示す。 仮想空間において左右2つの仮想カメラでオブジェクトを撮影する様子を示す図解図である。 2つの仮想カメラによる撮影画像(カメラ間距離が最大値D0の場合)を示す図解図であり、(A)がVRAMの左画像を示し、(B)がVRAMの右画像を示し、(C)が上LCDの立体視画像(3D最大)を示す。 カメラ間距離による立体視画像の変化を説明するための図解図であり、(A)がカメラ間距離の一例(0.5×D0)を示し、(B)が当該距離に対応する立体視画像(3D中)を示す。 カメラ間距離による3D調整を説明するための図解図であり、(A)がカメラ間距離の他の一例(最小値0)を示し、(B)が当該距離に対応する立体視画像(3D最小=2D)を示す。 メインメモリのメモリマップの一部を示す図解図である。 CPU動作の一部を示すフロー図である。 CPU動作の他の一部を示すフロー図である。 CPU動作のその他の一部を示すフロー図である。 CPU動作のさらにその他の一部を示すフロー図である。 CPU動作の他の一部を示すフロー図である。 CPU動作のその他の一部を示すフロー図である。
図1および図2には、本発明の一実施例であるゲーム装置10の外観が示される。ゲーム装置10は、折り畳み式のゲーム装置であり、図1は開状態におけるゲーム装置10の正面を示し、図2(A)〜図2(F)は閉状態におけるゲーム装置10の上面,左側面,前面,右側面,背面および下面を示している。
ゲーム装置10は、図1に示されるように、互いに回動可能に連結された上側ハウジング10Aおよび下側ハウジング10Bを備え、上側ハウジング10Aの正面には、裸眼3D表示に対応した立体LCD12、内側カメラ18a、3D調整スイッチ20、3Dランプ20A、ならびに左右のスピーカ22aおよび22bなどが設けられる。下側ハウジング10Bの正面には、タッチパネル16付きの下LCD14、A,B,X,Yボタン24a−24d、十字キー(ボタン)24g、ホーム,セレクト,スタートボタン24h−24j、電源ボタン24k、アナログパッド26、およびマイク30が設けられる。
また、図2(A)に示されるように、ゲーム装置10の上面(図1に示した上側ハウジング10Aの裏面)には、3D撮影に対応した左右の外側カメラ18bおよび18cが設けられる。また、図2(C)に示されるように、ゲーム装置10の前面には、ヘッドホン端子36、および電源ランプ42aなどが設けられる。また、図2(B),図2(E)および図2(D)に示されるように、ゲーム装置10の左側面から背面に跨ってLボタン24eが設けられ、右側面から背面に跨ってRボタン24fが設けられる。また、ゲーム装置10の左側面には、音量調整スイッチ32およびSDカードスロット34などがさらに設けられ、ゲーム装置10の右側面には、無線スイッチ28、無線ランプ42bなどがさらに設けられる。上述の3D調整スイッチは、この右側面から露見している。また、ゲーム装置10の背面には、赤外線受発光部40などがさらに設けられる。そして、図2(E)および図2(F)に示されるように、ゲーム装置10の背面から下面に跨ってゲームカードスロット38が設けられる。
立体LCD12は、視差バリア(パララックスバリア)方式による3D液晶(図6参照)であり、裸眼で立体視が可能な画像(裸眼立体視画像)を表示する。立体LCD12では、液晶による視差バリアをOFFすることで、平面画像の表示も可能である。なお、視差バリア方式に限らず、凹凸付のシート(レンチキュラレンズ)を利用するレンチキュラ方式や、その他の裸眼3D方式を採用してもよい。
内側カメラ18aは平面画像(2D画像)を撮影し、外側カメラ18bおよび18cは立体視画像(3D画像)を撮影する。プレイヤを撮影した2Dまたは3Dの画像は、ゲームプログラム(72:後述)への画像入力として利用可能である。この場合、ゲームプログラム72は、画像認識を行うことで、プレイヤの顔や手の動き、視線方向(眼球の向き)などを検出し、検出結果に応じた処理を実行する。内側カメラ18aによる2D画像はまた、下LCD14に表示可能であり、外側カメラ18bおよび18cによる3D画像はまた、立体LCD12に表示可能である。
3D調整スイッチ20は、立体LCD12の表示に関して、3Dおよび2Dの間の切り替えを手動で行い、さらには、3Dでの立体感の手動調整をも行うためのスライドスイッチであり、たとえば図3のように動作する。3Dの立体感は、この実施例では、スライダSdが上端にあるとき最大(Sd=1)であり、スライダSdを下げるに従って減少し、下端にあるとき最小(Sd=0)となる。そして、スライダSdを下端まで下げきると、3Dから2Dに切り替わる。
なお、詳細は後述するが、このような3Dの立体感の変化は、仮想空間内に配置された左右の仮想カメラ(ICLおよびICR:図7参照)の間の距離(カメラ間距離D)を変化させることによって実現される(図7〜図10参照)。つまり、3D調整スイッチ20の動作に応じて、カメラ間距離Dが調整される。そして、カメラ間距離Dは、こうして手動調整されるだけでなく、ゲームプログラム72による自動調整(後述)も受ける。
3Dランプ20Aは、立体LCD12の表示状態を示すランプであり、3Dでは点灯し、2Dでは消灯する。なお、単に点灯よび消灯するだけでなく、3Dの程度(立体感の大小)に応じて輝度や色を変化させてもよい。
タッチパネル16や、A,B,X,Yボタン24a−24d、十字キー(ボタン)24g、ホーム,セレクト,スタートボタン24h−24j、あるいはアナログパッド26への操作は、ゲームプログラム72へのタッチ/ボタン/パッド入力として利用される。電源ボタン24kは、ゲーム装置10の電源をオン/オフするために用いられる。電源ランプ42aは、電源のオン/オフと連動して点灯/消灯する。
マイク30は、ユーザの発話音声や環境音などを音声データに変換する。音声データは、ゲームプログラム72への音声入力として利用可能である。この場合、ゲームプログラム72は、音声認識を行うことで、プレイヤの発話音声を検出し、検出結果に応じた処理を実行する。マイク30による音声データはまた、NAND型フラッシュメモリ48(図4参照)などに記録可能である。
スピーカ22aおよび22bは、ゲーム音声やマイク音声などを出力する。ヘッドホン端子36には、図示しないヘッドホンが接続される。音量調整スイッチ32は、スピーカ22aおよび22bの音量またはヘッドホン端子36の出力を調整するためのスライドスイッチである。
SDカードスロット34には、カメラ画像やマイク音声などを保存するためのSDメモリカード(図示せず)が装着され、ゲームカードスロット38には、ゲームプログラム72などが格納されたゲームカード(図示せず)が装着される。赤外線受発光部40は、他のゲーム装置との間での赤外線(IR)通信に利用される。
図4には、ゲーム装置10の電気的構成が示される。ゲーム装置10は、CPU,GPU,VRAMおよびDSPなどで構成されたSoC(System-on-a-Chip)44を含む。SoC44には、上述した立体LCD12、下LCD14、内側カメラ(Inカメラ)18a、左右の外側カメラ(OCAM−LおよびOCAM−R)18bおよび18c、A,B,X,Y,L,Rボタン24a−24f、十字ボタン24g、SDカードスロット34、ゲームカードスロット38、および赤外線受発光部(IR)40が接続される。SoC44にはまた、マイコン56を介して、上述した3D調整スイッチ(3D Vol)20、3Dランプ20A、ホーム,セレクト,スタートボタン24h−24j、電源ボタン(Power)24k、無線スイッチ(WiFi)28、音量調整スイッチ(音量Vol)32,および電源,無線ランプ42a,42bが接続される。SoC44にはさらに、IF回路58を介して、上述したタッチパネル16、左右のスピーカ22aおよび22b、アナログパッド26、マイク(Mic)30およびヘッドホン端子36が接続される。
また、SoC44には、上述した以外の要素として、無線モジュール46、NAND型フラッシュメモリ48およびメインメモリ50が接続される。無線モジュール46は、無線LANに接続する機能を有する。NAND型フラッシュメモリ48は、カメラ画像,マイク音声など保存用のデータを記憶する。メインメモリ50は、SoC44に作業領域を提供する。すなわち、メインメモリ50には、ゲームで用いられる各種のデータやプログラムが記憶され、SoC44はメインメモリ50に記憶されたデータやプログラムを利用して作業を行う。
マイコン56には、電源管理IC52および加速度センサ54が接続される。電源管理IC52はゲーム装置10の電源管理を行い、加速度センサ54はゲーム装置10の3軸方向の加速度を検出する。加速度センサ54の検出結果は、ゲームプログラム72への動き入力として利用可能である。この場合、ゲームプログラム72は、検出結果に基づいてゲーム装置10自体の動きを計算し、計算結果に応じた処理を実行する。また、マイコン56は、RTC(リアルタイムクロック)56aを含み、RTC56aで時間をカウントしてSoC44に供給する。
図5には、立体LCD12とSOc44の一部とで構成される立体LCD制御部12Aが示される。立体LCD12は、LCDコントローラ12a、バリア液晶12bおよび上LCD12cを含む。バリア液晶12bは、図6(A)に示されるように、縦(列)方向に伸びる複数の液晶スリットを含み、バックライトからの光を複数の液晶スリットで交互に遮ることによって、右目および左目に上LCD12cの異なる列の画素を通過した光が見えるようにする。上LCD12cは、下LCD14と同様、普通の(2D表示用の)液晶でよい。LCDコントローラ12aは、GPU44bひいてはCPU44aの制御下で、上LCD12cに描画を行い、かつバリア液晶12b(への印加電圧)をON/OFFする。バリア液晶12bをOFFすると、図6(B)に示されるように、右目および左目には、上LCD12cのどの列の画素を通過した光も見えるようになる。
詳しくは、たとえば図7に示すように、仮想空間内で、オブジェクトOb1およびOb2を、左右に間隔(D=D0)を空けて配置された左仮想カメラICLおよび右仮想カメラICRで撮像する場合、CPU44aの制御下で、GPU44bがVRAM44cに図8(A)および図8(B)のような左画像44Lおよび右画像44Rを書き込み、LCDコントローラ12aは、VRAM44cに記憶された左画像44Lおよび右画像44Rを1列ずつ交互に読み出して、上LCD12cに順番に描画していく。これによって、上LCD12cには、図8(C)のような立体視画像(立体視を実現するための画像)が表示される。立体視画像へのバックライト光をバリア液晶12bで制限すると、左目には図8(A)のような左画像44Lが見え、右目には図8(B)のような右画像44Rが見える結果、裸眼による立体視が実現される。
ところで、先述したように、図8(C)の立体視画像は、カメラ間距離Dが最大(D=D0:図7参照)のときの画像であり、カメラ間距離Dが図9(A)さらには図10(A)のように短くなるに従って、図9(B)さらには図10(B)のように変化する。カメラ間距離Dは、次式(1)で計算される。
D=Sd×Pd×D0 …(1)
ここで、Sdは、図3に示した3D調整スイッチ20におけるスライダSdの値を示す変数であり、スライダSdの動作に応じて0から1の範囲で変化する(0≦Sd≦1)。Pdは、ゲームプログラム72によって制御される変数であり、同じく0から1の範囲で変化する(0≦Pd≦1)。D0は、人間の2つの瞳の間隔に対応した定数であり、たとえば65mmに設定される(D0=65mm)。
図7,図9(A)および図10(A)では、いずれも変数Sdは1であり、スライダSdは上端に固定されている(Sd=1)。ゲームプログラム72によって変数Pdが1→0.5→0のように変化する結果、カメラ間距離DはD0→(0.5×D0)→0のように変化している。そして、このようなカメラ間距離Dの短縮方向への変化に応じて、立体視画像は、図8(C)→図9(B)→図10(B)のように変化する。つまり、左画像44Lおよび右画像44Rの間の視差が減少していき、ついには平面画像と同等になる。
なお、変数Sdがたとえば0.5に固定されていれば(Sd=0.5)、カメラ間距離Dは0から(0.5×D0)の範囲内で変化する。また、変数Sdがたとえば0に固定されていれば(Sd=0)、カメラ間距離Dは0のままである。
図10(A)の状態つまり3D最小ないし2Dの場合、カメラ間距離Dは0なので、VRAM44cに書き込まれる左画像44Lおよび右画像44Rは同一(つまり視差が0)となる。この場合も、LCDコントローラ12aは、VRAM44cに記憶された左画像44Lおよび右画像44Rを1列ずつ交互に読み出して、上LCD12cに順番に描画していく。これによって、上LCD12cには、図10(B)のような平面画像(つまり視差のない画像)が表示される。立体視画像へのバックライト光を制限するバリア液晶12bをOFFすると、左右どちらの目にも、図10(B)のような平面画像が見える結果となる。
なお、このときバリア液晶12bをOFFしなくても、図10(B)の平面画像が見える結果に変わりはない。ただし、バリア液晶12bをOFFすると、適視位置が拡大し、平面画像が明るく見えるようになる。また、LCDコントローラ12aは、交互読み出しを行う代わりに、左画像44Lおよび右画像44Rのいずれか一方を読み出して、上LCD12cに描画してもよい。この場合も、上LCD12cには、図10(B)のような平面画像が表示される。
以上のような動作は、立体LCD制御部12Aを構成するCPU44aが、GPU44bやLCDコントローラ12aと協働しつつ、メインメモリ50に記憶された図11に示すようなプログラムおよびデータに基づいて図12〜図17に示すような処理を実行することにより実現される。
図11を参照して、メインメモリ50には、プログラム領域70およびデータ領域80が形成され、プログラム領域70には、ゲームプログラム72が格納される。ゲームプログラム72は、音声認識プログラム72aおよび画像認識プログラム72bなどを含む。データ領域80には、入力情報領域82、入力フラグ領域84、タイマ領域86、カメラ間距離領域88、およびモード領域90などが形成される。データ領域80にはまた、ゲームプログラム72によって参照されるデータベース(DB)92も記憶される。データベース92は、特定のまたは平均的なプレイヤの発話音声をコマンドと関連付けて記憶した音声入力DB、および、特定のまたは平均的なプレイヤの顔画像を記憶し、さらに顔画像の向きや顔画像に含まれる眼球(視線)の動き,唇の動きなどをコマンドと関連付けて記憶した、画像入力DBなどを含む。なお、画像入力DBには、顔(目,唇などを含む)以外にも、たとえば手(ジェスチャ)に関するデータを含めてもよい。
ゲームプログラム72は、CPU44aを介して各種ハードウェア(12〜58)を制御して、図1〜図1のフローに従う処理を実行する、メインのソフトウェアプログラムである。音声認識プログラム72aおよび画像認識プログラム72bは、このような処理を実行する過程でゲームプログラム72によって利用される、サブのソフトウェアプログラムである。音声認識プログラム72aは、マイク30を通して入力された音声データに対して、音声入力DBに基づく音声認識処理を施すことによって、プレイヤの発話音声を認識する。この認識結果は、音声入力情報として入力情報領域82に書き込まれる。画像認識プログラム72bは、カメラ18a−18cを通して入力された画像データに対して、画像入力DBに基づく画像認識処理を施すことによって、プレイヤの顔を認識し、さらには、顔の向き、眼球の向き(視線方向)、唇の動き(発話動作)、手の動き(ジェスチャ)などを判別する。この認識ないし判別の結果は、画像入力情報として入力情報領域82に書き込まれる。
また、入力情報領域82には、上記の音声入力情報および画像入力情報のほかに、タッチパネル16、各種のボタン(キー)24a−24kまたはアナログパッド26の操作に基づくタッチ/ボタン/パッド入力情報、および、加速度センサ54の検出結果に基づく動き入力情報がさらに書き込まれる。
入力フラグ領域84は、ゲームプログラム72によってセット/リセットされる入力フラグを記憶する。入力フラグには、音声入力情報に対応する音声入力フラグ、画像入力情報に対応する画像入力フラグ、タッチ/ボタン/パッド入力情報に対応するタッチ/ボタン/パッド入力フラグ、および動き入力情報に対応する動き入力フラグなどが含まれる。
タイマ領域86は、ゲームプログラム72によってリセット/カウントアップされるタイマの値(無入力状態の継続時間T)を記憶する。カメラ間距離記憶領域88は、ゲームプログラム72によって制御される左右の仮想カメラICLおよびICRの間の距離(カメラ間距離D=Sd×Pd×D0)を記憶する。モード領域90は、ゲームプログラム72によって制御されるモード情報を記憶する。モード情報は、立体視ON状態に対応するモード1、立体視ON→OFF移行状態に対応するモード2、立体視OFF状態に対応するモード3、および立体視OFF→ON移行状態に対応するモード4、の4モード間で変化する。
図12を参照して、ゲームプログラム72が起動されると、CPU44aは、ステップS1で初期設定を行う。具体的には、タイマ領域86に“T=0”を書き込むことによりタイマをリセットし、モード領域90に“1”を書き込むことによりモード情報をモード1に設定し、カメラ間距離記憶領域88に“D=Sd×1×D0”を書き込むことにより左右の仮想カメラICLおよびICRの間の距離を最大に設定し、LCDコントローラ12aを介してバリア液晶12bをONし、マイコン56を介して3Dランプ20AをONし、そして入力フラグ領域84の各入力フラグをリセットする。
なお、変数Sdには、現時点のスライダSdの値(図3参照)が書き込まれる。定数D0は、たとえば65mmである。したがって、3D調整スイッチ20のスライダ位置が上端にある場合、カメラ間距離Dは“1×1×65”つまり65mmとなる(図7参照)。なお、スライダ位置が3D最小または下端(2D)にある場合には、カメラ間距離Dは“0×1×65”つまり0となる。以下の例示では、スライダSdは上端に位置する(Sd=1)ものとして説明する。
次に、CPU44aは、たとえば図7に示すようなオブジェクトOb1およびOb2について、初期立体視画像の描画を行うようGPU44bおよびLCDコントローラ12aに命令する。応じて、GPU44bは、図7に示すような仮想カメラICLおよびICR(D=D0)による左画像44Lおよび右画像44R(図8(A)および図8(B)参照)をVRAM44cに書き込む(図5参照)。LCDコントローラ12aは、VRAM44cに記憶された左画像44Lおよび右画像44Rを1列ずつ交互に読み出して、上LCD12cに順番に描画していく。これによって、上LCD12cには、図8(C)のような立体視画像が表示される。この立体視画像へのバックライト光はバリア液晶12bで制限されるため(図6(A)参照)、左目には図8(A)のような左画像44Lが見え、右目には図8(B)のような右画像44Rが見える結果となり、裸眼立体視が実現される。
その後、CPU44aは、ゲームが終了されるまでの間、ステップS5〜S17のループ処理を1フレーム毎に繰り返し実行する。ステップS5では、入力処理を実行し(図13参照:後述)、ステップS7では、入力判定を行い、判定結果を入力フラグに反映させる(図14参照:後述)。ステップS9では、入力フラグを参照して、立体視モード制御を行う(図15−図17参照:後述)。ステップS11では、入力に基づくおよび/または自動制御によるゲーム処理(たとえば、仮想空間内でオブジェクトObj1を移動させたり、オブジェクトObj2を変形させたりする処理)を実行する。したがって、入力がなくても、ゲームは進行可能である。
ステップS12では、モード領域90のモード情報が“モード3”であるか否かを判別し、NOであればステップS13aで立体視画像を描画し、その後、ステップS15に進む。なお、このステップS13aの描画処理自体は、上述したステップS3のそれと同様であるが、ステップS9のモード制御を通じてカメラ間距離Dがたとえば図9(A)→図10(A)のように変化する結果、上LCD12cの立体視画像は、たとえば図9(B)→図10(B)のように変化する。また、ステップS11で実行されたゲーム処理の結果、仮想空間内でオブジェクトOb1,Ob2が変化(たとえば移動したり変形したり)すれば、その変化が上LCD12cの立体視画像に反映される。
ステップS12でNOであれば、ステップS13bに移って平面画像を描画し、その後、ステップS15に進む。なお、このステップS13bの描画処理自体も、上述したステップS3またはS13aのそれと略同様である。すなわち、LCDコントローラ12aは、VRAM44cに記憶された左画像44Lおよび右画像44Rを1列ずつ交互に読み出して、上LCD12cに順番に描画していくが、左画像44Lおよび右画像44は同一の画像なので、上LCD12cには、図10(B)のような平面画像が表示される。また、バリア液晶12bがOFF状態なので(S71:後述)、どちらの目にも、この平面画像の全列が見える。ただし、仮にバリア液晶12bがONのままでも、左目にはこの平面画像のたとえば奇数列が見え、右目にはこの平面画像のたとえば偶数列が見えるだけなので、見え方は変らない(明るさは暗く感じる)。
ステップS15では入力フラグをリセットし、ステップS17ではゲーム終了か否かを判別する。ここでNOであれば、ステップS5に戻って、上記と同様の処理を繰り返す。たとえばタッチパネル16などを介して終了操作が行われると、ステップS17でYESと判別し、この処理を終了する。
上記ステップS5の入力処理は、たとえば図13のサブルーチンに従って実行される。ステップS21では、タッチパネル16、各種のボタン(キー)24a−24k、またはアナログパッド26による入力操作を検出して、この検出結果を示すタッチ/ボタン/パッド入力情報をRTC56aの出力に基づくタイムスタンプと共に入力情報領域82に書き込む。
ステップS23では、マイク30を通して入力された音声データに対して、音声入力DBに基づく音声認識処理を施すことによって、プレイヤの発話音声を認識し、この認識結果を示す音声入力情報をRTC56aの出力に基づくタイムスタンプと共に入力情報領域82に書き込む。ただし、発話音声が認識されても、その発話音声のレベルが閾値以下であれば、プレイヤとは異なる他人の発話音声である(あるいは、誰であれ、近くに人がいない)とみなして、音声入力情報の書き込みは行わなくてもよい。
ステップS25では、カメラ18a−18cを通して入力された画像データに対して、画像入力DBに基づく画像認識処理を施すことによって、プレイヤの顔を認識し、さらには顔の向きや眼球(視線)の方向なども判別して、これら認識および判別の結果を示す画像入力情報をRTC56aの出力に基づくタイムスタンプと共に入力情報領域82に書き込む。ただし、たとえ顔画像が認識されても、その顔画像のサイズ(縦/横の長さや面積など)が閾値以下であれば、プレイヤとは異なる他人の顔である(あるいは、誰であれ、近くに人がいない)とみなして、画像入力情報の書き込みは行わなくてもよい。
ステップS27では、加速度センサ54の検出結果に基づいて、ゲーム装置10自体の動きを検出し、この検出結果を示す動き入力情報をRTC56aの出力に基づくタイムスタンプと共に入力情報領域82に書き込む。その後、メインルーチン(図12参照)に復帰する。
上記ステップS7の入力判定は、たとえば図14のサブルーチンに従って実行される。このサブルーチンでは、CPU44aは、上述したような入力情報領域82のタイムスタンプ付き入力情報を参照して、当該フレームにおけるゲームプログラム72への入力の有無を判別し、その判別結果を入力フラグ領域84の入力フラグに反映させる。詳しくは、まず、ステップS31でタッチ/ボタン/パッド入力の有無を判別し、ここでNO(該当入力無)であればステップS35に進む。ステップS31でYES(該当入力有)であれば、ステップS33でタッチ/ボタン/パッド入力フラグをセットした後、ステップS35に進む。
ステップS35では、音声入力の有無を判別し、ここでNOであればステップS39に進む。ステップS35でYESであれば、ステップS37で音声入力フラグをセットした後、ステップS39に進む。ステップS39では、画像入力の有無を判別し、ここでNOであればステップS43に進む。ステップS39でYESであれば、ステップS41で画像入力フラグをセットした後、ステップS43に進む。ステップS43では、動き入力の有無を判別し、ここでNOであればメインルーチンに復帰する。ステップS43でYESであれば、ステップS45で動き入力フラグをセットした後、メインルーチンに復帰する。
上記ステップS9の立体視モード制御は、たとえば図15−図17のサブルーチンに従って実行される。まず図15を参照して、ステップS51では、モード領域90のモード情報を参照して、現時点の立体視モードがモード1であるか否かを判別し、ここでNOであれば、ステップS63(図16参照)に移る。なお、起動直後は、ステップS1でモード1が設定されるので、ステップS1の判別結果はYESとなる。ステップS51でYESであれば、ステップS53で、タイマ領域86のタイマ(T)をカウントアップし(たとえばT=T+(1/60)秒)、その後、ステップS55に進む。
ステップS55では、入力フラグ領域84の入力フラグ(詳しくは、タッチ/ボタン/パッド入力フラグ、音声入力フラグ、画像入力フラグ、および動き入力フラグの4種類)を参照して、ゲームプログラム72への入力の有無を判別する。どの入力フラグもセットされていなければ、NOと判別して、ステップS57に進む。どれか1種類でも入力フラグがセットされていれば、YESと判別して、ステップS59に移る。
ステップS57では、タイマ領域86のタイマが閾値(たとえば4分)を超えたか否かを判別し、ここでNO(T≦4分)であればメインルーチン(図12参照)に復帰する。ステップS57でYES(T>4分)あれば、ステップS61に移る。
ステップS59では、タイマ領域86のタイマをリセットし(T=0)、その後、メインルーチンに復帰する。ステップS61では、モード領域90のモード情報をモード1からモード2に更新し、その後、メインルーチンに復帰する。
図16を参照して、ステップS63では、モード領域90のモード情報を参照して、現時点の立体視モードがモード2であるか否かを判別し、ここでNOであれば、ステップS79(図17参照)に移る。ステップS63でYESであれば、ステップS65で、カメラ間距離領域88に記憶されているカメラ間距離Dを1ステップ(たとえば1/4mm)だけ減少方向に変化させることで、左右の仮想カメラICLおよびICRを互いに近づくように移動させる。なお、1ステップが1/4mmである場合、カメラ間距離Dが65mm(図7参照)から0(図10(A)参照)となるのに要する時間は、1フレーム期間を1/60秒として、約4秒となる。その後、ステップS67に進む。
ステップS67では、入力フラグ領域84の入力フラグを参照して、ゲームプログラム72への入力の有無を判別する。ここでも、ステップS55の場合と同様に、どの入力フラグもセットされていなければ、ステップS67でNOと判別し、ステップS69に進む。1種類でも入力フラグがセットされていれば、ステップS67でYESと判別し、ステップS77に移る。
ステップS69では、カメラ間距離Dが最小であるか否かを判別する。D=0(場合によってはD≦0)であれば、YESと判別してステップS71に進む。一方、D>0であれば、NOと判別してメインルーチンに復帰する。
ステップS71では、LCDコントローラ12aを介してバリア液晶12b(への印加電圧)をOFFする。次のステップS73では、マイコン56を介して3Dランプ20AをOFFする。そしてステップS75で、モード領域90のモード情報をモード2からモード3に更新し、その後、メインルーチンに復帰する。
ステップS77では、モード情報をモード2からモード4に更新し、その後、メインルーチンに復帰する。
図17を参照して、ステップS79では、モード領域90のモード情報を参照して、現時点の立体視モードがモード3であるか否かを判別し、ここでNOであれば、現時点の立体視モードはモード4であると見なしてステップS89(後述)に移る。ステップS79でYESであれば、ステップS81に進む。
ステップS81では、上記と同様に入力フラグ領域84の入力フラグを参照して、ゲームプログラム72への入力の有無を判別し、ここでNOであればメインルーチンに復帰する。一方、ステップS81でYESであれば、ステップS83に進む。ステップS83では、LCDコントローラ12aを介してバリア液晶12b(への印加電圧)をONする。次のステップS85では、マイコン56を介して3DランプをONする。そしてステップS87で、モード領域90のモード情報をモード3からモード4に更新し、その後、メインルーチンに復帰する。
ステップS89では、カメラ間距離領域88に記憶されているカメラ間距離Dを1ステップ(たとえば1/4mm)だけ増加方向に変化させることで、左右の仮想カメラICLおよびICRを互いに遠ざかるように移動させる。次のステップS91では、カメラ間距離Dが最大であるか否かを判別する。D=Sd×1×D0(場合によってはD≧Sd×1×D0)であれば、YESと判別してステップS93に進む一方、D<Sd×1×D0であれば、NOと判別してメインルーチンに復帰する。
ステップS93では、タイマ領域86のタイマをリセットする(T=0)。次のステップS95では、モード領域90のモード情報をモード4からモード1に更新し、その後、メインルーチンに復帰する。
したがって、立体LCD12の立体視モードは、当初、モード1つまり立体視ONの状態となり、ステップS53の反復を通じて1フレーム毎にタイマがカウントアップされていく。タイマは、当該フレームで何らかの入力が検出されるとリセットされ、次のフレームでカウントアップが再開される。入力がないまま所定時間たとえば4分が経過すると、モード1からモード2つまり立体視ON→OFF移行状態に変化する。
モード2では、ステップS65の反復を通じて左右の仮想カメラICLおよびICRが1フレーム毎に接近していき(図7→図9(A))、両者が同じ位置に来る(一体化する:図10(A))と、モード2からモード3つまり立体視OFF状態に変化する。ただし、仮想カメラICLおよびICRが同じ位置に来る前に入力が検出されると、モード2からモード4つまり立体視OFF→ON移行状態に変化する。
モード3で入力が検出されると、モード4つまり立体視OFF→ON移行状態に変化する。モード4では、ステップS89の反復を通じて左右の仮想カメラICLおよびICRが1フレーム毎に遠ざかっていき(図10(A)→図9(A))、両者が初期位置に戻る(間隔が最大となる:図7)と、モード4からモード1つまり立体視ON状態に変化する。
なお、タイマ(T)は、モード2および3では停止しており、モード4で左右の仮想カメラICLおよびICRが初期位置に戻った時点でリセットされる。
また、バリア液晶12bおよび3Dランプ20Aは、モード1および2を通じてON状態であり、モード2からモード3に変化するタイミングでOFF状態となり、モード3ではOFF状態のままであり、そしてモード3からモード4に変化するタイミングでON状態となる。なお、3Dランプ20Aについては、必ずしもバリア液晶12bと連動させる必要はなく、たとえば、3D表示が可能である場合に表示するようにしてもよい。この場合、3D表示が可能であれば、3Dランプ20Aは2D表示中にも点灯する。
なお、上記ステップS69およびS91の判別は、変数Pdについて行ってもよい。具体的には、ステップS69では、Pd=0(場合によってはPd≧1)であれば、YESと判別してステップS71に進む一方、Pd<1であれば、NOと判別してメインルーチンに復帰する。同様に、ステップS91では、Pd=1(場合によってはPd≧1)であれば、YESと判別してステップS93に進む一方、Pd<1であれば、NOと判別してメインルーチンに復帰する。
なお、図14に示した4つの入力判定(S31,S35,S39およびS43)を全て行う必要はなく、いずれか1つの入力判定だけ行っても、2つまたは3つの入力判定を組合せて行ってもよい。
以上から明らかなように、この実施例のゲーム装置10は、裸眼立体視表示(3D表示)可能な立体LCD12に仮想空間を表示し、仮想空間において、オブジェクトObj1,Obj2を3D表示するための立体視画像と、オブジェクトObj1,Obj2を平面表示(2D表示)するための平面画像とを、仮想カメラICL,ICRで撮像する。
ゲーム装置10のCPU44aは、撮像された立体視画像を用いて立体LCD12に3D表示を行い(S3,S13a)、撮像された平面画像を用いて立体LCD12に2D表示を行う(S13b)。なお、仮想カメラICL,ICRで撮像された立体視画像および平面画像に代えて、予め準備された立体視画像および平面画像、あるいは外部から取得した立体視画像および平面画像などを表示してもよい。また、タッチパネル15,ボタン24a−24k,マイク30,カメラ18a−18c等からの入力を受け付け(S5)、この入力に応じてオブジェクトを制御する(S11)。そして、3D表示中に無入力状態が所定期間を超えて継続した場合に(S55:NO→S57:YES→S61−S75)、3D表示を2D表示に切り替える(S12:YES→S13b)。また、CPU44aは、2D表示中に入力があった場合には(S81:YES→S87)、2D表示から3D表示に切り替える(S12:NO→S13a)。
したがって、3D表示中に所定期間入力がない場合には、3D表示から2D表示に自動的に切り換わり、2D表示中に入力があった場合には、2D表示から3D表示に自動的に切り替わる結果となる。これにより、プレイヤにとって、立体視モードを手動でわざわざ切り替える手間がなくなり、利便性が高まる。
以上では、ゲーム装置10について説明したが、この発明は、裸眼立体視表示可能な表示装置に仮想空間を表示するための表示制御装置(ゲーム機のほか、たとえばPC,PDA,携帯電話機,TV,電子フォトフレーム,音楽/映像プレイヤ,各種情報家電など)に適用できる。表示装置(たとえば立体LCD12)は、表示制御装置に内蔵されていても、表示制御装置とは別体でもよい。入力装置(たとえばタッチパネル16,ボタン24a−24k,アナログパッド26,マイク30,カメラ18a−18cなど)もまた、表示制御装置に内蔵されていても別体でもよい。この発明はまた、表示制御のための各処理が複数のコンピュータ等によって分散処理されるような表示制御システムにも適用可能である。さらには、このような表示制御装置ないしシステムのためのゲームプログラム,アプリケーションプログラムなどにも適用可能である。
10 …ゲーム装置
12 …立体LCD
12a …LCDコントローラ
12b …バリア液晶
12c …上LCD
14 …下LCD
16 …タッチパネル
18a−18c …カメラ(内側,外側左,外側右)
20 …3D調整スイッチ(3D Vol)
20A …3Dランプ
30 …マイク
24a−24k …ボタン(キー)
26 …アナログパッド
44 …SoC
44a …CPU
44b …GPU
44c …VRAM
50 …メインメモリ
54 …加速度センサ
Sd …スライダ
ICL,ICR …仮想カメラ(左,右)

Claims (35)

  1. 裸眼立体視表示可能な表示装置に表示を行う表示制御装置のコンピュータで実行される表示制御プログラムであって、
    前記コンピュータを、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行わせる立体視表示手段、
    所定の平面画像を用いて、前記表示装置に平面表示を行わせる平面表示手段、
    所定の入力装置からの入力を受け付ける入力受け付け手段、および
    前記立体視表示手段による表示中に、前記入力装置から前記入力受け付け手段への無入力状態が所定期間を超えて継続した場合に、前記立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段として機能させる、表示制御プログラム。
  2. 前記表示制御装置は、前記表示装置に仮想カメラで撮像した仮想空間を表示するためのもので、
    さらに前記コンピュータを、
    前記仮想空間において、オブジェクトを立体視表示するための立体視画像と、前記オブジェクトを平面表示するための平面画像とを前記仮想カメラに撮像させる仮想撮像手段として機能させ、
    前記立体視表示手段は、前記仮想撮像手段によって撮像された立体視画像を用いて、前記表示装置に立体視表示を行わせ
    前記平面表示手段は、前記仮想撮像手段によって撮像された平面画像を用いて、前記表示装置に平面表示を行わせる、請求項1記載の表示制御プログラム。
  3. 前記仮想撮像手段は、
    前記立体視表示手段による表示中には、前記仮想空間内で所定の間隔を空けて配置された左仮想カメラおよび右仮想カメラにより、前記オブジェクトが前記左仮想カメラおよび/または前記右仮想カメラの撮像範囲に含まれるようにして左画像および右画像を撮像させ
    前記立体視表示手段による表示から前記平面表示手段による表示へ切り替わった際には、前記仮想空間内の所定の仮想カメラにより、前記オブジェクトが撮像範囲に含まれるようにして画像を撮像させる、請求項2記載の表示制御プログラム。
  4. 前記平面表示手段は、前記左仮想カメラおよび右仮想カメラによって撮像された左画像および右画像のいずれか一方を表示させる、請求項3記載の表示制御プログラム。
  5. 前記所定の仮想カメラは、前記左仮想カメラおよび右仮想カメラの中間に位置する、請求項3に記載の表示制御プログラム。
  6. 前記仮想撮像手段は、
    前記立体視表示手段による表示から前記平面表示手段による表示への切り替えに応じて、前記左仮想カメラおよび右仮想カメラを共通の位置に移動させて撮像させる、請求項3記載の表示制御プログラム。
  7. 前記仮想撮像手段は、
    前記立体視表示手段による表示中には、前記仮想空間内で前記オブジェクトに対して左右に間隔を空けて配置された左仮想カメラおよび右仮想カメラで左画像および右画像を撮像させる、請求項6記載の表示制御プログラム。
  8. 前記平面表示手段は、前記共通の位置で前記左仮想カメラおよび右仮想カメラによって撮像された左画像および右画像のいずれか一方を表示させる、請求項6記載の表示制御プログラム。
  9. 前記平面表示手段は、前記共通の位置で前記左仮想カメラおよび右仮想カメラによって撮像された左画像および右画像の両方に基づく平面画像を表示させる、請求項6記載の表示制御プログラム。
  10. 前記共通の位置は、前記立体視表示手段による表示中における前記左仮想カメラおよび右仮想カメラの位置に対して中間の位置である、請求項6ないし9のいずれかに記載の表示制御プログラム。
  11. 前記仮想撮像手段は、前記左仮想カメラおよび右仮想カメラを前記中間の位置に向けて徐々に移動させる、請求項10に記載の表示制御プログラム。
  12. 前記仮想撮像手段は、前記左仮想カメラおよび右仮想カメラを前記中間の位置に向けて均等な速度で移動させる、請求項11に記載の表示制御プログラム。
  13. 前記表示切り替え手段はさらに、前記平面表示手段による表示中に、前記入力装置から前記入力受け付け手段への入力があった場合に、前記平面表示手段による表示から前記立体視表示手段による表示に切り替える、請求項1に記載の表示制御プログラム。
  14. 前記仮想撮像手段は、
    前記平面表示手段による表示から前記立体視表示手段の表示への切り替えに応じて、前記共通の位置にある前記左仮想カメラおよび右仮想カメラを前記オブジェクトに対して左および右に移動させる、請求項7に記載の表示制御プログラム。
  15. 前記仮想撮像手段は、前記仮想空間において、オブジェクトを立体視表示可能な立体視画像と、前記オブジェクトを平面表示可能な平面画像とを撮像させ
    さらに前記コンピュータを、
    前記入力受け付け手段によって受け付けられた入力に応じて、前記仮想空間内で前記オブジェクトを制御するオブジェクト制御手段として機能させる、請求項2記載の表示制御プログラム。
  16. 前記オブジェクト制御手段は、前記仮想空間内で前記オブジェクトを自動的に動作させ、前記入力受け付け手段によって入力が受け付けられた際には、当該入力に応じて、前記オブジェクトを制御する、請求項15記載の表示制御プログラム。
  17. 前記入力装置は、手操作入力装置を含み、
    前記入力受け付け手段は、前記手操作入力装置から手操作入力を受け付ける手操作入力受け付け手段を含む、請求項15記載の表示制御プログラム。
  18. 前記入力装置は、音声入力装置を含み、
    前記入力受け付け手段は、前記音声入力装置から音声入力を受け付ける音声入力受け付け手段を含む、請求項15ないし17のいずれかに記載の表示制御プログラム。
  19. 前記入力装置は、画像入力装置を含み、
    前記入力受け付け手段は、前記画像入力装置から画像入力を受け付ける画像入力受け付け手段を含む、請求項15ないし18のいずれかに記載の表示制御プログラム。
  20. 前記入力装置は、動き入力装置を含み、
    前記入力受け付け手段は、前記動き入力装置から動き入力を受け付ける動き入力受け付け手段を含む、請求項15ないし19のいずれかに記載の表示制御プログラム。
  21. 前記表示切り替え手段は、前記入力手段のいずれからも入力がない状態を前記無入力状態として検出する、請求項17ないし20のいずれかに記載の表示制御プログラム。
  22. 前記表示制御装置には手操作入力装置が備えられ、
    前記入力受け付け手段は、
    前記手操作入力手段により入力された手操作を検出する手操作検出手段を含み、
    前記表示切り替え手段は、前記手操作検出手段によって手操作が検出されていない状態を前記無入力状態とみなす、請求項1記載の表示制御プログラム。
  23. 前記表示制御装置には音声入力装置が備えられ、
    前記入力受け付け手段は、
    前記音声入力手段により入力された音声から発話音声を検出する発話音声検出手段を含み、
    前記表示切り替え手段は、前記発話音声検出手段によって発話音声が検出されていない状態を前記無入力状態とみなす、請求項1記載の表示制御プログラム。
  24. 前記表示切り替え手段は、閾値を超えるレベルの発話音声が検出されていない状態を前記無入力状態とみなす、請求項23記載の表示制御プログラム。
  25. 前記表示制御装置には撮像装置が備えられ、
    前記入力受け付け手段は、
    前記撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段を含み、
    前記表示切り替え手段は、前記顔検出手段によって顔画像が検出されていない状態を前記無入力状態とみなす、請求項1記載の表示制御プログラム。
  26. 前記表示切り替え手段は、閾値を超えるサイズの顔画像が検出されていない状態を前記無入力状態とみなす、請求項25記載の表示制御プログラム。
  27. 前記表示制御装置には、動きセンサが備えられ、
    前記入力受け付け手段は、
    前記動きセンサにより前記表示制御装置の動きを検出する動き検出手段を含み、
    前記表示切り替え手段は、前記動き検出手段によって閾値を超える動きが検出されていない状態を前記無入力状態とみなす、請求項1記載の表示制御プログラム。
  28. 前記表示装置は、パララックスバリアにより裸眼立体視表示可能な表示装置であり、
    さらに前記コンピュータを、
    前記立体視表示手段により前記表示装置に立体視表示を行う場合には、前記パララックスバリアへ電圧を印加し、前記平面表示手段により前記表示装置に平面表示を行う場合には、前記パララックスバリアへ電圧を印加しない電圧印加制御手段として機能させる、請求項1に記載の表示制御プログラム。
  29. 裸眼立体視表示可能な表示装置に表示を行う表示制御装置のコンピュータで実行される表示制御プログラムであって、
    前記表示制御装置には撮像装置が備えられ、
    前記コンピュータを、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行わせる立体視表示手段、
    所定の平面画像を用いて、前記表示装置に平面表示を行わせる平面表示手段、
    前記撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段、および
    前記立体視表示手段による表示中に、前記顔検出手段によって顔画像が検出されていない状態が所定期間を超えて継続した場合に、前記立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段として機能させる、表示制御プログラム。
  30. 裸眼立体視表示可能な表示装置に表示を行うための表示制御装置であって、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行う立体視表示手段、
    所定の平面画像を用いて、前記表示装置に平面表示を行う平面表示手段、
    所定の入力装置からの入力を受け付ける入力受け付け手段、および
    前記立体視表示手段による表示中に、前記入力装置から前記入力受け付け手段への無入力状態が所定期間を超えて継続した場合に、前記立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える、表示制御装置。
  31. 裸眼立体視表示可能な表示装置に表示を行うための表示制御装置による表示制御方法であって、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行う立体視表示ステップ、
    所定の平面画像を用いて、前記表示装置に平面表示を行う平面表示ステップ、
    所定の入力装置からの入力を受け付ける入力受け付けステップ、および
    前記立体視表示ステップによる表示中に、前記入力装置から前記入力受け付けステップへの無入力状態が所定期間を超えて継続した場合に、前記立体視表示ステップによる表示を平面表示ステップによる表示に切り替える表示切り替えステップを備える、表示制御方法。
  32. 裸眼立体視表示可能な表示装置に表示を行うための表示制御システムであって、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行う立体視表示手段、
    所定の平面画像を用いて、前記表示装置に平面表示を行う平面表示手段、
    所定の入力装置からの入力を受け付ける入力受け付け手段、および
    前記立体視表示手段による表示中に、前記入力装置から前記入力受け付け手段への無入力状態が所定期間を超えて継続した場合に、前記立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える、表示制御システム。
  33. 裸眼立体視表示可能な表示装置に表示を行うための表示制御装置であって、
    撮像装置、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行う立体視表示手段、
    所定の平面画像を用いて、前記表示装置に平面表示を行う平面表示手段、
    前記撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段、および
    前記立体視表示手段による表示中に、前記顔検出手段によって顔画像が検出されていない状態が所定期間を超えて継続した場合に、前記立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える、表示制御装置。
  34. 裸眼立体視表示可能な表示装置に表示を行うための表示制御装置による表示制御方法であって、
    前記表示制御装置には撮像装置が備えられ、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行う立体視表示ステップ、
    所定の平面画像を用いて、前記表示装置に平面表示を行う平面表示ステップ、
    前記撮像装置により撮像された撮像画像から顔画像を検出する顔検出ステップ、および
    前記立体視表示ステップによる表示中に、前記顔検出ステップによって顔画像が検出されていない状態が所定期間を超えて継続した場合に、前記立体視表示ステップによる表示を平面表示ステップによる表示に切り替える表示切り替えステップを備える、表示制御方法。
  35. 裸眼立体視表示可能な表示装置に表示を行うための表示制御システムであって、
    撮像装置、
    所定の立体視画像を用いて、前記表示装置に立体視表示を行う立体視表示手段、
    所定の平面画像を用いて、前記表示装置に平面表示を行う平面表示手段、
    前記撮像装置により撮像された撮像画像から顔画像を検出する顔検出手段、および
    前記立体視表示手段による表示中に、前記顔検出手段によって顔画像が検出されていない状態が所定期間を超えて継続した場合に、前記立体視表示手段による表示を平面表示手段による表示に切り替える表示切り替え手段を備える、表示制御システム。
JP2010133905A 2010-06-11 2010-06-11 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム Active JP5073013B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010133905A JP5073013B2 (ja) 2010-06-11 2010-06-11 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US12/858,639 US8599246B2 (en) 2010-06-11 2010-08-18 Storage medium storing display controlling program, display controlling apparatus, display controlling method and display controlling system
EP10173727.8A EP2395383B1 (en) 2010-06-11 2010-08-23 Display controlling program, display controlling apparatus, display controlling method and display controlling system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010133905A JP5073013B2 (ja) 2010-06-11 2010-06-11 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム

Publications (2)

Publication Number Publication Date
JP2011257682A JP2011257682A (ja) 2011-12-22
JP5073013B2 true JP5073013B2 (ja) 2012-11-14

Family

ID=44455258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010133905A Active JP5073013B2 (ja) 2010-06-11 2010-06-11 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム

Country Status (3)

Country Link
US (1) US8599246B2 (ja)
EP (1) EP2395383B1 (ja)
JP (1) JP5073013B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113236A1 (en) * 2010-11-10 2012-05-10 Joynes Matthew Portable Auto-Stereoscopic Media Displaying and Recording Device
EP2461238B1 (en) 2010-12-02 2017-06-28 LG Electronics Inc. Image display apparatus including an input device
CN201903700U (zh) * 2010-12-03 2011-07-20 京东方科技集团股份有限公司 采用视差挡板法的显示装置
JP5770018B2 (ja) * 2011-06-03 2015-08-26 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
US9363504B2 (en) * 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
US20130127841A1 (en) * 2011-11-18 2013-05-23 Samsung Electronics Co., Ltd. Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
JP6017795B2 (ja) * 2012-02-10 2016-11-02 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム画像生成方法
JP5572647B2 (ja) 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
US20130225295A1 (en) * 2012-02-24 2013-08-29 Nintendo Co., Ltd. Methods and/or systems for controlling virtual objects
JP5456820B2 (ja) * 2012-03-28 2014-04-02 株式会社スクウェア・エニックス ゲーム装置
RU2014144141A (ru) * 2012-04-24 2016-06-10 Вебтьюнер, Корпорейшен Телевизионный адаптер
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
CN105307737A (zh) 2013-06-14 2016-02-03 洲际大品牌有限责任公司 互动视频游戏
US10845888B2 (en) * 2014-02-13 2020-11-24 Autodesk, Inc. Techniques for integrating different forms of input with different forms of output when interacting with an application
US9826135B2 (en) * 2014-03-31 2017-11-21 Sony Corporation Information processing method, control device, recording device, information processing system and program
KR20160034037A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 화면 캡쳐를 위한 방법 및 그 전자 장치
EP3473157A4 (en) * 2016-06-17 2019-09-04 Sony Corporation Image Processing Device, Image Processing Method, Program and Image Processing System
ES2685849A1 (es) 2017-06-14 2018-10-11 Jesús María BASTERO LÓPEZ Orificio para cierres
CN107465887A (zh) * 2017-09-14 2017-12-12 潍坊学院 视频通话系统及视频通话方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2857429B2 (ja) 1989-10-02 1999-02-17 日本放送協会 3次元画像表示装置および方法
GB2317710A (en) * 1996-09-27 1998-04-01 Sharp Kk Spatial light modulator and directional display
US6388666B1 (en) * 1998-10-27 2002-05-14 Imax Corporation System and method for generating stereoscopic image data
US6757422B1 (en) 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
JP2000152285A (ja) * 1998-11-12 2000-05-30 Mr System Kenkyusho:Kk 立体画像表示装置
JP3619063B2 (ja) 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US6710346B2 (en) 2001-08-02 2004-03-23 International Business Machines Corporation Active infrared presence sensor
JP2003107603A (ja) * 2001-09-28 2003-04-09 Namco Ltd 立体視画像生成装置、立体視画像生成情報および情報記憶媒体
JP3973525B2 (ja) * 2002-09-24 2007-09-12 シャープ株式会社 2d(2次元)及び3d(3次元)表示機能を備える電子機器
JP4228646B2 (ja) * 2002-10-02 2009-02-25 株式会社セガ 立体視画像生成方法および立体視画像生成装置
JP3923434B2 (ja) * 2003-01-28 2007-05-30 株式会社ソフィア 画像表示装置
JP4176503B2 (ja) * 2003-02-14 2008-11-05 シャープ株式会社 表示装置、3d表示時間設定方法、3d表示時間設定プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US20060123150A1 (en) * 2004-11-24 2006-06-08 Sharp Kabushiki Kaisha Electronic apparatus and status information presenting apparatus
JP2007065067A (ja) 2005-08-29 2007-03-15 Seijiro Tomita 立体映像表示装置
KR101651441B1 (ko) * 2008-10-28 2016-08-26 코닌클리케 필립스 엔.브이. 3차원 디스플레이 시스템
CN102812420B (zh) * 2010-03-18 2016-01-20 富士胶片株式会社 立体显示装置和立体成像装置、用于上述装置的优势眼判定方法

Also Published As

Publication number Publication date
EP2395383B1 (en) 2018-05-02
US8599246B2 (en) 2013-12-03
US20110304707A1 (en) 2011-12-15
JP2011257682A (ja) 2011-12-22
EP2395383A1 (en) 2011-12-14

Similar Documents

Publication Publication Date Title
JP5073013B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
CN101854472B (zh) 图像拍照设备、控制图像拍照设备的方法
US9423827B2 (en) Head mounted display for viewing three dimensional images
EP2597879B1 (en) Three-dimensional image processing apparatus and calibration method of the same
US9619941B2 (en) Virtual play area display device, control system, and control program
US20130222308A1 (en) Operation Mode Switching Method And Electronic Device
TW201224993A (en) Mobile terminal and operation control method thereof
CN106101533B (zh) 渲染控制方法、装置及移动终端
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
KR101728845B1 (ko) 표시 장치, 포장 박스 및 포장 장치
US10560677B2 (en) Three-dimensional image processing apparatus and electric power control method of the same
KR102431712B1 (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
CN105866955A (zh) 智能眼镜
JP2016126042A (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US20160335615A1 (en) Wearable display device for displaying progress of payment process associated with billing information on display unit and controlling method thereof
CN111045577A (zh) 一种横竖屏切换方法、可穿戴设备和具有存储功能的装置
KR101701814B1 (ko) 프레이밍 정보를 디스플레이하기 위한 방법 및 장치
CN111965826B (zh) 智能眼镜的控制方法、装置、存储介质及智能眼镜
CN110275620B (zh) 交互方法、交互装置、头戴设备和存储介质
JP5770018B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
CN111736692B (zh) 显示方法、显示装置、存储介质与头戴式设备
CN117615082A (zh) 图像数据处理方法、装置、电子设备及可读存储介质
KR101652579B1 (ko) 전자표시기기를 위한 표시 장치의 표시 방법 및 장치
KR101573267B1 (ko) 포장 박스와 전자 표시 기기의 인터랙션 제어 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

R150 Certificate of patent or registration of utility model

Ref document number: 5073013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250