JP4696184B1 - 画像表示システム、画像表示装置および画像表示方法 - Google Patents
画像表示システム、画像表示装置および画像表示方法 Download PDFInfo
- Publication number
- JP4696184B1 JP4696184B1 JP2010294571A JP2010294571A JP4696184B1 JP 4696184 B1 JP4696184 B1 JP 4696184B1 JP 2010294571 A JP2010294571 A JP 2010294571A JP 2010294571 A JP2010294571 A JP 2010294571A JP 4696184 B1 JP4696184 B1 JP 4696184B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging unit
- real world
- marker
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 376
- 238000003384 imaging method Methods 0.000 claims abstract description 1107
- 239000003550 marker Substances 0.000 claims abstract description 496
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000010365 information processing Effects 0.000 description 382
- 230000008569 process Effects 0.000 description 296
- 239000011159 matrix material Substances 0.000 description 237
- 238000012545 processing Methods 0.000 description 193
- 239000004283 Sodium sorbate Substances 0.000 description 113
- 230000001133 acceleration Effects 0.000 description 101
- 238000004891 communication Methods 0.000 description 95
- 238000013500 data storage Methods 0.000 description 91
- 238000004364 calculation method Methods 0.000 description 90
- 230000009466 transformation Effects 0.000 description 89
- 239000004302 potassium sorbate Substances 0.000 description 78
- 230000036544 posture Effects 0.000 description 77
- 239000001099 ammonium carbonate Substances 0.000 description 64
- 230000006870 function Effects 0.000 description 60
- 238000010586 diagram Methods 0.000 description 57
- 230000008859 change Effects 0.000 description 55
- 230000004888 barrier function Effects 0.000 description 51
- 238000006243 chemical reaction Methods 0.000 description 51
- 230000009471 action Effects 0.000 description 48
- BWHMMNNQKKPAPP-UHFFFAOYSA-L potassium carbonate Substances [K+].[K+].[O-]C([O-])=O BWHMMNNQKKPAPP-UHFFFAOYSA-L 0.000 description 43
- 238000003780 insertion Methods 0.000 description 37
- 230000037431 insertion Effects 0.000 description 37
- 241000251468 Actinopterygii Species 0.000 description 36
- 239000010410 layer Substances 0.000 description 35
- 239000001095 magnesium carbonate Substances 0.000 description 34
- 239000004277 Ferrous carbonate Substances 0.000 description 31
- 239000004303 calcium sorbate Substances 0.000 description 31
- 238000003860 storage Methods 0.000 description 31
- 208000022435 Light chain deposition disease Diseases 0.000 description 29
- 238000007639 printing Methods 0.000 description 21
- 238000001228 spectrum Methods 0.000 description 20
- 238000005401 electroluminescence Methods 0.000 description 19
- 239000004973 liquid crystal related substance Substances 0.000 description 19
- 102220479481 Puromycin-sensitive aminopeptidase-like protein_C14S_mutation Human genes 0.000 description 18
- 230000004044 response Effects 0.000 description 18
- 230000001360 synchronised effect Effects 0.000 description 16
- 210000003813 thumb Anatomy 0.000 description 16
- 230000003190 augmentative effect Effects 0.000 description 15
- 239000002131 composite material Substances 0.000 description 15
- 230000000694 effects Effects 0.000 description 15
- 102220606260 Cytosolic arginine sensor for mTORC1 subunit 2_D14A_mutation Human genes 0.000 description 14
- 230000010354 integration Effects 0.000 description 14
- 210000003811 finger Anatomy 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 10
- 230000002829 reductive effect Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 102220005317 rs33915112 Human genes 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 230000001131 transforming effect Effects 0.000 description 8
- 102220590312 Transcription factor 7-like 2_E24A_mutation Human genes 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 102220005527 rs281860684 Human genes 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 101100233889 Arabidopsis thaliana KAI2 gene Proteins 0.000 description 6
- 101150105391 C14L gene Proteins 0.000 description 6
- 102220626527 Spliceosome-associated protein CWC15 homolog_A77R_mutation Human genes 0.000 description 6
- 101100219276 Variola virus (isolate Human/India/Ind3/1967) C4L gene Proteins 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 210000004936 left thumb Anatomy 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 239000011347 resin Substances 0.000 description 6
- 229920005989 resin Polymers 0.000 description 6
- 102200067427 rs281865556 Human genes 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 102220618894 Arginine-glutamic acid dipeptide repeats protein_D14E_mutation Human genes 0.000 description 5
- 102220591832 Potassium voltage-gated channel subfamily B member 1_D75R_mutation Human genes 0.000 description 5
- 102220590231 Transcription factor 7-like 2_E29A_mutation Human genes 0.000 description 5
- 101100501801 Yaba monkey tumor virus (strain VR587) VETFL gene Proteins 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 102220559691 Differentially expressed in FDCP 8 homolog_A71R_mutation Human genes 0.000 description 4
- 102220605077 Hemoglobin subunit beta_C14G_mutation Human genes 0.000 description 4
- 102220631094 NEDD8_A72R_mutation Human genes 0.000 description 4
- 102220590295 Transcription factor 7-like 2_E28A_mutation Human genes 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 239000000594 mannitol Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 102200082905 rs35203747 Human genes 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- FXWALQSAZZPDOT-NMUGVGKYSA-N Arg-Thr-Cys-Cys Chemical compound SC[C@@H](C(O)=O)NC(=O)[C@H](CS)NC(=O)[C@H]([C@H](O)C)NC(=O)[C@@H](N)CCCNC(N)=N FXWALQSAZZPDOT-NMUGVGKYSA-N 0.000 description 3
- 102220573434 Fibroblast growth factor 22_D14C_mutation Human genes 0.000 description 3
- 101000699762 Homo sapiens RNA 3'-terminal phosphate cyclase Proteins 0.000 description 3
- 101000657350 Homo sapiens RNA-splicing ligase RtcB homolog Proteins 0.000 description 3
- 102220515779 Methionine-R-sulfoxide reductase B1_A14V_mutation Human genes 0.000 description 3
- 102100029143 RNA 3'-terminal phosphate cyclase Human genes 0.000 description 3
- 102100034776 RNA-splicing ligase RtcB homolog Human genes 0.000 description 3
- IWUCXVSUMQZMFG-AFCXAGJDSA-N Ribavirin Chemical compound N1=C(C(=O)N)N=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](CO)O1 IWUCXVSUMQZMFG-AFCXAGJDSA-N 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 102100032318 pre-rRNA 2'-O-ribose RNA methyltransferase FTSJ3 Human genes 0.000 description 3
- 102220276920 rs1553348689 Human genes 0.000 description 3
- 102200082908 rs33947457 Human genes 0.000 description 3
- 102220056958 rs730880941 Human genes 0.000 description 3
- 102220077040 rs796052167 Human genes 0.000 description 3
- 238000007650 screen-printing Methods 0.000 description 3
- 102220614564 Calmodulin-3_C16A_mutation Human genes 0.000 description 2
- 102220614561 Calmodulin-3_C21A_mutation Human genes 0.000 description 2
- 102220605961 Cytosolic arginine sensor for mTORC1 subunit 2_D11A_mutation Human genes 0.000 description 2
- 102220499629 Dysferlin_D21A_mutation Human genes 0.000 description 2
- 102100036702 Glucosamine-6-phosphate isomerase 2 Human genes 0.000 description 2
- 101001077478 Homo sapiens RNA guanine-N7 methyltransferase activating subunit Proteins 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 102220515734 Methionine-R-sulfoxide reductase B1_A14K_mutation Human genes 0.000 description 2
- 102220483782 Myb/SANT-like DNA-binding domain-containing protein 1_A21D_mutation Human genes 0.000 description 2
- 239000004396 Octenyl succinic acid modified gum arabic Substances 0.000 description 2
- 102220479482 Puromycin-sensitive aminopeptidase-like protein_C21D_mutation Human genes 0.000 description 2
- 102100025054 RNA guanine-N7 methyltransferase activating subunit Human genes 0.000 description 2
- 102220524175 Receptor-interacting serine/threonine-protein kinase 1_D21N_mutation Human genes 0.000 description 2
- 102220590270 Transcription factor 7-like 2_D16A_mutation Human genes 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 239000000806 elastomer Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N glycerol Substances OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 102220251205 rs376116831 Human genes 0.000 description 2
- 102220030552 rs398124174 Human genes 0.000 description 2
- 102220027108 rs63750706 Human genes 0.000 description 2
- 102220102929 rs762648754 Human genes 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102220606256 Cytosolic arginine sensor for mTORC1 subunit 2_E18A_mutation Human genes 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
Abstract
【課題】ＡＲ技術を用いたアプリケーションを、より気軽にかつ快適に楽しむことができる画像表示システムを提供すること。
【解決手段】携帯型画像表示装置は、タッチパネルと、裸眼立体視可能な立体表示装置と、第１撮像部および第２撮像部が設けられている。携帯型画像表示装置は、第１撮像部および第２撮像部の少なくとも一方によって撮像された実世界画像からマーカーを検出し、当該検出結果に基づいて、仮想空間における仮想オブジェクトと一対の仮想カメラとの相対位置を決定する。そして、携帯型画像表示装置は、第１撮像部および第２撮像部によって撮像された実世界画像に、第１仮想カメラおよび第２仮想カメラに基づいて描画した仮想空間画像を合成して、立体表示装置に裸眼立体視可能な画像を表示させる。
【選択図】図８
【解決手段】携帯型画像表示装置は、タッチパネルと、裸眼立体視可能な立体表示装置と、第１撮像部および第２撮像部が設けられている。携帯型画像表示装置は、第１撮像部および第２撮像部の少なくとも一方によって撮像された実世界画像からマーカーを検出し、当該検出結果に基づいて、仮想空間における仮想オブジェクトと一対の仮想カメラとの相対位置を決定する。そして、携帯型画像表示装置は、第１撮像部および第２撮像部によって撮像された実世界画像に、第１仮想カメラおよび第２仮想カメラに基づいて描画した仮想空間画像を合成して、立体表示装置に裸眼立体視可能な画像を表示させる。
【選択図】図８
Description
本発明は、画像表示システム、画像表示装置および画像表示方法に関し、特に、立体視可能な立体表示部に、３次元の仮想オブジェクトを合成した実世界画像を立体表示するための画像表示システム、画像表示装置および画像表示方法に関する。
近年、実世界の画像に仮想オブジェクトを合成表示することによって、その仮想オブジェクトがあたかも実世界内に実在するかのように表示する、ＡＲ（Augmented Reality：拡張現実感）技術の研究が進んでいる。
例えば、特許文献１に開示されている立体表示装置では、ヘッドマウントディスプレイに取り付けられている右目カメラおよび左目カメラによってそれぞれ撮像された画像から、実空間に配置されたマーカーに対する右目カメラおよび左目カメラの相対位置姿勢をそれぞれ求め、その結果に基づいて、右目用の仮想オブジェクトの画像と左目用の仮想オブジェクトの画像をそれぞれ生成している。そして、右目カメラおよび左目カメラによってそれぞれ撮像された画像に対して、右目用の仮想オブジェクトの画像と左目用の仮想オブジェクトの画像をそれぞれ合成して、それらの合成画像を右目ＬＣＤ（液晶画面）と左目ＬＣＤにそれぞれ表示している。
しかしながら、特許文献１に開示されている立体表示装置では、ユーザはヘッドマウントディスプレイを装着しなければならず、ＡＲ技術を用いたアプリケーションを気軽にかつ快適に楽しむことができない。
それ故、本発明の目的は、ＡＲ技術を用いたアプリケーションを、より気軽にかつ快適に楽しむことができる画像表示システム、画像表示装置および画像表示方法を提供することである。
本発明は、上記の課題を解決するために、以下の構成を採用した。
本発明の画像表示システムの一構成例は、実世界画像に仮想空間画像を合成表示する画像表示システムである。当該画像表示システムは、手持ち型の画像表示装置と、実世界に配置されるマーカーとを備える。
前記画像表示装置は、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチパネルと、立体表示部と、第１撮像部および第２撮像部と、検出手段と、決定手段と、第１仮想空間画像生成手段と、第２仮想空間画像生成手段と、表示制御手段とを含む。
上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状のハウジングである。上記平面表示部は、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。上記タッチパネルは、前記平面表示部の画面上に設けられる。上記立体表示部は、前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な表示部である。上記第１撮像部および第２撮像部は、前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられる。上記検出手段は、前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自動的に検出する。上記決定手段は、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する。上記第１仮想空間画像生成手段は、前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する。上記第２仮想空間画像生成手段は、前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する。上記表示制御手段は、前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる。
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、１以上の操作ボタンが設けられている。上記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含んでいる。前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える。
本発明の画像表示システムの他の構成例として、前記上側ハウジングの内側面には、前記立体表示部の画面を左右に２等分する線上に第３撮像部が設けられていてもよい。
本発明の画像表示システムの他の構成例として、前記上側ハウジングには一対のスピーカが設けられており、前記上側ハウジングの内側面上には、左右方向に前記立体表示部の画面を挟むように、前記一対のスピーカに対応する一対のスピーカ孔が設けられていてもよい。
本発明の画像表示システムの他の構成例として、前記下側ハウジングの長辺方向に平行な２つの側面のうちの前記上側ハウジングに接続されている側の側面の右端部および左端部には操作ボタンが設けられていてもよい。
本発明の画像表示システムの他の構成例として、前記画像表示装置は、携帯型ゲーム装置であってもよい。
本発明の画像表示装置の一構成例は、実世界画像に仮想空間画像を合成表示する手持ち型の画像表示装置であって、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチパネルと、立体表示部と、第１撮像部および第２撮像部と、検出手段と、決定手段と、第１仮想空間画像生成手段と、第２仮想空間画像生成手段と、表示制御手段とを備える。
上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状のハウジングである。上記平面表示部は、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。上記タッチパネルは、前記平面表示部の画面上に設けられる。上記立体表示部は、前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な表示部である。上記第１撮像部および第２撮像部は、前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられる。上記検出手段は、前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自動的に検出する。上記決定手段は、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する。上記第１仮想空間画像生成手段は、前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する。上記第２仮想空間画像生成手段は、前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する。上記表示制御手段は、前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる。
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、１以上の操作ボタンが設けられている。上記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含んでいる。前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える。
本発明の画像表示装置の一構成例は、手持ち型の画像表示装置と、実世界に配置されるマーカーとを備えた画像表示システムにおいて、実世界画像に仮想空間画像を合成表示する画像表示方法である。
前記画像表示装置は、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチパネルと、立体表示部と、第１撮像部および第２撮像部と、１以上の操作ボタンと、スイッチとを備える。
上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状のハウジングである。上記平面表示部は、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。上記タッチパネルは、前記平面表示部の画面上に設けられる。上記立体表示部は、前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な表示部である。上記第１撮像部および第２撮像部は、前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられる。上記１以上の操作ボタンは、前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ設けられている。上記スイッチは、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチである。
上記画像表示方法は、前記画像表示装置の検出手段が、前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢に検出するステップと、前記画像表示装置の決定手段が、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新するステップと、前記画像表示装置の第１仮想空間画像生成手段が、前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成するステップと、前記画像表示装置の第２仮想空間画像生成手段が、前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成するステップと、前記画像表示装置の表示制御手段が、前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させるステップと、前記表示制御手段が、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換えるステップとを備える。
本発明によれば、ＡＲ技術を用いたアプリケーションを気軽にかつ快適に楽しむことができる。
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１〜図３は、ゲーム装置Ａ１０の外観を示す平面図である。ゲーム装置Ａ１０は携帯型のゲーム装置であり、図１〜図３に示すように折り畳み可能に構成されている。図１および図２は、開いた状態（開状態）におけるゲーム装置Ａ１０を示し、図３は、閉じた状態（閉状態）におけるゲーム装置Ａ１０を示している。図１は、開状態におけるゲーム装置Ａ１０の正面図であり、図２は、開状態におけるゲーム装置Ａ１０の右側面図である。ゲーム装置Ａ１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ａ１０は、交換可能なメモリカード内に記憶され、または、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
以下、本発明の一実施形態に係るゲーム装置について説明する。図１〜図３は、ゲーム装置Ａ１０の外観を示す平面図である。ゲーム装置Ａ１０は携帯型のゲーム装置であり、図１〜図３に示すように折り畳み可能に構成されている。図１および図２は、開いた状態（開状態）におけるゲーム装置Ａ１０を示し、図３は、閉じた状態（閉状態）におけるゲーム装置Ａ１０を示している。図１は、開状態におけるゲーム装置Ａ１０の正面図であり、図２は、開状態におけるゲーム装置Ａ１０の右側面図である。ゲーム装置Ａ１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ａ１０は、交換可能なメモリカード内に記憶され、または、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
まず、図１〜図３を参照して、ゲーム装置Ａ１０の外観構成について説明する。図１〜図３に示されるように、ゲーム装置Ａ１０は、下側ハウジングＡ１１および上側ハウジングＡ２１を有する。下側ハウジングＡ１１と上側ハウジングＡ２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、各ハウジングＡ１１およびＡ２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
図１および図２に示されるように、下側ハウジングＡ１１の上側長辺部分には、下側ハウジングＡ１１の内側面（主面）Ａ１１Ｂに対して垂直な方向に突起する突起部Ａ１１Ａが設けられる。また、上側ハウジングＡ２１の下側長辺部分には、上側ハウジングＡ２１の下側面から当該下側面に垂直な方向に突起する突起部Ａ２１Ａが設けられる。下側ハウジングＡ１１の突起部Ａ１１Ａと上側ハウジングＡ２１の突起部Ａ２１Ａとが連結されることにより、下側ハウジングＡ１１と上側ハウジングＡ２１とが、折り畳み可能に接続される。
（下側ハウジングの説明）
まず、下側ハウジングＡ１１の構成について説明する。図１〜図３に示すように、下側ハウジングＡ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ａ１２、タッチパネルＡ１３、各操作ボタンＡ１４Ａ〜Ａ１４Ｌ（図１、図３）、アナログスティックＡ１５、ＬＥＤＡ１６Ａ〜Ａ１６Ｂ、挿入口Ａ１７、および、マイクロフォン用孔Ａ１８が設けられる。以下、これらの詳細について説明する。
まず、下側ハウジングＡ１１の構成について説明する。図１〜図３に示すように、下側ハウジングＡ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ａ１２、タッチパネルＡ１３、各操作ボタンＡ１４Ａ〜Ａ１４Ｌ（図１、図３）、アナログスティックＡ１５、ＬＥＤＡ１６Ａ〜Ａ１６Ｂ、挿入口Ａ１７、および、マイクロフォン用孔Ａ１８が設けられる。以下、これらの詳細について説明する。
図１に示すように、下側ＬＣＤＡ１２は下側ハウジングＡ１１に収納される。下側ＬＣＤＡ１２は横長形状であり、長辺方向が下側ハウジングＡ１１の長辺方向に一致するように配置される。下側ＬＣＤＡ１２は下側ハウジングＡ１１の中央に配置される。下側ＬＣＤＡ１２は、下側ハウジングＡ１１の内側面（主面）に設けられ、下側ハウジングＡ１１に設けられた開口部から当該下側ＬＣＤＡ１２の画面が露出される。ゲーム装置Ａ１０を使用しない場合には閉状態としておくことによって、下側ＬＣＤＡ１２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤＡ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤＡ１２は、後述する上側ＬＣＤＡ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤＡ１２として、任意の解像度の表示装置を利用することができる。
図１に示されるように、ゲーム装置Ａ１０は、入力装置として、タッチパネルＡ１３を備えている。タッチパネルＡ１３は、下側ＬＣＤＡ１２の画面上に装着されている。なお、本実施形態では、タッチパネルＡ１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネルＡ１３として、下側ＬＣＤＡ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＡ１３の解像度と下側ＬＣＤＡ１２の解像度が一致している必要はない。また、下側ハウジングＡ１１の上側面には挿入口Ａ１７（図１および図３（ｄ）に示す点線）が設けられている。挿入口Ａ１７は、タッチパネルＡ１３に対する操作を行うために用いられるタッチペンＡ２８を収納することができる。なお、タッチパネルＡ１３に対する入力は通常タッチペンＡ２８を用いて行われるが、タッチペンＡ２８に限らずユーザの指でタッチパネルＡ１３に対する入力をすることも可能である。
各操作ボタンＡ１４Ａ〜Ａ１４Ｌは、所定の入力を行うための入力装置である。図１に示されるように、下側ハウジングＡ１１の内側面（主面）には、各操作ボタンＡ１４Ａ〜Ａ１４Ｌのうち、十字ボタンＡ１４Ａ（方向入力ボタンＡ１４Ａ）、ボタンＡ１４Ｂ、ボタンＡ１４Ｃ、ボタンＡ１４Ｄ、ボタンＡ１４Ｅ、電源ボタンＡ１４Ｆ、セレクトボタンＡ１４Ｊ、ＨＯＭＥボタンＡ１４Ｋ、およびスタートボタンＡ１４Ｌが、設けられる。十字ボタンＡ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタンＡ１４Ｂ、ボタンＡ１４Ｃ、ボタンＡ１４Ｄ、ボタンＡ１４Ｅは、十字状に配置される。ボタンＡ１４Ａ〜Ａ１４Ｅ、セレクトボタンＡ１４Ｊ、ＨＯＭＥボタンＡ１４Ｋ、およびスタートボタンＡ１４Ｌには、ゲーム装置Ａ１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタンＡ１４Ａは選択操作等に用いられ、各操作ボタンＡ１４Ｂ〜Ａ１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタンＡ１４Ｆは、ゲーム装置Ａ１０の電源をオン／オフするために用いられる。
アナログスティックＡ１５は、方向を指示するデバイスであり、下側ハウジングＡ１１の内側面の下側ＬＣＤＡ１２より左側領域の上部領域に設けられる。図１に示すように、十字ボタンＡ１４Ａは下側ＬＣＤＡ１２より左側領域の下部領域に設けられるので、アナログスティックＡ１５は、十字ボタンＡ１４Ａの上方に設けられる。また、アナログスティックＡ１５、および、十字ボタンＡ１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。また、アナログスティックＡ１５を上部領域に設けたことにより、下側ハウジングＡ１１を把持する左手の親指が自然と位置するところにアナログスティックＡ１５が配され、十字ボタンＡ１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティックＡ１５は、そのキートップが、下側ハウジングＡ１１の内側面に平行にスライドするように構成されている。アナログスティックＡ１５は、ゲーム装置Ａ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置Ａ１０によって実行される場合、アナログスティックＡ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティックＡ１５のキートップがスライドした方向に移動される。なお、アナログスティックＡ１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
十字状に配置される、ボタンＡ１４Ｂ、ボタンＡ１４Ｃ、ボタンＡ１４Ｄ、ボタンＡ１４Ｅの４つのボタンは、下側ハウジングＡ１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンと、アナログスティックＡ１５とは、下側ＬＣＤＡ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。
また、下側ハウジングＡ１１の内側面には、マイクロフォン用孔Ａ１８が設けられる。マイクロフォン用孔Ａ１８の下部には後述する音声入力装置としてのマイク（図６参照）が設けられ、当該マイクがゲーム装置Ａ１０の外部の音を検出する。
図３（ａ）は閉状態におけるゲーム装置Ａ１０の左側面図であり、図３（ｂ）は閉状態におけるゲーム装置Ａ１０の正面図であり、図３（ｃ）は閉状態におけるゲーム装置Ａ１０の右側面図であり、図３（ｄ）は閉状態におけるゲーム装置Ａ１０の背面図である。図３（ｂ）および（ｄ）に示されるように、下側ハウジングＡ１１の上側面には、ＬボタンＡ１４ＧおよびＲボタンＡ１４Ｈが設けられている。ＬボタンＡ１４Ｇは、下側ハウジングＡ１１の上面の左端部に設けられ、ＲボタンＡ１４Ｈは、下側ハウジングＡ１１の上面の右端部に設けられる。ＬボタンＡ１４ＧおよびＲボタンＡ１４Ｈは、例えば、撮像部のシャッターボタン（撮影指示ボタン）として機能することができる。また、図３（ａ）に示されるように、下側ハウジングＡ１１の左側面には、音量ボタンＡ１４Ｉが設けられる。音量ボタンＡ１４Ｉは、ゲーム装置Ａ１０が備えるスピーカの音量を調整するために用いられる。
図３（ａ）に示されるように、下側ハウジングＡ１１の左側面には開閉可能なカバー部Ａ１１Ｃが設けられる。このカバー部Ａ１１Ｃの内側には、ゲーム装置Ａ１０とデータ保存用外部メモリＡ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリＡ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリＡ４５は、例えば、ゲーム装置Ａ１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタおよびそのカバー部Ａ１１Ｃは、下側ハウジングＡ１１の右側面に設けられてもよい。
また、図３（ｄ）に示されるように、下側ハウジングＡ１１の上側面には、ゲーム装置Ａ１０とゲームプログラムを記録した外部メモリＡ４４を挿入するための挿入口Ａ１１Ｄが設けられ、その挿入口Ａ１１Ｄの内部には、外部メモリＡ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリＡ４４がゲーム装置Ａ１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタおよびその挿入口Ａ１１Ｄは、下側ハウジングＡ１１の他の側面（例えば、右側面等）に設けられてもよい。
また、図１および図３（ｃ）に示されるように、下側ハウジングＡ１１の下側面にはゲーム装置Ａ１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＡ１６Ａ、下側ハウジングＡ１１の右側面にはゲーム装置Ａ１０の無線通信の確立状況をユーザに通知する第２ＬＥＤＡ１６Ｂが設けられる。ゲーム装置Ａ１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤＡ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置Ａ１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジングＡ１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチＡ１９が設けられる（図３（ｃ）参照）。
なお、図示は省略するが、下側ハウジングＡ１１には、ゲーム装置Ａ１０の電源となる充電式電池が収納され、下側ハウジングＡ１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
（上側ハウジングの説明）
次に、上側ハウジングＡ２１の構成について説明する。図１〜図３に示すように、上側ハウジングＡ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ａ２２、外側撮像部Ａ２３（外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂ）、内側撮像部Ａ２４、３Ｄ調整スイッチＡ２５、および、３ＤインジケータＡ２６が設けられる。以下、これらの詳細について説明する。
次に、上側ハウジングＡ２１の構成について説明する。図１〜図３に示すように、上側ハウジングＡ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ａ２２、外側撮像部Ａ２３（外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂ）、内側撮像部Ａ２４、３Ｄ調整スイッチＡ２５、および、３ＤインジケータＡ２６が設けられる。以下、これらの詳細について説明する。
図１に示すように、上側ＬＣＤＡ２２は上側ハウジングＡ２１に収納される。上側ＬＣＤＡ２２は、横長形状であり、長辺方向が上側ハウジングＡ２１の長辺方向に一致するように配置される。上側ＬＣＤＡ２２は上側ハウジングＡ２１の中央に配置される。上側ＬＣＤＡ２２の画面の面積は、下側ＬＣＤＡ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤＡ２２の画面は、下側ＬＣＤＡ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤＡ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤＡ１２の画面のアスペクト比における横幅の割合よりも大きく設定される。
上側ＬＣＤＡ２２の画面は、上側ハウジングＡ２１の内側面（主面）Ａ２１Ｂに設けられ、上側ハウジングＡ２１に設けられた開口部から当該上側ＬＣＤＡ２２の画面が露出される。また、図２に示すように、上側ハウジングＡ２１の内側面は、透明なスクリーンカバーＡ２７によって覆われている。当該スクリーンカバーＡ２７は、上側ＬＣＤＡ２２の画面を保護するとともに、上側ＬＣＤＡ２２と上側ハウジングＡ２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤＡ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤＡ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤＡ２２として、任意の解像度の表示装置を利用することができる。
上側ＬＣＤＡ２２は、立体視可能な画像を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤＡ２２はパララックスバリア方式のものとする。上側ＬＣＤＡ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤＡ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤＡ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤＡ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチＡ２５によって行われる。
外側撮像部Ａ２３は、上側ハウジングＡ２１の外側面（上側ＬＣＤＡ２２が設けられた主面と反対側の背面）Ａ２１Ｄに設けられた２つの撮像部（Ａ２３ａおよびＡ２３ｂ）の総称である。外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの撮像方向は、いずれも当該外側面Ａ２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤＡ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（左）Ａ２３ａの撮像方向および外側撮像部（右）Ａ２３ｂの撮像方向は、平行である。外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂとは、ゲーム装置Ａ１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮像部（Ａ２３ａおよびＡ２３ｂ）のいずれか一方を単独で用いて、外側撮像部Ａ２３を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（Ａ２３ａおよびＡ２３ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では、外側撮像部Ａ２３は、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの２つの撮像部で構成される。外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図１の破線および図３（ｂ）の実線で示されるように、外側撮像部Ａ２３を構成する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ＬＣＤＡ２２の画面の横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤＡ２２の画面の横方向と平行になるように、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂが配置される。図１の破線で示すＡ２３ａおよびＡ２３ｂは、上側ハウジングＡ２１の内側面とは反対側の外側面に存在する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂをそれぞれ表している。図１に示すように、ユーザが上側ＬＣＤＡ２２の画面を正面から視認した場合に、外側撮像部（左）Ａ２３ａは左側に外側撮像部（右）Ａ２３ｂは右側にそれぞれ位置している。外側撮像部Ａ２３をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部（左）Ａ２３ａは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部（右）Ａ２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの間隔は、この範囲に限らない。
なお、本実施例においては、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３はハウジングに固定されており、撮像方向を変更することはできない。
また、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ＬＣＤＡ２２（上側ハウジングＡ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ＬＣＤＡ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ハウジングＡ２１を開いた状態において、上側ハウジングＡ２１の上部であって、上側ＬＣＤＡ２２の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ハウジングＡ２１の外側面であって、上側ＬＣＤＡ２２を外側面に投影した場合、投影した上側ＬＣＤＡ２２の画面の上端よりも上方に配置される。
このように、外側撮像部Ａ２３の２つの撮像部（Ａ２３ａおよびＡ２３ｂ）が、上側ＬＣＤＡ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤＡ２２を正視した場合に、外側撮像部Ａ２３の撮像方向をユーザの視線方向と一致させることができる。また、外側撮像部Ａ２３は、上側ＬＣＤＡ２２の画面の上端より上方の裏側の位置に配置されるため、外側撮像部Ａ２３と上側ＬＣＤＡ２２とが上側ハウジングＡ２１の内部で干渉することがない。従って、外側撮像部Ａ２３を上側ＬＣＤＡ２２の画面の裏側に配置する場合と比べて、上側ハウジングＡ２１を薄く構成することが可能となる。
内側撮像部Ａ２４は、上側ハウジングＡ２１の内側面（主面）Ａ２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ａ２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図１に示すように、内側撮像部Ａ２４は、上側ハウジングＡ２１を開いた状態において、上側ハウジングＡ２１の上部であって、上側ＬＣＤＡ２２の画面の上端よりも上方に配置され、上側ハウジングＡ２１の左右方向に関して中央の位置（上側ハウジングＡ２１（上側ＬＣＤＡ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図１および図３（ｂ）に示されるように、内側撮像部Ａ２４は、上側ハウジングＡ２１の内側面であって、外側撮像部Ａ２３の左右の撮像部（外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジングＡ２１の外側面に設けられた外側撮像部Ａ２３の左右の撮像部を上側ハウジングＡ２１の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部Ａ２４が設けられる。図３（ｂ）で示される破線Ａ２４は、上側ハウジングＡ２１の内側面に存在する内側撮像部Ａ２４を表している。
このように、内側撮像部Ａ２４は、外側撮像部Ａ２３とは反対方向を撮像する。内側撮像部Ａ２４は、上側ハウジングＡ２１の内側面であって、外側撮像部Ａ２３の左右の撮像部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤＡ２２を正視した際、内側撮像部Ａ２４でユーザの顔を正面から撮像することができる。また、外側撮像部Ａ２３の左右の撮像部と内側撮像部Ａ２４とが上側ハウジングＡ２１の内部で干渉することがないため、上側ハウジングＡ２１を薄く構成することが可能となる。
３Ｄ調整スイッチＡ２５は、スライドスイッチであり、上述のように上側ＬＣＤＡ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＡ２５は、上側ＬＣＤＡ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。図１〜図３に示されるように、３Ｄ調整スイッチＡ２５は、上側ハウジングＡ２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤＡ２２を正視した場合に、当該３Ｄ調整スイッチＡ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチＡ２５の操作部は、内側面および右側面の両方に突出しており、どちらからも視認および操作することができる。なお、３Ｄ調整スイッチＡ２５以外のスイッチは全て下側ハウジングＡ１１に設けられる。
図４は、図１に示す上側ハウジングＡ２１のＡ−Ａ’線断面図である。図４に示すように、上側ハウジングＡ２１の内側面の右端部には、凹部Ａ２１Ｃが形成され、当該凹部Ａ２１Ｃに３Ｄ調整スイッチＡ２５が設けられる。３Ｄ調整スイッチＡ２５は、図１および図２に示されるように、上側ハウジングＡ２１の正面および右側面から視認可能に配置される。３Ｄ調整スイッチＡ２５のスライダＡ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダＡ２５ａの位置に応じて上側ＬＣＤＡ２２の表示モードが設定される。
図５Ａから図５Ｃは、３Ｄ調整スイッチＡ２５のスライダＡ２５ａがスライドする様子を示す図である。図５Ａは、３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最下点（第３の位置）に存在する様子を示す図である。図５Ｂは、３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図である。図５Ｃは、３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最上点（第２の位置）に存在する様子を示す図である。
図５Ａに示すように、３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最下点位置（第３の位置）に存在する場合、上側ＬＣＤＡ２２は平面表示モードに設定され、上側ＬＣＤＡ２２の画面には平面画像が表示される（なお、上側ＬＣＤＡ２２を立体表示モードのままとして、左目用画像と右目用画像を同一の画像とすることにより平面表示してもよい）。一方、図５Ｂに示す位置（最下点より上側の位置（第１の位置））から図５Ｃに示す位置（最上点の位置（第２の位置））までの間にスライダＡ２５ａが存在する場合、上側ＬＣＤＡ２２は立体表示モードに設定される。この場合、上側ＬＣＤＡ２２の画面には立体視可能な画像が表示される。スライダＡ２５ａが第１の位置から第２の位置の間に存在する場合、スライダＡ２５ａの位置に応じて、立体画像の見え方が調整される。具体的には、スライダＡ２５ａの位置に応じて、右目用画像および左目用画像の横方向の位置のずれ量が調整される。３Ｄ調整スイッチＡ２５のスライダＡ２５ａは、第３の位置で固定されるように構成されており、第１の位置と第２の位置との間では上下方向に任意の位置にスライド可能に構成されている。例えば、スライダＡ２５ａは、第３の位置において、３Ｄ調整スイッチＡ２５を形成する側面から図５Ａに示す横方向に突出した凸部（図示せず）によって固定されて、所定以上の力が上方に加わらないと第３の位置よりも上方にスライドしないように構成されている。第３の位置から第１の位置にスライダＡ２５ａが存在する場合、立体画像の見え方は調整されないが、これはいわゆるあそびである。他の例においては、あそびをなくして、第３の位置と第１の位置とを同じ位置としてもよい。また、第３の位置を第１の位置と第２の位置の間としてもよい。その場合、スライダを第３の位置から第１の位置の方向に動かした場合と、第２の方向に動かした場合とで、右目用画像および左目用画像の横方向の位置のずれ量の調整する方向が逆になる。
３ＤインジケータＡ２６は、上側ＬＣＤＡ２２が立体表示モードか否かを示す。３ＤインジケータＡ２６は、ＬＥＤであり、上側ＬＣＤＡ２２の立体表示モードが有効の場合に点灯する。なお、３ＤインジケータＡ２６は、上側ＬＣＤＡ２２が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているとき（すなわち、３Ｄ調整スイッチが上記第１の位置から上記第２の位置にあるときに、左目用画像と右目用画像が異なるような画像処理が実行されているとき）に限り、点灯するようにしてもよい。図１に示されるように、３ＤインジケータＡ２６は、上側ハウジングＡ２１の内側面に設けられ、上側ＬＣＤＡ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤＡ２２の画面を正視した場合、ユーザは３ＤインジケータＡ２６を視認しやすい。従って、ユーザは上側ＬＣＤＡ２２の画面を視認している状態でも、上側ＬＣＤＡ２２の表示モードを容易に認識することができる。
また、上側ハウジングＡ２１の内側面には、スピーカ孔Ａ２１Ｅが設けられる。後述するスピーカＡ４３からの音声がこのスピーカ孔Ａ２１Ｅから出力される。
（ゲーム装置Ａ１０の内部構成）
次に、図６を参照して、ゲーム装置Ａ１０の内部の電気的構成について説明する。図６は、ゲーム装置Ａ１０の内部構成を示すブロック図である。図６に示すように、ゲーム装置Ａ１０は、上述した各部に加えて、情報処理部Ａ３１、メインメモリＡ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ａ３３、データ保存用外部メモリＩ／ＦＡ３４、データ保存用内部メモリＡ３５、無線通信モジュールＡ３６、ローカル通信モジュールＡ３７、リアルタイムクロック（ＲＴＣ）Ａ３８、加速度センサＡ３９、電源回路Ａ４０、およびインターフェイス回路（Ｉ／Ｆ回路）Ａ４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＡ１１（または上側ハウジングＡ２１でもよい）内に収納される。
次に、図６を参照して、ゲーム装置Ａ１０の内部の電気的構成について説明する。図６は、ゲーム装置Ａ１０の内部構成を示すブロック図である。図６に示すように、ゲーム装置Ａ１０は、上述した各部に加えて、情報処理部Ａ３１、メインメモリＡ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ａ３３、データ保存用外部メモリＩ／ＦＡ３４、データ保存用内部メモリＡ３５、無線通信モジュールＡ３６、ローカル通信モジュールＡ３７、リアルタイムクロック（ＲＴＣ）Ａ３８、加速度センサＡ３９、電源回路Ａ４０、およびインターフェイス回路（Ｉ／Ｆ回路）Ａ４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＡ１１（または上側ハウジングＡ２１でもよい）内に収納される。
情報処理部Ａ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ａ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ａ３１２等を含む情報処理手段である。情報処理部Ａ３１のＣＰＵＡ３１１は、ゲーム装置Ａ１０内のメモリ（例えば外部メモリＩ／ＦＡ３３に接続された外部メモリＡ４４やデータ保存用内部メモリＡ３５）に記憶されているプログラムを実行することによって、当該プログラムに応じた処理（例えば、撮影処理や、後述する画像表示処理）を実行する。なお、情報処理部Ａ３１のＣＰＵＡ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部Ａ３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）Ａ３１３を含む。情報処理部Ａ３１のＧＰＵＡ３１２は、情報処理部Ａ３１のＣＰＵＡ３１１からの命令に応じて画像を生成し、ＶＲＡＭＡ３１３に描画する。そして、情報処理部Ａ３１のＧＰＵＡ３１２は、ＶＲＡＭＡ３１３に描画された画像を上側ＬＣＤＡ２２及び／又は下側ＬＣＤＡ１２に出力し、上側ＬＣＤＡ２２及び／又は下側ＬＣＤＡ１２に当該画像が表示される。
情報処理部Ａ３１には、メインメモリＡ３２、外部メモリＩ／ＦＡ３３、データ保存用外部メモリＩ／ＦＡ３４、および、データ保存用内部メモリＡ３５が接続される。外部メモリＩ／ＦＡ３３は、外部メモリＡ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／ＦＡ３４は、データ保存用外部メモリＡ４５を着脱自在に接続するためのインターフェイスである。
メインメモリＡ３２は、情報処理部Ａ３１（のＣＰＵＡ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＡ３２は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部（外部メモリＡ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリＡ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
外部メモリＡ４４は、情報処理部Ａ３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリＡ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリＡ４４が外部メモリＩ／ＦＡ３３に接続されると、情報処理部Ａ３１は外部メモリＡ４４に記憶されたプログラムを読み込むことができる。情報処理部Ａ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリＡ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリＡ４５には、外側撮像部Ａ２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリＡ４５がデータ保存用外部メモリＩ／ＦＡ３４に接続されると、情報処理部Ａ３１はデータ保存用外部メモリＡ４５に記憶された画像を読み込み、上側ＬＣＤＡ２２及び／又は下側ＬＣＤＡ１２に当該画像を表示することができる。
データ保存用内部メモリＡ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリＡ３５には、無線通信モジュールＡ３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
無線通信モジュールＡ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＡ３７は、所定の通信方式（例えば独自プロトコルによる通信や、赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュールＡ３６およびローカル通信モジュールＡ３７は情報処理部Ａ３１に接続される。情報処理部Ａ３１は、無線通信モジュールＡ３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールＡ３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
また、情報処理部Ａ３１には、加速度センサＡ３９が接続される。加速度センサＡ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサＡ３９は、下側ハウジングＡ１１の内部に設けられる。加速度センサＡ３９は、図１に示すように、下側ハウジングＡ１１の長辺方向をｘ軸、下側ハウジングＡ１１の短辺方向をｙ軸、下側ハウジングＡ１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサＡ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサＡ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部Ａ３１は、加速度センサＡ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置Ａ１０の姿勢や動きを検出することができる。
また、情報処理部Ａ３１には、ＲＴＣＡ３８および電源回路Ａ４０が接続される。ＲＴＣＡ３８は、時間をカウントして情報処理部Ａ３１に出力する。情報処理部Ａ３１は、ＲＴＣＡ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ａ４０は、ゲーム装置Ａ１０が有する電源（下側ハウジングＡ１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置Ａ１０の各部品に電力を供給する。
また、情報処理部Ａ３１には、Ｉ／Ｆ回路Ａ４１が接続される。Ｉ／Ｆ回路Ａ４１には、マイクＡ４２およびスピーカＡ４３が接続される。具体的には、Ｉ／Ｆ回路Ａ４１には、図示しないアンプを介してスピーカＡ４３が接続される。マイクＡ４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路Ａ４１に出力する。アンプは、Ｉ／Ｆ回路Ａ４１からの音声信号を増幅し、音声をスピーカＡ４３から出力させる。また、タッチパネルＡ１３はＩ／Ｆ回路Ａ４１に接続される。Ｉ／Ｆ回路Ａ４１は、マイクＡ４２およびスピーカＡ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネルＡ１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部Ａ３１に出力する。タッチ位置データは、タッチパネルＡ１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネルＡ１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部Ａ３１は、タッチ位置データを取得することにより、タッチパネルＡ１３に対して入力が行われた位置を知ることができる。
操作ボタンＡ１４は、上記各操作ボタンＡ１４Ａ〜Ａ１４Ｌからなり、情報処理部Ａ３１に接続される。操作ボタンＡ１４から情報処理部Ａ３１へは、各操作ボタンＡ１４Ａ〜Ａ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部Ａ３１は、操作ボタンＡ１４から操作データを取得することによって、操作ボタンＡ１４に対する入力に従った処理を実行する。
下側ＬＣＤＡ１２および上側ＬＣＤＡ２２は情報処理部Ａ３１に接続される。下側ＬＣＤＡ１２および上側ＬＣＤＡ２２は、情報処理部Ａ３１（のＧＰＵＡ３１２）の指示に従って画像を表示する。本実施形態では、情報処理部Ａ３１は、上側ＬＣＤＡ２２に立体画像（立体視可能な画像）を表示させる。
具体的には、情報処理部Ａ３１は、上側ＬＣＤＡ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤＡ２２の視差バリアがＯＮになっている場合、情報処理部Ａ３１のＶＲＡＭＡ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤＡ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＡ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＡ２２の画面に表示される。そして、上側ＬＣＤＡ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤＡ２２の画面には立体視可能な画像が表示される。
外側撮像部Ａ２３および内側撮像部Ａ２４は、情報処理部Ａ３１に接続される。外側撮像部Ａ２３および内側撮像部Ａ２４は、情報処理部Ａ３１の指示に従って画像を撮像し、撮像した画像データを情報処理部Ａ３１に出力する。
３Ｄ調整スイッチＡ２５は、情報処理部Ａ３１に接続される。３Ｄ調整スイッチＡ２５は、スライダＡ２５ａの位置に応じた電気信号を情報処理部Ａ３１に送信する。
また、３ＤインジケータＡ２６は、情報処理部Ａ３１に接続される。情報処理部Ａ３１は、３ＤインジケータＡ２６の点灯を制御する。例えば、情報処理部Ａ３１は、上側ＬＣＤＡ２２が立体表示モードである場合、３ＤインジケータＡ２６を点灯させる。以上がゲーム装置Ａ１０の内部構成の説明である。
（ゲーム装置Ａ１０の動作の概要）
以下、本実施形態におけるゲーム装置Ａ１０の動作の概要について説明する。本実施形態では、画像表示プログラムに基づいて、外側撮像部Ａ２３（外側撮像部（左）Ａ２３ａ、外側撮像部（右）Ａ２３ｂ）によって現在撮像されている実世界の画像と、３次元の仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側ＬＣＤＡ２２の画面に立体視可能に表示される。
以下、本実施形態におけるゲーム装置Ａ１０の動作の概要について説明する。本実施形態では、画像表示プログラムに基づいて、外側撮像部Ａ２３（外側撮像部（左）Ａ２３ａ、外側撮像部（右）Ａ２３ｂ）によって現在撮像されている実世界の画像と、３次元の仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側ＬＣＤＡ２２の画面に立体視可能に表示される。
（実世界画像の立体視表示）
外側撮像部Ａ２３で撮影された２つの撮影画像は所定の視差を有するように上側ＬＣＤに供給されて立体視表示される。
外側撮像部Ａ２３で撮影された２つの撮影画像は所定の視差を有するように上側ＬＣＤに供給されて立体視表示される。
図７は、外側撮像部Ａ２３によって３つのボールＡ６０ａ〜Ａ６０ｃ（実オブジェクト）が撮像されているときに上側ＬＣＤＡ２２の画面に表示される立体画像の一例を示している。外側撮像部Ａ２３によって３つのボールＡ６０ａ〜Ａ６０ｃが撮像されると、上側ＬＣＤＡ２２には、これらのボールＡ６０ａ〜Ａ６０ｃが立体視可能に表示される。図７に示されるように、上側ＬＣＤＡ２２の画面上では、外側撮像部Ａ２３に最も近いボールＡ６０ａが最も手前に位置するようにユーザに視認され、外側撮像部Ａ２３から最も遠いボールＡ６０ｃが最も遠くに位置するようにユーザに視認される。なお、図７では、理解を容易にするために、上側ＬＣＤＡ２２の画面からボールをはみ出して図示しているが、実際にはボールは画面内に表示される。後述の図８や図１０についても同様である。なお、図７では、後述するマーカーＡ６１（図８参照）が外側撮像部Ａ２３によって撮像されていないため、上側ＬＣＤＡ２２の画面には仮想オブジェクトは表示されていない。また、図７、図８、図１０等においては、表示対象が飛び出ているように視認される様子を図示しているが、立体視可能に表示する、と言った場合、必ずしも飛び出し方向に視認される場合のみでなく、画面より奥側に、奥行きを持って表示される場合も含む。
（実世界画像およびＣＧ画像の立体視表示）
図８は、外側撮像部Ａ２３によってマーカーＡ６１（実オブジェクト）が撮像されているときに上側ＬＣＤＡ２２の画面に表示される立体画像の一例を示している。図８に示すように、マーカーＡ６１には、矢印を含む正方形が描かれており、ＣＰＵＡ３１１は、外側撮像部Ａ２３から取得される画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該画像にマーカーが含まれているか否かを判定することができる。外側撮像部Ａ２３によってマーカーＡ６１が撮像されているときには、上側ＬＣＤＡ２２には、実世界画像としてマーカーＡ６１が立体視可能に表示されるとともに、マーカーＡ６１の位置に仮想オブジェクトＡ６２（例えば犬を模した仮想オブジェクト）が立体視可能に合成表示される。なお、図９に示すように、マーカーＡ６１には向き（前方向、右方向、上方向）が定義されており、マーカーＡ６１の姿勢に応じた姿勢で仮想オブジェクトを配置することができる。例えば、仮想オブジェクトＡ６２の前方向がマーカーＡ６１の前方向と一致するように、マーカーＡ６１の上に仮想オブジェクトＡ６２を配置することが可能である。
図８は、外側撮像部Ａ２３によってマーカーＡ６１（実オブジェクト）が撮像されているときに上側ＬＣＤＡ２２の画面に表示される立体画像の一例を示している。図８に示すように、マーカーＡ６１には、矢印を含む正方形が描かれており、ＣＰＵＡ３１１は、外側撮像部Ａ２３から取得される画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該画像にマーカーが含まれているか否かを判定することができる。外側撮像部Ａ２３によってマーカーＡ６１が撮像されているときには、上側ＬＣＤＡ２２には、実世界画像としてマーカーＡ６１が立体視可能に表示されるとともに、マーカーＡ６１の位置に仮想オブジェクトＡ６２（例えば犬を模した仮想オブジェクト）が立体視可能に合成表示される。なお、図９に示すように、マーカーＡ６１には向き（前方向、右方向、上方向）が定義されており、マーカーＡ６１の姿勢に応じた姿勢で仮想オブジェクトを配置することができる。例えば、仮想オブジェクトＡ６２の前方向がマーカーＡ６１の前方向と一致するように、マーカーＡ６１の上に仮想オブジェクトＡ６２を配置することが可能である。
図１０は、外側撮像部Ａ２３によってマーカーＡ６１が撮像されているときに上側ＬＣＤＡ２２の画面に表示される立体画像の他の一例を示している。このように、ユーザーがゲーム装置Ａ１０を移動させることによって、上側ＬＣＤＡ２２の画面に表示されるマーカーＡ６１の位置および向きが変化すると、それに追従するように、仮想オブジェクトＡ６２の位置および向きが変化する。よって、ユーザーには仮想オブジェクトＡ６２があたかも実世界に本当に存在しているかのように見える。
以下、図１１〜図４０を参照して、ゲーム装置Ａ１０において画像表示プログラムに基づいて実行される画像表示処理の詳細について説明する。
（メモリマップ）
まず、画像表示処理の際にメインメモリＡ３２に記憶される主なデータについて説明する。図１１は、ゲーム装置Ａ１０のメインメモリＡ３２のメモリマップを示す図である。図１１に示されるように、メインメモリＡ３２には、画像表示プログラムＡ７０、最新左実世界画像Ａ７１Ｌ、最新右実世界画像Ａ７１Ｒ、表示用左実世界画像Ａ７２Ｌ、表示用右実世界画像Ａ７２Ｒ、立体視ゼロ距離Ａ７３、仮想オブジェクト情報Ａ７４、左変換行列Ａ７５Ｌ、右変換行列Ａ７５Ｒ、左ビュー行列Ａ７６Ｌ、右ビュー行列Ａ７６Ｒ、左射影行列Ａ７７Ｌ、右射影行列Ａ７７Ｒ、表示モードＡ７８、マーカー認識モードＡ７９、メイン実世界画像識別情報Ａ８０、各種変数Ａ８１等が記憶される。
まず、画像表示処理の際にメインメモリＡ３２に記憶される主なデータについて説明する。図１１は、ゲーム装置Ａ１０のメインメモリＡ３２のメモリマップを示す図である。図１１に示されるように、メインメモリＡ３２には、画像表示プログラムＡ７０、最新左実世界画像Ａ７１Ｌ、最新右実世界画像Ａ７１Ｒ、表示用左実世界画像Ａ７２Ｌ、表示用右実世界画像Ａ７２Ｒ、立体視ゼロ距離Ａ７３、仮想オブジェクト情報Ａ７４、左変換行列Ａ７５Ｌ、右変換行列Ａ７５Ｒ、左ビュー行列Ａ７６Ｌ、右ビュー行列Ａ７６Ｒ、左射影行列Ａ７７Ｌ、右射影行列Ａ７７Ｒ、表示モードＡ７８、マーカー認識モードＡ７９、メイン実世界画像識別情報Ａ８０、各種変数Ａ８１等が記憶される。
画像表示プログラムＡ７０は、ＣＰＵＡ３１１に上記画像表示処理を実行させるためのプログラムである。
最新左実世界画像Ａ７１Ｌは、外側撮像部（左）Ａ２３ａによって撮像された最新の画像である。
最新右実世界画像Ａ７１Ｒは、外側撮像部（右）Ａ２３ｂによって撮像された最新の画像である。
表示用左実世界画像Ａ７２Ｌは、外側撮像部（左）Ａ２３ａによって撮像された画像のうち、上側ＬＣＤＡ２２に表示されることが決定された最新の画像である。
表示用右実世界画像Ａ７２Ｒは、外側撮像部（右）Ａ２３ｂによって撮像された画像のうち、上側ＬＣＤＡ２２に表示されることが決定された最新の画像である。
立体視ゼロ距離Ａ７３は、外側撮像部Ａ２３から撮影方向にどれだけの距離だけ離れた物体が、上側ＬＣＤＡ２２の画面に立体表示されたときに上側ＬＣＤＡ２２の画面と同じ奥行き位置にあるように視認されるかを示す変数であり、例えば、センチメートルの単位で表される。本実施形態では、立体視ゼロ距離Ａ７３は２５ｃｍで固定とするが、これは単なる一例に過ぎず、ユーザーの指示に応じて、またはコンピュータによって自動的に、立体視ゼロ距離Ａ７３を随時変更するようにしても構わない。立体視ゼロ距離Ａ７３は、マーカーＡ６１からの距離や、外側撮像部Ａ２３とマーカーＡ６１の間の距離における比で指定しても構わない。また、必ずしも現実空間の距離として指定せず、仮想空間における距離で指定してもよい。マーカーＡ６１のサイズが既知のときなどには、実世界における長さの単位と仮想空間における長さの単位とを一致させることができる。このように両者の単位を一致させることができる場合には、立体視ゼロ距離Ａ７３を実世界における長さの単位で設定できる。しかしながら、両者の単位を一致させることができない場合には、立体視ゼロ距離Ａ７３を仮想空間における長さの単位で設定してもよい。なお、後述の通り、本実施形態においては、マーカーＡ６１のサイズを用いずに、実世界における長さの単位と仮想空間における長さの単位とを一致させることができる。
仮想オブジェクト情報Ａ７４は、前述の仮想オブジェクトＡ６２に関連する情報であって、仮想オブジェクトＡ６２の形状を表す３Ｄモデルデータ（ポリゴンデータ）や、仮想オブジェクトＡ６２の模様を表すテクスチャデータや、仮想空間における仮想オブジェクトＡ６２の位置や姿勢の情報などを含む。
左変換行列Ａ７５Ｌは、左実世界画像におけるマーカーＡ６１の位置および姿勢を認識することにより計算される行列であり、マーカーＡ６１の位置および姿勢を基準として設定される座標系（マーカー座標系）で表された座標を外側撮像部（左）Ａ２３ａの位置および姿勢を基準として表された座標系（外側撮像部（左）座標系）に変換する座標変換行列である。左変換行列Ａ７５Ｌは、マーカーＡ６１の位置および姿勢に対する外側撮像部（左）Ａ２３ａの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカー座標系における外側撮像部（左）Ａ２３ａの位置および姿勢の情報を含む行列である。
右変換行列Ａ７５Ｒは、右実世界画像におけるマーカーＡ６１の位置および姿勢を認識することにより計算される行列であり、マーカー座標系で表された座標を外側撮像部（右）Ａ２３ｂの位置および姿勢を基準として表された座標系（外側撮像部（右）座標系）に変換する座標変換行列である。右変換行列Ａ７５Ｒは、マーカーＡ６１の位置および姿勢に対する外側撮像部（右）Ａ２３ｂの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカー座標系における外側撮像部（右）Ａ２３ｂの位置および姿勢の情報を含む行列である。
なお、本明細書において、マーカー座標系から外側撮像部（左）座標系または外側撮像部（右）座標系への変換行列のことを「マーカー・カメラ変換行列」と呼ぶ。左変換行列Ａ７５Ｌおよび右変換行列Ａ７５Ｒは「マーカー・カメラ変換行列」である。
左ビュー行列Ａ７６Ｌは、左仮想カメラから見た仮想オブジェクトＡ６２を描画する際に用いられる行列であり、仮想世界のワールド座標系で表された座標を左仮想カメラ座標系で表された座標へと変換するための座標変換行列である。左ビュー行列Ａ７６Ｌは、仮想世界のワールド座標系における左仮想カメラの位置および姿勢の情報を含む行列である。
右ビュー行列Ａ７６Ｒは、右仮想カメラから見た仮想オブジェクトＡ６２を描画する際に用いられる行列であり、仮想世界のワールド座標系で表された座標を右仮想カメラ座標系で表された座標へと変換するための座標変換行列である。右ビュー行列Ａ７６Ｒは、仮想世界のワールド座標系における右仮想カメラの位置および姿勢の情報を含む行列である。
左射影行列Ａ７７Ｌは、左仮想カメラから見た仮想世界（仮想世界に存在する仮想オブジェクトＡ６２）を描画する際に用いられる行列であり、左仮想カメラ座標系で表された座標をスクリーン座標系で表された座標へと変換するための座標変換行列である。
右射影行列Ａ７７Ｒは、右仮想カメラから見た仮想世界（仮想世界に存在する仮想オブジェクトＡ６２）を描画する際に用いられる行列であり、右仮想カメラ座標系で表された座標をスクリーン座標系で表された座標へと変換するための座標変換行列である。
表示モードＡ７８は、現在の処理モードを示すデータであって、より具体的には、実世界画像と仮想空間画像とを同期させて合成表示する同期表示モードか、実世界画像と仮想空間画像とを同期させずに合成表示する非同期表示モードかを示すデータである。
マーカー認識モードＡ７９は、現在の処理モードを示すデータであって、より具体的には、左実世界画像と右実世界画像のいずれか一方のみに対してマーカー認識処理を行う片画像認識モードか、左実世界画像と右実世界画像の両方に対してそれぞれマーカー認識処理を行う両画像認識モードかを示すデータである。
メイン実世界画像識別情報Ａ８０は、左実世界画像と右実世界画像のいずれがメイン実世界画像なのかを示すデータである。上記の片画像認識モードでは、メイン実世界画像に対してのみマーカー認識処理が行われ、他方の実世界画像（以下、サブ実世界画像と称す）に対してはマーカー認識処理は行われない。
各種変数Ａ８１は、画像表示プログラムＡ７０の実行の際に用いられる変数であって、図１２に示すような変数を含む。これらの変数の意味については、以下の説明において随時説明する。
ゲーム装置Ａ１０の電源が投入されると、ゲーム装置Ａ１０の情報処理部Ａ３１（ＣＰＵＡ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリＡ３２等の各ユニットが初期化される。次に、データ保存用内部メモリＡ３５に記憶された画像表示プログラムがメインメモリＡ３２に読み込まれ、情報処理部Ａ３１のＣＰＵＡ３１１によって当該画像表示プログラムの実行が開始される。
以下、図１３〜図１９のフローチャートを参照して、画像表示プログラムに基づいて実行される処理の流れを説明する。なお、図１３〜図１９のフローチャートは、単なる一例に過ぎない。したがって、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、図１３〜図１９のフローチャートの全てのステップの処理をＣＰＵＡ３１１が実行するものとして説明するが、図１３〜図１９のフローチャートの一部のステップの処理を、ＣＰＵＡ３１１以外のプロセッサや専用回路が実行するようにしてもよい。
（マーカー処理）
図１３は、画像表示プログラムＡ７０に基づいてＣＰＵＡ３１１によって実行されるマーカー処理の流れを示すフローチャートである。マーカー処理は、後述するメイン処理と並列的に実行される処理であり、本実施形態では、ＣＰＵＡ３１１がアイドル状態のときに実行される。以下、マーカー処理の詳細について説明する。
図１３は、画像表示プログラムＡ７０に基づいてＣＰＵＡ３１１によって実行されるマーカー処理の流れを示すフローチャートである。マーカー処理は、後述するメイン処理と並列的に実行される処理であり、本実施形態では、ＣＰＵＡ３１１がアイドル状態のときに実行される。以下、マーカー処理の詳細について説明する。
図１３のステップＳＡ１０において、ＣＰＵＡ３１１は、外側撮像部Ａ２３から両方の実世界画像（すなわち左実世界画像および右実世界画像）を取得したか否かを判断し、両方の実世界画像が取得されている場合には処理はステップＳＡ１１に進む。外側撮像部Ａ２３から取得された最新の左実世界画像は、最新左実世界画像Ａ７１ＬとしてメインメモリＡ３２に格納され、最新の右実世界画像は、最新右実世界画像Ａ７１ＲとしてメインメモリＡ３２に格納される。
なお、前述のように、上側ハウジングＡ２１において、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂは一定の間隔（例えば３．５ｃｍ、以下、撮像部間距離）だけ離れている。したがって、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂによって同時にマーカーＡ６１を撮像した場合、図２０に示すように、外側撮像部（左）Ａ２３ａによって撮像された左実世界画像におけるマーカーＡ６１の位置及び姿勢と、外側撮像部（右）Ａ２３ｂによって撮像された右実世界画像におけるマーカーＡ６１の位置及び姿勢との間には、視差によるズレが生じる。
ステップＳＡ１１において、ＣＰＵＡ３１１は、メイン実世界画像に対してマーカー認識処理を行う。より具体的には、パターンマッチング手法等によってメイン実世界画像にマーカーＡ６１が含まれているか否かを判断し、メイン実世界画像にマーカーＡ６１が含まれている場合には、メイン実世界画像におけるマーカーＡ６１の位置および姿勢に基づいて、左変換行列Ａ７５Ｌまたは右変換行列Ａ７５Ｒを算出する（メイン実世界画像が左実世界画像である場合には、左変換行列Ａ７５Ｌを算出し、メイン実世界画像が右実世界画像である場合には、右変換行列Ａ７５Ｒを算出する）。
なお、左変換行列Ａ７５Ｌは、左実世界画像におけるマーカーＡ６１の位置および姿勢に基づいて計算される外側撮像部（左）Ａ２３ａの位置および姿勢を反映した行列である。より正確には、図２１に示すように、マーカー座標系（実世界におけるマーカーＡ６１の位置を原点とし、マーカーＡ６１の縦方向、横方向、法線方向の各方向を各軸とする座標系）で表された座標を、左実世界画像におけるマーカーＡ６１の位置および姿勢に基づいて計算された外側撮像部（左）Ａ２３ａの位置および姿勢を基準とした外側撮像部（左）座標系で表される座標へと変換するための座標変換行列である。
また、右変換行列Ａ７５Ｒは、右実世界画像におけるマーカーＡ６１の位置および姿勢に基づいて計算される外側撮像部（右）Ａ２３ｂの位置および姿勢を反映した行列である。より正確には、図２２に示すように、マーカー座標系で表された座標を、右実世界画像におけるマーカーＡ６１の位置および姿勢に基づいて計算された外側撮像部（右）Ａ２３ｂの位置および姿勢を基準とした外側撮像部（右）座標系で表される座標へと変換するための座標変換行列である。
なお、マーカー認識精度に誤差が全く無く、かつゲーム装置Ａ１０に対する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度に誤差が全く無いと仮定すると、右実世界画像のマーカー認識結果である右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ２３ｂの位置は、左実世界画像のマーカー認識結果である左変換行列Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの位置を、外側撮像部（左）座標系のｘ軸方向（ゲーム装置Ａ１０の横方向であり使用時の水平方向）に沿って一定距離（撮像部間距離）だけずらした位置となり、右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ２３ｂの姿勢と左変換行列Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの姿勢はゲーム装置Ａ１０における外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの取り付け状態と同じとなる。本実施例においては、ゲーム装置Ａ１０において外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂは平行に取り付けられるように設計さているので、外側撮像部（左）座標系のｘ軸，ｙ軸，ｚ軸が、外側撮像部（右）座標系のｘ軸，ｙ軸，ｚ軸とそれぞれ平行となる。しかしながら実際には、マーカー認識精度にも、ゲーム装置Ａ１０に対する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度にも誤差があるため、左変換行列Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの位置及び姿勢と、右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ２３ｂの位置及び姿勢は、理想的な関係にはならない。例えば、左変換行列Ａ７５Ｌと右変換行列Ａ７５Ｒは、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂが近すぎたり、離れすぎたり、外側撮像部（左）Ａ２３ａの姿勢と外側撮像部（右）Ａ２３ｂの姿勢が異なったりするような行列になる。また、外側撮像部（左）Ａ２３ａの姿勢と外側撮像部（右）Ａ２３ｂの姿勢が平行でないような行列になる。
ここで、ＡＲでは、マーカー座標系を外側撮像部（左）座標系または外側撮像部（右）座標系に変換する行列を仮想カメラのビュー行列に指定することにより、実世界画像にＣＧ画像を合成することができるが、単に、左変換行列Ａ７５Ｌを左ビュー行列Ａ７６Ｌに指定し、右変換行列Ａ７５Ｒを右ビュー行列Ａ７６Ｒに指定して仮想空間画像を上側ＬＣＤＡ２２に立体表示する場合には、仮想オブジェクトＡ６２が正常に立体視できないことがあり得る。そこで本実施形態では、後述する説明から明らかになるように、左実世界画像および右実世界画像のいずれか一方のマーカー認識結果（マーカー・カメラ変換行列）から計算される一方の仮想カメラの位置及び姿勢（ビュー行列）に基づいて、左仮想カメラＡ６３Ｌの位置及び姿勢と右仮想カメラＡ６３Ｒの位置及び姿勢が理想的な関係となるように、他方の仮想カメラの位置及び姿勢（ビュー行列）が決定される。
なお、ステップＳＡ１１において、メイン実世界画像からマーカーＡ６１が認識されなかった場合には、左変換行列Ａ７５Ｌまたは右変換行列Ａ７５Ｒにヌル値が格納され、これによって、左実世界画像または右実世界画像におけるマーカーＡ６１の認識に失敗したことが記録される。
ステップＳＡ１２において、ＣＰＵＡ３１１は、マーカー認識モードが片画像認識モードであるかどうかを判断する。そして、片画像認識モードである場合には、処理はステップＳＡ１３に進み、そうでない場合（すなわち両画像認識モードである場合）には、処理はステップＳＡ１４に進む。
ステップＳＡ１３において、ＣＰＵＡ３１１は、左実世界画像及び右実世界画像のうち、メイン実世界画像ではない方の実世界画像（以下、サブ実世界画像と称す）のマーカー認識結果を“失敗”とみなす。より具体的には、メイン実世界画像が左実世界画像である場合には、右変換行列Ａ７５Ｒにヌル値を格納し、メイン実世界画像が右実世界画像である場合には、左変換行列Ａ７５Ｌにヌル値を格納する。
ステップＳＡ１４において、ＣＰＵＡ３１１は、サブ実世界画像に対してマーカー認識処理を行う。より具体的には、パターンマッチング手法等によってサブ実世界画像にマーカーＡ６１が含まれているか否かを判断し、サブ実世界画像にマーカーＡ６１が含まれている場合には、サブ実世界画像におけるマーカーＡ６１の位置および姿勢に基づいて、左変換行列Ａ７５Ｌまたは右変換行列Ａ７５Ｒを算出する（サブ実世界画像が左実世界画像である場合には、左変換行列Ａ７５Ｌを算出し、サブ実世界画像が右実世界画像である場合には、右変換行列Ａ７５Ｒを算出する）。
ステップＳＡ１５において、ＣＰＵＡ３１１は、表示モードが同期表示モードであるかどうかを判断する。そして、同期表示モードである場合には、処理はステップＳＡ１７に進み、そうでない場合（すなわち非同期表示モードである場合）には、処理はステップＳＡ１６に進む。
ステップＳＡ１６において、ＣＰＵＡ３１１は、最新左実世界画像Ａ７１Ｌ及び最新右実世界画像Ａ７１Ｒを、表示用左実世界画像Ａ７２Ｌ及び表示用右実世界画像Ａ７２ＲとしてそれぞれメインメモリＡ３２に記憶する。そして、処理はステップＳＡ１０に戻る。
ステップＳＡ１７において、ＣＰＵＡ３１１は、マーカー認識モードが片画像認識モードかどうかを判断する。そして、片画像認識モードである場合には、処理はステップＳＡ１８に進み、そうでない場合（すなわち両画像認識モードである場合）には、処理はステップＳＡ１９に進む。
ステップＳＡ１８において、ＣＰＵＡ３１１は、メイン実世界画像のマーカー認識に成功したかどうかを判断する。より具体的には、ＣＰＵＡ３１１は、メイン実世界画像が左実世界画像である場合には、左変換行列Ａ７５Ｌにヌル値ではない有効な行列が格納されているかどうかを判断し、メイン実世界画像が右実世界画像である場合には、右変換行列Ａ７５Ｒにヌル値ではない有効な行列が格納されているかどうかを判断する。そして、メイン実世界画像のマーカー認識に成功したと判断された場合には、処理はステップＳＡ１６に進み、そうでない場合には、処理はステップＳＡ１０に戻る。
ステップＳＡ１９において、ＣＰＵＡ３１１は、左実世界画像及び右実世界画像の少なくとも一方のマーカー認識に成功したかどうかを判断する。より具体的には、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌ及び右変換行列Ａ７５Ｒの両方に、ヌル値ではない有効な行列が格納されているかどうかを判断する。そして、左実世界画像及び右実世界画像の少なくとも一方のマーカー認識に成功したと判断された場合には、処理はステップＳＡ１６に進み、そうでない場合には、処理はステップＳＡ１０に戻る。
（メイン処理）
図１４は、画像表示プログラムＡ７０に基づいてＣＰＵＡ３１１によって実行されるメイン処理の流れを示すフローチャートである。メイン処理は、上述したマーカー処理と並列的に実行される処理である。以下、メイン処理の詳細について説明する。
図１４は、画像表示プログラムＡ７０に基づいてＣＰＵＡ３１１によって実行されるメイン処理の流れを示すフローチャートである。メイン処理は、上述したマーカー処理と並列的に実行される処理である。以下、メイン処理の詳細について説明する。
図１４のステップＳＡ２０において、ＣＰＵＡ３１１は、３次元の仮想空間の所定位置に仮想オブジェクトＡ６２を配置する。本実施形態では、仮想空間の原点（ワールド座標系の原点）に仮想オブジェクトＡ６２を配置する。
ステップＳＡ２１において、ＣＰＵＡ３１１は、更新処理を実行する。この更新処理では、仮想オブジェクトＡ６２を描画するために用いられる種々の変数を更新するための処理である。更新処理の詳細については後述する。
ステップＳＡ２２において、ＣＰＵＡ３１１は、仮想オブジェクト処理を実行する。仮想オブジェクト処理とは、仮想空間に配置された仮想オブジェクトＡ６２に関する処理であり、例えば、必要に応じて、仮想オブジェクトＡ６２の大きさを変化させたり、仮想オブジェクトＡ６２に所定の動作（仮想空間内で移動する。例えば、仮想空間の原点の周りを歩くような移動をさせると、マーカー座標系の原点の周りを歩くような表示がされる）を行わせたりする。なお、仮想オブジェクトＡ６２の移動制御は、仮想空間のワールド座標系における仮想オブジェクトの位置座標を変更することにより実現される。
ステップＳＡ２３において、ＣＰＵＡ３１１は、立体視ゼロ距離Ａ７３に応じて左実世界画像のうちの表示に使う範囲である描画範囲を決定する。より具体的には、図２３に示すように、外側撮像部Ａ２３から立体視ゼロ距離Ａ７３の値（例えば３０ｃｍ）だけ撮影方向に離れており、かつ外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂから等距離にある点を立体視ゼロ点とし、外側撮像部（左）Ａ２３ａから見て当該立体視ゼロ点が中心にくるような範囲を、左実世界画像の描画範囲として決定する。当該範囲の横方向の長さは、例えば、図２３に示すように、外側撮像部（左）Ａ２３ａの撮影方向に垂直な直線を、外側撮像部（左）Ａ２３ａの画角を表す直線によって切り取った線分上での比として求めることができ、当該比を実世界画像の横方向の長さに対応させることによって、実世界画像上での範囲として決定される。なお、当該範囲の縦方向の長さについては、表示画面の縦横比に合うように、横方向の長さから決定される。
なお、後述するステップＳＡ２７において右実世界画像の描画範囲を決定するときには、図２４に示すように、外側撮像部（右）Ａ２３ｂから見て当該立体視ゼロ点が中心にくるような範囲を、右実世界画像の描画範囲として決定する。これにより、上側ＬＣＤＡ２２に表示される左目用画像における立体視ゼロ点の位置と右目用画像における立体視ゼロ点の位置が、上側ＬＣＤＡ２２の画面上で一致することになり、ユーザーから見て画面と同じ奥行き位置に存在するように見える。
ステップＳＡ２４において、ＣＰＵＡ３１１は、表示用左実世界画像Ａ７２Ｌにおける、ステップＳＡ２３で決定した描画範囲を、上側ＬＣＤＡ２２へ供給すべき左目用画像を一時的に記憶するためのＶＲＡＭＡ３１３内の所定の記憶領域（以下、左フレームバッファと称す）に描画する。
ステップＳＡ２５において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅ（図１２参照）の値がｔｒｕｅかどうかを判断する。ＡＲＡｃｔｉｖｅとは、実世界画像に仮想オブジェクトを合成表示することができる状況かどうかを示す変数（フラグ）であって、実世界画像に仮想オブジェクトを合成表示することができる状況では、その値がｔｒｕｅに設定され、実世界画像に仮想オブジェクトを合成表示することができない状況（例えば、マーカーＡ６１が全く認識できていない状況など）では、その値がｆａｌｓｅ（初期値）に設定される。ＡＲＡｃｔｉｖｅの値がｔｒｕｅである場合には、処理はステップＳＡ２６に進み、そうでない場合（すなわちＡＲＡｃｔｉｖｅの値がｆａｌｓｅである場合）には、処理はステップＳＡ２７に進む。
ステップＳＡ２６において、ＣＰＵＡ３１１は、例えば図２３に示すように、左仮想カメラＡ６３Ｌから見た仮想空間（以下、左目用の仮想空間画像と称す）を左フレームバッファに上書きする（実際には、典型的には、ＣＰＵＡ３１１からの指示にしたがってＧＰＵＡ３１２によって描画される）。これにより、図２６に示すように、ステップＳＡ２４で左フレームバッファに描画された左実世界画像に左目用の仮想空間画像が合成される。左フレームバッファに描画された画像は、所定のタイミングで左目用画像として上側ＬＣＤＡ２２へ供給されることになる。なお、当該左目用の仮想空間画像においては、仮想空間の背景は透明であり、そのため、実世界画像に仮想空間画像を合成することで、実世界画像上に仮想オブジェクトＡ６２が存在するような画像が生成される。
ステップＳＡ２７において、ＣＰＵＡ３１１は、立体視ゼロ距離Ａ７３に応じて右実世界画像の描画範囲を決定する。なお、描画範囲を決定するための処理の詳細は左実世界画像の描画範囲の決定の処理と同じであるため省略する。
ステップＳＡ２８において、ＣＰＵＡ３１１は、表示用右実世界画像Ａ７２Ｒにおける、ステップＳＡ２７で決定した描画範囲を、上側ＬＣＤＡ２２へ供給すべき右目用画像を一時的に記憶するためのＶＲＡＭＡ３１３内の所定の記憶領域（以下、右フレームバッファと称す）に描画する。
ステップＳＡ２９において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値がｔｒｕｅかどうかを判断する。ＡＲＡｃｔｉｖｅの値がｔｒｕｅである場合には、処理はステップＳＡ３０に進み、そうでない場合（すなわちＡＲＡｃｔｉｖｅの値がｆａｌｓｅである場合）には、処理はステップＳＡ３１に進む。
ステップＳＡ３０において、ＣＰＵＡ３１１は、右仮想カメラＡ６３Ｒから見た仮想空間（以下、右目用の仮想空間画像と称す）を右フレームバッファに上書きする（実際には、典型的には、ＣＰＵＡ３１１からの指示にしたがってＧＰＵＡ３１２によって描画される）。これにより、ステップＳＡ２８で右フレームバッファに描画された右実世界画像に右目用の仮想空間画像が合成される。右フレームバッファに描画された画像は、所定のタイミングで右目用画像として上側ＬＣＤＡ２２へ供給されることになる。
ステップＳＡ３１において、ＣＰＵＡ３１１は、上側ＬＣＤＡ２２からの割り込み信号（垂直同期割り込み）を待機し、当該割り込み信号が発生した場合には、処理はステップＳＡ２１に戻る。これにより、ステップＳＡ２１〜ＳＡ３１の処理が一定の周期（例えば、６０分の１秒の周期）で繰り返される。
（更新処理）
次に、メイン処理におけるステップＳＡ２１の更新処理の詳細について、図１５のフローチャートを参照して説明する。
次に、メイン処理におけるステップＳＡ２１の更新処理の詳細について、図１５のフローチャートを参照して説明する。
図１５のステップＳＡ４０において、ＣＰＵＡ３１１は、前述のマーカー処理におけるマーカー認識結果（すなわち、左変換行列Ａ７５Ｌ及び右変換行列Ａ７５Ｒ）が更新されたかどうかを判断し、更新されている場合には処理はステップＳＡ４１に進み、まだ更新されていない場合には処理はステップＳＡ４４に進む。
ステップＳＡ４１において、ＣＰＵＡ３１１は、左実世界画像及び右実世界画像の両方の実世界画像のマーカー認識に成功しているかどうかを判断する。そして、両方の実世界画像のマーカー認識に成功している場合には、処理はステップＳＡ４２に進み、いずれか一方もしくは両方の実世界画像のマーカー認識に失敗している場合には、処理はステップＳＡ４４に進む。
ステップＳＡ４２において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈ（図１２参照）の値が０であるか、または、ＥｙｅＭｅａｓｕｒｅ（図１２参照）の値がｔｒｕｅであるかどうかを判断する。ＥｙｅＷｉｄｔｈとは、左変換行列Ａ７５Ｌと右変換行列Ａ７５Ｒとを用いて算出される、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂとの位置関係における、両撮像部間の距離を示す。なお、ここで両撮像部間の距離とは、実世界のスケールとして求める必要はなく、仮想空間での距離として求めてもよい。具体的には、左変換行列Ａ７５Ｌが示す、マーカーＡ６１の位置と外側撮像部（左）Ａ２３ａの位置との関係と、右変換行列Ａ７５Ｒが示すマーカーＡ６１の位置と外側撮像部（右）Ａ２３ｂの位置との関係とから、マーカーＡ６１の位置を基準として、外側撮像部（左）Ａ２３ａの位置と外側撮像部（右）Ａ２３ｂの位置との関係を求めた場合の距離を求めている。なお、当該距離が未確定の場合には、その値が０（初期値）に設定される。なお、本実施形態では、ＥｙｅＷｉｄｔｈはスカラー値であるが、ＥｙｅＷｉｄｔｈを、左変換行列Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ２３ｂの位置との間を結ぶベクトルにしてもよい。また、ＥｙｅＷｉｄｔｈを、左変換行列Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ２３ｂの位置との間を結ぶベクトルの、撮影方向に直交する成分の長さにしてもよい。なお、後述の通り、ＥｙｅＷｉｄｔｈは、仮想空間における左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒの距離（間隔）の設定に用いる。ＥｙｅＭｅａｓｕｒｅとは、ＥｙｅＷｉｄｔｈを再計算すべきか否かを示す変数（フラグ）であって、ＥｙｅＷｉｄｔｈを再計算すべき状況では、その値がｔｒｕｅに設定され、そうでない状況では、その値がｆａｌｓｅ（初期値）に設定される。ＥｙｅＷｉｄｔｈの値が０であるか、または、ＥｙｅＭｅａｓｕｒｅの値がｔｒｕｅである場合には、処理はステップＳＡ４３に進み、そうでない場合（すなわちＥｙｅＷｉｄｔｈの値が０以外の値であり、なおかつ、ＥｙｅＭｅａｓｕｒｅの値がｆａｌｓｅである場合）には、処理はステップＳＡ４４に進む。
ステップＳＡ４３において、ＣＰＵＡ３１１は、仮想カメラ間隔決定処理を実行する。仮想カメラ間隔決定処理では、左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒの間隔（すなわちＥｙｅＷｉｄｔｈ）が適宜に決定および更新される。仮想カメラ間隔決定処理の詳細については後述する。
ステップＳＡ４４において、ＣＰＵＡ３１１は、ビュー行列生成処理を実行する。ビュー行列生成処理では、すでに決定されている左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒの間隔（すなわちＥｙｅＷｉｄｔｈ）に基づいて、左ビュー行列Ａ７６Ｌと右ビュー行列Ａ７６Ｒが計算される。ビュー行列生成処理の詳細については後述する。
ステップＳＡ４５において、ＣＰＵＡ３１１は、メイン実世界画像設定処理を実行する。メイン実世界画像設定処理では、左実世界画像と右実世界画像の間で、メイン実世界画像が適宜に切り替えられる（これは、外側撮像部（左）Ａ２３ａと外側撮像部（右）との間で、メイン撮像部を切り替えることと等価である）。メイン実世界画像設定処理の詳細については後述する。
ステップＳＡ４６において、ＣＰＵＡ３１１は、表示モード切替処理を実行し、そして更新処理を終了する。表示モード切替処理では、同期表示モードと非同期表示モードの間で、表示モードが適宜に切り替えられる。表示モード切替処理の詳細については後述する。
（仮想カメラ間隔決定処理）
次に、更新処理（図１５）におけるステップＳＡ４３の仮想カメラ間隔決定処理の詳細について、図１６のフローチャートを参照して説明する。ここでは、前述の通り、左変換行列Ａ７５Ｌが示すマーカーＡ６１の位置に対する外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒが示すマーカーＡ６１の位置に対する外側撮像部（右）Ａ２３ｂの位置との距離を求める。この距離を計算する方法はいくつかあるが、本実施例では、計算方法の一例として、以下の方法を採用する。
次に、更新処理（図１５）におけるステップＳＡ４３の仮想カメラ間隔決定処理の詳細について、図１６のフローチャートを参照して説明する。ここでは、前述の通り、左変換行列Ａ７５Ｌが示すマーカーＡ６１の位置に対する外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒが示すマーカーＡ６１の位置に対する外側撮像部（右）Ａ２３ｂの位置との距離を求める。この距離を計算する方法はいくつかあるが、本実施例では、計算方法の一例として、以下の方法を採用する。
図１６のステップＳＡ５０において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌおよび右変換行列Ａ７５Ｒに基づいて、座標Ｖ０を計算する。以下、図２７〜図２９を参照して、Ｖ０の計算方法を説明する。なお、図２７〜図２９においては、左実世界画像に基づいて計算される、マーカーＡ６１に対する外側撮像部（左）Ａ２３ａの相対位置及び相対姿勢と、右実世界画像に基づいて計算される、マーカーＡ６１に対する外側撮像部（右）Ａ２３ｂの相対位置及び相対姿勢とが、前述したように必ずしも理想的な関係とはならないことを強調するために、外側撮像部（左）Ａ２３ａの撮影方向と外側撮像部（右）Ａ２３ｂの撮影方向が互いに大きくずれているように図示している。
まず、図２７に示すように、（０，０，０）に対して、左変換行列Ａ７５Ｌを乗算すると、外側撮像部（左）座標系で表されたマーカー座標系の原点の座標Ｖ１が求まる。座標Ｖ１は、左実世界画像に基づいて計算された、外側撮像部（左）Ａ２３ａに対するマーカーＡ６１の相対位置を表している。この座標Ｖ１が外側撮像部（右）座標系で表された座標であると見なすと、座標Ｖ１が示す位置は、外側撮像部（右）座標系では図２８に示す位置へと移動する。この座標Ｖ１に対して、さらに右変換行列Ａ７５Ｒの逆行列を乗算する。右変換行列Ａ７５Ｒの逆行列を乗算することは、外側撮像部（右）座標系で表された座標をマーカー座標系で表された座標に変換することに相当する。したがって、上記逆行列の乗算は、外側撮像部（右）座標系で表された座標Ｖ１（図２８）を、図２９に示すように、マーカー座標系で表された座標Ｖ０へと変換することになる。このようにして計算された座標Ｖ０は、左実世界画像に基づいて計算された、外側撮像部（左）Ａ２３ａに対するマーカーＡ６１の相対位置（すなわち、外側撮像部(左）座標系で表されるマーカー座標系の原点の座標）と、右実世界画像に基づいて計算された、外側撮像部（右）Ａ２３ｂに対するマーカーＡ６１の相対位置（すなわち、外側撮像部(右）座標系で表されるマーカー座標系の原点の座標）との差を示している。本実施形態では、このマーカーＡ６１の相対位置の差を、外側撮像部(左）Ａ２３ａと外側撮像部(右）Ａ２３ｂの取り付け位置の差によって生じるものであると考えて、外側撮像部(左）Ａ２３ａと外側撮像部(右）Ａ２３ｂの取り付け位置を推定している。
ステップＳＡ５１において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌに基づいて、外側撮像部（左）座標系で表されたマーカー座標系の原点の座標Ｖ１を計算する。具体的には、（０，０，０）に対して、左変換行列Ａ７５Ｌを乗算することで、外側撮像部（左）座標系で表されたマーカー座標系の原点の座標Ｖ１が求まる。なお、ここでは、外側撮像部（左）座標系で表されたマーカー座標系の原点の座標をＶ１としたが、これに替えて、外側撮像部（右）座標系で表されたマーカー座標系の原点の座標をＶ１としてもよい。
ステップＳＡ５２において、ＣＰＵＡ３１１は、ステップＳＡ５０で求めたＶ０の大きさ（原点からの距離）（図２９参照）を、ｅｗ（図１２参照）に格納し、ステップＳＡ５１で求めたＶ１のｚ軸値の絶対値（図２７参照）を、ｅｄ（図１２参照）に格納する。ただし、ｅｗの値は、マーカー座標系における長さの単位で計算されており、実世界における長さの単位と一致するものではない。そして、前述の通り、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間の実距離は既知（例えば３．５ｃｍ）であるので、この実距離とｅｗの値を用いて、実世界における長さの単位と仮想空間における長さの単位とを一致させることができる。なお、マーカーＡ６１のサイズが既知であれば、マーカー画像の認識結果に基づいて求められるマーカーＡ６１のサイズと、実世界におけるマーカーＡ６１のサイズとの対応関係から、実世界における長さの単位と仮想空間における長さの単位とを一致させることもできる。
なお、ゲーム装置Ａ１０に対する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度の誤差により、外側撮像部（左）Ａ２３ａの撮影方向と外側撮像部（右）Ａ２３ｂの撮影方向が平行になっていない場合には、このようにして計算される外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間の距離（ｅｗ）は、外側撮像部Ａ２３とマーカーＡ６１との間の撮影方向についての距離に応じて変動する。それゆえ、後述するように、外側撮像部Ａ２３とマーカーＡ６１との間の撮影方向についての距離が変化したときには、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間の距離（後述するＥｙｅＷｉｄｔｈ）は、そのときのマーカー・カメラ変換行列を用いて再計算される。
なお、本実施形態では、ｅｗをＶ０の大きさとしたが、Ｖ０の「左変換行列Ａ７５Ｌにより示される外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒにより示される外側撮像部（右）Ａ２３ｂの位置を結ぶ方向」の成分としてもよい。
このようにして計算されたｅｗは「外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂとの間のマーカー座標系における間隔」であるが、これを左仮想カメラＡ６３Ｒと右仮想カメラＡ６３Ｒとの間の間隔として用いる（後述のステップＳＡ６５またはＳ６８）。
なお、ｅｗを求める方法は、上述した方法以外にもある。例えば、（０，０，０）に左変換行列Ａ７５Ｌを乗算することによって、外側撮像部（左）座標系で表されたマーカー座標系の原点の座標Ｖｌ（すなわち、外側撮像部（左）Ａ２３ａに対するマーカーＡ６１の相対位置）を求めるとともに、（０，０，０）に右変換行列Ａ７５Ｒを乗算することによって、外側撮像部（右）で表されたマーカー座標系の原点の座標Ｖｒ（すなわち、外側撮像部（右）Ａ２３ｂに対するマーカーＡ６１の相対位置）を求め、こうして求めた座標Ｖｌと座標Ｖｒの間の距離を計算することによって、ｅｗを求めても構わない。
ステップＳＡ５３において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘ（図１２参照）の値が１（初期値）より大きいかどうかを判断し、１より大きい場合には処理はステップＳＡ５７に進み、そうでない場合（すなわち１である場合）には処理はステップＳＡ５４に進む。ＬｏｇＩｎｄｅｘは、後述する配列（ＬｏｇＷｉｄｔｈ、ＬｏｇＤｅｐｔｈ）の各要素を識別するための変数である。
ステップＳＡ５４において、ＣＰＵＡ３１１は、ステップＳＡ５２で求めたｅｗの値を配列ＬｏｇＷｉｄｔｈ［ＬｏｇＩｎｄｅｘ］に格納する。さらに、ステップＳＡ５２で求めたｅｄの値を配列ＬｏｇＤｅｐｔｈ［ＬｏｇＩｎｄｅｘ］に格納する。さらに、ＬｏｇＩｎｄｅｘの値をインクリメントする。ＬｏｇＷｉｄｔｈは、ｅｗの値を複数保持しておくための配列変数である。ＬｏｇＤｅｐｔｈは、ｅｄの値を複数保持しておくための配列変数である。
ステップＳＡ５５において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘの値がＬｏｇＭａｘの値よりも大きいかどうかを判定し、大きい場合には処理はステップＳＡ５６に進み、そうでない場合（すなわちＬｏｇＩｎｄｅｘの値がＬｏｇＭａｘの値以下の場合）には、仮想カメラ間隔決定処理を終了する。
ステップＳＡ５６において、ＣＰＵＡ３１１は、ＬｏｇＷｉｄｔｈの各要素の平均値を計算し、当該平均値をＥｙｅＷｉｄｔｈに格納する。さらに、ＬｏｇＤｅｐｔｈの各要素の平均値を計算し、当該平均値をＥｙｅＤｅｐｔｈに格納する。さらに、ＥｙｅＭｅａｓｕｒｅの値をｆａｌｓｅに設定する。さらに、マーカー認識モードＡ７９を、片画像認識モードに設定する。ＥｙｅＤｅｐｔｈとは、左変換行列Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａのマーカー座標系における位置を示す座標（または右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ２３ｂのマーカー座標系における位置を示す座標）から、マーカー座標系の原点までの奥行き距離（深さ：撮影方向についての距離）を示す変数であって、後述する図１７のステップＳＡ７２における判断の際の基準値として用いられる。ＥｙｅＤｅｐｔｈの初期値は０である。ステップＳＡ５６の処理が終了すると、仮想カメラ間隔決定処理は終了する。
ステップＳＡ５７において、ＣＰＵＡ３１１は、ステップＳＡ５２で求めたｅｗの値とＬｏｇＷｉｄｔｈ［１］の値の差の絶対値が、ＬｏｇＷｉｄｔｈ［１］の値の１０％よりも小さく、かつ、ステップＳＡ５２で求めたｅｄの値とＬｏｇＤｅｐｔｈ［１］の値の差の絶対値が、ＬｏｇＤｅｐｔｈ［１］の値の１０％よりも小さいかどうかを判断する。そして、ステップＳＡ５７の判断結果が肯定である場合には処理はステップＳＡ５４に進み、ステップＳＡ５７の判断結果が否定である場合には処理はステップＳＡ５８に進む。
ステップＳＡ５８において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘの値を１（初期値）にリセットして、仮想カメラ間隔決定処理を終了する。
以上のように、仮想カメラ間隔決定処理では、左実世界画像に含まれるマーカーＡ６１の位置及び姿勢に基づいて計算される外側撮像部（左）Ａ２３ａの位置と、右実世界画像に含まれるマーカーＡ６１の位置及び姿勢に基づいて計算される外側撮像部（右）Ａ２３ｂの位置とに基づいて、ｅｗとｅｄが計算される。このようにして計算されたｅｗの値とｅｄの値が、ＬｏｇＷｉｄｔｈとＬｏｇＤｅｐｔｈに順次格納される。このとき、新たに計算されたｅｗの値が、ＬｏｇＷｉｄｔｈに最初に格納されたｅｗの値（すなわちＬｏｇＷｉｄｔｈ［１］の値）を基準とした所定範囲（±１０％）から外れた場合や、新たに計算されたｅｄの値が、ＬｏｇＤｅｐｔｈに最初に格納されたｅｄの値（すなわちＬｏｇＤｅｐｔｈ［１］の値）を基準とした所定範囲（±１０％）から外れた場合には、ＬｏｇＷｉｄｔｈとＬｏｇＤｅｐｔｈに再び最初からｅｗの値とｅｄの値を格納し直す。したがって、逐次計算されるｅｗの値とｅｄの値に大きな変動が見られない場合（すなわち、ｅｗの値とｅｄの値が一定期間、ある程度安定している場合）にのみ、それらのｅｗの値の平均値とそれらのｅｄの値の平均値が、ＥｙｅＷｉｄｔｈおよびＥｙｅＤｅｐｔｈに格納される。
ところで、ユーザがゲーム装置Ａ１０を移動させたり回転させたりしているときには、外側撮像部Ａ２３によって撮像される左実世界画像および右実世界画像がぼけやすく、マーカーＡ６１の認識精度が著しく低下し、逐次検出されるｅｗの値やｅｄの値が大きく変動しやすい。そこで、このような状況で検出される信頼性の低いｅｗの値およびｅｄの値に基づいてＥｙｅＷｉｄｔｈの値およびＥｙｅＤｅｐｔｈの値を決定することは避けるべきである。よって、本実施形態では、逐次計算されるｅｗの値とｅｄの値に大きな変動が見られない場合にのみ、それらの値に基づいてＥｙｅＷｉｄｔｈの値およびＥｙｅＤｅｐｔｈの値を決定している。また、複数回計算されたｅｗの値およびｅｄの値の平均値をＥｙｅＷｉｄｔｈの値およびＥｙｅＤｅｐｔｈの値として用いることにより、ＥｙｅＷｉｄｔｈの値およびＥｙｅＤｅｐｔｈの値の精度を高めることができる。
（ビュー行列生成処理）
次に、更新処理（図１５）におけるステップＳＡ４４のビュー行列生成処理の詳細について、図１７のフローチャートを参照して説明する。
次に、更新処理（図１５）におけるステップＳＡ４４のビュー行列生成処理の詳細について、図１７のフローチャートを参照して説明する。
図１７のステップＳＡ６０において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈが０より大きいかどうかを判断し、０より大きい場合には処理はステップＳＡ６３に進み、そうでない場合（すなわち、０である場合）には処理はステップＳＡ６１に進む。
ステップＳＡ６１において、ＣＰＵＡ３１１は、表示モードが同期表示モードであるかどうかを判断する。そして、同期表示モードである場合には、ビュー行列生成処理を終了し、そうでない場合（すなわち非同期表示モードである場合）には、処理はステップＳＡ６２に進む。
ステップＳＡ６２において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値をｆａｌｓｅに設定する。そして、ビュー行列生成処理を終了する。
ステップＳＡ６３において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌを参照して、左実世界画像のマーカー認識に成功しているかどうかを判断し、左実世界画像のマーカー認識に成功している場合には処理はステップＳＡ６４に進み、そうでない場合（すなわち、左変換行列Ａ７５Ｌの値がヌル値である場合）には処理はステップＳＡ６６に進む。
ステップＳＡ６４において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌの値を、左ビュー行列Ａ７６Ｌに格納する。これは、左実世界画像に含まれるマーカーＡ６１の位置及び姿勢に基づいて計算されたマーカー座標系における外側撮像部（左）Ａ２３ａの位置及び姿勢を、左目用の仮想空間画像を生成するための左仮想カメラＡ６３Ｌの位置及び姿勢としてそのまま扱うことを意味する。
ステップＳＡ６５において、ＣＰＵＡ３１１は、左ビュー行列Ａ７６Ｌの値に対して平行移動行列（−ＥｙｅＷｉｄｔｈ，０，０）を乗算した結果の値を、右ビュー行列Ａ７６Ｒに格納する。これは、図３０に示すように、前述のステップＳＡ６４において設定された仮想空間のワールド座標系における左仮想カメラＡ６３Ｌの位置から、左仮想カメラ座標系のｘ軸の正方向にＥｙｅＷｉｄｔｈの値だけずらした位置を、右目用の仮想空間画像を生成するための右仮想カメラＡ６３Ｒの位置として扱うことを意味する。また、右仮想カメラＡ６３Ｒの姿勢は、左仮想カメラＡ６３Ｌの姿勢と同じとなる（すなわち、左仮想カメラ座標系のｘ軸，ｙ軸，ｚ軸が、右仮想カメラ座標系のｘ軸，ｙ軸，ｚ軸とそれぞれ平行となる）。これにより、左仮想カメラＡ６３Ｌの位置及び姿勢と、右仮想カメラＡ６３Ｒの位置及び姿勢との整合性が保たれるので、上側ＬＣＤＡ２２において正常に立体視できるように仮想オブジェクトＡ６２を表示することができる。
ステップＳＡ６６において、ＣＰＵＡ３１１は、右変換行列Ａ７５Ｒを参照して、右実世界画像のマーカー認識に成功しているかどうかを判断し、右実世界画像のマーカー認識に成功している場合には処理はステップＳＡ６７に進み、そうでない場合（すなわち、右変換行列Ａ７５Ｒの値がヌル値である場合）にはビュー行列生成処理を終了する。
ステップＳＡ６７において、ＣＰＵＡ３１１は、右変換行列Ａ７５Ｒの値を、右ビュー行列Ａ７６Ｒに格納する。これは、右実世界画像に含まれるマーカーＡ６１の位置及び姿勢に基づいて計算されたマーカー座標系における外側撮像部（右）Ａ２３ｂの位置及び姿勢を、右目用の仮想空間画像を生成するための右仮想カメラＡ６３Ｒの位置及び姿勢としてそのまま扱うことを意味する。
ステップＳＡ６８において、ＣＰＵＡ３１１は、右ビュー行列Ａ７６Ｒの値に対して平行移動行列（ＥｙｅＷｉｄｔｈ，０，０）を乗算した結果の値を、左ビュー行列Ａ７６Ｌに格納する。これは、図３１に示すように、前述のステップＳＡ６７において設定された仮想空間のワールド座標系における右仮想カメラＡ６３Ｒの位置から、右仮想カメラ座標系のｘ軸の負方向にＥｙｅＷｉｄｔｈの値だけずらした位置を、左目用の仮想空間画像を生成するための左仮想カメラＡ６３Ｌの位置として扱うことを意味する。また、左仮想カメラＡ６３Ｌの姿勢は、右仮想カメラＡ６３Ｒの姿勢と同じとなる（すなわち、左仮想カメラ座標系のｘ軸，ｙ軸，ｚ軸が、右仮想カメラ座標系のｘ軸，ｙ軸，ｚ軸とそれぞれ平行となる）。これにより、左仮想カメラＡ６３Ｌの位置及び姿勢と、右仮想カメラＡ６３Ｒの位置及び姿勢との整合性が保たれるので、上側ＬＣＤＡ２２において正常に立体視できるように仮想オブジェクトＡ６２を表示することができる。
このように、本実施例では、一方の仮想カメラ（例えば、左仮想カメラＡ６３Ｌ）の位置および姿勢については、一方の外側撮像部（例えば、外側撮像部（左）Ａ２３ａ）の撮影画像から算出された「マーカー・カメラ変換行列」を用いて設定するが（より具体的には、そのまま用いる）、他方の仮想カメラ（例えば、右仮想カメラＡ６３Ｒ）の位置および姿勢については、他方の外側撮像部（例えば、外側撮像部（右）Ａ２３ｂ）の撮影画像から算出された「マーカー・カメラ変換行列」を用いずに設定する。
ステレオカメラでＡＲの立体視表示をおこなう場合においては、仮想カメラは右用と左用の２つを設定する必要があり、また、「マーカー・カメラ変換行列」は外側撮像部（左）Ａ２３ａによる変換行列（左変換行列Ａ２５Ｌ）と外側撮像部（右）Ａ２３ｂによる変換行列（右変換行列Ａ２５Ｒ）がある。本実施形態では、各仮想カメラＡ６３Ｌ，Ａ６３Ｒを設定するときに、各変換行列Ａ２５Ｌ，Ａ２５Ｒを用いるのではなくて、１つの変換行列を設定して（変換行列Ａ２５Ｌ，Ａ２５Ｒの一方の変換行列をそのまま用いて、または、両方の変換行列Ａ２５Ｌ，Ａ２５Ｒから別の新たな１つの変換行列を生成して（平均位置、平均姿勢とするなど））、その１つの変換行列を用いて両方の仮想カメラＡ６３Ｌ，Ａ６３Ｒの位置および姿勢を設定する。これにより、ＡＲ認識における精度の問題を解消することができる。
ステップＳＡ６９において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値をｔｒｕｅに設定する。これにより、実世界画像に対する仮想オブジェクトＡ６２の合成表示が開始または再開される。
ステップＳＡ７０において、ＣＰＵＡ３１１は、ＥｙｅＭｅａｓｕｒｅの値がｔｒｕｅかどうかを判断し、ｔｒｕｅである場合にはビュー行列生成処理を終了し、そうでない場合（すなわちｆａｌｓｅである場合）には処理はステップＳＡ７１に進む。
ステップＳＡ７１において、ＣＰＵＡ３１１は、ステップＳＡ６４またはステップＳＡ６８で決定された左ビュー行列Ａ７６Ｌに基づいて、左仮想カメラ座標系で表された仮想空間の原点の座標Ｖを計算する。具体的には、図３２に示すように、（０，０，０）に対して左ビュー行列Ａ７６Ｌを乗算することで、左仮想カメラ座標系で表された仮想空間の原点の座標Ｖが求まる。なお、ここでは、左仮想カメラ座標系で表された仮想空間の原点の座標をＶとしたが、これに替えて、ステップＳＡ６５またはステップＳＡ６７で決定された右ビュー行列Ａ７６Ｒに基づいて計算された、右仮想カメラ座標系で表された仮想空間の原点の座標をＶとしてもよい。このようにして求められたＶは、外側撮像部（左）座標系におけるマーカーＡ６１の位置と実質的に同一である（ただし、このＶの値は、仮想空間またはマーカー座標系における長さの単位で計算されており、実世界における長さの単位と一致するものではない。）。
ステップＳＡ７２において、ＣＰＵＡ３１１は、Ｖのｚ座標値の絶対値（｜Ｖ．ｚ｜）とＥｙｅＤｅｐｔｈの値との差の絶対値が、ＥｙｅＤｅｐｔｈの値の２０％よりも大きいかどうかを判断し、大きい場合には処理はステップＳＡ７３に進み、そうでない場合にはビュー行列生成処理を終了する。｜Ｖ．ｚ｜は、外側撮像部Ａ２３からマーカーＡ６１までの撮影方向についての距離（深さ）と実質的に同一である。すなわち、ステップＳＡ７２では、仮想カメラ間隔決定処理（図１６）においてＥｙｅＷｉｄｔｈの値を計算したときを基準として、外側撮像部Ａ２３からマーカーＡ６１までの奥行き距離（深さ）が、±２０％の範囲を超えて変化したかどうかを判断している。
ステップＳＡ７３において、ＣＰＵＡ３１１は、ＥｙｅＭｅａｓｕｒｅの値をｔｒｕｅに設定し、さらに、ＬｏｇＩｎｄｅｘの値を１にリセットし、さらに、マーカー認識モードＡ７９を両画像認識モードに設定して、ビュー行列生成処理を終了する。この結果、仮想カメラ間隔決定処理によるＥｙｅＷｉｄｔｈの計算処理が再び開始されることになる。
上記のように、仮想カメラ間隔決定処理において、ＥｙｅＷｉｄｔｈの値を前回計算したときを基準として、外側撮像部Ａ２３からマーカーＡ６１までの奥行き距離（深さ）が所定範囲を超えて変化したときに、ＥｙｅＷｉｄｔｈを再計算する理由は、ゲーム装置Ａ１０に対する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度の誤差により、外側撮像部Ａ２３からマーカーＡ６１までの奥行き距離（深さ）に応じて最適な仮想カメラ間隔（ＥｙｅＷｉｄｔｈ）が変化するからである。例えば、外側撮像部（左）Ａ２３ａの撮影方向と外側撮像部（右）Ａ２３ｂの撮影方向が平行になっていない状況において、図３３に示すように外側撮像部Ａ２３からマーカーＡ６１までの奥行距離がＤ１であるときに仮想カメラ間隔決定処理において計算されるＥｙｅＷｉｄｔｈの値をＥｙｅＷｉｄｔｈ１とすると、仮想空間において、左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒは、図３４に示すようにＥｙｅＷｉｄｔｈ１の間隔を開けて配置されるのが適切である（そうすることによって、例えば仮想空間の原点に配置した仮想オブジェクトが、実世界画像のマーカーＡ６１上に実在するかのように、適切に立体表示されるようになる。）。そして、図３５に示すように外側撮像部Ａ２３からマーカーＡ６１までの奥行距離がＤ１よりも小さいＤ２に変化した場合には、仮想カメラ間隔決定処理において計算されるＥｙｅＷｉｄｔｈの値は、ＥｙｅＷｉｄｔｈ１よりも小さいＥｙｅＷｉｄｔｈ２となり、仮想空間において、左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒは、図３６に示すようにＥｙｅＷｉｄｔｈ２の間隔を開けて配置されるのが適切である。
（メイン実世界画像設定処理）
次に、更新処理（図１５）におけるステップＳＡ４５のメイン実世界画像設定処理の詳細について、図１８のフローチャートを参照して説明する。
次に、更新処理（図１５）におけるステップＳＡ４５のメイン実世界画像設定処理の詳細について、図１８のフローチャートを参照して説明する。
図１８のステップＳＡ８０において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値がｔｒｕｅかどうかを判断し、ｔｒｕｅである場合には、処理はステップＳＡ８１に進み、そうでない場合（すなわちＡＲＡｃｔｉｖｅの値がｆａｌｓｅである場合）には、メイン実世界画像設定処理を終了する。
ステップＳＡ８１において、ＣＰＵＡ３１１は、左射影行列Ａ７７Ｌおよび右射影行列Ａ７７Ｒを生成する。左射影行列Ａ７７Ｌは、左仮想カメラＡ６３Ｌから見た仮想空間の描画範囲を規定する行列であって、本実施形態では、図３７に示すように、メイン処理のステップＳＡ２３で決定した左実世界画像の描画範囲に対応するような左射影行列Ａ７７Ｌが生成される。右射影行列Ａ７７Ｒは、右仮想カメラＡ６３Ｒから見た仮想空間の描画範囲を規定する行列であって、本実施形態では、図３８に示すように、メイン処理のステップＳＡ２７で決定した右実世界画像の描画範囲に対応するような右射影行列Ａ７７Ｒが生成される。
具体的には、左仮想カメラＡ６３Ｌの射影行列は、外側撮像部（左）Ａ２３ａの水平方向の画角と、当該左仮想カメラの水平方向の画角との比が、左実世界画像の横方向の長さにおける描画範囲の横方向の位置および大きさを表す比と、同じになるような画角を持つ視体積を定義する射影行列として設定される。
ステップＳＡ８２において、ＣＰＵＡ３１１は、メイン実世界画像が左実世界画像かどうかを判断し、メイン実世界画像が左実世界画像である場合には処理はステップＳＡ８３に進み、そうでない場合（すなわち、メイン実世界画像が右実世界画像である場合）には処理はステップＳＡ８６に進む。
ステップＳＡ８３において、ＣＰＵＡ３１１は、（０，０，０，１）に左ビュー行列Ａ７６Ｌおよび左射影行列Ａ７７Ｌを乗算することによって、ベクトルＶを求める。
ステップＳＡ８４において、ＣＰＵＡ３１１は、ベクトルＶの第１成分（ｘ）を第４成分（ｗ）で乗算した結果の値（Ｖ．ｘ／Ｖ．ｗ）が０．５より大きいかどうかを判断し、０．５より大きい場合には処理はステップＳＡ８５に進み、そうでない場合にはメイン実世界画像設定処理を終了する。上記のＶ．ｘ／Ｖ．ｗの値は、左目用の仮想空間画像上で、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するかを示している（なお、「左目用の仮想空間画像上で、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するか」は、「外側撮像部（左）Ａ２３ａの撮影画像上で、マーカー座標系の原点が、画像の左右方向のどの位置に存在するか」と等価である）。仮想空間のワールド座標系の原点が左目用の仮想空間画像の中央に位置するときは、Ｖ．ｘ／Ｖ．ｗの値が０となり、仮想空間のワールド座標系の原点が左目用の仮想空間画像の左端に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が−１．０に近づき、仮想空間のワールド座標系の原点が左目用の仮想空間画像の右端に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が＋１．０に近づく。Ｖ．ｘ／Ｖ．ｗの値が０．５より大きいということは、仮想空間のワールド座標系の原点が左目用の仮想空間画像の右端領域（図３９の斜線領域）に位置することを意味する。言い換えれば、外側撮像部（左）Ａ２３ａによって撮像された左実世界画像の右端領域にマーカーＡ６１が位置していることを意味する。
ステップＳＡ８５において、ＣＰＵＡ３１１は、メイン実世界画像を左実世界画像から右実世界画像へと変更する。すなわち、左仮想カメラＡ６３Ｌによる仮想空間画像上で、仮想空間の原点が、画像の中心よりも所定距離だけ（または画像の左右幅の所定割合だけ）右の位置よりも右側に存在するときに、メイン実世界画像を右実世界画像に変更する。または、外側撮像部（左）Ａ２３ａによる撮影画像上で、マーカー座標系の原点が、画像の中心よりも所定距離だけ（または画像の左右幅の所定割合だけ）右の位置よりも右側に存在するときに、メイン実世界画像を右実世界画像に変更する。これにより、例えば左実世界画像においてマーカーＡ６１の位置が徐々に右方向へ移動して、最終的に左実世界画像からマーカーＡ６１が消えてしまったとしても、左実世界画像からマーカーＡ６１が消えてしまう前にメイン実世界画像が右実世界画像へと変更されるので、片画像認識モードにおいて継続的にマーカーＡ６１を認識することが可能となる。ステップＳＡ８５の処理が終わると、メイン実世界画像設定処理を終了する。
ステップＳＡ８６において、ＣＰＵＡ３１１は、（０，０，０，１）に右ビュー行列Ａ７６Ｒおよび右射影行列Ａ７７Ｒを乗算することによって、ベクトルＶを求める。
ステップＳＡ８７において、ＣＰＵＡ３１１は、ベクトルＶの第１成分（ｘ）を第４成分（ｗ）で乗算した結果の値（Ｖ．ｘ／Ｖ．ｗ）が−０．５より小さいかどうかを判断し、−０．５より小さい場合には処理はステップＳＡ８７に進み、そうでない場合にはメイン実世界画像設定処理を終了する。上記のＶ．ｘ／Ｖ．ｗの値は、右目用の仮想空間画像上で、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するかを示している。仮想空間のワールド座標系の原点が右目用の仮想空間画像の中央に位置するときは、Ｖ．ｘ／Ｖ．ｗの値が０となり、仮想空間のワールド座標系の原点が右目用の仮想空間画像の左端に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が−１．０に近づき、仮想空間のワールド座標系の原点が右目用の仮想空間画像の右端に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が＋１．０に近づく。Ｖ．ｘ／Ｖ．ｗの値が−０．５より小さいということは、仮想空間のワールド座標系の原点が右目用の仮想空間画像の左端領域（図４０の斜線領域）に位置することを意味する。言い換えれば、外側撮像部（右）Ａ２３ｂによって撮像された右実世界画像の左端領域にマーカーＡ６１が位置していることを意味する。
ステップＳＡ８８において、ＣＰＵＡ３１１は、メイン実世界画像を右実世界画像から左実世界画像へと変更する。これにより、例えば右実世界画像においてマーカーＡ６１の位置が徐々に左方向へ移動して、最終的に右実世界画像からマーカーＡ６１が消えてしまったとしても、右実世界画像からマーカーＡ６１が消えてしまう前にメイン実世界画像が左実世界画像へと変更されるので、片画像認識モードにおいて継続的にマーカーＡ６１を認識することが可能となる。ステップＳＡ８８の処理が終わると、メイン実世界画像設定処理を終了する。
（表示モード切替処理）
次に、更新処理（図１５）におけるステップＳＡ４６の表示モード切替処理の詳細について、図１９のフローチャートを参照して説明する。
次に、更新処理（図１５）におけるステップＳＡ４６の表示モード切替処理の詳細について、図１９のフローチャートを参照して説明する。
図１９のステップＳＡ９０において、ＣＰＵＡ３１１は、表示モードが同期表示モードかどうかを判断し、同期表示モードである場合には処理はステップＳＡ９１に進み、そうでない場合（すなわち、非同期表示モードである場合）には処理はステップＳＡ９６に進む。
ステップＳＡ９１において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈが０より大きく、かつ、左実世界画像および右実世界画像のいずれかの実世界画像のマーカー認識に成功しているかどうかを判断する。そして、判断結果が肯定である場合には、処理はステップＳＡ９２に進み、判断結果が否定である場合（すなわち、ＥｙｅＷｉｄｔｈが０であるか、もしくは、左実世界画像および右実世界画像の両方の実世界画像のマーカー認識に失敗している場合）には、処理はステップＳＡ９３に進む。
ステップＳＡ９２において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔ（図１２参照）の値を２０に設定する。ＳｙｎｃＣｏｕｎｔは、表示モードを同期表示モードから非同期表示モードへと切り替えるタイミングを決定するための変数である。ステップＳＡ９２の処理が終わると、表示モード切替処理を終了する。
ステップＳＡ９３において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔの値をデクリメントする。
ステップＳＡ９４において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔの値が０より大きいかどうかを判断し、０より大きい場合には表示モード切替処理を終了、そうでない場合（すなわち、０である場合）には処理はステップＳＡ９５に進む。
ステップＳＡ９５において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘの値を１に設定し、さらにＥｙｅＷｉｄｔｈおよびＥｙｅＤｅｐｔｈの値を０に設定し、さらに表示モードＡ７８を同期表示モードから非同期表示モードへと変更し、さらにマーカー認識モードＡ７９を両画像認識モードに設定する。ステップＳＡ９５の処理が終わると、表示モード切替処理を終了する。
ステップＳＡ９６において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈが０より大きく、かつ、左実世界画像および右実世界画像のいずれかの実世界画像のマーカー認識に成功しているかどうかを判断する。そして、判断結果が肯定である場合には、処理はステップＳＡ９７に進み、判断結果が否定である場合（すなわち、ＥｙｅＷｉｄｔｈが０であるか、もしくは、左実世界画像および右実世界画像の両方の実世界画像のマーカー認識に失敗している場合）には、表示モード切替処理を終了する。
ステップＳＡ９７において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔの値を２０に設定し、さらに表示モードを非同期表示モードから同期表示モードへと変更する。ステップＳＡ９７の処理が終わると、表示モード切替処理を終了する。
上記のように、表示モード切替処理によって、同期表示モードと非同期表示モードとの間で表示モードが適宜に切り替えられる。より具体的には、画像表示プログラムの実行が開始された直後は表示モードは非同期表示モードとなり、上側ＬＣＤＡ２２には常に最新の実世界画像が表示される。その後、マーカーＡ６１が認識されて、上側ＬＣＤＡ２２に表示される実世界画像に仮想オブジェクトＡ６２を合成表示できる状態になった時点で、表示モードは非同期表示モードから同期表示モードへと変化する。同期表示モードでは、仮想オブジェクトＡ６２を実世界画像内の正しい位置に合成表示するために、最後にマーカーＡ６１を認識することができた実世界画像（必ずしも最新の実世界画像とは限らない）に仮想オブジェクトＡ６２を合成した合成画像が、上側ＬＣＤＡ２２に表示される。これにより、実世界画像に合成表示される仮想オブジェクトＡ６２の位置ズレを防止することができる。その後、マーカーＡ６１を認識することができない状態が一定時間継続した時点で、表示モードは同期表示モードから非同期表示モードへと変化し、上側ＬＣＤＡ２２には常に最新の実世界画像が表示されるようになる。これにより、マーカーＡ６１を認識することができない状態が続いたときに、上側ＬＣＤＡ２２に古い画像が表示され続けてしまうことを防止することができる。
（本実施形態の効果）
以上のように、本実施形態によれば、左実世界画像および右実世界画像のいずれか一方のマーカー認識結果から計算される一方の外側撮像部（外側撮像部（左）Ａ２３ａまたは外側撮像部（右）Ａ２３ｂ）のマーカー座標系における位置及び姿勢に基づいて、一方の仮想カメラの位置および姿勢が決定され、さらに、左仮想カメラＡ６３Ｌの位置及び姿勢と右仮想カメラＡ６３Ｒの位置及び姿勢が理想的な関係となるように、他方の仮想カメラの位置及び姿勢が決定される。したがって、立体視可能な表示装置において、正常に立体視できるように仮想オブジェクトＡ６２を表示することができる。
以上のように、本実施形態によれば、左実世界画像および右実世界画像のいずれか一方のマーカー認識結果から計算される一方の外側撮像部（外側撮像部（左）Ａ２３ａまたは外側撮像部（右）Ａ２３ｂ）のマーカー座標系における位置及び姿勢に基づいて、一方の仮想カメラの位置および姿勢が決定され、さらに、左仮想カメラＡ６３Ｌの位置及び姿勢と右仮想カメラＡ６３Ｒの位置及び姿勢が理想的な関係となるように、他方の仮想カメラの位置及び姿勢が決定される。したがって、立体視可能な表示装置において、正常に立体視できるように仮想オブジェクトＡ６２を表示することができる。
また、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（左）Ａ２３ａの位置と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（右）Ａ２３ｂの位置とに基づいて、両外側撮像部の間隔を算出し、その結果に基づいて仮想カメラ間隔（ＥｙｅＷｉｄｔｈ）を決定し、一方の仮想カメラの位置を当該仮想カメラの座標系の撮影方向に直交する方向に当該間隔だけ移動させることにより他方の仮想カメラの位置を決定する。これにより、両仮想カメラが撮影方向に直行する方向に並ぶように設定することができる。また、仮に、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔が既知でない場合や、ゲーム装置Ａ１０に対する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度が悪い場合であっても、左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒを理想的な間隔で配置することができる。
また、仮想カメラ間隔決定処理によって仮想カメラ間隔（ＥｙｅＷｉｄｔｈ）が決定された後は、メイン実世界画像に対してのみマーカー認識処理を行えばよいため、常に左実世界画像と右実世界画像の両方に対してマーカー認識処理を行う場合と比較して、処理負担を軽減することができる。
なお、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔が既知である場合には、仮想カメラ間隔決定処理の結果に基づいて、実世界における外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔（例えば３．５ｃｍ）に対応する、マーカー座標系における外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔（ＥｙｅＷｉｄｔｈ）が判明する。したがって、例えば、身長が３０ｃｍのキャラクタ（仮想オブジェクト）を実世界画像に合成表示したり、実世界画像に合成表示されるキャラクタ（仮想オブジェクト）を秒速１０ｃｍで移動させたりというように、仮想空間において、実世界のスケールに基づいた処理を行うことが可能となる。
（変形例）
なお、上記実施形態では、実世界画像に含まれるマーカーＡ６１の位置及び姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクトＡ６２を合成しているが、他の実施形態では、マーカーＡ６１に限らず、任意の認識対象の位置及び／又は姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクトＡ６２を合成してもよい。認識対象の一例として、人物の顔が挙げられる。
なお、上記実施形態では、実世界画像に含まれるマーカーＡ６１の位置及び姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクトＡ６２を合成しているが、他の実施形態では、マーカーＡ６１に限らず、任意の認識対象の位置及び／又は姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクトＡ６２を合成してもよい。認識対象の一例として、人物の顔が挙げられる。
また、上記実施形態では、外側撮像部Ａ２３によってリアルタイムに撮像される実世界画像に基づいて上側ＬＣＤＡ２２に立体画像を表示しているが、他の実施形態では、外側撮像部Ａ２３や外部のステレオカメラ等によって過去に撮像された動画像データに基づいて上側ＬＣＤＡ２２に立体画像を表示するようにしてもよい。
また、上記実施形態では、外側撮像部Ａ２３がゲーム装置Ａ１０に予め搭載されているが、他の実施形態では、ゲーム装置Ａ１０に着脱可能な外付け型のカメラを利用してもよい。
また、上記実施形態では、上側ＬＣＤＡ２２がゲーム装置Ａ１０に予め搭載されているが、他の実施形態では、ゲーム装置Ａ１０に着脱可能な外付け型の立体視ディスプレイを利用してもよい。
また、上記実施形態では、マーカー座標系の原点の位置に仮想オブジェクトＡ６２を配置しているが、他の実施形態では、マーカー座標系の原点から離れた位置に仮想オブジェクトＡ６２を配置してもよい。
また、上記実施形態では、仮想空間に仮想オブジェクトを１つだけ配置しているが、他の実施形態では、仮想空間に複数の仮想オブジェクトを配置してもよい。
また、上記実施形態では、仮想カメラ間隔決定処理において、マーカー座標系における外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔（ＥｙｅＷｉｄｔｈ）を計算した後、当該間隔に基づいて、マーカー認識結果に基づいて計算された左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒのいずれか一方の仮想カメラの位置及び姿勢から、他方の仮想カメラの位置及び姿勢を決定しているが、他の実施形態では、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（左）Ａ２３ａの位置及び姿勢と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（右）Ａ２３ｂの位置及び姿勢とに基づいて、外側撮像部Ａ２３の位置および姿勢（例えば、外側撮像部（右）Ａ２３ａの位置と外側撮像部（左）Ａ２３ｂの位置の平均位置、外側撮像部（右）Ａ２３ａの姿勢と外側撮像部（左）Ａ２３ｂの姿勢の平均姿勢）を算出し、それに基づいて、左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒの位置及び／又は姿勢を決定するようにしてもよい。例えば、左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒの姿勢が、いずれも、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（左）Ａ２３ａの姿勢と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（右）Ａ２３ｂの姿勢のちょうど中間の姿勢となるように、左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒの姿勢を決定するようにしてもよい。また例えば、仮想カメラ間隔決定処理において外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔（ＥｙｅＷｉｄｔｈ）を計算した後に、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（左）Ａ２３ａの位置と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（右）Ａ２３ｂの位置の平均位置に対応する仮想空間内の位置から互いに反対方向にＥｙｅＷｉｄｔｈ／２だけ仮想カメラの撮影方向と直交する方向にずらすことによって、左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒの位置を決定するようにしてもよい。
また、上記実施形態では、仮想カメラ間隔決定処理によって仮想カメラ間隔（ＥｙｅＷｉｄｔｈ）が決定された後は、メイン実世界画像に対してのみマーカー認識処理を行っているが、他の実施形態では、常に左実世界画像と右実世界画像の両方に対してマーカー認識処理を行うようにしてもよい。
また、上記実施形態では、上側ＬＣＤＡ２２がパララックスバリア方式の立体表示装置であるが、他の実施形態では、上側ＬＣＤＡ２２がレンチキュラー方式等の他の任意の方式の立体表示装置であってもよい。例えば、レンチキュラー方式の立体表示装置を利用する場合には、左目用画像と右目用画像をＣＰＵＡ３１１または他のプロセッサで合成してから、当該合成画像をレンチキュラー方式の立体表示装置に供給するようにしてもよい。
また、上記実施形態では、ゲーム装置Ａ１０を用いて実世界画像に仮想オブジェクトを合成表示しているが、他の実施形態では、任意の情報処理装置または情報処理システム（例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話、パーソナルコンピュータ、カメラ等）を用いて実世界画像に仮想オブジェクトを合成表示してもよい。
また、上記実施形態では、一台の情報処理装置（ゲーム装置Ａ１０）のみによって画像表示処理を実行しているが、他の実施形態では、互いに通信可能な複数の情報処理装置を有する画像表示システムにおいて、当該複数の情報処理装置が画像表示処理を分担して実行するようにしてもよい。
（ゲーム装置の構成）
以下、本発明の他の一実施形態に係る情報処理装置であるゲーム装置について説明する。なお、本発明は、このような装置に限定されるものではなく、このような装置において実行される情報処理プログラムであっても、このような装置に関係がある情報処理システムであっても構わない。さらに、本発明は、このような装置における情報処理方法であっても構わない。
以下、本発明の他の一実施形態に係る情報処理装置であるゲーム装置について説明する。なお、本発明は、このような装置に限定されるものではなく、このような装置において実行される情報処理プログラムであっても、このような装置に関係がある情報処理システムであっても構わない。さらに、本発明は、このような装置における情報処理方法であっても構わない。
図４１〜図４３は、ゲーム装置Ｂ１０の外観を示す平面図である。ゲーム装置Ｂ１０は携帯型のゲーム装置であり、図４１〜図４３に示すように折り畳み可能に構成されている。図４１及び図４２は、開いた状態（開状態）におけるゲーム装置Ｂ１０を示し、図４３は、閉じた状態（閉状態）におけるゲーム装置Ｂ１０を示している。図４１は、開状態におけるゲーム装置Ｂ１０の正面図であり、図４２は、開状態におけるゲーム装置Ｂ１０の右側面図である。ゲーム装置Ｂ１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ｂ１０は、交換可能なメモリカード内に記憶され、又は、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
まず、図４１〜図４３を参照して、ゲーム装置Ｂ１０の外観構成について説明する。図４１〜図４３に示されるように、ゲーム装置Ｂ１０は、下側ハウジングＢ１１及び上側ハウジングＢ２１を有する。下側ハウジングＢ１１と上側ハウジングＢ２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、各ハウジングＢ１１及びＢ２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
図４１及び図４２に示されるように、下側ハウジングＢ１１の上側長辺部分には、下側ハウジングＢ１１の内側面（主面）Ｂ１１Ｂに対して垂直な方向に突起する突起部Ｂ１１Ａが設けられる。また、上側ハウジングＢ２１の下側長辺部分には、上側ハウジングＢ２１の下側面から当該下側面に垂直な方向に突起する突起部Ｂ２１Ａが設けられる。下側ハウジングＢ１１の突起部１１Ａと上側ハウジングＢ２１の突起部Ｂ２１Ａとが連結されることにより、下側ハウジングＢ１１と上側ハウジングＢ２１とが、折り畳み可能に接続される。
（下側ハウジングの説明）
まず、下側ハウジングＢ１１の構成について説明する。図４１〜図４３に示すように、下側ハウジングＢ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｂ１２、タッチパネルＢ１３、各操作ボタンＢ１４Ａ〜Ｂ１４Ｌ（図４１、図４３）、アナログスティックＢ１５、ＬＥＤＢ１６Ａ〜Ｂ１６Ｂ、挿入口Ｂ１７、及び、マイクロフォン用孔Ｂ１８が設けられる。以下、これらの詳細について説明する。
まず、下側ハウジングＢ１１の構成について説明する。図４１〜図４３に示すように、下側ハウジングＢ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｂ１２、タッチパネルＢ１３、各操作ボタンＢ１４Ａ〜Ｂ１４Ｌ（図４１、図４３）、アナログスティックＢ１５、ＬＥＤＢ１６Ａ〜Ｂ１６Ｂ、挿入口Ｂ１７、及び、マイクロフォン用孔Ｂ１８が設けられる。以下、これらの詳細について説明する。
図４１に示すように、下側ＬＣＤＢ１２は下側ハウジングＢ１１に収納される。下側ＬＣＤＢ１２は横長形状であり、長辺方向が下側ハウジングＢ１１の長辺方向に一致するように配置される。下側ＬＣＤＢ１２は下側ハウジングＢ１１の中央に配置される。下側ＬＣＤＢ１２は、下側ハウジングＢ１１の内側面（主面）に設けられ、下側ハウジングＢ１１に設けられた開口部から当該下側ＬＣＤＢ１２の画面が露出される。ゲーム装置Ｂ１０を使用しない場合には閉状態としておくことによって、下側ＬＣＤＢ１２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤＢ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤＢ１２は、後述する上側ＬＣＤＢ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤＢ１２として、任意の解像度の表示装置を利用することができる。
図４１に示されるように、ゲーム装置Ｂ１０は、入力装置として、タッチパネルＢ１３を備えている。タッチパネルＢ１３は、下側ＬＣＤＢ１２の画面上に装着されている。なお、本実施形態では、タッチパネルＢ１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネルＢ１３として、下側ＬＣＤＢ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＢ１３の解像度と下側ＬＣＤＢ１２の解像度が一致している必要はない。また、下側ハウジングＢ１１の上側面には挿入口Ｂ１７（図４１及び図４３（ｄ）に示す点線）が設けられている。挿入口Ｂ１７は、タッチパネルＢ１３に対する操作を行うために用いられるタッチペンＢ２８を収納することができる。なお、タッチパネルＢ１３に対する入力は通常タッチペンＢ２８を用いて行われるが、タッチペンＢ２８に限らずユーザの指でタッチパネルＢ１３に対する入力をすることも可能である。
各操作ボタンＢ１４Ａ〜Ｂ１４Ｌは、所定の入力を行うための入力装置である。図４１に示されるように、下側ハウジングＢ１１の内側面（主面）には、各操作ボタンＢ１４Ａ〜Ｂ１４Ｌのうち、十字ボタンＢ１４Ａ（方向入力ボタンＢ１４Ａ）、ボタンＢ１４Ｂ、ボタンＢ１４Ｃ、ボタンＢ１４Ｄ、ボタンＢ１４Ｅ、電源ボタンＢ１４Ｆ、セレクトボタンＢ１４Ｊ、ＨＯＭＥボタンＢ１４Ｋ、及びスタートボタンＢ１４Ｌが、設けられる。十字ボタンＢ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタンＢ１４Ｂ、ボタンＢ１４Ｃ、ボタンＢ１４Ｄ、ボタンＢ１４Ｅは、十字状に配置される。ボタンＢ１４Ａ〜Ｂ１４Ｅ、セレクトボタンＢ１４Ｊ、ＨＯＭＥボタンＢ１４Ｋ、及びスタートボタンＢ１４Ｌには、ゲーム装置Ｂ１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタンＢ１４Ａは選択操作等に用いられ、各操作ボタンＢ１４Ｂ〜Ｂ１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタンＢ１４Ｆは、ゲーム装置Ｂ１０の電源をオン／オフするために用いられる。
アナログスティックＢ１５は、方向を指示するデバイスであり、下側ハウジングＢ１１の内側面の下側ＬＣＤＢ１２より左側領域の上部領域に設けられる。図４１に示すように、十字ボタンＢ１４Ａは下側ＬＣＤＢ１２より左側領域の下部領域に設けられるので、アナログスティックＢ１５は、十字ボタンＢ１４Ａの上方に設けられる。また、アナログスティックＢ１５、及び、十字ボタンＢ１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。また、アナログスティックＢ１５を上部領域に設けたことにより、下側ハウジングＢ１１を把持する左手の親指が自然と位置するところにアナログスティックＢ１５が配され、十字ボタンＢ１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティックＢ１５は、そのキートップが、下側ハウジングＢ１１の内側面に平行にスライドするように構成されている。アナログスティックＢ１５は、ゲーム装置Ｂ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置Ｂ１０によって実行される場合、アナログスティックＢ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティックＢ１５のキートップがスライドした方向に移動される。なお、アナログスティックＢ１５として、上下左右及び斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
十字状に配置される、ボタンＢ１４Ｂ、ボタンＢ１４Ｃ、ボタンＢ１４Ｄ、ボタンＢ１４Ｅの４つのボタンは、下側ハウジングＢ１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンと、アナログスティックＢ１５とは、下側ＬＣＤＢ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。
また、下側ハウジングＢ１１の内側面には、マイクロフォン用孔Ｂ１８が設けられる。マイクロフォン用孔Ｂ１８の下部には後述する音声入力装置としてのマイク（図４７参照）が設けられ、当該マイクがゲーム装置Ｂ１０の外部の音を検出する。
図４３（ａ）は閉状態におけるゲーム装置Ｂ１０の左側面図であり、図４３（ｂ）は閉状態におけるゲーム装置Ｂ１０の正面図であり、図４３（ｃ）は閉状態におけるゲーム装置Ｂ１０の右側面図であり、図４３（ｄ）は閉状態におけるゲーム装置Ｂ１０の背面図である。図４３（ｂ）及び（ｄ）に示されるように、下側ハウジングＢ１１の上側面には、ＬボタンＢ１４Ｇ及びＲボタンＢ１４Ｈが設けられている。ＬボタンＢ１４Ｇは、下側ハウジングＢ１１の上面の左端部に設けられ、ＲボタンＢ１４Ｈは、下側ハウジングＢ１１の上面の右端部に設けられる。後述のように、ＬボタンＢ１４Ｇ及びＲボタンＢ１４Ｈは、撮像部のシャッターボタン（撮影指示ボタン）として機能する。また、図４３（ａ）に示されるように、下側ハウジングＢ１１の左側面には、音量ボタンＢ１４Ｉが設けられる。音量ボタンＢ１４Ｉは、ゲーム装置Ｂ１０が備えるスピーカの音量を調整するために用いられる。
図４３（ａ）に示されるように、下側ハウジングＢ１１の左側面には開閉可能なカバー部Ｂ１１Ｃが設けられる。このカバー部Ｂ１１Ｃの内側には、ゲーム装置Ｂ１０とデータ保存用外部メモリＢ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリＢ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリＢ４５は、例えば、ゲーム装置Ｂ１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタ及びそのカバー部Ｂ１１Ｃは、下側ハウジングＢ１１の右側面に設けられてもよい。
また、図４３（ｄ）に示されるように、下側ハウジングＢ１１の上側面には、ゲーム装置Ｂ１０とゲームプログラムを記録した外部メモリＢ４４を挿入するための挿入口Ｂ１１Ｄが設けられ、その挿入口Ｂ１１Ｄの内部には、外部メモリＢ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリＢ４４がゲーム装置Ｂ１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタ及びその挿入口Ｂ１１Ｄは、下側ハウジングＢ１１の他の側面（例えば、右側面等）に設けられてもよい。
また、図４１及び図４３（ｃ）に示されるように、下側ハウジングＢ１１の下側面にはゲーム装置Ｂ１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＢ１６Ａ、下側ハウジングＢ１１の右側面にはゲーム装置Ｂ１０の無線通信の確立状況をユーザに通知する第２ＬＥＤＢ１６Ｂが設けられる。ゲーム装置Ｂ１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤＢ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置Ｂ１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジングＢ１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチＢ１９が設けられる（図４３（ｃ）参照）。
なお、図示は省略するが、下側ハウジングＢ１１には、ゲーム装置Ｂ１０の電源となる充電式電池が収納され、下側ハウジングＢ１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
（上側ハウジングの説明）
次に、上側ハウジングＢ２１の構成について説明する。図４１〜図４３に示すように、上側ハウジングＢ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｂ２２、外側撮像部Ｂ２３（外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂ）、内側撮像部Ｂ２４、３Ｄ調整スイッチＢ２５、及び、３ＤインジケータＢ２６が設けられる。以下、これらの詳細について説明する。
次に、上側ハウジングＢ２１の構成について説明する。図４１〜図４３に示すように、上側ハウジングＢ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｂ２２、外側撮像部Ｂ２３（外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂ）、内側撮像部Ｂ２４、３Ｄ調整スイッチＢ２５、及び、３ＤインジケータＢ２６が設けられる。以下、これらの詳細について説明する。
図４１に示すように、上側ＬＣＤＢ２２は上側ハウジングＢ２１に収納される。上側ＬＣＤＢ２２は、横長形状であり、長辺方向が上側ハウジングＢ２１の長辺方向に一致するように配置される。上側ＬＣＤＢ２２は上側ハウジングＢ２１の中央に配置される。上側ＬＣＤＢ２２の画面の面積は、下側ＬＣＤＢ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤＢ２２の画面は、下側ＬＣＤＢ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤＢ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤＢ１２の画面のアスペクト比における横幅の割合よりも大きく設定される。
上側ＬＣＤＢ２２の画面は、上側ハウジングＢ２１の内側面（主面）Ｂ２１Ｂに設けられ、上側ハウジングＢ２１に設けられた開口部から当該上側ＬＣＤＢ２２の画面が露出される。また、図４２及び図４４に示すように、上側ハウジングＢ２１の内側面は、透明なスクリーンカバーＢ２７によって覆われている。図４４は、上側ハウジングＢ２１の内側面からスクリーンカバーＢ２７を分解した状態を示す分解図である。当該スクリーンカバーＢ２７は、上側ＬＣＤＢ２２の画面を保護するとともに、上側ＬＣＤＢ２２と上側ハウジングＢ２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤＢ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤＢ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤＢ２２として、任意の解像度の表示装置を利用することができる。
上側ＬＣＤＢ２２は、立体視可能な画像を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。又は、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目及び右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤＢ２２はパララックスバリア方式のものとする。上側ＬＣＤＢ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤＢ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤＢ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤＢ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチＢ２５によって行われる。
外側撮像部Ｂ２３は、上側ハウジングＢ２１の外側面（上側ＬＣＤＢ２２が設けられた主面と反対側の背面）Ｂ２１Ｄに設けられた２つの撮像部（Ｂ２３ａ及びＢ２３ｂ）の総称である。外側撮像部（左）Ｂ２３ａと外側撮像部（右）Ｂ２３ｂの撮像方向は、いずれも当該外側面Ｂ２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤＢ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（左）Ｂ２３ａの撮像方向及び外側撮像部（右）Ｂ２３ｂの撮像方向は、平行である。外側撮像部（左）Ｂ２３ａと外側撮像部（右）Ｂ２３ｂとは、ゲーム装置Ｂ１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮像部（Ｂ２３ａ及びＢ２３ｂ）のいずれか一方を単独で用いて、外側撮像部Ｂ２３を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（Ｂ２３ａ及びＢ２３ｂ）で撮像した画像を合成して又は補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では、外側撮像部Ｂ２３は、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂの２つの撮像部で構成される。外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図４１の破線及び図４３（ｂ）の実線で示されるように、外側撮像部Ｂ２３を構成する外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ＬＣＤＢ２２の画面の横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤＢ２２の画面の横方向と平行になるように、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂが配置される。図４１の破線で示すＢ２３ａ及びＢ２３ｂは、上側ハウジングＢ２１の内側面とは反対側の外側面に存在する外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂをそれぞれ表している。図４１に示すように、ユーザが上側ＬＣＤＢ２２の画面を正面から視認した場合に、外側撮像部（左）Ｂ２３ａは左側に外側撮像部（右）Ｂ２３ｂは右側にそれぞれ位置している。外側撮像部Ｂ２３をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部（左）Ｂ２３ａは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部（右）Ｂ２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂの間隔は、この範囲に限らない。
なお、本実施例においては、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３はハウジングに固定されており、撮像方向を変更することはできない。
また、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ＬＣＤＢ２２（上側ハウジングＢ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ＬＣＤＢ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ハウジングＢ２１を開いた状態において、上側ハウジングＢ２１の上部であって、上側ＬＣＤＢ２２の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ハウジングＢ２１の外側面であって、上側ＬＣＤＢ２２を外側面に投影した場合、投影した上側ＬＣＤＢ２２の画面の上端よりも上方に配置される。
このように、外側撮像部Ｂ２３の２つの撮像部（Ｂ２３ａ及びＢ２３ｂ）が、上側ＬＣＤＢ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤＢ２２を正視した場合に、外側撮像部Ｂ２３の撮像方向をユーザの視線方向と一致させることができる。また、外側撮像部Ｂ２３は、上側ＬＣＤＢ２２の画面の上端より上方の裏側の位置に配置されるため、外側撮像部Ｂ２３と上側ＬＣＤＢ２２とが上側ハウジングＢ２１の内部で干渉することがない。従って、外側撮像部Ｂ２３を上側ＬＣＤＢ２２の画面の裏側に配置する場合と比べて、上側ハウジングＢ２１を薄く構成することが可能となる。
内側撮像部Ｂ２４は、上側ハウジングＢ２１の内側面（主面）Ｂ２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ｂ２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図４１に示すように、内側撮像部Ｂ２４は、上側ハウジングＢ２１を開いた状態において、上側ハウジングＢ２１の上部であって、上側ＬＣＤＢ２２の画面の上端よりも上方に配置され、上側ハウジングＢ２１の左右方向に関して中央の位置（上側ハウジングＢ２１（上側ＬＣＤＢ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図４１及び図４３（ｂ）に示されるように、内側撮像部Ｂ２４は、上側ハウジングＢ２１の内側面であって、外側撮像部Ｂ２３の左右の撮像部（外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジングＢ２１の外側面に設けられた外側撮像部Ｂ２３の左右の撮像部を上側ハウジングＢ２１の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部Ｂ２４が設けられる。図４３（ｂ）で示される破線Ｂ２４は、上側ハウジングＢ２１の内側面に存在する内側撮像部Ｂ２４を表している。
このように、内側撮像部Ｂ２４は、外側撮像部Ｂ２３とは反対方向を撮像する。内側撮像部Ｂ２４は、上側ハウジングＢ２１の内側面であって、外側撮像部Ｂ２３の左右の撮像部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤＢ２２を正視した際、内側撮像部Ｂ２４でユーザの顔を正面から撮像することができる。また、外側撮像部Ｂ２３の左右の撮像部と内側撮像部Ｂ２４とが上側ハウジングＢ２１の内部で干渉することがないため、上側ハウジングＢ２１を薄く構成することが可能となる。
３Ｄ調整スイッチＢ２５は、スライドスイッチであり、上述のように上側ＬＣＤＢ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＢ２５は、上側ＬＣＤＢ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。図４１〜図４３に示されるように、３Ｄ調整スイッチＢ２５は、上側ハウジングＢ２１の内側面及び右側面の端部に設けられ、ユーザが上側ＬＣＤＢ２２を正視した場合に、当該３Ｄ調整スイッチＢ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチＢ２５の操作部は、内側面及び右側面の両方に突出しており、どちらからも視認及び操作することができる。なお、３Ｄ調整スイッチＢ２５以外のスイッチは全て下側ハウジングＢ１１に設けられる。
図４５は、図４１に示す上側ハウジングＢ２１のＡ−Ａ’線断面図である。図４５に示すように、上側ハウジングＢ２１の内側面の右端部には、凹部Ｂ２１Ｃが形成され、当該凹部Ｂ２１Ｃに３Ｄ調整スイッチＢ２５が設けられる。３Ｄ調整スイッチＢ２５は、図４１及び図４２に示されるように、上側ハウジングＢ２１の正面及び右側面から視認可能に配置される。３Ｄ調整スイッチＢ２５のスライダＢ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダＢ２５ａの位置に応じて上側ＬＣＤＢ２２の表示モードが設定される。
図４６Ａから図４６Ｃは、３Ｄ調整スイッチＢ２５のスライダＢ２５ａがスライドする様子を示す図である。図４６Ａは、３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最下点（第３の位置）に存在する様子を示す図である。図４６Ｂは、３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図である。図４６Ｃは、３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最上点（第２の位置）に存在する様子を示す図である。
図４６Ａに示すように、３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最下点位置（第３の位置）に存在する場合、上側ＬＣＤＢ２２は平面表示モードに設定され、上側ＬＣＤＢ２２の画面には平面画像が表示される（なお、上側ＬＣＤＢ２２を立体表示モードのままとして、左目用画像と右目用画像を同一の画像とすることにより平面表示してもよい）。一方、図４６Ｂに示す位置（最下点より上側の位置（第１の位置））から図４６Ｃに示す位置（最上点の位置（第２の位置））までの間にスライダＢ２５ａが存在する場合、上側ＬＣＤＢ２２は立体表示モードに設定される。この場合、上側ＬＣＤＢ２２の画面には立体視可能な画像が表示される。スライダＢ２５ａが第１の位置から第２の位置の間に存在する場合、スライダＢ２５ａの位置に応じて、立体画像の見え方が調整される。具体的には、スライダＢ２５ａの位置に応じて、右目用画像及び左目用画像の横方向の位置のずれ量が調整される。なお、立体表示モードにおける立体画像の見え方の調整については後述する。３Ｄ調整スイッチＢ２５のスライダＢ２５ａは、第３の位置で固定されるように構成されており、第１の位置と第２の位置との間では上下方向に任意の位置にスライド可能に構成されている。例えば、スライダＢ２５ａは、第３の位置において、３Ｄ調整スイッチＢ２５を形成する側面から図４６Ａに示す横方向に突出した凸部（図示せず）によって固定されて、所定以上の力が上方に加わらないと第３の位置よりも上方にスライドしないように構成されている。第３の位置から第１の位置にスライダＢ２５ａが存在する場合、立体画像の見え方は調整されないが、これはいわゆるあそびである。他の例においては、あそびをなくして、第３の位置と第１の位置とを同じ位置としてもよい。また、第３の位置を第１の位置と第２の位置の間としてもよい。その場合、スライダを第３の位置から第１の位置の方向に動かした場合と、第２の方向に動かした場合とで、右目用画像及び左目用画像の横方向の位置のずれ量の調整する方向が逆になる。
なお、本実施例のゲーム装置が実行するプログラムには、立体写真を表示するためのプログラムと、立体的なＣＧ画像を表示するためのプログラムがある。後者のプログラムでは、左目用の仮想カメラと右目用の仮想カメラで仮想空間を撮影して、左目用画像と右目用画像を生成する。本実施例のゲーム装置は、このようなプログラムの実行時において、３Ｄ調整スイッチＢ２５のスライダＢ２５ａの位置に応じて、２つの仮想カメラの間隔を変更することにより、立体感を調整する。
３ＤインジケータＢ２６は、上側ＬＣＤＢ２２が立体表示モードか否かを示す。３ＤインジケータＢ２６は、ＬＥＤであり、上側ＬＣＤＢ２２の立体表示モードが有効の場合に点灯する。なお、３ＤインジケータＢ２６は、上側ＬＣＤＢ２２が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているとき（すなわち、３Ｄ調整スイッチが上記第１の位置から上記第２の位置にあるときに、左目用画像と右目用画像が異なるような画像処理が実行されているとき）に限り、点灯するようにしてもよい。図４１に示されるように、３ＤインジケータＢ２６は、上側ハウジングＢ２１の内側面に設けられ、上側ＬＣＤＢ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤＢ２２の画面を正視した場合、ユーザは３ＤインジケータＢ２６を視認しやすい。従って、ユーザは上側ＬＣＤＢ２２の画面を視認している状態でも、上側ＬＣＤＢ２２の表示モードを容易に認識することができる。
また、上側ハウジングＢ２１の内側面には、スピーカ孔Ｂ２１Ｅが設けられる。後述するスピーカＢ４３からの音声がこのスピーカ孔Ｂ２１Ｅから出力される。
（ゲーム装置Ｂ１０の内部構成）
次に、図４７を参照して、ゲーム装置Ｂ１０の内部の電気的構成について説明する。図４７は、ゲーム装置Ｂ１０の内部構成を示すブロック図である。図４７に示すように、ゲーム装置Ｂ１０は、上述した各部に加えて、情報処理部Ｂ３１、メインメモリＢ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ｂ３３、データ保存用外部メモリＩ／ＦＢ３４、データ保存用内部メモリＢ３５、無線通信モジュールＢ３６、ローカル通信モジュールＢ３７、リアルタイムクロック（ＲＴＣ）Ｂ３８、加速度センサＢ３９、電源回路Ｂ４０、及びインターフェイス回路（Ｉ／Ｆ回路）Ｂ４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＢ１１（又は上側ハウジングＢ２１でもよい）内に収納される。
次に、図４７を参照して、ゲーム装置Ｂ１０の内部の電気的構成について説明する。図４７は、ゲーム装置Ｂ１０の内部構成を示すブロック図である。図４７に示すように、ゲーム装置Ｂ１０は、上述した各部に加えて、情報処理部Ｂ３１、メインメモリＢ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ｂ３３、データ保存用外部メモリＩ／ＦＢ３４、データ保存用内部メモリＢ３５、無線通信モジュールＢ３６、ローカル通信モジュールＢ３７、リアルタイムクロック（ＲＴＣ）Ｂ３８、加速度センサＢ３９、電源回路Ｂ４０、及びインターフェイス回路（Ｉ／Ｆ回路）Ｂ４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＢ１１（又は上側ハウジングＢ２１でもよい）内に収納される。
情報処理部Ｂ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｂ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｂ３１２等を含む情報処理手段である。本実施形態では、所定のプログラムがゲーム装置Ｂ１０内のメモリ（例えば外部メモリＩ／ＦＢ３３に接続された外部メモリＢ４４やデータ保存用内部メモリＢ３５）に記憶されている。情報処理部Ｂ３１のＣＰＵＢ３１１は、当該所定のプログラムを実行することによって、後述する手書きオブジェクト表示処理（図４９）を実行する。なお、情報処理部Ｂ３１のＣＰＵＢ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部Ｂ３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）Ｂ３１３を含む。情報処理部Ｂ３１のＧＰＵＢ３１２は、情報処理部Ｂ３１のＣＰＵＢ３１１からの命令に応じて画像を生成し、ＶＲＡＭＢ３１３に描画する。そして、情報処理部Ｂ３１のＧＰＵＢ３１２は、ＶＲＡＭＢ３１３に描画された画像を上側ＬＣＤＢ２２及び／又は下側ＬＣＤＢ１２に出力し、上側ＬＣＤＢ２２及び／又は下側ＬＣＤＢ１２に当該画像が表示される。なお、本実施形態においては、ＶＲＡＭＢ３１３には、下側ＬＣＤＢ１２用記憶領域（以下、タッチパネル用ＶＲＡＭと記載）と、上側ＬＣＤＢ２２用記憶領域（以下、テクスチャ用ＶＲＡＭと記載）とがある。
情報処理部Ｂ３１には、メインメモリＢ３２、外部メモリＩ／ＦＢ３３、データ保存用外部メモリＩ／ＦＢ３４、及び、データ保存用内部メモリＢ３５が接続される。外部メモリＩ／ＦＢ３３は、外部メモリＢ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／ＦＢ３４は、データ保存用外部メモリＢ４５を着脱自在に接続するためのインターフェイスである。
メインメモリＢ３２は、情報処理部Ｂ３１（のＣＰＵＢ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＢ３２は、上記手書きオブジェクト表示処理に用いられる各種データを一時的に記憶したり、外部（外部メモリＢ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリＢ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
外部メモリＢ４４は、情報処理部Ｂ３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリＢ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリＢ４４が外部メモリＩ／ＦＢ３３に接続されると、情報処理部Ｂ３１は外部メモリＢ４４に記憶されたプログラムを読み込むことができる。情報処理部Ｂ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリＢ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリＢ４５には、外側撮像部Ｂ２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリＢ４５がデータ保存用外部メモリＩ／ＦＢ３４に接続されると、情報処理部Ｂ３１はデータ保存用外部メモリＢ４５に記憶された画像を読み込み、上側ＬＣＤＢ２２及び／又は下側ＬＣＤＢ１２に当該画像を表示することができる。
データ保存用内部メモリＢ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリＢ３５には、無線通信モジュールＢ３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
無線通信モジュールＢ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＢ３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュールＢ３６及びローカル通信モジュールＢ３７は情報処理部Ｂ３１に接続される。情報処理部Ｂ３１は、無線通信モジュールＢ３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールＢ３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
また、情報処理部Ｂ３１には、加速度センサＢ３９が接続される。加速度センサＢ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサＢ３９は、下側ハウジングＢ１１の内部に設けられる。加速度センサＢ３９は、図４１に示すように、下側ハウジングＢ１１の長辺方向をｘ軸、下側ハウジングＢ１１の短辺方向をｙ軸、下側ハウジングＢ１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサＢ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサＢ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部Ｂ３１は、加速度センサＢ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置Ｂ１０の姿勢や動きを検出することができる。
また、情報処理部Ｂ３１には、ＲＴＣＢ３８及び電源回路Ｂ４０が接続される。ＲＴＣＢ３８は、時間をカウントして情報処理部Ｂ３１に出力する。情報処理部Ｂ３１は、ＲＴＣＢ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ｂ４０は、ゲーム装置Ｂ１０が有する電源（下側ハウジングＢ１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置Ｂ１０の各部品に電力を供給する。
また、情報処理部Ｂ３１には、Ｉ／Ｆ回路Ｂ４１が接続される。Ｉ／Ｆ回路Ｂ４１には、マイクＢ４２及びスピーカＢ４３が接続される。具体的には、Ｉ／Ｆ回路Ｂ４１には、図示しないアンプを介してスピーカＢ４３が接続される。マイクＢ４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路Ｂ４１に出力する。アンプは、Ｉ／Ｆ回路Ｂ４１からの音声信号を増幅し、音声をスピーカＢ４３から出力させる。また、タッチパネルＢ１３はＩ／Ｆ回路Ｂ４１に接続される。Ｉ／Ｆ回路Ｂ４１は、マイクＢ４２及びスピーカＢ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換及びＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネルＢ１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部Ｂ３１に出力する。タッチ位置データは、タッチパネルＢ１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネルＢ１３からの信号の読み込み、及び、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部Ｂ３１は、タッチ位置データを取得することにより、タッチパネルＢ１３に対して入力が行われた位置を知ることができる。
操作ボタンＢ１４は、上記各操作ボタンＢ１４Ａ〜Ｂ１４Ｌからなり、情報処理部Ｂ３１に接続される。操作ボタンＢ１４から情報処理部Ｂ３１へは、各操作ボタンＢ１４Ａ〜Ｂ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部Ｂ３１は、操作ボタンＢ１４から操作データを取得することによって、操作ボタンＢ１４に対する入力に従った処理を実行する。
下側ＬＣＤＢ１２及び上側ＬＣＤＢ２２は情報処理部Ｂ３１に接続される。下側ＬＣＤＢ１２及び上側ＬＣＤＢ２２は、情報処理部Ｂ３１（のＧＰＵＢ３１２）の指示に従って画像を表示する。本実施形態では、情報処理部Ｂ３１は、操作用の画像を下側ＬＣＤＢ１２に表示させ、各撮像部Ｂ２３及びＢ２４のいずれかから取得した画像を上側ＬＣＤＢ２２に表示させる。すなわち、情報処理部Ｂ３１は、上側ＬＣＤＢ２２に外側撮像部Ｂ２３で撮像した右目用画像と左目用画像とを用いた立体画像（立体視可能な画像）を表示させたり、内側撮像部Ｂ２４で撮像した平面画像を上側ＬＣＤＢ２２に表示させたりする。
具体的には、情報処理部Ｂ３１は、上側ＬＣＤＢ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤＢ２２の視差バリアがＯＮになっている場合、情報処理部Ｂ３１のＶＲＡＭＢ３１３に格納された（外側撮像部Ｂ２３で撮像された）右目用画像と左目用画像とが、上側ＬＣＤＢ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＢ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像及び左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＢ２２の画面に表示される。そして、上側ＬＣＤＢ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤＢ２２の画面には立体視可能な画像が表示される。
外側撮像部Ｂ２３及び内側撮像部Ｂ２４は、情報処理部Ｂ３１に接続される。外側撮像部Ｂ２３及び内側撮像部Ｂ２４は、情報処理部Ｂ３１の指示に従って画像を撮像し、撮像した画像データを情報処理部Ｂ３１に出力する。本実施形態では、情報処理部Ｂ３１は外側撮像部Ｂ２３及び内側撮像部Ｂ２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部Ｂ３１に送る。具体的には、本実施形態では、ユーザによるタッチパネルＢ１３を用いたタッチ操作によって使用する撮像部が選択される。撮像部が選択されたことを情報処理部Ｂ３１（ＣＰＵＢ３１１）が検知し、情報処理部Ｂ３１が外側撮像部Ｂ２３又は内側撮像部Ｂ２４に対して撮像指示を行う。
３Ｄ調整スイッチＢ２５は、情報処理部Ｂ３１に接続される。３Ｄ調整スイッチＢ２５は、スライダＢ２５ａの位置に応じた電気信号を情報処理部Ｂ３１に送信する。
また、３ＤインジケータＢ２６は、情報処理部Ｂ３１に接続される。情報処理部Ｂ３１は、３ＤインジケータＢ２６の点灯を制御する。本実施形態では、情報処理部Ｂ３１は、上側ＬＣＤＢ２２が立体表示モードである場合、３ＤインジケータＢ２６を点灯させる。以上がゲーム装置Ｂ１０の内部構成の説明である。
（手書きオブジェクト表示処理の詳細）
次に、図４８から図５１を参照して、本実施形態に係る手書きオブジェクト表示処理の詳細について説明する。まず、手書きオブジェクト表示処理の際にメインメモリＢ３２に記憶される主なデータについて説明する。図４８は、ゲーム装置Ｂ１０のメインメモリＢ３２のメモリマップを示す図である。図４８に示されるように、メインメモリＢ３２には、データ記憶領域Ｂ７０が設けられる。データ記憶領域Ｂ７０には、カメラ選択データＢ７１、左目用画像位置データＢ７２、右目用画像位置データＢ７３、加速度データＢ７４、表示モードデータＢ７５、操作データＢ７６、ボタン操作フラグＢ７７、仮想カメラデータ（位置、姿勢）Ｂ７８、手書きペン設定データＢ７９等が記憶される。これらのデータの他、メインメモリＢ３２には、上記撮影処理を実行するプログラムやタッチパネルＢ１３へのタッチ位置を示すデータ、下側ＬＣＤＢ１２に表示されるカメラ選択のための画像を示すデータ、下側ＬＣＤＢ１２に表示される手書き入力された画像データ等が記憶される。なお、以下においては、「撮像部」を「カメラ」という文言で代用して記載する場合がある。
次に、図４８から図５１を参照して、本実施形態に係る手書きオブジェクト表示処理の詳細について説明する。まず、手書きオブジェクト表示処理の際にメインメモリＢ３２に記憶される主なデータについて説明する。図４８は、ゲーム装置Ｂ１０のメインメモリＢ３２のメモリマップを示す図である。図４８に示されるように、メインメモリＢ３２には、データ記憶領域Ｂ７０が設けられる。データ記憶領域Ｂ７０には、カメラ選択データＢ７１、左目用画像位置データＢ７２、右目用画像位置データＢ７３、加速度データＢ７４、表示モードデータＢ７５、操作データＢ７６、ボタン操作フラグＢ７７、仮想カメラデータ（位置、姿勢）Ｂ７８、手書きペン設定データＢ７９等が記憶される。これらのデータの他、メインメモリＢ３２には、上記撮影処理を実行するプログラムやタッチパネルＢ１３へのタッチ位置を示すデータ、下側ＬＣＤＢ１２に表示されるカメラ選択のための画像を示すデータ、下側ＬＣＤＢ１２に表示される手書き入力された画像データ等が記憶される。なお、以下においては、「撮像部」を「カメラ」という文言で代用して記載する場合がある。
カメラ選択データＢ７１は、現在選択されている撮像部を示すデータである。カメラ選択データＢ７１は、現在選択されている撮像部が外側撮像部Ｂ２３か内側撮像部Ｂ２４かを示すデータである。
左目用画像位置データＢ７２は、外側撮像部（左）Ｂ２３ａによって撮像された左目用画像の上側ＬＣＤＢ２２上の表示位置を示すデータであり、左目用画像の画像中心の座標値を示すデータである。右目用画像位置データＢ７３は、外側撮像部（右）Ｂ２３ｂによって撮像された右目用画像の上側ＬＣＤＢ２２上の表示位置を示すデータであり、右目用画像の画像中心の座標値を示すデータである。
加速度データＢ７４は、加速度センサＢ３９によって検出された最新の加速度を示すデータである。具体的には、加速度データＢ７４は、加速度センサＢ３９によって検出されたｘ軸方向、ｙ軸方向、及びｚ軸方向の加速度の値を示す。加速度センサＢ３９は所定時間に１回の割合で加速度を検出し、情報処理部Ｂ３１（ＣＰＵＢ３１１）に送信する。情報処理部Ｂ３１は、加速度センサＢ３９が加速度を検出するたびにメインメモリＢ３２の加速度データＢ７４を更新する。
表示モードデータＢ７５は、上側ＬＣＤＢ２２の表示モードが立体表示モードか平面表示モードかを示すデータである。
操作データＢ７６は、各操作ボタンＢ１４Ａ〜Ｅ、Ｇ〜Ｈ、及び、アナログスティックＢ１５に対して行われた操作を示すデータである。
ボタン操作フラグＢ７７は、２値のデータであり、特定のタイミングで操作ボタンＢ１４Ｂ〜Ｂ１４Ｅのいずれかが押下されたときに更新して記憶されるようになっている。ボタン操作フラグＢ７７として「０」（オフ）が記憶されている状態で、例えば操作ボタンＢ１４Ｂが押下されると、ボタン操作フラグＢ７７を「０」（オフ）から「１」（オン）へ更新して記憶する。なお、以下においては、操作された状態を「１」（オン）で記憶し、操作されていない状態を「０」（オフ）で記憶するものとするが、他の操作ボタンであってもよいし、別の態様（「０」及び「１」以外）のフラグであっても構わない。
仮想カメラデータＢ７８は、後述するマーカ認識結果に基づいて算出された、マーカ座標系における仮想カメラの位置データ及び姿勢データである。
手書きペン設定データＢ７９は、タッチパネルＢ１３にタッチペンＢ２８を用いて手書きオブジェクトを入力する場合の、タッチペンＢ２８の色及び太さである。初期値（例えば黒及び太線）を記憶しておいて、ユーザの十字ボタンＢ１４Ａの操作によりカーソルが移動して色指定アイコン又は太さ指定アイコンが選択されると、ユーザがタッチペンＢ２８の色又は太さを変更することを要求したと判定されて、ユーザが要求したとタッチペンＢ２８の色又は太さが変更される。変更された色又は太さが手書きペン設定データＢ７９として記憶される。
次に、手書きオブジェクト表示処理の詳細について、図４９から図５１を参照して説明する。図４９は、本実施形態に係る手書きオブジェクト表示処理の詳細を示すメインフローチャートである。ゲーム装置Ｂ１０の電源が投入されると、ゲーム装置Ｂ１０の情報処理部Ｂ３１（ＣＰＵＢ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリＢ３２等の各ユニットが初期化される。次に、データ保存用内部メモリＢ３５に記憶された手書きオブジェクト表示処理プログラムがメインメモリＢ３２に読み込まれ、情報処理部Ｂ３１のＣＰＵＢ３１１によって当該プログラムの実行が開始される。
図５０に示すフローチャートは、図４９の手描きデータ取得処理（ステップＳＢ５）における詳細なフローチャートである。図５１に示すフローチャートは、図４９の上側ＬＣＤ表示処理（ステップＳＢ８）における詳細なフローチャートである。なお、図４９に示すステップＳＢ１〜ステップＳＢ９の処理ループは、１フレーム（例えば１／３０秒。フレーム時間という）毎に繰り返し実行される。また、以下においては、外側撮像部Ｂ２３が選択され、立体表示モードが選択されているとして説明する。なお、本発明の適用は、立体表示モードに限定されるものではなく、平面表示モードであっても構わない。以下に示す立体表示モードにおける右目用処理又は左目用処理のいずれか一方のみを行うように変更すれば、平面表示モードでの処理となる。
まず、図４９を参照して、手書きオブジェクト表示処理のメインルーチンについて説明する。ステップＳＢ１にて、情報処理部Ｂ３１は、カメラ画像データを取得する。具体的には、情報処理部Ｂ３１は、現在選択されているカメラによって撮像された画像を示す画像データを取得し、ＶＲＡＭＢ３１３に格納する。ここでは、外側撮像部Ｂ２３が選択されているため、情報処理部Ｂ３１は、外側撮像部Ｂ２３によって撮像された右目用画像と左目用画像とを示す右目用画像データと左目用画像データを取得する。
ステップＳＢ２にて、情報処理部Ｂ３１は、取得したカメラ画像データに基づいて、外側撮像部Ｂ２３により撮像された画像の中からマーカを検出することができたか否かを判定する。ここでは、このマーカは、白色の紙片の中央付近の黒色の四辺形が印刷され、その四辺形の中にローマ字の「Ｍ」が白抜きで印刷されたものとする。しかしながら、マーカはこのような形状、模様、色彩に限定されないで、マーカの位置（ここでは４点の位置）と方向とが認識できるものであればよい。具体的には、情報処理部Ｂ３１は、まず、外側撮像部Ｂ２３により撮像された画像の中から４本の線分によって連結される連結領域を抽出し、抽出した連結領域の内部のパターン画像を取得する。そして、情報処理部Ｂ３１は、取得したパターン画像を示すパターン画像データと外部メモリＢ４４に予め記憶されているパターン画像データとの類似度を計算し、計算した結果としての類似度を示す値が予め定められた閾値以上である場合（ステップＳＢ２にてＹＥＳ）、処理はステップＳＢ３に移され、類似度を示す値が予め定められた閾値未満である場合（ステップＳＢ２にてＮＯ）、処理はステップＳＢ５へ移される。
ステップＳＢ３にて、情報処理部Ｂ３１は、マーカ検出結果に基づいて、外側撮像部Ｂ２３（ゲーム装置Ｂ１０）とマーカとの位置関係を算出する。ここで、位置関係とは、例えば、外側撮像部Ｂ２３とマーカの一方を基準としたときの他方の３次元の位置及び姿勢として表される。なお、位置関係を算出する処理は、従来の拡張現実感技術における処理と同様な処理で実現できる。
ステップＳＢ４にて、情報処理部Ｂ３１は、外側撮像部Ｂ２３とマーカとの位置関係に基づいて、仮想カメラの位置及び姿勢を決定する。このとき、立体表示モードが選択されているので、情報処理部Ｂ３１は、外側撮像部（左）Ｂ２３ａによるカメラ画像データに基づいて左目用の仮想カメラの位置及び姿勢を算出して、外側撮像部（右）Ｂ２３ｂによるカメラ画像データに基づいて右目用の仮想カメラの位置及び姿勢を算出する。なお、仮想カメラの位置及び姿勢は、外側撮像部Ｂ２３とマーカとの位置関係から仮想カメラのビュー行列を求め、求めた仮想カメラのビュー行列により求められる。決定した仮想カメラの位置及び姿勢は、メインメモリＢ３２のデータ記憶領域Ｂ７０の仮想カメラデータＢ７８として記憶される。
ステップＳＢ５にて、情報処理部Ｂ３１は、手書きデータ取得処理を実行する。なお、このステップＳＢ５の手書きデータ取得処理はサブルーチン化されており、その詳細については、後述する。
ステップＳＢ６にて、情報処理部Ｂ３１は、所定のボタンが押下されたか否かを判定する。このとき、ユーザが、例えば操作ボタンＢ１４Ｂを押下すると、所定のボタンが押下されたと判定する。所定のボタンが押下されたと判定されると（ステップＳＢ６にてＹＥＳ）、処理はステップＳＢ７へ移される。もしそうでないと（ステップＳＢ６にてＮＯ）、この処理はステップＳＢ８へ移される。なお、所定のボタンは操作ボタンＢ１４Ｂに限定されず、他の操作ボタンであっても構わないし、別のイベントであっても構わない。イベントの一例として、ユーザによる手書き終了（一定時間以上タッチパネルＢ１３へのタッチ入力なし）が挙げられる。
ステップＳＢ７にて、情報処理部Ｂ３１は、ボタン操作フラグＢ７７を更新する。このとき、上述したように操作ボタンＢ１４Ｂが押下される毎に「０」が「１」に書き換えられて更新され、「１」が「０」に書き換えられて更新される。
ステップＳＢ８にて、情報処理部Ｂ３１は、上側ＬＣＤ表示処理を実行する。なお、このステップＳＢ８の上側ＬＣＤ表示処理はサブルーチン化されており、その詳細については、後述する。
ステップＳＢ９にて、情報処理部Ｂ３１は、下側ＬＣＤＢ１２に手書き入力画像を表示する。このとき、情報処理部Ｂ３１は、タッチパネル用ＶＲＡＭに記憶された手書き入力データに基づいて下側ＬＣＤＢ１２に手書き入力画像を表示する。
次に、図５０を参照して、手書きデータ取得処理のサブルーチンについて説明する。ステップＳＢ５１にて、情報処理部Ｂ３１は、手書きペンの色及び／又は太さの変更要求がユーザにより入力されたか否かを判定する。手書きペンの色及び／又は太さの変更要求が入力されたと判定されると（ステップＳＢ５１にてＹＥＳ）、処理はステップＳＢ５２へ移される。もしそうでないと（ステップＳＢ５１にてＮＯ）、この処理はステップＳＢ５３へ移される。
ステップＳＢ５２にて、情報処理部Ｂ３１は、ユーザの要求に応じて、手書きペンの色及び／又は太さを変更する。変更した手書きペンの色及び／又は太さは、メインメモリＢ３２のデータ記憶領域Ｂ７０の手書きペン設定データＢ７９として保持される。その後、処理はステップＳＢ５４へ移される。
ステップＳＢ５３にて、情報処理部Ｂ３１は、メインメモリＢ３２のデータ記憶領域Ｂ７０の手書きペン設定データＢ７９を読み出して、手書きペンの色及び／又は太さを設定する。このとき、手書きペンの色及び／又は太さは、手書きペン設定データＢ７９として記憶された初期値又は保持値に設定される。
ステップＳＢ５４にて、情報処理部Ｂ３１は、ユーザがタッチパネルＢ１３にタッチ入力したか否かを判定する。タッチパネルＢ１３にタッチ入力したと判定されると（ステップＳＢ５４にてＹＥＳ）、処理はステップＳＢ５５へ移される。もしそうでないと（ステップＳＢ５４にてＮＯ）、この処理はステップＳＢ５１へ戻されて、手書きペンの設定処理及びタッチ検出処理が行われる。
ステップＳＢ５５にて、情報処理部Ｂ３１は、タッチパネルＢ１３へのタッチ位置を示す座標を検出する。ステップＳＢ５６にて、情報処理部Ｂ３１は、検出した座標と、前回の処理時に検出した座標とに基づいて、タッチパネルＢ１３上での軌跡を算出する。この軌跡を繰り返し算出することにより手書きオブジェクトの画像データを検出できる。
ステップＳＢ５７にて、情報処理部Ｂ３１は、手書きペンの移動速度を算出する。具体的には、情報処理部Ｂ３１は、軌跡の距離とこのプログラムのサイクルタイム（フレーム時間）とに基づいて、手書きペンの移動速度を算出する。
ステップＳＢ５８にて、情報処理部Ｂ３１は、手書きペンの移動速度に基づいて、手書きペンの色を変更する。このとき、移動速度が速いと、明度を上げたり（又は下げたり）、彩度を上げたり（又は下げたり）する。また、移動速度が速いほど、太さを細くするようにしても構わない。
ステップＳＢ５９にて、情報処理部Ｂ３１は、手書き入力データをメインメモリＢ３２へ記憶する。このとき、座標、色情報及び太さ情報が付加情報として記憶される。ステップＳＢ６０にて、情報処理部Ｂ３１は、手書き入力データ（軌跡データ）を画像データ（ビットマップデータ）へ変換して、変換したデータをＶＲＡＭＢ３１３のタッチパネル用ＶＲＡＭとテクスチャ用ＶＲＡＭとに転送する。その後、この処理は終了する（メインルーチンへ戻る）。
次に、図５１を参照して、上側ＬＣＤ表示処理のサブルーチンについて説明する。ステップＳＢ８１にて、情報処理部Ｂ３１は、外側撮像部Ｂ２３により撮像した画像の中から、マーカを一定時間以上検出できていないか否かを判定する。このとき、ユーザがゲーム装置Ｂ１０を傾けることにより、マーカの位置が外側撮像部Ｂ２３の撮像範囲外である時間が一定時間以上になると、マーカを一定時間以上検出できていないと判定される。マーカを一定時間以上検出できていないと判定されると（ステップＳＢ８１にてＹＥＳ）、処理はステップＳＢ９２へ移される。もしそうでないと、すなわち、ユーザがゲーム装置Ｂ１０を傾けた場合に一定時間が経過するまでに外側撮像部Ｂ２３によりマーカを検出できると（ステップＳＢ８１にてＮＯ）、この処理はステップＳＢ８２へ移される。なお、マーカの検出方法は、ステップＳＢ２で説明した処理と同様な処理で行えばよい。
ステップＳＢ８２にて、情報処理部Ｂ３１は、ボタン操作フラグがオンであるか否かを判定する。ボタン操作フラグがオンであると判定されると（ステップＳＢ８２にてＹＥＳ）、処理はステップＳＢ８３へ移される。もしそうでないと（ステップＳＢ８２にてＮＯ）、この処理はステップＳＢ８５へ移される。
ステップＳＢ８３にて、情報処理部Ｂ３１は、経過時間に基づいて基本ポリゴンの位置を変化させて設定する。ここで、基本ポリゴンの位置の変化の一例としては、基本ポリゴンのマーカ座標系における位置を周期的に（一定の時間が経過するたびに）変化させることが挙げられる。このようにすると、基本ポリゴンは、例えば上下方向又は左右方向に飛び跳ねるように設定される。ここで、経過時間とは、例えば、ボタン操作フラグＢ７７がオフからオンになったときからの経過時間とする。
ステップＳＢ８４にて、情報処理部Ｂ３１は、経過時間により基本ポリゴンの形状を変化する。ここで、基本ポリゴンの形状の変化の一例としては、基本ポリゴンの縦横比を周期的に（一定の時間が経過するたびに）変化させることが挙げられる。このようにすると、基本ポリゴンが、横方向及び／又は縦方向に伸びたり縮んだりするように設定される。その後、処理はステップＳＢ８６へ移される。ここで、経過時間とは、例えば、ボタン操作フラグＢ７７がオフからオンになったときからの経過時間とする。
ステップＳＢ８５にて、情報処理部Ｂ３１は、マーカ座標系原点に基本ポリゴンの位置を設定する。ここで、マーカ座標系原点は、例えば、マーカの中心位置とする。
ステップＳＢ８６にて、情報処理部Ｂ３１は、設定された基本ポリゴンの位置及び形状に応じた影表示用のポリゴンを設定する。このとき、情報処理部Ｂ３１は、基本ポリゴンを９０度倒した位置に影表示用のポリゴンを設定する。なお、情報処理部Ｂ３１は、基本ポリゴンの位置が変化されるように設定されている場合には、その変化に従った位置に影表示用のポリゴンを設定する。
ステップＳＢ８７にて、情報処理部Ｂ３１は、設定された基本ポリゴンの位置及び形状に応じた厚み表示用のポリゴンを設定する。このとき、情報処理部Ｂ３１は、基本ポリゴンを予め定められた枚数だけ、基本ポリゴンの法線方向（基本ポリゴンは薄板形状とする）に並べて配置する。なお、情報処理部Ｂ３１は、基本ポリゴンの位置が変化されるように設定されている場合には、その変化に従った位置に厚み表示用のポリゴンを設定する。
ステップＳＢ８８にて、情報処理部Ｂ３１は、ポリゴン（基本、影表示用、厚み表示用）に手書き画像テクスチャを貼り付ける。なお、手書き画像テクスチャを示すテクスチャデータは、手書き入力データから変換された画像データであり、テクスチャ用ＶＲＡＭから読み出される。このとき、影表示用ポリゴンについては、手書き画像テクスチャの明度を所定の度合いで下げるようテクスチャデータを変更して手書き画像テクスチャを貼り付けるようになっている。また、厚み表示用のポリゴンについては、基本ポリゴンから離れるにしたがって、手書き画像テクスチャの明度を徐々に下げていくようにテクスチャデータを変更して手書き画像テクスチャを貼り付けるようになっている。
ステップＳＢ８９にて、情報処理部Ｂ３１は、仮想カメラで、手書き画像テクスチャが貼り付けられたポリゴンを撮影して手書き画像（手書きオブジェクト画像）データを生成する。このとき、立体表示モードが選択されているので、左目用の仮想カメラの位置及び姿勢に基づいて左目用の手書き画像を生成するとともに、右目用の仮想カメラの位置及び姿勢に基づいて右目用の手書き画像を生成する。
ステップＳＢ９０にて、情報処理部Ｂ３１は、手書き画像データとカメラ画像データとに基づいて、手書き画像とカメラ画像とを重ね合わせる。このとき、立体表示モードが選択されているので、情報処理部Ｂ３１は、左目用の手書き画像と外側撮像部（左）Ｂ２３ａにより撮影されたカメラ画像とを重ね合わせて左目用の重畳画像が作成され、右目用の手書き画像と外側撮像部（右）Ｂ２３ｂにより撮影されたカメラ画像とを重ね合わせて右目用の重畳画像が作成される。
ステップＳＢ９１にて、情報処理部Ｂ３１は、上側ＬＣＤＢ２２に、手書き画像とカメラ画像とを重ね合わせた重畳画像を表示する。このとき、立体視可能なように、左目用の重畳画像と右目用の重畳画像とが合成される。その後、この処理は終了する（メインルーチンへ戻る）。
ステップＳＢ９２にて、情報処理部Ｂ３１は、上側ＬＣＤＢ２２にカメラ画像を表示する。その後、この処理は終了する（メインルーチンへ戻る）。
以上のような構造及びフローチャートに基づく、本実施形態に係るゲーム装置Ｂ１０の動作について、図５２から図５７を参照して説明する。これらの図においては、手書き画像が表示される上側ＬＣＤＢ２２において、手書き画像とマーカとが重畳する部分は、本来はマーカも手書き画像も表示されている。しかしながら、図における表現を明確にするために、マーカの一部を表示していない。また、以下においては、マーカを動かさないでユーザがゲーム装置Ｂ１０を傾ける場合について説明するが、マーカはユーザにより動かされても構わない。さらに、マーカがユーザにより動かされて、かつ、ユーザがゲーム装置Ｂ１０を傾けても構わない。
（手書きオブジェクトの基本的な表示）
ユーザが、外側撮像部Ｂ２３を選択して、立体表示モードを選択して、上述したプログラムが実行されるように設定する。ユーザが、例えば机の上に置いたマーカを含めた範囲を外側撮像部Ｂ２３で撮影することにより、カメラ画像データが取得される（ステップＳＢ１）。マーカが検出されると（ステップＳＢ２にてＹＥＳ）、マーカの検出結果に基づいて、外側撮像部Ｂ２３とマーカとの位置関係が算出され（ステップＳＢ３）、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が決定される（ステップＳＢ４）。
ユーザが、外側撮像部Ｂ２３を選択して、立体表示モードを選択して、上述したプログラムが実行されるように設定する。ユーザが、例えば机の上に置いたマーカを含めた範囲を外側撮像部Ｂ２３で撮影することにより、カメラ画像データが取得される（ステップＳＢ１）。マーカが検出されると（ステップＳＢ２にてＹＥＳ）、マーカの検出結果に基づいて、外側撮像部Ｂ２３とマーカとの位置関係が算出され（ステップＳＢ３）、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が決定される（ステップＳＢ４）。
このような状態で、図５２に示すように、ユーザが下側ＬＣＤＢ１２に人物の顔を手書きする。なお、手書きペンの色及び太さの変更をユーザが要求しないで、初期値で手書きされるものとする（ステップＢ５１にてＮＯ）。図５２は、顔を途中まで描いた状態を示す。ユーザがタッチペンＢ２８を下側ＬＣＤＢ１２にタッチすると（ステップＳＢ５４）、座標が検出され（ステップＳＢ５５）、軌跡が検出され（ステップＳＢ５６）、ペンの移動速度が算出されて（ステップＳＢ５７）、その移動速度に応じて手書きペンの色が変更される（ステップＳＢ５８）。手書き入力データが画像データへ変換され、メインメモリＢ３２へ記憶されて（ステップＳＢ５９）、タッチパネル用ＶＲＡＭ及びテクスチャ用ＶＲＡＭへ転送される（ステップＳＢ６０）。
このような手書きの途中であっても、図４９から図５１に示すプログラムが周期的に（所定のサイクルタイムで）繰り返し動作しているので、図５２に示すように、上側ＬＣＤＢ２２に手書き途中の手書きオブジェクトが表示される。
この図５２のように手書きオブジェクトが表示されている場合のゲーム装置Ｂ１０の動作についてさらに説明する。なお、以下においては、所定のボタンが押下されていない場合の動作を説明した後に、所定のボタンが押下されている場合の動作を説明する。
所定のボタンが押下されていないので（ステップＳＢ６にてＮＯ）、ボタン操作フラグが更新されないで「０」（オフ）が維持される。一定時間以上経過する前にマーカが検出されると（ステップＳＢ８１にてＮＯ）、ボタン操作フラグがオフであるので（ステップＳＢ８２にてＮＯ）、マーカ座標系原点に基本ポリゴンの位置が設定される（ステップＳＢ８５）。
必要に応じて、手書きオブジェクトに、影が付加されたり、厚みが付加されたりする。この場合の動作については後述する。基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳＢ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳＢ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側ＬＣＤＢ２２に重畳画像が表示される（ステップＳＢ９１）。このとき、図５２に示すように、上側ＬＣＤＢ２２に、手書き途中のオブジェクトが、マーカ座標系の原点に配置されて表示される。なお、マーカ座標系及びその原点は予め設定されているものとする。また、図５２に示すように、下側ＬＣＤＢ１２にも手書きオブジェクトが表示される（ステップＳＢ９）。
さらに、ユーザが手書きを進めると、上述の動作が繰り返して行われて、図５３に示すように、上側ＬＣＤＢ２２に、ユーザが手書きしたオブジェクトが３次元仮想空間に存在するように立体表示モードで表示され、下側ＬＣＤＢ１２に手書きオブジェクトが平面的に表示される。
（ゲーム装置Ｂ１０を傾けた場合）
図５４（ａ）（この図は図５３からタッチペンＢ２８を削除した図）に示すように、上側ＬＣＤＢ２２に、ユーザが手書きしたオブジェクトが３次元仮想空間に存在するように表示されている場合に、マーカが外側撮像部Ｂ２３で撮像される範囲内において、ユーザがゲーム装置Ｂ１０を傾ける。ここでは、ゲーム装置Ｂ１０を、マーカを中心にして時計回りに約９０度傾けた（回転させた）ものとする。
図５４（ａ）（この図は図５３からタッチペンＢ２８を削除した図）に示すように、上側ＬＣＤＢ２２に、ユーザが手書きしたオブジェクトが３次元仮想空間に存在するように表示されている場合に、マーカが外側撮像部Ｂ２３で撮像される範囲内において、ユーザがゲーム装置Ｂ１０を傾ける。ここでは、ゲーム装置Ｂ１０を、マーカを中心にして時計回りに約９０度傾けた（回転させた）ものとする。
ゲーム装置Ｂ１０が傾けられても、図４９から図５１に示すプログラムが周期的に（サイクルタイムで）繰り返し動作しているので、外側撮像部Ｂ２３で撮影することにより、カメラ画像データが逐次取得され（ステップＳＢ１）、マーカが検出され（ステップＳＢ２にてＹＥＳ）、マーカの検出結果に基づいて、外側撮像部Ｂ２３とマーカとの位置関係が逐次算出され（ステップＳＢ３）、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が逐次決定される（ステップＳＢ４）。マーカ座標系原点に基本ポリゴンの位置が逐次設定され（ステップＳＢ８５）、基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳＢ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成され（ステップＳＢ８９）、手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側ＬＣＤＢ２２に重畳画像が逐次表示される（ステップＳＢ９１）。
図５４（ａ）に示す状態からゲーム装置Ｂ１０を、マーカを中心にして時計回りに約９０度傾けると、図５４（ｂ）に示す状態に上側ＬＣＤＢ２２の表示が変更される。これらの図に示すように、仮想カメラと基本ポリゴンとの相対的位置は、外側撮像部Ｂ２３により逐次撮像される画像に含まれる、マーカの認識結果に基づいて、変更される。このため、ゲーム装置Ｂ１０を傾けることにより撮像方向が変化すると、マーカの見え方の変化に対応して、仮想カメラと基本ポリゴンとの相対的位置が変更される。このため、ゲーム装置Ｂ１０を傾けることによる撮像方向の変化に対応して、仮想カメラにより撮影された手書き画像の表示が変更される。このように、ユーザが手書きした画像を現実世界に存在するように表示し、拡張現実感を実現することができる。
（所定のボタンが押下されている場合：基本ポリゴンの位置変化）
所定のボタンが押下されると（ステップＳＢ６にてＹＥＳ）、ボタン操作フラグが更新されて「１」（オン）に変更される（ステップＳＢ７）。一定時間以上経過する前にマーカが検出されると（ステップＳＢ８１にてＮＯ）、ボタン操作フラグがオンであるので（ステップＳＢ８２にてＹＥＳ）、経過時間に基づいて基本ポリゴンの位置（マーカ座標系原点に対する相対位置及び相対姿勢）が設定される（ステップＳＢ８３）。
所定のボタンが押下されると（ステップＳＢ６にてＹＥＳ）、ボタン操作フラグが更新されて「１」（オン）に変更される（ステップＳＢ７）。一定時間以上経過する前にマーカが検出されると（ステップＳＢ８１にてＮＯ）、ボタン操作フラグがオンであるので（ステップＳＢ８２にてＹＥＳ）、経過時間に基づいて基本ポリゴンの位置（マーカ座標系原点に対する相対位置及び相対姿勢）が設定される（ステップＳＢ８３）。
このとき、基本ポリゴンの表示位置が、例えば周期的に上下方向に往復移動するように変化される。このような基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳＢ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳＢ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側ＬＣＤＢ２２に重畳画像が表示される（ステップＳＢ９１）。このとき、手書き画像は、上下方向又は左右方向に飛び跳ねるように表示される。このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。
（所定のボタンが押下されている場合：基本ポリゴンの形状変化）
上述したように、所定のボタンが押下される場合に、基本ポリゴンの形状が変化する場合の動作について説明する。
上述したように、所定のボタンが押下される場合に、基本ポリゴンの形状が変化する場合の動作について説明する。
ボタン操作フラグがオンであるので（ステップＳＢ８２にてＹＥＳ）、経過時間により基本ポリゴンの形状が変化される（ステップＳＢ８４）。例えば、基本ポリゴンの縦横比が周期的に（一定の時間が経過するたびに）変化される。このような基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳＢ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳＢ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側ＬＣＤＢ２２に重畳画像が表示される（ステップＳＢ９１）。このとき、手書き画像は、横方向及び／又は縦方向に伸びたり縮んだりするように表示される。
このときの上側ＬＣＤＢ２２における表示例を図５５（ａ）及び図５５（ｂ）に示す。図５５（ａ）に示す表示例は、基本ポリゴンが縦方向に伸びた状態（横方向に縮んだ状態）であって、図５５（ｂ）に示す表示例は、基本ポリゴンが横方向に伸びた状態（縦方向に縮んだ状態）を、それぞれ示している。実際には、基本ポリゴンの縦横比が周期的に変化するので、図５５（ａ）に示す表示例と図５５（ｂ）に示す表示例とが、短い時間周期で繰り返し表示される。このため、手書き画像である顔の表情が変化するように表示される。このように動作するので、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。
なお、このように基本ポリゴンの形状が変化することに加えて、上述したように基本ポリゴンの位置が変化するようにしても構わない。この場合、手書き画像である顔の表情が変化しながら、上下方向又は左右方向に飛び跳ねるように表示される。このため、さらに自然な拡張現実感を実現することができる。
（影及び厚みが付与される場合）
所定のボタンが押下されているか否かに関わらず、基本ポリゴンに影及び厚みが付与される場合の動作について説明する。
所定のボタンが押下されているか否かに関わらず、基本ポリゴンに影及び厚みが付与される場合の動作について説明する。
ボタン操作フラグがオンであるのかオフであるのかに関わらず、基本ポリゴンの位置及び形状に応じた影表示用のポリゴンが設定される（ステップＳＢ８６）。このとき、基本ポリゴンの位置が変化されている場合には、その変化に従った位置に影表示用のポリゴンが設定される。このため、手書き画像が上下方向又は左右方向に飛び跳ねるように表示されるように基本ポリゴンの位置が変化される場合には、その飛び跳ねる手書き画像に対応する影が表示される。
さらに、基本ポリゴンの位置及び形状に応じた厚み表示用のポリゴンが設定される（ステップＳＢ８７）。このとき、予め定められた枚数だけの厚み表示用のポリゴンが並べて配置される。このため、基本ポリゴンの位置が変化されている場合には、その変化に従った位置に厚み表示用のポリゴンが設定される。このため、手書き画像が上下方向又は左右方向に飛び跳ねるように表示されるように基本ポリゴンの位置が変化される場合には、その飛び跳ねる手書き画像に対応する厚みが表示される。
このような基本ポリゴン、影表示用のポリゴン及び厚み表示用のポリゴンにテクスチャが貼り付けられて（ステップＳＢ８８）、仮想カメラでテクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳＢ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側ＬＣＤＢ２２に重畳画像が表示される（ステップＳＢ９１）。
影が表示される場合の、上側ＬＣＤＢ２２における表示例を図５６（ａ）及び図５６（ｂ）に示す。これらの図に示すように、手書き画像に対応する影が表示される。このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。
また、厚みが表示される場合の、上側ＬＣＤＢ２２における表示例を図５７（ａ）及び図５７（ｂ）に示す。これらの図に示すように、手書き画像に厚みが示される。このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。
（マーカが一定時間以上検出できない場合）
例えば、ユーザがゲーム装置Ｂ１０を傾け過ぎると、外側撮像部Ｂ２３でマーカが撮像できない場合がある。この場合には、撮像した画像の中から、マーカを一定時間以上検出できないので（ステップＳＢ８１にてＹＥＳ）、基本ポリゴンの設定等を実行しないで、カメラ画像を上側ＬＣＤＢ２２に表示する（ステップＳＢ９２）。このとき、上側ＬＣＤＢ２２には、マーカも手書き画像も表示されないで、外側撮像部Ｂ２３で撮像した風景だけが単に表示される。
例えば、ユーザがゲーム装置Ｂ１０を傾け過ぎると、外側撮像部Ｂ２３でマーカが撮像できない場合がある。この場合には、撮像した画像の中から、マーカを一定時間以上検出できないので（ステップＳＢ８１にてＹＥＳ）、基本ポリゴンの設定等を実行しないで、カメラ画像を上側ＬＣＤＢ２２に表示する（ステップＳＢ９２）。このとき、上側ＬＣＤＢ２２には、マーカも手書き画像も表示されないで、外側撮像部Ｂ２３で撮像した風景だけが単に表示される。
以上のように、本実施形態に係るゲーム装置Ｂ１０によると、外側撮像部Ｂ２３で撮像した風景（背景）に、タッチパネルにユーザが手書きした画像を、表示位置を変化させたり、形状を変化させたり、影を付与したり、厚みを付与したりすることにより、自然な拡張現実感を実現した画像を上側ＬＣＤＢ２２に表示することができる。このため、手書き画像について、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。この場合において、タッチパネルに手書きしている途中の画像であっても、上側ＬＣＤＢ２２に表示することができる。このため、拡張現実感を確認しながら、手書き画像を完成させることができる。
（変形例）
上記したステップＳＢ８６においては、基本ポリゴンの形状を変化させて、変化させた基本ポリゴンにテクスチャを貼り付けることにより、手書きオブジェクトの形状を変形させていた。しかしながら、本発明はこれに限定されず、テクスチャを変形させるようにしても構わない。
上記したステップＳＢ８６においては、基本ポリゴンの形状を変化させて、変化させた基本ポリゴンにテクスチャを貼り付けることにより、手書きオブジェクトの形状を変形させていた。しかしながら、本発明はこれに限定されず、テクスチャを変形させるようにしても構わない。
また、本実施形態に係るゲーム装置Ｂ１０が所定のゲームを実行するようにしても構わない。例えば、所定のゲームプログラムがデータ保存用内部メモリＢ３５や外部メモリＢ４４に記憶され、ゲーム装置Ｂ１０が当該プログラムを実行することによりゲームが行われる。例えば、当該ゲームにおいて、ユーザが下側ＬＣＤＢ１２で作成した手書きオブジェクトが上側ＬＣＤＢ２２に表示される。
また、本発明は、本実施形態に係るゲーム装置に限らず、任意の携帯型電子機器（例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）又は携帯電話）、パーソナルコンピュータ、カメラ等に適用することが可能である。
また、本実施形態に係るゲーム装置Ｂ１０の情報処理部Ｂ３１が所定のプログラムを実行することによって、上述したフローチャートによる手書きオブジェクト表示処理が行われた。これに限定されず、手書きオブジェクト表示処理の一部又は全部は、ゲーム装置Ｂ１０が備える専用回路によって行われてもよい。
また、上述した処理を１台のゲーム装置（情報処理装置）だけで処理するのではなく、互いに通信可能に接続された複数の情報処理装置で分担して処理するようにしても構わない。
また、１枚のポリゴンに手書き画像をテクスチャとして貼り付けるのではなく、手書き画像に応じた形状の３Ｄポリゴンモデルを逐次生成して、これを基本ポリゴンの代わりに配置するようにしても構わない。
また、本実施形態においては、手書きの軌跡で構成される手書きオブジェクトを示す手書きデータを入力する入力手段をタッチパネルＢ１３として説明したが、本発明はこれに限定されない。例えば、この入力手段は、マウスやタッチパッド等のポインティングデバイスであっても構わない。また、カメラや加速度センサによって入力装置の姿勢を検出し、入力装置が指し示す所定の面上の位置を当該姿勢に基づいて算出することにより、手書きデータを入力するようになっていても構わない。さらに、ボタンＢ１４Ｃを押下しつつ、十字ボタンＢ１４Ａで下側ＬＣＤＢ１２に表示されるカーソルを移動させた場合に、移動するカーソルに追従するような軌跡を手書きデータとして入力するようになっていても構わない。
また、本実施形態においては、外側撮像部Ｂ２３により撮像したカメラ画像と手書き画像とを重ね合わせて上側ＬＣＤＢ２２に表示させるビデオシースルー方式を説明したが、本発明はこれに限定されない。例えば、光学シースルー方式を実現する構成であってもよい。この場合には、少なくともカメラを備えたヘッドマウンドディスプレイで構成され、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して現実空間を視認できるようになっている。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画像を表示させることができるようになっている。これにより、ユーザは、現実空間と仮想オブジェクトの画像とが重ね合わせられた像を視認することができる。なお、ヘッドマウンドディスプレイに備えられたカメラは現実空間に配置されたマーカを検出するために用いられる。
図面を参照して、本発明のさらに他の一実施形態に係る画像処理プログラムを実行する画像処理装置について説明する。本発明の画像処理プログラムは、任意のコンピュータシステムで実行されることによって適用することができるが、画像処理装置の一例として携帯型のゲーム装置Ｃ１０を用い、ゲーム装置Ｃ１０で実行される画像処理プログラムを用いて説明する。なお、図５８〜図６０Ｄは、ゲーム装置Ｃ１０の外観の一例を示す平面図である。ゲーム装置Ｃ１０は、一例として携帯型のゲーム装置であり、図５８〜図６０Ｄに示すように折り畳み可能に構成されている。図５８は、開いた状態（開状態）におけるゲーム装置Ｃ１０の一例を示す正面図である。図５９は、開状態におけるゲーム装置Ｃ１０の一例を示す右側面図である。図６０Ａは、閉じた状態（閉状態）におけるゲーム装置Ｃ１０の一例を示す左側面図である。図６０Ｂは、閉状態におけるゲーム装置Ｃ１０の一例を示す正面図である。図６０Ｃは、閉状態におけるゲーム装置Ｃ１０の一例を示す右側面図である。図６０Ｄは、閉状態におけるゲーム装置Ｃ１０の一例を示す背面図である。ゲーム装置Ｃ１０は、撮像部を内蔵しており、当該撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ｃ１０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラから見た仮想空間画像等のコンピュータグラフィックス処理により生成された画像を画面に表示することもできる。
図５８〜図６０Ｄにおいて、ゲーム装置Ｃ１０は、下側ハウジングＣ１１および上側ハウジングＣ２１を有する。下側ハウジングＣ１１と上側ハウジングＣ２１とは、開閉可能（折り畳み可能）に連結されている。図５８の例では、下側ハウジングＣ１１および上側ハウジングＣ２１は、それぞれ横長の長方形の板状で形成され、互いの長辺部分で回動可能に連結されている。通常、ユーザは、開状態でゲーム装置Ｃ１０を使用する。そして、ユーザは、ゲーム装置Ｃ１０を使用しない場合には閉状態としてゲーム装置Ｃ１０を保管する。また、ゲーム装置Ｃ１０は、上記閉状態および開状態のみでなく、下側ハウジングＣ１１と上側ハウジングＣ２１とのなす角度が閉状態と開状態との間の任意の角度において、連結部分に発生する摩擦力などによってその開閉角度を維持することができる。つまり、上側ハウジングＣ２１を下側ハウジングＣ１１に対して任意の角度で静止させることができる。
図５８および図５９に示されるように、下側ハウジングＣ１１の上側長辺部分には、下側ハウジングＣ１１の内側面（主面）Ｃ１１Ｂに対して垂直な方向に突起する突起部Ｃ１１Ａが設けられる。また、上側ハウジングＣ２１の下側長辺部分には、上側ハウジングＣ２１の下側面から当該下側面に垂直な方向に突起する突起部Ｃ２１Ａが設けられる。下側ハウジングＣ１１の突起部Ｃ１１Ａと上側ハウジングＣ２１の突起部Ｃ２１Ａとが連結されることにより、下側ハウジングＣ１１と上側ハウジングＣ２１とが、折り畳み可能に接続される。
下側ハウジングＣ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｃ１２、タッチパネルＣ１３、各操作ボタンＣ１４Ａ〜Ｃ１４Ｌ（図５８、図６０Ａ〜図６０Ｄ）、アナログスティックＣ１５、ＬＥＤＣ１６Ａ〜Ｃ１６Ｂ、挿入口Ｃ１７、および、マイクロフォン用孔Ｃ１８が設けられる。以下、これらの詳細について説明する。
図５８に示すように、下側ＬＣＤＣ１２は下側ハウジングＣ１１に収納される。下側ＬＣＤＣ１２は横長形状であり、長辺方向が下側ハウジングＣ１１の長辺方向に一致するように配置される。下側ＬＣＤＣ１２は、下側ハウジングＣ１１の中央に配置される。下側ＬＣＤＣ１２は、下側ハウジングＣ１１の内側面（主面）に設けられ、下側ハウジングＣ１１の内側面に設けられた開口部から下側ＬＣＤＣ１２の画面が露出する。そして、ゲーム装置Ｃ１０を使用しない場合には上記閉状態としておくことによって、下側ＬＣＤＣ１２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤＣ１２の画素数は、一例として、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）である。他の例として、下側ＬＣＤＣ１２の画素数は、３２０ｄｏｔ×２４０ｄｏｔ（横×縦）である。下側ＬＣＤＣ１２は、後述する上側ＬＣＤＣ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤＣ１２として、任意の解像度の表示装置を利用することができる。
図５８に示されるように、ゲーム装置Ｃ１０は、入力装置として、タッチパネルＣ１３を備えている。タッチパネルＣ１３は、下側ＬＣＤＣ１２の画面上を覆うように装着されている。なお、本実施形態では、タッチパネルＣ１３は、例えば抵抗膜方式のタッチパネルが用いられる。ただし、タッチパネルＣ１３は、抵抗膜方式に限らず、例えば静電容量方式等、任意の押圧式のタッチパネルを用いることができる。本実施形態では、タッチパネルＣ１３として、下側ＬＣＤＣ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＣ１３の解像度と下側ＬＣＤＣ１２の解像度とが一致している必要はない。また、下側ハウジングＣ１１の上側面には挿入口Ｃ１７（図５８および図６０Ｄに示す点線）が設けられている。挿入口Ｃ１７は、タッチパネルＣ１３に対する操作を行うために用いられるタッチペンＣ２８を収納することができる。なお、タッチパネルＣ１３に対する入力は通常タッチペンＣ２８を用いて行われるが、タッチペンＣ２８に限らずユーザの指でタッチパネルＣ１３に対する入力をすることも可能である。
各操作ボタンＣ１４Ａ〜Ｃ１４Ｌは、所定の入力を行うための入力装置である。図５８に示されるように、下側ハウジングＣ１１の内側面（主面）には、各操作ボタンＣ１４Ａ〜Ｃ１４Ｌのうち、十字ボタンＣ１４Ａ（方向入力ボタンＣ１４Ａ）、ボタンＣ１４Ｂ、ボタンＣ１４Ｃ、ボタンＣ１４Ｄ、ボタンＣ１４Ｅ、電源ボタンＣ１４Ｆ、セレクトボタンＣ１４Ｊ、ＨＯＭＥボタンＣ１４Ｋ、およびスタートボタンＣ１４Ｌが設けられる。十字ボタンＣ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタンＣ１４Ｂ、ボタンＣ１４Ｃ、ボタンＣ１４Ｄ、およびボタンＣ１４Ｅは、十字状に配置される。ボタンＣ１４Ａ〜Ｃ１４Ｅ、セレクトボタンＣ１４Ｊ、ＨＯＭＥボタンＣ１４Ｋ、およびスタートボタンＣ１４Ｌには、ゲーム装置Ｃ１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタンＣ１４Ａは選択操作等に用いられ、各操作ボタンＣ１４Ｂ〜Ｃ１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタンＣ１４Ｆは、ゲーム装置Ｃ１０の電源をオン／オフするために用いられる。
アナログスティックＣ１５は、方向を指示するデバイスであり、下側ハウジングＣ１１の内側面の下側ＬＣＤＣ１２より左側領域の上部領域に設けられる。図５８に示すように、十字ボタンＣ１４Ａが下側ＬＣＤＣ１２より左側領域の下部領域に設けられ、アナログスティックＣ１５が十字ボタンＣ１４Ａの上方に設けられる。また、アナログスティックＣ１５および十字ボタンＣ１４Ａは、下側ハウジングＣ１１を把持した左手の親指で操作可能な位置に設計される。また、アナログスティックＣ１５を上部領域に設けたことにより、下側ハウジングＣ１１を把持する左手の親指が自然と位置するところにアナログスティックＣ１５が配され、十字ボタンＣ１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティックＣ１５は、そのキートップが、下側ハウジングＣ１１の内側面に平行にスライドするように構成されている。アナログスティックＣ１５は、ゲーム装置Ｃ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置Ｃ１０によって実行される場合、アナログスティックＣ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトは、アナログスティックＣ１５のキートップがスライドした方向に移動される。なお、アナログスティックＣ１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いてもよい。
十字状に配置される、ボタンＣ１４Ｂ、ボタンＣ１４Ｃ、ボタンＣ１４Ｄ、およびボタンＣ１４Ｅの４つのボタンは、下側ハウジングＣ１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンとアナログスティックＣ１５とは、下側ＬＣＤＣ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。
また、下側ハウジングＣ１１の内側面には、マイクロフォン用孔Ｃ１８が設けられる。マイクロフォン用孔Ｃ１８の下部には後述する音声入力装置としてのマイク（図６１参照）が設けられ、当該マイクがゲーム装置Ｃ１０の外部の音を検出する。
図６０Ｂおよび図６０Ｄに示されるように、下側ハウジングＣ１１の上側面には、ＬボタンＣ１４ＧおよびＲボタンＣ１４Ｈが設けられている。ＬボタンＣ１４Ｇは、下側ハウジングＣ１１の上面の左端部に設けられ、ＲボタンＣ１４Ｈは、下側ハウジングＣ１１の上面の右端部に設けられる。後述のように、ＬボタンＣ１４ＧおよびＲボタンＣ１４Ｈは、撮像部のシャッターボタン（撮影指示ボタン）として機能する。また、図６０Ａに示されるように、下側ハウジングＣ１１の左側面には、音量ボタンＣ１４Ｉが設けられる。音量ボタンＣ１４Ｉは、ゲーム装置Ｃ１０が備えるスピーカの音量を調整するために用いられる。
図６０Ａに示されるように、下側ハウジングＣ１１の左側面には開閉可能なカバー部Ｃ１１Ｃが設けられる。このカバー部Ｃ１１Ｃの内側には、ゲーム装置Ｃ１０とデータ保存用外部メモリＣ４６とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリＣ４６は、上記コネクタに着脱自在に装着される。データ保存用外部メモリＣ４６は、例えば、ゲーム装置Ｃ１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタおよびそのカバー部Ｃ１１Ｃは、下側ハウジングＣ１１の右側面に設けられてもよい。
図６０Ｄに示されるように、下側ハウジングＣ１１の上側面にはゲーム装置Ｃ１０とゲームプログラムを記録した外部メモリＣ４５を挿入するための挿入口Ｃ１１Ｄが設けられ、その挿入口Ｃ１１Ｄの内部には、外部メモリＣ４５と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。外部メモリＣ４５がゲーム装置Ｃ１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタおよび挿入口Ｃ１１Ｄは、下側ハウジングＣ１１の他の側面（例えば、右側面等）に設けられてもよい。
図５８に示されるように、下側ハウジングＣ１１の下側面には、ゲーム装置Ｃ１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＣ１６Ａが設けられる。また、図６０Ｃに示されるように、下側ハウジングＣ１１の右側面には、ゲーム装置Ｃ１０の無線通信の確立状況をユーザに通知する第２ＬＥＤＣ１６Ｂが設けられる。ゲーム装置Ｃ１０は、他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤＣ１６Ｂは、他の機器との無線通信が確立している場合に点灯する。ゲーム装置Ｃ１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジングＣ１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチＣ１９が設けられる（図６０Ｃ参照）。
なお、図示は省略するが、下側ハウジングＣ１１には、ゲーム装置Ｃ１０の電源となる充電式電池が収納され、下側ハウジングＣ１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
上側ハウジングＣ２１には、上側ＬＣＤＣ２２、２つの外側撮像部Ｃ２３（外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂ）、内側撮像部Ｃ２４、３Ｄ調整スイッチＣ２５、および３ＤインジケータＣ２６が設けられる。以下、これらの詳細について説明する。
図５８に示すように、上側ＬＣＤＣ２２は、上側ハウジングＣ２１に収納される。上側ＬＣＤＣ２２は、横長形状であり、長辺方向が上側ハウジングＣ２１の長辺方向に一致するように配置される。上側ＬＣＤＣ２２は、上側ハウジングＣ２１の中央に配置される。上側ＬＣＤＣ２２の画面の面積は、一例として下側ＬＣＤＣ１２の画面の面積よりも大きく設定される。具体的には、上側ＬＣＤＣ２２の画面は、下側ＬＣＤＣ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤＣ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤＣ１２の画面のアスペクト比における横幅の割合よりも大きく設定される。
上側ＬＣＤＣ２２の画面は、上側ハウジングＣ２１の内側面（主面）Ｃ２１Ｂに設けられ、上側ハウジングＣ２１の内側面に設けられた開口部から上側ＬＣＤＣ２２の画面が露出する。また、図５９に示すように、上側ハウジングＣ２１の内側面は、透明なスクリーンカバーＣ２７によって覆われている。スクリーンカバーＣ２７は、上側ＬＣＤＣ２２の画面を保護するとともに、上側ＬＣＤＣ２２と上側ハウジングＣ２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤＣ２２の画素数は、一例として６４０ｄｏｔ×２００ｄｏｔ（横×縦）である。他の例として、上側ＬＣＤＣ２２の画素数は、８００ｄｏｔ×２４０ｄｏｔ（横×縦）である。なお、本実施形態では、上側ＬＣＤＣ２２が液晶表示装置であるとしたが、例えばＥＬを利用した表示装置などが利用されてもよい。また、上側ＬＣＤＣ２２として、任意の解像度の表示装置を利用することができる。
上側ＬＣＤＣ２２は、立体視可能な画像を表示することが可能な表示装置である。上側ＬＣＤＣ２２は、実質的に同一の表示領域を用いて左目用画像と右目用画像とを表示することが可能である。具体的には、上側ＬＣＤＣ２２は、左目用画像と右目用画像とが所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。一例として、上側ＬＣＤＣ２２の画素数が８００ｄｏｔ×２４０ｄｏｔで構成される場合、横の８００ピクセルを左目用画像と右目用画像とに交互にそれぞれ４００ピクセル割り当てることによって立体視が可能となる。なお、上側ＬＣＤＣ２２は、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、上側ＬＣＤＣ２２は、裸眼立体視可能な表示装置である。この場合、上側ＬＣＤＣ２２は、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤＣ２２は、パララックスバリア方式のものとする。上側ＬＣＤＣ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤＣ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像をそれぞれ視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤＣ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである。）。このように、上側ＬＣＤＣ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチＣ２５によって行われる。
外側撮像部Ｃ２３は、上側ハウジングＣ２１の外側面（上側ＬＣＤＣ２２が設けられた主面と反対側の背面）Ｃ２１Ｄに設けられた２つの撮像部（外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂ）の総称である。外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの撮像方向は、いずれも外側面Ｃ２１Ｄの外向きの法線方向である。また、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、いずれも、上側ＬＣＤＣ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側左撮像部Ｃ２３ａの撮像方向および外側右撮像部Ｃ２３ｂの撮像方向は、平行である。外側左撮像部Ｃ２３ａと外側右撮像部Ｃ２３ｂとは、ゲーム装置Ｃ１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮像部（外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂ）のいずれか一方を単独で用いて、外側撮像部Ｃ２３を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像を行うことも可能である。本実施形態では、外側撮像部Ｃ２３は、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの２つの撮像部で構成される。外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図５８の破線および図６０Ｂの実線で示されるように、外側撮像部Ｃ２３を構成する外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ＬＣＤＣ２２の画面の横方向と平行に並べられて配置される。すなわち、２つの外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂを結んだ直線が上側ＬＣＤＣ２２の画面の横方向と平行になるように、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂが配置される。図５８の破線Ｃ２３ａおよびＣ２３ｂは、上側ハウジングＣ２１の内側面とは反対側の外側面に存在する外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂをそれぞれ表している。図５８に示すように、ユーザが上側ＬＣＤＣ２２の画面を正面から視認した場合に、外側左撮像部Ｃ２３ａは左側に外側右撮像部Ｃ２３ｂは右側にそれぞれ位置する。外側撮像部Ｃ２３をステレオカメラとして機能させるプログラムが実行されている場合、外側左撮像部Ｃ２３ａは、ユーザの左目で視認される左目用画像を撮像し、外側右撮像部Ｃ２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの間隔は、この範囲に限らない。
なお、本実施例においては、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、ハウジングに固定されており、撮像方向を変更することはできない。
外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ＬＣＤＣ２２（上側ハウジングＣ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ＬＣＤＣ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ハウジングＣ２１を開いた状態において、上側ハウジングＣ２１の上部であって、上側ＬＣＤＣ２２の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ハウジングＣ２１の外側面であって、上側ＬＣＤＣ２２を外側面に投影した場合、投影した上側ＬＣＤＣ２２の画面の上端よりも上方に配置される。
このように、外側撮像部Ｃ２３の２つの撮像部（外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂ）が上側ＬＣＤＣ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤＣ２２を正視した場合に、外側撮像部Ｃ２３それぞれの撮像方向をユーザの左右の目それぞれの視線方向と一致させることができる。また、外側撮像部Ｃ２３は、上側ＬＣＤＣ２２の画面の上端より上方の裏側の位置に配置されるため、外側撮像部Ｃ２３と上側ＬＣＤＣ２２とが上側ハウジングＣ２１の内部で干渉することがない。したがって、外側撮像部Ｃ２３を上側ＬＣＤＣ２２の画面の裏側に配置する場合と比べて、上側ハウジングＣ２１を薄く構成することが可能となる。
内側撮像部Ｃ２４は、上側ハウジングＣ２１の内側面（主面）Ｃ２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ｃ２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図５８に示すように、内側撮像部Ｃ２４は、上側ハウジングＣ２１を開いた状態において、上側ハウジングＣ２１の上部であって、上側ＬＣＤＣ２２の画面の上端よりも上方に配置され、上側ハウジングＣ２１の左右方向に関して中央の位置（上側ハウジングＣ２１（上側ＬＣＤＣ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図５８および図６０Ｂに示されるように、内側撮像部Ｃ２４は、上側ハウジングＣ２１の内側面であって、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの中間の裏側の位置に配置される。すなわち、上側ハウジングＣ２１の外側面に設けられた外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂを上側ハウジングＣ２１の内側面に投影した場合、当該投影した外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの中間に、内側撮像部Ｃ２４が設けられる。図６０Ｂで示される破線Ｃ２４は、上側ハウジングＣ２１の内側面に存在する内側撮像部Ｃ２４を表している。
このように、内側撮像部Ｃ２４は、外側撮像部Ｃ２３とは反対方向を撮像する。内側撮像部Ｃ２４は、上側ハウジングＣ２１の内側面であって、２つの外側撮像部Ｃ２３の中間位置となる裏側に設けられる。これにより、ユーザが上側ＬＣＤＣ２２を正視した際、内側撮像部Ｃ２４でユーザの顔を正面から撮像することができる。また、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂと内側撮像部Ｃ２４とが上側ハウジングＣ２１の内部で干渉することがないため、上側ハウジングＣ２１を薄く構成することが可能となる。
３Ｄ調整スイッチＣ２５は、スライドスイッチであり、上述のように上側ＬＣＤＣ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＣ２５は、上側ＬＣＤＣ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。図５８〜図６０Ｄに示されるように、３Ｄ調整スイッチＣ２５は、上側ハウジングＣ２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤＣ２２を正視した場合に、当該３Ｄ調整スイッチＣ２５を視認できる位置に設けられる。３Ｄ調整スイッチＣ２５は、所定方向（例えば、上下方向）の任意の位置にスライド可能なスライダを有しており、当該スライダの位置に応じて上側ＬＣＤＣ２２の表示モードが設定される。
例えば、３Ｄ調整スイッチＣ２５のスライダが最下点位置に配置されている場合、上側ＬＣＤＣ２２が平面表示モードに設定され、上側ＬＣＤＣ２２の画面には平面画像が表示される。なお、上側ＬＣＤＣ２２を立体表示モードのままとして、左目用画像と右目用画像とを同一の画像とすることにより平面表示してもよい。一方、上記最下点位置より上側にスライダが配置されている場合、上側ＬＣＤＣ２２は立体表示モードに設定される。この場合、上側ＬＣＤＣ２２の画面には立体視可能な画像が表示される。ここで、スライダが上記最下点位置より上側に配置されている場合、スライダの位置に応じて、立体画像の見え方が調整される。具体的には、スライダの位置に応じて、右目用画像および左目用画像における横方向の位置のずれ量が調整される。
３ＤインジケータＣ２６は、上側ＬＣＤＣ２２が立体表示モードか否かを示す。例えば、３ＤインジケータＣ２６は、ＬＥＤであり、上側ＬＣＤＣ２２の立体表示モードが有効の場合に点灯する。図５８に示されるように、３ＤインジケータＣ２６は、上側ハウジングＣ２１の内側面に設けられ、上側ＬＣＤＣ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤＣ２２の画面を正視した場合、ユーザは３ＤインジケータＣ２６を視認しやすい。したがって、ユーザは、上側ＬＣＤＣ２２の画面を視認している状態でも、上側ＬＣＤＣ２２の表示モードを容易に認識することができる。
また、上側ハウジングＣ２１の内側面には、スピーカ孔Ｃ２１Ｅが設けられる。後述するスピーカＣ４４からの音声がこのスピーカ孔Ｃ２１Ｅから出力される。
次に、図６１を参照して、ゲーム装置Ｃ１０の内部構成を説明する。なお、図６１は、ゲーム装置Ｃ１０の内部構成の一例を示すブロック図である。
図６１において、ゲーム装置Ｃ１０は、上述した各構成部に加えて、情報処理部Ｃ３１、メインメモリＣ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ｃ３３、データ保存用外部メモリＩ／ＦＣ３４、データ保存用内部メモリＣ３５、無線通信モジュールＣ３６、ローカル通信モジュールＣ３７、リアルタイムクロック（ＲＴＣ）Ｃ３８、加速度センサＣ３９、角速度センサＣ４０、電源回路Ｃ４１、およびインターフェイス回路（Ｉ／Ｆ回路）Ｃ４２等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＣ１１（または上側ハウジングＣ２１でもよい）内に収納される。
情報処理部Ｃ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｃ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｃ３１２等を含む情報処理手段である。本実施形態では、所定のプログラムがゲーム装置Ｃ１０内のメモリ（例えば外部メモリＩ／ＦＣ３３に接続された外部メモリＣ４５やデータ保存用内部メモリＣ３５）に記憶されている。情報処理部Ｃ３１のＣＰＵＣ３１１は、当該所定のプログラムを実行することによって、後述する画像処理やゲーム処理を実行する。なお、情報処理部Ｃ３１のＣＰＵＣ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部Ｃ３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）Ｃ３１３を含む。情報処理部Ｃ３１のＧＰＵＣ３１２は、情報処理部Ｃ３１のＣＰＵＣ３１１からの命令に応じて画像を生成し、ＶＲＡＭＣ３１３に描画する。そして、情報処理部Ｃ３１のＧＰＵＣ３１２は、ＶＲＡＭＣ３１３に描画された画像を上側ＬＣＤＣ２２および／または下側ＬＣＤＣ１２に出力し、上側ＬＣＤＣ２２および／または下側ＬＣＤＣ１２に当該画像が表示される。
情報処理部Ｃ３１には、メインメモリＣ３２、外部メモリＩ／ＦＣ３３、データ保存用外部メモリＩ／ＦＣ３４、およびデータ保存用内部メモリＣ３５が接続される。外部メモリＩ／ＦＣ３３は、外部メモリＣ４５を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／ＦＣ３４は、データ保存用外部メモリＣ４６を着脱自在に接続するためのインターフェイスである。
メインメモリＣ３２は、情報処理部Ｃ３１（ＣＰＵＣ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＣ３２は、画像処理やゲーム処理で用いられる各種データを一時的に記憶したり、外部（外部メモリＣ４５や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリＣ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
外部メモリＣ４５は、情報処理部Ｃ３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリＣ４５は、例えば読み取り専用の半導体メモリで構成される。外部メモリＣ４５が外部メモリＩ／ＦＣ３３に接続されると、情報処理部Ｃ３１は外部メモリＣ４５に記憶されたプログラムを読み込むことができる。情報処理部Ｃ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリＣ４６は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリＣ４６には、外側撮像部Ｃ２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリＣ４６がデータ保存用外部メモリＩ／ＦＣ３４に接続されると、情報処理部Ｃ３１はデータ保存用外部メモリＣ４６に記憶された画像を読み込み、上側ＬＣＤＣ２２および／または下側ＬＣＤＣ１２に当該画像を表示することができる。
データ保存用内部メモリＣ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリＣ３５には、無線通信モジュールＣ３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
無線通信モジュールＣ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＣ３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュールＣ３６およびローカル通信モジュールＣ３７は、情報処理部Ｃ３１に接続される。情報処理部Ｃ３１は、無線通信モジュールＣ３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールＣ３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
情報処理部Ｃ３１には、加速度センサＣ３９が接続される。加速度センサＣ３９は、３軸（本実施形態では、ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサＣ３９は、例えば下側ハウジングＣ１１の内部に設けられる。加速度センサＣ３９は、図５８に示すように、下側ハウジングＣ１１の長辺方向をｘ軸、下側ハウジングＣ１１の短辺方向をｙ軸、下側ハウジングＣ１１の内側面（主面）に対して垂直な方向をｚ軸として、ゲーム装置Ｃ１０の各軸方向へ生じる直線加速度の大きさをそれぞれ検出する。なお、加速度センサＣ３９は、例えば静電容量式の加速度センサとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサＣ３９は、１軸または２軸方向を検出する加速度センサであってもよい。情報処理部Ｃ３１は、加速度センサＣ３９が検出した加速度を示すデータ（加速度データ）を受け取って、ゲーム装置Ｃ１０の姿勢や動きを算出する。
情報処理部Ｃ３１には、角速度センサＣ４０が接続される。角速度センサＣ４０は、ゲーム装置Ｃ１０の３軸（本実施形態では、ｘｙｚ軸）周りに生じる角速度をそれぞれ検出し、検出した角速度を示すデータ（角速度データ）を情報処理部Ｃ３１へ出力する。角速度センサＣ４０は、例えば下側ハウジングＣ１１の内部に設けられる。情報処理部Ｃ３１は、角速度センサＣ４０から出力された角速度データを受け取って、ゲーム装置Ｃ１０の姿勢や動きを算出する。
情報処理部Ｃ３１には、ＲＴＣＣ３８および電源回路Ｃ４１が接続される。ＲＴＣＣ３８は、時間をカウントして情報処理部Ｃ３１に出力する。情報処理部Ｃ３１は、ＲＴＣＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ｃ４１は、ゲーム装置Ｃ１０が有する電源（下側ハウジングＣ１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置Ｃ１０の各部品に電力を供給する。
情報処理部Ｃ３１には、Ｉ／Ｆ回路Ｃ４２が接続される。Ｉ／Ｆ回路Ｃ４２には、マイクＣ４３、スピーカＣ４４、およびタッチパネルＣ１３が接続される。具体的には、Ｉ／Ｆ回路Ｃ４２には、図示しないアンプを介してスピーカＣ４４が接続される。マイクＣ４３は、ユーザの音声を検知して音声信号をＩ／Ｆ回路Ｃ４２に出力する。アンプは、Ｉ／Ｆ回路Ｃ４２からの音声信号を増幅し、音声をスピーカＣ４４から出力させる。Ｉ／Ｆ回路Ｃ４２は、マイクＣ４３およびスピーカＣ４４（アンプ）の制御を行う音声制御回路と、タッチパネルＣ１３の制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネルＣ１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部Ｃ３１に出力する。タッチ位置データは、タッチパネルＣ１３の入力面において入力が行われた位置（タッチ位置）の座標を示す。なお、タッチパネル制御回路は、タッチパネルＣ１３からの信号の読み込み、およびタッチ位置データの生成を所定時間に１回の割合で行う。情報処理部Ｃ３１は、タッチ位置データを取得することにより、タッチパネルＣ１３に対して入力が行われたタッチ位置を知ることができる。
操作ボタンＣ１４は、上記各操作ボタンＣ１４Ａ〜Ｃ１４Ｌからなり、情報処理部Ｃ３１に接続される。操作ボタンＣ１４から情報処理部Ｃ３１へは、各操作ボタンＣ１４Ａ〜Ｃ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部Ｃ３１は、操作ボタンＣ１４から操作データを取得することによって、操作ボタンＣ１４に対する入力に応じた処理を実行する。
下側ＬＣＤＣ１２および上側ＬＣＤＣ２２は、情報処理部Ｃ３１に接続される。下側ＬＣＤＣ１２および上側ＬＣＤＣ２２は、情報処理部Ｃ３１（ＧＰＵＣ３１２）の指示にしたがって画像を表示する。本実施形態では、情報処理部Ｃ３１は、例えば入力操作用の画像を下側ＬＣＤＣ１２に表示させ、外側撮像部Ｃ２３および内側撮像部Ｃ２４のいずれかから取得した画像を上側ＬＣＤＣ２２に表示させる。すなわち、情報処理部Ｃ３１は、上側ＬＣＤＣ２２に外側撮像部Ｃ２３で撮像した右目用画像と左目用画像とを用いた立体画像（立体視可能な画像）を表示させたり、内側撮像部Ｃ２４で撮像した平面画像を上側ＬＣＤＣ２２に表示させたり、上側ＬＣＤＣ２２に外側撮像部Ｃ２３で撮像した右目用画像および左目用画像の一方を用いた平面画像を表示させたりする。
具体的には、情報処理部Ｃ３１は、上側ＬＣＤＣ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤＣ２２の視差バリアがＯＮになっている場合、情報処理部Ｃ３１のＶＲＡＭＣ３１３に格納された（外側撮像部Ｃ２３で撮像された）右目用画像と左目用画像とが、上側ＬＣＤＣ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＣ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＣ２２の画面に表示される。そして、上側ＬＣＤＣ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤＣ２２の画面には立体視可能な画像が表示される。
外側撮像部Ｃ２３および内側撮像部Ｃ２４は、情報処理部Ｃ３１に接続される。外側撮像部Ｃ２３および内側撮像部Ｃ２４は、情報処理部Ｃ３１の指示にしたがって画像を撮像し、撮像した画像データを情報処理部Ｃ３１に出力する。本実施形態では、情報処理部Ｃ３１は、外側撮像部Ｃ２３および内側撮像部Ｃ２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部Ｃ３１に送る。具体的には、ユーザによるタッチパネルＣ１３や操作ボタンＣ１４を用いた操作によって使用する撮像部が選択される。そして、撮像部が選択されたことを情報処理部Ｃ３１（ＣＰＵＣ３１１）が検知し、情報処理部Ｃ３１が外側撮像部Ｃ２３または内側撮像部Ｃ２４に対して撮像指示を行う。
３Ｄ調整スイッチＣ２５は、情報処理部Ｃ３１に接続される。３Ｄ調整スイッチＣ２５は、スライダの位置に応じた電気信号を情報処理部Ｃ３１に送信する。
３ＤインジケータＣ２６は、情報処理部Ｃ３１に接続される。情報処理部Ｃ３１は、３ＤインジケータＣ２６の点灯を制御する。例えば、情報処理部Ｃ３１は、上側ＬＣＤＣ２２が立体表示モードである場合、３ＤインジケータＣ２６を点灯させる。
次に、図６２〜図６８を参照して、ゲーム装置Ｃ１０の使用状態および表示内容の一例を示す。なお、図６２は、ユーザがゲーム装置Ｃ１０を把持して操作する様子の一例を示す図である。図６３は、外側撮像部Ｃ２３の撮像対象となるマーカＭＫの一例を示す図である。図６４は、ユーザがゲーム装置Ｃ１０に向かって音声を入力している様子の一例を概説する図解図である。図６５〜図６８は、上側ＬＣＤＣ２２に表示される表示形態例を示す図である。
図６２に示されるように、ユーザは、下側ＬＣＤＣ１２および上側ＬＣＤＣ２２がユーザの方向を向く状態で、両手の掌と中指、薬指および小指とで下側ハウジングＣ１１の側面および外側面（内側面の反対側の面）を把持する。このように把持することで、ユーザは、下側ハウジングＣ１１を把持したまま、各操作ボタンＣ１４Ａ〜Ｃ１４ＥおよびアナログスティックＣ１５に対する操作を親指で行い、ＬボタンＣ１４ＧおよびＲボタンＣ１４Ｈに対する操作を人差し指で行うことができる。そして、図６２に示した一例では、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂによってゲーム装置Ｃ１０の背面側の実世界を撮像した実世界画像が、上側ＬＣＤＣ２２に立体視表示されている。
本実施形態では、画像処理プログラムに基づいて、外側撮像部Ｃ２３（外側左撮像部Ｃ２３ａ、外側右撮像部Ｃ２３ｂ）によって現在撮像されている実世界の画像と、３次元の仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側ＬＣＤＣ２２の画面に立体視可能に表示される。具体的には、外側撮像部Ｃ２３で撮影された２つの撮影画像は、所定の視差を有するように上側ＬＣＤＣ２２に供給されて立体視表示される。上側ＬＣＤＣ２２の画面上では、外側撮像部Ｃ２３に相対的に近い被写体が相対的に手前に位置するようにユーザに視認され、外側撮像部Ｃ２３から相対的に遠い被写体が相対的に遠くに位置するようにユーザに視認される。
図６２は、外側撮像部Ｃ２３によってマーカＭＫ（撮像対象となる実オブジェクト）が撮像されているときに、上側ＬＣＤＣ２２の画面に表示される仮想オブジェクトである仮想キャラクタＣ（立体画像）の一例を示している。図６２に示すように、マーカＭＫは、一例として矢印を含む正方形が描かれており、ＣＰＵＣ３１１は、外側撮像部Ｃ２３から取得される撮像画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該撮像画像にマーカＭＫが含まれているか否かを判定することができる。外側撮像部Ｃ２３によってマーカＭＫが撮像されているときには、上側ＬＣＤＣ２２には、実世界画像としてマーカＭＫが立体視可能にマーカ画像ＭＫｉとして表示されるとともに、実世界画像に含まれるマーカ画像ＭＫｉの表示位置に仮想キャラクタＣ（例えば、犬を模した仮想オブジェクト）が立体視可能に合成表示される。なお、図６２では、理解を容易にするために、上側ＬＣＤＣ２２の画面から仮想キャラクタＣをはみ出して図示しているが、実際には仮想キャラクタＣは画面内に表示される。後述の図６４についても同様である。また、図６２および図６４等においては、表示対象が飛び出ているように視認される様子を図示しているが、立体視可能に表示する、と言った場合、必ずしも飛び出し方向に視認される場合のみでなく、画面より奥側に、奥行きを持って表示される場合も含む。
ここで、図６３に示すように、マーカＭＫには、向き（前方向、右方向、上方向）が定義されており、マーカＭＫの配置方向に基づいた姿勢で仮想キャラクタＣを配置することができる。例えば、仮想キャラクタＣの前方向がマーカ画像ＭＫｉの前方向と一致するように、マーカ画像ＭＫｉの上に仮想キャラクタＣを配置することが可能である。なお、以下の説明では、マーカ画像ＭＫｉの前方向を「マーカの方向」と記載することがある。
図６４に示すように、ゲーム装置Ｃ１０に表示された仮想キャラクタＣに動作指示する場合、ユーザは、音声によって当該動作指示することが可能となっている。なお、ゲーム装置Ｃ１０は、ユーザがゲーム装置Ｃ１０に入力する音声は、話し言葉として発する音（言語）の他に、口笛の音、拍手の音、息の音等が考えられるが、本明細書で用いる「音声」は、これらの音を総称しているものとする。
ゲーム装置Ｃ１０にユーザの音声を判別させるためには、プレイヤは、マイクＣ４３（マイクロフォン用孔Ｃ１８）に向かって自身の音声を入力する。一方、ゲーム装置Ｃ１０は、Ｉ／Ｆ回路Ｃ４２を介して、マイクＣ４３から入力された音声信号を示す音声データを取得し、当該音声データを解析することによってマイクＣ４３から入力された音声を判別する。そして、ゲーム装置Ｃ１０は、マイクＣ４３から入力された音声の判別結果に応じた処理を行い、当該判別結果に応じて仮想キャラクタＣを動作させる。一例として、ゲーム装置Ｃ１０は、マイクＣ４３から入力された音声が、仮想キャラクタＣを立ち上がらせる動作を指示する言語（例えば、「チンチン」）であると判別された場合、判別された音声に応じて仮想キャラクタＣに立ち上がらせる動作を行わせて上側ＬＣＤＣ２２に表示する（図６４の状態）。
次に、図６５〜図６８を参照して、外側撮像部Ｃ２３によってマーカＭＫが撮像されているときに上側ＬＣＤＣ２２の画面に表示される仮想キャラクタＣの他の一例について説明する。
図６５において、仮想キャラクタＣは、「通常状態」で表示されている。ここで、「通常状態」は、ユーザからの動作指示に基づいた動作を行っていない場合に仮想キャラクタＣが行動している状態を示している。例えば、「通常状態」において、仮想キャラクタＣは、４つ足を地面（マーカ画像ＭＫｉ上またはマーカ画像ＭＫｉと同一平面上）につけている状態で静止するまたは４つ足で自由に動いて行動する。図６５に示した一例では、仮想キャラクタＣが４つ足を地面につけて仮想キャラクタＣの前方向がマーカ画像ＭＫｉの前方向と一致する状態を「通常状態」として表示されている。
図６６では、仮想キャラクタＣを座らせる動作を指示する言語（例えば、「おすわり」）をゲーム装置Ｃ１０に入力した場合の動作を示している。図６６に示すように、ゲーム装置Ｃ１０に仮想キャラクタＣを座らせる動作を指示する音声が入力された場合、仮想キャラクタＣは、地面（マーカ画像ＭＫｉ上またはマーカ画像ＭＫｉと同一平面上）に座る動作を開始し、仮想キャラクタＣの前方向をマーカ画像ＭＫｉの前方向と一致させて地面上に座る。このように、仮想キャラクタＣに芸の名称を示す言語（例えば、「おすわり」や「ふせ」）をゲーム装置Ｃ１０に入力した場合、仮想キャラクタＣの前方向をマーカ画像ＭＫｉの前方向と一致させて仮想キャラクタＣが当該言語に該当する芸をすることがある。また、他の例として、仮想キャラクタＣの名前を示す言語をゲーム装置Ｃ１０に入力した場合、仮想キャラクタＣの前方向をマーカ画像ＭＫｉの前方向と一致させて仮想キャラクタＣが吠えることがある。
例えば、図６７に示すように、ユーザがゲーム装置Ｃ１０を移動させることによって、撮像されるマーカＭＫの位置および向きが変化する、すなわち上側ＬＣＤＣ２２の画面に表示されるマーカ画像ＭＫｉの位置および向きが変化する場合を考える。この場合、撮像画像の変化に追従するように、仮想キャラクタＣの位置および向きが変化する。例えば、図６６のように仮想キャラクタＣが座っている状態に対してマーカの方向が変化した場合、当該変化に追従するように仮想キャラクタＣの向きが変化して座っている状態を継続している（図６７の状態）。したがって、ユーザには仮想キャラクタＣがあたかも実世界に本当に存在しているかのように見える。
一方、本実施形態では、仮想キャラクタＣに与えられた音声による動作指示に応じて、マーカの方向ではなく、画像を生成しているカメラ（すなわち、仮想キャラクタＣが配置された仮想世界画像を生成する仮想カメラ）の位置に基づいた姿勢で仮想キャラクタＣが動作することもできる。例えば、図６８では、仮想キャラクタＣを呼び寄せる動作を指示する音声（例えば、口笛の音）をゲーム装置Ｃ１０に入力した場合の動作を示している。図６８に示すように、ゲーム装置Ｃ１０に仮想キャラクタＣを呼び寄せる動作を指示する音声が入力された場合、仮想キャラクタＣは、４つ足状態になって仮想キャラクタＣの前方向が仮想カメラへの方向と一致するように動作する。すなわち、上記動作では、仮想キャラクタＣが表示される向きがマーカ画像ＭＫｉの方向ではなく、仮想世界画像を生成する仮想カメラの位置に基づいて決定される。なお、上述した説明では、仮想キャラクタＣを呼び寄せる動作を指示する音声の一例として口笛の音を用いたが、他の音声であってもかまわない。例えば、仮想キャラクタＣを呼び寄せる動作を指示する音声として拍手の音を設定し、拍手の音が入力された場合に４つ足状態になって仮想キャラクタＣの前方向が仮想カメラへの方向と一致するように仮想キャラクタＣが動作してもかまわない。この場合、口笛の音が入力された場合に仮想キャラクタＣの前方向が仮想カメラへの方向と一致するように仮想キャラクタＣが遠吠えをする動作をしてもかまわない。
また、本実施形態では、仮想キャラクタＣに音声による動作指示を与えた場合、当該動作指示を与えた時点において仮想キャラクタＣが撮像（表示）されている方向によって、仮想キャラクタＣに与える動作指示が変化することがある。例えば、息の音をゲーム装置Ｃ１０に入力した場合、当該入力が行われた時点で仮想キャラクタＣが上側ＬＣＤＣ２２の表示範囲内に存在し、かつ、仮想キャラクタＣの前方向が仮想カメラの方向付近を向いていれば、仮想キャラクタＣが息を吹きかけられたことによって嫌がるように動作する。その一方で、息の音をゲーム装置Ｃ１０に入力した時点で仮想キャラクタＣの前方向が仮想カメラの方向付近を向いていなければ、仮想キャラクタＣが上側ＬＣＤＣ２２の表示範囲内に存在していても当該入力に応じた動作をすることなく、何の反応もしない。例えば、仮想キャラクタＣが息を吹きかけられたことによって嫌がるように動作は、「通常状態」で仮想キャラクタＣが表示されている場合に生じる動作である。この場合、仮想キャラクタＣの前方向がマーカ画像ＭＫｉの前方向と一致するような姿勢で表示されているため、当該動作指示は、マーカの方向と仮想カメラの位置との関係が所定の位置関係になっている場合に成立するものであると考えることもできる。
このように、本実施形態においては、実カメラにより撮像されて上側ＬＣＤＣ２２に表示された実世界画像内に、仮想オブジェクトが配置されて付加表示され、音声認識された音声に基づいた指示に応じて当該仮想オブジェクトが動作する。したがって、ＡＲ（拡張現実：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実現する上で、音声を現実空間とコンピュータとの間のインターフェイスとして採用することで、入力の簡便性が向上し、入力内容もバリエーションに富んだものになるため、現実空間とコンピュータとの間のインタラクティブ性は高まって興趣性および操作性が向上する。また、操作ボタン、キーボード、タッチパネル、マウス、ジョイスティック、およびトラックボード等の従来の入力装置を用いて操作する場合と比較して、音声入力による操作は、臨場感や操作の直感性を高めることができる。なお、上述した例では、実世界画像内に付加表示される仮想オブジェクトの一例として仮想キャラクタＣを用いたが、実世界画像内に付加表示されるものは他の仮想物体や文字であってもよい。また、上述した例では、音声認識された音声に基づいた指示に応じて、付加表示された仮想キャラクタＣが動作するが、音声認識された音声に基づいた指示に応じて、他の処理が行われてもかまわない。例えば、音声認識された音声に基づいた指示に応じて、実世界画像内に付加表示される仮想オブジェクトや文字等の改変をする処理、表示態様を変化させる処理、選択をする処理、出現／消去をする処理等、様々な処理を行うことが考えられる。
次に、図６９〜図７４を参照して、ゲーム装置Ｃ１０で実行される画像処理プログラムによる具体的な処理動作について説明する。なお、図６９は、画像処理プログラムを実行することに応じて、メインメモリＣ３２に記憶される各種データの一例を示す図である。図７０は、図６９の音声動作対応テーブルデータＤｉの一例を示す図である。図７１は、当該画像処理プログラムを実行することによってゲーム装置Ｃ１０が画像処理する動作の一例を示すフローチャートである。図７２は、図７１のステップＣ５４で行われる音声認識処理の詳細な動作の一例を示すサブルーチンである。図７３は、図７１のステップＣ５５で行われる画像合成処理の詳細な前半の動作の一例を示すサブルーチンである。図７４は、図７１のステップＣ５５で行われる画像合成処理の詳細な後半の動作の一例を示すサブルーチンである。なお、これらの処理を実行するためのプログラムは、ゲーム装置Ｃ１０に内蔵されるメモリ（例えば、データ保存用内部メモリＣ３５）や外部メモリＣ４５またはデータ保存用外部メモリＣ４６に含まれており、ゲーム装置Ｃ１０の電源がオンになったときに、内蔵メモリから、または外部メモリＩ／ＦＣ３３やデータ保存用外部メモリＩ／ＦＣ３４を介して外部メモリＣ４５またはデータ保存用外部メモリＣ４６からメインメモリＣ３２に読み出されて、ＣＰＵＣ３１１によって実行される。
図６９において、メインメモリＣ３２には、内蔵メモリ、外部メモリＣ４５、またはデータ保存用外部メモリＣ４６から読み出されたプログラムや画像処理において生成される一時的なデータが記憶される。図６９において、メインメモリＣ３２のデータ記憶領域には、左カメラ画像データＤａ、右カメラ画像データＤｂ、音声波形データＤｃ、操作入力データＤｄ、左カメラ画像認識結果データＤｅ、右カメラ画像認識結果データＤｆ、スペクトル情報データＤｇ、メルフィルタ出力情報データＤｈ、音声動作対応テーブルデータＤｉ、音声登録データＤｊ、拍手フラグデータＤｋ、口笛フラグデータＤｌ、息フラグデータＤｍ、登録音声フラグデータＤｎ、通常状態フラグデータＤｏ、左仮想世界画像データＤｐ、右仮想世界画像データＤｑ、および仮想オブジェクトデータＤｒ等が格納される。また、メインメモリＣ３２のプログラム記憶領域には、画像処理プログラムを構成する各種プログラム群Ｐａが記憶される。
左カメラ画像データＤａは、外側左撮像部Ｃ２３ａによって撮像された最新の左目用のカメラ画像を示すデータである。右カメラ画像データＤｂは、外側右撮像部Ｃ２３ｂによって撮像された最新の右目用のカメラ画像を示すデータである。なお、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂが撮像し、撮像されたカメラ画像を用いて左カメラ画像データＤａおよび右カメラ画像データＤｂをそれぞれ更新する周期は、ゲーム装置Ｃ１０が処理する時間単位（例えば、１／６０秒）と同じでもいいし、当該時間単位より短い時間でもかまわない。ゲーム装置Ｃ１０が処理する周期より左カメラ画像データＤａおよび右カメラ画像データＤｂをそれぞれ更新する周期が短い場合、後述する処理とは独立して適宜左カメラ画像データＤａおよび右カメラ画像データＤｂをそれぞれ更新してもかまわない。この場合、後述する撮像画像を取得するステップにおいて、左カメラ画像データＤａおよび右カメラ画像データＤｂがそれぞれ示す最新のカメラ画像を常に用いて処理すればよい。
音声波形データＤｃは、マイクＣ４３に入力された音声波形に対応する音声データである。例えば、音声波形データＤｃは、マイクＣ４３に対するサンプリングレート毎（例えば、ゲーム処理する時間単位（１フレーム；例えば、１／６０秒）につき１２８サンプル）に取得された音声データであり、ゲーム装置Ｃ１０がゲーム処理する時間単位毎に利用される。なお、本実施形態においては、後述する音声認識処理に必要なフレーム分の履歴が音声波形データＤｃの音声データとして格納されるため、当該フレーム分の音声データが音声波形データＤｃとして格納されるように、ＦＩＦＯ方式で音声波形データＤｃの音声データを更新するようにしてもよい。
操作入力データＤｄは、ユーザがゲーム装置Ｃ１０を操作した操作情報を示すデータである。例えば、操作入力データＤｄは、ユーザがゲーム装置Ｃ１０の操作ボタンＣ１４やアナログスティックＣ１５等の操作子を操作したことを示すデータを含んでいる。操作ボタンＣ１４やアナログスティックＣ１５からの操作データは、ゲーム装置Ｃ１０が処理する時間単位（例えば、１／６０秒）毎に取得され、当該取得に応じて操作入力データＤｄに格納されて更新される。なお、後述する処理フローでは、操作入力データＤｄが処理周期である１フレーム毎に更新される例を用いて説明するが、他の処理周期で更新されてもかまわない。例えば、操作ボタンＣ１４やアナログスティックＣ１５等の操作子をユーザが操作したことを検出する周期毎に操作入力データＤｄを更新し、当該更新された操作入力データＤｄを処理周期毎に利用する態様でもかまわない。この場合、操作入力データＤｄを更新する周期と、処理周期とが異なることになる。
左カメラ画像認識結果データＤｅは、外側左撮像部Ｃ２３ａによって撮像された左目用のカメラ画像を用いて算出された、外側左撮像部Ｃ２３ａとマーカＭＫとの位置関係に関するデータである。第１の例として、上記位置関係に関するデータは、外側左撮像部Ｃ２３ａとマーカＭＫとの相対的な位置関係を示すデータである。一例として、上記位置関係に関するデータは、マーカＭＫの位置を基準として実世界における外側左撮像部Ｃ２３ａの位置および／または姿勢を示すデータである。他の例として、上記位置関係に関するデータは、外側左撮像部Ｃ２３ａの位置および撮像方向を基準として実世界におけるマーカＭＫの位置および／または姿勢を示すデータである。第２の例として、上記位置関係に関するデータは、外側左撮像部Ｃ２３ａによって撮像されたカメラ画像におけるマーカ画像ＭＫｉの位置および／または姿勢を認識することにより算出される行列を示すデータである。例えば、上記行列は、マーカＭＫの位置および姿勢を基準として設定される座標系（マーカ座標系）で表された座標を、外側左撮像部Ｃ２３ａの位置および姿勢を基準として表された座標系（外側左撮像部座標系）に変換する座標変換行列である。つまり、上記行列は、マーカＭＫの位置および姿勢に対する外側左撮像部Ｃ２３ａの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカ座標系における外側左撮像部Ｃ２３ａの位置および姿勢の情報を含む行列である。
右カメラ画像認識結果データＤｆは、外側右撮像部Ｃ２３ｂによって撮像された右目用のカメラ画像を用いて算出された、外側右撮像部Ｃ２３ｂとマーカＭＫとの位置関係に関するデータである。第１の例として、上記位置関係に関するデータは、外側右撮像部Ｃ２３ｂとマーカＭＫとの相対的な位置関係を示すデータである。一例として、上記位置関係に関するデータは、マーカＭＫの位置を基準として実世界における外側右撮像部Ｃ２３ｂの位置および／または姿勢を示すデータである。他の例として、上記位置関係に関するデータは、外側右撮像部Ｃ２３ｂの位置を基準として実世界におけるマーカＭＫの位置および／または姿勢を示すデータである。第２の例として、上記位置関係に関するデータは、外側右撮像部Ｃ２３ｂによって撮像されたカメラ画像におけるマーカ画像ＭＫｉの位置および／または姿勢を認識することにより算出される行列を示すデータである。例えば、上記行列は、上記マーカ座標系で表された座標を、外側右撮像部Ｃ２３ｂの位置および姿勢を基準として表された座標系（外側右撮像部座標系）に変換する座標変換行列である。つまり、上記行列は、マーカＭＫの位置および姿勢に対する外側右撮像部Ｃ２３ｂの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカ座標系における外側右撮像部Ｃ２３ｂの位置および姿勢の情報を含む行列である。
なお、本明細書において、マーカ座標系から外側左撮像部座標系または外側右撮像部座標系への変換行列のことを「マーカ・カメラ変換行列」と呼ぶ。つまり、上述した行列は、それぞれ「マーカ・カメラ変換行列」である。
スペクトル情報データＤｇは、マイクＣ４３に入力された音声波形を示す音声波形情報を短時間ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）分析することによって得られるスペクトルを示すデータであり、後述する音声認識処理に必要なフレーム分のデータが格納される。
メルフィルタ出力情報データＤｈは、ＦＦＴ分析によって得られたスペクトルをメルフィルタバンク分析することによって得られる帯域フィルタバンクの出力を示すデータであり、後述する音声認識処理に必要なフレーム分のデータが格納される。
音声動作対応テーブルデータＤｉは、音声認識結果に応じてそれぞれ動作指示される内容が予め記述されたテーブルを示すデータである。図７０に示すように、音声動作対応テーブルデータＤｉは、音声認識結果に応じて、キャラクタの動作内容および当該動作の基準がそれぞれ記述されている。例えば、予めまたは登録操作によって登録されている登録音声１（例えば、「おすわり」）に音声認識結果が照合された場合、当該音声入力に応じてキャラクタがおすわり動作をマーカ基準で行うことが記述されている。また、音声認識結果において拍手が入力されたと判定された場合、当該音声入力に応じてキャラクタが４つ足でカメラの方に向く動作をカメラ基準で行うことが記述されている。また、音声認識結果において口笛が入力されたと判定された場合、当該音声入力に応じてキャラクタがカメラの方に向いて遠吠えをする動作をカメラ基準で行うことが記述されている。ここで、音声動作対応テーブルデータＤｉに記述されている登録音声は、後述するようにゲーム装置Ｃ１０から音声入力が促されることに応じて、ユーザが前もって入力した音声言語を用いてそれぞれ登録されてもいいし、当該画像処理プログラムがインストールされる時点で予め登録されたものでもよい。また、音声動作対応テーブルデータＤｉに記述されている動作基準は、上記マーカの方向を基準としたキャラクタの動作が「マーカ基準」と記述されており、仮想カメラの位置や方向を基準としたキャラクタの動作が「カメラ基準」と記述されている。
音声登録データＤｊは、ゲーム装置Ｃ１０から音声入力が促されることに応じて、ユーザが前もって入力して登録した音声（言語）を示すデータである。例えば、ユーザが音声を登録する際には、キャラクタに与える動作指示に対応させた音声入力が促される。そして、入力された音声を示すデータが、当該音声入力を促した動作指示に対応させて（例えば、音声動作対応テーブルデータＤｉに記述されている登録音声番号にそれぞれ対応させて）音声登録データＤｊに登録される。なお、音声登録データＤｊに登録される音声は、当該画像処理プログラムがインストールされる時点で予め登録されたものでもよい。
拍手フラグデータＤｋは、音声認識処理においてマイクＣ４３に入力された音声が拍手であると判定された場合にオンに設定される拍手フラグを示すデータである。口笛フラグデータＤｌは、音声認識処理においてマイクＣ４３に入力された音声が口笛であると判定された場合にオンに設定される口笛フラグを示すデータである。息フラグデータＤｍは、音声認識処理においてマイクＣ４３に入力された音声が息であると判定された場合にオンに設定される息フラグを示すデータである。登録音声フラグデータＤｎは、音声認識処理においてマイクＣ４３に入力された音声が登録音声に照合されたと判定された場合にオンに設定される登録音声フラグを示すデータである。通常状態フラグデータＤｏは、仮想キャラクタＣが「通常状態」である場合にオンに設定される通常状態フラグを示すデータである。
左仮想世界画像データＤｐは、仮想オブジェクトが配置された仮想空間を、左仮想カメラから見た画像（左目用の仮想世界画像）を示すデータである。例えば、左仮想世界画像データＤｐは、左仮想カメラから見た仮想オブジェクトが配置された仮想空間を透視投影することによって得られる左目用の仮想世界画像を示すデータである。右仮想世界画像データＤｑは、仮想オブジェクトが配置された仮想空間を、右仮想カメラから見た画像（右目用の仮想世界画像）を示すデータである。例えば、右仮想世界画像データＤｑは、右仮想カメラから見た仮想オブジェクトが配置された仮想空間を透視投影することによって得られる右目用の仮想世界画像を示すデータである。
仮想オブジェクトデータＤｒは、前述の仮想オブジェクトに関連する情報であって、仮想オブジェクトの形状を表す３Ｄモデルデータ（ポリゴンデータ）や、仮想オブジェクトの模様を表すテクスチャデータや、仮想空間における仮想オブジェクトの位置や姿勢の情報などを含む。
次に、図７１を参照して、情報処理部Ｃ３１の動作について説明する。まず、ゲーム装置Ｃ１０の電源（電源ボタンＣ１４Ｆ）がＯＮされると、ＣＰＵＣ３１１によってブートプログラム（図示せず）が実行され、これにより内蔵メモリまたは外部メモリＣ４５やデータ保存用外部メモリＣ４６に格納されているプログラムがメインメモリＣ３２にロードされる。そして、当該ロードされたプログラムが情報処理部Ｃ３１（ＣＰＵＣ３１１）で実行されることによって、図７１に示すステップ（図７１〜図７４では「Ｓ」と略称する）が実行される。なお、図７１〜図７４においては、本発明に直接関連しない処理についての記載を省略する。また、本実施形態では、図７１〜図７４のフローチャートの全てのステップの処理をＣＰＵＣ３１１が実行するものとして説明するが、図７１〜図７４のフローチャートの一部のステップの処理を、ＣＰＵＣ３１１以外のプロセッサや専用回路が実行するようにしてもよい。
図７１において、ＣＰＵＣ３１１は、画像処理における初期設定を行い（ステップＣ５１）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、上記ステップＣ５１において、当該画像処理で用いられる各パラメータを初期化する。なお、ＣＰＵＣ３１１は、音声認識フラグ（拍手フラグ、口笛フラグ、息フラグ、登録音声フラグ）については全てオフに初期化し、通常状態フラグについてはオンに初期化する。
次に、ＣＰＵＣ３１１は、外側撮像部Ｃ２３から出力される両方のカメラ画像（すなわち左目用のカメラ画像および右目用のカメラ画像）を示す撮像画像データ、マイクＣ４３に入力された音声波形に対応する音声データ、およびユーザが操作ボタンＣ１４やアナログスティックＣ１５等の操作子を操作した操作情報を示す操作入力データを取得し（ステップＣ５２）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、取得した左目用のカメラ画像を示す撮像画像データを用いて、左カメラ画像データＤａを更新する。ＣＰＵＣ３１１は、取得した右目用のカメラ画像を示す撮像画像データを用いて、右カメラ画像データＤｂを更新する。ＣＰＵＣ３１１は、取得した音声データを用いて、音声波形データＤｃを更新する。そして、ＣＰＵＣ３１１は、取得した操作入力データを用いて、操作入力データＤｄを更新する。
次に、ＣＰＵＣ３１１は、左右両方のカメラ画像を示す撮像画像データをそれぞれ用いて撮影画像認識処理を行い（ステップＣ５３）、次のステップに処理を進める。以下、上記ステップＣ５３で行う撮影画像認識処理の一例について説明する。
上述したように、上側ハウジングＣ２１において、外側左撮像部Ｃ２３ａと外側右撮像部Ｃ２３ｂは、一定の間隔だけ離れている。したがって、外側左撮像部Ｃ２３ａと外側右撮像部Ｃ２３ｂによって同時にマーカＭＫを撮像した場合、外側左撮像部Ｃ２３ａによって撮像された左カメラ画像におけるマーカＭＫの位置および姿勢と、外側右撮像部Ｃ２３ｂによって撮像された右カメラ画像におけるマーカＭＫの位置および姿勢との間には、視差によるズレが生じる。そして、上記撮影画像認識処理においては、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂとマーカＭＫとの位置関係が算出される。
例えば、ＣＰＵＣ３１１は、パターンマッチング手法等によって左右両方のカメラ画像にマーカＭＫが含まれているか否かを判断し、当該カメラ画像にマーカＭＫ（マーカ画像ＭＫｉ）が含まれている場合には、当該カメラ画像におけるマーカＭＫの位置および姿勢に基づいて、外側左撮像部Ｃ２３ａとマーカＭＫとの位置関係および外側右撮像部Ｃ２３ｂとマーカＭＫとの位置関係を算出する。一例として、ＣＰＵＣ３１１は、左目用のカメラ画像におけるマーカ画像ＭＫｉの位置および／または姿勢を認識することによって、左目用のマーカ・カメラ変換行列を算出して、左カメラ画像認識結果データＤｅを更新する。また、ＣＰＵＣ３１１は、右目用のカメラ画像におけるマーカ画像ＭＫｉの位置および／または姿勢を認識することによって、右目用のマーカ・カメラ変換行列を算出して、右カメラ画像認識結果データＤｆを更新する。
なお、左目用のマーカ・カメラ変換行列は、左カメラ画像におけるマーカＭＫの位置および姿勢に基づいて計算される外側左撮像部Ｃ２３ａの位置および姿勢を反映した行列である。より正確には、マーカ座標系（実世界におけるマーカＭＫの位置を原点とし、マーカＭＫの縦方向（Ｚ軸方向）、横方向（Ｘ軸方向）、法線方向（Ｙ軸方向）の各方向を各軸とする座標系）で表された座標を、左カメラ画像におけるマーカ画像ＭＫｉの位置および姿勢に基づいて計算された外側左撮像部Ｃ２３ａの位置および姿勢を基準とした外側左撮像部座標系で表される座標へと変換するための座標変換行列である。
また、右目用のマーカ・カメラ変換行列は、右カメラ画像におけるマーカＭＫの位置および姿勢に基づいて計算される外側右撮像部Ｃ２３ｂの位置および姿勢を反映した行列である。より正確には、マーカ座標系で表された座標を、右カメラ画像におけるマーカ画像ＭＫｉの位置および姿勢に基づいて計算された外側右撮像部Ｃ２３ｂの位置および姿勢を基準とした外側右撮像部座標系で表される座標へと変換するための座標変換行列である。
ここで、ＡＲでは、マーカ座標系を外側左撮像部座標系に変換する左目用のマーカ・カメラ変換行列を左仮想カメラのビュー行列に指定し、マーカ座標系を外側右撮像部座標系に変換する右目用のマーカ・カメラ変換行列を右仮想カメラのビュー行列に指定することにより、実世界画像（左カメラ画像および右カメラ画像）にＣＧ画像（左仮想世界画像および右仮想世界画像）をそれぞれ合成することができる。
なお、上記ステップＣ５３において、左カメラ画像および右カメラ画像の少なくとも一方からマーカ画像ＭＫｉが認識されなかった場合には、左目用のマーカ・カメラ変換行列および／または右目用のマーカ・カメラ変換行列としてヌル値が左カメラ画像認識結果データＤｅおよび／または右カメラ画像認識結果データＤｆに格納され、これによって、左カメラ画像または右カメラ画像におけるマーカＭＫの認識に失敗したことが記録される。
なお、マーカ認識精度に誤差が全く無く、かつゲーム装置Ｃ１０に対する外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの取り付け精度に誤差が全く無いと仮定する。この場合、右カメラ画像の画像認識結果から計算される右仮想カメラの位置は、左カメラ画像の画像認識結果から計算される左仮想カメラの位置を、左仮想カメラ座標系の横方向（例えば、Ｘ軸方向）に沿って一定距離だけずらした位置となる。つまり、右カメラ画像の画像認識結果から計算される右仮想カメラの姿勢と、左カメラ画像の画像認識結果から計算される左仮想カメラの姿勢とは、同じとなる（すなわち、左仮想カメラ座標系のＸ軸，Ｙ軸，Ｚ軸が、右仮想カメラ座標系のＸ軸，Ｙ軸，Ｚ軸とそれぞれ平行となる）。したがって、一方のカメラ画像（例えば、左カメラ画像）の画像認識結果から計算される一方の仮想カメラ（例えば、左仮想カメラ）の位置および姿勢に基づいて、他方の仮想カメラ（例えば、右仮想カメラ）の位置および姿勢を決定して、他方のマーカ・カメラ変換行列を算出してもよい。この場合、他方のカメラ画像（例えば、右カメラ画像）に対する画像認識処理が不要となる。
次に、ＣＰＵＣ３１１は、音声認識処理を行って（ステップＣ５４）、次のステップに処理を進める。以下、図７２を参照して、上記ステップＣ５４で行う音声認識処理について説明する。
図７２において、ＣＰＵＣ３１１は、マイクＣ４３に入力された音声波形からスペクトル情報を算出し（ステップＣ６１）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形情報を、短時間ＦＦＴ分析することによってスペクトルを算出し、当該スペクトルを用いてスペクトル情報データＤｇを更新する。
次に、ＣＰＵＣ３１１は、上記ステップＣ６１で算出されたスペクトルからメルフィルタ出力情報を算出し（ステップＣ６２）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、スペクトル情報データＤｇに格納されているスペクトルを、メルフィルタバンク分析することによって帯域フィルタバンクの出力を算出し、当該出力を示すデータを用いてメルフィルタ出力情報データＤｈを更新する。
次に、ＣＰＵＣ３１１は、拍手判定処理を行って（ステップＣ６３）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形情報を用いて、マイクＣ４３に拍手の音が入力されたか否かを判定する。一例として、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている最新の１フレーム分の音声波形において、振幅レベルの最大値を取得し、当該最大値の履歴を所定期間分（例えば、９フレーム分）記憶しておく。そして、ＣＰＵＣ３１１は、上記最大値の履歴において上記所定期間の中間時点に相当する最大値（例えば、９フレーム分の最大値の履歴のうち、５フレーム目の最大値）が所定の閾値α以上であり、かつ、当該最大値の前後となる履歴（例えば、前後２フレーム分の履歴）に相当する最大値の値が全て所定の閾値β以下であり、かつ、上記最大値の履歴の平均値が所定の閾値γ以下である場合、入力された音声が拍手であると判定する。このように、上記ステップＣ６３における拍手判定処理の一例では、マイクＣ４３に入力された音声波形を示す情報のみを参照して、相対的に短い期間において振幅が突出した音声波形が得られた場合に、拍手の音であると判定している。
次に、ＣＰＵＣ３１１は、上記ステップＣ６３における拍手判定処理において、拍手の音が入力されたと判定されたか否かを判断する（ステップＣ６４）。そして、ＣＰＵＣ３１１は、拍手の音が入力されたと判定された場合、拍手フラグをオンに設定して拍手フラグデータＤｋを更新し（ステップＣ６５）、次のステップＣ６６に処理を進める。一方、ＣＰＵＣ３１１は、拍手の音が入力されていないと判定された場合、そのまま次のステップＣ６６に処理を進める。
ステップＣ６６において、ＣＰＵＣ３１１は、口笛判定処理を行って、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、スペクトル情報データＤｇに格納されているスペクトルを用いて、マイクＣ４３に口笛の音が入力されたか否かを判定する。一例として、ＣＰＵＣ３１１は、スペクトル情報データＤｇに格納されている最新の１フレーム分のスペクトルデータを対数変換してデシベルデータに変換する。次に、ＣＰＵＣ３１１は、最新の１フレーム分の周波数領域（例えば、横軸周波数、縦軸デシベル）において、スペクトルが基準デシベル値δ以上となる回数が１回であり、かつ、低域部分のデシベル値の平均値が基準値ε未満である場合、口笛イベントが発生したとカウントする。そして、ＣＰＵＣ３１１は、上記口笛イベントにおける直前の所定フレーム分の履歴において、当該口笛イベントのカウント数合計が閾値ζ以上であれば、入力された音声が口笛であると判定する。このように、上記ステップＣ６６における口笛判定処理の一例では、マイクＣ４３に入力された音声波形から得られたスペクトル情報のみを参照して、口笛の音を判定している。
次に、ＣＰＵＣ３１１は、上記ステップＣ６６における口笛判定処理において、口笛の音が入力されたと判定されたか否かを判断する（ステップＣ６７）。そして、ＣＰＵＣ３１１は、口笛の音が入力されたと判定された場合、口笛フラグをオンに設定して口笛フラグデータＤｌを更新し（ステップＣ６８）、次のステップＣ６９に処理を進める。一方、ＣＰＵＣ３１１は、口笛の音が入力されていないと判定された場合、そのまま次のステップＣ６９に処理を進める。
ステップＣ６９において、ＣＰＵＣ３１１は、息判定処理を行って、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形情報と、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバンクの出力とを用いて、マイクＣ４３に息の音が入力されたか否かを判定する。一例として、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形の振幅平均値および振幅最大値がそれぞれ所定の範囲内にあるか否かを判定する。また、ＣＰＵＣ３１１は、上記音声波形のゼロクロス（音声波形の振幅がプラスからマイナスおよびマイナスからプラスへ変化するときに０レベルと交差する点）の個数が所定の閾値η以下であるか否かを判定する。さらに、ＣＰＵは、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバンクの出力に対して、低域部分を除いた平均値が所定の閾値θ以上か否かを判定する。そして、ＣＰＵＣ３１１は、上記全ての判定がいずれも肯定判定の場合、入力された音声が息であると判定する。このように、上記ステップＣ６９における息判定処理の一例では、マイクＣ４３に入力された音声波形およびメルフィルタ出力情報を参照して、息の音を判定している。
次に、ＣＰＵＣ３１１は、上記ステップＣ６９における息判定処理において、息の音が入力されたと判定されたか否かを判断する（ステップＣ７０）。そして、ＣＰＵＣ３１１は、息の音が入力されたと判定された場合、息フラグをオンに設定して息フラグデータＤｍを更新し（ステップＣ７１）、次のステップＣ７２に処理を進める。一方、ＣＰＵＣ３１１は、息の音が入力されていないと判定された場合、そのまま次のステップＣ７２に処理を進める。
ステップＣ７２において、ＣＰＵＣ３１１は、音声照合処理を行って、次のステップに処理を進める。ＣＰＵＣ３１１は、マイクＣ４３に入力された音声入力パターンから得られる特徴パラメータ時系列における予め登録されている特徴パラメータ時系列に対する尤度を求め、当該尤度が最大であり、かつ、所定の閾値以上となるモデルの登録音声を照合結果とする。例えば、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形情報と、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバンクの出力とを用いて、マイクＣ４３に入力された音声と照合可能な登録音声があるか否かを判定する。一例として、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形情報と、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバンクの出力とを用いて、マイクＣ４３に音声が入力されている区間（音声区間）を検出する。具体的には、ＣＰＵＣ３１１は、帯域フィルタバンクの出力から得られるスペクトルの形状に基づいて、マイクＣ４３に音声の入力が開始された時点を検出し、音声波形のレベルに基づいてマイクＣ４３に音声の入力が終了した時点を検出し、これらの時点の間を音声区間とする。なお、過去の音声波形の履歴を遡って当該音声波形のレベルを確認することによって、音声入力開始時点を決定してもかまわない。次に、ＣＰＵＣ３１１は、検出された音声区間中に得られた帯域フィルタバンクの出力に対して、三角窓で時間軸の正規化およびレベルの正規化を行い、動的計画法を用いて、音声登録データＤｊに登録されている登録音声のデータ（登録データ）との間の距離を算出する。そして、ＣＰＵＣ３１１は、算出された距離が所定の閾値ι以内であった場合に、当該距離が算出された登録データに入力音声が照合されたと判断する。このように、上記ステップＣ６９における息判定処理の一例では、マイクＣ４３に入力された音声波形およびメルフィルタ出力情報を参照して、登録音声との照合処理を行っている。
次に、ＣＰＵＣ３１１は、上記ステップＣ７２における音声照合処理において、入力音声が登録音声に照合されたと判定されたか否かを判断する（ステップＣ７３）。そして、ＣＰＵＣ３１１は、入力音声が登録音声に照合されたと判定された場合、登録音声フラグをオンに設定して登録音声フラグデータＤｎを更新し（ステップＣ７４）、当該サブルーチンによる処理を終了する。一方、ＣＰＵＣ３１１は、入力音声が登録音声に照合されていないと判定された場合、そのまま当該サブルーチンによる処理を終了する。
図７１に戻り、上記ステップＣ５４における音声認識処理の後、ＣＰＵＣ３１１は、画像合成処理を行って（ステップＣ５５）、次のステップに処理を進める。以下、図７３を参照して、上記ステップＣ５５で行う画像合成処理について説明する。
図７３において、ＣＰＵＣ３１１は、通常状態フラグデータＤｏが示す通常状態フラグがオンであるか否かを判断する（ステップＣ８１）。そして、ＣＰＵＣ３１１は、通常状態フラグがオンである場合、次のステップＣ８２に処理を進める。一方、ＣＰＵＣ３１１は、通常状態フラグがオフである場合、次のステップＣ９２に処理を進める。
ステップＣ８２において、ＣＰＵＣ３１１は、登録音声フラグデータＤｎが示す登録音声フラグがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、登録音声フラグがオンである場合、次のステップＣ８３に処理を進める。一方、ＣＰＵＣ３１１は、登録音声フラグがオフである場合、次のステップＣ８４に処理を進める。
ステップＣ８３において、ＣＰＵＣ３１１は、音声入力が照合された登録音声に基づいて、仮想キャラクタＣに当該登録音声に対応する動作を開始させ、次のステップＣ９５に処理を進める。例えば、ＣＰＵＣ３１１は、音声動作対応テーブルデータＤｉを参照して、音声入力が照合された登録音声に対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタＣの動作を開始する。
一方、ステップＣ８４において、ＣＰＵＣ３１１は、拍手フラグデータＤｋが示す拍手フラグがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、拍手フラグがオンである場合、次のステップＣ８５に処理を進める。一方、ＣＰＵＣ３１１は、拍手フラグがオフである場合、次のステップＣ８６に処理を進める。
ステップＣ８５において、ＣＰＵＣ３１１は、仮想キャラクタＣに拍手の音が入力されたことに対応する動作を開始させ、次のステップＣ９５に処理を進める。例えば、ＣＰＵＣ３１１は、音声動作対応テーブルデータＤｉを参照して、拍手の音が認識されたことに対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタＣの動作を開始する。
一方、ステップＣ８６において、ＣＰＵＣ３１１は、口笛フラグデータＤｌが示す口笛フラグがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、口笛フラグがオンである場合、次のステップＣ８７に処理を進める。一方、ＣＰＵＣ３１１は、口笛フラグがオフである場合、次のステップＣ８８に処理を進める。
ステップＣ８７において、ＣＰＵＣ３１１は、仮想キャラクタＣに口笛の音が入力されたことに対応する動作を開始させ、次のステップＣ９５に処理を進める。例えば、ＣＰＵＣ３１１は、音声動作対応テーブルデータＤｉを参照して、口笛の音が認識されたことに対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタＣの動作を開始する。
一方、ステップＣ８８において、ＣＰＵＣ３１１は、息フラグデータＤｍが示す息フラグがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、息フラグがオンである場合、次のステップＣ８９に処理を進める。一方、ＣＰＵＣ３１１は、息フラグがオフである場合、次のステップＣ９１に処理を進める。
ステップＣ８９において、ＣＰＵＣ３１１は、仮想キャラクタＣが表示されている方向が所定の範囲内か否かを判断する。上述したように、息の音をゲーム装置Ｃ１０に入力した場合、当該入力が行われた時点で仮想キャラクタＣが上側ＬＣＤＣ２２の表示範囲内に存在し、かつ、仮想キャラクタＣの前方向が仮想カメラの方向付近を向いている場合に、当該入力に応じた動作指示が有効となる。例えば、ＣＰＵＣ３１１は、仮想キャラクタＣの位置が上側ＬＣＤＣ２２の表示範囲内にあり（すなわち、仮想キャラクタＣの配置位置が左仮想カメラの視体積内および／または右仮想カメラの視体積内にある）、かつ、仮想キャラクタＣの前方向を基準とした所定範囲内に左仮想カメラおよび／または右仮想カメラが配置されている場合に、上記ステップＣ８９において肯定判定する。そして、ＣＰＵＣ３１１は、上記ステップＣ８９において肯定判定された場合、次のステップＣ９０に処理を進める。一方、ＣＰＵＣ３１１は、上記ステップＣ８９において否定判定された場合、次のステップＣ９１に処理を進める。
ステップＣ９０において、ＣＰＵＣ３１１は、仮想キャラクタＣに息の音が入力されたことに対応する動作を開始させ、次のステップＣ９５に処理を進める。例えば、ＣＰＵＣ３１１は、音声動作対応テーブルデータＤｉを参照して、息の音が認識されたことに対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタＣの動作を開始する。
一方、ステップＣ９１において、ＣＰＵＣ３１１は、仮想キャラクタＣに現時点と同じ通常状態での行動を継続させ、次のステップＣ１０１（図７４参照）に処理を進める。
音声認識された入力に応じた動作を開始する処理（ステップＣ８３、ステップＣ８５、ステップＣ８７、およびステップＣ９０）の後、ＣＰＵＣ３１１は、通常状態フラグデータＤｏが示す通常状態フラグをオフに更新して（ステップＣ９５）、次のステップＣ１０１に処理を進める。
上記ステップＣ８１において、通常状態フラグがオフであると判断された場合、ＣＰＵＣ３１１は、仮想キャラクタＣに現時点で行われている動作を継続させ（ステップＣ９２）、次のステップに処理を進める。ここで、後述により明らかとなるが、通常状態フラグは、音声認識された入力に応じた動作を開始した時点でオフに設定され、当該動作を終了した時点でオンに設定される。つまり、当該画像処理においては、仮想キャラクタＣが音声認識された入力に応じた動作を行っている間に別の音声認識が行われたとしても、当該動作が優先して行われることになる。
次に、ＣＰＵＣ３１１は、音声認識された入力に応じた仮想キャラクタＣの動作が終了したか否かを判断する（ステップＣ９３）。そして、ＣＰＵＣ３１１は、音声認識された入力に応じた仮想キャラクタＣの動作が終了した場合、通常状態フラグデータＤｏが示す通常状態フラグをオンに更新して（ステップＣ９４）、次のステップＣ１０１に処理を進める。一方、ＣＰＵＣ３１１は、音声認識された入力に応じた仮想キャラクタＣの動作が継続している場合、そのまま次のステップＣ１０１に処理を進める。
図７４に進み、ステップＣ１０１において、ＣＰＵＣ３１１は、仮想世界画像を生成して、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、図７５および図７６に示すように、マーカ座標系（マーカ画像ＭＫｉの位置を原点とし、マーカ画像ＭＫｉの縦方向（Ｚ軸方向）、横方向（Ｘ軸方向）、法線方向（Ｙ軸方向）の各方向を各軸とする座標系）で定義される仮想空間に仮想キャラクタＣを配置して、必要に応じて仮想キャラクタＣの大きさを変化させ、仮想キャラクタＣに上記ステップＣ８１〜ステップＣ９５で設定された動作を行わせる。例えば、仮想キャラクタＣにマーカ座標系の原点の周りを歩くような移動をさせると、マーカ画像ＭＫｉの周りを歩くような表示が行われる。なお、仮想キャラクタＣの移動制御は、マーカ座標系の原点と一致、または当該原点付近で、かつ、マーカ画像ＭＫｉを含む平面を基準とした方向（例えば、マーカ座標系におけるＸＺ平面に沿った方向を基準とするＹ軸方向において所定範囲内の位置）に、仮想キャラクタＣの位置座標を変更することにより実現される。
なお、上記ステップＣ１０１の処理では、マーカ座標系における鉛直方向（Ｙ軸負方向）が仮想空間の鉛直方向と定義して、仮想キャラクタＣを仮想空間に配置する。そして、現在仮想キャラクタＣが行っている動作に動作基準（例えば、マーカ基準やカメラ基準：図７０参照）が設定されている場合、当該動作基準に基づいて、仮想キャラクタＣの方向を設定する。例えば、動作基準がマーカ基準に設定されている動作の場合、仮想キャラクタＣの前方向がマーカの方向（例えば、マーカ画像ＭＫｉの前方向）に相当するマーカ座標系の縦正方向（Ｚ軸正方向）と一致、または当該マーカの方向から所定の範囲内となるように、仮想空間における仮想キャラクタＣの姿勢を制御する。また、動作基準がカメラ基準に設定されている動作の場合、仮想キャラクタＣの前方向が左仮想カメラの位置と右仮想カメラの位置との中間点を通る方向と一致、または当該中間点から所定の範囲内を通るように、仮想空間における仮想キャラクタＣの姿勢を制御する。なお、マーカ座標系で定義された仮想空間における左仮想カメラの位置および右仮想カメラの位置は、上記ステップＣ５３で算出されている左目用のマーカ・カメラ変換行列および右目用のマーカ・カメラ変換行列を用いて算出することができる。
そして、図７５に示すように、ＣＰＵＣ３１１は、左仮想カメラから見た仮想空間を左目用の仮想世界画像として生成し、左仮想世界画像データＤｐを更新する。例えば、ＣＰＵＣ３１１は、左カメラ画像認識結果データＤｅが示す左目用のマーカ・カメラ変換行列を左仮想カメラのビュー行列に指定することによって、マーカ座標系で表現されたＣＧモデル（仮想キャラクタＣ）を、実世界に当該ＣＧモデルが存在する場合に上側ＬＣＤＣ２２に表示される場所（例えば、左カメラ画像におけるマーカ画像ＭＫｉ上）と同じ位置に表示することができる。つまり、上側ＬＣＤＣ２２に表示される左目用の表示画像において、マーカ座標系で定義された仮想空間に配置された仮想オブジェクトを、実世界のマーカＭＫに関連して存在しているように表示することができる。
また、図７６に示すように、ＣＰＵＣ３１１は、右仮想カメラから見た仮想空間を右目用の仮想世界画像として生成し、右仮想世界画像データＤｑを更新する。例えば、ＣＰＵＣ３１１は、右カメラ画像認識結果データＤｆが示す右目用のマーカ・カメラ変換行列を右仮想カメラのビュー行列に指定することによって、マーカ座標系で表現されたＣＧモデル（仮想キャラクタＣ）を、実世界に当該ＣＧモデルが存在する場合に上側ＬＣＤＣ２２に表示される場所（例えば、右カメラ画像におけるマーカ画像ＭＫｉ上）と同じ位置に表示することができる。つまり、上側ＬＣＤＣ２２に表示される右目用の表示画像において、マーカ座標系で定義された仮想空間に配置された仮想オブジェクトを、実世界のマーカＭＫに関連して存在しているように表示することができる。
次に、ＣＰＵＣ３１１は、合成処理を行い（ステップＣ１０２）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、実世界画像と仮想空間画像とを合成した表示画像を生成し、当該表示画像を上側ＬＣＤＣ２２に表示する。
具体的には、ＣＰＵＣ３１１は、左カメラ画像データＤａが示す左目用のカメラ画像を、上側ＬＣＤＣ２２へ供給すべき左目用画像を一時的に記憶するためのＶＲＡＭＣ３１３内の所定の記憶領域（以下、左フレームバッファと称す）に描画する。そして、ＣＰＵＣ３１１は、左仮想世界画像データＤｎが示す左目用の仮想世界画像（すなわち、左仮想カメラから見た仮想空間の画像）を左フレームバッファに上書きする（典型的には、ＣＰＵＣ３１１からの指示にしたがってＧＰＵＣ３１２によって描画される）。これによって、図７７に示すように、左フレームバッファに描画された左目用のカメラ画像（左実世界画像）に左目用の仮想世界画像が合成される。左フレームバッファに描画された画像は、所定のタイミングで左目用画像として上側ＬＣＤＣ２２へ供給されて、上側ＬＣＤＣ２２に表示されることになる。なお、上記左目用の仮想世界画像においては、仮想空間の背景は透明であり、そのため、左実世界画像に左目用の仮想世界画像を合成することで、実世界画像上に仮想キャラクタＣが存在するような画像が生成される。
一方、ＣＰＵＣ３１１は、右カメラ画像データＤｂが示す右目用のカメラ画像を、上側ＬＣＤＣ２２へ供給すべき右目用画像を一時的に記憶するためのＶＲＡＭＣ３１３内の所定の記憶領域（以下、右フレームバッファと称す）に描画する。そして、ＣＰＵＣ３１１は、右仮想世界画像データＤｑが示す右目用の仮想世界画像（すなわち、右仮想カメラから見た仮想空間の画像）を右フレームバッファに上書きする。これによって、右フレームバッファに描画された右目用のカメラ画像（右実世界画像）に右目用の仮想世界画像が合成される。右フレームバッファに描画された画像は、所定のタイミングで右目用画像として上側ＬＣＤＣ２２へ供給されて、上側ＬＣＤＣ２２に表示されることになる。なお、上記右目用の仮想世界画像においても、仮想空間の背景は透明であり、そのため、右実世界画像に右目用の仮想世界画像を合成することで、実世界画像上に仮想キャラクタＣが存在するような画像が生成される。
次に、ＣＰＵＣ３１１は、音声認識フラグを全てオフに設定し（ステップＣ１０３）、当該サブルーチンによる処理を終了する。例えば、ＣＰＵＣ３１１は、音声認識フラグ（拍手フラグ、口笛フラグ、息フラグ、登録音声フラグ）を全てオフに設定して、拍手フラグデータＤｋ、口笛フラグデータＤｌ、息フラグデータＤｍ、および登録音声フラグデータＤｎをそれぞれ更新する。
図７１に戻り、上記ステップＣ５５における画像合成処理の後、ＣＰＵＣ３１１は、現時点が撮影のタイミングか否かを判断する（ステップＣ５６）。一例として、ＣＰＵＣ３１１は、操作入力データＤｄに格納されている操作入力が撮影操作を示す場合、現時点が撮影のタイミングであると判断する。他の例として、ＣＰＵＣ３１１は、一定時間が経過すると自動的に撮影されるセルフタイマ操作を示す操作入力データを上記ステップＣ５２において取得してから、当該一定時間が経過した場合、現時点が撮影のタイミングであると判断する。そして、ＣＰＵＣ３１１は、現時点が撮影のタイミングである場合、次のステップＣ５７に処理を進める。一方、ＣＰＵＣ３１１は、現時点が撮影のタイミングでない場合、次のステップＣ５８に処理を進める。なお、上記ステップＣ５６で判断される撮影操作は、ユーザの音声入力によって行われてもかまわない。この場合、ＣＰＵＣ３１１は、音声波形データＤｃが示す音声波形を音声認識することによって、ユーザによる撮影指示があったか否かを判断する。
ステップＣ５７において、ＣＰＵＣ３１１は、上記ステップＣ１０２で合成処理された画像を保存し、次のステップＣ５８に処理を進める。例えば、ＣＰＵＣ３１１は、上記ステップＣ１０２で合成処理された左目用画像を示す画像データおよび右目用画像を示す画像データを、データ保存用内部メモリＣ３５やデータ保存用外部メモリＣ４６に記憶させる。
ステップＣ５８において、ＣＰＵＣ３１１は、当該画像処理を終了するか否かを判断する。画像処理を終了する条件としては、例えば、画像処理を自動的に終了する条件が満たされたことや、画像処理を行っているゲームがゲームオーバとなる条件が満たされたことや、ユーザが画像処理を終了する操作を行ったこと等がある。ＣＰＵＣ３１１は、画像処理を終了しない場合、上記ステップＣ５２に戻って処理を繰り返す。一方、ＣＰＵＣ３１１は、画像処理を終了する場合、当該フローチャートによる処理を終了する。
このように、上述した実施形態に係る画像処理では、カメラ画像に仮想キャラクタＣを付加表示する際、仮想キャラクタＣに対して音声で操作することができ、実世界画像に付加表示された仮想物体に対して新たな入力方法を用いて操作することができる。
なお、上述した説明では、実世界に配置されたマーカＭＫを撮像対象とし、当該マーカＭＫが撮像されてマーカ画像ＭＫｉとして表示されている場合にマーカ画像ＭＫｉ上付近に仮想キャラクタＣを付加表示している。これは、実世界と撮像装置（外側撮像部Ｃ２３）との相対的な位置関係や撮像装置の姿勢を認識し、当該認識結果に基づいて仮想物体や文字等を付加表示する位置を設定するためにマーカＭＫが用いられている。しかしながら、本発明は、マーカＭＫを用いなくても実現することができる。
例えば、実世界と撮像装置との相対的な位置関係は、当該撮像装置が撮像する撮像画像内の特徴点（例えば、被写体のエッジや輪郭）を認識し、当該撮像画像内の水平面等を検出する撮像画像内の特徴を検出し、ＧＰＳや各種センサによって撮像装置の実世界内の位置や姿勢を取得すれば、上述した同様の画像処理が可能となる。具体的には、撮像画像内の特徴点とその特徴量を抽出する際に用いられるアルゴリズム（例えば、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ））等を用いることによって、マーカＭＫを用いなくても撮像画像内の特徴を検出することが可能となる。
例えば、図７８に示すように、撮像装置で撮像されているリアルタイムの撮像画像を表示装置に表示しながら、当該撮像装置が撮像している場所や被写体（建物や看板等）に関連する情報（例えば、文字情報やアイコン）を付加情報として当該撮像画像に重畳して表示される場合でも、本発明を適用することができる。この表示技術は、撮像装置（ゲーム装置Ｃ１０）に内蔵されたＧＰＳを用いて現在位置を特定し、内蔵された磁気センサ（電子コンパス等）によって撮像方向を認識する。そして、特定された位置および撮像方向に対応する付加情報が撮像画像に重畳して表示される。この場合、撮像画像に対する画像認識は不要となるが、広範囲に人工的なランドマークを配置して撮像画像に対する画像認識によって抽出された当該ランドマークの位置をさらに用いて、撮像装置の位置や姿勢を推定する方式もある。また、撮像画像を撮像したカメラの位置および姿勢を、撮像画像上の２次元特徴点（エッジや輪郭等）と自然特徴点の３次元位置とを対応付けることによって推定する方式もある。
このように、マーカＭＫを用いなくても実世界における撮像装置の位置や姿勢を取得することは可能であり、これらの技術を用いれば本発明は、マーカＭＫを用いなくても実現することが可能である。例えば、図７８に示すように、４つの建物（Ａデパート、Ｂビル、Ｃビル、およびＤ銀行）が被写体として外側撮像部Ｃ２３によって撮像され、撮像された撮像画像が上側ＬＣＤＣ２２に表示されている。そして、表示されている４つの建物には、それぞれの建物名称を示す文字情報が付加情報として重畳して表示されており、これらの付加情報の１つを選択することによって、選択された建物のさらに詳細な情報を表示することができる。このような状況において、本発明では、上記付加情報の１つを選択する操作を音声で行うことによって、音声で選択された建物のさらに詳細な情報を表示することができる。具体的には、ユーザが「Ａデパート」を話し言葉として発する音（言語）をゲーム装置Ｃ１０に入力した場合、ゲーム装置Ｃ１０では音声入力された「Ａデパート」を音声認識し、当該音声認識結果によって選択された文字情報（付加情報）の表示態様を変化させる。例えば、音声入力によって選択された文字情報の色、フォント、文字サイズ、文字太さ、文字飾り、文字表示位置等の表示態様を変化させて、複数の文字情報と区別して表示することによって、ユーザに選択された文字情報を報知することができる。そして、ゲーム装置Ｃ１０は、選択された文字情報が付与された被写体に関するさらに詳細な情報を、上側ＬＣＤＣ２２に表示する。このように、マーカＭＫを用いずに実世界における撮像装置の位置や姿勢を取得しながら、仮想オブジェクトとして文字が付加表示されている状況においても、音声入力によって当該文字を選択する操作を行うことができる。そして、実世界画像を撮像しながら、従来の入力方法で当該実世界画像に重畳されて表示された複数の選択肢から選択する操作は煩わしい操作となるが、当該撮像装置（ゲーム装置Ｃ１０）を把持しているユーザの手指を用いない音声入力で選択することによって操作性を飛躍的に向上させることができる。
また、上述した説明では、上側ＬＣＤＣ２２に、裸眼で立体視可能な画像（立体画像）が上側ＬＣＤＣ２２に表示される例を用いたが、外側撮像部Ｃ２３および内側撮像部Ｃ２４のいずれかから取得した実世界の平面画像（上述した立体視可能な画像とは反対の意味での平面視の画像）を上側ＬＣＤＣ２２に表示してもよい。
また、上記実施形態では、上側ＬＣＤＣ２２がパララックスバリア方式の液晶表示装置であるとして、視差バリアのＯＮ／ＯＦＦを制御することにより、立体表示と平面表示とを切り替えることができる。他の実施形態では、例えば、上側ＬＣＤＣ２２としてレンチキュラー方式の液晶表示装置を用いて、立体画像および平面画像を表示可能としてもよい。レンチキュラー方式の場合でも、外側撮像部Ｃ２３で撮像した２つの画像を縦方向に短冊状に分割して交互に配置することで画像が立体表示される。また、レンチキュラー方式の場合でも、内側撮像部Ｃ２４で撮像した１つの画像をユーザの左右の目に視認させることによって、当該画像を平面表示させることができる。すなわち、レンチキュラー方式の液晶表示装置であっても、同じ画像を縦方向に短冊状に分割し、これら分割した画像を交互に配置することにより、ユーザの左右の目に同じ画像を視認させることができる。これにより、内側撮像部Ｃ２４で撮像された画像を平面画像として表示することが可能である。
また、上述した説明では、上側ＬＣＤＣ２２を裸眼立体視可能な表示装置として説明したが、上側ＬＣＤＣ２２が他の方式で立体視可能に構成されてもかまわない。例えば、偏光フィルタ方式、時分割方式、アナグリフ方式等の方式で、上側ＬＣＤＣ２２を立体視可能に構成してもかまわない。
また、上述した実施形態では、２画面分の液晶表示部の一例として、物理的に分離された下側ＬＣＤＣ１２および上側ＬＣＤＣ２２を互いに上下に配置した場合（上下２画面の場合）を説明した。しかしながら、本発明は、単一の表示画面（例えば、上側ＬＣＤＣ２２のみ）を有する装置または単一の表示装置に表示する画像を画像処理する装置でも実現することができる。また、２画面分の表示画面の構成は、他の構成でもかまわない。例えば、下側ハウジングＣ１１の一方主面に下側ＬＣＤＣ１２および上側ＬＣＤＣ２２を左右に配置してもかまわない。また、下側ＬＣＤＣ１２と横幅が同じで縦の長さが２倍のサイズからなる縦長サイズのＬＣＤ（すなわち、物理的には１つで、表示サイズが縦に２画面分あるＬＣＤ）を下側ハウジングＣ１１の一方主面に配設して、２つの画像（例えば、撮像画像と操作説明画面を示す画像等）を上下に表示（すなわち上下の境界部分無しに隣接して表示）するように構成してもよい。また、下側ＬＣＤＣ１２と縦幅が同じで横の長さが２倍のサイズからなる横長サイズのＬＣＤを下側ハウジングＣ１１の一方主面に配設して、横方向に２つの画像を左右に表示（すなわち左右の境界部分無しに隣接して表示）するように構成してもよい。すなわち、物理的に１つの画面を２つに分割して使用することにより２つの画像を表示してもかまわない。また、物理的に１つの画面を２つに分割して使用することにより上記２つの画像を表示する場合、当該画面全面にタッチパネルＣ１３を配設してもかまわない。
また、上述した実施例では、ゲーム装置Ｃ１０にタッチパネルＣ１３が一体的に設けられているが、ゲーム装置とタッチパネルとを別体にして構成しても、本発明を実現できることは言うまでもない。また、上側ＬＣＤＣ２２の上面にタッチパネルＣ１３を設けて上側ＬＣＤＣ２２に下側ＬＣＤＣ１２に表示していた表示画像を表示し、下側ＬＣＤＣ１２に上側ＬＣＤＣ２２に表示していた表示画像を表示してもよい。また、本発明を実現する場合に、タッチパネルＣ１３が設けられていなくもかまわない。
また、上記実施例では、携帯型のゲーム装置Ｃ１０を用いて説明したが、据置型のゲーム装置や一般的なパーソナルコンピュータ等の情報処理装置で本発明の画像処理プログラムを実行して、本発明を実現してもかまわない。また、他の実施形態では、ゲーム装置に限らず任意の携帯型電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や携帯電話、パーソナルコンピュータ、カメラ等であってもよい。
また、上述した説明では画像処理をゲーム装置Ｃ１０で行う例を用いたが、上記画像処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、ゲーム装置Ｃ１０が他の装置（例えば、サーバや他のゲーム装置）と通信可能に構成されている場合、上記画像処理における処理ステップは、ゲーム装置Ｃ１０および当該他の装置が協働することによって実行してもよい。一例として、他の装置において、実世界画像および仮想キャラクタＣを設定する処理が行われ、ゲーム装置Ｃ１０が実世界画像および仮想キャラクタＣに関するデータを取得して、ステップＣ５４〜ステップＣ６８の処理を行うことが考えられる。このように、上記画像における処理ステップの少なくとも一部を他の装置で行うことによって、上述した画像処理と同様の処理が可能となる。上述した画像処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施形態においては、ゲーム装置Ｃ１０の情報処理部Ｃ３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、ゲーム装置Ｃ１０が備える専用回路によって上記処理の一部または全部が行われてもよい。
また、上述したゲーム装置Ｃ１０の形状や、それに設けられている各種操作ボタンＣ１４、アナログスティックＣ１５、タッチパネルＣ１３の形状、数、および設置位置等は、単なる一例に過ぎず他の形状、数、および設置位置であっても、本発明を実現できることは言うまでもない。また、上述した画像処理で用いられる処理順序、設定値、判定に用いられる値等は、単なる一例に過ぎず他の順序や値であっても、本発明を実現できることは言うまでもない。
また、上記画像処理プログラム（ゲームプログラム）は、外部メモリＣ４５やデータ保存用外部メモリＣ４６等の外部記憶媒体を通じてゲーム装置Ｃ１０に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置Ｃ１０に供給されてもよい。また、上記プログラムは、ゲーム装置Ｃ１０内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープなどでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。
（ゲーム装置の構成）
以下、本発明のさらに他の一実施形態に係るゲーム装置について説明する。図７９〜図８１は、ゲーム装置Ｄ１０の外観を示す平面図である。ゲーム装置Ｄ１０は携帯型のゲーム装置であり、図７９〜図８１に示すように折り畳み可能に構成されている。図７９および図８０は、開いた状態（開状態）におけるゲーム装置Ｄ１０を示し、図８１は、閉じた状態（閉状態）におけるゲーム装置Ｄ１０を示している。図７９は、開状態におけるゲーム装置Ｄ１０の正面図であり、図８０は、開状態におけるゲーム装置Ｄ１０の右側面図である。ゲーム装置Ｄ１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ｄ１０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
以下、本発明のさらに他の一実施形態に係るゲーム装置について説明する。図７９〜図８１は、ゲーム装置Ｄ１０の外観を示す平面図である。ゲーム装置Ｄ１０は携帯型のゲーム装置であり、図７９〜図８１に示すように折り畳み可能に構成されている。図７９および図８０は、開いた状態（開状態）におけるゲーム装置Ｄ１０を示し、図８１は、閉じた状態（閉状態）におけるゲーム装置Ｄ１０を示している。図７９は、開状態におけるゲーム装置Ｄ１０の正面図であり、図８０は、開状態におけるゲーム装置Ｄ１０の右側面図である。ゲーム装置Ｄ１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ｄ１０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
まず、図７９〜図８１を参照して、ゲーム装置Ｄ１０の外観構成について説明する。図７９〜図８１に示されるように、ゲーム装置Ｄ１０は、下側ハウジングＤ１１および上側ハウジングＤ２１を有する。下側ハウジングＤ１１と上側ハウジングＤ２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、各ハウジングＤ１１およびＤ２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
図７９および図８０に示されるように、下側ハウジングＤ１１の上側長辺部分には、下側ハウジングＤ１１の内側面（主面）Ｄ１１Ｂに対して垂直な方向に突起する突起部Ｄ１１Ａが設けられる。また、上側ハウジングＤ２１の下側長辺部分には、上側ハウジングＤ２１の下側面から当該下側面に垂直な方向に突起する突起部Ｄ２１Ａが設けられる。下側ハウジングＤ１１の突起部Ｄ１１Ａと上側ハウジングＤ２１の突起部Ｄ２１Ａとが連結されることにより、下側ハウジングＤ１１と上側ハウジングＤ２１とが、折り畳み可能に接続される。
（下側ハウジングの説明）
まず、下側ハウジングＤ１１の構成について説明する。図７９〜図８１に示すように、下側ハウジングＤ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｄ１２、タッチパネルＤ１３、各操作ボタンＤ１４Ａ〜Ｄ１４Ｌ（図７９、図８１）、アナログスティックＤ１５、ＬＥＤＤ１６Ａ〜Ｄ１６Ｂ、挿入口Ｄ１７、および、マイクロフォン用孔Ｄ１８が設けられる。以下、これらの詳細について説明する。
まず、下側ハウジングＤ１１の構成について説明する。図７９〜図８１に示すように、下側ハウジングＤ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｄ１２、タッチパネルＤ１３、各操作ボタンＤ１４Ａ〜Ｄ１４Ｌ（図７９、図８１）、アナログスティックＤ１５、ＬＥＤＤ１６Ａ〜Ｄ１６Ｂ、挿入口Ｄ１７、および、マイクロフォン用孔Ｄ１８が設けられる。以下、これらの詳細について説明する。
図７９に示すように、下側ＬＣＤＤ１２は下側ハウジングＤ１１に収納される。下側ＬＣＤＤ１２は横長形状であり、長辺方向が下側ハウジングＤ１１の長辺方向に一致するように配置される。下側ＬＣＤＤ１２は下側ハウジングＤ１１の中央に配置される。下側ＬＣＤＤ１２は、下側ハウジングＤ１１の内側面（主面）に設けられ、下側ハウジングＤ１１に設けられた開口部から当該下側ＬＣＤＤ１２の画面が露出される。ゲーム装置Ｄ１０を使用しない場合には閉状態としておくことによって、下側ＬＣＤＤ１２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤＤ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤＤ１２は、後述する上側ＬＣＤＤ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤＤ１２として、任意の解像度の表示装置を利用することができる。
図７９に示されるように、ゲーム装置Ｄ１０は、入力装置として、タッチパネルＤ１３を備えている。タッチパネルＤ１３は、下側ＬＣＤＤ１２の画面上に装着されている。なお、本実施形態では、タッチパネルＤ１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネルＤ１３として、下側ＬＣＤＤ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＤ１３の解像度と下側ＬＣＤＤ１２の解像度が一致している必要はない。また、下側ハウジングＤ１１の上側面には挿入口Ｄ１７（図７９および図８１（ｄ）に示す点線）が設けられている。挿入口Ｄ１７は、タッチパネルＤ１３に対する操作を行うために用いられるタッチペンＤ２８を収納することができる。なお、タッチパネルＤ１３に対する入力は通常タッチペンＤ２８を用いて行われるが、タッチペンＤ２８に限らずユーザの指でタッチパネルＤ１３に対する入力をすることも可能である。
各操作ボタンＤ１４Ａ〜Ｄ１４Ｌは、所定の入力を行うための入力装置である。図７９に示されるように、下側ハウジングＤ１１の内側面（主面）には、各操作ボタンＤ１４Ａ〜Ｄ１４Ｌのうち、十字ボタンＤ１４Ａ（方向入力ボタンＤ１４Ａ）、ａボタンＤ１４Ｂ、ｂボタンＤ１４Ｃ、ｘボタンＤ１４Ｄ、ｙボタンＤ１４Ｅ、電源ボタンＤ１４Ｆ、セレクトボタンＤ１４Ｊ、ＨＯＭＥボタンＤ１４Ｋ、およびスタートボタンＤ１４Ｌが、設けられる。十字ボタンＤ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタンＤ１４Ｂ、ボタンＤ１４Ｃ、ボタンＤ１４Ｄ、ボタンＤ１４Ｅは、十字状に配置される。ボタンＤ１４Ａ〜Ｄ１４Ｅ、セレクトボタンＤ１４Ｊ、ＨＯＭＥボタンＤ１４Ｋ、およびスタートボタンＤ１４Ｌには、ゲーム装置Ｄ１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタンＤ１４Ａは選択操作等に用いられ、各操作ボタンＤ１４Ｂ〜Ｄ１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタンＤ１４Ｆは、ゲーム装置Ｄ１０の電源をオン／オフするために用いられる。
アナログスティックＤ１５は、方向を指示するデバイスであり、下側ハウジングＤ１１の内側面の下側ＬＣＤＤ１２より左側領域の上部領域に設けられる。図７９に示すように、十字ボタンＤ１４Ａは下側ＬＣＤＤ１２より左側領域の下部領域に設けられるので、アナログスティックＤ１５は、十字ボタンＤ１４Ａの上方に設けられる。また、アナログスティックＤ１５、および、十字ボタンＤ１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。また、アナログスティックＤ１５を上部領域に設けたことにより、下側ハウジングＤ１１を把持する左手の親指が自然と位置するところにアナログスティックＤ１５が配され、十字ボタンＤ１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティックＤ１５は、そのキートップが、下側ハウジングＤ１１の内側面に平行にスライドするように構成されている。アナログスティックＤ１５は、ゲーム装置Ｄ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置Ｄ１０によって実行される場合、アナログスティックＤ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティックＤ１５のキートップがスライドした方向に移動される。なお、アナログスティックＤ１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
十字状に配置される、ａボタンＤ１４Ｂ、ｂボタンＤ１４Ｃ、ｘボタンＤ１４Ｄ、ｙボタンＤ１４Ｅの４つのボタンは、下側ハウジングＤ１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンと、アナログスティックＤ１５とは、下側ＬＣＤＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。
また、下側ハウジングＤ１１の内側面には、マイクロフォン用孔Ｄ１８が設けられる。マイクロフォン用孔Ｄ１８の下部には後述する音声入力装置としてのマイク（図８２参照）が設けられ、当該マイクがゲーム装置Ｄ１０の外部の音を検出する。
図８１（ａ）は閉状態におけるゲーム装置Ｄ１０の左側面図であり、図８１（ｂ）は閉状態におけるゲーム装置Ｄ１０の正面図であり、図８１（ｃ）は閉状態におけるゲーム装置Ｄ１０の右側面図であり、図８１（ｄ）は閉状態におけるゲーム装置Ｄ１０の背面図である。図８１（ｂ）および（ｄ）に示されるように、下側ハウジングＤ１１の上側面には、ＬボタンＤ１４ＧおよびＲボタンＤ１４Ｈが設けられている。ＬボタンＤ１４Ｇは、下側ハウジングＤ１１の上面の左端部に設けられ、ＲボタンＤ１４Ｈは、下側ハウジングＤ１１の上面の右端部に設けられる。また、図８１（ａ）に示されるように、下側ハウジングＤ１１の左側面には、音量ボタンＤ１４Ｉが設けられる。音量ボタンＤ１４Ｉは、ゲーム装置Ｄ１０が備えるスピーカの音量を調整するために用いられる。
図８１（ａ）に示されるように、下側ハウジングＤ１１の左側面には開閉可能なカバー部Ｄ１１Ｃが設けられる。このカバー部Ｄ１１Ｃの内側には、ゲーム装置Ｄ１０とデータ保存用外部メモリＤ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリＤ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリＤ４５は、例えば、ゲーム装置Ｄ１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタおよびそのカバー部Ｄ１１Ｃは、下側ハウジングＤ１１の右側面に設けられてもよい。
また、図８１（ｄ）に示されるように、下側ハウジングＤ１１の上側面には、ゲーム装置Ｄ１０とゲームプログラムを記録した外部メモリＤ４４を挿入するための挿入口Ｄ１１Ｄが設けられ、その挿入口Ｄ１１Ｄの内部には、外部メモリＤ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリＤ４４がゲーム装置Ｄ１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタおよびその挿入口Ｄ１１Ｄは、下側ハウジングＤ１１の他の側面（例えば、右側面等）に設けられてもよい。
また、図７９および図８１（ｃ）に示されるように、下側ハウジングＤ１１の下側面にはゲーム装置Ｄ１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＤ１６Ａ、下側ハウジングＤ１１の右側面にはゲーム装置Ｄ１０の無線通信の確立状況をユーザに通知する第２ＬＥＤＤ１６Ｂが設けられる。ゲーム装置Ｄ１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置Ｄ１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジングＤ１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチＤ１９が設けられる（図８１（ｃ）参照）。
なお、図示は省略するが、下側ハウジングＤ１１には、ゲーム装置Ｄ１０の電源となる充電式電池が収納され、下側ハウジングＤ１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
（上側ハウジングの説明）
次に、上側ハウジングＤ２１の構成について説明する。図７９〜図８１に示すように、上側ハウジングＤ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｄ２２、外側撮像部Ｄ２３（外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂ）、内側撮像部Ｄ２４、３Ｄ調整スイッチＤ２５、および、３ＤインジケータＤ２６が設けられる。以下、これらの詳細について説明する。
次に、上側ハウジングＤ２１の構成について説明する。図７９〜図８１に示すように、上側ハウジングＤ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｄ２２、外側撮像部Ｄ２３（外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂ）、内側撮像部Ｄ２４、３Ｄ調整スイッチＤ２５、および、３ＤインジケータＤ２６が設けられる。以下、これらの詳細について説明する。
図７９に示すように、上側ＬＣＤＤ２２は上側ハウジングＤ２１に収納される。上側ＬＣＤＤ２２は、横長形状であり、長辺方向が上側ハウジングＤ２１の長辺方向に一致するように配置される。上側ＬＣＤＤ２２は上側ハウジングＤ２１の中央に配置される。上側ＬＣＤＤ２２の画面の面積は、下側ＬＣＤＤ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤＤ２２の画面は、下側ＬＣＤＤ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤＤ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤＤ１２の画面のアスペクト比における横幅の割合よりも大きく設定される。
上側ＬＣＤＤ２２の画面は、上側ハウジングＤ２１の内側面（主面）Ｄ２１Ｂに設けられ、上側ハウジングＤ２１に設けられた開口部から当該上側ＬＣＤＤ２２の画面が露出される。また、図８０に示すように、上側ハウジングＤ２１の内側面は、透明なスクリーンカバーＤ２７によって覆われている。当該スクリーンカバーＤ２７は、上側ＬＣＤＤ２２の画面を保護するとともに、上側ＬＣＤＤ２２と上側ハウジングＤ２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤＤ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤＤ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤＤ２２として、任意の解像度の表示装置を利用することができる。
上側ＬＣＤＤ２２は、立体視可能な画像（立体視画像、立体画像ともいう）を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤＤ２２はパララックスバリア方式のものとする。上側ＬＣＤＤ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチＤ２５によって行われる。
外側撮像部Ｄ２３は、上側ハウジングＤ２１の外側面（上側ＬＣＤＤ２２が設けられた主面と反対側の背面）Ｄ２１Ｄに設けられた２つの撮像部（Ｄ２３ａおよびＤ２３ｂ）の総称である。外側撮像部（左）Ｄ２３ａと外側撮像部（右）Ｄ２３ｂの撮像方向は、いずれも当該外側面Ｄ２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤＤ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（左）Ｄ２３ａの撮像方向および外側撮像部（右）Ｄ２３ｂの撮像方向は、平行である。外側撮像部（左）Ｄ２３ａと外側撮像部（右）Ｄ２３ｂとは、ゲーム装置Ｄ１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮像部（Ｄ２３ａおよびＤ２３ｂ）のいずれか一方を単独で用いて、外側撮像部Ｄ２３を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（Ｄ２３ａおよびＤ２３ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では、外側撮像部Ｄ２３は、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの２つの撮像部で構成される。外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図７９の破線および図８１（ｂ）の実線で示されるように、外側撮像部Ｄ２３を構成する外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ＬＣＤＤ２２の画面の横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤＤ２２の画面の横方向と平行になるように、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂが配置される。図７９の破線で示すＤ２３ａおよびＤ２３ｂは、上側ハウジングＤ２１の内側面とは反対側の外側面に存在する外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂをそれぞれ表している。図７９に示すように、ユーザが上側ＬＣＤＤ２２の画面を正面から視認した場合に、外側撮像部（左）Ｄ２３ａは左側に外側撮像部（右）Ｄ２３ｂは右側にそれぞれ位置している。外側撮像部Ｄ２３をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部（左）Ｄ２３ａは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部（右）Ｄ２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの間隔は、この範囲に限らない。
なお、本実施例においては、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３はハウジングに固定されており、撮像方向を変更することはできない。
また、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ＬＣＤＤ２２（上側ハウジングＤ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ＬＣＤＤ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ハウジングＤ２１を開いた状態において、上側ハウジングＤ２１の上部であって、上側ＬＣＤＤ２２の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ハウジングＤ２１の外側面であって、上側ＬＣＤＤ２２を外側面に投影した場合、投影した上側ＬＣＤＤ２２の画面の上端よりも上方に配置される。
このように、外側撮像部Ｄ２３の２つの撮像部（Ｄ２３ａおよびＤ２３ｂ）が、上側ＬＣＤＤ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤＤ２２を正視した場合に、外側撮像部Ｄ２３の撮像方向をユーザの視線方向と一致させることができる。また、外側撮像部Ｄ２３は、上側ＬＣＤＤ２２の画面の上端より上方の裏側の位置に配置されるため、外側撮像部Ｄ２３と上側ＬＣＤＤ２２とが上側ハウジングＤ２１の内部で干渉することがない。従って、外側撮像部Ｄ２３を上側ＬＣＤＤ２２の画面の裏側に配置する場合と比べて、上側ハウジングＤ２１を薄く構成することが可能となる。
内側撮像部Ｄ２４は、上側ハウジングＤ２１の内側面（主面）Ｄ２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ｄ２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図７９に示すように、内側撮像部Ｄ２４は、上側ハウジングＤ２１を開いた状態において、上側ハウジングＤ２１の上部であって、上側ＬＣＤＤ２２の画面の上端よりも上方に配置され、上側ハウジングＤ２１の左右方向に関して中央の位置（上側ハウジングＤ２１（上側ＬＣＤＤ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図７９および図８１（ｂ）に示されるように、内側撮像部Ｄ２４は、上側ハウジングＤ２１の内側面であって、外側撮像部Ｄ２３の左右の撮像部（外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジングＤ２１の外側面に設けられた外側撮像部Ｄ２３の左右の撮像部を上側ハウジングＤ２１の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部Ｄ２４が設けられる。図８１（ｂ）で示される破線Ｄ２４は、上側ハウジングＤ２１の内側面に存在する内側撮像部Ｄ２４を表している。
このように、内側撮像部Ｄ２４は、外側撮像部Ｄ２３とは反対方向を撮像する。内側撮像部Ｄ２４は、上側ハウジングＤ２１の内側面であって、外側撮像部Ｄ２３の左右の撮像部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤＤ２２を正視した際、内側撮像部Ｄ２４でユーザの顔を正面から撮像することができる。また、外側撮像部Ｄ２３の左右の撮像部と内側撮像部Ｄ２４とが上側ハウジングＤ２１の内部で干渉することがないため、上側ハウジングＤ２１を薄く構成することが可能となる。
３Ｄ調整スイッチＤ２５は、スライドスイッチであり、上述のように上側ＬＣＤＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＤ２５は、上側ＬＣＤＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。図７９〜図８１に示されるように、３Ｄ調整スイッチＤ２５は、上側ハウジングＤ２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤＤ２２を正視した場合に、当該３Ｄ調整スイッチＤ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチＤ２５の操作部は、内側面および右側面の両方に突出しており、どちらからも視認および操作することができる。なお、３Ｄ調整スイッチＤ２５以外のスイッチは全て下側ハウジングＤ１１に設けられる。
３Ｄ調整スイッチＤ２５は、図７９および図８０に示されるように、上側ハウジングＤ２１の正面および右側面から視認可能に配置される。３Ｄ調整スイッチＤ２５のスライダＤ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダＤ２５ａの位置に応じて上側ＬＣＤＤ２２の表示モードが設定されたり、立体画像の立体感が調整されてもよい。例えば、３Ｄ調整スイッチＤ２５のスライダＤ２５ａの位置に応じて、後述する仮想カメラ（仮想ステレオカメラ）のカメラ間距離が設定されてもよい。また、当該仮想ステレオカメラの左仮想カメラによって撮像された左目用画像と右仮想カメラによって撮像された右目用画像との位置関係が調整されてもよい。具体的には、例えば、３Ｄ調整スイッチＤ２５のスライダＤ２５ａが最上点（図７９および図８０では上方向）に存在する場合、上記左目用画像と右目用画像との横方向（上側ＬＣＤＤ２２の画面の横方向；図７９の左右方向）の位置のずれが上限値に設定される。このように左目用画像と右目用画像の横方向のずれが上限値に設定されると、２つの画像の視差がより大きくなる。このため、ユーザが視差バリアを通して上側ＬＣＤＤ２２に表示された２つの画像を見ると、上側ＬＣＤＤ２２の画面から画像がより手前方向に飛び出したように見える。このように、３Ｄ調整スイッチＤ２５を用いて、２つの画像の視差が調整されてもよい。
３ＤインジケータＤ２６は、上側ＬＣＤＤ２２が立体表示モードか否かを示す。３ＤインジケータＤ２６は、ＬＥＤであり、上側ＬＣＤＤ２２の立体表示モードが有効の場合に点灯する。なお、３ＤインジケータＤ２６は、上側ＬＣＤＤ２２が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。図７９に示されるように、３ＤインジケータＤ２６は、上側ハウジングＤ２１の内側面に設けられ、上側ＬＣＤＤ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤＤ２２の画面を正視した場合、ユーザは３ＤインジケータＤ２６を視認しやすい。従って、ユーザは上側ＬＣＤＤ２２の画面を視認している状態でも、上側ＬＣＤＤ２２の表示モードを容易に認識することができる。
また、上側ハウジングＤ２１の内側面には、スピーカ孔Ｄ２１Ｅが設けられる。後述するスピーカＤ４３からの音声がこのスピーカ孔Ｄ２１Ｅから出力される。
（ゲーム装置Ｄ１０の内部構成）
次に、図８２を参照して、ゲーム装置Ｄ１０の内部の電気的構成について説明する。図８２は、ゲーム装置Ｄ１０の内部構成を示すブロック図である。図８２に示すように、ゲーム装置Ｄ１０は、上述した各部に加えて、情報処理部Ｄ３１、メインメモリＤ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ｄ３３、データ保存用外部メモリＩ／ＦＤ３４、データ保存用内部メモリＤ３５、無線通信モジュールＤ３６、ローカル通信モジュールＤ３７、リアルタイムクロック（ＲＴＣ）Ｄ３８、加速度センサＤ３９、電源回路Ｄ４０、およびインターフェイス回路（Ｉ／Ｆ回路）Ｄ４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＤ１１（または上側ハウジングＤ２１でもよい）内に収納される。
次に、図８２を参照して、ゲーム装置Ｄ１０の内部の電気的構成について説明する。図８２は、ゲーム装置Ｄ１０の内部構成を示すブロック図である。図８２に示すように、ゲーム装置Ｄ１０は、上述した各部に加えて、情報処理部Ｄ３１、メインメモリＤ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ｄ３３、データ保存用外部メモリＩ／ＦＤ３４、データ保存用内部メモリＤ３５、無線通信モジュールＤ３６、ローカル通信モジュールＤ３７、リアルタイムクロック（ＲＴＣ）Ｄ３８、加速度センサＤ３９、電源回路Ｄ４０、およびインターフェイス回路（Ｉ／Ｆ回路）Ｄ４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＤ１１（または上側ハウジングＤ２１でもよい）内に収納される。
情報処理部Ｄ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｄ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｄ３１２等を含む情報処理手段である。本実施形態では、所定のプログラムがゲーム装置Ｄ１０内のメモリ（例えば外部メモリＩ／ＦＤ３３に接続された外部メモリＤ４４やデータ保存用内部メモリＤ３５）に記憶されている。情報処理部Ｄ３１のＣＰＵＤ３１１は、当該所定のプログラムを実行することによって、後述する画像処理（図９０）を実行する。なお、情報処理部Ｄ３１のＣＰＵＤ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部Ｄ３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）Ｄ３１３を含む。情報処理部Ｄ３１のＧＰＵＤ３１２は、情報処理部Ｄ３１のＣＰＵＤ３１１からの命令に応じて画像を生成し、ＶＲＡＭＤ３１３に描画する。そして、情報処理部Ｄ３１のＧＰＵＤ３１２は、ＶＲＡＭＤ３１３に描画された画像を上側ＬＣＤＤ２２及び／又は下側ＬＣＤＤ１２に出力し、上側ＬＣＤＤ２２及び／又は下側ＬＣＤＤ１２に当該画像が表示される。
情報処理部Ｄ３１には、メインメモリＤ３２、外部メモリＩ／ＦＤ３３、データ保存用外部メモリＩ／ＦＤ３４、および、データ保存用内部メモリＤ３５が接続される。外部メモリＩ／ＦＤ３３は、外部メモリＤ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／ＦＤ３４は、データ保存用外部メモリＤ４５を着脱自在に接続するためのインターフェイスである。
メインメモリＤ３２は、情報処理部Ｄ３１（のＣＰＵＤ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＤ３２は、上記画像処理に用いられる各種データを一時的に記憶したり、外部（外部メモリＤ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリＤ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
外部メモリＤ４４は、情報処理部Ｄ３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリＤ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリＤ４４が外部メモリＩ／ＦＤ３３に接続されると、情報処理部Ｄ３１は外部メモリＤ４４に記憶されたプログラムを読み込むことができる。情報処理部Ｄ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリＤ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリＤ４５には、外側撮像部Ｄ２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリＤ４５がデータ保存用外部メモリＩ／ＦＤ３４に接続されると、情報処理部Ｄ３１はデータ保存用外部メモリＤ４５に記憶された画像を読み込み、上側ＬＣＤＤ２２及び／又は下側ＬＣＤＤ１２に当該画像を表示することができる。
データ保存用内部メモリＤ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリＤ３５には、無線通信モジュールＤ３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
無線通信モジュールＤ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＤ３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュールＤ３６およびローカル通信モジュールＤ３７は情報処理部Ｄ３１に接続される。情報処理部Ｄ３１は、無線通信モジュールＤ３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールＤ３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
また、情報処理部Ｄ３１には、加速度センサＤ３９が接続される。加速度センサＤ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサＤ３９は、下側ハウジングＤ１１の内部に設けられる。加速度センサＤ３９は、図７９に示すように、下側ハウジングＤ１１の長辺方向をｘ軸、下側ハウジングＤ１１の短辺方向をｙ軸、下側ハウジングＤ１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサＤ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサＤ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部Ｄ３１は、加速度センサＤ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置Ｄ１０の姿勢や動きを検出する。本実施形態では、情報処理部Ｄ３１は、加速度センサＤ３９が検出した加速度に基づいて、ゲーム装置Ｄ１０の姿勢（傾き）を判定する。
また、情報処理部Ｄ３１には、ＲＴＣＤ３８および電源回路Ｄ４０が接続される。ＲＴＣＤ３８は、時間をカウントして情報処理部Ｄ３１に出力する。情報処理部Ｄ３１は、ＲＴＣＤ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ｄ４０は、ゲーム装置Ｄ１０が有する電源（下側ハウジングＤ１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置Ｄ１０の各部品に電力を供給する。
また、情報処理部Ｄ３１には、Ｉ／Ｆ回路Ｄ４１が接続される。Ｉ／Ｆ回路Ｄ４１には、マイクＤ４２およびスピーカＤ４３が接続される。具体的には、Ｉ／Ｆ回路Ｄ４１には、図示しないアンプを介してスピーカＤ４３が接続される。マイクＤ４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路Ｄ４１に出力する。アンプは、Ｉ／Ｆ回路Ｄ４１からの音声信号を増幅し、音声をスピーカＤ４３から出力させる。また、タッチパネルＤ１３はＩ／Ｆ回路Ｄ４１に接続される。Ｉ／Ｆ回路Ｄ４１は、マイクＤ４２およびスピーカＤ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネルＤ１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部Ｄ３１に出力する。タッチ位置データは、タッチパネルＤ１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネルＤ１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部Ｄ３１は、タッチ位置データを取得することにより、タッチパネルＤ１３に対して入力が行われた位置を知ることができる。
操作ボタンＤ１４は、上記各操作ボタンＤ１４Ａ〜Ｄ１４Ｌからなり、情報処理部Ｄ３１に接続される。操作ボタンＤ１４から情報処理部Ｄ３１へは、各操作ボタンＤ１４Ａ〜Ｄ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部Ｄ３１は、操作ボタンＤ１４から操作データを取得することによって、操作ボタンＤ１４に対する入力に従った処理を実行する。
下側ＬＣＤＤ１２および上側ＬＣＤＤ２２は情報処理部Ｄ３１に接続される。下側ＬＣＤＤ１２および上側ＬＣＤＤ２２は、情報処理部Ｄ３１（のＧＰＵＤ３１２）の指示に従って画像を表示する。
具体的には、情報処理部Ｄ３１は、上側ＬＣＤＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤＤ２２の視差バリアがＯＮになっている場合、情報処理部Ｄ３１のＶＲＡＭＤ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤＤ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＤ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＤ２２の画面に表示される。そして、上側ＬＣＤＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤＤ２２の画面には立体視可能な画像が表示される。
外側撮像部Ｄ２３および内側撮像部Ｄ２４は、情報処理部Ｄ３１に接続される。外側撮像部Ｄ２３および内側撮像部Ｄ２４は、情報処理部Ｄ３１の指示に従って画像を撮像し、撮像した画像データを情報処理部Ｄ３１に出力する。例えば、情報処理部Ｄ３１は外側撮像部Ｄ２３および内側撮像部Ｄ２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部Ｄ３１に送る。例えば、ユーザによるタッチパネルＤ１３を用いたタッチ操作によって使用する撮像部が選択される。撮像部が選択されたことを情報処理部Ｄ３１（ＣＰＵＤ３１１）が検知し、情報処理部Ｄ３１が外側撮像部Ｄ２３または内側撮像部Ｄ２４に対して撮像指示を行う。
３Ｄ調整スイッチＤ２５は、情報処理部Ｄ３１に接続される。３Ｄ調整スイッチＤ２５は、スライダＤ２５ａの位置に応じた電気信号を情報処理部Ｄ３１に送信する。
また、３ＤインジケータＤ２６は、情報処理部Ｄ３１に接続される。情報処理部Ｄ３１は、３ＤインジケータＤ２６の点灯を制御する。本実施形態では、情報処理部Ｄ３１は、上側ＬＣＤＤ２２が立体表示モードである場合、３ＤインジケータＤ２６を点灯させる。以上がゲーム装置Ｄ１０の内部構成の説明である。
また、情報処理部Ｄ３１には、角速度センサＤ４６が接続される。角速度センサＤ４６は、各軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置Ｄ１０は、角速度センサＤ４６が逐次検出する角速度に基づいて、実空間におけるゲーム装置Ｄ１０の姿勢を算出することができる。具体的には、ゲーム装置Ｄ１０は、角速度センサＤ４６によって検出された各軸周りの角速度を時間で積分することによって、各軸周りのゲーム装置Ｄ１０の回転角を算出することができる。
（ゲーム処理の概要）
次に、本実施形態に係るゲーム装置Ｄ１０において実行されるゲームの概要について説明する。本実施形態に係るゲームでは、実空間の平面（例えば、テーブル）上にマーカが載置され、当該マーカを外側撮像部Ｄ２３を用いて撮像した場合に、釣りざおと仮想オブジェクトとしての魚とが、実空間を撮像した実画像に重畳されて上側ＬＣＤＤ２２に表示される。そして、ユーザが所定の操作を行うと、釣り糸の先端部分が上記平面に接触し、実空間の平面が波打つような様子が上側ＬＣＤＤ２２に表示される。以下では、まず、ゲーム装置Ｄ１０に表示される画像について説明した後、実空間の平面が波打つような表示をさせるための処理について、説明する。
次に、本実施形態に係るゲーム装置Ｄ１０において実行されるゲームの概要について説明する。本実施形態に係るゲームでは、実空間の平面（例えば、テーブル）上にマーカが載置され、当該マーカを外側撮像部Ｄ２３を用いて撮像した場合に、釣りざおと仮想オブジェクトとしての魚とが、実空間を撮像した実画像に重畳されて上側ＬＣＤＤ２２に表示される。そして、ユーザが所定の操作を行うと、釣り糸の先端部分が上記平面に接触し、実空間の平面が波打つような様子が上側ＬＣＤＤ２２に表示される。以下では、まず、ゲーム装置Ｄ１０に表示される画像について説明した後、実空間の平面が波打つような表示をさせるための処理について、説明する。
図８３は、本実施形態に係るゲームが実行された場合において、実空間に予め配置されたマーカＤ６１を外側撮像部Ｄ２３で撮像したときに上側ＬＣＤＤ２２に表示される画像の一例を示す図である。
図８３に示すように、外側撮像部Ｄ２３の撮像方向の実空間の平面（テーブル等（図示せず））上には、マーカＤ６１が配置される。マーカＤ６１は、長方形の紙であって、その中心に矢印が描かれている。マーカＤ６１の中心に描かれた矢印の方向は、マーカＤ６１の長辺と平行である。ゲーム装置Ｄ１０の情報処理部Ｄ３１（ＣＰＵＤ３１１）は、外側撮像部Ｄ２３によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカＤ６１を検出することができる。外側撮像部Ｄ２３によって撮像された画像中にマーカＤ６１が検出された場合、上側ＬＣＤＤ２２には、釣りざおオブジェクトＤ５１および魚オブジェクトＤ５２が表示される。具体的には、マーカＤ６１が検出された場合、上側ＬＣＤＤ２２には、外側撮像部Ｄ２３によって撮像された実画像（マーカＤ６１と背景を含む実空間を撮像した画像）に、釣りざおオブジェクトＤ５１および魚オブジェクトＤ５２が重畳表示される。外側撮像部Ｄ２３によって撮像された画像中にマーカＤ６１が検出されない場合は、上側ＬＣＤＤ２２にマーカＤ６１が検出されていないことを示すメッセージが表示されて、釣りざおオブジェクトＤ５１は表示されない。
外側撮像部Ｄ２３は、ユーザの左目に視認される左目用実画像と、ユーザの右目に視認される右目用実画像とを撮像し、上側ＬＣＤＤ２２には、これら２つの画像が表示される。従って、図８３に示す上側ＬＣＤＤ２２に表示された画像は、立体視可能な画像（立体画像）である。
図８３に示す画像が上側ＬＣＤＤ２２に表示された場合において、ユーザが所定の操作を行うと、釣りざおオブジェクトＤ５１の釣り糸の先端部分が下方に移動して、マーカＤ６１が載置された平面と接触し、当該平面が波打つような画像が表示される。所定の操作としては、例えば、ゲーム装置Ｄ１０の外側撮像部Ｄ２３をマーカＤ６１に近づけたり、ゲーム装置Ｄ１０をマーカＤ６１が載置された平面に平行になるように傾けたりする操作である。
図８４は、ユーザが所定の操作を行った場合に、マーカＤ６１が載置された平面が波打つ様子を示した図である。図８４に示すように、ユーザが所定の操作を行うと、上側ＬＣＤＤ２２には、マーカＤ６１が載置された実空間の平面が波打つような画像が表示される。具体的には、外側撮像部Ｄ２３によって左目用実画像と右目用実画像とが撮像され、当該撮像された２つの画像がそれぞれ変形されるため、実空間の平面が立体的に波打つように表示される。
なお、マーカＤ６１には、マーカ座標系が設定される。図８５は、マーカ座標系の定義を示す図である。図８５に示すように、マーカ座標系は、マーカＤ６１の中心を原点としたＸＹＺ座標系によって定義される。マーカＤ６１の矢印と同じ方向（前方向）にＺ軸、当該矢印の方向を基準として右向きに（右方向）にＸ軸、マーカＤ６１に対して垂直上向き（上方向）にＹ軸が設定される。このように、実空間に配置されたマーカＤ６１を基準として仮想空間の座標系（マーカ座標系）が定義されることにより、実空間と仮想空間とを対応付けることができる。
上記魚オブジェクトＤ５２は、マーカ座標系で定義された仮想空間に設定される。従って、ゲーム装置Ｄ１０（外側撮像部Ｄ２３）の位置や姿勢を変化させると、魚オブジェクトＤ５２の見え方も変化する。例えば、ユーザがマーカＤ６１を中心としてゲーム装置Ｄ１０を９０度回転させると（Ｙ軸周りにゲーム装置Ｄ１０を９０度回転させると）、魚オブジェクトＤ５２は９０度回転して表示される。従って、ユーザは、魚オブジェクトＤ５２が実空間に存在するような感覚を得ることができる。なお、ゲーム装置Ｄ１０の位置を変化させても、釣りざおオブジェクトＤ５１は変化しない（ユーザが釣りざおオブジェクトＤ５１を把持しているように、ユーザの実空間における位置に応じて釣りざおオブジェクトＤ５１の仮想空間における位置も変化する）。
以下、上述のような画像を表示するためにゲーム装置Ｄ１０において行われる処理について、詳細に説明する。
（ゲーム処理の詳細）
次に、図８６から図８９を参照して、本実施形態に係る表示処理の詳細について説明する。まず、表示処理の際にメインメモリＤ３２およびＶＲＡＭＤ３１３（以下、これらを総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図８６は、ゲーム装置Ｄ１０のＲＡＭのメモリマップを示す図である。図８６に示されるように、ＲＡＭには、ゲームプログラムＤ７１、左目用実画像Ｄ７２Ｌ、右目用実画像Ｄ７２Ｒ、仮想モデル情報Ｄ７３、変形オブジェクト情報Ｄ７４、左仮想カメラ情報Ｄ７５Ｌ、右仮想カメラ情報Ｄ７５Ｒ、左仮想カメラ画像Ｄ７６Ｌ、右仮想カメラ画像Ｄ７６Ｒ、魚オブジェクト情報Ｄ７７、マスクオブジェクト情報Ｄ７８等が記憶される。
次に、図８６から図８９を参照して、本実施形態に係る表示処理の詳細について説明する。まず、表示処理の際にメインメモリＤ３２およびＶＲＡＭＤ３１３（以下、これらを総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図８６は、ゲーム装置Ｄ１０のＲＡＭのメモリマップを示す図である。図８６に示されるように、ＲＡＭには、ゲームプログラムＤ７１、左目用実画像Ｄ７２Ｌ、右目用実画像Ｄ７２Ｒ、仮想モデル情報Ｄ７３、変形オブジェクト情報Ｄ７４、左仮想カメラ情報Ｄ７５Ｌ、右仮想カメラ情報Ｄ７５Ｒ、左仮想カメラ画像Ｄ７６Ｌ、右仮想カメラ画像Ｄ７６Ｒ、魚オブジェクト情報Ｄ７７、マスクオブジェクト情報Ｄ７８等が記憶される。
ゲームプログラムＤ７１は、後述するフローチャートに示されるゲーム処理を情報処理部Ｄ３１（ＣＰＵＤ３１１）に実行させるためのプログラムである。
左目用実画像Ｄ７２Ｌは、外側撮像部（左）Ｄ２３ａによって撮像された、実空間を撮像した画像である。
右目用実画像Ｄ７２Ｒは、外側撮像部（右）Ｄ２３ｂによって撮像された、実空間を撮像した画像である。
仮想モデル情報Ｄ７３は、後述する仮想モデルＤ５５（図９１参照）に関連する情報である。具体的には、仮想モデル情報Ｄ７３は、平板状のポリゴンを示すデータであり、頂点Ｐ（ｉ）（ｉ＝１〜ｎ）を示す情報である。後述するように、仮想モデルＤ５５の各点Ｐは、マーカ座標系の座標値で表される。
変形オブジェクト情報Ｄ７４は、平板状の仮想モデルＤ５５を変形した変形オブジェクトＤ５６（図９２参照）に関連する情報である。具体的には、変形オブジェクト情報Ｄ７４は、頂点Ｑ（ｉ）（ｉ＝１〜ｎ）および当該頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）を示す情報である。変形オブジェクトＤ５６の各点Ｑは、マーカ座標系の座標値で表される。
左仮想カメラ情報Ｄ７５Ｌは、仮想空間のおける左仮想カメラＤ５３ａ（図９０参照）の位置および姿勢を表す情報である。具体的には、左仮想カメラ情報Ｄ７５Ｌは、左目用実画像Ｄ７２ＬにおけるマーカＤ６１の位置および姿勢に基づいて算出される行列である。
右仮想カメラ情報Ｄ７５Ｒは、仮想空間のおける右仮想カメラＤ５３ｂ（図９０参照）の位置および姿勢を表す情報である。具体的には、右仮想カメラ情報Ｄ７５Ｒは、右目用実画像Ｄ７２ＲにおけるマーカＤ６１の位置および姿勢に基づいて算出される行列である。
左仮想カメラ画像Ｄ７６Ｌは、左仮想カメラＤ５３ａによって変形オブジェクトＤ５６を撮像した画像である。
右仮想カメラ画像Ｄ７６Ｒは、右仮想カメラＤ５３ｂによって変形オブジェクトＤ５６を撮像した画像である。
魚オブジェクト情報Ｄ７７は、仮想空間に配置される魚オブジェクトＤ５２に関する情報であり、魚オブジェクトＤ５２の位置や形状を示す情報である。
マスクオブジェクト情報Ｄ７８は、仮想空間に配置される魚オブジェクトＤ５２が所定の方向から見えないようにマスクするためのマスクオブジェクトＤ５７（図９８参照）に関する情報である。
（メインフローの説明）
次に、本実施形態に係るゲーム処理の詳細について、図８７から図８９を参照して説明する。図８７は、本実施形態に係るゲーム処理の詳細を示すメインフローチャートである。ゲーム装置Ｄ１０の電源が投入されると、ゲーム装置Ｄ１０の情報処理部Ｄ３１（ＣＰＵＤ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリＤ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリＤ４４等；コンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラムがＲＡＭ（具体的には、メインメモリＤ３２）に読み込まれ、情報処理部Ｄ３１のＣＰＵＤ３１１によって当該プログラムの実行が開始される。図８７のフローチャートに示す処理は、以上の処理が完了した後に情報処理部Ｄ３１（ＣＰＵＤ３１１又はＧＰＵＤ３１２）によって行われる。
次に、本実施形態に係るゲーム処理の詳細について、図８７から図８９を参照して説明する。図８７は、本実施形態に係るゲーム処理の詳細を示すメインフローチャートである。ゲーム装置Ｄ１０の電源が投入されると、ゲーム装置Ｄ１０の情報処理部Ｄ３１（ＣＰＵＤ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリＤ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリＤ４４等；コンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラムがＲＡＭ（具体的には、メインメモリＤ３２）に読み込まれ、情報処理部Ｄ３１のＣＰＵＤ３１１によって当該プログラムの実行が開始される。図８７のフローチャートに示す処理は、以上の処理が完了した後に情報処理部Ｄ３１（ＣＰＵＤ３１１又はＧＰＵＤ３１２）によって行われる。
なお、図８７では、本発明に直接関連しない処理については記載を省略する。また、図８７では、外側撮像部Ｄ２３によって実空間に存在するマーカＤ６１が撮像されたことを前提として説明する。また、図８７に示すステップＳＤ２〜ステップＳＤ１０の処理ループは、１フレーム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に繰り返し実行される。
まず、ステップＳＤ１において、情報処理部Ｄ３１は、仮想モデルＤ５５等を設定する。具体的には、情報処理部Ｄ３１は、仮想モデルＤ５５を表す各点Ｐの座標（マーカ座標系における座標）を予め定められた値に設定して、ＲＡＭに記憶する。具体的には、各点Ｐは、マーカ座標系のＸＺ平面上に設定される。また、情報処理部Ｄ３１は、変形オブジェクトＤ５６を表す各点Ｑの座標を予め定められた値（点Ｐと同じ値）に設定して、ＲＡＭに記憶する。また、情報処理部Ｄ３１は、仮想モデルＤ５５の端部にマスクオブジェクトＤ５７を設定する。
図９１は、仮想モデルＤ５５を示す図である。図９１に示すように、仮想モデルＤ５５は、ｎ個の頂点Ｐによって構成される平板状のポリゴンであり、マーカ座標系（ＸＹＺ座標系）のＸＺ平面（実空間におけるマーカＤ６１が載置された平面）上に配置される。ステップＳＤ１の後、情報処理部Ｄ３１は、次にステップＳＤ２の処理を実行する。
ステップＳＤ２において、情報処理部Ｄ３１は、実カメラ画像を取得する。具体的には、情報処理部Ｄ３１は、外側撮像部（左）Ｄ２３ａによって撮像された左目用実画像Ｄ７２Ｌを取得して、ＲＡＭに記憶する。また、情報処理部Ｄ３１は、外側撮像部（右）Ｄ２３ｂによって撮像された右目用実画像Ｄ７２Ｒを取得して、ＲＡＭに記憶する。次に、情報処理部Ｄ３１は、ステップＳＤ３の処理を実行する。
ステップＳＤ３において、情報処理部Ｄ３１は、マーカ認識処理を実行する。マーカ認識処理は、ステップＳＤ２で取得した左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒを用いて、２つの画像に含まれるマーカＤ６１を認識して、仮想カメラ（左仮想カメラＤ５３ａおよび右仮想カメラＤ５３ｂ）を設定する処理である。ステップＳＤ３におけるマーカ認識処理の詳細を、図８８を参照して説明する。
図８８は、マーカ認識処理（ステップＳＤ３）の詳細を示すフローチャートである。
ステップＳＤ２１において、情報処理部Ｄ３１は、実カメラとマーカとの位置関係を算出する。具体的には、情報処理部Ｄ３１は、まず、パターンマッチング手法等によって左目用実画像Ｄ７２Ｌに含まれるマーカを認識する。そして、情報処理部Ｄ３１は、左目用実画像Ｄ７２Ｌに含まれるマーカの当該左目用実画像Ｄ７２Ｌにおける位置や大きさ、形状、および、マーカの矢印の方向等に基づいて、外側撮像部（左）Ｄ２３ａと実空間に存在するマーカＤ６１との位置関係を算出する。ここで、外側撮像部（左）Ｄ２３ａとマーカＤ６１との位置関係とは、マーカＤ６１および外側撮像部（左）Ｄ２３ａの何れか一方を基準とした場合の他方の３次元の位置および姿勢である。
図９０は、マーカＤ６１と外側撮像部（左）Ｄ２３ａとの位置関係を示す図である。図９０に示すように、上記位置関係は、マーカＤ６１に対する外側撮像部（左）Ｄ２３ａの相対的な位置および姿勢である。同様に、情報処理部Ｄ３１は、右目用実画像Ｄ７２Ｒを用いて、外側撮像部（右）Ｄ２３ｂと実空間に存在するマーカＤ６１との位置関係を算出する。ここでは、マーカＤ６１を基準とした外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの相対的な位置および姿勢が行列としてそれぞれ算出される。
より具体的には、ステップＳＤ２１においては、マーカの認識結果に基づいて、マーカ座標系が設定されるとともに、マーカＤ６１と外側撮像部（左）Ｄ２３ａとの位置関係が算出される（図９０参照）。図９０に示すように、マーカ座標系の原点は、マーカＤ６１の中心に設定される。また、マーカ座標系のＺ軸は、マーカＤ６１の矢印の方向と平行に設定され（マーカＤ６１の長辺と平行に設定され）、マーカ座標系のＸ軸は、当該矢印の方向と垂直であって、当該矢印の方向を基準として右向きに設定される（マーカＤ６１の短辺と平行に設定される）。また、Ｙ軸は、マーカＤ６１に対して垂直上向きに設定される（長方形のマーカＤ６１の上向きの法線方向に設定される）。マーカ座標系は、仮想空間を定義する座標系であり、実空間と仮想空間とを対応付ける。すなわち、マーカ座標系における原点は、仮想空間の原点であって、実空間におけるマーカＤ６１の中心でもある。
そして、マーカＤ６１に対する外側撮像部（左）Ｄ２３ａの相対的な位置および姿勢を表す行列が算出される。図９０に示すように、外側撮像部（左）Ｄ２３ａの位置および姿勢を表す行列は、仮想空間におけるマーカ座標系で表された座標を、外側撮像部（左）Ｄ２３ａの位置および姿勢を基準とした外側撮像部（左）座標系で表される座標へと変換するための座標変換行列である。ステップＳＤ２１においては、左目用実画像Ｄ７２Ｌに含まれるマーカに基づいて外側撮像部（左）Ｄ２３ａの位置および姿勢を表す行列が算出され、右目用実画像Ｄ７２Ｒに含まれるマーカに基づいて外側撮像部（右）Ｄ２３ｂの位置および姿勢を表す行列が算出される。
なお、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、これらの撮像方向が平行で、かつ、撮像方向に対して回転しないようにして配設されている。すなわち、外側撮像部（左）Ｄ２３ａの姿勢と外側撮像部（右）Ｄ２３ｂの姿勢とは常に一致する。また、外側撮像部（左）Ｄ２３ａと外側撮像部（右）Ｄ２３ｂとは、所定の間隔で配置されている。このため、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの取りつけ誤差が全くないと仮定すると、例えば、左目用実画像Ｄ７２Ｌに基づいて外側撮像部（左）Ｄ２３ａの位置および姿勢が算出されると、右目用実画像Ｄ７２Ｒを用いなくても、外側撮像部（右）Ｄ２３ｂの位置および姿勢は算出可能である。また、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの取りつけ誤差を考慮して、当該誤差を求めるために、左目用実画像Ｄ７２Ｌに基づいて外側撮像部（左）Ｄ２３ａの位置および姿勢を算出し、右目用実画像Ｄ７２Ｒに基づいて外側撮像部（右）Ｄ２３ｂの位置および姿勢を算出してもよい。例えば、一定期間、左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒに基づいて、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの位置等をそれぞれ算出して上記誤差を算出してもよい。そして、左目用実画像Ｄ７２Ｌ（又は右目用実画像Ｄ７２Ｒ）を用いて外側撮像部（左）Ｄ２３ａの位置および姿勢を算出するとともに、当該算出した外側撮像部（左）Ｄ２３ａの位置および姿勢と上記誤差とに基づいて、外側撮像部（右）Ｄ２３ｂの位置および姿勢を算出してもよい。ステップＳＤ２１の後、情報処理部Ｄ３１は、次にステップＳＤ２２の処理を実行する。
ステップＳＤ２２において、情報処理部Ｄ３１は、左右の仮想カメラの位置および姿勢を決定する。ここでは、左右の仮想カメラの位置および姿勢は、外側撮像部Ｄ２３の位置および姿勢と一致する。すなわち、左仮想カメラＤ５３ａの仮想空間における位置および姿勢は、外側撮像部（左）Ｄ２３ａの位置および姿勢と一致するように設定される（図９０参照）。また、右仮想カメラＤ５３ｂの仮想空間における位置および姿勢は、外側撮像部（右）Ｄ２３ｂの位置および姿勢と一致するように設定される。具体的には、左仮想カメラＤ５３ａの位置および姿勢は、行列（左ビュー行列）として表され、ステップＳＤ２１で算出された外側撮像部（左）Ｄ２３ａの位置および姿勢を表す行列が、左仮想カメラ情報Ｄ７５ＬとしてＲＡＭに保存される。同様に、右仮想カメラＤ５３ｂの位置および姿勢は、行列（右ビュー行列）として表され、ステップＳＤ２１で算出された外側撮像部（右）Ｄ２３ｂの位置および姿勢を表す行列が、右仮想カメラ情報Ｄ７５ＲとしてＲＡＭに保存される。なお、上述のように外側撮像部（左）Ｄ２３ａの姿勢と外側撮像部（右）Ｄ２３ｂの姿勢とは常に一致するため、左仮想カメラＤ５３ａの姿勢と右仮想カメラＤ５３ｂの姿勢とも一致する。ステップＳＤ２２の処理の後、情報処理部Ｄ３１は、マーカ認識処理を終了する。
図８７に戻り、情報処理部Ｄ３１は、ステップＳＤ３の処理の後、ステップＳＤ４の処理を実行する。
ステップＳＤ４において、情報処理部Ｄ３１は、魚オブジェクトＤ５２を仮想空間に設定する。具体的には、情報処理部Ｄ３１は、仮想モデルＤ５５よりもＹ軸負方向の位置に魚オブジェクトＤ５２を配置する。なお、魚オブジェクトＤ５２は、所定の規則に従って、仮想空間内を移動する。次に、情報処理部Ｄ３１は、ステップＳＤ５の処理を実行する。
ステップＳＤ５において、情報処理部Ｄ３１は、変形オブジェクトを変形させる。図９２は、変形オブジェクトＤ５６を示す図である。変形オブジェクトＤ５６は、上記仮想モデルＤ５５を変形させたオブジェクトである。図９２に示すように、変形オブジェクトＤ５６は、上記仮想モデルＤ５５の各点Ｐをマーカ座標系の上下方向（Ｙ軸正方向または負方向）に移動させた場合に生成されるオブジェクトである。具体的には、情報処理部Ｄ３１は、変形オブジェクトＤ５６の頂点Ｑ（ｉ）（ｉ＝１〜ｎ）について、所定のパターンで上下方向に移動させる。例えば、情報処理部Ｄ３１は、マーカ座標系の所定点から各頂点Ｑまでの距離に応じて、移動方向（Ｙ軸正方向または負方向）および移動距離を示す移動ベクトルを頂点Ｑ毎に決定する。そして、情報処理部Ｄ３１は、現在の各頂点Ｑの座標に決定した各移動ベクトルを加えることにより、各頂点Ｑを移動させる（各頂点Ｑの座標値を更新して、ＲＡＭに記憶する）。
なお、ステップＳＤ５において、情報処理部Ｄ３１は、変形オブジェクトＤ５６の端部を除く点のみを移動させる。すなわち、図９２に示す変形オブジェクトＤ５６の境界（変形オブジェクトＤ５６の外縁）の各頂点の座標は、変化しない。逆に、変形オブジェクトＤ５６の境界を変形させた場合において、後述するステップＳＤ７やＳＤ８において変形オブジェクトＤ５６を仮想カメラで撮像すると、当該仮想カメラで撮像した画像と実画像と重ね合わせた場合に、境界部分の整合性が保たれないため、不自然な画像となることがある。具体的には、境界部分が大きく変形すると、変形オブジェクトＤ５６の外側の境界部分近傍では変形せず、変形オブジェクトＤ５６の境界部分が変形するため、当該境界部分において不連続となり、違和感のある画像となる。しかしながら、本実施形態では、変形オブジェクトＤ５６の境界を変形させないため、境界部分においても自然な画像となる。
情報処理部Ｄ３１は、次にステップＳＤ６の処理を実行する。
ステップＳＤ６において、情報処理部Ｄ３１は、各頂点Ｑの法線を算出する。ここでは、情報処理部Ｄ３１は、ステップＳＤ５で更新した頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）を算出し、ＲＡＭに記憶する。情報処理部Ｄ３１は、次にステップＳＤ７の処理を実行する。
ステップＳＤ７において、情報処理部Ｄ３１は、左仮想カメラ画像生成処理を実行する。ステップＳＤ７における左仮想カメラ画像生成処理の詳細を、図８９を参照して説明する。
図８９は、左仮想カメラ画像生成処理（ステップＳＤ７）の詳細を示すフローチャートである。
まず、ステップＳＤ３１において、情報処理部Ｄ３１は、変数ｉを０にセットしてＲＡＭに記憶する。次に、情報処理部Ｄ３１は、ステップＳＤ３２の処理を実行する。
ステップＳＤ３２において、情報処理部Ｄ３１は、仮想モデルＤ５５の頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を算出する。ここでは、仮想空間に配置された仮想モデルＤ５５の頂点Ｐ（ｉ）（マーカ座標系）の左目用実画像Ｄ７２Ｌにおける位置（Ｔ（ｉ））が算出される。
図９３は、頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を示す図である。図９３に示すように、テクスチャ座標Ｔ（ｉ）は、左目用実画像Ｄ７２Ｌ上の位置を示す座標である。具体的には、情報処理部Ｄ３１は、マーカ座標系で表された仮想モデルＤ５５の頂点Ｐ（ｉ）に、左仮想カメラＤ５３ａの左ビュー行列（ステップＳＤ３で算出された行列；左仮想カメラ情報Ｄ７５Ｌ）、および、射影行列をかけることによって上側ＬＣＤＤ２２の表示上の座標（上側ＬＣＤＤ２２の画面の左下を原点とする座標）を求める。そして、情報処理部Ｄ３１は、求められた表示上の座標に所定の変換を行うことにより、左目用実画像Ｄ７２Ｌ上の座標Ｔ（ｉ）（左目用実画像Ｄ７２Ｌの左下を原点とした位置）を算出する。図９３に示すように、左目用実画像Ｄ７２Ｌは、上側ＬＣＤＤ２２の画面サイズよりも大きく設定されているため、表示上の座標を左目用実画像Ｄ７２Ｌ上（ＴｘＴｙ座標系）の座標に変換することにより、テクスチャ座標Ｔが求められる。次に、情報処理部Ｄ３１は、ステップＳＤ３３の処理を実行する。
ステップＳＤ３３において、情報処理部Ｄ３１は、変数ｉをインクリメントし、次に、ステップＳＤ３４の処理を実行する。
ステップＳＤ３４において、情報処理部Ｄ３１は、ｉがｎと等しいか否かを判定し、判定結果が肯定の場合は、次にステップＳＤ３５の処理を実行する。判定結果が否定の場合は、情報処理部Ｄ３１は、ステップＳＤ３２の処理を再び実行する。ステップＳＤ３２〜ＳＤ３４の処理が繰り返し実行されることによって、仮想モデルＤ５５の全ての頂点Ｐについてテクスチャ座標Ｔが求められる。
ステップＳＤ３５において、情報処理部Ｄ３１は、変形オブジェクトＤ５６に左目用実画像Ｄ７２Ｌの各テクスチャ座標に対応する領域の画像をテクスチャとして適用して、左仮想カメラで撮像する。具体的には、情報処理部Ｄ３１は、変形オブジェクトＤ５６の頂点Ｑ（ｉ）にテクスチャ座標Ｔ（ｉ）を設定してテクスチャマッピングを行い、左仮想カメラＤ５３ａで撮像する。そして、情報処理部Ｄ３１は、撮像した画像を左仮想カメラ画像Ｄ７６ＬとしてＲＡＭに記憶する。ここでの処理は、ステップＳＤ３２〜ＳＤ３４の処理で算出したテクスチャ座標Ｔに応じた左テクスチャ領域に含まれる画像を、左目用実画像Ｄ７２Ｌから切り取って変形オブジェクトＤ５６に貼り付けることに対応する。以下、ステップＳＤ３５における処理の概要を図９４および図９５を用いて説明する。
図９４は、ステップＳＤ３５における処理を概念的に表す図であり、左目用実画像Ｄ７２Ｌから左テクスチャ領域の画像を切り取る様子を示す図である。図９４に示すように、テクスチャ座標Ｔ（ｉ）に対応する左テクスチャ領域の画像ａｉ（テクスチャ座標Ｔ（ｉ）を含む平行四辺形の画像）が、左目用実画像Ｄ７２Ｌから切り取られる（コピーされる）。次に、切り取られた各画像が変形オブジェクトＤ５６に貼り付けられる。
図９５は、ステップＳＤ３５における処理を概念的に表す図であり、図９４に示す切り取られた左テクスチャ領域の画像ａｉを変形オブジェクトＤ５６に張り付ける様子を示す図である。図９５に示すように、切り取られた左テクスチャ領域の画像ａｉが変形オブジェクトＤ５６にテクスチャとして適用されて左仮想カメラＤ５３ａで撮像されると、当該画像ａｉは、変形する（画像ａｉ’）。このようにして、切り取られた各左テクスチャ領域の画像が変形オブジェクトＤ５６に張り付けられる。
ステップＳＤ３５で生成される左仮想カメラ画像Ｄ７６Ｌは、左目用実画像Ｄ７２Ｌにおける仮想モデルＤ５５に対応する領域（左目用実画像Ｄ７２Ｌのうち、仮想モデルＤ５５を左仮想カメラＤ５３ａで撮像した場合のレンダリング画像上の当該仮想モデルＤ５５の位置および輪郭に対応する領域）が変形した画像である。上述のように仮想モデルＤ５５は、マーカ座標系のＸＺ平面上に配置される（マーカＤ６１が載置された実空間の平面（テーブル）上に配置される）。このため、左仮想カメラ画像Ｄ７６Ｌは、ＸＺ平面（実空間の平面）が変形したような画像となる。
なお、ステップＳＤ３５においては、変形オブジェクトＤ５６の形状に応じて、影が付される。上述のようにステップＳＤ６において変形オブジェクトＤ５６の各頂点Ｑの法線ベクトルが算出されているため、仮想光源で変形オブジェクトＤ５６を照らしたときに生成される影を計算することができる。また、ステップＳＤ３５においては、魚オブジェクトＤ５２も左仮想カメラＤ５３ａで撮像されるため、上記左仮想カメラ画像Ｄ７６Ｌには、魚オブジェクトＤ５２の画像も含まれる。
以上のようにして、左仮想カメラ画像Ｄ７６Ｌを生成した後、情報処理部Ｄ３１は、左仮想カメラ画像生成処理を終了する。
図８７に戻り、情報処理部Ｄ３１は、次にステップＳＤ８の処理を実行する。ステップＳＤ８において、情報処理部Ｄ３１は、右仮想カメラ画像生成処理を実行する。右仮想カメラ画像生成処理は、ステップＳＤ７と同様の処理であるが、ステップＳＤ８では、右目用実画像Ｄ７２Ｒから切り取られたテクスチャ領域の画像が変形オブジェクトＤ５６にテクスチャとして適用されて、右仮想カメラＤ５３ｂで撮像される。
ステップＳＤ８では、まず、情報処理部Ｄ３１は、右目用実画像Ｄ７２Ｒにおけるテクスチャ座標Ｔを算出する。より具体的には、マーカ座標系で表された仮想モデルＤ５５の各頂点Ｐに、右仮想カメラＤ５３ｂの右ビュー行列（ステップＳＤ３で算出された行列；右仮想カメラ情報Ｄ７５Ｒ）、および、射影行列をかけて上側ＬＣＤＤ２２の表示上の座標を求め、右目用実画像Ｄ７２Ｒ上のテクスチャ座標を求める。そして、情報処理部Ｄ３１は、変形オブジェクトＤ５６の各頂点にテクスチャ座標を設定してテクスチャマッピングを行い、右仮想カメラＤ５３ｂで撮像する（右目用実画像Ｄ７２Ｒから各右テクスチャ領域の画像を切り取って、変形オブジェクトＤ５６に貼り付ける）。このようにして、情報処理部Ｄ３１は、右仮想カメラ画像Ｄ７６Ｒを生成し、ＲＡＭに記憶する。なお、ステップＳＤ３５と同様に、魚オブジェクトＤ５２も右仮想カメラＤ５３ｂで撮像されるため、上記右仮想カメラ画像Ｄ７６Ｒには、魚オブジェクトＤ５２の画像も含まれる。
図９６は、右目用実画像Ｄ７２Ｒから右テクスチャ領域の画像を切り取る様子を示す図である。右目用実画像Ｄ７２Ｒと左目用実画像Ｄ７２Ｌとは視差があるため、右目用実画像Ｄ７２Ｒは左目用実画像Ｄ７２Ｌとは異なる画像である。図９４および図９６に示すように、仮想モデルの頂点Ｐ（ｉ）の右目用実画像Ｄ７２Ｒ上の位置Ｔ（ｉ）は、左目用実画像Ｄ７２Ｌ上の位置Ｔ（ｉ）とは異なる。従って、右目用実画像Ｄ７２Ｒから切り取られる右テクスチャ領域の画像ｂｉは、左目用実画像Ｄ７２Ｌから切り取られる左テクスチャ領域の画像ａｉとは異なる形状となる。例えば、右テクスチャ領域の画像ｂｉは、左テクスチャ領域の画像ａｉよりも歪んだ形状となる（図９４に示す画像ａｉと図９６に示す画像ｂｉとを比較すると、画像ａｉの方が、画像ｂｉよりも正方形に近い形状となっている）。そして、右目用実画像Ｄ７２Ｒから切り取られた各右テクスチャ領域の画像が、変形オブジェクトＤ５６にテクスチャとして適用されて右仮想カメラＤ５３ｂで撮像されるため、上記左テクスチャ領域の画像と同様に、各右テクスチャ領域の画像は変形する。図９７は、図９６に示す切り取られた右テクスチャ領域の画像ｂｉを変形オブジェクトＤ５６に張り付ける様子を示す図である。図９７に示すように、切り取られた右テクスチャ領域の画像ｂｉが変形オブジェクトＤ５６にテクスチャとして適用されて右仮想カメラＤ５３ｂで撮像されると、当該画像ｂｉは、変形する（画像ｂｉ’）。このようにして、右目用実画像Ｄ７２Ｒから切り取られた各右テクスチャ領域の画像が変形オブジェクトＤ５６に張り付けられる。
ステップＳＤ８で生成される右仮想カメラ画像Ｄ７６Ｒは、ステップＳＤ７で生成された左仮想カメラ画像Ｄ７６Ｌと同様、ＸＺ平面（実空間の平面）が変形したような画像である。右仮想カメラ画像Ｄ７６Ｒは、左仮想カメラ画像Ｄ７６Ｌとは異なる画像であり、これらの画像には視差がある。
ステップＳＤ８の後、情報処理部Ｄ３１は、次にステップＳＤ９の処理を実行する。
ステップＳＤ９において、情報処理部Ｄ３１は、実画像と仮想カメラ画像とを重ね合わせて、重畳画像を生成する。具体的には、情報処理部Ｄ３１は、ステップＳＤ２で取得した左目用実画像Ｄ７２Ｌと、ステップＳＤ７で生成した左仮想カメラ画像Ｄ７６Ｌとを重ね合わせた左目用重畳画像を生成する。また、情報処理部Ｄ３１は、ステップＳＤ２で取得した右目用実画像Ｄ７２Ｒと、ステップＳＤ８で生成した右仮想カメラ画像Ｄ７６Ｒとを重ね合わせた右目用重畳画像を生成する。次に、情報処理部Ｄ３１は、ステップＳＤ１０の処理を実行する。
ステップＳＤ１０において、情報処理部Ｄ３１は、出力処理を実行する。出力処理が実行されることによって、上側ＬＣＤＤ２２に立体視可能な画像が表示される。具体的には、情報処理部Ｄ３１は、ステップＳＤ９で生成した２つの重畳画像を上側ＬＣＤＤ２２に出力する。上側ＬＣＤＤ２２に表示された左目用重畳画像は視差バリアを介してユーザの左目で視認され、右目用重畳画像は視差バリアを介してユーザの右目で視認される。これにより、ユーザは立体感のある画像を視認することができる。ステップＳＤ１０の後、情報処理部Ｄ３１は、ステップＳＤ２の処理を再び実行する。
なお、上記ステップＳＤ７およびＳＤ８においては、仮想カメラの位置や姿勢に応じて、魚オブジェクトＤ５２はマスクオブジェクトＤ５７によってマスクされて撮像されない場合がある。図９８は、マスクオブジェクトＤ５７によって魚オブジェクトＤ５２がマスクされる場合を示す図であり、仮想空間をマーカ座標系のＸ軸に平行な方向から見た場合において、魚オブジェクトＤ５２と仮想カメラの位置関係を示す図である。マスクオブジェクトＤ５７は、仮想モデルＤ５５（変形オブジェクトＤ５６）の端部に設定される面状の仮想的なオブジェクトであり、魚オブジェクトＤ５２を非表示にする、上側ＬＣＤＤ２２には表示されないオブジェクトである。図９８に示すように、仮想カメラＰｃ（左仮想カメラ又は右仮想カメラ）の位置から魚オブジェクトＤ５２を見た場合、魚オブジェクトＤ５２は、マスクされず上側ＬＣＤＤ２２に表示される。しかしながら、仮想カメラＰｃ’の位置から魚オブジェクトＤ５２を見た場合、魚オブジェクトＤ５２は、マスクオブジェクトＤ５７によってマスクされて、上側ＬＣＤＤ２２には表示されない。マスクオブジェクトＤ５７が変形オブジェクトＤ５６の端部に配置されない場合、仮想カメラＰｃ’の位置から魚オブジェクトＤ５２を見ると、変形オブジェクトＤ５６によって実空間の平面が変形しない領域（すなわち、波が発生しない領域）の奥方向に魚オブジェクトＤ５２が見え、違和感のある画像になることがある。また、現実世界においては、水面を見る角度が小さいと（水面を垂直ではなく、水平に近い方向から見ると）、光の反射によって水中の魚を見ることができない。このため、仮想モデルＤ５５（変形オブジェクトＤ５６）の端部にマスクオブジェクトＤ５７を配置して、仮想カメラＰｃ’からは魚オブジェクトＤ５２が見えないようにする。すなわち、仮想カメラと魚オブジェクトＤ５２との間に変形オブジェクトＤ５６が存在しない場合（仮想カメラと魚オブジェクトＤ５２とを結ぶ直線上に変形オブジェクトＤ５６が存在しない場合）、当該魚オブジェクトＤ５２を非表示にする。
以上のように、本実施形態では、マーカＤ６１上にマーカ座標系が設定される。当該マーカ座標系のＸＺ平面（マーカＤ６１が載置された平面）に平板状の仮想モデルＤ５５が配置され、左目用実画像Ｄ７２Ｌにおける当該仮想モデルＤ５５に対応する領域が左テクスチャ領域として設定される（左テクスチャ領域の画像として切り出される）。そして、仮想モデルＤ５５を変形した変形オブジェクトＤ５６に、左テクスチャ領域の画像がテクスチャとして適用されて、左仮想カメラで撮像されることにより、左仮想カメラ画像が生成される。また、右目用実画像Ｄ７２Ｒにおける仮想モデルＤ５５に対応する領域が右テクスチャ領域として設定される（右テクスチャ領域の画像として切り出される）。そして、仮想モデルＤ５５を変形した変形オブジェクトＤ５６に、右テクスチャ領域の画像がテクスチャとして適用されて、右仮想カメラで撮像されることにより、右仮想カメラ画像が生成される。これにより、実空間上の平面が変形したような画像を生成することができ、上記のようにあたかもマーカＤ６１が配置された実空間の平面が波打つような様子を表示することができる。
また、本実施形態では、実空間に配置されたマーカＤ６１上にマーカ座標系が設定され、仮想カメラが実カメラの位置および姿勢に対応して設定される。これにより、仮想空間に存在するオブジェクトがあたかも実空間に存在するような感覚（拡張現実感）を与えることができる。
また、本実施形態では、左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒからそれぞれテクスチャ領域が設定されて（それぞれテクスチャ画像が切り出されて）、左仮想カメラ画像および右仮想カメラ画像が生成される。このため、何れか一方の実画像からそれぞれ左仮想カメラ画像および右仮想カメラ画像を生成する場合よりも、解像度の高い画像となる。すなわち、例えば、左目用実画像Ｄ７２Ｌから左テクスチャ領域の画像が切り出されて、当該左テクスチャ領域の画像を用いて右仮想カメラ画像を生成すると、左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒは視差があるため、左テクスチャ領域の画像を大きく変形させる必要があり、より多くの画素情報が失われる。
図９９は、左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情報が失われることを説明するための図である。図９９に示すように、左テクスチャ領域の画像を変形して左仮想カメラ画像を生成する場合、当該左テクスチャ領域の画像を変形する度合いは比較的小さい。また、同様に、右テクスチャ領域の画像を変形して右仮想カメラ画像を生成する場合、当該左テクスチャ領域の画像を変形する度合いは比較的小さい。しかしながら、左テクスチャ領域の画像を変形して右仮想カメラ画像を生成する場合、当該左テクスチャ領域の画像を大きく変形させる必要がある。画像を伸縮させて変形させると、当該画像の解像度は低くなる。しかしながら、本実施形態では、左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒからそれぞれテクスチャ画像を切り取るため、このような解像度の低下を防止することができる。
また、本実施形態では、変形オブジェクトＤ５６の端部（境界）が変形しないため、実画像と仮想カメラ画像とが重ね合わされた場合に境界において違和感のない画像にすることができる。すなわち、変形オブジェクトＤ５６の境界が変形すると、当該境界において不連続な画像となることがあるため、実画像と仮想カメラで撮像した画像とを重ね合わせた場合に違和感のある画像になる。また、例えば、変形しない仮想モデルＤ５５に実画像のテクスチャを適用した仮想モデル画像と実画像とを重ね合わせると、重ね合わされた領域は一致する。このため、実画像の一部領域（仮想モデルに対応する領域）が、仮想モデル画像によって完全に遮られるため、重ね合わされた画像には違和感がない。しかしながら、仮想モデルＤ５５を変形させた変形オブジェクトＤ５６が、その境界も含めて変形し、当該変形オブジェクトＤ５６を撮像した変形オブジェクト画像を実画像に重ね合わせると、変形オブジェクト画像によって遮られない実画像の領域が発生する。このため、実画像と変形オブジェクト画像とを重ね合わせた画像には、同じ領域が二重に存在する場合があり、不自然な画像となる（例えば、変形オブジェクトが仮想モデルよりも小さく変形した場合）。しかしながら、本実施形態では、変形オブジェクトＤ５６の境界部分は変形しないため、このような変形オブジェクトによって遮られない領域は発生しないため、同じ領域が二重に表示されることなく、自然な画像となる。
また、左仮想カメラで変形オブジェクトを撮像するときは左目用実画像をテクスチャとして適用し、右仮想カメラで変形オブジェクトを撮像するときは右目用実画像をテクスチャとして適用することにより、境界における連続性をより保つことができる。すなわち、例えば、左目用実画像から切り取られたテクスチャを変形オブジェクトに適用して右仮想カメラで撮像した右仮想カメラ画像を、右目用実画像に重畳した場合、右目用実画像の背景部分と、変形オブジェクトに対応する部分とがずれることがある（例えば、一方の実カメラからしか見えない領域が存在する場合など）。このため、一方の実画像から両方のテクスチャを生成すると、境界における連続性を保つことができない。しかしながら、本実施形態では、両方の実画像からそれぞれテクスチャを生成するため、境界における連続性を保つことができる。
（変形例）
なお、本実施形態では、マーカＤ６１が載置された平面に平板状の仮想モデルを配置して、当該平面が波打つような表示を行った。他の実施形態では、仮想モデルは平面状ではなく、曲面状であってもよい（立体物でもよい）。例えば、実空間に存在する立体物（コップや人の顔でもよい）について、当該立体物に沿うように仮想モデルを配置し、仮想モデルを変形させることによって、当該実空間上の立体物が変形する様子が表示されてもよい。例えば、赤外線等で深度（カメラの奥方向の距離）を測定可能なカメラを用いて、実空間に存在する立体物の形状を認識し、認識した形状の仮想モデルを仮想空間に設定することにより、立体物を変形させてもよい。あるいは、外側撮像部Ｄ２３によって撮像される２つの画像の視差に基づいて、カメラの奥方向の距離を算出してもよい。また、上記方法を用いて、実空間の壁が変形する様子を表示したり、カーテンが揺れる様子を表示したりしてもよい。
なお、本実施形態では、マーカＤ６１が載置された平面に平板状の仮想モデルを配置して、当該平面が波打つような表示を行った。他の実施形態では、仮想モデルは平面状ではなく、曲面状であってもよい（立体物でもよい）。例えば、実空間に存在する立体物（コップや人の顔でもよい）について、当該立体物に沿うように仮想モデルを配置し、仮想モデルを変形させることによって、当該実空間上の立体物が変形する様子が表示されてもよい。例えば、赤外線等で深度（カメラの奥方向の距離）を測定可能なカメラを用いて、実空間に存在する立体物の形状を認識し、認識した形状の仮想モデルを仮想空間に設定することにより、立体物を変形させてもよい。あるいは、外側撮像部Ｄ２３によって撮像される２つの画像の視差に基づいて、カメラの奥方向の距離を算出してもよい。また、上記方法を用いて、実空間の壁が変形する様子を表示したり、カーテンが揺れる様子を表示したりしてもよい。
また、他の実施形態では、上述した方法を用いて、実空間の平面や曲面等（テーブルや人の顔等）ではなく、実空間の一部の空間が変形する様子が表示されてもよい。
また、本実施形態では、釣りゲームを例にして実空間の平面を水面のように変形させたが、上述した処理はどのようなゲームにも適用可能である。
また、本実施形態では、仮想モデルを変形した変形オブジェクトに左右の実画像から切り出したテクスチャ領域の画像（テクスチャ画像）を張り付けた。他の実施形態では、仮想モデルは変形しなくてもよい。すなわち、他の実施形態では、左目用実画像から取得した左テクスチャ画像を仮想モデルにテクスチャとして適用して左仮想カメラで撮像し、右目用実画像から取得した右テクスチャ画像を仮想モデルにテクスチャとして適用して右仮想カメラで撮像してもよい。このようにして、左右の実画像からテクスチャ画像をそれぞれ切り出すことにより、実カメラで撮像した画像を仮想モデルのテクスチャとして利用して、仮想モデルの立体視画像を生成することができる。仮想モデルとして表示することで、仮想カメラによる撮影方向を変更したり、ライティングの色や方向を変更したりと言った処理が可能となる。この場合において、本実施形態では左右の実画像からテクスチャ画像をそれぞれ切り出してテクスチャとして適用する。このため、どちらか一方の画像からテクスチャ画像を切り出し、当該切り出したテクスチャ画像をテクスチャとして適用して左右の仮想カメラでそれぞれ撮像する場合に生じる解像度の低下を防止することができる。
また、本実施形態では、マーカＤ６１を外側撮像部Ｄ２３で撮像することによって、外側撮像部Ｄ２３とマーカＤ６１との位置関係（相対的な位置および姿勢）を算出した。そして、算出した位置関係に基づいて、仮想空間（マーカ座標系）を設定した。他の実施形態では、マーカＤ６１に限らず、他の物体を撮像画像から認識して、上記位置関係が算出されてもよい。例えば、実空間に存在する所定の物体（例えば、実空間に存在する椅子やテーブル等でもよい）をパターンマッチング等の画像認識により検出し、上記位置関係が算出されて、仮想空間が定義されてもよい。すなわち、他の実施形態では、実空間に存在する特定対象物（上記マーカや所定の物体）を撮像画像から認識して、当該特定対象物と外側撮像部Ｄ２３との位置関係が算出されてもよい。また、特定対象物は、実カメラによって撮像された画像に基づいて認識されず、他の認識手段（例えば、超音波センサ等でもよい）によって認識されて、当該特定対象物と外側撮像部Ｄ２３との位置関係が算出されてもよい。
また、他の実施形態では、ＧＰＳや加速度センサ、角速度センサ、地磁気センサ等によって、実カメラの位置および姿勢が検出されてもよい。そして、検出された位置および姿勢に基づいて、仮想空間内の仮想カメラの位置および姿勢が設定され、実カメラで撮像した画像と仮想カメラで仮想空間を撮像した画像とを重畳してもよい。例えば、実空間に対応した仮想空間の所定の位置に仮想オブジェクトが配置され、当該仮想空間の所定の位置に対応する実空間の位置を所定の方向から実カメラで撮影してもよい。この場合、ＧＰＳや姿勢検出手段（加速度センサや角速度センサ、地磁気センサ等）によって実カメラの位置および姿勢を検出することができ、当該実カメラの位置および姿勢に一致するように仮想空間に仮想カメラを設定することができる。
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわち、本実施形態では、外側撮像部Ｄ２３によって撮像された画像と、仮想カメラ（左右の仮想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画像が上側ＬＣＤＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して実空間を視認できるようになっている。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画像を表示させることができるようになっている。
また、他の実施形態では、上述した撮影処理の方法は、ゲーム装置に限らず任意の電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高機能携帯電話、カメラ（装置としてのカメラ）等に適用されてもよい。
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いられた。他の実施形態では、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）などの眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が各処理を分担して処理することにより、上述した表示処理方法を実現する表示処理システムとして構築されてもよい。例えば、外側撮像部Ｄ２３が情報処理装置と分離された構成であって、外側撮像部Ｄ２３が情報処理装置に無線等で接続されてもよい。また、情報処理装置と表示装置が分離された構成で、互いに接続されてもよい。また、外側撮像部Ｄ２３の位置および姿勢が情報処理装置と分離した検出手段によって検出され、当該検出結果が情報処理装置に送信されてもよい。
また、上記実施形態においては、ゲーム装置Ｄ１０の情報処理部Ｄ３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置Ｄ１０が備える専用回路によって行われてもよい。
また、上記ゲームプログラム（情報処理プログラム）は、上記メモリに限らず、光ディスクや磁気ディスク等、コンピュータ読み取り可能な記憶媒体に記憶されてゲーム装置Ｄ１０に提供されてもよい。また、例えば、ネットワーク上のサーバのＲＡＭに上記プログラムが記憶され、ゲーム装置Ｄ１０が当該ネットワークに接続されて、当該プログラムがゲーム装置Ｄ１０に提供されてもよい。
（ゲーム装置の構成）
以下、本発明のさらに他の一実施形態に係るゲーム装置について説明する。図１００〜図１０１は、ゲーム装置Ｅ１の外観を示す図である。ゲーム装置Ｅ１は携帯型のゲーム装置であり、図１００〜図１０１に示すように折り畳み可能に構成されている。ゲーム装置Ｅ１は、カメラによって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ｅ１は、交換可能なメモリカード内に記憶されたゲームプログラム、または、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
以下、本発明のさらに他の一実施形態に係るゲーム装置について説明する。図１００〜図１０１は、ゲーム装置Ｅ１の外観を示す図である。ゲーム装置Ｅ１は携帯型のゲーム装置であり、図１００〜図１０１に示すように折り畳み可能に構成されている。ゲーム装置Ｅ１は、カメラによって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ｅ１は、交換可能なメモリカード内に記憶されたゲームプログラム、または、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
図１００（ａ）は開状態におけるゲーム装置Ｅ１の左側面図であり、図１００（ｂ）は開状態におけるゲーム装置Ｅ１の正面図であり、図１００（ｃ）は開状態におけるゲーム装置Ｅ１の右側面図であり、図１００（ｄ）は開状態におけるゲーム装置Ｅ１の背面図であり、図１００（ｅ）は開状態におけるゲーム装置Ｅ１の上面図であり、図１００（ｆ）は開状態におけるゲーム装置Ｅ１の底面図である。図１０１（ａ）は閉状態におけるゲーム装置Ｅ１の左側面図であり、図１０１（ｂ）は閉状態におけるゲーム装置Ｅ１の正面図であり、図１０１（ｃ）は閉状態におけるゲーム装置Ｅ１の右側面図であり、図１０１（ｄ）は閉状態におけるゲーム装置Ｅ１の背面図であり、図１０１（ｅ）は閉状態におけるゲーム装置Ｅ１の上面図であり、図１０１（ｆ）は閉状態におけるゲーム装置Ｅ１の底面図である。
図１００〜図１０１に示されるように、ゲーム装置Ｅ１は、下側ハウジングＥ２および上側ハウジングＥ５を有する。下側ハウジングＥ２と上側ハウジングＥ５とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、下側ハウジングＥ２および上側ハウジングＥ５はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
具体的には、図１００〜図１０１に示されるように、上側ハウジングＥ５は、略矩形形状の第１部分Ｅ６（破線で囲まれる部分）と、当該第１部分Ｅ６の底面の中央部から当該底面に対して垂直方向に突起する第１連結部Ｅ７とを有する。第１部分Ｅ６は上側ハウジングＥ５のうちの第１連結部Ｅ７以外の部分（開いた状態において、正面視で、上側ハウジングＥ５のうちの第１連結部Ｅ７の上端よりも上の部分、閉じた状態において第１連結部Ｅ７の下端よりも下の部分）と特定することもできる。また、下側ハウジングＥ２は、略矩形形状の第２部分Ｅ３（破線で
囲まれる部分）と、当該第２部分Ｅ３の上方の第２連結部Ｅ４とを有する。
囲まれる部分）と、当該第２部分Ｅ３の上方の第２連結部Ｅ４とを有する。
第２連結部Ｅ４は、その両端部のそれぞれに当該第２部分Ｅ３の内側面（上側ハウジングＥ５と下側ハウジングＥ２とを折り畳んだ場合に内側となる面）に対して垂直方向に突起する突起部Ｅ４ａと、前記第１連結部Ｅ７を受容する窪み部Ｅ４ｂとを有する（図１０２（ｂ）参照）。すなわち、図１０２（ｂ）に示すように、第２連結部Ｅ４は、両端に設けられた突起部Ｅ４ａと窪み部Ｅ４ｂとを含む部分であり、下側ハウジングＥ２のうち、略矩形形状の第２部分Ｅ３の上端よりも上方の部分である。上側ハウジングＥ５の第１連結部Ｅ７が下側ハウジングＥ２の第２連結部Ｅ４の窪み部Ｅ４ｂに受容されて、上側ハウジングＥ５の第１連結部Ｅ７と下側ハウジングＥ２の第２連結部Ｅ４の突起部Ｅ４ａとが、ヒンジピンＥ５９（図１０６および図１０７参照）によって連結されることにより、上側ハウジングＥ５と下側ハウジングＥ２とが、折り畳み可能に接続される。上側ハウジングＥ５と下側ハウジングＥ２とを折り畳んだ場合において、上側ハウジングＥ５の上記第１部分Ｅ６と下側ハウジングＥ２の上記第２部分Ｅ３とは重なり合う。
一方、第２部分Ｅ３は下側ハウジングＥ２のうちの、正面視で、下側ハウジングＥ２の突起部Ｅ４ａの下端よりも下の部分である。そして、下側ハウジングＥ２の突起部Ｅ４ａと上側ハウジングＥ５の突起（第１連結部Ｅ７）とが結合されて携帯ゲーム装置Ｅ１の折り畳みのための連結部を構成する。より具体的には、下側ハウジングＥ２の突起部Ｅ４ａの下端と上側ハウジングＥ５の突起の下端は一致するように、両突起が結合される。それゆえ、言い換えると、第１部分Ｅ６は上側ハウジングＥ５のうちの連結部よりも開いた状態で上の部分（閉じた状態で下の部分）であり、第２部分Ｅ３は下側ハウジングＥ２のうちの連結部よりも下の部分である。
下側ハウジングＥ２は、ユーザの両手又は片手で把持される。ゲーム装置Ｅ１は、下側ハウジングＥ２と上側ハウジングＥ５とを折り畳んだ場合に内側となる内側面を正面にして、下側ハウジングＥ２が下側に、上側ハウジングＥ５が上側になるようにユーザに把持される。すなわち、ゲーム装置Ｅ１は、ユーザによって使用される際には開状態（図１００）にされて、下側ハウジングＥ２および上側ハウジングＥ５の内側面が正面になり、かつ、下側ハウジングＥ２が下側に、上側ハウジングＥ５が上側になるように把持される（図１２０参照）。
（下側ハウジングの説明）
まず、図１０２〜図１０４を参照して、下側ハウジングＥ２について説明する。図１０２（ａ）は下側ハウジングＥ２の左側面図であり、図１０２（ｂ）は下側ハウジングＥ２の正面図であり、図１０２（ｃ）は下側ハウジングＥ２の右側面図であり、図１０２（ｄ）は下側ハウジングＥ２の背面図であり、図１０２（ｅ）は下側ハウジングＥ２の上面図であり、図１０２（ｆ）は下側ハウジングＥ２の底面図である。また、図１０３は、正面側から見た場合の下側ハウジングＥ２の分解斜視図である。図１０４は、背面側から見た場合の下側ハウジングＥ２の分解斜視図である。
まず、図１０２〜図１０４を参照して、下側ハウジングＥ２について説明する。図１０２（ａ）は下側ハウジングＥ２の左側面図であり、図１０２（ｂ）は下側ハウジングＥ２の正面図であり、図１０２（ｃ）は下側ハウジングＥ２の右側面図であり、図１０２（ｄ）は下側ハウジングＥ２の背面図であり、図１０２（ｅ）は下側ハウジングＥ２の上面図であり、図１０２（ｆ）は下側ハウジングＥ２の底面図である。また、図１０３は、正面側から見た場合の下側ハウジングＥ２の分解斜視図である。図１０４は、背面側から見た場合の下側ハウジングＥ２の分解斜視図である。
図１０２〜図１０４に示すように、下側ハウジングＥ２は、第５パーツＥ２０１、第４パーツＥ２０２、および、第６パーツＥ２０３によって形成される。第５パーツＥ２０１、第４パーツＥ２０２、第６パーツＥ２０３は、それぞれ一体成形される。第５パーツＥ２０１は、下側ハウジングＥ２の正面（内側面；下側ハウジングＥ２の第２部分Ｅ３の内側面）、第２連結部Ｅ４、右側面のうちの正面側部分、左側面のうちの正面側部分、上面のうちの正面側部分、および、底面のうちの正面側部分を構成するパーツである。第４パーツＥ２０２は、下側ハウジングＥ２の右側面のうちの背面側部分、左側面のうちの背面側部分、上面のうちの背面側部分、および、底面のうちの背面側部分を構成するパーツである。第６パーツＥ２０３は、下側ハウジングＥ２の背面を構成する略矩形状の平板状の部材である。第５パーツＥ２０１、第４パーツＥ２０２、および、第６パーツＥ２０３が組み立てられることによって、下側ハウジングＥ２が形成される。下側ハウジングＥ２を構成するこれら各パーツＥ２０１〜Ｅ２０３の詳細については、後述する。
図１０２（ｂ）に示すように、下側ハウジングＥ２の内側面（第２部分Ｅ３の内側面）には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｅ２１、タッチパネルＥ２２、十字キーＥ２３、各操作ボタンＥ２４Ａ〜Ｅ２４Ｄ（操作ボタンユニットＥ２４；図１０３参照）、アナログキーＥ２５、電源ボタンＥ２６、セレクトボタンＥ２７Ａ、ＨＯＭＥボタンＥ２７Ｂ、および、スタートボタンＥ２７Ｃが設けられる。また、下側ハウジングＥ２の右側の第２連結部Ｅ４には、お知らせＬＥＤＥ２８Ａが設けられる。また、図１０２（ｅ）に示すように、下側ハウジングＥ２の上面には、ＬボタンＥ２９Ａ、ＲボタンＥ２９Ｂ、赤外線通信モジュールＥ３０、タッチペンホルダＥ３１の挿入口、ゲームカードユニットＥ３２にゲームカードを挿入するための挿入口、電源コネクタＥ３３、クレードル接続端子Ｅ３４が設けられる。また、図１０２（ａ）に示すように、下側ハウジングＥ２の左側面には、音量ボリュームスイッチＥ３５、および、ＳＤカードユニットＥ３６にＳＤカードを挿入するための挿入口（図示せず）が設けられる。ＳＤカードユニットＥ３６の挿入口は、エラストマーにより形成されるカバーＥ３６ａによって覆われている。また、図１０２（ｃ）に示すように、下側ハウジングＥ２の右側面には、無線スイッチＥ３７、および、無線ＬＥＤＥ２８Ｂが設けられる。また、図１０２（ｆ）に示すように、下側ハウジングＥ２の底面には、電源ＬＥＤＥ２８Ｃ、充電ＬＥＤＥ２８Ｄ、および、イヤホンジャックＥ３８が設けられる。上記各部Ｅ２１〜Ｅ３８は、下側ハウジングＥ２内に収納される。また、下側ハウジングＥ２の内部には、無線通信モジュールＥ３９、マイクＥ４０、および、バッテリーＥ４１（図１０３および図１０４参照）、さらに情報処理部Ｅ４２等が収納される。以下、これら各部の詳細について説明する。
下側ＬＣＤＥ２１は横長形状であり、長辺方向が下側ハウジングＥ２の長辺方向に一致するように配置される。下側ＬＣＤＥ２１は下側ハウジングＥ２の中央に配置される。ゲーム装置Ｅ１を使用しない場合には閉状態としておくことによって、下側ＬＣＤＥ２１の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤＥ２１は、所定の解像度を有する表示装置であり、後述する上側ＬＣＤＥ５１とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。
下側ＬＣＤＥ２１の画面上には、タッチパネルＥ２２が装着されている。タッチパネルＥ２２は、タッチパネルＥ２２の入力面において入力が行われた位置の座標を検出する。なお、本実施形態では、タッチパネルＥ２２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネルＥ２２として、下側ＬＣＤＥ２１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＥ２２の解像度と下側ＬＣＤＥ２１の解像度が一致している必要はない。タッチパネルＥ２２に対する操作を行うために用いられるタッチペン（図示せず）は、タッチペンホルダＥ３１に挿入され収納される。なお、タッチパネルＥ２２に対する入力はタッチペンに限らず、ユーザの指でタッチパネルＥ２２に対する入力をすることも可能である。
下側ＬＣＤＥ２１の左側には、十字キーＥ２３が配置され、当該十字キーＥ２３の上方にはアナログキーＥ２５が配置される（図１０２（ｂ））。より具体的には、アナログキーＥ２５は、下側ＬＣＤＥ２１より左側領域の上部領域に設けられ、十字キーＥ２３は下側ＬＣＤＥ２１より左側領域の下部領域に設けられる。また、アナログキーＥ２５、および、十字キーＥ２３は、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。アナログキーＥ２５を上部領域に設けたことにより、下側ハウジングＥ２を把持する左手の親指が自然と位置するところにアナログキーＥ２５が配され、十字キーＥ２３は、左手の親指を少し下にずらした位置に配される（図１２０参照）。十字キーＥ２３は、十字形状のキーであり、上下左右の方向を指示するために用いられる。十字キーＥ２３は、上下左右の各入力が可能なキーである。また、アナログキーＥ２５は、３６０度の任意の方向に、下側ハウジングＥ２の内側面に平行
にスライド可能なキーであり、任意の方向を指示するために用いられる。アナログキーＥ２５および十字キーＥ２３は、ゲーム装置Ｅ１が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置Ｅ１によって実行される場合、アナログキーＥ２５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログキーＥ２５のキートップがスライドした方向に応じて移動される。
にスライド可能なキーであり、任意の方向を指示するために用いられる。アナログキーＥ２５および十字キーＥ２３は、ゲーム装置Ｅ１が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置Ｅ１によって実行される場合、アナログキーＥ２５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログキーＥ２５のキートップがスライドした方向に応じて移動される。
下側ＬＣＤＥ２１の右側には、各操作ボタンＥ２４Ａ〜Ｅ２４Ｄが上下左右の位置に十字状に配置される。より具体的には、下側ＬＣＤＥ２１の右側領域の上部領域に、各操作ボタンＥ２４Ａ〜Ｅ２４Ｄは配置される。各操作ボタンＥ２４Ａ〜Ｅ２４Ｄは、ユーザが下側ハウジングＥ２を把持した場合に、右手の親指で操作可能な位置に設計される。各操作ボタンＥ２４Ａ〜Ｅ２４Ｄは、ゲーム装置Ｅ１が実行するプログラムに応じた機能が適宜割り当てられる。例えば、各操作ボタンＥ２４Ａ〜Ｅ２４Ｄは決定操作やキャンセル操作等に用いられる。また、下側ＬＣＤＥ２１の右側下方には、電源ボタンＥ２６が配置される。電源ボタンＥ２６は、ゲーム装置Ｅ１の電源をＯＮ／ＯＦＦまたはスリープ状態に移行するためのボタンである。
下側ＬＣＤＥ２１の下側には、セレクトボタンＥ２７Ａ、ＨＯＭＥボタンＥ２７Ｂ、スタートボタンＥ２７Ｃが配置される。これらのボタンＥ２７Ａ〜Ｅ２７Ｃの上部は、一体的な横長のシートキーＥ２７ａで覆われている。すなわち、シートキーＥ２７ａはこれらのボタンのキートップである。各ボタンＥ２７Ａ〜Ｅ２７Ｃは、ゲーム装置Ｅ１が実行するプログラムに応じた機能が適宜割り当てられる。例えば、スタートボタンＥ２７Ｃはゲーム装置Ｅ１が実行するゲームを開始する際に用いられ、ＨＯＭＥボタンは、プレイ中のゲームを中断または中止し、携帯ゲーム装置のメニューに戻る際に用いられる。
また、下側ハウジングＥ２の正面視右側の第２連結部Ｅ４には、お知らせＬＥＤＥ２８Ａが設けられる。お知らせＬＥＤＥ２８Ａは、ゲーム装置Ｅ１が所定の状態になったことをユーザに知らせるために用いられる。例えば、ゲーム装置Ｅ１が他の機器との通信によって所定の状態となった場合（例えば、他の機器から無線通信によりメッセージ等のデータを受信した等）、お知らせＬＥＤＥ２８Ａが点灯する。
下側ハウジングＥ２の上面の左端部には、ＬボタンＥ２９Ａが設けられ、下側ハウジングＥ２の上面の右端部には、ＲボタンＥ２９Ｂが配置される。ＬボタンＥ２９ＡおよびＲボタンＥ２９Ｂは、ゲーム装置Ｅ１が実行するプログラムに応じた機能が適宜割り当てられる。また、下側ハウジングＥ２の上面には、赤外線通信モジュールＥ３０、タッチペンホルダＥ３１の挿入口、ゲームカードユニットＥ３２にゲームカードを挿入するための挿入口、電源コネクタＥ３３、クレードル接続端子Ｅ３４が設けられる。赤外線通信モジュールＥ３０は、赤外線通信により他の機器とデータ等を送受信するための通信モジュールである。ゲームカードユニットＥ３２には、不揮発性メモリであるゲームカード（図示せず）が着脱自在に装着される。所定のゲームプログラムが記録されたゲームカードがゲームカードユニットＥ３２に装着されることによって、当該ゲームプログラムが読み込まれて実行される。電源コネクタＥ３３には図示しない電源ケーブルが接続されることによって、ゲーム装置Ｅ１への電源の供給およびバッテリーＥ４１への充電が行われる。また、クレードル接続端子Ｅ３４は、充電や周辺機器との接続等に用いられるクレードル（図示せず）と電気的に接続するための端子である。
下側ハウジングＥ２の左側面には、音量ボリュームスイッチＥ３５、および、ＳＤカードユニットＥ３６にＳＤカード（図示せず）を挿入するための挿入口（後述する開口部Ｅ２０２Ｆ）が設けられる。音量ボリュームスイッチＥ３５は、上下方向（携帯ゲーム装置Ｅ１の使用時の上下方向であり、図１０２における紙面の上下方向）にスライド可能な操作部を有し、スピーカーＥ５４（図１０６参照）から出力される音声のボリュームを調整するためのスイッチであ
る。ＳＤカードユニットＥ３６には、不揮発性メモリであるＳＤカードが着脱自在に装着される。ＳＤカードユニットＥ３６は、ＳＤカードへのデータの読み書きを行う。ＳＤカードユニットＥ３６にＳＤカードを挿入するための挿入口は、カバーＥ３６ａによって覆われている。
る。ＳＤカードユニットＥ３６には、不揮発性メモリであるＳＤカードが着脱自在に装着される。ＳＤカードユニットＥ３６は、ＳＤカードへのデータの読み書きを行う。ＳＤカードユニットＥ３６にＳＤカードを挿入するための挿入口は、カバーＥ３６ａによって覆われている。
下側ハウジングＥ２の右側面には、無線スイッチＥ３７、および、無線ＬＥＤＥ２８Ｂが設けられる。ゲーム装置Ｅ１は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有している。無線スイッチ（無線スライドスイッチ）Ｅ３７は、上下方向（携帯ゲーム装置Ｅ１の使用時の上下方向であり、図１０２における紙面の上下方向）にスライド可能な操作部を有し、この無線通信の機能を有効／無効にするスイッチである。無線ＬＥＤＥ２８Ｂは、無線通信が確立しているか否かを示し、具体的には無線通信が確立している場合に点灯する。または、無線通信の機能が有効になっている場合に点灯する。
下側ハウジングＥ２の底面には、電源ＬＥＤＥ２８Ｃ、充電ＬＥＤＥ２８Ｄ、および、イヤホンジャックＥ３８が設けられる。電源ＬＥＤＥ２８Ｃは、ゲーム装置Ｅ１の電源がＯＮの場合に点灯する。充電ＬＥＤＥ２８Ｄは、ゲーム装置Ｅ１が充電されている場合に点灯する。イヤホンジャックＥ３８には、イヤホン（図示せず）が接続される。イヤホンがイヤホンジャックＥ３８に接続されている場合は、ゲーム装置Ｅ１はスピーカーＥ５４から音声を出力する代わりに、イヤホンから音声を出力する。
また、図示は省略するが、下側ハウジングＥ２の内部には、後述する情報処理部Ｅ４２やメインメモリＥ４３、データ保存用内部メモリＥ４４、ＲＴＣＥ４５、加速度センサＥ４６、ジャイロセンサＥ４９、インターフェイス（Ｉ／Ｆ）回路Ｅ４７、電源回路Ｅ４８等が収納される（図１２２参照）。情報処理部Ｅ４２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｅ４２１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｉｎｇ Ｕｎｉｔ）Ｅ４２２、および、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）Ｅ４２３等を実装した半導体チップである。これら情報処理部Ｅ４２やメインメモリＥ４３等は、例えば、ゲームカードユニットＥ３２の裏側（図１０４では下側）に配置される。
（上側ハウジングの説明）
次に、図１０５〜図１０７を参照して、上側ハウジングＥ５について説明する。図１０５（ａ）は上側ハウジングＥ５の左側面図であり、図１０５（ｂ）は上側ハウジングＥ５の正面図であり、図１０５（ｃ）は上側ハウジングＥ５の右側面図であり、図１０５（ｄ）は上側ハウジングＥ５の背面図であり、図１０５（ｅ）は上側ハウジングＥ５の上面図であり、図１０５（ｆ）は上側ハウジングＥ５の底面図である。また、図１０６は、正面側から見た場合の上側ハウジングＥ５の分解斜視図である。図１０７は、背面側から見た場合の上側ハウジングＥ５の分解斜視図である。
次に、図１０５〜図１０７を参照して、上側ハウジングＥ５について説明する。図１０５（ａ）は上側ハウジングＥ５の左側面図であり、図１０５（ｂ）は上側ハウジングＥ５の正面図であり、図１０５（ｃ）は上側ハウジングＥ５の右側面図であり、図１０５（ｄ）は上側ハウジングＥ５の背面図であり、図１０５（ｅ）は上側ハウジングＥ５の上面図であり、図１０５（ｆ）は上側ハウジングＥ５の底面図である。また、図１０６は、正面側から見た場合の上側ハウジングＥ５の分解斜視図である。図１０７は、背面側から見た場合の上側ハウジングＥ５の分解斜視図である。
図１０５〜図１０７に示すように、上側ハウジングＥ５は、第１パーツＥ５０１、第２パーツＥ５０２、および、第３パーツＥ５０３によって構成される。第３パーツＥ５０３は、さらに第３ＡパーツＥ５０４、および、第３ＢパーツＥ５０５によって構成される。第１パーツＥ５０１、第２パーツＥ５０２、第３ＡパーツＥ５０４、第３ＢパーツＥ５０５は、それぞれ一体成形される。なお第３パーツＥ５０３を一体成形してもよい。第１パーツＥ５０１は、上側ハウジングＥ５の内部に配置される（すなわち、第３パーツＥ５０３に収納され、第２パーツＥ５０２によって覆われる）略長方形の第３部分Ｅ５０１Ａ（図１１１（ｂ）参照）と、上側ハウジングＥ５の第１連結部Ｅ７の一部（正面側部分）を構成する突出部分Ｅ５０１Ｂとが一体形成されたパーツである。また、第２パーツＥ５０２は、上側ハウジングＥ５の正面を構成する透明領域を有する平板状の一体成形された部材である。また、第３パーツＥ５０３は、上側ハウジングＥ５の背面、左右側面、上面、および、底面を構成し、かつ、上側ハウジングＥ５の第１連結部Ｅ７の一部（背面側部分）を構成する。上側ハウジングＥ５を構成するこれら各パーツ（Ｅ５０２、Ｅ５０２、Ｅ５０４およびＥ５０５）の詳細については、後述する。
図１０５〜図１０７に示すように、上側ハウジングＥ５には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）Ｅ５１、内側撮像部Ｅ５２、３ＤＬＥＤＥ５３、スピーカーＥ５４、視差量調整スイッチＥ５５、および、外側撮像部Ｅ５６（Ｅ５６ａおよびＥ５６ｂ）が収納される。上側ＬＣＤＥ５１の画面、内側撮像部Ｅ５２、および、３ＤＬＥＤＥ５３は、上側ハウジングＥ５の内側面（第１部分Ｅ６の内側面）に設けられる。また、上側ハウジングＥ５の内側面（第１部分Ｅ６の内側面）には、スピーカーＥ５４（図１０６）からの音声を出力する複数のスピーカーの音抜き孔Ｅ５０２Ａが上側ＬＣＤＥ５１の右側および左側に設けられる。また、上側ハウジングＥ５の右側面には、視差量調整スイッチＥ５５が設けられる（図１０５（ｂ）および図１０５（ｃ））。視差量調整スイッチＥ５５は、上側ハウジングＥ５の内側面および右側面の端部に設けられ、内側面に向かってそのキートップが露出しており、開状態において上側ハウジングＥ５を正面から見た場合、当該視差量調整スイッチＥ５５のキートップを視認可能に配置される。これにより、視差量調整スイッチＥ５５の操作状態を正面から視認可能である。また、視差量調整スイッチＥ５５の操作部は、上側ハウジングＥ５の右側面方向に露出され、右側面から視認および操作可能である。また、上側ハウジングＥ５の背面には、外側撮像部Ｅ５６（Ｅ５６ａおよびＥ５６ｂ）、および、外側撮像部用ＬＥＤＥ５７が設けられる。
上述のように、上側ハウジングＥ５の正面（内側面）は、透明な樹脂で形成された平板状部材である第２パーツＥ５０２によって構成されている。図１００（ｂ）では、実際には透明な第２パーツＥ５０２を透明でなく表示されているため、上側ＬＣＤＥ５１、内側撮像部Ｅ５２、および、３ＤＬＥＤＥ５３が表示されていない（図１００（ｂ）では破線で示されている）。一方、図１０５（ｂ）では、第２パーツＥ５０２を透明にして表示されているため、上側ＬＣＤＥ５１、内側撮像部Ｅ５２、および、３ＤＬＥＤＥ５３が表示されている。同様に、上側ハウジングＥ５の背面は透明な樹脂で形成された第３ＡパーツＥ５０４によって構成されている。図１００（ｄ）では、実際には透明な第３ＡパーツＥ５０４を透明でなく表示されているため、外側撮像部用ＬＥＤＥ５７が表示されていないが（図１００（ｄ）では破線で示されている）、図１０５（ｄ）では、第３ＡパーツＥ５０４を透明にして表示されているため、外側撮像部用ＬＥＤＥ５７が表示されている。
以下、上側ハウジングＥ５に収納される上記各部Ｅ５１〜Ｅ５７について説明する。
上側ＬＣＤＥ５１は、横長形状であり、長辺方向が上側ハウジングＥ５の長辺方向に一致するように配置される。上側ＬＣＤＥ５１は上側ハウジングＥ５の中央に配置される。上側ＬＣＤＥ５１の画面の面積は、下側ＬＣＤＥ２１の画面の面積よりも大きく設定される。上側ＬＣＤＥ５１は、所定の解像度を有する表示装置である。なお、本実施形態では上側ＬＣＤＥ５１は液晶表示装置であるが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。
具体的には、上側ＬＣＤＥ５１は、裸眼で立体視可能な画像を表示することが可能な表示装置であり、レンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤＥ５１はパララックスバリア方式のものとする。上側ＬＣＤＥ５１は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤＥ５１は、右目用画像と左目用画像が所定単位で左右方向に交互に並ぶように表示し、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤＥ５１は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる）。このように、上側ＬＣＤＥ５１は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、視差量調整スイッチＥ５５によって行われる。
内側撮像部Ｅ５２は、上側ハウジングＥ５の内側面の上部（より具体的には上側ＬＣＤＥ５１よりも上部）であって、上側ハウジングＥ５の左右方向に関して中央に配置される。内側撮像部Ｅ５２は、上側ハウジングＥ５の内側面方向（内向きの法線方向）を撮像する撮像デバイスである。内側撮像部Ｅ５２は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
３ＤＬＥＤＥ５３は、上側ＬＣＤＥ５１の右側に設けられ、上側ＬＣＤＥ５１の表示モードが立体表示モードか否かを表示する。上側ＬＣＤＥ５１の表示モードが立体表示モードである場合、３ＤＬＥＤＥ５３は点灯する。３ＤＬＥＤＥ５３は、上側ＬＣＤＥ５１において立体視表示されているときに点灯してもよいし、立体視表示可能なとき（視差量調整スイッチＥ５５によりＯＦＦになっていて平面視表示されているときでも、立体視表示可能な状態にあるとき）に点灯してもよい。また、スピーカーＥ５４は、上側ＬＣＤＥ５１の左側および右側に配置され、音声を出力する。
視差量調整スイッチＥ５５は、上下方向にスライド可能な操作部を有し、上述のように上側ＬＣＤＥ５１の表示モードを切り替えるために用いられる。視差量調整スイッチＥ５５の操作部が最下点位置にスライドされた場合、上側ＬＣＤＥ５１の表示モードは平面表示モードに切り替えられる（立体表示がＯＦＦとなる）。また、視差量調整スイッチＥ５５は、上側ＬＣＤＥ５１に表示される立体画像の見え方を調整するためにも用いられる。例えば、ゲーム装置Ｅ１が３次元仮想空間を仮想ステレオカメラで撮像した様子を上側ＬＣＤＥ５１に表示する場合、視差量調整スイッチＥ５５の操作部の位置に応じて、仮想ステレオカメラのカメラ間距離が調整される。視差量調整スイッチＥ５５を調整することによって、ユーザは、上側ＬＣＤＥ５１に表示される立体画像の見え方を調整することができる。
外側撮像部Ｅ５６は、上側ハウジングＥ５の背面に設けられ、背面方向（背面の外向きの法線方向）を撮像するステレオカメラである。具体的には、外側撮像部Ｅ５６は、外側撮像部（左）Ｅ５６ａおよび外側撮像部（右）Ｅ５６ｂの２つの撮像デバイスで構成される。外側撮像部（左）Ｅ５６ａと外側撮像部（右）Ｅ５６ｂの撮像方向は、いずれも上側ハウジングＥ５の背面の外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤＥ５１の画面の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（左）Ｅ５６ａの撮像方向および外側撮像部（右）Ｅ５６ｂの撮像方向は、平行である。なお、ゲーム装置Ｅ１が実行するプログラムによって、２つの外側撮像部（Ｅ５６ａおよびＥ５６ｂ）のいずれか一方を単独で用いて、外側撮像部Ｅ５６を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（Ｅ５６ａおよびＥ５６ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。外側撮像部（左）Ｅ５６ａおよび外側撮像部（右）Ｅ５６ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。外側撮像部Ｅ５６は、上側ハウジングＥ５の背面の上部であって、左右の撮像部は上側ハウジングＥ５の左右方向に関して対称の位置に設けられる。より具体的には、外側撮像部（左）Ｅ５６ａおよび外側撮像部（右）Ｅ５６ｂの中間の裏側に、上記内側撮像部Ｅ５２が配置される。図１０６および図１０７に示すように、外側撮像部Ｅ５６および内側撮像部Ｅ５２は、撮像ユニットＥ６０として一体的に組み立てられて上側ハウジングＥ５内に収納されている。
外側撮像部用ＬＥＤＥ５７は、上側ハウジングＥ５の背面に設けられる。具体的には、外側撮像部用ＬＥＤＥ５７は、上側ハウジングＥ５の背面の上部であって、外側撮像部（右）Ｅ５６ｂの近傍（上側ハウジングＥ５を背面から正視した場合に外側撮像部（右）Ｅ５６ｂの左側）に設けられる。外側撮像部用ＬＥＤＥ５７は、外側撮像部Ｅ５６による画像の撮影が可能であるか否かを示し、具体的には外側撮像部Ｅ５６による画像の撮影が可能である場合に点灯する。
（ハウジングを構成する各パーツの詳細）
次に、下側ハウジングＥ２および上側ハウジングＥ５を構成する各パーツの詳細について、説明する。まず、図１０８〜１１０を参照して、下側ハウジングＥ２を構成する各パーツ（第４パーツＥ２０２、第５パーツＥ２０１、第６パーツＥ２０３）の詳細について説明する。
次に、下側ハウジングＥ２および上側ハウジングＥ５を構成する各パーツの詳細について、説明する。まず、図１０８〜１１０を参照して、下側ハウジングＥ２を構成する各パーツ（第４パーツＥ２０２、第５パーツＥ２０１、第６パーツＥ２０３）の詳細について説明する。
（下側ハウジングＥ２を構成する各パーツの詳細）
図１０８（ａ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の左側面図であり、図１０８（ｂ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の正面図であり、図１０８（ｃ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の右側面図であり、図１０８（ｄ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の背面図であり、図１０８（ｅ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の上面図であり、図１０８（ｆ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の底面図である。
図１０８（ａ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の左側面図であり、図１０８（ｂ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の正面図であり、図１０８（ｃ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の右側面図であり、図１０８（ｄ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の背面図であり、図１０８（ｅ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の上面図であり、図１０８（ｆ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の底面図である。
（第５パーツの説明）
第５パーツＥ２０１は、下側ハウジングＥ２の正面（内側面；第２部分Ｅ３の内側面）、第２連結部Ｅ４、右側面のうちの正面側部分、左側面のうちの正面側部分、上面のうちの正面側部分、および、底面のうちの正面側部分を構成するパーツである。第５パーツＥ２０１の正面（下側ハウジングＥ２の内側面）の中央には、開口部Ｅ２０１Ａが形成されており、当該開口部Ｅ２０１Ａから下側ＬＣＤＥ２１の画面が露出される。開口部Ｅ２０１Ａの左側には十字形状の開口部Ｅ２０１Ｂが形成され、当該開口部Ｅ２０１Ｂの上側には円形状の開口部Ｅ２０１Ｃが形成されている。すなわち、開口部Ｅ２０１Ｃは、開口部Ｅ２０１Ａより左側領域の上部領域に設けられ、開口部Ｅ２０１Ｂは開口部Ｅ２０１Ａより左側領域の下部領域に設けられる。また、開口部Ｅ２０１Ｃ、および、開口部Ｅ２０１Ｂは、ユーザが下側ハウジングＥ２を把持した場合に左手の親指が届く範囲の位置に配置される。開口部Ｅ２０１Ｂから十字キーＥ２３のキートップが露出され、開口部Ｅ２０１ＣからアナログキーＥ２５のキートップが露出される。開口部Ｅ２０１Ｃは、当該開口部Ｅ２０１Ｃよりも大きな半径を有する開口部Ｅ２０１Ｃと同心の円形状の凹部Ｅ２０１Ｄ内に形成されている。アナログキーＥ２５のキートップを露出する開口部Ｅ２０１Ｃが凹部Ｅ２０１Ｄ内に形成されることにより、下側ハウジングＥ２と上側ハウジングＥ５とを折り畳む際に、アナログキーＥ２５のキートップが上側ハウジングＥ５と接触して折り畳むことができないことを防止している。また、開口部Ｅ２０１Ａの右側領域の上部領域には、４つの開口部Ｅ２０１Ｅが十字状に形成されており、これらの開口部Ｅ２０１Ｅから各操作ボタンＥ２４Ａ〜Ｅ２４Ｄのキートップが露出される。また、開口部Ｅ２０１Ａの右側下方には、電源ボタンＥ２６を露出させるための開口部Ｅ２０１Ｆが形成されている。また、開口部Ｅ２０１Ａの下側には、セレクトボタンＥ２７Ａ、ＨＯＭＥボタンＥ２７Ｂ、および、スタートボタンＥ２７Ｃを露出させるための３つの開口部Ｅ２０１Ｇが横方向に並んで形成されている。これらのボタンＥ２７Ａ〜Ｅ２７Ｃのための開口部Ｅ２０１Ｆは、シート状のキートップ（シートＥ２７ａ）を載置するためのシートキートップ載置部Ｅ２０１Ｈの内部に形成されている。下側ＬＣＤＥ２１の画面が露出される開口部Ｅ２０１Ａと、シートキートップ載置部Ｅ２０１Ｈとは、第５パーツＥ２０１の正面の中央に配置された矩形領域Ｅ２０１Ｉ内に形成されている。当該矩形領域Ｅ２０１Ｉは、開口部Ｅ２０１Ａの上端、開口部Ｅ２０１Ａの右端とシートキートップ載置部Ｅ２０１Ｈの右端、シートキートップ載置部Ｅ２０１Ｈの下端、および、開口部Ｅ２０１Ａの左端とシートキートップ載置部Ｅ２０１Ｈの左端によって囲まれる、矩形状の領域である。当該矩形領域Ｅ２０１Ｉの左右端および下端は突出しているため、下側ＬＣＤＥ２１の画面およびシートキーのキートップ（各ボタンＥ１８Ａ〜Ｅ１８Ｃのキートップ）は、下側ハウジングＥ２と上側ハウジングＥ５とを折り畳んだ際に、上側ハウジングＥ５と接触しない。
第５パーツＥ２０１は、下側ハウジングＥ２の正面（内側面；第２部分Ｅ３の内側面）、第２連結部Ｅ４、右側面のうちの正面側部分、左側面のうちの正面側部分、上面のうちの正面側部分、および、底面のうちの正面側部分を構成するパーツである。第５パーツＥ２０１の正面（下側ハウジングＥ２の内側面）の中央には、開口部Ｅ２０１Ａが形成されており、当該開口部Ｅ２０１Ａから下側ＬＣＤＥ２１の画面が露出される。開口部Ｅ２０１Ａの左側には十字形状の開口部Ｅ２０１Ｂが形成され、当該開口部Ｅ２０１Ｂの上側には円形状の開口部Ｅ２０１Ｃが形成されている。すなわち、開口部Ｅ２０１Ｃは、開口部Ｅ２０１Ａより左側領域の上部領域に設けられ、開口部Ｅ２０１Ｂは開口部Ｅ２０１Ａより左側領域の下部領域に設けられる。また、開口部Ｅ２０１Ｃ、および、開口部Ｅ２０１Ｂは、ユーザが下側ハウジングＥ２を把持した場合に左手の親指が届く範囲の位置に配置される。開口部Ｅ２０１Ｂから十字キーＥ２３のキートップが露出され、開口部Ｅ２０１ＣからアナログキーＥ２５のキートップが露出される。開口部Ｅ２０１Ｃは、当該開口部Ｅ２０１Ｃよりも大きな半径を有する開口部Ｅ２０１Ｃと同心の円形状の凹部Ｅ２０１Ｄ内に形成されている。アナログキーＥ２５のキートップを露出する開口部Ｅ２０１Ｃが凹部Ｅ２０１Ｄ内に形成されることにより、下側ハウジングＥ２と上側ハウジングＥ５とを折り畳む際に、アナログキーＥ２５のキートップが上側ハウジングＥ５と接触して折り畳むことができないことを防止している。また、開口部Ｅ２０１Ａの右側領域の上部領域には、４つの開口部Ｅ２０１Ｅが十字状に形成されており、これらの開口部Ｅ２０１Ｅから各操作ボタンＥ２４Ａ〜Ｅ２４Ｄのキートップが露出される。また、開口部Ｅ２０１Ａの右側下方には、電源ボタンＥ２６を露出させるための開口部Ｅ２０１Ｆが形成されている。また、開口部Ｅ２０１Ａの下側には、セレクトボタンＥ２７Ａ、ＨＯＭＥボタンＥ２７Ｂ、および、スタートボタンＥ２７Ｃを露出させるための３つの開口部Ｅ２０１Ｇが横方向に並んで形成されている。これらのボタンＥ２７Ａ〜Ｅ２７Ｃのための開口部Ｅ２０１Ｆは、シート状のキートップ（シートＥ２７ａ）を載置するためのシートキートップ載置部Ｅ２０１Ｈの内部に形成されている。下側ＬＣＤＥ２１の画面が露出される開口部Ｅ２０１Ａと、シートキートップ載置部Ｅ２０１Ｈとは、第５パーツＥ２０１の正面の中央に配置された矩形領域Ｅ２０１Ｉ内に形成されている。当該矩形領域Ｅ２０１Ｉは、開口部Ｅ２０１Ａの上端、開口部Ｅ２０１Ａの右端とシートキートップ載置部Ｅ２０１Ｈの右端、シートキートップ載置部Ｅ２０１Ｈの下端、および、開口部Ｅ２０１Ａの左端とシートキートップ載置部Ｅ２０１Ｈの左端によって囲まれる、矩形状の領域である。当該矩形領域Ｅ２０１Ｉの左右端および下端は突出しているため、下側ＬＣＤＥ２１の画面およびシートキーのキートップ（各ボタンＥ１８Ａ〜Ｅ１８Ｃのキートップ）は、下側ハウジングＥ２と上側ハウジングＥ５とを折り畳んだ際に、上側ハウジングＥ５と接触しない。
第５パーツＥ２０１の左側面には、音量ボリュームスイッチＥ３５のキートップを露出させるための開口部Ｅ２０１Ｊが形成されている。また、第５パーツＥ２０１の左側面の開口部Ｅ２０１Ｊの下方には、凹部Ｅ２０１Ｋが形成されている。具体的には、第５パーツＥ２０１の左側面のうち、当該第５パーツＥ２０１の正面と反対側（背面側）の端部には、半円形状の凹部Ｅ２０１Ｋが形成されている。凹部Ｅ２０１Ｋが形成されることにより、各パーツが組み立てられて下側ハウジングＥ２が構成された場合において、ユーザがＳＤカードユニットＥ３６のカバーＥ３６ａを取り外す際に、当該カバーＥ３６ａを指で引っ掛かけやすくなる。すなわち、凹部Ｅ２０１Ｋは、第５パーツＥ２０１が第４パーツＥ２０２と組み立てられたときに第４パーツＥ２０２の開口部Ｅ２０２Ｆ（後述）に対向する部分に設けけられる、背面端に向かって幅が広がる形状の窪みである。
第５パーツＥ２０１の右側面には、無線スイッチＥ３７のキートップを露出させるための開口部Ｅ２０１Ｌ、および、無線ＬＥＤＥ２８ＢのＬＥＤレンズを露出させるための開口部Ｅ２０１Ｍが形成されている。開口部Ｅ２０１Ｌから無線スイッチＥ３７のキートップが右側面方向に突出して露出される。また、開口部Ｅ２０１Ｍから無線ＬＥＤＥ２８ＢのＬＥＤレンズが右側面方向に突出して露出される。
第５パーツＥ２０１の底面の中央より右側には、電源ＬＥＤＥ２８Ｃを露出させるための開口部Ｅ２０１Ｎ、および、充電ＬＥＤＥ２８Ｄを露出させるための開口部Ｅ２０１Ｏが形成される。開口部Ｅ２０１Ｎから電源ＬＥＤＥ２８ＣのＬＥＤレンズが底面方向に突出して露出される。また、開口部Ｅ２０１Ｏから充電ＬＥＤＥ２８ＤのＬＥＤレンズが底面方向に突出して露出される。また、第５パーツＥ２０１の底面の中央には、イヤホンジャックＥ３８を露出させるための半円形状の開口部Ｅ２０１Ｐが形成されている。開口部Ｅ２０１Ｐは、第４パーツと第５パーツとが組み立てられることによって、円形状のイヤホン挿入口を形成する。
第５パーツＥ２０１の右側の第２連結部Ｅ４には、お知らせＬＥＤＥ２８Ａを露出させるための開口部Ｅ２０１Ｑが形成される。開口部Ｅ２０１Ｑからお知らせＬＥＤＥ２８ＡのＬＥＤレンズが正面方向に突出して露出される。
第５パーツＥ２０１の背面には、ｎ個（９個）のネジ孔Ｅ２０１Ｒが形成されており、第４パーツのネジ孔Ｅ２０２Ｃと当該ネジ孔Ｅ２０１Ｒとがｎ個のネジによって締結される。
（第４パーツの説明）
次に、図１０９を参照して、第４パーツＥ２０２について説明する。図１０９（ａ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の左側面図であり、図１０９（ｂ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の正面図であり、図１０９（ｃ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の右側面図であり、図１０９（ｄ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の背面図であり、図１０９（ｅ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の上面図であり、図１０９（ｆ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の底面図である。
次に、図１０９を参照して、第４パーツＥ２０２について説明する。図１０９（ａ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の左側面図であり、図１０９（ｂ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の正面図であり、図１０９（ｃ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の右側面図であり、図１０９（ｄ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の背面図であり、図１０９（ｅ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の上面図であり、図１０９（ｆ）は下側ハウジングＥ２を構成する第４パーツＥ２０２の底面図である。
第４パーツＥ２０２は、下側ハウジングＥ２の右側面のうちの背面側部分、左側面のうちの背面側部分、上面のうちの背面側部分、および、底面のうちの背面側部分を構成するパーツである。図１０９（ｄ）に示すように、第４パーツの背面側には、下側ハウジングＥ２の背面の正面視サイズに対して７０％以上（具体的には８０％程度）の正面視サイズを有する略矩形状の凹部Ｅ２０２Ａが形成されている。すなわち、当該凹部Ｅ２０２Ａは、下側ハウジングＥ２の背面の面積の７０％以上の面積を有する。当該凹部Ｅ２０２Ａ内には、バッテリーＥ４１を背面方向（図１０９（ｄ）の紙面に対して手前の方向）から取り出し可能に収納するバッテリー収納部Ｅ２０２Ｂが形成されている。また、凹部Ｅ２０２Ａ内には、ｎ個（９個）のネジ孔Ｅ２０２Ｃ、および、ｎより小さいｍ個（４個）のネジ孔Ｅ２０２Ｄが形成されている。第４パーツのネジ孔Ｅ２０２Ｃと第５パーツのネジ孔Ｅ２０１Ｒとが、ｎ個のネジで締結されることによって、第４パーツと第５パーツとが組み立てられる。また、凹部Ｅ２０２Ａ内には、２つのフック孔Ｅ２０２Ｅが形成されている。このフック孔Ｅ２０２Ｅには、後述する第６パーツのフックＥ２０３Ｂが係合する。
また、第４パーツＥ２０２の左側面には、ＳＤカードユニットＥ３６にＳＤカードを挿入するための挿入口を形成する開口部Ｅ２０２Ｆが形成される。当該開口部Ｅ２０２Ｆは、正面側がオープンに形成される。図１０９（ｇ）は、第４パーツＥ２０２の左側面に形成された開口部Ｅ２０２Ｆを拡大して示した図である。図１０９（ｇ）に示すように、開口部Ｅ２０２Ｆは、それ自体では閉じた開口部ではなく、正面端が開いている。そして、第４パーツＥ２０２と第５パーツＥ２０１とが組み立てられた場合に、第４パーツＥ２０２の開口部Ｅ２０２Ｆのうちの開いている正面端が、当該開口部Ｅ２０２Ｆと対向する第５パーツＥ２０１の左側面端部で閉じられて、閉じた開口部が形成され、これによりＳＤカードの挿入口が形成される。なお、開口部Ｅ２０２Ｆは、カバーＥ３６ａにより覆われる。カバーＥ３６ａは、背面方向に開閉する蓋部材であり、エラストマーにより構成される。
第４パーツＥ２０２の上面の両端部には、ＬボタンＥ２９ＡおよびＲボタンＥ２９Ｂのキートップを露出させるための開口部Ｅ２０２Ｇおよび開口部Ｅ２０２Ｈがそれぞれ形成される。また、第４パーツＥ２０２の上面には、赤外線通信モジュールＥ３０、タッチペンホルダＥ３１、ゲームカードユニットＥ３２のゲームカード挿入口、および、電源コネクタＥ３３を露出させるための開口部Ｅ２０２Ｉ、Ｅ２０２Ｊ、Ｅ２０２Ｋ、および、２０２Ｌがそれぞれ形成される。また、第４パーツＥ２０２の上面には、クレードル接続端子Ｅ３４を露出させるための開口部Ｅ２０２Ｍが形成される。
また、第４パーツＥ２０２の底面の中央には、イヤホンジャックＥ３８を露出させるための半円形状の開口部Ｅ２０２Ｎが形成されている。開口部Ｅ２０２Ｎは、第４パーツＥ２０２と第５パーツＥ２０１とが組み立てられることによって、円形状のイヤホン挿入口を形成する。
（第６パーツの説明）
次に、図１１０を参照して、第６パーツＥ２０３について説明する。図１１０（ａ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の左側面図であり、図１１０（ｂ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の正面図であり、図１１０（ｃ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の右側面図であり、図１１０（ｄ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の背面図であり、図１１０（ｅ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の上面図であり、図１１０（ｆ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の底面図である。
次に、図１１０を参照して、第６パーツＥ２０３について説明する。図１１０（ａ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の左側面図であり、図１１０（ｂ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の正面図であり、図１１０（ｃ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の右側面図であり、図１１０（ｄ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の背面図であり、図１１０（ｅ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の上面図であり、図１１０（ｆ）は下側ハウジングＥ２を構成する第６パーツＥ２０３の底面図である。
第６パーツＥ２０３は、下側ハウジングＥ２の背面を構成する平板状の部材である。第６パーツＥ２０３は、略矩形状の平板であって、第４パーツＥ２０２の背面に形成された凹部Ｅ２０２Ａに嵌合する形状およびサイズの平板である。第６パーツＥ２０３は電池蓋であるが、このパーツの正面視サイズは電池の正面視サイズよりも非常に大きく、具体的には、電池の正面視サイズの２倍以上（より具体的には２．５倍以上）の正面視サイズである。電池蓋としてはそのようなサイズは不要であるが、このように、電池のサイズよりも大きく設計することにより、後述のような効果がある。第６パーツＥ２０３の上端部近傍には、ｍ個（４個）のネジ孔Ｅ２０３Ａが形成されている。また、第６パーツＥ２０３の下端部には、２つのフックＥ２０３Ｂが形成されており、当該フックＥ２０３Ｂが第４パーツＥ２０２のフック孔Ｅ２０２Ｅに係合する。そして、第６パーツＥ２０３のネジ孔Ｅ２０３Ａと第４パーツＥ２０２のネジ孔Ｅ２０２Ｄとがｍ個のネジで締結されることによって、第４パーツＥ２０２と第６パーツＥ２０３とが組み立てられる。
以上のように、第４パーツＥ２０２、第５パーツＥ２０１、および、第６パーツＥ２０３が組み立てられることによって、下側ハウジングＥ２が形成される。
（上側ハウジングを構成する各パーツの詳細）
次に、図１１１〜図１１４を参照して、上側ハウジングＥ５を構成する各パーツの詳細について説明する。上側ハウジングＥ５は、第１パーツＥ５０１、第２パーツＥ５０２、および、第３パーツＥ５０３によって構成される。第３パーツＥ５０３は、さらに第３ＡパーツＥ５０４、および、第３ＢパーツＥ５０５によって構成される。
次に、図１１１〜図１１４を参照して、上側ハウジングＥ５を構成する各パーツの詳細について説明する。上側ハウジングＥ５は、第１パーツＥ５０１、第２パーツＥ５０２、および、第３パーツＥ５０３によって構成される。第３パーツＥ５０３は、さらに第３ＡパーツＥ５０４、および、第３ＢパーツＥ５０５によって構成される。
（第１パーツの説明）
図１１１（ａ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の左側面図であり、図１１１（ｂ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の正面図であり、図１１１（ｃ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の右側面図であり、図１１１（ｄ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の背面図であり、図１１１（ｅ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の上面図であり、図１１１（ｆ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の底面図である。
図１１１（ａ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の左側面図であり、図１１１（ｂ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の正面図であり、図１１１（ｃ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の右側面図であり、図１１１（ｄ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の背面図であり、図１１１（ｅ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の上面図であり、図１１１（ｆ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の底面図である。
第１パーツＥ５０１は、上側ハウジングＥ５の内部に配置される第３部分Ｅ５０１Ａ（破線で囲まれる部分）と、上側ハウジングＥ５の第１連結部Ｅ７の一部（正面側部分）を形成する突出部分Ｅ５０１Ｂとが一体形成されたパーツである。第３部分Ｅ５０１Ａは、正面視で略矩形状であり、上側ハウジングＥ５の第１部分Ｅ６の正面に相当する形状およびサイズを有する。ただし、第３部分Ｅ５０１Ａは、第３パーツＥ５０３（本実施例ではより具体的には第３ＡパーツＥ５０４）の上面、両側面、底面で囲まれる凹部に収納されるので、正確には、第３部分Ｅ５０１Ａの正面視のサイズは、上側ハウジングＥ５の正面のサイズよりも若干小さい（第３パーツＥ５０３の上面、両側面、底面の厚み分だけ小さい）。また、第３部分Ｅ５０１Ａは、第３パーツＥ５０３（本実施例ではより具体的には第３ＡパーツＥ５０４）の上面、両側面、底面で囲まれる凹部と同じサイズである。図１１１に示すように、突出部分Ｅ５０１Ｂは、第３部分Ｅ５０１Ａの下端の中央から下方に突出して形成されている。突出部分Ｅ５０１Ｂは、上側ハウジングＥ５の第１連結部Ｅ７の正面側部分を形成する。なお、突出部分Ｅ５０１Ｂの左右両端部には、筒状部分が形成されており、当該筒状部分にヒンジピンＥ５９が挿入されることでヒンジピンＥ５９が支持される（図１０７参照）。図１１１（ａ）および図１１１（ｃ）に示す側面図では、当該筒状部分が表示されているため、突出部分Ｅ５０１Ｂが第１連結部Ｅ７の背面側部分も形成しているように見えるが、実際には突出部分Ｅ５０１Ｂは第１連結部Ｅ７の背面側部分は形成せず（両端（筒状部分）のみ第１連結部Ｅ７の背面側部分の一部を形成する）、第１連結部Ｅ７の正面側部分を形成する。
第１パーツＥ５０１の第３部分Ｅ５０１Ａの正面中央には、上側ＬＣＤＥ５１の画面を露出させるための上側ＬＣＤ用開口部Ｅ５０１Ｃが設けられている。当該開口部Ｅ５０１Ｃの上方には、内側撮像部Ｅ５２を露出させるための内側撮像部用開口部Ｅ５０１Ｄが設けられる。また、上側ＬＣＤ用開口部Ｅ５０１Ｃの左側および右側には、スピーカーＥ５４を露出させるためのスピーカー用開口部Ｅ５０１Ｅ、Ｆがそれぞれ設けられる。また、上側ＬＣＤ用開口部Ｅ５０１Ｃの右側（スピーカー用開口部Ｅ５０１Ｆの下方）には、３ＤＬＥＤＥ５３のＬＥＤレンズを露出させるための３ＤＬＥＤ用開口部Ｅ５０１Ｇが設けられる。
また、第１パーツＥ５０１の右側面には、視差量調整スイッチＥ５５の操作部を側面方向（当該右側面の法線方向）に露出させるための開口部Ｅ５０１Ｈが設けられる。また、第１パーツＥ５０１の第３部分Ｅ５０１Ａには、複数のネジ孔Ｅ５０１Ｉが設けられる。第１パーツＥ５０１は、第３ＢパーツＥ５０５とネジによって接続される。
（第２パーツの説明）
次に、第２パーツＥ５０２について説明する。図１１２（ａ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の左側面図であり、図１１２（ｂ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の正面図であり、図１１２（ｃ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の右側面図であり、図１１２（ｄ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の背面図であり、図１１２（ｅ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の上面図であり、図１１２（ｆ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の底面図である。図１１２（ｇ）は第２パーツＥ５０２に印刷を施した場合の正面図である。
次に、第２パーツＥ５０２について説明する。図１１２（ａ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の左側面図であり、図１１２（ｂ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の正面図であり、図１１２（ｃ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の右側面図であり、図１１２（ｄ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の背面図であり、図１１２（ｅ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の上面図であり、図１１２（ｆ）は上側ハウジングＥ５を構成する第２パーツＥ５０２の底面図である。図１１２（ｇ）は第２パーツＥ５０２に印刷を施した場合の正面図である。
第２パーツＥ５０２は、透明な樹脂で形成された平板状のパーツであり、上側ハウジングＥ５の正面を構成するパーツである。第２パーツＥ５０２は、第１パーツＥ５０１の第３部分Ｅ５０１Ａの全体を覆う形状およびサイズであり、第１パーツＥ５０１の第３部分Ｅ５０１Ａと略同一の形状および大きさに形成され、第１パーツＥ５０１の第３部分Ｅ５０１Ａに接着される。これにより、第２パーツＥ５０２は、上側ハウジングＥ５の正面（内側面）を形成する。また、第２パーツＥ５０２は、上側ハウジングＥ５の第１部分Ｅ６の正面に相当する形状およびサイズを有する（ただし、厳密には、上述の通り、第３パーツＥ５０３の上面、両側面、底面の厚み分だけ小さい）。
第２パーツＥ５０２の右側および左側には、スピーカーＥ５４の音抜き孔Ｅ５０２Ａが設けられる。具体的には、音抜き孔Ｅ５０２Ａは、第１パーツＥ５０１のスピーカー用開口部Ｅ５０１Ｅおよびスピーカー用開口部Ｅ５０１Ｆに対応した部分にそれぞれ設けられる。第１パーツＥ５０１と第２パーツＥ５０２とは、第１パーツＥ５０１に設けられた上側ＬＣＤ用開口部Ｅ５０１Ｃに対応する領域、内側撮像部用開口部Ｅ５０１Ｄに対応する領域、および、３ＤＬＥＤＥ５３用開口部Ｅ５０１Ｇに対応する領域を除く領域において接着シートＥ５８によって接着される（図１０６参照）。
また、第２パーツＥ５０２は、もともとは透明の部材であるが、少なくとも上側ＬＣＤ用開口部Ｅ５０１Ｃに対応する領域、および、内側撮像部用開口部Ｅ５０１Ｄに対応する領域が透明となるように、それ以外の領域において、裏面（第１パーツＥ５０１と接着される面）からスクリーン印刷（シルクスクリーン印刷）等により印刷が施される。また、第１パーツＥ５０１の３ＤＬＥＤＥ５３用開口部Ｅ５０１Ｇに対応する領域には、透明抜きの文字が裏面から印刷される。具体的には、図１１２（ｇ）に示すように、上側ＬＣＤ用開口部Ｅ５０１Ｃに対応する領域、および、内側撮像部用開口部Ｅ５０１Ｄに対応する領域以外の領域には、所定の色の印刷が施される（塗装される）。また、３ＤＬＥＤＥ５３用開口部Ｅ５０１Ｇに対応する領域には、３ＤＬＥＤＥ５３が発光した場合に所定の文字（例えば、「３Ｄ」）が表示されるように、透明抜きの文字（背景のみ所定の色で印刷されて形成された文字）が印刷される。また、第２パーツＥ５０２の右端部近傍には、視差量調整スイッチＥ５５の最下点位置に上側ＬＣＤＥ５１の立体表示がＯＦＦとなることを示す透明抜きの文字（例えば、「ＯＦＦ」）が印刷される。なお、これらの印刷は同一工程で一度に印刷される。
これにより、上側ＬＣＤＥ５１、および、内側撮像部Ｅ５２に対応する部分が透明となってこれらが正面から視認可能となるとともに、上側ＬＣＤＥ５１や内側撮像部Ｅ５２のカバーとなり、また、３ＤＬＥＤＥ５３が発光すると文字が表示される一方、これら以外の領域の裏側は視認不可能となる。従って、第１パーツＥ５０１と第２パーツＥ５０２とを組み立てた場合に、第１パーツＥ５０１の第３部分Ｅ５０１Ａに設けられたネジ等を隠蔽することができる。
（第３パーツの説明）
次に、第３パーツＥ５０３について説明する。上述のように、第３パーツＥ５０３は、外側の第３ＡパーツＥ５０４、および、内側の第３ＢパーツＥ５０５によって構成される。すなわち、第３ＡパーツＥ５０４は組み立てられたときに背面側の表面になるパーツであり、第３ＢパーツＥ５０５は、その下層に存在するパーツである。図１１３（ａ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の左側面図であり、図１１３（ｂ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の正面図であり、図１１３（ｃ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の右側面図であり、図１１３（ｄ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の背面図であり、図１１３（ｅ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の上面図であり、図１１３（ｆ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の底面図である。また、図１１４（ａ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の左側面図であり、図１１４（ｂ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の正面図であり、図１１４（ｃ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の右側面図であり、図１１４（ｄ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の背面図であり、図１１４（ｅ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の上面図であり、図１１４（ｆ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の底面図である。
次に、第３パーツＥ５０３について説明する。上述のように、第３パーツＥ５０３は、外側の第３ＡパーツＥ５０４、および、内側の第３ＢパーツＥ５０５によって構成される。すなわち、第３ＡパーツＥ５０４は組み立てられたときに背面側の表面になるパーツであり、第３ＢパーツＥ５０５は、その下層に存在するパーツである。図１１３（ａ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の左側面図であり、図１１３（ｂ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の正面図であり、図１１３（ｃ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の右側面図であり、図１１３（ｄ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の背面図であり、図１１３（ｅ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の上面図であり、図１１３（ｆ）は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の底面図である。また、図１１４（ａ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の左側面図であり、図１１４（ｂ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の正面図であり、図１１４（ｃ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の右側面図であり、図１１４（ｄ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の背面図であり、図１１４（ｅ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の上面図であり、図１１４（ｆ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の底面図である。
第３パーツＥ５０３は、上側ハウジングＥ５の背面、左側面、右側面、上面、および、第１連結部Ｅ７の一部（背面側部分）を構成するパーツである。第３パーツＥ５０３には、当該第３パーツＥ５０３の背面、左側面、右側面および上面によって、凹部が形成される。第３パーツＥ５０３の当該凹部は、第１パーツＥ５０１の第３部分Ｅ５０１Ａ、および、第２パーツＥ５０２を重ねて収容する。すなわち、第３パーツＥ５０３の凹部を正面から見た場合の縦横サイズは、第１パーツＥ５０１の第３部分Ｅ５０１Ａおよび第２パーツＥ５０２の正面視の縦横サイズと略同じサイズに設計される。そして、当該第３パーツＥ５０３の凹部に、第１パーツＥ５０１の第３部分Ｅ５０１Ａおよび第２パーツＥ５０２が重ね合わされて収容されることによって、上側ハウジングＥ５が形成される。
図１１３に示されるように、第３ＡパーツＥ５０４は、上側ハウジングＥ５の背面を構成する背面部Ｅ５０４Ａ、上側ハウジングＥ５の上面を構成する上面部Ｅ５０４Ｂ、上側ハウジングＥ５の左側面を構成する左側面Ｅ５０４Ｃ、および、上側ハウジングＥ５の右側面を構成する右側面Ｅ５０４Ｄを有する。第３ＡパーツＥ５０４の下端は開口している。また、第３ＡパーツＥ５０４の背面部Ｅ５０４Ａには、外側撮像部（左）Ｅ５６ａを露出させるための開口部Ｅ５０４Ｅ、および、外側撮像部（右）Ｅ５６ｂを露出させるための開口部Ｅ５０４Ｆが設けられる。また、第３ＡパーツＥ５０４の右側面の正面側端部には、視差量調整スイッチＥ５５を右側面方向および正面方向に露出させるための開口部Ｅ５０４Ｇが設けられる。第３ＡパーツＥ５０４は、透明な樹脂によって形成される。
また、図１１４に示されるように、第３ＢパーツＥ５０５は、背面部Ｅ５０５Ａ、上面部Ｅ５０５Ｂ、左側面部Ｅ５０５Ｃ、右側面部Ｅ５０５Ｄ、底面部Ｅ５０５Ｊ、および、背面部Ｅ５０５Ａの下端から下方に突出する突出部分Ｅ５０５Ｈを有する。突出部分Ｅ５０５Ｈは、上側ハウジングＥ５の第１連結部Ｅ７の背面側部分を構成する。すなわち、第３ＢパーツＥ５０５と第１パーツＥ５０１とが組み立てられた場合、第３ＢパーツＥ５０５の突出部分Ｅ５０５Ｈと第１パーツＥ５０１の突出部分Ｅ５０１Ｂとによって、上側ハウジングＥ５の第１連結部Ｅ７が形成される。また、第３ＢパーツＥ５０５の背面部Ｅ５０５Ａ、上面部Ｅ５０５Ｂ、左側面部Ｅ５０５Ｃ、右側面部Ｅ５０５Ｄ、および、底面部Ｅ５０５Ｊによって、第３パーツＥ５０３の上記凹部が形成される。そして当該凹部に、第１パーツＥ５０１の第３部分Ｅ５０１Ａ、および、第２パーツＥ５０２が重ねて収容される。また、第３ＢパーツＥ５０５の背面部Ｅ５０５Ａには、外側撮像部（左）Ｅ５６ａを露出させるための開口部Ｅ５０５Ｅ、および、外側撮像部（右）Ｅ５６ｂを露出させるための開口部Ｅ５０５Ｆが設けられる。また、第３ＢパーツＥ５０５の右側面部Ｅ５０５Ｄには、視差量調整スイッチＥ５５を右側面方向および正面方向に露出させるための開口部Ｅ５０５Ｇが設けられる。また、第３ＢパーツＥ５０５の背面部Ｅ５０５Ａには、外側撮像部用ＬＥＤＥ５７を露出させる開口部Ｅ５０５Ｉが形成される。
第３ＡパーツＥ５０４の背面部Ｅ５０４Ａ、上面部Ｅ５０４Ｂ、左側面Ｅ５０４Ｃ、および、右側面Ｅ５０４Ｄによって形成される凹部に、第３ＢパーツＥ５０５が嵌合する。第３ＡパーツＥ５０４および第３ＢパーツＥ５０５は、両面テープ等で接着される。これによって、第３パーツＥ５０３が形成される。第３ＡパーツＥ５０４と第３ＢパーツＥ５０５とが接着された場合、第３ＡパーツＥ５０４の開口部Ｅ５０４Ｅと第３ＢパーツＥ５０５の開口部Ｅ５０５Ｅとが一致し、第３ＡパーツＥ５０４の開口部Ｅ５０４Ｆと第３ＢパーツＥ５０５の開口部Ｅ５０５Ｆとが一致する。これにより、外側撮像部（左）Ｅ５６ａおよび外側撮像部（右）Ｅ５６ｂが、上側ハウジングＥ５の背面方向に露出される。また、第３ＡパーツＥ５０４と第３ＢパーツＥ５０５とが接着された場合、第３ＡパーツＥ５０４の開口部Ｅ５０４Ｇと第３ＢパーツＥ５０５の開口部Ｅ５０５Ｇとが一致する。これにより、視差量調整スイッチＥ５５が右側面方向および正面方向に露出される。また、第３ＡパーツＥ５０４は、透明な樹脂によって形成されるため、第３ＢパーツＥ５０５の外側（背面側）に第３ＡパーツＥ５０４が接着されても、外側撮像部用ＬＥＤＥ５７の光は遮蔽されない。なお、第３ＡパーツＥ５０４および第３ＢパーツＥ５０５が一体として形成されることによって、第３パーツＥ５０３が形成されてもよい。
以上のように、第１パーツＥ５０１、第２パーツＥ５０２、第３ＡパーツＥ５０４、および、第３ＢパーツＥ５０５が組み立てられることによって、上側ハウジングＥ５が形成される。
（各パーツの関係）
次に、各パーツの大きさの関係について説明する。まず、第５パーツＥ２０１と第３パーツＥ５０３のサイズについて説明する。
次に、各パーツの大きさの関係について説明する。まず、第５パーツＥ２０１と第３パーツＥ５０３のサイズについて説明する。
図１１５（ａ）は、第５パーツＥ２０１の正面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側の縦横サイズを示す図である。図１１５（ｂ）は、第５パーツＥ２０１の底面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側の横方向サイズを示す図である。図１１５（ｃ）は、第５パーツＥ２０１の左側面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側の縦方向サイズを示す図である。なお、図１１５（ｂ）では、説明のため第５パーツＥ２０１の第２連結部Ｅ４に対応する部分が省略されている。
図１１５（ａ）〜（ｃ）に示すように、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側端部の外縁の横方向サイズは、Ｘ１（ｍｍ）に設定される。なお、第５パーツＥ２０１の第２部分Ｅ３に対応する部分は、図１１５（ａ）に示すように、略矩形形状であり、第５パーツＥ２０１のうちの、第２連結部Ｅ４（Ｅ４ａおよびＥ４ｂ）を除く部分である。また、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側端部の外縁の縦方向サイズは、Ｙ１（ｍｍ）に設定される。ここで、Ｘ１は、第５パーツＥ２０１の右側面と正面とが交差する端部と、第５パーツＥ２０１の左側面と正面とが交差する端部との間の正面視距離（正面から見た距離）である。また、Ｙ１は、第５パーツＥ２０１の底面と正面とが交差する端部と、第５パーツＥ２０１の正面の第２部分Ｅ３に対応する部分の上端との間の正面視距離である。
一方、第３パーツＥ５０３のサイズについて説明する。図１１６（ａ）は、上側ハウジングＥ５の正面図であり、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の縦横サイズを示す図である。図１１６（ｂ）は、上側ハウジングＥ５の上面図であり、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の横方向サイズを示す図である。図１１６（ｃ）は、上側ハウジングＥ５の左側面図であり、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の縦方向サイズを示す図である。
図１１６（ａ）〜（ｃ）に示すように、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の正面側端部の外縁の横方向サイズは、Ｘ２（ｍｍ）に設定される。また、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の正面側端部の外縁の縦方向サイズは、Ｙ２（ｍｍ）に設定される。ここで、Ｘ２は、第３パーツＥ５０３の右側面の正面側端部と、第３パーツＥ５０３の左側面の正面側端部との間の正面視距離である。また、Ｙ２は、第３パーツＥ５０３の上面の正面側端部と、第３パーツＥ５０３の左右側面の下端の正面側端部との間の正面視距離である。
ここで、第３パーツＥ５０３は、上側ハウジングＥ５の背面、左側面、右側面、上面、および、第１連結部Ｅ７の背面側部分を構成するパーツである。上側ハウジングＥ５は、略矩形の第１部分Ｅ６と、第１連結部Ｅ７とで構成される。第３パーツＥ５０３の第１部分Ｅ６に対応する部分とは、第３パーツＥ５０３のうち、上側ハウジングＥ５の第１部分Ｅ６に対応する部分、すなわち、略矩形形状の部分である。言い換えると、第３パーツＥ５０３の第１部分Ｅ６に対応する部分は、第３パーツＥ５０３のうちの第１連結部Ｅ７の背面側部分を除く部分である。
また、上述のように第３パーツＥ５０３の正面側には、当該第３パーツＥ５０３の各面によって凹部が形成され、当該凹部は、第１パーツＥ５０１および第２パーツＥ５０２を収容する。第３パーツＥ５０３の凹部に第１パーツＥ５０１および第２パーツＥ５０２が収納されると、上側ハウジングＥ５が形成される。すなわち、第３パーツＥ５０３の第１部分Ｅ６に対応する部分（すなわち、略矩形部分）の正面側端部（正面端）の外縁は、上側ハウジングＥ５が形成された場合の上側ハウジングＥ５の第１部分Ｅ６（略矩形部分）の正面端の外縁と一致する。従って、図１１６では、上側ハウジングＥ５の第１部分Ｅ６の正面端の外縁の縦横サイズが示されているが、これは、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の正面端の外縁の縦横サイズを示している。
なお、上側ハウジングＥ５と下側ハウジングＥ２とが連結されて折り畳まれた場合、折り畳み時の上側ハウジングＥ５の第１部分Ｅ６の上端（図１１６（ａ）に示す開状態における第１部分の下端）は、下側ハウジングＥ２の第２部分の上端（図１１５（ａ）に示す第２部分に対応する部分の上端）と一致する。
また、図１１５（ｂ）では、第５パーツＥ２０１の底面における正面端の横方向サイズＸ１が示されているが、第５パーツＥ２０１の第２部分Ｅ３において正面端の横方向サイズは全体にわたってＸ１である。すなわち、第５パーツＥ２０１の両側面は底面に対して垂直に延びる（図１１５（ｂ）の紙面に対して垂直に延びる）ため、第２部分Ｅ３において第５パーツＥ２０１の側面の全体に渡って正面端の横方向サイズはＸ１である。同様に、第５パーツＥ２０１の底面は両側面に対して垂直に延びる（図１１５（ｃ）の紙面に対して垂直に延びる）ため、第５パーツＥ２０１の底面の全体に渡って正面端の縦方向サイズはＹ１である。さらに、同様に、図１１６（ｂ）では、第３パーツＥ５０３の上面における正面端の横方向サイズＸ２が示されているが、第３パーツＥ５０３の両側面は上面に対して垂直に延びる（図１１６（ｂ）の紙面に対して垂直に延びる）ため、第１部分Ｅ６において第３パーツＥ５０３の側面の全体に渡って正面端の横方向サイズはＸ２である。同様に、第３パーツＥ５０３の上面は両側面に対して垂直に延びる（図１１６（ｃ）の紙面に対して垂直に延びる）ため、第３パーツＥ５０３の上面の全体に渡って正面端の縦方向サイズはＹ２である。
ここで、Ｘ２はＸ１よりも大きく設定され、Ｙ２はＹ１よりも大きく設定される。すなわち、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側端部の外縁の横方向サイズＸ１は、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の正面側端部の外縁の横方向サイズＸ２よりも小さく設定される。また、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側端部の外縁の縦方向サイズＹ１は、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の正面側端部の外縁の縦方向サイズＹ２よりも小さく設定される。
次に、第５パーツＥ２０１と第４パーツＥ２０２のサイズについて説明する。図１１７（ａ）は、第５パーツＥ２０１の背面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側の縦横サイズを示す図である。図１１７（ｂ）は、第５パーツＥ２０１の底面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側の横方向サイズを示す図である。図１１７（ｃ）は、第５パーツＥ２０１の左側面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側の縦方向サイズを示す図である。
図１１７（ａ）〜（ｃ）に示すように、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側端部の外縁の横方向サイズは、Ｘ３（ｍｍ）に設定される。また、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側端部の外縁の縦方向サイズは、Ｙ３（ｍｍ）に設定される。ここで、Ｘ３は、第５パーツＥ２０１の左側面の背面側の端部と、第５パーツＥ２０１の右側面の背面側の端部との間の正面視距離である。また、Ｙ３は、第５パーツＥ２０１の底面の背面側の端部と、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の上端との間の正面視距離である。
なお、図１１７（ｂ）では、第５パーツＥ２０１の底面における背面端の横方向サイズＸ３が示されているが、第５パーツＥ２０１の両側面は底面に対して垂直に延びる（図１１７（ｂ）の紙面に対して垂直に延びる）ため、第２部分Ｅ３において第５パーツＥ２０１の側面の全体に渡って背面端の横方向サイズはＸ３である。同様に、第５パーツＥ２０１の底面は両側面に対して垂直に延びる（図１１７（ｃ）の紙面に対して垂直に延びる）ため、第５パーツＥ２０１の底面の全体に渡って背面端の縦方向サイズはＹ３である。
一方、第４パーツＥ２０２のサイズについて説明する。図１１８（ａ）は、第４パーツＥ２０２の正面図であり、第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側の縦横サイズを示す図である。図１１８（ｂ）は、第４パーツＥ２０２の底面図であり、第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側の横方向サイズを示す図である。図１１８（ｃ）は、第４パーツＥ２０２の左側面図であり、第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側の縦方向サイズを示す図である。
図１１８（ａ）〜（ｃ）に示すように、第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側端部の外縁の横方向サイズは、Ｘ４（ｍｍ）に設定される。第４パーツＥ２０２の第２部分Ｅ３に対応する部分は、下側ハウジングＥ２が構成された場合の第２部分Ｅ３に対応する部分であり、図１１８（ａ）および図１１８（ｃ）に示す第２部分に対応する部分の上端より下方の領域である。すなわち、第４パーツＥ２０２の第２部分Ｅ３に対応する部分は、第４パーツＥ２０２のうちの一部で、略矩形形状の部分である。また、第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側端部の外縁の縦方向サイズは、Ｙ４（ｍｍ）に設定される。ここで、Ｘ４は、第４パーツＥ２０２の左側面の正面側の端部と、第４パーツＥ２０２の右側面の正面側の端部と間の正面視距離である。また、Ｙ４は、第４パーツＥ２０２の底面の正面側の端部と、第４パーツＥ２０２の第２部分Ｅ３に対応する部分の上端との間の正面視距離である。なお、図１１８（ａ）および図１１８（ｃ）において第２部分に対応する部分の上端が示されているが、第２部分に対応する部分の上端は、第４パーツＥ２０２と第５パーツＥ２０１とが組み立てられた場合、第５パーツＥ２０１の第２連結部Ｅ４の突起部Ｅ４ａの下端（図１１５に示す当該第５パーツＥ２０１の第２部分に対応する部分の上端）と一致する。
なお、図１１８（ｂ）では、第４パーツＥ２０２の底面における正面端の横方向サイズＸ４が示されているが、第４パーツＥ２０２の両側面は底面に対して垂直に延びる（図１１８（ｂ）の紙面に対して垂直に延びる）ため、第２部分Ｅ３において第４パーツＥ２０２の側面の全体に渡って正面端の横方向サイズはＸ４である。同様に、第４パーツＥ２０２の底面は両側面に対して垂直に延びる（図１１８（ｃ）の紙面に対して垂直に延びる）ため、第４パーツＥ２０２の底面の全体に渡って正面端の縦方向サイズはＹ４である。
ここで、Ｘ４はＸ３よりも大きく設定され、Ｙ４はＹ３よりも大きく設定される。すなわち、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側端部の外縁の横方向サイズＸ３は、第４パーツＥ２０２の第２部分に対応する部分の正面側端部の外縁の横方向サイズＸ４よりも、第２部分Ｅ３の全体に渡って、小さく設定される。また、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側端部の外縁の縦方向サイズＹ３は、第２部分Ｅ３の全体に渡って、第４パーツＥ２０２の第２部分に対応する部分の正面側端部の外縁の縦方向サイズＹ４よりも小さく設定される。
なお、Ｘ１＞Ｘ３、Ｘ２＞Ｘ４、Ｙ１＞Ｙ３、Ｙ２＞Ｙ４に設定される。従って、上記各パーツのそれぞれのサイズは以下の式１および式２を満たす。
Ｘ２＞Ｘ４＞Ｘ１＞Ｘ３ （１）
Ｙ２＞Ｙ４＞Ｙ１＞Ｙ３ （２）
Ｘ２＞Ｘ４＞Ｘ１＞Ｘ３ （１）
Ｙ２＞Ｙ４＞Ｙ１＞Ｙ３ （２）
以上のような各パーツを組み合わせて上側ハウジングＥ５および下側ハウジングＥ２を構成して折り畳むと、図１１９Ａおよび図１１９Ｂに示すように、ゲーム装置Ｅ１は３層構造となり、中間の層（第５パーツＥ２０１）が他の層（上側ハウジングＥ５の層および第４パーツＥ２０２の層）よりも凹んだ形状となる。図１１９Ａは、折り畳んだ状態のゲーム装置Ｅ１の底面の左右端部を拡大した図である。図１１９Ｂは、折り畳んだ状態のゲーム装置Ｅ１の左側面の上下端部を拡大した図である。
図１１９Ａに示すように、ゲーム装置Ｅ１を折り畳んだ場合、第１部分Ｅ６および第２部分Ｅ３において、第５パーツＥ２０１の側面の正面端（当該第５パーツＥ２０１の側面と正面とが交差する端部；図１１９Ａにおける第５パーツＥ２０１の左右両端部の上端）は、第３パーツＥ５０３の側面の正面端（折り畳み時（図１０１）の背面端；図１１９Ａにおける第３パーツＥ５０３の左右両端部の下端）よりも内側となる（Ｘ１＜Ｘ２）。ここで、各パーツが組み立てられて上側ハウジングＥ５および下側ハウジングＥ２が構成された場合、第５パーツＥ２０１の横方向の中心と、第３パーツＥ５０３の横方向の中心とは一致する。このように第５パーツＥ２０１の横方向の中心と、第３パーツＥ５０３の横方向の中心とが一致するように組み立てられるため、Ｘ１＜Ｘ２を満たす第５パーツＥ２０１および第３パーツＥ５０３は、上記のような関係となる。すなわち、ゲーム装置として組み立てられた状態において、第５パーツＥ２０１の左右側面の正面端は、第２部分の全体にわたって、第３パーツＥ５０３の左右側面の正面端（上側ハウジングＥ５を開いた状態における正面端であり、折り畳み状態における背面端）よりも内側になる。
また、図１１９Ｂに示すように、第１部分Ｅ６および第２部分Ｅ３の全体において、第５パーツＥ２０１の底面の正面端（当該第５パーツＥ２０１の底面の正面側端部；図１１９Ｂにおける第５パーツＥ２０１の底面の右端部）は、第３パーツＥ５０３の上面の正面端（上側ハウジングＥ５を開いた状態における上面の正面端であり、折り畳み状態（図１０１（ｂ））における底面の背面端；図１１９Ｂにおける第３パーツＥ５０３の下端の左端）よりも内側となる（Ｙ１＜Ｙ２）。ここで、各パーツが組み立てられて上側ハウジングＥ５および下側ハウジングＥ２が構成された場合において、上側ハウジングＥ５が折り畳まれた場合、第５パーツＥ２０１の第２部分に対応する部分の上端は、第３パーツＥ５０３の第１部分に対応する部分の上端と一致する（図１１９Ｂ参照）。このため、上記のように、ゲーム装置として組み立てられた状態において、第５パーツＥ２０１の底面の正面端が、当該底面全体に渡って、折り畳み時の第３パーツＥ５０３の底面の背面端（折り畳み状態における底面の背面端であって、開いた状態における上面の正面端）よりも内側となる。
また、図１１９Ａに示すように、第２部分Ｅ３の全体において、第５パーツＥ２０１の側面の
背面端（当該第５パーツＥ２０１の側面の背面側端部；図１１９Ａにおける第５パーツＥ２０１の左右両端部の下端）は、第４パーツＥ２０２の側面の正面端（当該第４パーツＥ２０２の側面の正面側端部；図１１９Ａにおける第４パーツＥ２０２の左右両端部の上端）よりも内側となる（Ｘ３＜Ｘ４）。ここで、各パーツが組み立てられて上側ハウジングＥ５および下側ハウジングＥ２が構成された場合、第５パーツＥ２０１の横方向の中心と、第４パーツＥ２０２の横方向の中心とは一致する。このように第５パーツＥ２０１の横方向の中心と、第４パーツＥ２０２の横方向の中心とが一致するように組み立てられるため、Ｘ３＜Ｘ４を満たす第５パーツＥ２０１および第４パーツＥ２０２は、上記のような関係となる。すなわち、第５パーツＥ２０１の左右側面の背面端は、第２部分Ｅ３の全体にわたって、第４パーツＥ２０２の左右側面の正面端よりも内側になる。
背面端（当該第５パーツＥ２０１の側面の背面側端部；図１１９Ａにおける第５パーツＥ２０１の左右両端部の下端）は、第４パーツＥ２０２の側面の正面端（当該第４パーツＥ２０２の側面の正面側端部；図１１９Ａにおける第４パーツＥ２０２の左右両端部の上端）よりも内側となる（Ｘ３＜Ｘ４）。ここで、各パーツが組み立てられて上側ハウジングＥ５および下側ハウジングＥ２が構成された場合、第５パーツＥ２０１の横方向の中心と、第４パーツＥ２０２の横方向の中心とは一致する。このように第５パーツＥ２０１の横方向の中心と、第４パーツＥ２０２の横方向の中心とが一致するように組み立てられるため、Ｘ３＜Ｘ４を満たす第５パーツＥ２０１および第４パーツＥ２０２は、上記のような関係となる。すなわち、第５パーツＥ２０１の左右側面の背面端は、第２部分Ｅ３の全体にわたって、第４パーツＥ２０２の左右側面の正面端よりも内側になる。
また、図１１９Ｂに示すように、第２部分Ｅ３の全体において、第５パーツＥ２０１の底面の背面端（第５パーツＥ２０１の底面の背面側端部；図１１９Ｂにおける第５パーツＥ２０１の底面の左端部）は、第４パーツＥ２０２の底面の正面端（第４パーツＥ２０２の底面の正面側端部；図１１９Ｂにおける第４パーツＥ２０２の底面の右端部）よりも内側となる（Ｙ３＜Ｙ４）。ここで、各パーツが組み立てられて上側ハウジングＥ５および下側ハウジングＥ２が構成された場合において、第５パーツＥ２０１の第２部分に対応する部分の上端は、第４パーツＥ２０２の第２部分に対応する部分の上端と一致する。このため、上記のように、第５パーツＥ２０１の底面の背面端が、当該底面全体に渡って、第４パーツＥ２０２の底面の正面端よりも内側となる。これにより、ゲーム装置Ｅ１は、折り畳まれた状態において、側面および底面に連続した凹部が形成される。
以上のように形成された各パーツを組み立ててゲーム装置Ｅ１を構成すると、図１１９Ａおよび図１１９Ｂに示すように、ゲーム装置Ｅ１は、折り畳まれた状態において、側面および底面において、中間部に連続的につながった凹部が形成される。すなわち、図１１９Ａに示すように、ゲーム装置Ｅ１は、折り畳まれた状態において中間層が凹状となった３層構造となる。そして、中間層の左側には音量ボリュームスイッチＥ３５が配設され、中間層の右側には無線スイッチＥ３７が配設される（図１１９Ａ）。
このように、各スイッチ（Ｅ３５、Ｅ３７）がゲーム装置Ｅ１を折り畳んだ場合に凹状となる中間層に配設されるため、ゲーム装置Ｅ１を使用していない間の当該スイッチの誤操作を防止することができる。すなわち、ゲーム装置Ｅ１を使用していない間はゲーム装置Ｅ１は折り畳まれた状態であり、当該状態では、ゲーム装置Ｅ１の中間層は凹状となる。このため、各スイッチ（Ｅ３５およびＥ３７）のキートップが側面や底面方向に突出する度合いは、折り畳まれた状態のゲーム装置Ｅ１が２層構造である場合（すなわち、中間層が凹状となっていない場合）と比べて、小さくなる。下側ハウジングＥ２が１層で形成されたゲーム装置が折り畳まれた場合、各スイッチ（Ｅ３５およびＥ３７）のキートップは、下側ハウジングの側面方向に突出するため、ゲーム装置Ｅ１の携帯時に当該スイッチにユーザの指や他の物体が接触することで誤操作が発生しやすくなる。しかしながら、ゲーム装置Ｅ１を折り畳んだ場合に凹状となる中間層が形成されて各スイッチが配設されることによって、各スイッチのキートップが側面方向に突出する度合いは小さくなり、このため、折り畳んだときの誤操作を防止することができる。
また、ゲーム装置Ｅ１は、閉じた場合において中間層が凹んだ３層構造であるため、開閉しやすい。すなわち、ゲーム装置Ｅ１は、閉じた状態では、３層構造の中間に凹部が形成されているため、当該凹部にユーザの指が掛かりやすく、上側ハウジングＥ５を持ち上げやすい。
また、ゲーム装置Ｅ１は上記中間層が凹んだ３層構造であるため、ＳＤカードユニットＥ３６のＳＤカード挿入口を覆うカバーＥ３６ａを開閉しやすい。ＳＤカードユニットＥ３６のＳ
Ｄカード挿入口は、第４パーツＥ２０２の左側面に正面側がオープンに設けられている（図１０９（ａ）参照）。当該ＳＤカード挿入口は、カバーＥ３６ａに覆われている。中間層（第５パーツＥ２０１）の背面側は、下層（第４パーツＥ２０２）の正面側よりも凹んでいるため、当該カバーＥ３６ａの正面側端部は下層と中間層との境界において僅かに露出される。従って、ユーザは、カバーＥ３６の正面側端部を指で引っ掛けやすく、カバーＥ３６を開閉しやすい。さらに、第５パーツＥ２０１の左側面であって、第４パーツＥ２０２に設けられたＳＤカード挿入口に対応する部分には、凹部Ｅ２０１Ｋが形成されているため（図１０８（ａ）参照）、よりカバーＥ３６を開閉しやすい。
Ｄカード挿入口は、第４パーツＥ２０２の左側面に正面側がオープンに設けられている（図１０９（ａ）参照）。当該ＳＤカード挿入口は、カバーＥ３６ａに覆われている。中間層（第５パーツＥ２０１）の背面側は、下層（第４パーツＥ２０２）の正面側よりも凹んでいるため、当該カバーＥ３６ａの正面側端部は下層と中間層との境界において僅かに露出される。従って、ユーザは、カバーＥ３６の正面側端部を指で引っ掛けやすく、カバーＥ３６を開閉しやすい。さらに、第５パーツＥ２０１の左側面であって、第４パーツＥ２０２に設けられたＳＤカード挿入口に対応する部分には、凹部Ｅ２０１Ｋが形成されているため（図１０８（ａ）参照）、よりカバーＥ３６を開閉しやすい。
また、ゲーム装置Ｅ１を使用する場合、ユーザはゲーム装置Ｅ１を開いて、両手で下側ハウジングＥ２を把持し、上側ＬＣＤＥ５１を正視する。図１２０は、ユーザがゲーム装置Ｅ１を把持してゲーム装置Ｅ１を操作する様子を示す図である。各スイッチ（Ｅ３５およびＥ３７）は、下側ハウジングＥ２の左右側面の中間層（第５パーツＥ２０１）に配設されるため、ユーザが下側ハウジングＥ２を把持した場合、ユーザは人差し指や中指等で操作しやすい。すなわち、各スイッチ（Ｅ３５およびＥ３７）が配設された下側ハウジングＥ２の第５パーツＥ２０１（中間層）は、第４パーツＥ２０２よりも内側に凹んでいる。このため、ユーザはこの凹み（第４パーツＥ２０２の側面の正面端と第５パーツＥ２０１の側面とで形成される凹み）に沿って指を上下方向にスライドさせることができる。従って、ユーザは、上側ＬＣＤＥ５１を正視しながら（各スイッチを目視せずに）、各スイッチ（Ｅ３５およびＥ３７）の位置を確認することができ、各スイッチ（Ｅ３５およびＥ３７）を操作することができる。
また、各ＬＥＤＥ２８Ｂ〜Ｅ２８Ｄは、第５パーツＥ２０１（中間層）の側面および底面に配設される。側面や底面に設けることにより、閉じているときも開いているときも視認できる。しかしながら、側面や底面にＬＥＤを設けると正面からの視認性が悪い。そこで、凹部を利用してＬＥＤレンズを突出させることにより、正面からもＬＥＤの点灯状態を視認することができる。また、無線スイッチＥ３７とその機能の状態を示すＬＥＤＥ２８Ｂを同一面に近接して設けることができて、直感的に把握できる。ゲーム装置Ｅ１の使用状態（開いた状態）においては、各ＬＥＤＥ２８Ｂ〜Ｅ２８ＤのＬＥＤレンズは、側面方向および底面方向に僅かに突出する。図１２１（ａ）は、ゲーム装置Ｅ１を開いた状態の正面視において電源ＬＥＤＥ２８Ｃおよび充電ＬＥＤＥ２８Ｄが配設される部分を拡大して示した図である。図１２１（ｂ）は、ゲーム装置Ｅ１を開いた状態の正面視において無線ＬＥＤＥ２８Ｂが配設される部分を拡大して示した図である。図１２１（ａ）およびＢに示されるように、各ＬＥＤＥ２８Ｂ〜Ｅ２８Ｄは、ゲーム装置Ｅ１を開いた状態の正面視において、僅からながら底面方向および側面（右側面）方向に突出する。このため、開いた状態においてゲーム装置Ｅ１を正視した場合、ユーザは、各ＬＥＤＥ２８Ｂ〜Ｅ２８Ｄを視認することができるため、ゲーム装置Ｅ１の状態（電源のＯＮ／ＯＦＦや無線通信が確立しているか否か等）を確認することができる。また、これらは凹状の中間層に設けられるため、ＬＥＤレンズを突出させても、装置の折りたたみ時に装置の側面から突出する度合いを無くすまたは少なくすることができる。
また、ゲーム装置Ｅ１は、上記３層構造となっているため、各層の色彩や模様等を変えることにより、多様なデザインバリエーション（色彩や模様、質感等）を有することが可能である。例えば、上層（上側ハウジングＥ５）、中間層（第５パーツＥ２０１）、および、下層（第４パーツＥ２０２および第６パーツＥ２０３）を同系色にして各層の色の濃さを変えることができる。また、例えば、３つの層をそれぞれ異なる色にすることができる。さらには、第６パーツＥ２０３を別の色にすれば、さらに、カラーバリエーションを増やすことができる。
また、ゲーム装置Ｅ１の上側ハウジングＥ５の内側面は、透明領域を有する平板である第２パーツＥ５０２によって覆われている。このため、第１パーツＥ５０１と第３パーツＥ５０３と
を締結するネジが内側面に露出しない。また、上側ハウジングＥ５の内側面の全面が第２パーツＥ５０２によって覆われることによって、当該内側面に配設される上側ＬＣＤＥ５１と内側面との一体感、統一感を持たせることができる。これにより、ユーザを上側ＬＣＤＥ５１に注目させることができる。すなわち、上側ハウジングＥ５の内側面は凹凸がなく、フラットに形成されるため、ユーザが上側ハウジングＥ５の内側面を正視した場合に、より上側ＬＣＤＥ５１に注目しやすい。上側ＬＣＤＥ５１に表示される立体画像をユーザが見る場合、ユーザは、目の焦点を画面より手前や画面の奥方向に合わせる必要がある。この場合において、上側ハウジングＥ５の内側面に凹凸があると、目の焦点を合わせ難い場合がある。しかしながら、上側ハウジングＥ５の内側面は第２パーツＥ５０２によって覆われているため、ユーザは上側ＬＣＤＥ５１をより見やすい。
を締結するネジが内側面に露出しない。また、上側ハウジングＥ５の内側面の全面が第２パーツＥ５０２によって覆われることによって、当該内側面に配設される上側ＬＣＤＥ５１と内側面との一体感、統一感を持たせることができる。これにより、ユーザを上側ＬＣＤＥ５１に注目させることができる。すなわち、上側ハウジングＥ５の内側面は凹凸がなく、フラットに形成されるため、ユーザが上側ハウジングＥ５の内側面を正視した場合に、より上側ＬＣＤＥ５１に注目しやすい。上側ＬＣＤＥ５１に表示される立体画像をユーザが見る場合、ユーザは、目の焦点を画面より手前や画面の奥方向に合わせる必要がある。この場合において、上側ハウジングＥ５の内側面に凹凸があると、目の焦点を合わせ難い場合がある。しかしながら、上側ハウジングＥ５の内側面は第２パーツＥ５０２によって覆われているため、ユーザは上側ＬＣＤＥ５１をより見やすい。
また、第２パーツＥ５０２は、上側ＬＣＤＥ５１や内側撮像部Ｅ５２に対応する領域以外の領域が裏面から印刷されて、第１パーツＥ５０１に接着される（図１１２（ｇ））。また、第２パーツＥ５０２には、ＬＥＤを覆うとともに、ＬＥＤに対応する領域に透明抜き文字が印刷される。このように、第１パーツＥ５０１と第２パーツＥ５０２とが分離していることにより、上側ハウジングＥ５に印刷を施す際の印刷工程を効率化することができる。例えば、第１パーツＥ５０１に直接印刷が行われて上側ハウジングＥ５の内側面を構成する場合、まず、金型によって形成されたハウジング部材に塗装がなされる。塗装されたハウジング部材は、所定時間乾燥させる必要がある。乾燥されたハウジング部材は、タンポ印刷により印刷が行われる。そして、印刷が行われた後、表面保護のためのコーティング等がなされる。これらの工程は、それぞれが独立した工程であり、各工程はそれぞれ異なる装置によって行われる。また、タンポ印刷では、ハウジング部材の位置を正確に固定する必要があり、位置が正確に固定されていない場合、印刷がずれることがある。一方、本実施形態のように、第２パーツＥ５０２に印刷が施されて第１パーツＥ５０１に接着される場合、上記印刷工程を効率化することができる。すなわち、第１パーツＥ５０１と第２パーツＥ５０２とは、別々の工程で形成され、第１パーツＥ５０１が塗装されて乾燥されている間に、第２パーツＥ５０２に印刷を施すことができる。第２パーツＥ５０２は、ハードコートされた平板状の透明樹脂にスクリーン印刷によって瞬間的に印刷を行うことができる。このように、２つのパーツによって構成される場合、並列的に各工程を行うことができ、印刷に要する時間が異なる。以上のように、第１パーツＥ５０１と第２パーツＥ５０２とが分離していることにより、上側ハウジングＥ５に印刷を施す際の印刷工程を効率化することができる。また、透明な部材である第２パーツＥ５０２に印刷が行われて、背面にＬＥＤが配置されることにより、透明抜きの文字等、様々な印刷が可能であり、これらの文字等をＬＥＤで光らせることができる。
また、第２パーツＥ５０２は上側ハウジングＥ５の全面を覆うため、当該第２パーツＥ５０２は、内側撮像部Ｅ５２のレンズカバーを兼ねることができる。
また、下側ハウジングＥ２の背面は、略全面が第６パーツＥ２０３で覆われているため、第４パーツＥ２０２および第５パーツＥ２０１を締結するネジを隠蔽することができる。これらのネジが第６パーツＥ２０３で隠蔽されるため、外観上の制限を受けることなく下側ハウジングＥ２の内部に収容する各部品の数や配置を設計することができ、また、強度上必要なネジを配置する自由度を上げることができる。また、第６パーツＥ２０３が下側ハウジングＥ２の背面を構成するため、当該第６パーツＥ２０３の色彩や模様等を変えることにより、多様なデザインバリエーションを持たせることができる。例えば、第６パーツＥ２０３が下側ハウジングＥ２の背面の一部（例えば、バッテリーＥ４１が配設される部分）のみを覆い、その他の部分が第４パーツＥ２０２の背面又は他の部材で構成される場合、下側ハウジングＥ２の背面は、複数の領域によって形成される。このため、下側ハウジングＥ２の背面全体に模様を付する場合、各領域の境界が不連続となって外観上好ましくなく、複雑な模様を背面に付することが難しくなる。しかしながら、下側ハウジングＥ２の背面の全面が第６パーツＥ２０３で覆われるため、複雑な模様等を付することが可能となる。
また、下側ハウジングＥ２の内側面には、シートキーＥ２７ａ〜Ｅ２７Ｃが配設される。ゲーム装置Ｅ１は、多数の操作用のボタン等（Ｅ２３、Ｅ２４、Ｅ２５）を有しており、シートキーＥ２７ａ〜Ｅ２７Ｃは、これら操作用ボタン等（Ｅ２３、Ｅ２４、Ｅ２５）とは異なる用途で用いられる。すなわち、操作用ボタン等（Ｅ２３、Ｅ２４、Ｅ２５）は主にゲーム中に出現するキャラクタ等の操作に用いられるが、シートキーＥ２７ａ〜Ｅ２７Ｃは、主に画面の切り替えやゲームのスタートや中断等、特別な用途に用いられる。このように、用途の異なるキー（Ｅ２７Ａ〜Ｅ２７Ｃ）が種類の異なるシートキーによって構成されるため、多数の操作ボタンを有することによってユーザが混乱することを防止することができ、誤操作を防止することができる。すなわち、多数のスイッチやボタン等を有するゲーム装置Ｅ１では、ユーザがある操作をする場合に、どのスイッチやボタンを押したらいいのか分かり難い場合があるため、混乱しやすいことがある。しかしながら、ゲーム装置Ｅ１のように、用途の異なるキーをシートキーで構成することにより、このような混乱や誤操作を防止することができる。
（ゲーム装置Ｅ１の内部構成）
次に、図１２２を参照して、ゲーム装置Ｅ１の内部の電気的構成について説明する。図１２２は、ゲーム装置Ｅ１の内部構成を示すブロック図である。図１２２に示すように、ゲーム装置Ｅ１は、上述した各部に加えて、情報処理部Ｅ４２、メインメモリＥ４３、データ保存用内部メモリＥ４４、リアルタイムクロック（ＲＴＣ）Ｅ４５、加速度センサＥ４６、ジャイロセンサＥ４９、および、電源回路Ｅ４８等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＥ２内に収納される。
次に、図１２２を参照して、ゲーム装置Ｅ１の内部の電気的構成について説明する。図１２２は、ゲーム装置Ｅ１の内部構成を示すブロック図である。図１２２に示すように、ゲーム装置Ｅ１は、上述した各部に加えて、情報処理部Ｅ４２、メインメモリＥ４３、データ保存用内部メモリＥ４４、リアルタイムクロック（ＲＴＣ）Ｅ４５、加速度センサＥ４６、ジャイロセンサＥ４９、および、電源回路Ｅ４８等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジングＥ２内に収納される。
情報処理部Ｅ４２は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｅ４２１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）Ｅ４２２等を含む情報処理手段である。本実施形態では、所定のプログラムがゲーム装置Ｅ１内のメモリ（例えばゲームカードユニットＥ３２に接続されたゲームカードＥ７０やデータ保存用内部メモリＥ４４）に記憶されている。情報処理部Ｅ４２のＣＰＵＥ４２１は、当該所定のプログラムを実行することによって、上記外側撮像部Ｅ５６や内側撮像部Ｅ５２を用いて画像を撮像したり、所定のゲームを行ったりする。なお、情報処理部Ｅ４２のＣＰＵＥ４２１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部Ｅ４２は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）Ｅ４２３を含む。情報処理部Ｅ４２のＧＰＵＥ４２２は、情報処理部Ｅ４２のＣＰＵＥ４２１からの命令に応じて画像を生成し、ＶＲＡＭＥ４２３に描画する。そして、情報処理部Ｅ４２のＧＰＵＥ４２２は、ＶＲＡＭＥ４２３に描画された画像を上側ＬＣＤＥ５１及び／又は下側ＬＣＤＥ２１に出力し、上側ＬＣＤＥ５１及び／又は下側ＬＣＤＥ２１に当該画像が表示される。
情報処理部Ｅ４２には、メインメモリＥ４３、ゲームカードユニットＥ３２、ＳＤカードユニットＥ３６、データ保存用内部メモリＥ４４、無線通信モジュールＥ３９、赤外線通信モジュールＥ３０、ＲＴＣＥ４５、加速度センサＥ４６、各ＬＥＤＥ２８Ａ〜Ｄ、３ＤＬＥＤＥ５３、十字キーＥ２３、各ボタン（操作ボタンユニットＥ２４、ボタンＥ２７Ａ〜Ｃ、Ｅ２９Ａ〜Ｂ）、アナログキーＥ２５、下側ＬＣＤＥ２１、上側ＬＣＤＥ５１、外側撮像部Ｅ５６、内側撮像部Ｅ５２、各スイッチ（音量ボリュームスイッチＥ３５、無線スイッチＥ３７、視差量調整スイッチＥ５５）、および、インターフェイス（Ｉ／Ｆ）回路４７等が接続される。
メインメモリＥ４３は、情報処理部Ｅ４２（のＣＰＵＥ４２１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＥ４３は、上記所定のプログラムを実行中に用いられる各種データを一時的に記憶したり、外部（ゲームカードＥ７０や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリＥ４３として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
ゲームカードＥ７０は、情報処理部Ｅ４２によって実行されるプログラムを記憶するための不揮発性の記憶手段である。ゲームカードＥ７０は、例えば読み取り専用の半導体メモリで構成される。ゲームカードＥ７０がゲームカードユニットＥ３２に接続されると、情報処理部Ｅ４２はゲームカードＥ７０に記憶されたプログラムを読み込むことができる。情報処理部Ｅ４２が読み込んだプログラムを実行することにより、所定の処理が行われる。ＳＤカードＥ７１は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、ＳＤカードＥ７１には、外側撮像部Ｅ５６で撮像された画像や他の機器で撮像された画像が記憶される。ＳＤカードＥ７１がＳＤカードユニットＥ３６に接続されると、情報処理部Ｅ４２はＳＤカードＥ７１に記憶された画像を読み込み、上側ＬＣＤＥ５１及び／又は下側ＬＣＤＥ２１に当該画像を表示することができる。
データ保存用内部メモリＥ４４は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリＥ４４には、無線通信モジュールＥ３９を介した無線通信によってダウンロードされたデータやプログラムが格納される。
また、情報処理部Ｅ４２には、加速度センサＥ４６が接続される。加速度センサＥ４６は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサＥ４６は、下側ハウジングＥ２の内部に設けられる。加速度センサＥ４６は、ゲーム装置Ｅ１を開状態として正面から視認した場合において（図１００）、下側ハウジングＥ２の長辺方向をｘ軸、下側ハウジングＥ２の短辺方向をｙ軸、下側ハウジングＥ２の内側面（正面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサＥ４６は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサＥ４６は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部Ｅ４２は、加速度センサＥ４６が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置Ｅ１の姿勢や動きを検出することができる。
また、情報処理部Ｅ４２には、ジャイロセンサＥ４９が接続される。ジャイロセンサＥ４９は、３軸方向の角速度の大きさを検出する。当該ジャイロセンサＥ４９が角速度を検出することによって、情報処理部Ｅ４２は、ゲーム装置Ｅ１の姿勢や動きを検出することができる。すなわち、情報処理部Ｅ４２は、ジャイロセンサＥ４９が検出した角速度を時間で積分することによって、各軸周りの回転角を検出することができる。なお、ゲーム装置Ｅ１が所定の姿勢のときに、ジャイロセンサＥ４９は初期化される必要がある。そして、情報処理部Ｅ４２は、当該所定の姿勢からの変化をジャイロセンサＥ４９が検出する角速度に基づいて検出することにより、ゲーム装置Ｅ１の空間における姿勢を検出することができる。
ＲＴＣＥ４５は、時間をカウントして情報処理部Ｅ４２に出力する。情報処理部Ｅ４２は、ＲＴＣＥ４５によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ｅ４８は、ゲーム装置Ｅ１が有する電源（バッテリーＥ４１）からの電力を制御し、ゲーム装置Ｅ１の各部品に電力を供給する。
また、情報処理部Ｅ４２には、Ｉ／Ｆ回路Ｅ４７が接続される。Ｉ／Ｆ回路Ｅ４７には、タッチパネルＥ２２、マイクＥ４０およびスピーカーＥ５４が接続される。具体的には、Ｉ／Ｆ回路Ｅ４７には、図示しないアンプを介してスピーカーＥ５４が接続される。マイクＥ４０は、ユーザの音声を検知して音声信号をＩ／Ｆ回路Ｅ４７に出力する。アンプは、Ｉ／Ｆ回路Ｅ４７からの音声信号を増幅し、音声をスピーカーＥ５４から出力させる。
また、十字キーＥ２３、アナログキーＥ２５、各ボタン（Ｅ２４、Ｅ２７、Ｅ２９）、各スイッチ（Ｅ３５、Ｅ３７、Ｅ５５）は、情報処理部Ｅ４２に接続される。情報処理部Ｅ４２は、これら操作手段（各キーやボタン、スイッチ等）が操作されたことを検出し、操作された操作手段に応じて所定の処理を行う。
下側ＬＣＤＥ２１および上側ＬＣＤＥ５１は情報処理部Ｅ４２に接続される。下側ＬＣＤＥ２１および上側ＬＣＤＥ５１は、情報処理部Ｅ４２（のＧＰＵＥ４２２）の指示に従って画像を表示する。例えば、情報処理部Ｅ４２は、外側撮像部Ｅ５６で撮像した右目用画像と左目用画像とを用いた立体画像（立体視可能な画像）を上側ＬＣＤＥ５１に表示させたり、内側撮像部Ｅ５２で撮像した平面画像を上側ＬＣＤＥ５１に表示させたりする。
具体的には、情報処理部Ｅ４２は、上側ＬＣＤＥ５１のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤＥ５１の視差バリアがＯＮになっている場合、情報処理部Ｅ４２のＶＲＡＭＥ４２３に格納された（外側撮像部Ｅ５６で撮像された）右目用画像と左目用画像とが、上側ＬＣＤＥ５１に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＥ４２３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＥ５１の画面に表示される。そして、上側ＬＣＤＥ５１の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。このようにして、上側ＬＣＤＥ５１の画面には立体視可能な画像が表示される。
外側撮像部Ｅ５６および内側撮像部Ｅ５２は、情報処理部Ｅ４２に接続される。外側撮像部Ｅ５６および内側撮像部Ｅ５２は、情報処理部Ｅ４２の指示に従って画像を撮像し、撮像した画像データを情報処理部Ｅ４２に出力する。
また、３ＤＬＥＤＥ５３は、情報処理部Ｅ４２に接続される。情報処理部Ｅ４２は、３ＤＬＥＤＥ５３の点灯を制御する。以上がゲーム装置Ｅ１の内部構成の説明である。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。
以下では、上述した種々の実施形態に関連する関連実施形態について開示する。
第１の関連実施形態の画像表示プログラムは、右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示プログラムであって、コンピュータを、第１位置姿勢算出手段、仮想カメラ設定手段、右仮想空間画像生成手段、左仮想空間画像生成手段、および、表示制御手段として機能させる。上記第１位置姿勢算出手段は、上記右目用の実カメラから出力される実世界画像データと上記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する。上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す左仮想空間画像を生成する。上記表示制御手段は、上記右目用の実カメラから出力される実世界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力される実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
なお、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段における上記一方の実カメラとは異なる他方の実カメラから出力される実世界画像データ内の上記所定の撮像対象の認識結果を用いずに、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定してもよい。
上記構成によれば、上記２つの実カメラから出力されるの２つの実世界画像データのいずれか一方においてしか上記所定の撮像対象を認識できない場合でも、上記所定の撮像対象を認識できた方の実世界画像データに基づいて算出される位置姿勢情報に基づいて、２つの仮想カメラのうちの一方の仮想カメラの位置および姿勢が決定され、こうして決定された一方の仮想カメラの位置および姿勢に基づいて、他方の仮想カメラの位置および姿勢が決定される。したがって、上記２つの実カメラのいずれか一方から出力されるの２つの実世界画像データのいずれか一方においてしか上記所定の撮像対象を認識できない場合でも、仮想オブジェクトを適切に立体表示することができる。また、上記２つの実カメラから出力されるの２つの実世界画像データの両方において上記所定の撮像対象を認識し得る場合であっても、いずれか一方の実世界画像データから上記所定の撮像対象を認識するだけで仮想オブジェクトを適切に立体表示することができるので、コンピュータの処理負担を軽減することができる。
他の好ましい構成例として、上記仮想カメラ設定手段は、上記右仮想カメラと上記左仮想カメラとの間の相対姿勢の関係が、上記右目用の実カメラおよび上記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、上記右仮想カメラと上記左仮想カメラの位置および姿勢を決定してもよい。
上記構成によれば、上記所定の撮像対象の認識精度の誤差や、上記２つの実カメラの取り付け精度の誤差などの原因によって、上記２つの実カメラのいずれか一方から出力されるの実世界画像データに基づいて算出される位置姿勢情報と、いずれか他方の実カメラから出力される実世界画像データに基づいて算出される位置姿勢情報とが、上記２つの実カメラの相対姿勢に正確に対応していない場合であっても、上記右仮想カメラと上記左仮想カメラとの間の相対姿勢を適切に設定できるので、仮想オブジェクトを適切に立体表示することができる。
他の好ましい構成例として、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラのうち、上記第１位置姿勢算出手段における上記一方の実カメラに対応する一方の仮想カメラの姿勢を決定する第１仮想カメラ姿勢決定部と、上記第１仮想カメラ姿勢決定部によって決定された上記一方の仮想カメラの姿勢に基づいて、上記右仮想カメラと上記左仮想カメラとの間の相対姿勢の関係が、上記右目用の実カメラおよび上記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、他方の仮想カメラの姿勢を決定する第２カメラ姿勢決定部とを含んでもよい。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記右仮想カメラと上記左仮想カメラの相対位置関係を決定する仮想カメラ相対位置関係決定手段としてさらに機能させ、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラのうち、上記第１位置姿勢算出手段における上記一方の実カメラに対応する一方の仮想カメラの位置を決定する第１仮想カメラ位置決定部と、上記第１仮想カメラ位置決定部によって決定された上記一方の仮想カメラの位置から、上記仮想カメラ相対位置関係決定手段によって決定された上記相対位置だけ離れた位置に、他方の仮想カメラの位置を決定する第２仮想カメラ位置決定部とを含んでもよい。
なお、上記の「相対位置関係」とは、上記左仮想カメラと上記右仮想カメラの間の距離であってもよいし、一方の仮想カメラを基準とした他方の仮想カメラの相対位置であってもよい。
なお、上記仮想カメラ相対位置関係決定手段は、上記２つの実カメラから出力される２つの実世界画像データ内の所定の撮像対象を認識した結果に基づいて、上記右仮想カメラと上記左仮想カメラの相対位置関係を決定してもよいし、上記右目用の実カメラおよび上記左目用の実カメラとの間の設計上の相対位置の関係に基づいて、上記右仮想カメラと上記左仮想カメラの相対位置関係を決定してもよい。
上記構成によれば、上記所定の撮像対象の認識精度の誤差や、上記２つの実カメラの取り付け精度の誤差などの原因によって、上記２つの実カメラのいずれか一方から出力されるの実世界画像データに基づいて算出される位置姿勢情報と、いずれか他方の実カメラから出力される実世界画像データに基づいて算出される位置姿勢情報とが、上記２つの実カメラの相対位置関係に正確に対応していない場合であっても、上記右仮想カメラと上記左仮想カメラとの間の相対位置関係を適切に設定できるので、仮想オブジェクトを適切に立体表示することができる。
他の好ましい構成例として、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラのうち、上記第１位置姿勢算出手段における上記一方の実カメラに対応する一方の仮想カメラの位置を決定する第１仮想カメラ位置決定部と、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラのうち、上記第１位置姿勢算出手段における上記一方の実カメラに対応する上記一方の仮想カメラの姿勢を決定する第１仮想カメラ姿勢決定部と、上記第１仮想カメラ位置決定部によって決定された上記一方の仮想カメラの位置から見て、上記第１仮想カメラ姿勢決定部によって決定された当該一方の仮想カメラの姿勢に基づく方向に、他方の仮想カメラの位置を決定する第２仮想カメラ位置決定部とを含んでもよい。
なお、上記第２仮想カメラ位置決定部は、上記第１仮想カメラ位置決定部によって決定された上記一方の仮想カメラの位置から見て、上記第１仮想カメラ姿勢決定部によって決定された当該一方の仮想カメラの姿勢の横方向に、他方の仮想カメラの位置を決定してもよい。
他の好ましい構成例として、上記コンピュータを、上記右仮想カメラと上記左仮想カメラの間の距離を決定する仮想カメラ間距離決定手段としてさらに機能させ、上記第２カメラ位置決定部は、上記第１仮想カメラ位置決定部によって決定された上記一方の仮想カメラの位置から見て、上記第１仮想カメラ姿勢決定部によって決定された当該一方の仮想カメラの姿勢に基づく方向に、上記仮想カメラ間距離決定手段によって決定された距離だけ離れた位置に、上記他方の仮想カメラの位置を決定してもよい。
他の好ましい構成例として、上記仮想カメラ相対位置関係決定手段は、上記右目用の実カメラから出力される実世界画像データと上記左目用の実カメラから出力される実世界画像データの視差に基づいて上記右仮想カメラと上記左仮想カメラの相対位置関係を決定してもよい。
上記構成例によれば、上記２つの実世界画像データの視差に基づいて上記右仮想カメラと上記左仮想カメラの相対位置関係が決定されるので、上記２つの実カメラの相対位置関係が既知でない場合や、上記２つの実カメラの取り付け精度の誤差によって、上記２つの実カメラの相対位置関係に誤差が含まれる場合であっても、上記右仮想カメラおよび上記左仮想カメラを適切に設定できる。
他の好ましい構成例として、上記相対位置関係決定手段によって決定される上記相対位置関係は、上記右仮想カメラと上記左仮想カメラの間隔であってもよい。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記２つの実カメラからそれぞれ出力される２つの実世界画像データのうち、上記第１位置姿勢算出手段における上記一方の実カメラとは異なる他方の実カメラから出力される実世界画像データ内の上記所定の撮像対象を認識することにより、当該他方の実カメラと上記撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第２位置姿勢算出手段としてさらに機能させ、上記仮想カメラ相対位置関係決定手段は、上記第１位置姿勢算出手段によって算出された上記一方の実カメラと上記撮像対象との間の相対的な位置の情報と、上記第２位置姿勢算出手段によって算出された上記他方の実カメラと上記撮像対象との間の相対的な位置の情報とを用いて、上記一方の実カメラと上記他方の実カメラとの間の距離を算出してもよい。
他の好ましい構成例として、上記第１位置姿勢算出手段は、上記一方の実カメラから出力される実世界画像データに基づいて、上記所定の撮像対象を原点とした座標系で表される座標値を上記一方の実カメラを原点とした第１撮像部座標系で表される座標値へと変換するための第１変換行列を生成する第１変換行列生成手段を含み、上記第２位置姿勢算出手段は、上記他方の実カメラから出力される実世界画像データに基づいて、上記所定の撮像対象を原点とした座標系で表される座標値を上記他方の実カメラを原点とした第２撮像部座標系で表される座標値へと変換するための第２変換行列を生成する第２変換行列生成手段を含んでもよい。
好ましい他の構成例として、上記仮想カメラ相対位置関係決定手段は、上記２つの実カメラから新たな実世界画像データが出力される度に、上記右仮想カメラと上記左仮想カメラの相対位置関係を算出する処理を実行し、当該処理を複数回実行することによって得られた複数回分の相対位置関係算出結果に基づいて上記右仮想カメラと上記左仮想カメラの相対位置関係を確定してもよい。
上記構成例によれば、実世界画像データにおいて上記所定の撮像対象を認識する際の認識精度の誤差の影響が軽減されるので、上記仮想カメラ相対位置関係決定手段によって決定される上記右仮想カメラと上記左仮想カメラの相対位置関係の信頼度が向上する。
好ましい他の構成例として、上記仮想カメラ相対位置関係決定手段は、上記複数回の相対位置関係算出結果が全て所定の範囲に収まっている場合にのみ、当該複数回の相対位置関係算出結果に基づいて上記右仮想カメラと上記左仮想カメラの相対位置関係を確定してもよい。
上記構成例によれば、上記仮想カメラ相対位置関係決定手段によって決定される上記右仮想カメラと上記左仮想カメラの相対位置関係の信頼度が向上する。
好ましい他の構成例として、上記画像表示プログラムは、上記コンピュータを、上記仮想カメラ相対位置関係決定手段によって上記右仮想カメラと上記左仮想カメラの相対位置関係が決定された後、当該相対位置関係が決定された時点から、上記２つの実カメラに対する上記所定の撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定する奥行変化判定手段としてさらに機能させ、上記仮想カメラ相対位置関係決定手段は、上記奥行変化判定手段の判定結果が肯定である場合に、上記右仮想カメラと上記左仮想カメラの相対位置関係を決定し直してもよい。
上記２つの実カメラの取り付け精度の誤差による影響の大きさは、上記２つの実カメラから上記所定の撮像対象までの奥行距離に依存して変化するが、上記構成例によれば、上記２つの実カメラの取り付け精度の誤差による影響を必要に応じて随時適切に補正することができる。
好ましい他の構成例として、上記画像表示プログラムは、上記コンピュータを、上記所定の撮像対象が含まれている実世界画像データに基づいて、上記２つの実カメラに対する上記所定の撮像対象の奥行距離を算出する奥行距離算出手段としてさらに機能させ、上記奥行変化判定手段は、上記仮想カメラ相対位置関係決定手段によって上記右仮想カメラと上記左仮想カメラの相対位置関係が決定された時点において上記奥行距離算出手段によって算出された基準奥行距離と、その後に上記奥行距離算出手段によって算出された最新奥行距離とを比較することによって、上記２つの実カメラに対する上記所定の撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定してもよい。
好ましい他の構成例として、上記奥行距離算出手段は、上記２つの実カメラから新たな実世界画像データが出力される度に、上記２つの実カメラに対する上記所定の撮像対象の奥行距離を算出する処理を実行し、当該処理を複数回実行することによって得られた複数回分の奥行距離算出結果に基づいて上記基準奥行距離を算出してもよい。
上記構成例によれば、実世界画像データにおいて上記所定の撮像対象を認識する際の認識精度の誤差の影響が軽減されるので、上記奥行距離算出手段によって算出される上記２つの実カメラに対する上記所定の撮像対象の奥行距離の信頼度が向上する。
好ましい他の構成例として、上記奥行距離算出手段は、上記複数回の奥行距離算出結果が全て所定の範囲に収まっている場合にのみ、当該複数回の奥行距離算出結果に基づいて上記基準奥行距離を算出してもよい。
上記構成例によれば、上記奥行距離算出手段によって算出される上記２つの実カメラに対する上記所定の撮像対象の奥行距離の信頼度が向上する。
好ましい他の構成例として、上記画像表示プログラムは、上記コンピュータを、上記２つの実カメラからそれぞれ出力される２つの実世界画像データのうち、上記第１位置姿勢算出手段における上記一方の実カメラとは異なる他方の実カメラから出力される実世界画像データ内の上記所定の撮像対象を認識することにより、当該他方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第２位置姿勢算出手段、および、上記２つの実カメラからそれぞれ出力される２つの実世界画像データの少なくとも一方における上記所定の撮像対象の位置に応じて、当該２つの実カメラのうち１つを選択する実カメラ選択手段としてさらに機能させ、上記仮想カメラ設定手段は、上記実カメラ選択手段によって選択された実カメラが上記一方の実カメラであったときには、上記第１位置姿勢算出手段によって算出された、当該一方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を用いて、上記右仮想カメラと上記左仮想カメラの位置および姿勢を決定し、上記実カメラ選択手段によって選択された実カメラが上記他方の実カメラであったときには、上記第２位置姿勢算出手段によって算出された、当該他方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を用いて、上記右仮想カメラと上記左仮想カメラの位置および姿勢を決定してもよい。
上記構成例によれば、上記所定の撮像対象が一方の実カメラの撮影範囲から外れたとしても、上記右仮想カメラおよび上記左仮想カメラを適切に設定できるので、仮想オブジェクトの立体表示を継続することができる。
好ましい他の構成例として、上記実カメラ選択手段は、上記２つの実カメラのうちの左目用の実カメラから出力される実世界画像データにおける上記所定の撮像対象の位置が当該実世界画像データの右端領域へ進入したことに応じて、上記左目用の実カメラから上記右目用の実カメラへと切り替え、上記右目用の実カメラから出力される実世界画像データにおける上記所定の撮像対象の位置が当該実世界画像データの左端領域へ進入したことに応じて、上記右目用の実カメラから上記左目用の実カメラへと切り替えてもよい。
好ましい他の構成例として、上記第１位置姿勢算出手段および上記表示制御手段によって利用される上記実世界画像データは、上記実カメラからリアルタイムに出力される実世界画像データであってもよい。
上記構成例によれば、立体表示装置の画面において、実世界に仮想オブジェクトがリアルタイムに実在しているように見せることができる。
好ましい他の構成例として、上記コンピュータは、上記２つの実カメラと上記立体表示装置とを備えた情報処理装置に内蔵されていてもよい。
第１の関連実施形態の画像表示装置は、右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示装置であって、第１位置姿勢算出手段、仮想カメラ設定手段、右仮想空間画像生成手段、左仮想空間画像生成手段、および、表示制御手段を備える。上記第１位置姿勢算出手段は、上記右目用の実カメラから出力される実世界画像データと上記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する。
上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す左仮想空間画像を生成する。上記表示制御手段は、上記右目用の実カメラから出力される実世界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力される実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す左仮想空間画像を生成する。上記表示制御手段は、上記右目用の実カメラから出力される実世界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力される実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
第１の関連実施形態の画像表示システムは、右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示システムであって、第１位置姿勢算出手段、仮想カメラ設定手段、右仮想空間画像生成手段、左仮想空間画像生成手段、および、表示制御手段を備える。上記第１位置姿勢算出手段は、上記右目用の実カメラから出力される実世界画像データと上記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する。上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す左仮想空間画像を生成する。上記表示制御手段は、上記右目用の実カメラから出力される実世界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力される実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
第１の関連実施形態の画像表示方法は、右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示方法であって、第１位置姿勢算出ステップ、仮想カメラ設定ステップ、右仮想空間画像生成ステップ、左仮想空間画像生成ステップ、および、表示制御ステップを備える。上記第１位置姿勢算出ステップでは、上記右目用の実カメラから出力される実世界画像データと上記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する。上記仮想カメラ設定ステップでは、上記第１位置姿勢算出ステップにおいて算出された上記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成ステップでは、上記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮想空間画像生成ステップでは、上記左仮想カメラから見た上記仮想空間を示す左仮想空間画像を生成する。上記表示制御ステップでは、上記右目用の実カメラから出力される実世界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力される実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
第２の関連実施形態の画像表示プログラムは、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示プログラムであって、コンピュータを、第１実世界画像取得手段、第２実世界画像取得手段、カメラ相対位置関係算出手段、仮想カメラ設定手段、第１仮想空間画像生成手段、第２仮想空間画像生成手段、および表示制御手段として機能させる。第１実世界画像取得手段は、左目用の実カメラによって撮像された第１実世界画像を取得する。第２実世界画像取得手段は、右目用の実カメラによって撮像された第２実世界画像を取得する。カメラ相対位置関係算出手段は、上記第１実世界画像における所定の撮像対象の見え方と上記第２実世界画像における当該撮像対象の見え方に基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出する。仮想カメラ設定手段は、所定の仮想空間における左目用の画像を生成するための左仮想カメラの位置および右目用の画像を生成するための右仮想カメラの位置を、上記カメラ相対位置関係算出手段によって算出された相対位置関係に応じて離れるように、それぞれ決定する。第１仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す第１仮想空間画像を生成する。第２仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す第２仮想空間画像を生成する。表示制御手段は、上記第１実世界画像に上記第１仮想空間画像を合成し、かつ、上記第２実世界画像に上記第２仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
上記構成によれば、上記２つの実カメラで撮像された実世界画像を用いて、これら２つの実カメラの相対位置関係を算出し、こうして算出した相対位置関係に基づいて仮想空間における上記２つの仮想カメラの位置が決定される。よって、例えば、上記２つの実カメラの相対位置関係が既知で無い場合や、上記２つの実カメラの取り付け精度の誤差がある場合であっても、上記右仮想カメラと上記左仮想カメラの相対位置関係を適切に設定でき、仮想オブジェクトを適切に立体表示することができる。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記第１実世界画像における上記撮像対象の位置および姿勢に基づいて、上記左目用の実カメラと上記撮像対象との間の少なくとも相対位置を算出する第１位置姿勢算出手段、および、上記第２実世界画像における上記撮像対象の位置および姿勢に基づいて、上記右目用の実カメラと上記撮像対象との間の少なくとも相対位置を算出する第２位置姿勢算出手段としてさらに機能させ、上記カメラ相対位置関係算出手段は、上記第１位置姿勢算出手段によって算出される、上記撮像対象に対する上記左目用の実カメラの相対位置と、上記第２位置姿勢算出手段によって算出される、上記撮像対象に対する上記右目用の実カメラの相対位置とに基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出してもよい。
他の好ましい構成例として、上記第１位置姿勢算出手段および上記第２位置姿勢算出手段の少なくとも一方は、上記実世界画像における上記撮像対象の位置および姿勢に基づいて、上記実カメラと上記撮像対象との間の相対位置に加えて相対姿勢を算出し、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段および上記第２位置姿勢算出手段の少なくとも一方によって算出される上記実カメラと上記撮像対象との間の相対姿勢に基づいて、上記左仮想カメラおよび上記右仮想カメラの姿勢を決定してもよい。
他の好ましい構成例として、上記カメラ相対位置関係算出手段によって算出される上記相対位置関係は、上記左目用の実カメラと上記右目用の実カメラの間隔であってもよい。
他の好ましい構成例として、上記カメラ相対位置関係算出手段は、上記第１実世界画像に基づいて算出される上記左目用の実カメラに対する上記撮像対象の相対位置と、上記第２実世界画像に基づいて算出される上記右目用の実カメラに対する上記撮像対象の相対位置との差に基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出してもよい。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記第１実世界画像に基づいて、上記撮像対象を基準とした座標系で表される座標を上記左目用の実カメラを基準とした座標系で表される座標へと変換する第１変換行列を算出する第１変換行列算出手段、および、上記第２実世界画像に基づいて、上記撮像対象を基準とした座標系で表される座標を上記右目用の実カメラを基準とした座標系で表される座標へと変換する第２変換行列を算出する第２変換行列算出手段としてさらに機能させ、上記カメラ相対位置関係算出手段は、原点を表す３次元ベクトルに対して、上記第１変換行列と上記第１変換行列のいずれか一方の変換行列を乗算し、さらに、いずれか他方の変換行列の逆行列を乗算することによって、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を示す相対位置ベクトルを算出し、上記仮想カメラ設定手段は、上記相対位置ベクトルの大きさに基づいて上記左仮想カメラと上記右仮想カメラの間隔を設定してもよい。
他の好ましい構成例として、上記仮想カメラ設定手段は、撮影方向が互いに平行になるように、上記左仮想カメラおよび上記右仮想カメラの姿勢を設定してもよい。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記カメラ相対位置関係算出手段によって算出された上記相対位置関係と、上記左目用の実カメラと上記右目用の実カメラの設計上の相対位置関係とに基づいて、実世界のスケールに応じた所定の処理を仮想空間において実行するスケール関連処理手段としてさらに機能させてもよい。
上記構成例によれば、仮想空間において、実世界のスケールに対応した処理が可能となる。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記カメラ相対位置関係算出手段によって上記左目用の実カメラと上記右目用の実カメラの相対位置関係が算出された後、当該相対位置関係が決定された時点から、上記左目用の実カメラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定する奥行変化判定手段としてさらに機能させ、上記カメラ相対位置関係算出手段は、上記奥行変化判定手段の判定結果が否定である間は、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出し直すことなく、直前に決定した相対位置関係をそのまま維持してもよい。
上記構成例によれば、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を常に更新する必要がなく、処理負荷を低減できる。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記カメラ相対位置関係算出手段によって上記左目用の実カメラと上記右目用の実カメラの相対位置関係が算出された後、当該相対位置関係が決定された時点から、上記左目用の実カメラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定する奥行変化判定手段としてさらに機能させ、上記カメラ相対位置関係算出手段は、上記奥行変化判定手段の判定結果が肯定である場合に、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出し直してもよい。
上記構成例によれば、算出された上記左目用の実カメラと上記右目用の実カメラの相対位置関係の信頼度の低下を防止することができる。
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記撮像対象が含まれている実世界画像に基づいて、上記左目用の実カメラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離を算出する奥行距離算出手段としてさらに機能させ、上記奥行変化判定手段は、カメラ相対位置関係算出手段によって上記左目用の実カメラと上記右目用の実カメラの相対位置関係が算出された時点において上記奥行距離算出手段によって算出された基準奥行距離と、その後に上記奥行距離算出手段によって算出された最新奥行距離とを比較することによって、上記左目用の実カメラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定してもよい。
他の好ましい構成例として、上記奥行距離算出手段は、上記第１実世界画像取得手段または上記第２実世界画像取得手段によって新たな実世界画像が取得される度に、上記左目用の実カメラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離を算出する処理を実行し、当該処理を複数回実行することによって得られた複数回分の奥行距離算出結果に基づいて上記基準奥行距離を算出してもよい。
上記構成によれば、算出される基準奥行距離の信頼度が向上する。
他の好ましい構成例として、上記奥行距離算出手段は、上記複数回の奥行距離算出結果が全て所定の範囲に収まっている場合にのみ、当該複数回の奥行距離算出結果に基づいて上記基準奥行距離を算出してもよい。
上記構成によれば、算出される基準奥行距離の信頼度が向上する。
第２の関連実施形態の画像表示装置は、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示装置であって、第１実世界画像取得手段、第２実世界画像取得手段、カメラ相対位置関係算出手段、仮想カメラ設定手段、第１仮想空間画像生成手段、第２仮想空間画像生成手段、および表示制御手段を備える。第１実世界画像取得手段は、左目用の実カメラによって撮像された第１実世界画像を取得する。第２実世界画像取得手段は、右目用の実カメラによって撮像された第２実世界画像を取得する。カメラ相対位置関係算出手段は、上記第１実世界画像における所定の撮像対象の見え方と上記第２実世界画像における当該撮像対象の見え方に基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出する。仮想カメラ設定手段は、所定の仮想空間における左目用の画像を生成するための左仮想カメラの位置および右目用の画像を生成するための右仮想カメラの位置を、上記カメラ相対位置関係算出手段によって算出された相対位置関係に応じて離れるように、それぞれ決定する。第１仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す第１仮想空間画像を生成する。第２仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す第２仮想空間画像を生成する。表示制御手段は、上記第１実世界画像に上記第１仮想空間画像を合成し、かつ、上記第２実世界画像に上記第２仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
第２の関連実施形態の画像表示システムは、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示システムであって、第１実世界画像取得手段、第２実世界画像取得手段、カメラ相対位置関係算出手段、仮想カメラ設定手段、第１仮想空間画像生成手段、第２仮想空間画像生成手段、および表示制御手段を備える。第１実世界画像取得手段は、左目用の実カメラによって撮像された第１実世界画像を取得する。第２実世界画像取得手段は、右目用の実カメラによって撮像された第２実世界画像を取得する。カメラ相対位置関係算出手段は、上記第１実世界画像における所定の撮像対象の見え方と上記第２実世界画像における当該撮像対象の見え方に基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出する。仮想カメラ設定手段は、所定の仮想空間における左目用の画像を生成するための左仮想カメラの位置および右目用の画像を生成するための右仮想カメラの位置を、上記カメラ相対位置関係算出手段によって算出された相対位置関係に応じて離れるように、それぞれ決定する。第１仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す第１仮想空間画像を生成する。第２仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す第２仮想空間画像を生成する。表示制御手段は、上記第１実世界画像に上記第１仮想空間画像を合成し、かつ、上記第２実世界画像に上記第２仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
第２の関連実施形態の画像表示方法は、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示方法であって、第１実世界画像取得ステップ、第２実世界画像取得ステップ、カメラ相対位置関係算出ステップ、仮想カメラ設定ステップ、第１仮想空間画像生成ステップ、第２仮想空間画像生成ステップ、および表示制御ステップを備える。第１実世界画像取得ステップでは、左目用の実カメラによって撮像された第１実世界画像を取得する。第２実世界画像取得ステップでは、右目用の実カメラによって撮像された第２実世界画像を取得する。カメラ相対位置関係算出ステップでは、上記第１実世界画像における所定の撮像対象の見え方と上記第２実世界画像における当該撮像対象の見え方に基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出する。仮想カメラ設定ステップでは、所定の仮想空間における左目用の画像を生成するための左仮想カメラの位置および右目用の画像を生成するための右仮想カメラの位置を、上記カメラ相対位置関係算出ステップにおいて算出された相対位置関係に応じて離れるように、それぞれ決定する。第１仮想空間画像生成ステップでは、上記左仮想カメラから見た上記仮想空間を示す第１仮想空間画像を生成する。第２仮想空間画像生成ステップでは、上記右仮想カメラから見た上記仮想空間を示す第２仮想空間画像を生成する。表示制御ステップでは、上記第１実世界画像に上記第１仮想空間画像を合成し、かつ、上記第２実世界画像に上記第２仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
第３の関連実施形態の画像表示プログラムは、右目用の実カメラ撮像部および左目用の実カメラ撮像部からの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示プログラムであるコンピュータを、前記２つの実カメラ撮像部からそれぞれ出力される２つの実世界画像データのそれぞれについて、当該各実世界画像データ内の所定の撮像対象を認識することにより、前記２つの実カメラ撮像部と当該撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報をそれぞれ算出する位置姿勢算出手段、前記位置姿勢算出手段によって算出された２つの位置姿勢情報を統合して、単一の位置姿勢情報を算出する位置姿勢統合手段、前記位置姿勢統合手段によって統合された単一の前記位置姿勢情報に基づいて、所定の仮想空間における右目用の仮想画像を生成するための右仮想カメラおよび左目用の仮想画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成手段、前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、前記右目用の実カメラ撮像部から出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラ撮像部から出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像を出力する表示制御手段として機能させる。
また、この関連実施形態では、前記仮想カメラ設定手段は、前記右仮想カメラと前記左仮想カメラとの間の相対姿勢の関係が、前記右目用の実カメラおよび前記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、前記右仮想カメラと前記左仮想カメラの位置および姿勢を決定するようにしてもよい。
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によって算出された右目用の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報と、左目用の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報を用いて、それらの姿勢の情報を統合した単一の姿勢を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によって統合された姿勢を前記右仮想カメラおよび左仮想カメラの姿勢として用いるようにしてもよい。
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によって算出された右目用の実カメラ撮像部と前記撮像対象との相対的な位置の情報と、左目用の実カメラ撮像部と前記撮像対象との相対的な位置の位置を用いて、それらの位置の情報を統合した単一の位置を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によって統合された位置から対称な位置に前記右仮想カメラおよび左仮想カメラの位置を設定するようにしてもよい。
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によって算出された右目用の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報と、左目用の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報を用いて、それらの姿勢の情報を平均した姿勢を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によって平均された姿勢を前記右仮想カメラおよび左仮想カメラの姿勢として用いるようにしてもよい。
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によって算出された右目用の実カメラ撮像部と前記撮像対象との相対的な位置の情報と、左目用の実カメラ撮像部と前記撮像対象との相対的な位置の位置を用いて、それらの位置の中点を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によって算出された前記中点から対象な位置に前記右仮想カメラおよび左仮想カメラの位置を設定するようにしてもよい。
また、この関連実施形態では、前記コンピュータを、前記右仮想カメラと前記左仮想カメラの間の距離を決定する仮想カメラ間距離決定手段としてさらに機能させ、前記仮想カメラ設定手段は、前記位置姿勢統合手段によって統合された位置から前記仮想カメラ間距離決定手段によって決定された前記距離だけ対称に離れた位置に記右仮想カメラおよび左仮想カメラの位置を設定するようにしてもよい。
また、この関連実施形態では、前記仮想カメラ距離決定手段は、前記右目用の実カメラから出力される実世界画像データと前記左目用の実カメラから出力される実世界画像データの視差に基づいて前記右仮想カメラと前記左仮想カメラの間の距離を決定するようにしてもよい。
また、この関連実施形態では、前記仮想カメラ距離定手段は、前記位置姿勢算出手段によって算出された右目用の実カメラ撮像部と前記撮像対象との相対的な位置および姿勢の情報と、左目用の実カメラ撮像部と前記撮像対象との相対的な位置および姿勢の情報を用いて、前記右仮想カメラと前期左仮想カメラとの間の距離を算出するようにしてもよい。
第３の関連実施形態の画像表示装置は、右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示装置である。前記２つの実カメラ撮像部からそれぞれ出力される２つの実世界画像データのそれぞれについて、当該各実世界画像データ内の所定の撮像対象を認識することにより、前記２つの実カメラ撮像部と当該撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報をそれぞれ算出する位置姿勢算出手段、前記位置姿勢算出手段によって算出された２つの位置姿勢情報を統合して、単一の位置姿勢情報を算出する位置姿勢統合手段、前記位置姿勢統合手段によって統合された単一の前記位置姿勢情報に基づいて、所定の仮想空間における右目用の仮想画像を生成するための右仮想カメラおよび左目用の仮想画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成手段、前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制御手段を備える。
第３の関連実施形態の画像表示システムは、右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示システムである。前記２つの実カメラ撮像部からそれぞれ出力される２つの実世界画像データのそれぞれについて、当該各実世界画像データ内の所定の撮像対象を認識することにより、前記２つの実カメラ撮像部と当該撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報をそれぞれ算出する位置姿勢算出手段、前記位置姿勢算出手段によって算出された２つの位置姿勢情報を統合して、単一の位置姿勢情報を算出する位置姿勢統合手段、前記位置姿勢統合手段によって統合された単一の前記位置姿勢情報に基づいて、所定の仮想空間における右目用の仮想画像を生成するための右仮想カメラおよび左目用の仮想画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成手段、前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制御手段を備える。
第３の関連実施形態の画像表示方法は、右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示方法である。前記２つの実カメラ撮像部からそれぞれ出力される２つの実世界画像データのそれぞれについて、当該各実世界画像データ内の所定の撮像対象を認識することにより、前記２つの実カメラ撮像部と当該撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報をそれぞれ算出する位置姿勢算出ステップ、前記位置姿勢算出ステップにおいて算出された２つの位置姿勢情報を統合して、単一の位置姿勢情報を算出する位置姿勢統合ステップ、前記位置姿勢統合ステップによって統合された単一の前記位置姿勢情報に基づいて、所定の仮想空間における右目用の仮想画像を生成するための右仮想カメラおよび左目用の仮想画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定ステップ、前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成ステップ、前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成ステップ、および、前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制御ステップを備える。
第４の関連実施形態の第１の局面に係る情報処理プログラムは、撮像手段と入力手段と画面上において現実空間を視認可能な表示手段とに接続された情報処理装置のコンピュータを、撮像画像データ取得手段、入力データ取得手段、検出手段、算出手段、仮想カメラ設定手段、生成手段及び表示制御手段として機能させる。撮像画像データ取得手段は、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する。入力データ取得手段は、入力手段により入力された入力画像を示す入力データを逐次取得する。検出手段は、撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する。算出手段は、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する。仮想カメラ設定手段は、算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する。生成手段は、入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェクトのオブジェクト画像を生成する。表示制御手段は、画面上の現実空間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる。
この構成によると、画面上の現実空間にオブジェクト画像が重ね合わせられた重畳画像が表示手段に表示される。この場合において、オブジェクト画像は、ポインティングデバイス等の入力手段からユーザが逐次入力した入力画像であって、例えば手書き画像である。このオブジェクト画像は、仮想カメラで撮像されて生成されたオブジェクト画像データで構成される。この仮想カメラの仮想空間内における設定が、撮像画像に含まれるマーカ等の特定対象物の検出（認識）結果に基づいて、逐次変更される。このため、撮像方向が変化することによるマーカ等の見え方の変化に対応して、仮想カメラの設定が変更される。したがって、仮想カメラにより撮影されたオブジェクト画像データの表示は、このような撮像方向の変化に対応して変更される。その結果、ユーザが手書き等で作成したオブジェクト画像を現実世界に存在するように表示し、自然な拡張現実感を実現することができる。
好ましくは、入力手段を、ポインティングデバイスで構成することができる。この場合において、入力データ取得手段は、ポインティングデバイスへ入力された手書きの軌跡で構成されるオブジェクトを示す入力データを所定の時間間隔で取得するように構成することができる。表示制御手段は、所定の時間間隔における手書きの進捗を反映させた重畳画像を表示手段に表示させるように構成することができる。
この構成によると、ポインティングデバイスに手書き入力された軌跡で構成されるオブジェクト画像が背景画像に重ね合わせられて、現実空間に存在するように表示される。このとき、オブジェクトを示す入力データを所定の時間間隔で取得されるので、ユーザの手書き操作に比較して所定時間を短く設定すれば、手書き途中のオブジェクトを表示させることができる。このため、ユーザは、表示される手書き途中のオブジェクト画像を確認しながら、オブジェクト画像を完成させることができる。
好ましくは、表示手段は、重畳画像が表示される第１の画面領域とは別の第２の画面領域を含むように構成することができる。この場合において、表示制御手段は、第１の領域に重畳画像を表示させるとともに、第２の表示領域に入力画像を表示させるように構成することができる。
この構成によると、第１の画面領域に重畳画像が表示され、第２の画面領域に入力画像が表示される。このため、第１の画面領域に表示された重畳画像では入力画像を識別することが困難な場合であっても、第２の画面領域に表示された入力画像で確認することができる。
好ましくは、このプログラムは、コンピュータを、オブジェクトの表示態様を変化させる変化手段としてさらに機能させるように構成することができる。この場合において、表示制御手段は、撮像画像データと、変化手段により表示態様が変化したオブジェクトを示すオブジェクト画像データとを重ね合わせた重畳画像を前記表示手段に逐次表示させるように構成することができる。
現実空間に重ね合わせられて、現実空間に存在するように表示されるオブジェクトは、その表示態様（表示位置、表示形状）が変化して表示される。このため、例えば、より強く現実感をユーザに与えるように表示態様を変化させることができたり、ユーザがより強く興味を引くように表示態様を変化させたりすることができる。
好ましくは、変化手段は、オブジェクトの表示位置を所定の規則に応じて変化させるように構成することができる。
オブジェクトが表示される位置を変化させることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。このような変化の例として、オブジェクトを上下又は左右に揺らして表示させることが挙げられる。
好ましくは、変化手段は、オブジェクトの表示位置を時間の経過に応じて変化させるように構成することができる。
オブジェクトが表示される位置を時間の経過に応じて変化させることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。このような変化の例として、予め設定された時間が経過すると（すなわち周期的に）オブジェクトを上下又は左右に動かすことが挙げられる。
好ましくは、変化手段は、オブジェクトの表示形状を変化させるように構成することができる。
オブジェクトの表示形状を変化させることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。このような変化の例として、オブジェクトを拡大したり縮小したり、オブジェクトを縦方向又は横方向に拡張又は伸縮したりすることが挙げられる。さらに、このとき、周期的に形状を変化させるようにしても構わない。
好ましくは、変化手段は、オブジェクトの影をオブジェクトに付加した表示形状に変化させるように構成することができる。
オブジェクトの影をオブジェクトに付加することにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。
好ましくは、変化手段は、オブジェクトの厚みを変化させるように構成することができる。
オブジェクトに厚みを持たせることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。
好ましくは、変化手段は、複数のオブジェクトを並べて配置することにより、オブジェクトの厚みを変化させるように構成することができる。
平面画像であるオブジェクト画像を並べて配置することにより、オブジェクトに厚みを与えて、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。
第４の関連実施形態の第２の局面に係る情報処理装置は、撮像画像を撮像する撮像手段と、ユーザにより入力画像が入力される入力手段と、画面上において現実空間を視認可能な表示手段と、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する算出手段と、算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェクトのオブジェクト画像を生成する生成手段と、画面上の現実空間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる表示制御手段とを含む。
第４の関連実施形態の第３の局面に係る情報処理システムは、撮像画像を撮像する撮像手段と、ユーザにより入力画像が入力される入力手段と、画面上において現実空間を視認可能な表示手段と、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する算出手段と、算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェクトのオブジェクト画像を生成する生成手段と、画面上の現実空間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる表示制御手段とを含む。
第４の関連実施形態の第４の局面に係る情報処理方法は、撮像手段により撮像画像を撮像する撮像ステップと、ユーザにより入力画像が入力される入力ステップと、画面上において現実空間を視認可能な表示ステップと、撮像ステップにて撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得ステップと、入力ステップにて入力された入力画像を示す入力データを逐次取得する入力データ取得ステップと、撮像画像データ取得ステップにて逐次取得された撮像画像データから特定対象物を検出する検出ステップと、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する算出ステップと、算出ステップによる算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定ステップと、入力データ取得ステップにて逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェクトのオブジェクト画像を生成する生成ステップと、画面上の現実空間に生成ステップにて生成されたオブジェクト画像を重ね合わせた重畳画像を表示ステップにて逐次表示させる表示制御ステップとを含む。
第４の関連実施形態の第２の局面に係る情報処理装置、第３の局面に係る情報処理システム及び第４の局面に係る情報処理方法によると、第１の局面に係る情報処理プログラムと同様の作用効果を発現する。
第５の関連実施形態の画像処理プログラムの一構成例は、表示装置に画像を表示する画像処理装置のコンピュータを、撮像画像取得手段、位置姿勢算出手段、音声データ取得手段、音声認識手段、設定手段、画像生成手段、および表示制御手段として機能させる。撮像画像取得手段は、実カメラによって撮像された撮像画像を繰り返し取得する。位置姿勢算出手段は、実空間における実カメラの位置および姿勢にしたがって決められる位置姿勢情報を繰り返し算出する。音声データ取得手段は、音声入力デバイスから音声信号を示す音声データを取得する。音声認識手段は、音声入力デバイスに入力された音声を認識する。設定手段は、撮像画像に付加表示する仮想オブジェクトまたは文字を付加表示物として設定し、音声認識手段の音声認識結果に基づいて、当該付加表示物の表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを設定する。画像生成手段は、撮像画像における位置姿勢情報に応じた位置を基準として、設定手段が設定した付加表示物を重畳して合成画像を繰り返し生成する。表示制御手段は、合成画像を表示装置に繰り返し表示する。
上記によれば、撮像画像に付加表示物を付加表示する際、付加表示物に対して音声で操作することができ、実世界画像に付加表示された仮想物体や文字等に対して新たな入力方法を用いて簡便性の高い操作を行うことができる。
また、上記位置姿勢算出手段は、撮像画像に含まれる特定の撮像対象物または特徴点を検出し、当該検出結果に基づいて当該撮像対象物または当該特徴点と実カメラとの間の相対的な位置および姿勢を示す情報を位置姿勢情報として算出してもよい。
上記によれば、実空間に配置された所定のマーカ等の撮像対象物や自然特徴点を用いることによって、実空間における実カメラの位置や姿勢を正確に認識することができる。
また、上記位置姿勢算出手段は、実空間における実カメラの地理的な位置および実カメラの撮像方向の方位の少なくとも一方を用いて、位置姿勢情報を算出してもよい。
上記によれば、ＧＰＳ等による実カメラの地理的な位置および磁気センサ等による実カメラの撮像方向の方位の少なくとも一方を用いることによって、実空間における実カメラの位置や姿勢を正確に認識することができる。
また、上記設定手段は、仮想オブジェクトを付加表示物として設定してもよい。また、上記画像生成手段は、仮想カメラ設定手段、仮想オブジェクト配置手段、および仮想世界画像生成手段を含んでいてもよい。仮想カメラ設定手段は、仮想世界において、位置姿勢情報に基づいて仮想カメラの位置および姿勢を設定する。仮想オブジェクト配置手段は、仮想世界に設定手段が設定した仮想オブジェクトを配置する。仮想世界画像生成手段は、仮想カメラから見た仮想世界の画像を仮想世界画像として生成する。この場合、上記画像生成手段は、撮像画像に仮想世界画像を重畳した画像を合成画像として生成してもよい。
上記によれば、実空間における実カメラの位置および姿勢にしたがって決められる位置姿勢情報に基づいて設定された仮想カメラから見た仮想世界内の仮想オブジェクトが仮想世界画像として撮像画像に合成されるため、仮想オブジェクトがあたかも実世界に本当に存在しているかのように見える画像を表示することができる。
また、上記設定手段は、音声入力デバイスに入力された音声が第１の音声であると認識され、かつ、位置姿勢情報が第１の条件を満たす場合に第１の動作に基づいて仮想オブジェクトの表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを設定し、音声入力デバイスに入力された音声が当該第１の音声であると認識され、かつ、位置姿勢情報が当該第１の条件を満たさない場合に第２の動作に基づいて仮想オブジェクトの表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを変更してもよい。
上記によれば、同じ音声を入力したとしても、実空間における実カメラの位置および姿勢によって仮想オブジェクトの動作が異なるため、さらに拡張現実とのインタラクティブ性が高い操作が可能となる。
また、上記位置姿勢算出手段は、撮像対象物と実カメラとの間の相対的な位置および姿勢を示す情報を位置姿勢情報として算出してもよい。上記設定手段は、仮想オブジェクトを付加表示物として設定してもよい。上記画像生成手段は、仮想カメラ設定手段、仮想オブジェクト配置手段、および仮想世界画像生成手段を含んでいてもよい。仮想カメラ設定手段は、位置姿勢情報に基づいて撮像対象物に対応する位置および方向を仮想世界内に設定し、位置姿勢情報に基づいて当該仮想世界において当該撮像対象物に対応する位置および方向を基準として仮想カメラの位置および姿勢を設定する。仮想オブジェクト配置手段は、仮想世界に設定手段が設定した仮想オブジェクトを、撮像対象物に対応する位置を基準として配置する。仮想世界画像生成手段は、仮想カメラから見た仮想世界の画像を仮想世界画像として生成する。この場合、上記設定手段は、音声入力デバイスに入力された音声が第１の音声であると認識された場合、仮想世界における撮像対象物に対応する方向を基準として動作する第１の動作に基づいて仮想オブジェクトの表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを設定し、音声入力デバイスに入力された音声が第２の音声であると認識された場合、仮想世界における仮想カメラへの方向を基準として動作する第２の動作に基づいて仮想オブジェクトの表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを変更してもよい。上記画像生成手段は、撮像画像に仮想世界画像を重畳した画像を合成画像として生成してもよい。
上記によれば、異なる音声入力を行うことによって、仮想オブジェクトが実空間に配置された所定のマーカ等の撮像対象物の方向を基準として動作する場合と、仮想オブジェクトが仮想カメラの方向、すなわち実空間における実カメラの方向をあたかも基準としたような動作をする場合があるため、さらに拡張現実とのインタラクティブ性が高く興趣性に富んだ操作が可能となる。
また、上記設定手段は、音声入力デバイスに音声が入力されていない場合、または音声認識手段が認識した音声が付加表示物を設定する対象ではない場合、付加表示物の表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを、予め定められた内容に設定してもよい。
上記によれば、ユーザが音声入力をしなくても付加表示物の表示位置、姿勢、および表示態様が自動的に変化することがあり得るため、付加表示物自体が自由に行動しているかのような画像が表示できる。
また、上記画像処理プログラムは、撮影保存手段として、さらにコンピュータを機能させてもよい。撮影保存手段は、ユーザによる撮影指示に応じて、画像生成手段が現時点で生成している最新の合成画像を記憶手段に保存する。
上記によれば、撮像画像に付加表示物を重畳させた状態で撮影した画像を保存できるため、当該状態を再表示することが可能となる。
また、上記撮像画像取得手段は、第１の実カメラおよび当該第１の実カメラから所定の距離離れた位置に設けられた第２の実カメラによってそれぞれ撮像された第１の撮像画像および第２の撮像画像を繰り返し取得してもよい。上記位置姿勢算出手段は、実空間における第１の実カメラの位置および姿勢にしたがって決められる第１の位置姿勢情報および実空間における第２の実カメラの位置および姿勢にしたがって決められる第２の位置姿勢情報をそれぞれ繰り返し算出してもよい。上記画像生成手段は、第１の撮像画像における第１の位置姿勢情報に応じた位置を基準として、設定手段が設定した付加表示物を重畳して第１の合成画像を繰り返し生成し、第２の撮像画像における第２の位置姿勢情報に応じた位置を基準として、設定手段が設定した付加表示物を重畳して第２の合成画像を繰り返し生成してもよい。上記表示制御手段は、立体視可能な表示装置に第１の合成画像および第２の合成画像を出力して、付加表示物を合成した撮像画像を繰り返し立体表示してもよい。
上記によれば、立体視可能な表示装置に立体表示された撮像画像に付加表示物を付加表示して表示することができる。
また、上記音声認識手段は、音声入力デバイスに入力された音声を予め登録音声として登録されている音声と少なくとも照合することによって、音声入力デバイスに入力された音声が第１の音声であるか否かを判別し、音声入力デバイスに入力された音声波形のレベルのみに基づいて、音声入力デバイスに入力された音声が第２の音声であるか否かを判別してもよい。
上記によれば、予め登録された登録音声と照合することによって話し言葉として発する音声（言語）等を用いて操作したり、音声波形のレベルによって拍手の音等を用いて操作したりすることができる。
また、上記音声認識手段は、音声入力デバイスに入力された音声入力パターンから得られる特徴パラメータ時系列に対する予め登録音声として登録されている特徴パラメータ時系列の尤度に基づいて、音声入力デバイスに入力された音声が第１の音声であるか否かを判別し、音声入力デバイスに入力された音声波形のレベルおよびスペクトル情報の少なくとも一方のみに基づいて、音声入力デバイスに入力された音声が第３の音声であるか否かを判別してもよい。
上記によれば、入力された音声入力パターンから得られる特徴パラメータ時系列に対する予め登録されている特徴パラメータ時系列の尤度に基づいて音声認識することによって、話し言葉として発する音声（言語）等を用いて操作したり、入力された音声波形のレベルおよびスペクトル情報の少なくとも一方のみに基づいて音声認識することによって、拍手の音、口笛の音、息の音等を用いて操作したりすることができる。
また、上記画像処理プログラムは、音声登録手段として、さらにコンピュータを機能させてもよい。音声登録手段は、付加表示物に対する指示に対応する音声をユーザに入力させ、当該音声に応じた音声データを当該指示に対応する登録音声として記憶手段に登録する。この場合、上記音声認識手段は、音声登録手段が登録音声として登録した音声データを用いて、音声入力デバイスに入力された音声が第１の音声であるか否かを判別してもよい。上記設定手段は、音声認識手段が音声入力デバイスに入力された音声が第１の音声である場合、当該第１の音声に対応して音声登録手段が予め登録した指示に基づいて、付加表示物の表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを設定してもよい。
上記によれば、指示に対応する話し言葉として発する音声（言語）を予めユーザが音声入力して音声データを登録することによって、音声認識の誤認識が防止されるとともに、ユーザが好む言語を予め登録することも可能となる。
また、上記設定手段は、位置姿勢情報が示す実カメラの地理的な位置および実カメラの撮像方向の方位の少なくとも一方に基づいて、撮像画像に撮像されている被写体を推定し、当該被写体に関する情報を示す文字を付加表示物として設定してもよい。上記画像生成手段は、撮像画像における位置姿勢情報に応じた位置を基準として、設定手段が設定した被写体に対応する文字を重畳して合成画像を繰り返し生成してもよい。上記設定手段は、音声認識手段が音声認識した言語に一致する文字が付加表示物として設定されている場合、当該文字が選択指示されたことを示す表示態様に変更して当該文字を設定してもよい。
上記画像生成手段は、言語に一致する文字を設定手段が変更した表示態様で撮像画像に重畳して合成画像を生成してもよい。
上記画像生成手段は、言語に一致する文字を設定手段が変更した表示態様で撮像画像に重畳して合成画像を生成してもよい。
上記によれば、撮像装置で撮像されている撮像画像を表示装置に表示しながら、当該撮像装置が撮像している場所や被写体（建物や看板等）に関連する複数の文字情報を付加情報として当該撮像画像に重畳して表示される場合、音声によって文字情報を選択することができるため、拡張現実とのインタラクティブ性および操作性が高い入力方法を提供することができる。
また、上記撮像画像取得手段は、画像処理装置を構成する筐体に内蔵される実カメラから撮像画像を取得してもよい。上記音声データ取得手段は、筐体に内蔵される音声入力デバイスから音声データを取得してもよい。上記表示制御手段は、筐体に内蔵される表示装置に合成画像を表示してもよい。
上記によれば、同じ筐体内に画像処理装置、実カメラ、表示装置、および音声入力デバイスを内蔵することによって、あたかも表示装置を介して実空間を見ているかのような拡張現実を実現することができるとともに、当該実空間内に音声を発して指示しているような操作感や臨場感を与えることができる。
また、第５の関連実施形態は、上記各手段を備える画像処理装置および画像処理システムや上記各手段で行われる動作を含む画像処理方法の形態で実施されてもよい。
第６の関連実施形態は、実空間を撮像する左実カメラおよび右実カメラと、立体視画像を表示可能な表示手段とに接続される情報処理装置のコンピュータを、実画像取得手段、仮想カメラ設定手段、左テクスチャ領域設定手段、右テクスチャ領域設定手段、左仮想カメラ画像取得手段、右仮想カメラ画像取得手段、および、表示制御手段として機能させる。実画像取得手段は、前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより撮像された右目用実画像を取得する。仮想カメラ設定手段は、前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カメラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右仮想カメラを設定する。左テクスチャ領域設定手段は、前記仮想カメラ設定手段によって設定された左仮想カメラから見た場合の、前記仮想空間における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域として設定する。右テクスチャ領域設定手段は、前記仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空間における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域として設定する。左仮想カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する。右仮想カメラ画像取得手段は、前記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像を、前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想カメラ画像を取得する。表示制御手段は、ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画像を表示させる。
なお、仮想カメラ設定手段は、実空間に存在する所定の対象物と上記左目用実カメラとの相対的な位置および姿勢に基づいて、左仮想カメラを設定してもよい。すなわち、実空間の所定の対象物を基準とした左実カメラの位置および姿勢に基づいて左仮想カメラが設定されてもよいし、左実カメラを基準とした実空間の所定の対象物の位置および姿勢に基づいて左仮想カメラが設定されてもよい。また、絶対的な位置を検出する手段（例えば、ＧＰＳ）や姿勢検出手段（例えば、角速度センサや加速度センサ、地磁気を検出する手段等）によって検出された左実カメラの絶対的な位置および姿勢に基づいて左仮想カメラが設定されてもよい。同様に、実空間に存在する上記所定の対象物と上記右実カメラとの相対的な位置および姿勢に基づいて右仮想カメラが設定されてもよいし、右実カメラの絶対的な位置および姿勢に基づいて右仮想カメラが設定されてもよい。
上記によれば、左右の実画像をそれぞれテクスチャとして仮想モデルに適用ことができ、仮想モデルを立体的に表示するとともに、取得した実画像に応じてその表示態様を多様にすることができる。また、左右の実画像をそれぞれテクスチャとして用いるため、一方の実画像のみを用いる場合よりも解像度を低下させずに、左右の仮想カメラ画像を生成して表示することができる。
また、本関連実施形態の他の構成では、前記左テクスチャ領域設定手段は、前記仮想モデルを前記左仮想カメラで撮像した場合のレンダリング画像上での当該仮想モデルの位置および輪郭に対応する領域を左テクスチャ領域として設定してもよい。また、前記右テクスチャ領域設定手段は、前記仮想モデルを前記右仮想カメラで撮像した場合のレンダリング画像上での当該仮想モデルの位置および輪郭に対応する領域を右テクスチャ領域として設定してもよい。
上記によれば、各仮想カメラで仮想モデルを撮像した場合において、撮像される画像における仮想モデルの位置および輪郭に対応する領域を各テクスチャ領域として設定することができる。
また、本関連実施形態の他の構成では、上記情報処理プログラムは、上記左目用実画像と上記左仮想カメラ画像とを重ね合わせた左目用重畳画像と、上記右目用実画像と上記右仮想カメラ画像とを重ね合わせた右目用重畳画像とを生成する重畳画像生成手段、として上記コンピュータを更に機能させてもよい。そして、上記表示制御手段は、上記左目用重畳画像および上記右目用重畳画像を上記表示手段に表示させる。
上記によれば、仮想モデルを撮像した左右の仮想カメラ画像と左右の実画像とを重畳して表示することができる。
また、本関連実施形態の他の構成では、上記情報処理プログラムは、上記仮想モデルを変形した変形オブジェクトを生成し、上記仮想空間に設定する変形オブジェクト設定手段、として上記コンピュータを更に機能させてもよい。上記左仮想カメラ画像取得手段は、上記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を上記変形オブジェクトにテクスチャとして適用した上記変形オブジェクトを上記左仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、上記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像をテクスチャとして適用した上記変形オブジェクトを上記右仮想カメラで撮像した右仮想カメラ画像を取得する。
上記によれば、実空間を撮像した画像に立体的な変化を与えることができる。例えば、平面上の仮想モデルを変形させることによって、実空間の平面が変形したような画像を表示することができる。
また、本関連実施形態の他の構成では、上記仮想モデルは、平面または曲面状の仮想モデルであって、上記実空間の平面または曲面に沿うようにして上記仮想空間内に設定されてもよい。上記変形オブジェクト設定手段は、上記平面または曲面状の仮想モデルを変形した変形オブジェクトを生成して、上記仮想空間に設定する。
上記によれば、実空間の平面や曲面が立体的に変化する様子を表示することができる。
また、本関連実施形態の他の構成では、上記変形オブジェクト設定手段は、上記仮想モデルの端部を除く部分を変形して上記変形オブジェクトを生成してもよい。
上記によれば、実画像と仮想カメラ画像とが重ね合わされた場合に、変形オブジェクトの境界部分において違和感のない画像にすることができる。
また、本関連実施形態の他の構成では、上記情報処理プログラムは、上記仮想空間内に上記変形オブジェクトとは異なる第２オブジェクトを当該変形オブジェクトと所定の位置関係で設定する第２オブジェクト設定手段として、上記コンピュータを更に機能させてもよい。上記左仮想カメラ画像取得手段は、上記変形オブジェクトおよび上記第２オブジェクトを上記左仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、上記変形オブジェクトおよび上記第２オブジェクトを上記右仮想カメラで撮像した右仮想カメラ画像を取得する。
上記によれば、変形オブジェクトと所定の位置関係で第２オブジェクトを仮想空間に設定し、実空間が変形された画像と仮想空間の第２オブジェクトの画像とが重ね合わされて、表示される。このため、第２オブジェクトが実空間の変形された部分と所定の位置関係で実在しているように見える。例えば、実空間の平面を変形させることで波打つ水面と、水中に存在する魚とを表示することができる。
また、本関連実施形態の他の構成では、上記第２オブジェクトは、上記左仮想カメラおよび上記右仮想カメラの撮像方向に関して上記変形オブジェクトよりも遠方に配置されてもよい。上記情報処理プログラムは、上記変形オブジェクトの端部に上記第２オブジェクトをマスクする所定のマスクオブジェクトを設定するマスクオブジェクト設定手段として、上記コンピュータを更に機能させる。
上記によれば、変形オブジェクトを介して上記第２オブジェクトが見えない位置に仮想カメラが設定される場合（斜めから第２オブジェクトを撮像した場合）、第２オブジェクトをマスクすることができる。
また、本関連実施形態の他の構成では、上記左実カメラおよび右実カメラは実空間上に配置された所定の平板状のマーカをそれぞれ撮像してもよい。また、上記仮想カメラ設定手段は、上記マーカの位置および姿勢を基準として、左実カメラの位置および姿勢と上記右実カメラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右仮想カメラを設定する。上記仮想モデルは、上記マーカを基準に設定されたマーカ座標系において、上記マーカが載置される平面上に配置された板状のモデルである。また、上記情報処理プログラムは、上記仮想モデルを変形した変形オブジェクトを生成し、上記仮想空間に設定する変形オブジェクト設定手段として、上記コンピュータを更に機能させる。上記左仮想カメラ画像取得手段は、上記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像をテクスチャとして適用した上記変形オブジェクトを上記左仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、上記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像をテクスチャとして適用した上記変形オブジェクトを上記右仮想カメラで撮像した右仮想カメラ画像を取得する。
上記によれば、マーカが載置された実空間の平面が変化する様子を立体的に表示することができる。これにより、例えば、実空間の平面を水面として、当該水面が波打つような様子を表示することができる。
また、本関連実施形態の他の構成では、上記仮想カメラ設定手段は、上記左目用実画像に含まれる特定対象物を検出し、当該検出結果に基づいて、上記左実カメラと上記実空間に存在する上記特定対象物との相対的な位置および姿勢を取得し、当該取得した位置および姿勢に基づいて、前記左仮想カメラを設定してもよい。また、上記仮想カメラ設定手段は、上記右目用実画像に含まれる上記特定対象物を検出し、当該検出結果に基づいて、上記右実カメラと上記実空間に存在する上記特定対象物との相対的な位置および姿勢を取得し、当該取得した位置および姿勢に基づいて、前記右仮想カメラを設定する。
上記によれば、上記特定対象物を撮像することにより、左右の実カメラ以外の構成を用いなくても、当該左右の実カメラの実空間における位置および姿勢に対応させて左右の仮想カメラを配置できる。
また、本関連実施形態の他の構成では、上記仮想モデルは、上記実空間における上記特定対象物の位置に対応する、上記仮想空間における位置を基準として配置されてもよい。
上記によれば、上記特定対象物の位置に仮想モデルが配置されるため、上記特定対象物が撮像される場合は、必ず仮想モデルを仮想カメラで撮像することができる。
また、本関連実施形態では、上記各手段を実現した情報処理装置であってもよい。また、本関連実施形態では、上記各手段を実現する複数の要素が相互に動作することによって、１つの情報処理システムとして構成されてもよい。当該情報処理システムは、１つの装置によって構成されてもよいし、複数の装置によって構成されてもよい。
第７の関連実施形態に係る携帯電子機器は、ハウジングの主面に裸眼立体視可能な立体表示部が設けられる。そして、一体成形されたスクリーンカバーで当該主面の略全体を覆う。
裸眼立体視可能な立体表示部を有する装置において、ユーザーが立体表示を視認するときに、立体表示部が配置されるハウジングの主面における現実物にユーザーは自己の目の焦点をあわせようとしてしまう。立体表示部には様々な立体感の画像が表示されるため、ハウジングの主面の現実物に焦点があうと立体視がうまく見えない場合がある。この関連実施形態では、立体表示部が配置されるハウジングの主面の略全体を一体のスクリーンカバーで覆ったので、ハウジングの主面上の現実物を隠すことができ、また、主面全体をフラットにすることができる。それゆえ、立体視が容易となる。
また、本関連実施形態では、前記主面においてスピーカーが設けられ、前記スクリーンカバーは当該スピーカーに対応する位置に音抜き孔が形成されるようにしてもよい。
この関連実施形態では、スピーカー部をスクリーンカバーで隠すことができる。また、立体表示部と同じ主面にスピーカー部を設けることができて、画像と音との一体感を感じることができる。
また、本関連実施形態では、前記主面において撮像部が設けられ、前記スクリーンカバーによって当該撮像部が覆われるようにしてもよい。
この関連実施形態では、撮像部用の別途のレンズカバーが必要ない。
また、本関連実施形態では、前記主面において前記立体表示部の表示状態を示す発光部が設けられ、前記スクリーンカバーによって当該発光部が覆われるようにしてもよい。
この関連実施形態では、発光部用の別途のカバーが必要ない。
また、本関連実施形態では、前記ハウジングは正面側パーツと背面側パーツで構成され、当該正面側パーツと当該背面側パーツがネジ留めされ、前記スクリーンカバーは、前記立体表示部に対応する領域を除いて背面から所定のカラーで印刷が施され、当該印刷により、ネジ留め部が覆われ、前記スクリーンカバーは前記ハウジングの主面に接着されるようにしてもよい。
また、本関連実施形態では、前記ハウジングは正面側パーツと背面側パーツで構成され、当該正面側パーツと当該背面側パーツがネジ留めされ、前記スクリーンカバーは、前記立体表示部および前記撮像部に対応する領域を除いて背面から所定のカラーで印刷が施され、当該印刷により、ネジ留め部が覆われるようにしてもよい。
この関連実施形態では、ネジの露出を少なくするまたは無くすことができて、立体視の視認性があがるとともに、美観や安全性が向上する。
また、本関連実施形態では、前記スクリーンカバーは、前記発光部に対応する位置に透明抜きで文字または記号が示されるように背面から所定のカラーで印刷が施されるようにしてもよい。
この関連実施形態では、発光部のための印刷工程を効率化することができる。
Ａ１０ ゲーム装置
Ａ１１ 下側ハウジング
Ａ１２ 下側ＬＣＤ
Ａ１３ タッチパネル
Ａ１４ 操作ボタン
Ａ１５ アナログスティック
Ａ１６ ＬＥＤ
Ａ２１ 上側ハウジング
Ａ２２ 上側ＬＣＤ
Ａ２３ 外側撮像部
Ａ２３ａ 外側撮像部（左）
Ａ２３ｂ 外側撮像部（右）
Ａ２４ 内側撮像部
Ａ２５ ３Ｄ調整スイッチ
Ａ２６ ３Ｄインジケータ
Ａ２８ タッチペン
Ａ３１ 情報処理部
Ａ３１１ ＣＰＵ
Ａ３１２ ＧＰＵ
Ａ３２ メインメモリ
Ａ６０ａ〜Ａ６０ｃ ボール
Ａ６１ マーカー
Ａ６２ 仮想オブジェクト
Ａ６３Ｌ 左仮想カメラ
Ａ６３Ｒ 右仮想カメラ
Ｂ１０ ゲーム装置
Ｂ１１ 下側ハウジング
Ｂ１２ 下側ＬＣＤ
Ｂ１３ タッチパネル
Ｂ１４ 操作ボタン
Ｂ１５ アナログスティック
Ｂ１６ ＬＥＤ
Ｂ２１ 上側ハウジング
Ｂ２２ 上側ＬＣＤ
Ｂ２３ 外側撮像部
Ｂ２３ａ 外側撮像部（左）
Ｂ２３ｂ 外側撮像部（右）
Ｂ２４ 内側撮像部
Ｂ２５ ３Ｄ調整スイッチ
Ｂ２６ ３Ｄインジケータ
Ｂ２８ タッチペン
Ｂ３１ 情報処理部
Ｂ３１１ ＣＰＵ
Ｂ３１２ ＧＰＵ
Ｂ３２ メインメモリ
Ｃ１０ ゲーム装置
Ｃ１１ 下側ハウジング
Ｃ１２ 下側ＬＣＤ
Ｃ１３ タッチパネル
Ｃ１４ 操作ボタン
Ｃ１５ アナログスティック
Ｃ１６ ＬＥＤ
Ｃ１７ 挿入口
Ｃ１８ マイクロフォン用孔
Ｃ１９ 無線スイッチ
Ｃ２１ 上側ハウジング
Ｃ２２ 上側ＬＣＤ
Ｃ２３ 外側撮像部
Ｃ２３ａ 外側左撮像部
Ｃ２３ｂ 外側右撮像部
Ｃ２４ 内側撮像部
Ｃ２５ ３Ｄ調整スイッチ
Ｃ２６ ３Ｄインジケータ
Ｃ２７ スクリーンカバー
Ｃ２８ タッチペン
Ｃ３１ 情報処理部
Ｃ３１１ ＣＰＵ
Ｃ３１２ ＧＰＵ
Ｃ３１３ ＶＲＡＭ
Ｃ３２ メインメモリ
Ｃ３３ 外部メモリＩ／Ｆ
Ｃ３４ データ保存用外部メモリＩ／Ｆ
Ｃ３５ データ保存用内部メモリ
Ｃ３６ 無線通信モジュール
Ｃ３７ ローカル通信モジュール
Ｃ３８ ＲＴＣ
Ｃ３９ 加速度センサ
Ｃ４０ 角速度センサ
Ｃ４１ 電源回路
Ｃ４２ Ｉ／Ｆ回路
Ｃ４３ マイク
Ｃ４４ スピーカ
Ｃ４５ 外部メモリ
Ｃ４６ データ保存用外部メモリ
Ｄ１０ ゲーム装置
Ｄ１１ 下側ハウジング
Ｄ１２ 下側ＬＣＤ
Ｄ１３ タッチパネル
Ｄ１４ 操作ボタン
Ｄ１５ アナログスティック
Ｄ１６ ＬＥＤ
Ｄ２１ 上側ハウジング
Ｄ２２ 上側ＬＣＤ
Ｄ２３ 外側撮像部
Ｄ２３ａ 外側撮像部（左）
Ｄ２３ｂ 外側撮像部（右）
Ｄ２４ 内側撮像部
Ｄ２５ ３Ｄ調整スイッチ
Ｄ２６ ３Ｄインジケータ
Ｄ２８ タッチペン
Ｄ３１ 情報処理部
Ｄ３１１ ＣＰＵ
Ｄ３１２ ＧＰＵ
Ｄ３２ メインメモリ
Ｄ５１ 釣りざおオブジェクト
Ｄ５２ 魚オブジェクト
Ｄ５３ａ 左仮想カメラ
Ｄ５３ｂ 右仮想カメラ
Ｄ５５ 仮想モデル
Ｄ５６ 変形オブジェクト
Ｄ５７ マスクオブジェクト
Ｄ６１ マーカ
Ｅ１ ゲーム装置
Ｅ２ 下側ハウジング
Ｅ３ 第２部分
Ｅ４ 第２連結部
Ｅ５ 上側ハウジング
Ｅ６ 第１部分
Ｅ７ 第１連結部
Ｅ２１ 下側ＬＣＤ
Ｅ２２ タッチパネル
Ｅ２３ 十字キー
Ｅ２４ 操作ボタンユニット
Ｅ２５ アナログキー
Ｅ３５ 音量ボリュームスイッチ
Ｅ３６ ＳＤカードユニット
Ｅ３７ 無線スイッチ
Ｅ５１ 上側ＬＣＤ
Ｅ５２ 内側撮像部
Ｅ５６ 外側撮像部
Ｅ５６ａ 外側撮像部（左）
Ｅ５６ｂ 外側撮像部（右）
Ｅ２０１ 第５パーツ
Ｅ２０２ 第４パーツ
Ｅ２０３ 第６パーツ
Ｅ５０１ 第１パーツ
Ｅ５０２ 第２パーツ
Ｅ５０３ 第３パーツ
Ｅ５０４ 第３Ａパーツ
Ｅ５０５ 第３Ｂパーツ
Ａ１１ 下側ハウジング
Ａ１２ 下側ＬＣＤ
Ａ１３ タッチパネル
Ａ１４ 操作ボタン
Ａ１５ アナログスティック
Ａ１６ ＬＥＤ
Ａ２１ 上側ハウジング
Ａ２２ 上側ＬＣＤ
Ａ２３ 外側撮像部
Ａ２３ａ 外側撮像部（左）
Ａ２３ｂ 外側撮像部（右）
Ａ２４ 内側撮像部
Ａ２５ ３Ｄ調整スイッチ
Ａ２６ ３Ｄインジケータ
Ａ２８ タッチペン
Ａ３１ 情報処理部
Ａ３１１ ＣＰＵ
Ａ３１２ ＧＰＵ
Ａ３２ メインメモリ
Ａ６０ａ〜Ａ６０ｃ ボール
Ａ６１ マーカー
Ａ６２ 仮想オブジェクト
Ａ６３Ｌ 左仮想カメラ
Ａ６３Ｒ 右仮想カメラ
Ｂ１０ ゲーム装置
Ｂ１１ 下側ハウジング
Ｂ１２ 下側ＬＣＤ
Ｂ１３ タッチパネル
Ｂ１４ 操作ボタン
Ｂ１５ アナログスティック
Ｂ１６ ＬＥＤ
Ｂ２１ 上側ハウジング
Ｂ２２ 上側ＬＣＤ
Ｂ２３ 外側撮像部
Ｂ２３ａ 外側撮像部（左）
Ｂ２３ｂ 外側撮像部（右）
Ｂ２４ 内側撮像部
Ｂ２５ ３Ｄ調整スイッチ
Ｂ２６ ３Ｄインジケータ
Ｂ２８ タッチペン
Ｂ３１ 情報処理部
Ｂ３１１ ＣＰＵ
Ｂ３１２ ＧＰＵ
Ｂ３２ メインメモリ
Ｃ１０ ゲーム装置
Ｃ１１ 下側ハウジング
Ｃ１２ 下側ＬＣＤ
Ｃ１３ タッチパネル
Ｃ１４ 操作ボタン
Ｃ１５ アナログスティック
Ｃ１６ ＬＥＤ
Ｃ１７ 挿入口
Ｃ１８ マイクロフォン用孔
Ｃ１９ 無線スイッチ
Ｃ２１ 上側ハウジング
Ｃ２２ 上側ＬＣＤ
Ｃ２３ 外側撮像部
Ｃ２３ａ 外側左撮像部
Ｃ２３ｂ 外側右撮像部
Ｃ２４ 内側撮像部
Ｃ２５ ３Ｄ調整スイッチ
Ｃ２６ ３Ｄインジケータ
Ｃ２７ スクリーンカバー
Ｃ２８ タッチペン
Ｃ３１ 情報処理部
Ｃ３１１ ＣＰＵ
Ｃ３１２ ＧＰＵ
Ｃ３１３ ＶＲＡＭ
Ｃ３２ メインメモリ
Ｃ３３ 外部メモリＩ／Ｆ
Ｃ３４ データ保存用外部メモリＩ／Ｆ
Ｃ３５ データ保存用内部メモリ
Ｃ３６ 無線通信モジュール
Ｃ３７ ローカル通信モジュール
Ｃ３８ ＲＴＣ
Ｃ３９ 加速度センサ
Ｃ４０ 角速度センサ
Ｃ４１ 電源回路
Ｃ４２ Ｉ／Ｆ回路
Ｃ４３ マイク
Ｃ４４ スピーカ
Ｃ４５ 外部メモリ
Ｃ４６ データ保存用外部メモリ
Ｄ１０ ゲーム装置
Ｄ１１ 下側ハウジング
Ｄ１２ 下側ＬＣＤ
Ｄ１３ タッチパネル
Ｄ１４ 操作ボタン
Ｄ１５ アナログスティック
Ｄ１６ ＬＥＤ
Ｄ２１ 上側ハウジング
Ｄ２２ 上側ＬＣＤ
Ｄ２３ 外側撮像部
Ｄ２３ａ 外側撮像部（左）
Ｄ２３ｂ 外側撮像部（右）
Ｄ２４ 内側撮像部
Ｄ２５ ３Ｄ調整スイッチ
Ｄ２６ ３Ｄインジケータ
Ｄ２８ タッチペン
Ｄ３１ 情報処理部
Ｄ３１１ ＣＰＵ
Ｄ３１２ ＧＰＵ
Ｄ３２ メインメモリ
Ｄ５１ 釣りざおオブジェクト
Ｄ５２ 魚オブジェクト
Ｄ５３ａ 左仮想カメラ
Ｄ５３ｂ 右仮想カメラ
Ｄ５５ 仮想モデル
Ｄ５６ 変形オブジェクト
Ｄ５７ マスクオブジェクト
Ｄ６１ マーカ
Ｅ１ ゲーム装置
Ｅ２ 下側ハウジング
Ｅ３ 第２部分
Ｅ４ 第２連結部
Ｅ５ 上側ハウジング
Ｅ６ 第１部分
Ｅ７ 第１連結部
Ｅ２１ 下側ＬＣＤ
Ｅ２２ タッチパネル
Ｅ２３ 十字キー
Ｅ２４ 操作ボタンユニット
Ｅ２５ アナログキー
Ｅ３５ 音量ボリュームスイッチ
Ｅ３６ ＳＤカードユニット
Ｅ３７ 無線スイッチ
Ｅ５１ 上側ＬＣＤ
Ｅ５２ 内側撮像部
Ｅ５６ 外側撮像部
Ｅ５６ａ 外側撮像部（左）
Ｅ５６ｂ 外側撮像部（右）
Ｅ２０１ 第５パーツ
Ｅ２０２ 第４パーツ
Ｅ２０３ 第６パーツ
Ｅ５０１ 第１パーツ
Ｅ５０２ 第２パーツ
Ｅ５０３ 第３パーツ
Ｅ５０４ 第３Ａパーツ
Ｅ５０５ 第３Ｂパーツ
Claims (7)
- 実世界画像に仮想空間画像を合成表示する画像表示システムであって、
前記画像表示システムは、手持ち型の画像表示装置と、実世界に配置されるマーカーとを備え、
前記画像表示装置は、
互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状の上側ハウジングおよび下側ハウジングと、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する平面表示部と、
前記平面表示部の画面上に設けられたタッチパネルと、
前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な立体表示部と、
前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられた第１撮像部および第２撮像部と、
前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自動的に検出する検出手段と、
前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する決定手段と、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する第１仮想空間画像生成手段と、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する第２仮想空間画像生成手段と、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる表示制御手段とを含み、
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、１以上の操作ボタンが設けられており、
前記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含み、
前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える、画像表示システム。 - 前記上側ハウジングの内側面には、前記立体表示部の画面を左右に２等分する線上に第３撮像部が設けられている、請求項１に記載の画像表示システム。
- 前記上側ハウジングには一対のスピーカが設けられており、
前記上側ハウジングの内側面上には、左右方向に前記立体表示部の画面を挟むように、前記一対のスピーカに対応する一対のスピーカ孔が設けられている、請求項１または請求項２に記載の画像表示システム。 - 前記下側ハウジングの長辺方向に平行な２つの側面のうちの前記上側ハウジングに接続されている側の側面の右端部および左端部には操作ボタンが設けられている、請求項１〜請求項３のいずれか１項に記載の画像表示システム。
- 前記画像表示装置は、携帯型ゲーム装置である、請求項１〜請求項４のいずれか１項に記載の画像表示システム。
- 実世界画像に仮想空間画像を合成表示する手持ち型の画像表示装置であって、
互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状の上側ハウジングおよび下側ハウジングと、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する平面表示部と、
前記平面表示部の画面上に設けられたタッチパネルと、
前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な立体表示部と、
前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられた第１撮像部および第２撮像部と、
前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から、実世界に配置されたマーカーの位置および姿勢を自動的に検出する検出手段と、
前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する決定手段と、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する第１仮想空間画像生成手段と、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する第２仮想空間画像生成手段と、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる表示制御手段とを備え、
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、１以上の操作ボタンが設けられており、
前記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含み、
前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える、画像表示装置。 - 手持ち型の画像表示装置と、実世界に配置されるマーカーとを備えた画像表示システムにおいて、実世界画像に仮想空間画像を合成表示する画像表示方法であって、
前記画像表示装置は、
互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状の上側ハウジングおよび下側ハウジングと、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する平面表示部と、
前記平面表示部の画面上に設けられたタッチパネルと、
前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な立体表示部と、
前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられた第１撮像部および第２撮像部と、
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ設けられた、１以上の操作ボタンと、
前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチとを備えており、
前記画像表示方法は、
前記画像表示装置の検出手段が、前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢に検出するステップと、
前記画像表示装置の決定手段が、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新するステップと、
前記画像表示装置の第１仮想空間画像生成手段が、前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成するステップと、
前記画像表示装置の第２仮想空間画像生成手段が、前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成するステップと、
前記画像表示装置の表示制御手段が、前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させるステップと、
前記表示制御手段が、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換えるステップとを備えた、画像表示方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010294571A JP4696184B1 (ja) | 2010-06-02 | 2010-12-29 | 画像表示システム、画像表示装置および画像表示方法 |
| US13/006,039 US8384770B2 (en) | 2010-06-02 | 2011-01-13 | Image display system, image display apparatus, and image display method |
| US13/746,600 US9282319B2 (en) | 2010-06-02 | 2013-01-22 | Image display system, image display apparatus, and image display method |
Applications Claiming Priority (15)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010127091 | 2010-06-02 | ||
| JP2010127091 | 2010-06-02 | ||
| JP2010134545 | 2010-06-11 | ||
| JP2010134575 | 2010-06-11 | ||
| JP2010134545 | 2010-06-11 | ||
| JP2010134575 | 2010-06-11 | ||
| JP2010135507 | 2010-06-14 | ||
| JP2010135193 | 2010-06-14 | ||
| JP2010135507 | 2010-06-14 | ||
| JP2010135193 | 2010-06-14 | ||
| JP2010215654 | 2010-09-27 | ||
| JP2010215654 | 2010-09-27 | ||
| JP2010217700 | 2010-09-28 | ||
| JP2010217700 | 2010-09-28 | ||
| JP2010294571A JP4696184B1 (ja) | 2010-06-02 | 2010-12-29 | 画像表示システム、画像表示装置および画像表示方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011031091A Division JP5622609B2 (ja) | 2010-06-02 | 2011-02-16 | 画像表示システム、画像表示装置および画像表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4696184B1 true JP4696184B1 (ja) | 2011-06-08 |
| JP2012094100A JP2012094100A (ja) | 2012-05-17 |
Family
ID=44237035
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010294571A Active JP4696184B1 (ja) | 2010-06-02 | 2010-12-29 | 画像表示システム、画像表示装置および画像表示方法 |
| JP2011031091A Active JP5622609B2 (ja) | 2010-06-02 | 2011-02-16 | 画像表示システム、画像表示装置および画像表示方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011031091A Active JP5622609B2 (ja) | 2010-06-02 | 2011-02-16 | 画像表示システム、画像表示装置および画像表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP4696184B1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012095261A (ja) * | 2010-06-02 | 2012-05-17 | Nintendo Co Ltd | 画像表示システム、画像表示装置および画像表示方法 |
| JP2013054548A (ja) * | 2011-09-05 | 2013-03-21 | Nintendo Co Ltd | 周辺装置、情報処理システム、および、周辺装置の接続方法 |
| JP2013058156A (ja) * | 2011-09-09 | 2013-03-28 | Nintendo Co Ltd | 入力装置、入力処理プログラム、入力処理方法、入力処理システム |
| JP2013109768A (ja) * | 2011-11-22 | 2013-06-06 | Samsung Electronics Co Ltd | ポータブル端末で拡張現実サービスを提供するための方法、及びポータブル端末装置 |
| WO2013118373A1 (ja) * | 2012-02-10 | 2013-08-15 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9563265B2 (en) | 2012-01-12 | 2017-02-07 | Qualcomm Incorporated | Augmented reality with sound and geometric analysis |
| KR102024863B1 (ko) * | 2012-07-12 | 2019-09-24 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
| JP2014071838A (ja) * | 2012-10-01 | 2014-04-21 | Dainippon Printing Co Ltd | 画像処理装置およびカードゲーム具 |
| JP6028555B2 (ja) * | 2012-12-12 | 2016-11-16 | ソニー株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| JP5661835B2 (ja) * | 2013-03-06 | 2015-01-28 | ヤフー株式会社 | 端末装置、表示処理方法及び表示処理プログラム |
| US9262865B2 (en) * | 2013-03-15 | 2016-02-16 | Daqri, Llc | Content creation tool |
| JP6609994B2 (ja) | 2015-05-22 | 2019-11-27 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
| JP6917820B2 (ja) | 2016-08-05 | 2021-08-11 | 株式会社半導体エネルギー研究所 | データ処理システム |
| JP2018049267A (ja) | 2016-09-16 | 2018-03-29 | 株式会社半導体エネルギー研究所 | 表示システム、電子機器および表示方法 |
| KR102530278B1 (ko) | 2018-10-18 | 2023-05-10 | 삼성디스플레이 주식회사 | 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법 |
| WO2022049943A1 (ja) * | 2020-09-04 | 2022-03-10 | 株式会社ワコム | 位置検出装置 |
| JP7072706B1 (ja) * | 2021-06-22 | 2022-05-20 | ヤフー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004109330A (ja) * | 2002-09-17 | 2004-04-08 | Sharp Corp | ２ｄ（２次元）及び３ｄ（３次元）表示機能を備える電子機器 |
| JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
| JP3770497B2 (ja) * | 2004-03-31 | 2006-04-26 | 任天堂株式会社 | 携帯ゲーム機およびゲームプログラム |
| JP4771671B2 (ja) * | 2004-07-16 | 2011-09-14 | シャープ株式会社 | 撮影装置及び撮影表示装置 |
| JP4717728B2 (ja) * | 2005-08-29 | 2011-07-06 | キヤノン株式会社 | ステレオ表示装置及びその制御方法 |
| JP2007206807A (ja) * | 2006-01-31 | 2007-08-16 | Nippon Hoso Kyokai <Nhk> | 映像合成装置及び映像合成プログラム |
| JP4689639B2 (ja) * | 2007-04-25 | 2011-05-25 | キヤノン株式会社 | 画像処理システム |
| JP4696184B1 (ja) * | 2010-06-02 | 2011-06-08 | 任天堂株式会社 | 画像表示システム、画像表示装置および画像表示方法 |
-
2010
- 2010-12-29 JP JP2010294571A patent/JP4696184B1/ja active Active
-
2011
- 2011-02-16 JP JP2011031091A patent/JP5622609B2/ja active Active
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012095261A (ja) * | 2010-06-02 | 2012-05-17 | Nintendo Co Ltd | 画像表示システム、画像表示装置および画像表示方法 |
| JP2013054548A (ja) * | 2011-09-05 | 2013-03-21 | Nintendo Co Ltd | 周辺装置、情報処理システム、および、周辺装置の接続方法 |
| JP2013058156A (ja) * | 2011-09-09 | 2013-03-28 | Nintendo Co Ltd | 入力装置、入力処理プログラム、入力処理方法、入力処理システム |
| JP2013109768A (ja) * | 2011-11-22 | 2013-06-06 | Samsung Electronics Co Ltd | ポータブル端末で拡張現実サービスを提供するための方法、及びポータブル端末装置 |
| WO2013118373A1 (ja) * | 2012-02-10 | 2013-08-15 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JPWO2013118373A1 (ja) * | 2012-02-10 | 2015-05-11 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9268410B2 (en) | 2012-02-10 | 2016-02-23 | Sony Corporation | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012094100A (ja) | 2012-05-17 |
| JP2012095261A (ja) | 2012-05-17 |
| JP5622609B2 (ja) | 2014-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4696184B1 (ja) | 画像表示システム、画像表示装置および画像表示方法 | |
| US8384770B2 (en) | Image display system, image display apparatus, and image display method | |
| JP5806469B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
| US7979574B2 (en) | System and method for routing communications among real and virtual communication devices | |
| JP5602618B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
| JP5525923B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
| JP5814532B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 | |
| JP6514397B1 (ja) | システム、プログラム、方法、および情報処理装置 | |
| EP2132650A2 (en) | System and method for communicating with a virtual world | |
| EP2394711A1 (en) | Image generation system, image generation method, and information storage medium | |
| TW201220109A (en) | Controller device and information processing device | |
| WO2008109299A2 (en) | System and method for communicating with a virtual world | |
| JP7181148B2 (ja) | システム、プログラム、方法、および情報処理装置 | |
| EP3686878A1 (en) | Display method, apparatus and system | |
| GB2580897A (en) | Display method, apparatus and system | |
| JP2020052775A (ja) | プログラム、仮想空間の提供方法および情報処理装置 | |
| JP6495399B2 (ja) | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
| JP2020038468A (ja) | プログラム、情報処理装置、および方法 | |
| US11882172B2 (en) | Non-transitory computer-readable medium, information processing method and information processing apparatus | |
| JP7111848B2 (ja) | プログラム、情報処理装置、および方法 | |
| WO2021153413A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
| JP6911070B2 (ja) | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
| JP2024047008A (ja) | 情報処理システム | |
| JP2024047006A (ja) | 情報処理システムおよびプログラム | |
| GB2580898A (en) | Display method, apparatus and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4696184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |