JP5739671B2 - 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 - Google Patents
情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 Download PDFInfo
- Publication number
- JP5739671B2 JP5739671B2 JP2011007849A JP2011007849A JP5739671B2 JP 5739671 B2 JP5739671 B2 JP 5739671B2 JP 2011007849 A JP2011007849 A JP 2011007849A JP 2011007849 A JP2011007849 A JP 2011007849A JP 5739671 B2 JP5739671 B2 JP 5739671B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- image
- sequentially
- information processing
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 131
- 238000003672 processing method Methods 0.000 title description 4
- 238000003384 imaging method Methods 0.000 claims description 185
- 238000004364 calculation method Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 description 56
- 239000003550 marker Substances 0.000 description 54
- 230000008569 process Effects 0.000 description 48
- 230000001133 acceleration Effects 0.000 description 29
- 238000013500 data storage Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000004888 barrier function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
- G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
たオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる。
、オブジェクトのオブジェクト画像を生成する生成手段と、画面上の現実空間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる表示制御手段とを含む。
以下、本発明の一実施形態に係る情報処理装置であるゲーム装置について説明する。なお、本発明は、このような装置に限定されるものではなく、このような装置において実行される情報処理プログラムであっても、このような装置に関係がある情報処理システムであっても構わない。さらに、本発明は、このような装置における情報処理方法であっても構わない。
部11Aと上側ハウジング21の突起部21Aとが連結されることにより、下側ハウジング11と上側ハウジング21とが、折り畳み可能に接続される。
まず、下側ハウジング11の構成について説明する。図1〜図3に示すように、下側ハウジング11には、下側LCD(Liquid Crystal Display:液晶表示装置)12、タッチパネル13、各操作ボタン14A〜14L(図1、図3)、アナログスティック15、LED16A〜16B、挿入口17、及び、マイクロフォン用孔18が設けられる。以下、これらの詳細について説明する。
タン14Aは下側LCD12より左側領域の下部領域に設けられるので、アナログスティック15は、十字ボタン14Aの上方に設けられる。また、アナログスティック15、及び、十字ボタン14Aは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。また、アナログスティック15を上部領域に設けたことにより、下側ハウジング11を把持する左手の親指が自然と位置するところにアナログスティック15が配され、十字ボタン14Aは、左手の親指を少し下にずらした位置に配される。アナログスティック15は、そのキートップが、下側ハウジング11の内側面に平行にスライドするように構成されている。アナログスティック15は、ゲーム装置10が実行するプログラムに応じて機能する。例えば、3次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置10によって実行される場合、アナログスティック15は、当該所定のオブジェクトを3次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティック15のキートップがスライドした方向に移動される。なお、アナログスティック15として、上下左右及び斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
次に、上側ハウジング21の構成について説明する。図1〜図3に示すように、上側ハウジング21には、上側LCD(Liquid Crystal Display:液晶表示装置)22、外側撮像部23(外側撮像部(左)23a及び外側撮像部(右)23b)、内側撮像部24、3D調整スイッチ25、及び、3Dインジケータ26が設けられる。以下、これらの詳細について説明する。
な画像(立体画像)を表示する。すなわち、上側LCD22は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像(立体視可能な画像)を表示することができる。また、上側LCD22は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる(上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである)。このように、上側LCD22は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する(平面視画像を表示する)平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する3D調整スイッチ25によって行われる。
a及び外側撮像部(右)23bは、上側ハウジング21を開いた状態において、上側ハウジング21の上部であって、上側LCD22の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部(左)23a及び外側撮像部(右)23bは、上側ハウジング21の外側面であって、上側LCD22を外側面に投影した場合、投影した上側LCD22の画面の上端よりも上方に配置される。
ように、上側ハウジング21の正面及び右側面から視認可能に配置される。3D調整スイッチ25のスライダ25aは、所定方向(上下方向)の任意の位置にスライド可能であり、当該スライダ25aの位置に応じて上側LCD22の表示モードが設定される。
できる。
次に、図7を参照して、ゲーム装置10の内部の電気的構成について説明する。図7は、ゲーム装置10の内部構成を示すブロック図である。図7に示すように、ゲーム装置10は、上述した各部に加えて、情報処理部31、メインメモリ32、外部メモリインターフェイス(外部メモリI/F)33、データ保存用外部メモリI/F34、データ保存用内部メモリ35、無線通信モジュール36、ローカル通信モジュール37、リアルタイムクロック(RTC)38、加速度センサ39、電源回路40、及びインターフェイス回路(I/F回路)41等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング11(又は上側ハウジング21でもよい)内に収納される。
は、外側撮像部23で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ45がデータ保存用外部メモリI/F34に接続されると、情報処理部31はデータ保存用外部メモリ45に記憶された画像を読み込み、上側LCD22及び/又は下側LCD12に当該画像を表示することができる。
次に、図8から図11を参照して、本実施形態に係る手書きオブジェクト表示処理の詳細について説明する。まず、手書きオブジェクト表示処理の際にメインメモリ32に記憶される主なデータについて説明する。図8は、ゲーム装置10のメインメモリ32のメモリマップを示す図である。図8に示されるように、メインメモリ32には、データ記憶領
域70が設けられる。データ記憶領域70には、カメラ選択データ71、左目用画像位置データ72、右目用画像位置データ73、加速度データ74、表示モードデータ75、操作データ76、ボタン操作フラグ77、仮想カメラデータ(位置、姿勢)78、手書きペン設定データ79等が記憶される。これらのデータの他、メインメモリ32には、上記撮影処理を実行するプログラムやタッチパネル13へのタッチ位置を示すデータ、下側LCD12に表示されるカメラ選択のための画像を示すデータ、下側LCD12に表示される手書き入力された画像データ等が記憶される。なお、以下においては、「撮像部」を「カメラ」という文言で代用して記載する場合がある。
データに基づいて右目用の仮想カメラの位置及び姿勢を算出する。なお、仮想カメラの位置及び姿勢は、外側撮像部23とマーカとの位置関係から仮想カメラのビュー行列を求め、求めた仮想カメラのビュー行列により求められる。決定した仮想カメラの位置及び姿勢は、メインメモリ32のデータ記憶領域70の仮想カメラデータ78として記憶される。
てNO)、この処理はステップS51へ戻されて、手書きペンの設定処理及びタッチ検出処理が行われる。
本ポリゴンが、横方向及び/又は縦方向に伸びたり縮んだりするように設定される。その後、処理はステップS86へ移される。ここで、経過時間とは、例えば、ボタン操作フラグ77がオフからオンになったときからの経過時間とする。
作について、図12から図17を参照して説明する。これらの図においては、手書き画像が表示される上側LCD22において、手書き画像とマーカとが重畳する部分は、本来はマーカも手書き画像も表示されている。しかしながら、図における表現を明確にするために、マーカの一部を表示していない。また、以下においては、マーカを動かさないでユーザがゲーム装置10を傾ける場合について説明するが、マーカはユーザにより動かされても構わない。さらに、マーカがユーザにより動かされて、かつ、ユーザがゲーム装置10を傾けても構わない。
ユーザが、外側撮像部23を選択して、立体表示モードを選択して、上述したプログラムが実行されるように設定する。ユーザが、例えば机の上に置いたマーカを含めた範囲を外側撮像部23で撮影することにより、カメラ画像データが取得される(ステップS1)。マーカが検出されると(ステップS2にてYES)、マーカの検出結果に基づいて、外側撮像部23とマーカとの位置関係が算出され(ステップS3)、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が決定される(ステップS4)。
図14(a)(この図は図13からタッチペン28を削除した図)に示すように、上側LCD22に、ユーザが手書きしたオブジェクトが3次元仮想空間に存在するように表示されている場合に、マーカが外側撮像部23で撮像される範囲内において、ユーザがゲーム装置10を傾ける。ここでは、ゲーム装置10を、マーカを中心にして時計回りに約90度傾けた(回転させた)ものとする。
所定のボタンが押下されると(ステップS6にてYES)、ボタン操作フラグが更新されて「1」(オン)に変更される(ステップS7)。一定時間以上経過する前にマーカが検出されると(ステップS81にてNO)、ボタン操作フラグがオンであるので(ステップS82にてYES)、経過時間に基づいて基本ポリゴンの位置(マーカ座標系原点に対する相対位置及び相対姿勢)が設定される(ステップS83)。
上述したように、所定のボタンが押下される場合に、基本ポリゴンの形状が変化する場合の動作について説明する。
所定のボタンが押下されているか否かに関わらず、基本ポリゴンに影及び厚みが付与される場合の動作について説明する。
例えば、ユーザがゲーム装置10を傾け過ぎると、外側撮像部23でマーカが撮像できない場合がある。この場合には、撮像した画像の中から、マーカを一定時間以上検出できないので(ステップS81にてYES)、基本ポリゴンの設定等を実行しないで、カメラ画像を上側LCD22に表示する(ステップS92)。このとき、上側LCD22には、マーカも手書き画像も表示されないで、外側撮像部23で撮像した風景だけが単に表示される。
上記したステップS86においては、基本ポリゴンの形状を変化させて、変化させた基本ポリゴンにテクスチャを貼り付けることにより、手書きオブジェクトの形状を変形させていた。しかしながら、本発明はこれに限定されず、テクスチャを変形させるようにしても構わない。
互いに通信可能に接続された複数の情報処理装置で分担して処理するようにしても構わない。
11 下側ハウジング
12 下側LCD
13 タッチパネル
14 操作ボタン
15 アナログスティック
16 LED
21 上側ハウジング
22 上側LCD
23 外側撮像部
23a 外側撮像部(左)
23b 外側撮像部(右)
24 内側撮像部
25 3D調整スイッチ
26 3Dインジケータ
28 タッチペン
31 情報処理部
311 CPU
312 GPU
32 メインメモリ
Claims (13)
- 撮像手段と入力手段と画面上において現実空間を視認可能な表示手段とに接続された情報処理装置のコンピュータを、
前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段、
前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段、
前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段、
前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段、
前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段、
前記入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段、及び
前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段の第1の画面領域に逐次表示させる表示制御手段として機能させ、
前記表示制御手段は、前記第1の画面領域に前記重畳画像を表示させるとともに、前記第1の画面領域とは別の第2の画面領域に前記入力画像を表示させる、情報処理プログラム。 - 前記入力手段は、ポインティングデバイスで構成され、
前記入力データ取得手段は、前記ポインティングデバイスへ入力された手書きの軌跡で構成されるオブジェクトを示す入力データを所定の時間間隔で取得し、
前記表示制御手段は、前記所定の時間間隔における手書きの進捗を反映させた重畳画像を前記表示手段に表示させる、請求項1に記載の情報処理プログラム。 - 撮像画像を撮像する撮像手段と、
ユーザにより入力画像が入力される入力手段と、
画面上において現実空間を視認可能な表示手段と、
前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、
前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、
前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、
前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段と、
前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、
前記入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段と、
前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段の第1の画面領域に逐次表示させる表示制御手段とを含み、
前記表示制御手段は、前記第1の画面領域に前記重畳画像を表示させるとともに、前記第1の画面領域とは別の第2の画面領域に前記入力画像を表示させる、情報処理装置。 - 撮像画像を撮像する撮像手段と、
ユーザにより入力画像が入力される入力手段と、
画面上において現実空間を視認可能な表示手段と、
前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、
前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、
前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、
前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段と、
前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、
前記入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段と、
前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段の第1の画面領域に逐次表示させる表示制御手段とを含み、
前記表示制御手段は、前記第1の画面領域に前記重畳画像を表示させるとともに、前記第1の画面領域とは別の第2の画面領域に前記入力画像を表示させる、情報処理システム。 - 撮像手段により撮像画像を撮像する撮像ステップと、
ユーザにより入力画像が入力される入力ステップと、
画面上において現実空間を視認可能な表示ステップと、
前記撮像ステップにて撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得ステップと、
前記入力ステップにて入力された入力画像を示す入力データを逐次取得する入力データ取得ステップと、
前記撮像画像データ取得ステップにて逐次取得された撮像画像データから特定対象物を検出する検出ステップと、
前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出ステップと、
前記算出ステップによる算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定ステップと、
前記入力データ取得ステップにて逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成ステップと、
前記画面上の現実空間に前記生成ステップにて生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示ステップにて第1の画面領域に逐次表示させる表示制御ステップとを含み、
前記表示ステップでは、前記第1の画面領域に前記重畳画像を表示させるとともに、前記第1の画面領域とは別の第2の画面領域に前記入力画像を表示させる、情報処理方法。 - 撮像手段と入力手段と画面上において現実空間を視認可能な表示手段とに接続された情報処理装置のコンピュータを、
前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段、
前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段、
前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段、
前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段、
前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段、
前記入力データ取得手段により逐次入力された入力データにより示される前記入力画像を、仮想空間内のオブジェクトを示すポリゴンにテクスチャとして貼り付け、当該ポリゴンを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段、
前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段に逐次表示させる表示制御手段、及び、
前記ポリゴンを変化させる変化手段として機能させ、
前記表示制御手段は、前記撮像画像と、前記変化手段により変化されたポリゴンに基づいて生成されたオブジェクト画像とを重ね合わせた重畳画像を前記表示手段に逐次表示させる、情報処理プログラム。 - 前記変化手段は、前記ポリゴンの位置を所定の規則に応じて変化させる、請求項6に記載の情報処理プログラム。
- 前記変化手段は、前記ポリゴンの位置を時間の経過に応じて変化させる、請求項7に記載の情報処理プログラム。
- 前記変化手段は、前記ポリゴンの形状を変化させる、請求項6に記載の情報処理プログラム。
- 前記変化手段は、前記オブジェクトの厚みを変化させる、請求項6に記載の情報処理プログラム。
- 前記変化手段は、複数のポリゴンを並べて配置することにより、前記オブジェクトの厚みを変化させる、請求項10に記載の情報処理プログラム。
- 撮像画像を撮像する撮像手段と、
ユーザにより入力画像が入力される入力手段と、
画面上において現実空間を視認可能な表示手段と、
前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、
前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、
前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、
前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段と、
前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、
前記入力データ取得手段により逐次入力された入力データにより示される前記入力画像を、仮想空間内のオブジェクトを示すポリゴンにテクスチャとして貼り付け、当該ポリゴンを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段と、
前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段に逐次表示させる表示制御手段と、
前記ポリゴンを変化させる変化手段とを含み、
前記表示制御手段は、前記撮像画像と、前記変化手段により変化されたポリゴンに基づいて生成されたオブジェクト画像とを重ね合わせた重畳画像を前記表示手段に逐次表示させる、情報処理装置。 - 撮像画像を撮像する撮像手段と、
ユーザにより入力画像が入力される入力手段と、
画面上において現実空間を視認可能な表示手段と、
前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、
前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、
前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、
前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段と、
前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、
前記入力データ取得手段により逐次入力された入力データにより示される前記入力画像を、仮想空間内のオブジェクトを示すポリゴンにテクスチャとして貼り付け、当該ポリゴンを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段と、
前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段に逐次表示させる表示制御手段と、
前記ポリゴンを変化させる変化手段とを含み、
前記表示制御手段は、前記撮像画像と、前記変化手段により変化されたポリゴンに基づいて生成されたオブジェクト画像とを重ね合わせた重畳画像を前記表示手段に逐次表示させる、情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011007849A JP5739671B2 (ja) | 2010-06-02 | 2011-01-18 | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010127091 | 2010-06-02 | ||
JP2010127091 | 2010-06-02 | ||
JP2011007849A JP5739671B2 (ja) | 2010-06-02 | 2011-01-18 | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012014680A JP2012014680A (ja) | 2012-01-19 |
JP5739671B2 true JP5739671B2 (ja) | 2015-06-24 |
Family
ID=45064133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011007849A Active JP5739671B2 (ja) | 2010-06-02 | 2011-01-18 | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8633947B2 (ja) |
JP (1) | JP5739671B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5800501B2 (ja) | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
JP4757948B1 (ja) * | 2010-06-11 | 2011-08-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
JP5514637B2 (ja) * | 2010-06-11 | 2014-06-04 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
JP5646263B2 (ja) * | 2010-09-27 | 2014-12-24 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
KR20120057799A (ko) * | 2010-11-29 | 2012-06-07 | 삼성전자주식회사 | 휴대단말에서 사전 기능 제공 방법 및 장치 |
KR101269773B1 (ko) * | 2010-12-13 | 2013-05-30 | 주식회사 팬택 | 증강 현실 제공 단말기 및 방법 |
EP2814000B1 (en) | 2012-02-10 | 2019-07-03 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP5942456B2 (ja) * | 2012-02-10 | 2016-06-29 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US20140006472A1 (en) * | 2012-06-28 | 2014-01-02 | David Van Brink | Locating a Device |
US9530232B2 (en) * | 2012-09-04 | 2016-12-27 | Qualcomm Incorporated | Augmented reality surface segmentation |
JP5979539B2 (ja) * | 2012-09-07 | 2016-08-24 | パナソニックIpマネジメント株式会社 | 電子機器 |
US20140253540A1 (en) * | 2013-03-07 | 2014-09-11 | Yoav DORI | Method and system of incorporating real world objects into a virtual environment |
US10509533B2 (en) | 2013-05-14 | 2019-12-17 | Qualcomm Incorporated | Systems and methods of generating augmented reality (AR) objects |
JP6171671B2 (ja) * | 2013-07-24 | 2017-08-02 | 富士通株式会社 | 情報処理装置、位置指定方法および位置指定プログラム |
KR20160005899A (ko) * | 2014-07-08 | 2016-01-18 | 엘지전자 주식회사 | 디지털 이미지 처리 장치, 시스템 및 제어 방법 |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
KR20160142772A (ko) * | 2015-06-03 | 2016-12-13 | 디에스글로벌 (주) | 색칠놀이를 위한 증강현실 서비스 방법 및 시스템 |
JP6142462B1 (ja) * | 2016-02-17 | 2017-06-07 | 株式会社菊池製作所 | 重畳画像表示システム |
US10607398B2 (en) * | 2016-07-04 | 2020-03-31 | Colopl, Inc. | Display control method and system for executing the display control method |
JP6917820B2 (ja) | 2016-08-05 | 2021-08-11 | 株式会社半導体エネルギー研究所 | データ処理システム |
JP2018049267A (ja) | 2016-09-16 | 2018-03-29 | 株式会社半導体エネルギー研究所 | 表示システム、電子機器および表示方法 |
US20180268614A1 (en) * | 2017-03-16 | 2018-09-20 | General Electric Company | Systems and methods for aligning pmi object on a model |
KR102530278B1 (ko) * | 2018-10-18 | 2023-05-10 | 삼성디스플레이 주식회사 | 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법 |
CN111176427B (zh) * | 2018-11-12 | 2023-07-18 | 舜宇光学(浙江)研究院有限公司 | 基于手持式智能设备的三维空间绘画方法和手持式智能设备 |
WO2021131941A1 (ja) * | 2019-12-26 | 2021-07-01 | ソニーグループ株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
KR102459093B1 (ko) * | 2020-06-30 | 2022-10-25 | 주식회사 넥슨코리아 | 게임제공장치 및 게임제공방법 |
Family Cites Families (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2758274B2 (ja) | 1991-02-15 | 1998-05-28 | 株式会社クボタ | エンジン潤滑油の圧力異常検出装置 |
JPH06339155A (ja) | 1993-05-28 | 1994-12-06 | Sharp Corp | 3次元画像撮影システム |
KR0180026B1 (ko) | 1994-05-13 | 1999-05-01 | 마츠모도 세이야 | 입체표시방법 및 장치 |
US6384859B1 (en) | 1995-03-29 | 2002-05-07 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information |
GB2309847B (en) | 1995-10-19 | 1999-09-15 | Sony Corp | Stereoscopic image generation method and apparatus thereof |
JP3558104B2 (ja) | 1996-08-05 | 2004-08-25 | ソニー株式会社 | 3次元仮想物体表示装置および方法 |
US6342900B1 (en) * | 1996-12-06 | 2002-01-29 | Nikon Corporation | Information processing apparatus |
JP3771989B2 (ja) * | 1997-03-24 | 2006-05-10 | オリンパス株式会社 | 画像音声通信システムおよびテレビ電話送受信方法 |
US6057833A (en) * | 1997-04-07 | 2000-05-02 | Shoreline Studios | Method and apparatus for providing real time enhancements and animations over a video image |
US6252624B1 (en) | 1997-07-18 | 2001-06-26 | Idemitsu Kosan Co., Ltd. | Three dimensional display |
JP2000069404A (ja) | 1998-08-25 | 2000-03-03 | Konami Co Ltd | 画像プリント作成装置 |
EP0984385B1 (en) | 1998-08-31 | 2013-02-20 | Sony Corporation | Two-dimensional code recognition processing |
JP3786167B2 (ja) | 1998-08-31 | 2006-06-14 | ソニー株式会社 | 2次元コード認識処理方法、2次元コード認識処理装置、および2次元コード認識処理プログラム格納媒体 |
JP2001165144A (ja) | 1999-12-07 | 2001-06-19 | Fujitsu Ltd | 折りたたみ型携帯電話機 |
KR100419927B1 (ko) | 2000-03-03 | 2004-02-25 | 산요덴키가부시키가이샤 | 폴더형 휴대전화기 |
JP2001251399A (ja) | 2000-03-03 | 2001-09-14 | Sanyo Electric Co Ltd | 折り畳み式携帯電話機 |
JP3392801B2 (ja) | 2000-03-03 | 2003-03-31 | 三洋電機株式会社 | 折り畳み式携帯電話機 |
JP3459606B2 (ja) | 2000-03-03 | 2003-10-20 | 三洋電機株式会社 | 折り畳み式携帯電話機 |
US6474819B2 (en) * | 2000-03-21 | 2002-11-05 | Texas Instruments Incorporated | Combination overhead projector and electronic display device |
JP3625184B2 (ja) * | 2000-09-25 | 2005-03-02 | コナミ株式会社 | ゲーム用3次元画像処理方法、装置、ゲーム用3次元画像処理プログラムを記録した可読記録媒体及びビデオゲーム装置 |
JP3398796B2 (ja) | 2001-01-31 | 2003-04-21 | 飛島建設株式会社 | 複合現実感を利用した3次元測量支援用画像システム |
US6997387B1 (en) | 2001-03-28 | 2006-02-14 | The Code Corporation | Apparatus and method for calibration of projected target point within an image |
JP2004007214A (ja) | 2002-05-31 | 2004-01-08 | Canon Inc | 撮像装置 |
JPWO2003105450A1 (ja) | 2002-06-07 | 2005-10-13 | 松下電器産業株式会社 | 折畳式携帯電話機 |
WO2004049734A1 (ja) | 2002-11-28 | 2004-06-10 | Seijiro Tomita | 立体映像信号生成回路及び立体映像表示装置 |
GB2413720B (en) | 2003-03-14 | 2006-08-02 | British Broadcasting Corp | Video processing |
JP4378118B2 (ja) | 2003-06-27 | 2009-12-02 | 学校法人早稲田大学 | 立体映像呈示装置 |
US7643025B2 (en) | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
JP4338500B2 (ja) | 2003-11-14 | 2009-10-07 | 富士フイルム株式会社 | 撮像装置 |
JP2005165776A (ja) | 2003-12-03 | 2005-06-23 | Canon Inc | 画像処理方法、画像処理装置 |
JP2005204754A (ja) | 2004-01-20 | 2005-08-04 | Nintendo Co Ltd | タッチパネル入力を用いたゲームシステム |
JP2005250950A (ja) | 2004-03-05 | 2005-09-15 | Nippon Telegr & Teleph Corp <Ntt> | マーカ提示用携帯端末および拡張現実感システムならびにその動作方法 |
JP2005286714A (ja) | 2004-03-30 | 2005-10-13 | Nec Corp | 携帯電話機 |
JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
JP2005353047A (ja) | 2004-05-13 | 2005-12-22 | Sanyo Electric Co Ltd | 立体画像処理方法および立体画像処理装置 |
US7671916B2 (en) | 2004-06-04 | 2010-03-02 | Electronic Arts Inc. | Motion sensor using dual camera inputs |
JP2006024175A (ja) | 2004-06-11 | 2006-01-26 | Doshisha | 携帯端末およびアダプタ |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
JP2006060516A (ja) | 2004-08-20 | 2006-03-02 | Sharp Corp | 折り畳み式携帯電話機 |
WO2006025137A1 (ja) | 2004-09-01 | 2006-03-09 | Sony Computer Entertainment Inc. | 画像処理装置、ゲーム装置および画像処理方法 |
JP3841806B2 (ja) | 2004-09-01 | 2006-11-08 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
JP4587166B2 (ja) | 2004-09-14 | 2010-11-24 | キヤノン株式会社 | 移動体追跡システム、撮影装置及び撮影方法 |
JP4302024B2 (ja) | 2004-09-17 | 2009-07-22 | 株式会社ソニー・コンピュータエンタテインメント | ボタン構造、携帯型電子装置 |
EP1814101A1 (en) | 2004-11-19 | 2007-08-01 | Daem Interactive, Sl | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method |
WO2006081362A2 (en) * | 2005-01-27 | 2006-08-03 | Aperio Technologies, Inc | Systems and methods for viewing three dimensional virtual slides |
JP2006271663A (ja) | 2005-03-29 | 2006-10-12 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像撮像表示装置 |
JP4738870B2 (ja) | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
WO2006114898A1 (en) | 2005-04-25 | 2006-11-02 | Yappa Corporation | 3d image generation and display system |
ATE428154T1 (de) | 2005-05-03 | 2009-04-15 | Seac02 S R L | Augmented-reality-system mit identifizierung der realen markierung des objekts |
KR100662845B1 (ko) | 2005-06-30 | 2007-01-02 | 삼성전자주식회사 | 메모리 카드 슬롯의 개폐장치 및 이를 구비한 디지털모바일기기 |
US8189038B2 (en) | 2005-12-21 | 2012-05-29 | International Business Machines Corporation | Stereographic projection apparatus with passive eyewear utilizing a continuously variable polarizing element |
JP4847195B2 (ja) * | 2006-04-21 | 2011-12-28 | キヤノン株式会社 | 画像からの色情報の取得方法 |
US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
JP4796926B2 (ja) | 2006-09-21 | 2011-10-19 | 株式会社ソニー・コンピュータエンタテインメント | 電子機器用筐体及び電子機器 |
JP2008146109A (ja) | 2006-12-05 | 2008-06-26 | Canon Inc | 画像処理方法、画像処理装置 |
US8305428B2 (en) | 2007-04-18 | 2012-11-06 | Inlife-Handnet Co., Ltd | Stereo video shooting and viewing device |
JP4689639B2 (ja) | 2007-04-25 | 2011-05-25 | キヤノン株式会社 | 画像処理システム |
EP2009868B1 (en) | 2007-06-29 | 2016-09-07 | Alcatel Lucent | Method and system for improving the appearance of a person on the RTP stream coming from a media terminal |
JP2009025918A (ja) | 2007-07-17 | 2009-02-05 | Canon Inc | 画像処理装置、画像処理方法 |
US8177441B2 (en) | 2007-08-29 | 2012-05-15 | Nintendo Co., Ltd. | Imaging apparatus |
US8917985B2 (en) | 2007-08-29 | 2014-12-23 | Nintendo Co., Ltd. | Imaging apparatus |
JP4260215B1 (ja) | 2007-08-29 | 2009-04-30 | 任天堂株式会社 | 撮像装置 |
EP2039398B1 (en) | 2007-08-29 | 2016-05-04 | Nintendo Co., Ltd. | Imaging apparatus |
JP2009151608A (ja) * | 2007-12-21 | 2009-07-09 | Nhn Corp | 画像生成方法及び画像表示方法 |
JP2009205556A (ja) | 2008-02-28 | 2009-09-10 | Panasonic Corp | ユーザインタフェース装置 |
EP2157545A1 (en) | 2008-08-19 | 2010-02-24 | Sony Computer Entertainment Europe Limited | Entertainment device, system and method |
JP4653212B2 (ja) | 2008-12-25 | 2011-03-16 | 富士通株式会社 | 折りたたみ型携帯電話機 |
JP4834116B2 (ja) | 2009-01-22 | 2011-12-14 | 株式会社コナミデジタルエンタテインメント | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
JP5320133B2 (ja) | 2009-03-31 | 2013-10-23 | 株式会社エヌ・ティ・ティ・ドコモ | 情報提示システム、情報提示サーバ、通信端末、および情報提示方法 |
JP5421655B2 (ja) | 2009-05-28 | 2014-02-19 | 任天堂株式会社 | ゲームプログラム及びゲーム装置 |
-
2010
- 2010-08-24 US US12/862,119 patent/US8633947B2/en active Active
-
2011
- 2011-01-18 JP JP2011007849A patent/JP5739671B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012014680A (ja) | 2012-01-19 |
US20110298823A1 (en) | 2011-12-08 |
US8633947B2 (en) | 2014-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5739671B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
JP5739674B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP5541974B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5646263B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP4869430B1 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5702653B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
US8854356B2 (en) | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method | |
JP5814532B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 | |
US8648924B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus | |
JP5149939B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
JP5514637B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
WO2011148544A1 (ja) | 携帯型電子機器 | |
US20110292033A1 (en) | Handheld electronic device | |
JP6148714B2 (ja) | 携帯型電子機器 | |
US20120293549A1 (en) | Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method | |
US20120072857A1 (en) | Computer-readable storage medium, display control apparatus, display control method and display control system | |
JP5602702B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP2011251006A (ja) | ゲームプログラム、携帯型ゲーム装置、ゲームシステム、及びゲーム方法 | |
JP5770018B2 (ja) | 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム | |
JP5739670B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5777332B2 (ja) | ゲーム装置、ゲームプログラム、ゲームシステム及びゲーム方法 | |
JP5739673B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5759797B2 (ja) | 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム | |
JP5739672B2 (ja) | 画像表示プログラム、装置、システムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120720 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5739671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |