JPWO2013187130A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2013187130A1 JPWO2013187130A1 JP2014521000A JP2014521000A JPWO2013187130A1 JP WO2013187130 A1 JPWO2013187130 A1 JP WO2013187130A1 JP 2014521000 A JP2014521000 A JP 2014521000A JP 2014521000 A JP2014521000 A JP 2014521000A JP WO2013187130 A1 JPWO2013187130 A1 JP WO2013187130A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual image
- display
- unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 144
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000012545 processing Methods 0.000 claims abstract description 209
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 114
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 7
- 239000003550 marker Substances 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- WZFUQSJFWNHZHM-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 WZFUQSJFWNHZHM-UHFFFAOYSA-N 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
特に、近年、通信機能に加えカメラ機能とディスプレイを備えたスマートフォンなどの携帯端末が普及し、これらのスマートフォンにおいて拡張現実(AR)画像を適用したアプリケーションが多く利用されている。
例えばスマートフォン等の携帯端末のカメラ機能を用いて人物のポスターを撮影し、スマートフォンの表示部に表示する。
スマートフォンのデータ処理部は、撮影されたポスター、あるいはポスターに設定されたマーカを識別し、ポスターに移っている人物に対応する画像データを記憶部、あるいは外部のサーバから取得する。
さらに、取得した画像を撮影画像に重畳表示する。このような処理によってポスターから人物が飛び出してくるような画像を表示、観察することができる。
なお、AR画像の生成、表示処理について開示した従来技術として、例えば特許文献1(特開2012−58838号公報)がある。
撮像部で撮像される撮像画像を取得する取得部と、
前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
前記データ処理部は、
仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる、
情報処理装置にある。
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
これらの各パラメータを取得し、取得パラメータを適用して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成して前記撮影画像上に重畳表示する。
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する。
画像撮影を実行する撮像部と、
前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
前記データ処理部は、
仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理装置にある。
画像撮影を実行する撮像部と、
前記撮像部の撮影画像を表示する表示部と、
前記表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有し、
前記データ処理部は、
少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画をサーバから取得し、取得した仮想画像を前記撮影画像上に重畳表示する情報処理装置にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部を有し、
前記データ処理部は、
仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
前記データ処理部は、
仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、
前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
前記プログラムは、前記データ処理部に、
仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出させ、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行させるプログラムにある。
具体的には、撮像部と、撮像部の撮影画像を表示する表示部と、表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有する。データ処理部は、表示位置、表示角度を時系列に変更した仮想画像の動画を撮影画像上に重畳表示する。データ処理部は、仮想画像コンテンツのフレーム対応メタデータとして、仮想画像の表示位置の決定に適用する相対位置パラメータRposと、仮想画像の表示角度の決定に適用する相対角度パラメータRrot、これらの各パラメータを取得し、取得パラメータを適用して、表示位置または表示角度を時系列に変更した仮想画像を生成して重畳表示する。
これらの構成により、カメラ撮影画像に、時間とともに表示位置や角度を変更した仮想画像を重畳表示する構成が実現される。
1.本開示の処理の概要について
2.本開示の第1実施例について
2−1.仮想画像動画コンテンツの生成処理について
2−2.仮想画像動画コンテンツを撮影画像に重畳表示する処理について
3.情報処理装置の構成例について
4.変形実施例について
4−1.仮想画像コンテンツ生成時の被写体の位置に関する制約を設定した実施例について
4−2.仮想画像表示処理時の画像エッジの加工処理を行なう実施例について
4−3.複数の仮想画像に対する処理を行なう実施例について
4−4.処理の一部をネットワーク接続したサーバで実行する処理例について
5.本開示の構成のまとめ
まず、図1を参照して、本開示の処理の概要について説明する。
図1は、以下の2つのAR画像の表示処理例を示している。
(A)角度制御なしの仮想画像表示処理
(B)角度制御ありの仮想画像表示処理
(A),(B)いずれも撮影画像ではない仮想画像を、撮影画像に重畳表示している。
しかし、図1(A)に示す時間(t3),(t4)等の仮想画像21は、カメラに近づいているにも関わらず、人物は斜め方向から見た画像のままであり、ユーザに近づくにつれて不自然な画像であると認識され、明らかに撮影画像と別の貼り付け画像であると認識されることになる。これは、時間(t0)の初期画像の撮影方向と同様の方向から撮影した画像をそのまま適用することに起因する。
図1(B)に示す例では、図1(A)と異なり、仮想画像31は、時間の経過(t1→t4)とともに、斜め向きから正面向きに表示角度が変更されている。
このように仮想画像の角度の制御を行なうことで、ポスターから飛び出した人物が、より自然にユーザ側に近づいてくる画像を提供することが可能となる。
図1(B)に示す例では、時間(t0)の初期画像の撮影方向と同様の方向から撮影した画像に対して、例えば仮想画像の距離に応じた角度制御等を実行して、仮想画像の向きなどを変更する処理を行なっている。この処理によってより自然な仮想画像の表示が可能となる。
以下、このような画像表示を実現する本開示の処理の詳細について説明する。
メタデータは仮想画像として表示するオブジェクト、例えば人物などのオブジェクトの距離情報に応じたデータとして設定する。
なお、距離情報は、例えばカメラからの被写体距離を例えば画素単位で設定したデプスマップが利用可能である。デプスマップは、複眼カメラなどで撮影したデータを用いた処理、あるいはカメラと別に距離情報(デプス)を取得するデバイスを用いて、事前に生成可能である。
なお、デプスマップがない場合も、距離測定対象となるオブジェクトが人物であれば顔検出を用いて顔の大きさから距離を判定することが可能である。
また、ユーザやオペレータが手動で距離情報を設定してもよい。
例えば、仮想画像として表示した人物が時間経過に伴い、カメラに近づいた後、あるいは遠ざかったあとは、常に正面向きとするなど、仮想画像とカメラとの角度を一定にする設定等の制御が可能である。
具体的には、仮想画像の表示位置や表示角度を時間経過とともに変更して、より自然な仮想画像の表示、すなわち、仮想画像が重畳対象となる撮影画像等のベース画像中に存在するような表示を実現することが可能となる。
本開示の第1実施例について説明する。
図1(B)を参照して説明したようなカメラ撮影画像に対して、仮想画像を重畳表示する処理を実現するための処理として、以下の2つの処理が必要となる。
(a)仮想画像動画コンテンツの生成処理、
(b)上記(a)の処理において生成した仮想画像動画コンテンツを撮影画像に重畳表示する処理、
以下、これらの各処理について、順次、説明する。
まず、図1(B)に示す仮想画像31を表示するための仮想画像動画コンテンツの生成処理シーケンスについて図2に示すフローを参照して説明する。
なお、この動画コンテンツの生成処理は、例えばスマートフォン等の情報処理装置において実行してもよいし、その他のPC等の情報処理装置において実行してもよい。
以下、各ステップの処理の詳細について、順次、説明する。
まず、情報処理装置のデータ処理部は、入力部を介するユーザによるモード設定情報を入力し、「飛び出す効果」をどのような演出にするかを決定する。設定モードは例えば以下の2種類がある。
(1)シンプルモード
シンプルモードは、単純に仮想画像とカメラ(情報処理装置)との距離に応じてカメラ重畳表示する仮想画像のなす角度・位置を決定するモードである。
(2)コンスタントモード
コンスタントモードは、撮影画像であるベース画像の撮影オブジェクトであるポスターなどから仮想画像を飛び出させた後は、カメラとのなす角度を一定にする、例えば正面向きに設定する処理を行なうモードである。
また、カメラとのなす角度を変化させる速度をユーザがパラメータとして入力部を介して入力する構成とし、データ処理部が入力パラメータに応じた制御を行う構成としてもよい。
次に、ステップS102において、情報処理装置の撮像部(カメラ)を適用してカメラ画像取得処理を行なう。これは、仮想画像として表示する例えば人物などからなる撮影画像を取得する処理である。例えばグリーンバックの設備のあるスタジオなどで人物を撮影する。
次に、ステップS103において、仮想画像として表示する被写体である人物等のオブジェクトまでの距離を算出する。
なお、被写体距離情報の取得方法としては、様々な手法が適用可能である。
具体的には、例えば、以下の手法が適用できる。
(ア)複眼カメラを用いてステレオビジョン的、もしくはKinectのように近赤外カメラを併用して距離を取得しデプスマップを生成する。生成したデプスマップを用いて、映像処理をした切り抜き後のオブジェクトの領域におけるデプスの平均を距離とする。
(イ)仮想画像として表示する被写体対象が人物であれば、顔検出や人体検出を用いて大きさから距離を推定する。
(ウ)映像処理をした切り抜き後のオブジェクトの領域面積の大きさから距離を推定する。
次に、情報処理装置は、ステップS104において、仮想画像として表示するオブジェクト、例えば人物の相対位置と角度を、仮想画像動画コンテンツを構成する各フレーム対応のメタデータ(属性情報)として設定する。
なお、このメタデータ設定処理は、前述したモードに応じて異なる処理となる。
すなわち、「シンプルモード」と「コンスタントモード」では異なる処理となる。
以下、各モードに対応するメタデータ設定処理アルゴリズムについて説明する。
シンプルモードは、前述したように単純に仮想画像とカメラ(情報処理装置)との距離に応じてカメラ重畳表示する仮想画像のなす角度・位置を決定するモードである。
動作開始点における距離:Dstart
処理時刻における距離:Dproc
動画シーケンスにおける最短距離:Dmin
とする。
例えば、動作開始点における距離:Dstartは、図1(B)の例では、カメラからポスターまでの距離に相当する。
処理時刻における距離:Dprocは、図1(B)の例で、時刻(t0〜t4)
各々のカメラから仮想画像の距離に相当する。
動画シーケンスにおける最短距離:Dminは、図無1(B)の例では、時刻(t4)のカメラから仮想画像の距離に相当する。
としたとき、
相対位置パラメータ:Rposと、相対角度パラメータ:Rrotを、以下のように定義する。
Rpos=(Dstart−Dproc)/(Dstart−Dmin)
Rrot=(Dstart−Dproc)/(Dstart−Dmin)
相対位置パラメータ:Rpos=0〜1
相対角度パラメータ:Rrot=0〜1
これらの値を取り得る。
処理時刻における距離:Dprocが、動作開始点における距離:Dstartに等しい場合、すなわち、例えば図1(B)の設定の時刻(t0)では、
Rpos=0
Rrot=0
である。
Rpos=1
Rrot=1
である。
これらのパラメータを適用した仮想画像表示処理については後段で説明する。
例えば、
相対位置パラメータ:Rpos=0、
相対角度パラメータ:Rrot=0、
このようなパラメータ設定では、図1(B)の時刻(t0)のように、ポスターの人物と同一の仮想画像を重畳表示する処理を実行する。
すなわち、仮想オブジェクトの位置、角度が、撮影画像のポスターと同一となる設定とする。
相対位置パラメータ:Rpos=1、
相対角度パラメータ:Rrot=1、
このようなパラメータ設定では、図1(B)の時刻(t4)のように、仮想画像を予め既定したカメラへの最近接位置とし、かつ正面向きの仮想画像を表示する処理を実行する。
これらのパラメータを適用した仮想画像表示処理については後段で説明する。
相対位置パラメータ:Rpos=(Dstart−Dproc)/(Dstart−Dmin)
相対角度パラメータ:Rrot=(Dstart−Dproc)/(Dstart−Dmin)
これらのパラメータ定義式は、一例であり、様々な変形が可能である。
相対位置パラメータ:Rpos=(Dstart−Dproc)/(Dstart−Dmin)
If Dproc<Dlim Then
Rrot=1.0
Else
Rrot=(Dstart−Dproc)/(Dstart−Dlim)
Endif
なお、このようなアルゴリズムの設定処理は、例えば、情報処理装置の入力部を介したモード設定やパラメータ入力によって実行可能である。
例えば、動画コンテンツがフレーム0〜1000の1000フレームである場合、
相対位置パラメータ:Rpos=0〜1、
相対角度パラメータ:Rrot=0〜1、
これらのパラメータを仮想画像の動画コンテンツの構成フレームに時系列に順次設定する。
コンスタントモードは、前述したように、撮影画像であるベース画像の撮影オブジェクトであるポスターなどから仮想画像を飛び出させた後は、カメラとのなす角度を一定にする、例えば正面向きに設定する処理を行なうモードである。
上記のシンプルモードで定義した変数、すなわち、
動作開始点における距離:Dstart
処理時刻における距離:Dproc
動画シーケンスにおける最短距離:Dmin
これらの変数に加え、
カメラとのなす角ゼロになる距離閾値Dlimを初めて下回る時刻Tlim、
処理時刻Tproc、
これらの変数を定義する。
If Tproc>=Tlim Then
Rrot=1.0
Else
Rrot=(Dstart−Dproc)/(Dstart−Dlim)
Endif
上記のアルゴリズムで「一旦飛び出したあとはカメラとのなす角が常にゼロになる」ような仮想画像表示が可能になる。
例えば、動画コンテンツがフレーム0〜1000の1000フレームである場合、
相対位置パラメータ:Rpos=0〜1、
相対角度パラメータ:Rrot=0〜1、
これらのパラメータを仮想画像の動画コンテンツの構成フレームに時系列に順次設定する。
情報処理装置は、次にステップS105において、画そう画像の動画コンテンツの生成処理を行なう。
具体的には、重畳表示するオブジェクト、たとえば人物のみを切り出した映像を生成する処理を行なう。
例えば、仮想画像が実写の人物画像である場合、人物以外の画素部分の透過度を最大にし、人物領域の透過度を0に設定するなどの透過度情報あるいはマスク情報と呼ばれる画素単位のαチャンネル情報を持つ画像データを生成する。このようなαチャンネルを持つコンテンツを撮影画像に重畳することで、仮想画像に含まれる人物領域のみがクライアントの撮影画像に重畳され、人物以外の画像領域では撮影画像がそのまま表示される。
情報処理装置は、次に、ステップS104において生成したメタデータと、ステップS105において生成した画像データを対応付けて記録する。例えばハードディスクやフラッシュメモリ、などのメディアに記録する処理を行なう。
最後に、ステップS107において、終了判定を行う。
処理している動画シーケンスに次のフレームがあれば、ステップS102に戻り、次のフレームを処理する。全ての処理が終了した場合、処理を終了する。
次に、図2に示すフローに従って生成した重畳表示用の仮想画像からなる動画コンテンツを表示する処理シーケンスについて図3に示すフローチャートを参照して説明する。
なお、この仮想画像動画コンテンツを撮影画像に重畳表示する処理は、例えばスマートフォン等の撮像部(カメラ)と表示部を備えた情報処理装置において実行される。なお、その他、撮像部(カメラ)と表示部を備えた構成であれは、例えばPCやARグラスなどの様々な装置において実行可能である。
以下、各ステップの処理の詳細について、順次、説明する。
まず、情報処理装置のデータ処理部は、情報処理装置の撮像部(カメラ)で画像撮影を実行し、撮影画像を取得する。
例えば、図1(B)に示す時間(t0)のような画像である。
次に情報処理装置はステップS202において、後段で必要となるカメラの位置・角度情報を算出するための情報取得に成功したか否かを判定する。
カメラの位置・角度情報を算出するための情報とは、例えば、撮影画像に含まれるマーカである。マーカとは、例えば図1に示すポスター11に予め印刷されたサイバーコード(Cyber−Code)などの二次元バーコード等である。このようなマーカを認識すれば、カメラ画像に映るマーカの角度から、カメラの位置や角度を算出することができる。
情報処理装置の実行するカメラの位置・角度算出処理アルゴリズムに応じて、何をカメラの位置・角度情報を算出するための情報として利用するかは異なり、適用情報は様々な設定が可能である。
このように、ステップS202では、情報処理装置の実行するカメラの位置・角度情報の取得に成功したか否かを判定する。
情報が得られない場合は、その後のAR画像生成処理は不可能と判断し、処理を終了する。
情報が得られた場合は、ステップS203に進む。
次に、情報処理装置はステップS203において、ステップS202で得られた情報を適用して情報処理装置(カメラ)の現在の位置および姿勢を算出する。
次に、情報処理装置は、ステップS204において、重畳表示予定の仮想画像コンテンツのデコード処理を実行する。
次に、情報処理装置はステップS205において、ステップS203で求めたカメラの位置・角度情報、および、仮想画像コンテンツの各画像フレーム対応のメタデータとして設定されたパラメータを利用して、情報処理装置の表示部に表示する仮想画像の生成処理を行なう。
相対位置パラメータ:Rpos、
相対角度パラメータ:Rrot、
これらのパラメータである。
Rpos=0、
Rrot=0、
これらの設定である画像の場合は、撮影画像のマーカに張り付けた位置、および角度とした仮想画像を重畳する。
例えば、図1(B)の時間(t0)のポスター11の人物に等しい位置、角度で仮想画像を重畳表示する。
Rpos=1、
Rrot=2、
これらの設定である画像の場合は、情報処理装置側に最も近付いた位置で、かつ正面向きの仮想画像を重畳する。
例えば、図1(B)の時間(t3)に示す仮想画像31に相当する画像を重畳表示する。
相対位置パラメータ:Rpos=0〜1、
相対角度パラメータ:Rrot=0〜1、
(a)回転処理、
(b)スケール変更処理(拡大、縮小)、
(c)平行移動処理、
まず、以下の2つのモデルビュー行列を取得する。
(A)初期状態モデルビュー行列(Mmarker)
仮想画像コンテンツの初期状態である仮想画像、例えば、図1(B)に示す時間(t0)のポスター11の人物と同じ位置、角度の仮想画像のモデルビュー行列:Mmarker、
(B)最終状態モデルビュー行列(Mdisplay)
仮想画像コンテンツの最終状態である仮想画像、例えば、図1(B)に示す時間(t3)の情報処理装置(カメラ)に最近接し、正面向きの仮想画像であり、ディスプレスに正規化された仮想画像のモデルビュー行列:Mdisplay、
これらを記憶部から取得、または各画像に基づいて生成する。
なお、これらのモデルビュー行列は、図2を参照してコンテンツ生成時に算出して情報処理装置の記憶部に格納しておいてもよいし、この図3に示すフローのステップS205の処理に際して各画像から算出してもよい。
回転軸:Vrot、
回転角度:θrot
スケール:Vscale、
移動成分:Vtranslate、
これらのパラメータを算出する。
相対位置パラメータ:Rpos=0〜1、
相対角度パラメータ:Rrot=0〜1、
これらのパラメータを用いて、各画像フレームの仮想画像を変換するパラメータとして、以下のオフセット情報を算出する。
(1)回転角度オフセット:Rrot×θrot、
(2)スケールオフセット:Rpos×Vscale、
(3)移動成分オフセット:Rpos×Vtranslate、
図4は、横軸に仮想画像コンテンツの各画像フレームに設定された相対角度パラメータ:Rrot=0〜1、縦軸に、各画像に対応して算出される回転角度オフセット:Rrot×θrotを示している。
横軸の相対角度パラメータ:Rrot=0〜1は、動画像を構成する各画像フレーム、すなわち第0フレームf(t0)〜最終フレームf(tn)の
各画像に設定されたパラメータである。
回転角度オフセット:Rrot×θrot=0となる。
すなわち、この場合、仮想画像コンテンツの第0フレームf(t0)の仮想画像に対して回転処理は実行されずに重畳表示用の画像を生成する。
回転角度オフセット:Rrot×θrot=θrotとなる。
すなわち、この場合、仮想画像コンテンツの第nフレームf(tn)の仮想画像に対して、初期状態モデルビュー行列(Mmarker)を最終状態モデルビュー行列(Mdisplay)に変換するための回転角度:θrotに応じて回転処理を実行して重畳表示用の画像を生成する。
回転角度オフセット:Rrot×θrotは、各画像対応のメタデータとして設定された相対角度パラメータ:Rrot=0〜1に応じて、順次0からθrotまで変化することになる。
すなわち、各仮想画像フレームのモデル、例えば図1(B)に示す仮想画像31の人物が順次、少しずつ回転して表示されることになる。
相対位置パラメータ:Rpos、
相対角度パラメータ:Rrot、
これらのパラメータに応じて、スケールオフセット:Rpos×Vscale、移動成分オフセット:Rpos×Vtranslate、これらのオフセット情報を決定する。
(1)回転角度オフセット:Rrot×θrot、
(2)スケールオフセット:Rpos×Vscale、
(3)移動成分オフセット:Rpos×Vtranslate、
これらのオフセット情報を、各画像対応のメタデータとして設定された相対位置パラメータ:Rpos=0〜1、相対角度パラメータ:Rrot=0〜1を適用して算出し、算出したオフセット情報を適用して各画像の画像変換を実行し、重畳表示する変換仮想画像を生成する。
なお、変換対象とする仮想画像の動画像コンテンツは、例えば、図1(B)の例では、時間(t0)の初期画像に示すような、ポスターの人物を斜め方向から撮影した動画像コンテンツが利用可能である。この斜め方向から撮影した画像を時間経過とともに異なる画像変換を行うことで、図1(B)に示す時間経過とともに正面向きの仮想画像の動画シーケンスを生成することができる。
その他のスケールオフセット:Rpos×Vscale、移動成分オフセット:Rpos×Vtranslateについても同様の処理が可能である。
次に、情報処理装置は、ステップS206において、ステップS205において生成した仮想画像コンテンツを、情報処理装置の表示部に表示中のカメラ撮影画像に重畳する。
次に、情報処理装置はステップS207において、情報処理装置の表示部(ディスプレイ)に最終結果としての撮影画像に仮想画像を重畳したAR画像を出力する。
(ステップS208)
ステップS208において、予め設定した終了条件、例えば画像撮影処理の終了、あるいはアプリケーションの終了などの終了条件が発生したか否かを判定し、終了条件が発生した場合は無処理を終了する。終了条件が発生しない場合は、ステップS201に戻り、同様の処理を繰り返す。
図7に、上述した処理を実行する情報処理装置の構成例を示す。
情報処理装置は、図2のフローチャートを参照して説明したコンテンツ生成処理を実行するコンテンツ生成部120と、例えば図2を参照して説明したコンテンツ生成処理において生成したコンテンツおよびメタデータを記憶する記憶部140、さらに、図3のフローチャートを参照して説明したコンテンツ表示処理を実行するコンテンツ表示制御部160を有する。
コンテンツ生成部120に示す各構成の実行する処理について、図2のフローの各ステップの処理と対応付けて説明する。
距離推定部122が、図2のフローのステップS103の被写体距離の算出処理を実行する。
相対位置・角度算出部124は、図2のフローのステップS104の処理、すなわち、仮想画像として表示する動画像構成フレーム対応のメタデータを各画像に設定する。すなわち、
相対位置パラメータ:Rpos=0〜1
相対角度パラメータ:Rrot=0〜1
これらの各パラメータを画像対応のメタデータとして設定する。
シンプルモード、
コンスタントモード、
これらのモートに応じてパラメータが設定される。
これらのモードは、入力部123を介したユーザ入力に従って設定される。
相対位置パラメータ:Rpos=0〜1
相対角度パラメータ:Rrot=0〜1
これらのパラメータは、各画像対応のメタデータとして、各画像に対応付けて記憶部140のメタデータ記憶部142に格納される。
コンテンツ表示制御部160に示す各構成の実行する処理について、図3のフローの各ステップの処理と対応付けて説明する。
撮影画像は、表示部167に出力され、表示される。
画像認識部162、認識判定部163は、図3のフローのステップS202の処理、すなわち、カメラ位置・姿勢算出情報の取得処理と取得可否の判定処理を実行する。具体的には、例えば図1に示すポスターなどの被写体に設定されたマーカの認識処理を実行する。
データ取得部164は、動画コンテンツデータベース141に格納されたドウガコンテンツを取得し、さらに、メタデータ記憶部142に格納されたメタデータを取得して重畳仮想画像生成部165に出力する。
なお、コンテンツが符号化されて記録されている場合、データ取得部164はデコードして重畳仮想画像生成部165に出力する。
さらに、重畳仮想画像生成部165は、認識判定部163から、カメラ位置・姿勢情報を取得する。
すなわち、各画像フレームに対応して設定されたメタデータ、すなわち、
相対位置パラメータ:Rpos=0〜1、
相対角度パラメータ:Rrot=0〜1、
これらのパラメータを用いて、各画像フレームの仮想画像を変換するパラメータとして、以下のオフセット情報を算出する。
(1)回転角度オフセット:Rrot×θrot、
(2)スケールオフセット:Rpos×Vscale、
(3)移動成分オフセット:Rpos×Vtranslate、
これらのオフセット情報を用いて、画像フレームの変換処理を実行して、表示用の変換仮想画像を生成する。
以下、上述した実施例の情報処理装置の構成または処理を一部変更した変形実施例について説明する。
以下の3つの変形実施例について、順次説明する。
(1)仮想画像コンテンツ生成時の被写体の位置に関する制約を設定した実施例
(2)仮想画像表示処理時の画像エッジの加工処理を行なう実施例
(3)複数の仮想画像に対する処理を行なう実施例
(4)処理の一部をネットワーク接続したサーバで実行する処理例
以下、これらの各変形実施例について説明する。
まず、仮想画像コンテンツ生成時の被写体の位置に関する制約を設定した実施例について説明する。
本実施例は、先に説明した図2のフローチャートに従った仮想画像の動画コンテンツの生成時に、仮想画像として重畳表示する被写体(オブジェクト)の位置、すなわち、カメラとの相対位置に制限を設定して仮想画像コンテンツを生成する実施例である。
カメラに対する被写体の撮影角度について、
予め規定した所定の上下角度範囲内、
予め規定した所定の左右角度範囲内、
さらに、
カメラからの被写体距離も予め規定した所定の距離範囲、
これらの各制限を設け、重畳表示用の仮想画像コンテンツを生成させる。
図8(b)は、被写体に対するカメラの上下角度の制限と、被写体とカメラ間の距離の制限の設定例を示す図である。
なお、この上下・左右角度、及び距離に対する制約情報のデータは各動画に紐付けられる。もしくは、各動画における各フレームに紐付けられていても良い。
情報処理装置の記憶部に、コンテンツの種別に応じた許容角度や許容距離のテーブルを格納し、コンテンツ制作者が必要に応じて撮影するコンテンツの種別を選択し、許容角度と距離を確認して撮影することが望ましい。
図9に指示アイコンと説明の表示例を示す。
(a1)〜(a3)は以下の状態を示している。
(a1)撮影画像の被写体距離(Xactual)が10mであり、カメラを被写体に近づける指示アイコンと指示情報を表示している。
(a2)撮影画像の被写体距離(Xactual)が7mであり、カメラを被写体に近づける指示アイコンと指示情報を表示している。
(a3)撮影画像の被写体距離(Xactual)が5mであり、許容最大距離(Xmax)に一致したので、指示アイコン、指示情報の表示が消えた状態である。
(b1)〜(b3)は以下の状態を示している。
(b1)撮影画像の被写体に対するカメラの上下角度(Φactual)が45度であり、カメラの上下角度をより垂直に向けるように指示アイコンと指示情報を表示している。
(b2)撮影画像の被写体に対するカメラの上下角度(Φactual)が25度であり、カメラの上下角度をより垂直に向けるように指示アイコンと指示情報を表示している。
(b3)撮影画像の被写体に対するカメラの上下角度(Φactual)が15度であり、許容最大角度(Φmax)に一致したので、指示アイコン、指示情報の表示が消えた状態である。
次に、仮想画像表示処理時の画像エッジの加工処理を行なう実施例について説明する。
本実施例は、先に説明した図3のフローチャートに従った仮想画像の表示処理時に、撮影画像に対して違和感のない仮想画像の重畳表示を行うため、例えば撮影オブジェクトとの境界領域にある仮想画像のエッジ部分をぼかすなどのエッジ処理(マスク処理)を行う実施例である。
本構成は、AR動画コンテンツを撮影する際に、重畳するオブジェクトの一部が画角から外れてしまっても、違和感を最小化させる見せ方を実現するものである。
例えば、図10(A)は、本実施例のマスク処理を適用しない場合の仮想オブジェクトの表示例である。
撮影画像中に表示した仮想画像(人物)311の下側端部のエッジ領域312において、直線的に被写体画像が切れており、不自然に見える。
撮影画像中に表示した仮想画像(人物)321の下側端部のエッジ領域322がぼかすマスク適用処理が施され、不自然さが解消される。
(ステップS301)
まず、情報処理装置は、ステップS301において、仮想画像コンテンツフレーム端判定を行う。
描画しようとしている仮想画像コンテンツの処理フレームで、仮想画像オブジェクトがコンテンツの画角に収まっているかを判定する。具体的には、重畳する仮想画像コンテンツの上下左右の各外側1ラインでのアルファ値1がnピクセル以上連続で続くか否かを調べる。nは任意の閾値とする。上下左右の各ラインに対してオブジェクト端が見切れていないかを判定する。なお、この処理は事前に生成側で行い、メタデータを受信することで実現しても良い。
次に、ステップS302において、カメラ撮影画像端非衝突判定処理を行なう。
ステップSZ301において、仮想画像の処理フレームのオブジェクト端が見切れている場合、実際にカメラ画像にコンテンツを重畳する位置で見切れている部分がみえてしまうかを判定する。
元の動画ソースで見切れている部分が、重畳した時にも完全に見切れていれば問題ないが、重畳した時にその端の部分が見えてしまっていると、違和感が大きい。すなわち、図10(A)に示すような不自然な直線的エッジが見えてしまう。
このような場合は、ステップS303に進む。
ステップS303において、仮想画像コンテンツのエッジの画像処理を行なう。
ステップS302において、カメラ撮影画像に見切れている部分が写り込んでいると判定された場合、その方向の端だけ適応的にぼかすなどの処理を行う。
すなわち、図10(B)に示すようなエッジ領域のぼかし処理を行なう。
最後に、最終的な結果、すなわち、図10(B)に示すような仮想画像と撮影画像との境界領域にある仮想画像のエッジをぼかした仮想画像を出力する。
図12に示す情報処理装置は、先に図7を参照して説明した情報処理装置のコンテンツ表示制御部160内に、適応的マスク処理部171を追加した点のみが異なる。
適応的マスク処理部171は、図11を参照して説明した処理を実行する。
その他の構成は、図7を参照して説明した構成と同様である。
次に、複数の仮想画像に対する処理を行なう実施例について説明する。
本実施例は、先に説明した図2のフローチャートに従った仮想画像の動画コンテンツの生成時に、仮想画像として重畳表示するオブジェクトが複数、存在する場合の処理例である。
図13に示す情報処理装置は、先に図7を参照して説明した情報法処理装置のコンテンツ生成部120内に、オブジェクト切り出し部181を追加した点のみが異なる。
オブジェクト切り出し部181は、上述したように、仮想画像コンテンツの生成時に撮影する画像内に複数の仮想オブジェクトが存在する場合に、それぞれの仮想オブジェクトの切り出し処理を行なう。
なお、切り出した仮想オブジェクトに対しては、その後、個別のメタデータ、すなわち前述した相対位置パラメータRpos、相対角度パラメータRrotを個別に算出し、個別のメタデータとして設定して記憶部に格納する。
その他の構成は、図7を参照して説明した構成と同様である。
上述した実施例は、全ての処理を情報処理装置において実行する実施例として説明した。
しかし、これらの処理の一部は、情報処理装置とネットワーク接続したサーバにおいて実行する構成としてもよい。
サーバは、先に図2を参照して説明した処理を実行し、動画シーケンスに応じて表示位置と表示角度を制御した仮想動画コンテンツを情報処理装置(クライアント)に提供する。
情報処理装置(クライアント)は、サーバから受信した仮想画像コンテンツを、撮影画像に重畳して表示する。
なお、この場合、情報処理装置(クライアント)は、サーバに対して、提供する仮想画像コンテンツを特定するための情報、例えば、図1(B)に示すポスター11に設定されたマーカなどの情報を提供する。
このような処理例とすることで、情報処理装置(クライアント)の処理負荷の軽減が実現される。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 撮像部で撮像される撮像画像を取得する取得部と、
前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
前記データ処理部は、
仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる、
情報処理装置。
(3)前記データ処理部は、前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータとして、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
これらの各パラメータを取得し、取得パラメータを適用して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成して前記撮影画像上に重畳表示する前記(2)に記載の情報処理装置。
(5)前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各々は、前記仮想画像の初期画像から最終画像に至る各動画像フレームにおいて0〜1の範囲で順次変化する値である前記(4)に記載の情報処理装置。
(7)前記データ処理部は、前記仮想画像動画コンテンツの生成処理を実行し、仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する前記(1)〜(6)いずれかに記載の情報処理装置。
(8)前記データ処理部は、前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて0〜1の範囲で設定する前記(7)に記載の情報処理装置。
(10)前記データ処理部は、前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各々の値を、モード設定に応じて異なる態様で前記仮想画像を構成する各動画像フレームに対して設定する前記(9)に記載の情報処理装置。
(11)前記データ処理部は、前記仮想画像動画コンテンツの生成処理に際して、予め設定された許容範囲の角度と距離を示す制限情報を表示部に出力し、前記許容範囲の角度と距離内での仮想オブジェクトを含む仮想画像動画コンテンツを生成する前記(7)〜(9)いずれかに記載の情報処理装置。
前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
前記データ処理部は、
仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理装置。
(13)前記データ処理部は、前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて0〜1の範囲で設定する前記(12)に記載の情報処理装置。
前記撮像部の撮影画像を表示する表示部と、
前記表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有し、
前記データ処理部は、
少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画をサーバから取得し、取得した仮想画像を前記撮影画像上に重畳表示する情報処理装置。
具体的には、撮像部と、撮像部の撮影画像を表示する表示部と、表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有する。データ処理部は、表示位置、表示角度を時系列に変更した仮想画像の動画を撮影画像上に重畳表示する。データ処理部は、仮想画像コンテンツのフレーム対応メタデータとして、仮想画像の表示位置の決定に適用する相対位置パラメータRposと、仮想画像の表示角度の決定に適用する相対角度パラメータRrot、これらの各パラメータを取得し、取得パラメータを適用して、表示位置または表示角度を時系列に変更した仮想画像を生成して重畳表示する。
これらの構成により、カメラ撮影画像に、時間とともに表示位置や角度を変更した仮想画像を重畳表示する構成が実現される。
15 カメラ撮影画像
21 仮想画像
31 仮想画像
120 コンテンツ生成部
121 撮像部(カメラ)
122 距離推定部
123 入力部
124 相対位置・角度算出部
125 画像処理部
140 記憶部
141 メタデータ
142 動画コンテンツデータベース
160 コンテンツ表示制御部
161 撮像部(カメラ)
162 画像認識部
163 認識判定部
164 データ取得部
165 重畳仮想画像生成部
166 動画重畳部
167 表示部
171 適応的マスク処理部
181 オブジェクト切り出し部
Claims (18)
- 撮像部で撮像される撮像画像を取得する取得部と、
前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
前記データ処理部は、
仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる、
情報処理装置。 - 前記データ処理部は、
前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータを適用した画像変換処理を実行して少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータとして、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
これらの各パラメータを取得し、取得パラメータを適用して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成して前記撮影画像上に重畳表示する請求項2に記載の情報処理装置。 - 前記データ処理部は、
前記仮想画像の初期画像に対応するモデルビュー行列Mmarkerを、
前記仮想画像の最終画像に対応するモデルビュー行列Mdisplayに変換する変換パラメータを算出し、
算出した変換パラメータに対して、各仮想画像フレームに対応して設定されたメタデータである。前記相対位置パラメータRpos、または、前記相対角度パラメータRrotを乗算して、各仮想画像フレームの変換処理に適用するオフセット情報を算出し、算出したオフセット情報を適用した仮想画像フレームの変換処理を実行して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画を生成する請求項3に記載の情報処理装置。 - 前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各々は、前記仮想画像の初期画像から最終画像に至る各動画像フレームにおいて0〜1の範囲で順次変化する値である請求項4に記載の情報処理装置。
- 前記データ処理部は、
前記仮想画像の撮影画像に対する重畳表示処理に際して、仮想画像と撮影画像の境界部の仮想画像のぼかし処理を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記仮想画像動画コンテンツの生成処理を実行し、仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて0〜1の範囲で設定する請求項7に記載の情報処理装置。 - 前記データ処理部は、
前記仮想画像の初期画像から最終画像に至る各動画像フレームに対して0〜1の範囲で順次変化する値を、前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの値として設定する請求項7に記載の情報処理装置。 - 前記データ処理部は、
前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各々の値を、モード設定に応じて異なる態様で前記仮想画像を構成する各動画像フレームに対して設定する請求項9に記載の情報処理装置。 - 前記データ処理部は、
前記仮想画像動画コンテンツの生成処理に際して、予め設定された許容範囲の角度と距離を示す制限情報を表示部に出力し、前記許容範囲の角度と距離内での仮想オブジェクトを含む仮想画像動画コンテンツを生成する請求項7に記載の情報処理装置。 - 画像撮影を実行する撮像部と、
前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
前記データ処理部は、
仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理装置。 - 前記データ処理部は、
前記相対位置パラメータRpos、および、前記相対角度パラメータRrotの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて0〜1の範囲で設定する請求項12に記載の情報処理装置。 - 画像撮影を実行する撮像部と、
前記撮像部の撮影画像を表示する表示部と、
前記表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有し、
前記データ処理部は、
少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画をサーバから取得し、取得した仮想画像を前記撮影画像上に重畳表示する情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部を有し、
前記データ処理部は、
仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる情報処理方法。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
前記データ処理部は、
仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、
前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
前記プログラムは、前記データ処理部に、
仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させるプログラム。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
仮想画像の表示位置の決定に適用する相対位置パラメータRpos、
仮想画像の表示角度の決定に適用する相対角度パラメータRrot、
上記各パラメータを算出させ、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014521000A JP5971335B2 (ja) | 2012-06-12 | 2013-04-24 | 情報処理装置、および情報処理方法、並びにプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012133320 | 2012-06-12 | ||
JP2012133320 | 2012-06-12 | ||
PCT/JP2013/061996 WO2013187130A1 (ja) | 2012-06-12 | 2013-04-24 | 情報処理装置、および情報処理方法、並びにプログラム |
JP2014521000A JP5971335B2 (ja) | 2012-06-12 | 2013-04-24 | 情報処理装置、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013187130A1 true JPWO2013187130A1 (ja) | 2016-02-04 |
JP5971335B2 JP5971335B2 (ja) | 2016-08-17 |
Family
ID=49757965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014521000A Expired - Fee Related JP5971335B2 (ja) | 2012-06-12 | 2013-04-24 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150145888A1 (ja) |
EP (1) | EP2860702A4 (ja) |
JP (1) | JP5971335B2 (ja) |
CN (1) | CN104335251A (ja) |
BR (1) | BR112014030579A2 (ja) |
IN (1) | IN2014DN10336A (ja) |
WO (1) | WO2013187130A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
JP6299234B2 (ja) * | 2014-01-23 | 2018-03-28 | 富士通株式会社 | 表示制御方法、情報処理装置、および表示制御プログラム |
GB2523555B (en) * | 2014-02-26 | 2020-03-25 | Sony Interactive Entertainment Europe Ltd | Image encoding and display |
JP6264972B2 (ja) * | 2014-03-18 | 2018-01-24 | 富士通株式会社 | 表示装置、表示制御プログラム、および表示制御方法 |
JP2015228050A (ja) | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
US9959292B2 (en) * | 2014-09-30 | 2018-05-01 | Ricoh Company, Ltd. | Application program, smart device, information processing apparatus, information processing system, and information processing method |
CN105979099B (zh) * | 2016-06-28 | 2019-06-04 | Oppo广东移动通信有限公司 | 在预览界面增加景物的方法、装置及拍照设备 |
JP2018195254A (ja) * | 2017-05-22 | 2018-12-06 | 富士通株式会社 | 表示制御プログラム、表示制御装置及び表示制御方法 |
JP7001818B2 (ja) | 2017-09-11 | 2022-01-20 | ナイキ イノベイト シーブイ | ターゲット検索のための、およびジオキャッシングを使用するための装置、システム、および方法 |
EP3682399A1 (en) | 2017-09-12 | 2020-07-22 | Nike Innovate C.V. | Multi-factor authentication and post-authentication processing system |
US11961106B2 (en) | 2017-09-12 | 2024-04-16 | Nike, Inc. | Multi-factor authentication and post-authentication processing system |
CN107733874B (zh) * | 2017-09-20 | 2021-03-30 | 平安科技(深圳)有限公司 | 信息处理方法、装置、计算机设备和存储介质 |
US11972529B2 (en) | 2019-02-01 | 2024-04-30 | Snap Inc. | Augmented reality system |
CN110610454A (zh) * | 2019-09-18 | 2019-12-24 | 上海云绅智能科技有限公司 | 透视投影矩阵的计算方法及装置、终端设备、存储介质 |
JP7429633B2 (ja) | 2020-12-08 | 2024-02-08 | Kddi株式会社 | 情報処理システム、端末、サーバ及びプログラム |
WO2023171355A1 (ja) * | 2022-03-07 | 2023-09-14 | ソニーセミコンダクタソリューションズ株式会社 | 撮像システムおよび映像処理方法、並びにプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032398A (ja) * | 1998-07-09 | 2000-01-28 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2008046806A (ja) * | 2006-08-14 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、画像処理装置およびプログラム |
JP2010239206A (ja) * | 2009-03-30 | 2010-10-21 | Sony Corp | 電子機器、表示制御方法およびプログラム |
JP2012053776A (ja) * | 2010-09-02 | 2012-03-15 | Ntt Comware Corp | 表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60233985A (ja) * | 1984-05-07 | 1985-11-20 | Nec Corp | デジタル映像信号の特殊効果発生装置 |
US7224851B2 (en) * | 2001-12-04 | 2007-05-29 | Fujifilm Corporation | Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same |
US20070205963A1 (en) * | 2006-03-03 | 2007-09-06 | Piccionelli Gregory A | Heads-up billboard |
JP2007243411A (ja) * | 2006-03-07 | 2007-09-20 | Fujifilm Corp | 画像処理装置、方法およびプログラム |
JP5094663B2 (ja) * | 2008-09-24 | 2012-12-12 | キヤノン株式会社 | 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法 |
US8643642B2 (en) * | 2009-08-17 | 2014-02-04 | Mistretta Medical, Llc | System and method of time-resolved, three-dimensional angiography |
JP2011043419A (ja) | 2009-08-21 | 2011-03-03 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
KR101572892B1 (ko) * | 2010-05-06 | 2015-11-30 | 엘지전자 주식회사 | 이동 단말기 및 이것의 영상 디스플레이 방법 |
JP2012058838A (ja) | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置、プログラム及び画像処理方法 |
CN102446192A (zh) * | 2010-09-30 | 2012-05-09 | 国际商业机器公司 | 在虚拟世界中评估关注度的方法和装置 |
-
2013
- 2013-04-24 WO PCT/JP2013/061996 patent/WO2013187130A1/ja active Application Filing
- 2013-04-24 CN CN201380029793.3A patent/CN104335251A/zh active Pending
- 2013-04-24 BR BR112014030579A patent/BR112014030579A2/pt not_active IP Right Cessation
- 2013-04-24 JP JP2014521000A patent/JP5971335B2/ja not_active Expired - Fee Related
- 2013-04-24 EP EP13803623.1A patent/EP2860702A4/en not_active Withdrawn
- 2013-04-24 US US14/405,262 patent/US20150145888A1/en not_active Abandoned
-
2014
- 2014-12-04 IN IN10336DEN2014 patent/IN2014DN10336A/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032398A (ja) * | 1998-07-09 | 2000-01-28 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2008046806A (ja) * | 2006-08-14 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、画像処理装置およびプログラム |
JP2010239206A (ja) * | 2009-03-30 | 2010-10-21 | Sony Corp | 電子機器、表示制御方法およびプログラム |
JP2012053776A (ja) * | 2010-09-02 | 2012-03-15 | Ntt Comware Corp | 表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150145888A1 (en) | 2015-05-28 |
EP2860702A4 (en) | 2016-02-10 |
CN104335251A (zh) | 2015-02-04 |
JP5971335B2 (ja) | 2016-08-17 |
IN2014DN10336A (ja) | 2015-08-07 |
EP2860702A1 (en) | 2015-04-15 |
WO2013187130A1 (ja) | 2013-12-19 |
BR112014030579A2 (pt) | 2017-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5971335B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
KR102003813B1 (ko) | 자동화된 3차원 모델 생성 | |
JP6119889B2 (ja) | 情報処理システムとその処理方法及びプログラム | |
JP5936155B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6040882B2 (ja) | 複数の3次元モデルをつなぎ合わせる装置、方法及びプログラム | |
US20120120113A1 (en) | Method and apparatus for visualizing 2D product images integrated in a real-world environment | |
KR20220051376A (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
US20120120071A1 (en) | Shading graphical objects based on face images | |
US11830148B2 (en) | Reconstruction of essential visual cues in mixed reality applications | |
WO2015188666A1 (zh) | 三维视频滤波方法和装置 | |
JP2010140097A (ja) | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 | |
US20160086365A1 (en) | Systems and methods for the conversion of images into personalized animations | |
KR101672691B1 (ko) | 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치 | |
JP2007053621A (ja) | 画像生成装置 | |
JP7253621B2 (ja) | パノラマ映像の手ぶれ補正方法及び携帯端末 | |
US11087514B2 (en) | Image object pose synchronization | |
US10291845B2 (en) | Method, apparatus, and computer program product for personalized depth of field omnidirectional video | |
JP6621565B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JP2016048467A (ja) | 運動視差再現方法、装置およびプログラム | |
KR101632514B1 (ko) | 깊이 영상 업샘플링 방법 및 장치 | |
CA3155612A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
KR102558294B1 (ko) | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 | |
JP7119854B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
JP2008140297A (ja) | 動画像生成方法及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160627 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5971335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |