JP5777786B1 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP5777786B1 JP5777786B1 JP2014186531A JP2014186531A JP5777786B1 JP 5777786 B1 JP5777786 B1 JP 5777786B1 JP 2014186531 A JP2014186531 A JP 2014186531A JP 2014186531 A JP2014186531 A JP 2014186531A JP 5777786 B1 JP5777786 B1 JP 5777786B1
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- observer
- virtual
- attribute
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 観察者が現実空間中の現実物体に接近したことを観察者に報知する。【解決手段】 仮想物体モデルデータを取得する取得手段と、前記仮想物体モデルデータに基づいて、現実空間の所定位置に対応した仮想空間の位置に仮想物体を生成する生成手段と、観察者の位置を取得する計測対象位置取得手段と、前記観察者の位置と、前記生成手段によって生成された仮想物体の位置とに基づいて、前記観察者と、前記仮想物体との間の距離を算出する距離算出手段と、前記算出手段によって算出された距離が閾値より小さい場合に、前記観察者が前記現実空間の所定位置に接近していること示す情報を出力する出力手段とを備える。【選択図】 図1
Description
本発明は、現実空間の画像に仮想物体を重ね合わせて表示する複合現実感システムに関する。
現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感(MR:MixedReality)技術や拡張現実感(AR:AugmentedReality)技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間を繋ぎ目なく融合する技術である。これらは、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援や、建築物の内外装を実際に建てる前にCGを重畳表示することで確認する建築シミュレーション等、様々な分野への応用が期待される。
観察者が、仮想物体を現実空間に実在するように感じるための装置の一つとして、頭部搭載型のHMD(HeadMountedDisplay)などが用いられる。特に、ビデオシースルー型のHMDは、搭載されるビデオカメラで現実世界を撮影し、その画像に、仮想物体を重畳した合成画像を、リアルタイムにディスプレイ等の表示手段に表示させ、観察者に提示する。
このとき、頭部装着型のHMDなどのように、没入感の高い表示部を用いる場合に、複数人で体験していると、他の観察者が近づいてきていることがわからないため、他の観察者と接近する可能性が生じる。そこで、特許文献1では、第1の観察者の視点位置と方向と、第2の観察者の視点位置と方向を求め、第1と第2の観察者の距離が閾値より小さくなった場合に、第2の観察者が接近していることを報知することについて開示している。
しかしながら、特許文献1に開示される方法は、観察者と別の観察者との接近を報知することを目的としているため、現実空間に存在するテーブルや壁などの現実物体と観察者との接近については観察者に報知することができないという問題があった。
本発明は、以上の問題に鑑みてなされたものであり、観察者が現実空間中の現実物体に接近したことを観察者に報知することを目的とする。
上記目的を達成するために、本発明の情報処理装置は、例えば、仮想物体モデルデータを取得する取得手段と、前記仮想物体モデルデータに基づいて生成される第1の仮想物体に、第1の属性と、前記第1の属性とは異なる第2の属性とのうち、いずれか一方、または両方を設定する設定手段と、前記設定手段によって設定された属性と、前記仮想物体モデルデータとに基づいて、現実空間の所定の位置に対応した仮想空間の位置に前記第1の仮想物体を生成する生成手段と、観察者の位置を取得する位置取得手段と、前記観察者の位置と前記生成手段によって生成された第1の仮想物体の位置とに基づいて、前記観察者と前記第1の仮想物体との間の距離を算出する距離算出手段と、前記観察者が観察するための、前記第1の仮想物体とは異なる第2の仮想物体を描画することにより仮想画像を生成する仮想画像生成手段と、前記仮想画像を出力する出力手段とを備え、前記設定手段により前記第1の仮想物体に前記第1の属性が設定されている場合に、前記出力手段は、更に、前記距離算出手段によって算出された距離が閾値より小さい場合に、前記観察者が前記現実空間の所定の位置に接近していること示す情報を出力し、前記設定手段により前記第1の仮想物体に前記第2の属性が設定されている場合に、前記仮想画像生成手段は、前記第1の仮想物体の位置が前記第2の仮想物体の位置よりも前記観察者の位置から見て手前である領域に対しては、前記第2の仮想物体を描画せず、前記第1の仮想物体の位置が前記第2の仮想物体の位置よりも前記観察者の位置から見て奥である領域に対しては、前記第2の仮想物体を描画することを特徴とする。
本発明によれば、観察者が現実空間中の現実物体に接近したことを観察者に報知することができる。
本発明にかかる実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図9を用いて説明する。
図9は、本実施形態における情報装置のハードウェア構成図である。同図において、CPU910は、バス900を介して接続する各デバイスを統括的に制御する。CPU910は、読み出し専用メモリ(ROM)920に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム(OS)をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はROM920に記憶されており、ランダムアクセスメモリ(RAM)930に一時記憶され、CPU910によって適宜実行される。また、入力I/F940は、外部の装置(表示装置や操作装置など)から情報処理装置1で処理可能な形式で入力信号として入力する。また、出力I/F950は、外部の装置(表示装置)へ表示装置が処理可能な形式で出力信号として出力する。
これらの各機能部は、CPU710が、ROM920に格納されたプログラムをRAM930に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、CPU910を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
(第1の実施形態)
以下、添付図面を参照して本発明の好適な実施形態について説明する。
以下、添付図面を参照して本発明の好適な実施形態について説明する。
第1の実施形態では、現実の空間に配置されている現実物体の位置に仮想物体を関連付け、この仮想物体に接近警告報知用の属性を付加する。そして、計測対象とこの接近警告報知用の属性が付加された仮想物体との距離が近くなった場合に観察者に、現実物体に近付いている旨の報知を行う実施形態について説明する。
図1は、本実施形態に係る情報処理装置1000とHMDの構成図である。情報処理装置1000は、モデルデータ設定部1010、仮想物体生成部1020、画像取得部1030、計測対象位置取得部1040、距離算出部1050、接近警告生成部1060、観察用仮想物体生成部1070、合成画像生成部1080で構成される。また、情報処理装置1000は、HMD(HeadMountedDisplay、頭部装着型表示装置)600に有線または無線によって接続されている。HMD600は、撮像部400と表示部500を備えている。
モデルデータ設定部1010は、仮想物体のモデルデータを設定する。図3は、1つの仮想物体に対するモデルデータの構成例を示す図である。本実施形態で描画する仮想物体のモデルデータには、仮想物体の位置姿勢(位置(x、y、z)と姿勢(roll,pitch,yaw))を示す位置姿勢情報302、仮想物体の色や形状などの視覚的な情報であるモデル情報303が含まれる。これに加えて、この仮想物体が接近警告報知の対象となっているか否かを示すための接近警告報知属性フラグ301が、このモデルデータに含まれている。接近警告報知属性フラグ301はON/OFFを示す1ビットでもって表現されるものである。例えば接近警告報知属性フラグ301の値が「1」(ON)の場合には「接近警告報知の対象である」ことを示し、「0」(OFF)の場合には、「接近警告報知の対象ではない」ことを示す。ここで、接近警告報知属性フラグをONに設定する仮想物体を決定するのは、観察者がUI(観察者インターフェース)によって指示をしてもよい。また、壁のような物体との接近を報知するために、所定の大きさ以上の面積を持つ仮想物体に対して接近警告報知属性フラグ(設定情報)を自動的にONに設定してもよい。
仮想物体生成部1020は、モデルデータ設定部1010によって属性が設定されたモデルデータをもつ仮想物体を生成する。属性が設定されたモデルデータをもつ仮想物体は、図8のような観察者が持ち運び可能なボードに記された指標に対応づけられる。このボードに記された指標を含んだ画像から指標が認識されると、指標が配置された位置に仮想物体が生成される。
画像取得部1030は、HMD600から、HMD600が備える撮像部400によって撮像された画像を取得する。画像取得部1030は、HMD600(撮像部400)の出力が、IEEE1394などのデジタル出力であれば、例えば、IEEE1394インタフェースボードによって実現される。またHMD600(撮像部400)の出力がNTSC信号などのアナログ出力であれば、アナログビデオキャプチャーボードによって実現される。また、予め不図示の記憶装置に記憶してある静止画や動画像のデジタルデータを読み出してもよい。
計測対象位置取得部1040は、計測対象の位置を取得する。本実施形態では、計測対象を、HMD600として説明する。計測対象位置取得部100は、いずれの公知の手法でHMD600の位置を求めてもよいが、本実施形態では、HMD600に備わる撮像部400によって撮像される画像に含まれる既知の指標を撮影することによって求める。
既知の座標を持つ指標を撮影することによって撮像装置の位置情報を求める方法については公知の方法であるので詳しい説明は省略する。指標としては、環境中に、図4(A)に示すような四角形形状の指標(以下、四角形指標と呼ぶ)を複数配置するものとする。ここで、配置する指標をPk(k=1,,,Ko)で表す。但し、Koは配置する指標の数(図4(A)の例ではKo=3)である。図4(B)に示すように、四角形指標は、内部に識別子を表すパターンを持ち、一意に同定可能であるとする。また、また、四角形指標Pkは頂点pki(i=1,,,Nk)により構成される。但し、Nkは、指標Pkを構成する頂点の総数(本実施形態の場合は四角形指標であるのでNk=4)を表す。撮影画像に2値化処理を施した後にラベリング処理を行い、一定面積以上の領域の中から4つの直線によって形成されているものを指標候補として抽出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって候補領域が指標領域であるかを判定し、内部のパターンを読み出すことによって指標の画像内の方向と識別子を取得することにより、取得された画像中から指標を検出する。
なお、環境中または対象物体上に配置される指標Pkは、四角形指標に限るものではなく、撮影画像上において検出可能であって、かついずれの指標であるか識別可能である指標であれば、何れの形態であってもよい。例えば、図4(C)に示すように、それぞれが異なる色を有する円形状の指標のような点指標であってもよい。この場合には、画像上から各々の指標の色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、それぞれが異なるテクスチャ特徴を有する特徴点(自然特徴点)を点指標としてもよい。この場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを画像上に施すことにより、画像から指標を抽出する。これに限らず、空間中に固定される指標であってそれを撮影した画像から検出可能なものであればどのような指標であってもかまわない。なお、指標の配置情報は何らかの方法により作成したもので既知とする。
また、位置姿勢センサをHMD600に装着し、センサの出力値を撮像部の位置姿勢としてもよい。位置姿勢センサを利用する場合には、位置姿勢センサと撮像部の相対的な位置関係は予め校正されており、位置姿勢センサの出力値をHMD600の位置姿勢とできるものとする。
距離算出部1050は、仮想物体生成部1020によって生成された仮想物体が生成された位置と、計測対象の位置との間の距離を算出する。そして、算出された距離が所定の値よりも小さいかを判定する。判定された結果を接近警告提示部に送出する。
接近警告生成部1060は、観察者に接近の報知が必要か否かを判定し、必要があると判定された場合に、接近警告の提示情報を生成する。HMD600に搭載される表示部500に接近警告の提示情報を表示する。接近警告報知の提示情報は、例えば、図5(A)及び図5(B)に示すようなアイコンである。また、接近する可能性があることを文字で示し、画像の重畳させることで提示してもよい。生成した提示情報を、HMD600に送出する。
観察用仮想物体生成部1050は、観察者が複合現実感を体験するために観察する仮想物体の情報を取得して、観察用仮想物体を生成する。本実施形態において、仮想物体生成部1020で生成される属性が設定された仮想物体と、観察用仮想物体とは使用される目的が異なり、また上記のように図3の301の属性が設定されているか否かという点で異なる。観察用仮想物体の情報は不図示のメモリに予め保存されていても良いし、記憶媒体から読み出しても良い。取得した仮想物体の情報とHMD600の位置姿勢とに応じて、仮想物体を生成(レンダリング)する。
合成画像生成部1060は、観察用仮想物体生成部1050で生成された仮想物体と,画像取得部で取得した画像とを合成して合成画像を生成する。接近警告生成部から接近警告の提示情報が送出されている場合には、接近警告の提示情報も合成画像に重畳する。生成された合成画像をHMD600に出力する。
次に、HMD600の各部について説明する。
撮像部400は、指標が配置された現実空間を撮像するビデオカメラである。撮像部400は、撮像した撮像画像を情報処理装置1000に送出する。
表示部600は、情報処理装置から送出された合成画像を受信して、表示するディスプレイである。
次に、図2を参照して、本実施形態における情報処理装置1000の処理フローチャートを説明する。
撮像部400は、指標が配置された現実空間を撮像するビデオカメラである。撮像部400は、撮像した撮像画像を情報処理装置1000に送出する。
表示部600は、情報処理装置から送出された合成画像を受信して、表示するディスプレイである。
次に、図2を参照して、本実施形態における情報処理装置1000の処理フローチャートを説明する。
(ステップS2010)
ステップS2010では、モデルデータ設定部は、新規作成する仮想物体モデルデータを設定する。
ステップS2010では、モデルデータ設定部は、新規作成する仮想物体モデルデータを設定する。
本ステップは、図3のフローチャートで詳述する。
(ステップS7010)
ステップS7010では、モデルデータ設定部1010は、新規作成する仮想物体モデルデータとしてどのような基本形状にするかを設定する。例えば、基本形状は、平面または直方体または四角柱である。なお、基本形状は、三角柱や円柱、三角錐や円錐など、前述の形状に限るものではない。どのモデルを基本形状にするかは、例えば、図6のGUIを観察者に提示し、観察者によって選択されたGUI上のボタン3010によって設定しても良い。また、例えば、予め決められている形状を設定しても良い。
ステップS7010では、モデルデータ設定部1010は、新規作成する仮想物体モデルデータとしてどのような基本形状にするかを設定する。例えば、基本形状は、平面または直方体または四角柱である。なお、基本形状は、三角柱や円柱、三角錐や円錐など、前述の形状に限るものではない。どのモデルを基本形状にするかは、例えば、図6のGUIを観察者に提示し、観察者によって選択されたGUI上のボタン3010によって設定しても良い。また、例えば、予め決められている形状を設定しても良い。
(ステップS7020)
ステップS7020では、モデルデータ設定部1010は、ステップS2010で設定された仮想物体モデルの基本形状の大きさを設定する。例えば、図6のリストボックス3020の中から観察者によって選択されたものを設定する。本実施形態では、リストボックスには大、中、小のようないくつかの大きさが設定されており、観察者はこの中から所望のサイズを選択することができる。また、例えば、予め決められているサイズを設定しても良い。
ステップS7020では、モデルデータ設定部1010は、ステップS2010で設定された仮想物体モデルの基本形状の大きさを設定する。例えば、図6のリストボックス3020の中から観察者によって選択されたものを設定する。本実施形態では、リストボックスには大、中、小のようないくつかの大きさが設定されており、観察者はこの中から所望のサイズを選択することができる。また、例えば、予め決められているサイズを設定しても良い。
(ステップS7030)
ステップS7030では、モデルデータ設定部1010は、ステップS7010、7020で形状と大きさが設定された仮想物体モデルに、属性を設定する。属性の設定は、図6のリストボックス3050から切り替えて付加する。ここで、本実施形態のリストボックス3050では、例えば、「接近警告報知用モデル」の他に、「マスク属性付加モデル」と、「マスク属性付加モデル及び接近警告報知用モデル」を切り替えできる。ここで、接近警告報知用モデルと、マスク属性付加モデルについてそれぞれ説明する。
ステップS7030では、モデルデータ設定部1010は、ステップS7010、7020で形状と大きさが設定された仮想物体モデルに、属性を設定する。属性の設定は、図6のリストボックス3050から切り替えて付加する。ここで、本実施形態のリストボックス3050では、例えば、「接近警告報知用モデル」の他に、「マスク属性付加モデル」と、「マスク属性付加モデル及び接近警告報知用モデル」を切り替えできる。ここで、接近警告報知用モデルと、マスク属性付加モデルについてそれぞれ説明する。
接近警告報知用モデルは、仮想物体と計測対象であるHMD600と間の距離を計算し、計算された距離が閾値より小さい場合に、観察者に報知するために用いられるモデルである。
次に、マスク属性付加モデルについて説明する。マスク属性付加モデルは、実写画像中の壁や柱などの現実物体の上に、奥行情報を考慮せずに仮想物体を上書きしないために、現実物体をマスクするモデルである。奥行情報を考慮せずに、仮想物体を画像に上書きすると、仮想物体と現実物体との前後関係を正しく表示できないため、複合現実感システムでは、没入感や臨場感を著しく低下させてしまう。そのため、現実空間と仮想空間の座標系を一致させ、現実物体の位置に正しくマスク属性付加モデルを配置することで、例えば、仮想物体と現実物体の前後関係を正しく表現できる。したがって、「マスク属性付加モデル」または、「マスク属性付加モデル及び接近警告報知用モデル」の属性が設定されている仮想物体は、その他の仮想物体との撮像部400の視点位置からの奥行値を比較することで、前後関係を正しく表示することができる。
(ステップS2020)
ステップS2020では、仮想物体生成部1020は、ステップS2020で設定されたモデルデータを持つ仮想物体モデルを生成する。仮想物体モデルデータ生成部5010は、例えば、図6中の新規作成ボタン3030が観察者によって押下されたことに応じて、ステップ4010〜4030で設定された基本形状、サイズ、属性をもった仮想物体モデルを作成する。また、同じく図6中の読み込みボタン3040が観察者によって押下されたことに応じて、過去に作成した仮想物体モデルを読み込むことによって、仮想物体モデルを生成してもよい。
ステップS2020では、仮想物体生成部1020は、ステップS2020で設定されたモデルデータを持つ仮想物体モデルを生成する。仮想物体モデルデータ生成部5010は、例えば、図6中の新規作成ボタン3030が観察者によって押下されたことに応じて、ステップ4010〜4030で設定された基本形状、サイズ、属性をもった仮想物体モデルを作成する。また、同じく図6中の読み込みボタン3040が観察者によって押下されたことに応じて、過去に作成した仮想物体モデルを読み込むことによって、仮想物体モデルを生成してもよい。
(ステップS2030)
ステップS2030では、仮想物体モデル生成部1020は、ステップS2040で設定されたモデルデータを持つ仮想物体モデルを現実空間中の現実物体に合わせて配置する。本実施形態では、図8に示すようなモデル配置用指標5000に基づいて、所定の位置に仮想物体を配置する。
ステップS2030では、仮想物体モデル生成部1020は、ステップS2040で設定されたモデルデータを持つ仮想物体モデルを現実空間中の現実物体に合わせて配置する。本実施形態では、図8に示すようなモデル配置用指標5000に基づいて、所定の位置に仮想物体を配置する。
まず、観察者が、モデル配置用指標5000を現実の物体の位置に合わせて配置する。これは、例えば、現実物体がテーブルの場合には、所定の面方向のテーブルの足の部分に合わせて、モデル配置用指標5000を配置する。モデル配置用指標5000には、図8に示すように、接近警告報知用やマスク用の仮想物体モデルの位置を決めるための位置決め用マーク5010を備えている。本実施形態では、図8に示すように2つの位置決め用マークと接し、かつモデル配置用指標と直交する平面に接するように、モデル配置用指標5000を配置する。配置されたモデル配置用指標5000を撮像装置によって撮像し、撮像した画像を、画像取得部1030によって取得する。取得した画像から指標を検出することによって、モデル配置用指標5000を配置された位置を取得することができる。
観察者は、仮想物体モデルのサイズと位置を更に詳細に設定することもできる。例えば、観察者が仮想物体モデルのサイズと位置を、図6のエディットボックス3070に直接入力した値に基づいて、仮想物体モデルのサイズと位置を反映させることができる。また、画像取得した画像に仮想物体を重畳して表示し、仮想物体の境界線をマウス等を使ってドラッグすることで、サイズを変更してもよい。また、仮想物体の内部に表示した座標軸をドラッグすることで、位置を移動してもよい。
(ステップS2030)
ステップS2030では、計測対象位置取得部1040は、公知の方法によりHMD600の位置姿勢を計測する。計測対象位置計測部100が計測する計測対象の位置姿勢情報はいずれの公知の手段で求めてもよい。本実施形態では、撮像部400が、既知の指標を撮影することによって、位置姿勢を求める。
ステップS2030では、計測対象位置取得部1040は、公知の方法によりHMD600の位置姿勢を計測する。計測対象位置計測部100が計測する計測対象の位置姿勢情報はいずれの公知の手段で求めてもよい。本実施形態では、撮像部400が、既知の指標を撮影することによって、位置姿勢を求める。
計測対象位置取得部1040は、取得した計測対象の位置姿勢情報を、距離算出部1050と観察用仮想物体取得部1070に送出する。
(ステップS2040)
ステップS2040では、距離算出部1050が、ステップS2020で生成された仮想物体の属性が接近警告報知用モデルであるかを判定する。ステップS2020で説明したように、仮想物体は、「接近警告報知用モデル」「マスク属性付加モデル」「マスク属性付加モデル及び接近警告報知用モデル」のいずれかが設定されている。本ステップでは、「接近警告報知用モデル」または「マスク属性付加モデル及び接近警告報知用モデル」のいずれかであるか否かを判定する。「接近警告報知用モデル」または「マスク属性付加モデル及び接近警告報知用モデル」のいずれかであると判定された場合には、ステップS2040へと処理を進める。「マスク属性付加モデル」であると判定された場合には、ステップS2080へと処理を進める。
ステップS2040では、距離算出部1050が、ステップS2020で生成された仮想物体の属性が接近警告報知用モデルであるかを判定する。ステップS2020で説明したように、仮想物体は、「接近警告報知用モデル」「マスク属性付加モデル」「マスク属性付加モデル及び接近警告報知用モデル」のいずれかが設定されている。本ステップでは、「接近警告報知用モデル」または「マスク属性付加モデル及び接近警告報知用モデル」のいずれかであるか否かを判定する。「接近警告報知用モデル」または「マスク属性付加モデル及び接近警告報知用モデル」のいずれかであると判定された場合には、ステップS2040へと処理を進める。「マスク属性付加モデル」であると判定された場合には、ステップS2080へと処理を進める。
(ステップS2050)
ステップS2050では、距離算出部1050が、HMD600と仮想物体との間の距離を求める。距離算出部1050が、計測対象である撮像部400と、接近警告報知属性フラグ301がONの仮想物体との距離を計測する。なお、ここでは、現実空間に定義する座標系を前記指標によって設定することで、現実空間に定義される座標系と仮想空間に定義される座標系の原点や軸の向きを予め一致させてあるものとする。現実空間と仮想空間の座標系を一致させておくことで、計測対象である撮像部400が現実空間を移動した場合でも、撮像部の現実空間の位置と仮想物体の位置を比較することで、距離を計測することができる。したがって、距離算出部1050は、計測対象の位置と接近警告報知属性フラグ301がONの仮想物体の位置に基づいて、距離を計測する。
ステップS2050では、距離算出部1050が、HMD600と仮想物体との間の距離を求める。距離算出部1050が、計測対象である撮像部400と、接近警告報知属性フラグ301がONの仮想物体との距離を計測する。なお、ここでは、現実空間に定義する座標系を前記指標によって設定することで、現実空間に定義される座標系と仮想空間に定義される座標系の原点や軸の向きを予め一致させてあるものとする。現実空間と仮想空間の座標系を一致させておくことで、計測対象である撮像部400が現実空間を移動した場合でも、撮像部の現実空間の位置と仮想物体の位置を比較することで、距離を計測することができる。したがって、距離算出部1050は、計測対象の位置と接近警告報知属性フラグ301がONの仮想物体の位置に基づいて、距離を計測する。
(ステップS2060)
ステップS2060では、提示情報生成部1060が、ステップS2050で算出された距離が閾値以下であるかを判定する。閾値は、図6の入力欄3090によって観察者に入力させることによって決定しても良いし、予め定められていても良い。閾値以下であると判定された場合には、ステップS2070へと処理が進み、閾値よりも大きいと判定された場合には、ステップS2080へと処理が進む。
ステップS2060では、提示情報生成部1060が、ステップS2050で算出された距離が閾値以下であるかを判定する。閾値は、図6の入力欄3090によって観察者に入力させることによって決定しても良いし、予め定められていても良い。閾値以下であると判定された場合には、ステップS2070へと処理が進み、閾値よりも大きいと判定された場合には、ステップS2080へと処理が進む。
(ステップS2070)
ステップS2070では、提示情報生成部1060は、接近警告の提示情報を生成する。提示情報は、例えば、図5(A)及び図5(B)に示すようなアイコンである。そして、接近警告提示部1060は、生成した提示情報を合成画像生成部1080へと送出する。
ステップS2070では、提示情報生成部1060は、接近警告の提示情報を生成する。提示情報は、例えば、図5(A)及び図5(B)に示すようなアイコンである。そして、接近警告提示部1060は、生成した提示情報を合成画像生成部1080へと送出する。
(ステップS2080)
ステップS2080では、合成画像生成部1080は、画像取得部1030で取得した撮像画像と観察用仮想物体取得部1070で取得した観察用仮想物体とを合成して合成画像を生成する。また、提示情報生成部1060で提示情報が生成されている場合には、提示情報を合成画像に付加して、HMD600に送出する。また、ステップS2040で、「マスク属性付加モデル」または「マスク属性付加モデル及び接近警告報知用モデル」と判定された仮想物体が配置されている領域に、観察用仮想物体を合成する場合には、両者の奥行き値を比較する。そして、観察用仮想物体がHMD600から見て手前にある場合にのみ、仮想物体を合成する。
ステップS2080では、合成画像生成部1080は、画像取得部1030で取得した撮像画像と観察用仮想物体取得部1070で取得した観察用仮想物体とを合成して合成画像を生成する。また、提示情報生成部1060で提示情報が生成されている場合には、提示情報を合成画像に付加して、HMD600に送出する。また、ステップS2040で、「マスク属性付加モデル」または「マスク属性付加モデル及び接近警告報知用モデル」と判定された仮想物体が配置されている領域に、観察用仮想物体を合成する場合には、両者の奥行き値を比較する。そして、観察用仮想物体がHMD600から見て手前にある場合にのみ、仮想物体を合成する。
以上のように、複合現実空間において、観察者が接近警告報知属性を持たせた仮想物体に近づいたときに、情報処理装置は、観察者に接近警告報知を行うことができる。
また、仮想物体ごとに、接近警告報知属性フラグを設定することにより、観察者が接近したい現実物体に対しては警告が報知されず、必要な現実物体のみ、警告が報知されるように設定することができる。
(変形例1)
第1の実施形態では、接近警告提示部1060は、アイコンや文字を撮像部が撮影した画像に重畳することで、接近警告報知情報を提示した。しかし、接近警告報知を行うことができれば、これに限るものではない。例えば、不図示のスピーカーによって、音声によって接近警告を提示してもよい。また、不図示の振動子を振動させることで、接近警告を提示してもよい。これらに限るものではなく、いずれの公知の提示方法であっても、接近警告を報知するものであればよい。
第1の実施形態では、接近警告提示部1060は、アイコンや文字を撮像部が撮影した画像に重畳することで、接近警告報知情報を提示した。しかし、接近警告報知を行うことができれば、これに限るものではない。例えば、不図示のスピーカーによって、音声によって接近警告を提示してもよい。また、不図示の振動子を振動させることで、接近警告を提示してもよい。これらに限るものではなく、いずれの公知の提示方法であっても、接近警告を報知するものであればよい。
(変形例2)
第1の実施形態では、計測対象をHMDに装着された撮像部としていたが、計測対象はこれに限るものではない。手であってもよいし、足や腕など、体の一部であってもよい。手などを計測対象とする場合、HMDに搭載された2台の撮像部から予め肌色を登録しておくことで手の肌色領域抽出を行い、左右の撮像部の既知の相対的な位置姿勢情報に基づいてステレオ法により奥行を計測してもよい。また、観察者の体の一部を俯瞰するように設定された2台の撮像部で撮影することで、奥行を計測して位置を計測してもよい。また、デプスセンサーにより計測してもよい。計測対象の位置を計測できれば、その他の公知の方法で計測してもよい。
第1の実施形態では、計測対象をHMDに装着された撮像部としていたが、計測対象はこれに限るものではない。手であってもよいし、足や腕など、体の一部であってもよい。手などを計測対象とする場合、HMDに搭載された2台の撮像部から予め肌色を登録しておくことで手の肌色領域抽出を行い、左右の撮像部の既知の相対的な位置姿勢情報に基づいてステレオ法により奥行を計測してもよい。また、観察者の体の一部を俯瞰するように設定された2台の撮像部で撮影することで、奥行を計測して位置を計測してもよい。また、デプスセンサーにより計測してもよい。計測対象の位置を計測できれば、その他の公知の方法で計測してもよい。
ここで、仮想物体モデルが不要になった場合には、削除ボタン3100を押して、仮想物体モデルを削除する。
なお、本実施形態においては、観察者の頭部に装着するHMDとして説明したが、顔面に装着するフェースマウントディスプレイでもよい。
なお、本実施形態では、現実物体の例としてテーブルを用いたが、壁や、床の段差の部分など、観察者が接近を報知してほしいあらゆる箇所に適用することができる。
以上により、GUIを用いて、接近警告を報知したい現実の物体に合わせて仮想物体モデルデータを作成することができる。実写映像に仮想物体を重畳した映像を見ながら、大きさや形や配置情報を調整することで、直観的かつ効率的に、現実物体に合わせて接近警告報知やマスクを行う仮想物体を設定することができる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した各実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
Claims (9)
- 仮想物体モデルデータを取得する取得手段と、
前記仮想物体モデルデータに基づいて生成される第1の仮想物体に、第1の属性と、前記第1の属性とは異なる第2の属性とのうち、いずれか一方、または両方を設定する設定手段と、
前記設定手段によって設定された属性と、前記仮想物体モデルデータとに基づいて、現実空間の所定の位置に対応した仮想空間の位置に前記第1の仮想物体を生成する生成手段と、
観察者の位置を取得する位置取得手段と、
前記観察者の位置と前記生成手段によって生成された第1の仮想物体の位置とに基づいて、前記観察者と前記第1の仮想物体との間の距離を算出する距離算出手段と、
前記観察者が観察するための、前記第1の仮想物体とは異なる第2の仮想物体を描画することにより仮想画像を生成する仮想画像生成手段と、
前記仮想画像を出力する出力手段とを備え、
前記設定手段により前記第1の仮想物体に前記第1の属性が設定されている場合に、
前記出力手段は、更に、前記距離算出手段によって算出された距離が閾値より小さい場合に、前記観察者が前記現実空間の所定の位置に接近していること示す情報を出力し、
前記設定手段により前記第1の仮想物体に前記第2の属性が設定されている場合に、
前記仮想画像生成手段は、前記第1の仮想物体の位置が前記第2の仮想物体の位置よりも前記観察者の位置から見て手前である領域に対しては、前記第2の仮想物体を描画せず、前記第1の仮想物体の位置が前記第2の仮想物体の位置よりも前記観察者の位置から見て奥である領域に対しては、前記第2の仮想物体を描画することを特徴とする情報処理装置。 - 前記距離算出手段は、前記第1の属性が設定されている場合に、前記現実空間の所定の位置に接近していることを報知すると設定されている場合に、前記距離を算出することを特徴とする請求項1に記載の情報処理装置。
- 前記生成手段によって生成される第1の仮想物体の形状またはサイズは、予め設定された形状およびサイズを有する基本モデルに対する前記観察者による入力に基づいて決定されることを特徴とする請求項1または2に記載の情報処理装置。
- 前記形状は、多面体であることを特徴とする請求項3に記載の情報処理装置。
- 前記生成手段は、前記現実空間の所定の位置に配置され、前記第1の仮想物体が生成される位置を示すマークを含んだ現実の指標を撮像した画像に基づいて、前記指標に含まれるマークの位置に対応した前記仮想空間の位置に前記第1の仮想物体を生成することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記設定手段は、前記観察者による入力に基づいて、前記第1の属性と前記第2の属性とのうち、いずれか一方、またはその両方を設定することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 更に、前記観察者の頭部または顔面に装着される撮像装置と、
前記撮像装置によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像と前記仮想画像とを合成することにより、合成画像を生成する合成画像生成手段とを備え、
前記出力手段は、前記合成画像に前記情報を付加することによって、出力することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 - 仮想物体モデルデータを取得する取得工程と、
前記仮想物体モデルデータに基づいて生成される第1の仮想物体に、第1の属性と、前記第1の属性とは異なる第2の属性とのうち、いずれか一方、または両方を設定する設定工程と、
前記設定工程によって設定された属性と、前記仮想物体モデルデータとに基づいて、現実空間の所定の位置に対応した仮想空間の位置に前記第1の仮想物体を生成する生成工程と、
観察者の位置を取得する位置取得工程と、
前記観察者の位置と前記生成手段によって生成された第1の仮想物体の位置とに基づいて、前記観察者と前記第1の仮想物体との間の距離を算出する距離算出工程と、
前記観察者が観察するための、前記第1の仮想物体とは異なる第2の仮想物体を描画することにより仮想画像を生成する仮想画像生成工程と、
前記仮想画像を出力する出力工程とを備え、
前記設定工程において前記第1の仮想物体に前記第1の属性が設定されている場合に、
前記出力工程では、更に、前記距離算出工程において算出された距離が閾値より小さい場合に、前記観察者が前記現実空間の所定の位置に接近していること示す情報を出力し、
前記設定工程において前記第1の仮想物体に前記第2の属性が設定されている場合に、
前記仮想画像生成工程では、前記第1の仮想物体の位置が前記第2の仮想物体の位置よりも前記観察者の位置から見て手前である領域に対しては、前記第2の仮想物体を描画せず、前記第1の仮想物体の位置が前記第2の仮想物体の位置よりも前記観察者の位置から見て奥である領域に対しては、前記第2の仮想物体を描画することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至7のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014186531A JP5777786B1 (ja) | 2014-09-12 | 2014-09-12 | 情報処理装置、情報処理方法、プログラム |
US14/852,118 US9784972B2 (en) | 2014-09-12 | 2015-09-11 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014186531A JP5777786B1 (ja) | 2014-09-12 | 2014-09-12 | 情報処理装置、情報処理方法、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015138117A Division JP6436872B2 (ja) | 2015-07-09 | 2015-07-09 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5777786B1 true JP5777786B1 (ja) | 2015-09-09 |
JP2016058042A JP2016058042A (ja) | 2016-04-21 |
Family
ID=54192626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014186531A Active JP5777786B1 (ja) | 2014-09-12 | 2014-09-12 | 情報処理装置、情報処理方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9784972B2 (ja) |
JP (1) | JP5777786B1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017067876A (ja) * | 2015-09-29 | 2017-04-06 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム |
US20170228886A1 (en) * | 2016-02-05 | 2017-08-10 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2017156887A (ja) * | 2016-02-29 | 2017-09-07 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN108463839A (zh) * | 2016-01-20 | 2018-08-28 | 索尼互动娱乐股份有限公司 | 信息处理装置和用户指南呈现方法 |
JP2019516180A (ja) * | 2016-04-12 | 2019-06-13 | アール−ストール インコーポレイテッド | 仮想化環境内にイメージを提示するための方法及び装置 |
JP2020115353A (ja) * | 2020-03-10 | 2020-07-30 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ |
CN112150349A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
CN112753050A (zh) * | 2018-09-28 | 2021-05-04 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9690374B2 (en) * | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
EP3454304A4 (en) * | 2016-05-02 | 2019-12-18 | Sony Interactive Entertainment Inc. | IMAGING DEVICE |
US11391944B2 (en) * | 2017-03-21 | 2022-07-19 | Sony Corporation | Information processing device, information processing method, and program |
EP3602496A4 (en) * | 2017-04-21 | 2020-11-04 | Hewlett-Packard Development Company, L.P. | PROOF PROOF FOR VIRTUAL REALITY |
JP7146402B2 (ja) * | 2018-01-18 | 2022-10-04 | キヤノン株式会社 | 情報処理装置、および情報処理方法 |
US10891922B1 (en) | 2018-07-17 | 2021-01-12 | Apple Inc. | Attention diversion control |
JP2022123692A (ja) * | 2021-02-12 | 2022-08-24 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、画像処理システム |
JPWO2023223388A1 (ja) * | 2022-05-16 | 2023-11-23 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4642538B2 (ja) * | 2005-04-20 | 2011-03-02 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
WO2011122610A1 (ja) * | 2010-03-30 | 2011-10-06 | 新日鉄ソリューションズ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2012155655A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
JP5691568B2 (ja) * | 2011-01-28 | 2015-04-01 | ソニー株式会社 | 情報処理装置、報知方法及びプログラム |
JP5580855B2 (ja) * | 2012-06-12 | 2014-08-27 | 株式会社ソニー・コンピュータエンタテインメント | 障害物回避装置および障害物回避方法 |
US9448407B2 (en) * | 2012-12-13 | 2016-09-20 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and work supporting system |
-
2014
- 2014-09-12 JP JP2014186531A patent/JP5777786B1/ja active Active
-
2015
- 2015-09-11 US US14/852,118 patent/US9784972B2/en active Active
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017067876A (ja) * | 2015-09-29 | 2017-04-06 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム |
EP3407304A4 (en) * | 2016-01-20 | 2019-08-21 | Sony Interactive Entertainment Inc. | INFORMATION PROCESSING DEVICE AND METHOD FOR PRESENTING USER GUIDE |
CN108463839A (zh) * | 2016-01-20 | 2018-08-28 | 索尼互动娱乐股份有限公司 | 信息处理装置和用户指南呈现方法 |
US10974148B2 (en) | 2016-01-20 | 2021-04-13 | Sony Interactive Entertainment Inc. | Information processing apparatus and user guide presentation method |
US11484792B2 (en) | 2016-01-20 | 2022-11-01 | Sony Interactive Entertainment Inc. | Information processing apparatus and user guide presentation method |
US11865448B2 (en) | 2016-01-20 | 2024-01-09 | Sony Interactive Entertainment Inc. | Information processing apparatus and user guide presentation method |
US10366539B2 (en) * | 2016-02-05 | 2019-07-30 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium for reporting based on elapse time and positional relationships between 3-D objects |
US20170228886A1 (en) * | 2016-02-05 | 2017-08-10 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2017156887A (ja) * | 2016-02-29 | 2017-09-07 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019516180A (ja) * | 2016-04-12 | 2019-06-13 | アール−ストール インコーポレイテッド | 仮想化環境内にイメージを提示するための方法及び装置 |
CN112753050A (zh) * | 2018-09-28 | 2021-05-04 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
JP2020115353A (ja) * | 2020-03-10 | 2020-07-30 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ |
JP7085578B2 (ja) | 2020-03-10 | 2022-06-16 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ |
CN112150349A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US9784972B2 (en) | 2017-10-10 |
US20160078641A1 (en) | 2016-03-17 |
JP2016058042A (ja) | 2016-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5777786B1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US9696543B2 (en) | Information processing apparatus and information processing method | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
JP2005107969A5 (ja) | ||
JP7005224B2 (ja) | 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
JP6775957B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2017529578A (ja) | 情報処理装置、情報処理方法 | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP6319804B2 (ja) | 投影画像生成装置、投影画像生成方法および投影画像生成プログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6436872B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP2015212891A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2020173629A (ja) | 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム | |
KR101850134B1 (ko) | 3차원 동작 모델 생성 방법 및 장치 | |
US10068375B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6564259B2 (ja) | 画像処理装置、画像処理方法 | |
JP2015121892A (ja) | 画像処理装置、画像処理方法 | |
JP2019045998A (ja) | 情報処理装置及びその方法、プログラム | |
JP2016038632A (ja) | 画像処理装置、画像処理方法 | |
JP6482307B2 (ja) | 情報処理装置およびその方法 | |
JP2023007233A5 (ja) | ||
JP2024072122A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150707 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5777786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |