JP5472056B2 - 表示システム、表示処理装置、表示方法、および表示プログラム - Google Patents
表示システム、表示処理装置、表示方法、および表示プログラム Download PDFInfo
- Publication number
- JP5472056B2 JP5472056B2 JP2010258775A JP2010258775A JP5472056B2 JP 5472056 B2 JP5472056 B2 JP 5472056B2 JP 2010258775 A JP2010258775 A JP 2010258775A JP 2010258775 A JP2010258775 A JP 2010258775A JP 5472056 B2 JP5472056 B2 JP 5472056B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- display
- image
- distance
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、本実施の形態にかかる表示システムの構成の具体例を示す図である。
カメラ300は、処理装置100と電気的に接続可能であって、撮影画像を処理装置100に送信する機能を有するものであれば、どのようなものであってもよい。
なお、本実施の形態にかかる表示システムは図1に示された構成に限定されない。他の例として、たとえば図2に示されるように、カメラ300およびポインタ200と電気的に接続されたPCで構成されるものであってもよい。この場合、PC本体が処理装置100となり得、PCに接続されているディスプレイがディスプレイ400となり得る。カメラ300とPCとの接続がインターネットを介したものである場合、カメラ300として、たとえばWEBカメラが挙げられる。
表示システムが図1の構成である場合、処理装置100は上述のように一般的なPCで構成されてもよいので、その装置構成は特定の構成に限定されない。すなわち、処理装置100は、少なくとも、全体を制御するためのCPU(Central Processing Unit)、CPUで実行するプログラムや仮想現実を表示するために必要な画像情報などを記憶するためのROM(Read Only Memory)やRAM(Random Access Memory)などのメモリ、および他の装置と電気的に接続してデータのやり取りを行なうための通信インタフェース(I/F)を含む。
本実施の形態にかかる表示システムは、現実世界を表わす撮影画像に、コンピュータグラフィックスなどによって予め生成された仮想物体(仮想オブジェクト)を表わす画像を、その撮影画像に位置に応じて重畳して表示する。その際、仮想オブジェクトが撮影画像に表わされた現実世界に浮かんでいるように表示させるため、撮影画像および仮想オブジェクトの表示位置に対して奥行きを設定し、設定された奥行きに応じて3次元で仮想オブジェクトを表示する。3次元で表わされた仮想オブジェクトは合成されることで、撮影画像に表わされた実空間のある奥行きの位置に浮かんでいるように表示される。
図6は、本実施の形態にかかる表示システムが上の動作概要で説明された動作を行なうための、処理装置100の機能構成の具体例を示すブロック図である。図6は、主に、図示しないCPUがメモリに記憶されるプログラムを読み出して実行することで、CPUが画像処理統括部として機能する場合の機能構成の具体例を示している。図6に示された機能は、主にCPU上に構成されるものである。しかしながら、その一部がハードウェア構成で実現されてもよい。
本実施の形態にかかる表示システムにおいて、ユーザから見える現実世界を表わす撮影画像にコンピュータグラフィックス等によって描かれた仮想物体(仮想オブジェクト)を表わす画像情報を重畳して表示させる動作について説明する。ここでは、具体例として、拡張現実感の研究のためにワシントン大学HIT研究室で開発されたソフトウェアライブラリとしてのプログラムを用いて実現される動作について説明する。用いられるプログラムはこのプログラムに限定されない。
画像処理統括部として機能する処理装置100のCPUは、上述のように、仮想オブジェクトの表示された3次元座標系上の位置と、ディスプレイ400の表示画面上でポインタ200で指定された位置を該3次元座標系に換算した位置との間の距離に応じた表示処理を実行する。そこで、仮想オブジェクト−ポインタ間距離判定部105での距離の計算方法について説明する。
図13は、ポインタ位置と仮想オブジェクトの位置との間の距離を用いた表示処理の第1の例を説明する図である。図13を参照して、第1の例では、画像処理統括部として機能する処理装置100のCPUは、ポインタ位置から予め規定された範囲内に表示される仮想オブジェクトの形状を大きくするように、予め当該仮想オブジェクトに対して設定されている画像情報を変換する。すなわち、図13(A)に示されるように、指先に装着されたポインタ200の位置と表示されている1つの仮想オブジェクトとの間の距離が所定の距離となった場合に、図13(B)に示されるように、該仮想オブジェクトの表示される形状を大きくするように変形する。
図16は、ポインタ位置と仮想オブジェクトの位置との間の距離を用いた表示処理の第2の例を説明する図である。図16を参照して、第2の例では、画像処理統括部として機能する処理装置100のCPUは、ポインタ位置から予め規定された範囲内に表示される仮想オブジェクトの形状をポインタ位置に近づく形状に変化させるように、予め当該仮想オブジェクトに対して設定されている画像情報を変換する。すなわち、図16(A)に示されるように、指先に装着されたポインタ200の位置と表示されている1つの仮想オブジェクトとの間の距離DAが所定の距離となった場合に、図16(B)に示されるように、該仮想オブジェクトの表示される形状をポインタ位置に近づく形状に変化させるように変形する。
図19は、ポインタ位置と仮想オブジェクトの位置との間の距離を用いた表示処理の第3の例を説明する図である。図19を参照して、第3の例では、画像処理統括部として機能する処理装置100のCPUは、ポインタ位置から予め規定された範囲内に表示される仮想オブジェクトをポインタ位置に近づくように移動させる。すなわち、図19に示されるように、指先に装着されたポインタ200の位置と表示されている1つの仮想オブジェクトとの間の距離Dが所定の距離Dtである場合に、該仮想オブジェクトの表示位置をポインタ位置に近づけるように移動させる。
図24は、ポインタ位置と仮想オブジェクトの表示位置との間の距離を用いた表示処理の第4の例を説明する図である。図24を参照して、第4の例では、画像処理統括部として機能する処理装置100のCPUは、ポインタ位置から予め規定された範囲内に表示される仮想オブジェクトであって、かつ、ポインタ200が当該仮想オブジェクトに向かう方向に移動している仮想オブジェクトを、ポインタ位置に近づくように移動させる。すなわち、図24(A)に示されるように、指先に装着されたポインタ200の位置と表示されている1つの仮想オブジェクトとの間の距離DAがしきい値とする距離Dtよりも小さくなり、かつ、図24(A)において点線で示されるように、ポインタ200が該仮想オブジェクトに向かう方向に移動している場合に、図24(B)に示されるように、該仮想オブジェクトをポインタ位置に近づくように移動させる。
表示処理例3または表示処理例4での表示の一例として、ポインタ位置からしきい値とする距離Dtよりも小さい距離に表示される仮想オブジェクトが所定の条件を満たすことで、図27に示されるように、その仮想オブジェクトの表示位置が、現在の表示位置とポインタ位置とを結ぶ直線の方向に、決定された移動量だけ移動した位置に決定される。
なお、以上の表示処理例1〜4は、2以上が組み合わされてもよい。
Claims (15)
- 撮影画像に仮想オブジェクトの画像を合成して表示するための表示システムであって、
カメラと、
ディスプレイと、
表示処理装置とを備え、
前記表示処理装置は、
前記仮想オブジェクトに関する情報として、当該仮想オブジェクトを3次元で表示させるための画像情報と、撮影された空間に対して設定された3次元の座標系で表わされた当該仮想オブジェクトの表示位置と、当該仮想オブジェクトが選択されることによって実行される動作とを規定する情報を記憶するための記憶手段と、
前記カメラによる撮影画像に対して前記3次元の座標系を設定し、前記仮想オブジェクトに対して規定された前記表示位置に基づいて前記撮影画像に前記仮想オブジェクトの画像を合成して合成画像を生成し、前記ディスプレイで表示させる処理を実行するための表示処理手段と、
ユーザによって指定された前記3次元の座標系における位置を検出するための検出手段と、
前記合成画像における前記仮想オブジェクトの表示位置から所定範囲に前記指定された位置が含まれる場合に前記仮想オブジェクトが選択されたものとして、前記仮想オブジェクトに対して規定された動作を実行するための実行手段とを含み、
前記表示処理手段は、前記撮影画像における前記仮想オブジェクトについて規定された前記表示位置と前記指定された位置との間の距離が予め記憶されている基準値よりも小さい場合に、前記仮想オブジェクトの画像を前記撮影画像に対して、前記合成画像において前記仮想オブジェクトが前記指定された位置に近くなるように合成する、表示システム。 - 前記表示処理手段は、前記距離が前記基準値よりも小さく、かつ、前記指定された位置から所定の範囲に複数の仮想オブジェクトについての規定された前記表示位置が含まれる場合に、前記距離が前記基準値よりも小さい前記仮想オブジェクトの画像を前記撮影画像に対して、前記合成画像において前記仮想オブジェクトが前記指定された位置に近くなるように合成する、請求項1に記載の表示システム。
- 前記表示処理手段は、前記距離が前記基準値よりも小さい前記仮想オブジェクトの画像を拡大して、前記撮影画像の前記仮想オブジェクトについて規定された前記表示位置に合成する、請求項1または2に記載の表示システム。
- 前記表示処理手段は、前記仮想オブジェクトの画像を前記距離に応じた倍率で拡大する、請求項3に記載の表示システム。
- 前記表示処理手段は、前記距離が前記基準値よりも小さい前記仮想オブジェクトの形状を、前記指定された位置に接近する形状に変形して、前記撮影画像の前記仮想オブジェクトについて規定された前記表示位置に合成する、請求項1または2に記載の表示システム。
- 前記表示処理手段は、前記仮想オブジェクトの形状を前記距離に応じた前記指定された位置への接近度合いに変形させる、請求項5に記載の表示システム。
- 前記表示処理手段は、前記距離が前記基準値よりも小さい前記仮想オブジェクトの画像を、前記撮影画像の前記仮想オブジェクトについて規定された前記表示位置よりも前記指定された位置に近い位置に合成する、請求項1または2に記載の表示システム。
- 前記表示処理手段は、前記仮想オブジェクトの画像を、前記撮影画像の前記仮想オブジェクトについて規定された前記表示位置よりも、前記距離に応じて前記指定された位置側に移動させた位置を前記合成画像における前記仮想オブジェクトの表示位置として決定し、前記決定された位置に合成する、請求項7に記載の表示システム。
- 前記表示処理手段は、第1の撮影画像に対して前記指定された位置に近くなるように仮想オブジェクトの画像を合成して第1の合成画像を生成した後に、前記第1の撮影画像の後に前記カメラから入力された第2の撮影画像に対して前記仮想オブジェクトの画像を合成して第2の合成画像を生成する際に、前記第1の合成画像における前記仮想オブジェクトの表示位置と前記第2の撮影画像から検出された前記指定された位置との間の距離が前記基準値よりも大きい場合に、前記仮想オブジェクトに対して規定された前記表示位置に規定された前記画像情報に基づく画像を合成する、請求項1〜8のいずれかに記載の表示システム。
- 前記表示処理手段は、前記距離が前記基準値よりも小さく、かつ、第1の撮影画像から検出された前記指定された位置と前記第1の撮影画像の直前に前記カメラから入力された第2の撮影画像から検出された前記指定された位置とで得られる前記指定された位置の移動方向が前記仮想オブジェクトに対して規定された前記表示位置に向いている場合に、前記距離が前記基準値よりも小さい前記仮想オブジェクトの画像を、前記合成画像において前記仮想オブジェクトが前記指定された位置に近くなるように合成する、請求項1または2に記載の表示システム。
- 前記検出手段は、前記撮影画像を解析して前記撮影画像から予め記憶されているポインタ画像を検出することによって、前記ユーザによって前記ポインタを用いて指定された位置を検出する、請求項1〜10のいずれかに記載の表示システム。
- 位置情報を検出するセンサを含んだポインティングデバイスをさらに備え、
前記表示処理装置の検出手段は、前記撮影画像に対して設定された前記3次元の座標系と前記ポインティングデバイスで検出された位置情報とから、前記ユーザによって前記ポインティングデバイスを用いて指定された位置を検出する、請求項1〜10のいずれかに記載の表示システム。 - 撮影画像に仮想オブジェクトの画像を合成してディスプレイで表示画面を表示させるための表示処理装置であって、
前記撮影画像の入力を受付けるための入力手段と、
前記仮想オブジェクトに関する情報として、当該仮想オブジェクトを3次元で表示させるための画像情報と、撮影された空間に対して設定された3次元の座標系で表わされた当該仮想オブジェクトの表示位置と、当該仮想オブジェクトが選択されることによって実行される動作とを規定する情報を記憶するための記憶手段と、
前記ディスプレイに前記表示画面を表示させる処理を実行するための表示処理手段とを備え、
前記表示処理手段は、
前記撮影画像に対して前記3次元の座標系を設定し、前記仮想オブジェクトに対して規定された前記表示位置に基づいて前記撮影画像に前記仮想オブジェクトの画像を合成して合成画像を生成する処理と、
ユーザによって指定された前記3次元の座標系における位置を検出する処理とを実行し、
前記表示処理手段は、前記合成画像を生成する処理において、前記撮影画像における前記仮想オブジェクトについて規定された前記表示位置と前記指定された位置との間の距離が予め記憶されている基準値よりも小さい場合に、前記仮想オブジェクトの画像を前記撮影画像に対して、前記合成画像において前記仮想オブジェクトが前記指定された位置に近くなるように合成する、表示処理装置。 - 表示処理装置において、撮影画像に仮想オブジェクトの画像を合成した合成画像をディスプレイで表示させる方法であって、
前記表示処理装置は、前記仮想オブジェクトに関する情報として、当該仮想オブジェクトを3次元で表示させるための画像情報と、撮影された空間に対して設定された3次元の座標系で表わされた当該仮想オブジェクトの表示位置と、当該仮想オブジェクトが選択されることによって実行される動作とを規定する情報をし、
カメラから撮影画像の入力を受付けるステップと、
前記撮影画像に対して前記3次元の座標系を設定するステップと、
ユーザによって指定された前記3次元の座標系における位置を検出するステップと、
前記撮影画像における前記仮想オブジェクトについて規定された前記表示位置と前記指定された位置との間の距離と、予め記憶されている基準値とを比較し、前記距離が前記基準値よりも小さい場合に、前記仮想オブジェクトの画像を前記撮影画像に対して、前記合成画像において前記仮想オブジェクトが前記指定された位置に近くなるように合成するステップとを備える、表示方法。 - 表示処理装置に、撮影画像に仮想オブジェクトの画像を合成した合成画像をディスプレイで表示させる処理を実行させるためのプログラムであって、
前記表示処理装置は、前記仮想オブジェクトに関する情報として、当該仮想オブジェクトを3次元で表示させるための画像情報と、撮影された空間に対して設定された3次元の座標系で表わされた当該仮想オブジェクトの表示位置と、当該仮想オブジェクトが選択されることによって実行される動作とを規定する情報をし、
カメラから撮影画像の入力を受付けるステップと、
前記撮影画像に対して前記3次元の座標系を設定するステップと、
ユーザによって指定された前記3次元の座標系における位置を検出するステップと、
前記撮影画像における前記仮想オブジェクトについて規定された前記表示位置と前記指定された位置との間の距離と、予め記憶されている基準値とを比較し、前記距離が前記基準値よりも小さい場合に、前記仮想オブジェクトの画像を前記撮影画像に対して、前記合成画像において前記仮想オブジェクトが前記指定された位置に近くなるように合成するステップとを前記表示処理装置に実行させる、表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010258775A JP5472056B2 (ja) | 2010-11-19 | 2010-11-19 | 表示システム、表示処理装置、表示方法、および表示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010258775A JP5472056B2 (ja) | 2010-11-19 | 2010-11-19 | 表示システム、表示処理装置、表示方法、および表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012108842A JP2012108842A (ja) | 2012-06-07 |
JP5472056B2 true JP5472056B2 (ja) | 2014-04-16 |
Family
ID=46494376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010258775A Expired - Fee Related JP5472056B2 (ja) | 2010-11-19 | 2010-11-19 | 表示システム、表示処理装置、表示方法、および表示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5472056B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2860606B1 (en) * | 2012-06-12 | 2018-01-10 | Sony Corporation | Information processing device, information processing method, and program for an augmented reality display |
JP5891125B2 (ja) * | 2012-06-29 | 2016-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
EP2903265A4 (en) | 2012-09-27 | 2016-05-18 | Kyocera Corp | DISPLAY DEVICE, CONTROL METHOD, AND CONTROL PROGRAM |
US10289204B2 (en) | 2012-11-15 | 2019-05-14 | Quantum Interface, Llc | Apparatuses for controlling electrical devices and software programs and methods for making and using same |
US10503359B2 (en) | 2012-11-15 | 2019-12-10 | Quantum Interface, Llc | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
JP6668247B2 (ja) * | 2013-10-01 | 2020-03-18 | クアンタム インターフェイス エルエルシー | 選択引力インターフェース、このようなインターフェースを有するシステム及び装置、これを作成及び使用する方法 |
JP6222440B2 (ja) * | 2013-10-07 | 2017-11-01 | コニカミノルタ株式会社 | Ar表示システム、およびar表示装置、情報処理装置、プログラム |
US9971492B2 (en) | 2014-06-04 | 2018-05-15 | Quantum Interface, Llc | Dynamic environment for object and attribute display and interaction |
JP6004051B2 (ja) * | 2014-07-31 | 2016-10-05 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム |
US11205075B2 (en) | 2018-01-10 | 2021-12-21 | Quantum Interface, Llc | Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same |
US10788948B2 (en) | 2018-03-07 | 2020-09-29 | Quantum Interface, Llc | Systems, apparatuses, interfaces and implementing methods for displaying and manipulating temporal or sequential objects |
US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
JP2017163560A (ja) * | 2017-04-06 | 2017-09-14 | 京セラ株式会社 | 表示装置、システムおよび表示方法 |
AU2018256365A1 (en) | 2017-04-19 | 2019-10-31 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
JP7369669B2 (ja) | 2020-06-14 | 2023-10-26 | 株式会社スクウェア・エニックス | 拡張現実表示装置及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3251639B2 (ja) * | 1992-06-08 | 2002-01-28 | 株式会社東芝 | ポインティング装置 |
JPH0816353A (ja) * | 1994-06-28 | 1996-01-19 | Sharp Corp | オブジェクト表示拡大方法 |
JPH1195971A (ja) * | 1997-09-24 | 1999-04-09 | Sharp Corp | ユーザインタフェースシステム |
US20020171690A1 (en) * | 2001-05-15 | 2002-11-21 | International Business Machines Corporation | Method and system for scaling a graphical user interface (GUI) widget based on selection pointer proximity |
JP2005251118A (ja) * | 2004-03-08 | 2005-09-15 | Canon Inc | 画像処理方法、画像処理装置 |
JP2005352738A (ja) * | 2004-06-10 | 2005-12-22 | I Technology:Kk | ターゲット位置予測を用いたポインティング操作システム |
JP4533087B2 (ja) * | 2004-10-28 | 2010-08-25 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
US8397181B2 (en) * | 2008-11-17 | 2013-03-12 | Honeywell International Inc. | Method and apparatus for marking a position of a real world object in a see-through display |
JP5315111B2 (ja) * | 2009-03-31 | 2013-10-16 | 株式会社エヌ・ティ・ティ・ドコモ | 端末装置、情報提示システム及び端末画面表示方法 |
-
2010
- 2010-11-19 JP JP2010258775A patent/JP5472056B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012108842A (ja) | 2012-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5472056B2 (ja) | 表示システム、表示処理装置、表示方法、および表示プログラム | |
JP6057396B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作処理方法 | |
JP5936155B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
JP5871345B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
JP5565331B2 (ja) | 表示システム、表示処理装置、表示方法、および表示プログラム | |
JP5843340B2 (ja) | 3次元環境共有システム及び3次元環境共有方法 | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
JP4926826B2 (ja) | 情報処理方法および情報処理装置 | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2015056106A (ja) | 情報処理装置、設定方法、設定プログラム、システムおよび管理装置 | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
KR20120017783A (ko) | 증강 현실에서 위치 정보를 표시하는 방법 및 장치 | |
CN111813214B (zh) | 虚拟内容的处理方法、装置、终端设备及存储介质 | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
CN113498531A (zh) | 头戴式信息处理装置以及头戴式显示系统 | |
JP2009258884A (ja) | ユーザインタフェイス | |
JP2021135776A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101338958B1 (ko) | 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법 | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6882147B2 (ja) | 操作案内システム | |
US11960660B2 (en) | Terminal device, virtual object manipulation method, and virtual object manipulation program | |
JP7401245B2 (ja) | 画像合成装置、画像合成装置の制御方法およびプログラム | |
JP6358998B2 (ja) | 警備シミュレーション装置 | |
WO2022172335A1 (ja) | 仮想ガイド表示装置、仮想ガイド表示システム、及び仮想ガイド表示方法 | |
WO2023048018A1 (ja) | 表示装置、表示装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5472056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |