JP6751777B2 - コンピュータプログラム、表示装置、頭部装着型表示装置 - Google Patents

コンピュータプログラム、表示装置、頭部装着型表示装置 Download PDF

Info

Publication number
JP6751777B2
JP6751777B2 JP2018558610A JP2018558610A JP6751777B2 JP 6751777 B2 JP6751777 B2 JP 6751777B2 JP 2018558610 A JP2018558610 A JP 2018558610A JP 2018558610 A JP2018558610 A JP 2018558610A JP 6751777 B2 JP6751777 B2 JP 6751777B2
Authority
JP
Japan
Prior art keywords
image
display
marker
captured image
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018558610A
Other languages
English (en)
Other versions
JPWO2018123022A1 (ja
Inventor
▲高▼朗 ▲濱▼
▲高▼朗 ▲濱▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Megahouse Corp
Original Assignee
Megahouse Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Megahouse Corp filed Critical Megahouse Corp
Publication of JPWO2018123022A1 publication Critical patent/JPWO2018123022A1/ja
Application granted granted Critical
Publication of JP6751777B2 publication Critical patent/JP6751777B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T3/02—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、コンピュータプログラム、表示装置、頭部装着型表示装置、マーカに関するものである。
仮想空間を体感するための装置としてＨＭＤ（ヘッドマウントディスプレイ）がある。ユーザは自身の頭部にＨＭＤを装着することで、眼前に提示される仮想空間の映像を観察することができる。例えば、特許文献１には、操作者の頭部の姿勢に対応する画像を、該頭部に装着される頭部装着型のディスプレイに表示すると共に、操作部の姿勢に対応する特定処理を実行する技術が開示されている。
特許第５９４４６００号
特許文献１に開示されている技術では、操作者の頭部の姿勢に対応する画像を表示するために、操作者の頭部のモーションを検出するためのモーションセンサを利用していた。本発明では、このようなモーションセンサを使用せずとも、撮像画像を用いた簡便な処理でもって、操作者の頭部の位置や向きに応じた画像を表示させるための技術を提供する。
本発明の一様態は、表示装置のコンピュータを、
動画像における各フレームの撮像画像を取得する取得手段、
前記取得手段が取得した第１フレームの撮像画像から検出したマーカの形状を規定する形状情報をメモリに格納し、該形状に関わらず、基準形状を有する基準表示画像を前記表示装置の表示画面に表示させる第１表示制御手段、
前記取得手段が前記第１フレームよりも後に取得した第２フレームの撮像画像から前記マーカを検出した場合には、前記形状情報が示す形状を前記第２フレームの撮像画像から検出した前記マーカの形状に変形させるためのパラメータを求め、前記基準表示画像の形状を該パラメータを用いて変化させた表示画像を生成して前記表示画面に表示させる第２表示制御手段
として機能させる。
本発明の構成によれば、モーションセンサを使用せずとも、撮像画像を用いた簡便な処理でもって、操作者の頭部の位置や向きに応じた画像を表示させることができる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
ＨＭＤを説明する図。 ＨＭＤを説明する図。 表示装置１０１及びＨＭＤ本体部１０２のハードウェア構成例を示すブロック図。 マーカを説明する図。 マーカを含む撮像画像を示す図。 マーカを含む撮像画像を示す図。 マーカを含む撮像画像を示す図。 マーカを含む撮像画像を示す図。 表示画像を示す図。 表示画像を示す図。 表示画像を示す図。 表示画像を示す図。 表示装置１０１が行う処理のフローチャート。
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
［第１の実施形態］
本実施形態では、ＨＭＤの表示画面に表示画像（静止画像であっても動画像であっても、それらの両方であっても良い）を表示するのであるが、この表示画像の形状を、壁面に設けたマーカをＨＭＤに設けられたカメラで撮像した撮像画像中の該マーカの形状の変化に応じて制御するものである。以下の説明において「形状」とは、「外形」と「サイズ」の両方の意味を含むものとする。
先ず、本実施形態に係るＨＭＤについて、図１Ａ，１Ｂを用いて説明する。図１Ａは、本実施形態に係るＨＭＤ１００の外観例を示す図である。図１Ａに示す如く、本実施形態に係るＨＭＤ１００は、表示装置１０１とＨＭＤ本体部１０２と、を有する。
表示装置１０１は、自身が保持する若しくは外部から受信したデータに基づく画像や文字を表示可能な表示画面を有する機器であり、例えば、スマートフォンやタブレット端末装置などを適用することができる。１１４はカメラであり、現実空間の動画像を撮像する。表示装置１０１の表示画面は、カメラ１１４が取り付けられた面とは逆の面に設けられている。
ＨＭＤ本体部１０２は、ＨＭＤ１００を装着したユーザの眼前に表示装置１０１の表示画面が位置するように該表示装置１０１を取り付けることができる機器である。ＨＭＤ本体部１０２において１９０ａ、１９０ｂはそれぞれ、ＨＭＤ１００を装着したユーザの右耳、左耳に音声を出力するためのスピーカである。
ＨＭＤ１００の装着例を図１Ｂに示す。図１Ｂ及び上記の如く、表示装置１０１は、ユーザの眼１８０の前に表示装置１０１の表示画面が位置するようにＨＭＤ本体部１０２に取り付けられている。
なお、図１Ａ，１Ｂには、ＨＭＤ１００において以下の説明に関連する主要な構成を示しており、例えばＨＭＤ１００をユーザの頭部に固定するためのベルトや、ベルトの長さを調整するための調整用つまみなどの図示は省略している。
次に、表示装置１０１及びＨＭＤ本体部１０２のハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、以下の説明において表示装置１０１及びＨＭＤ本体部１０２が行うものとして後述する各処理を実現可能な構成の一例である。
先ず、表示装置１０１のハードウェア構成例について説明する。
ＣＰＵ１１１は、ＲＡＭ１１２に格納されているコンピュータプログラムやデータを用いて、表示装置１０１全体の動作制御を行うと共に、表示装置１０１が行うものとして後述する各処理を実行若しくは制御する。
ＲＡＭ１１２は、不揮発性メモリ１１３からロードされたコンピュータプログラムやデータを格納するためのエリア、ＣＰＵ１１１が各種の処理を実行する際に用いるワークエリアを有する。更に、表示装置１０１が外部の機器とのデータ通信が可能な機器であれば、外部の機器から受信したコンピュータプログラムやデータを格納するためのエリアも有する。このように、ＲＡＭ１１２は、各種のエリアを適宜提供することができる。
不揮発性メモリ１１３には、ＯＳ（オペレーティングシステム）や、表示装置１０１が行うものとして後述する各処理をＣＰＵ１１１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。不揮発性メモリ１１３に保存されているコンピュータプログラムには、撮像画像におけるマーカの領域を検出するためのコンピュータプログラム、表示画像の再生プログラム、音声の再生プログラム等が含まれている。また、不揮発性メモリ１１３に保存されているデータには、表示画像のデータ、音声のデータ、以下の説明において既知の情報として取り扱う情報、等が含まれている。なお、表示装置１０１が外部の機器とのデータ通信が可能な機器であれば、上記の各種のプログラムやデータ等は、外部の機器から受信して不揮発性メモリ１１３に保存するようにしても良い。
不揮発性メモリ１１３に保存されているコンピュータプログラムやデータは、ＣＰＵ１１１による制御に従って適宜ＲＡＭ１１２にロードされ、ＣＰＵ１１１による処理対象となる。
カメラ１１４は、表示装置１０１において表示画面１１５とは逆の面に取り付けられたもので、現実空間の動画像を撮像する。カメラ１１４からは各フレームの画像（撮像画像）が出力され、該出力された撮像画像は不揮発性メモリ１１３に保存される。
表示画面１１５は、液晶画面、タッチパネル画面などにより構成されており、ＣＰＵ１１１による処理結果を画像や文字などでもって表示することができる。
Ｉ／Ｆ（インターフェース）１１６は、ＨＭＤ本体部１０２への音声出力用のインターフェースであり、後述するように、ＨＭＤ本体部１０２側のＩ／Ｆ１２１とデータ通信が可能なように構成されている。Ｉ／Ｆ１１６とＩ／Ｆ１２１との間のデータ通信は無線通信でも良いし、有線通信でも良い。
ＣＰＵ１１１、ＲＡＭ１１２、不揮発性メモリ１１３、カメラ１１４、表示画面１１５、Ｉ／Ｆ１１６は何れもバス１１７に接続されている。
次に、ＨＭＤ本体部１０２のハードウェア構成例について説明する。
Ｉ／Ｆ１２１は、表示装置１０１からＩ／Ｆ１１６を介して出力された音声信号を受信し、該受信した音声信号を音声出力部１２２に送出するためのインターフェースであり、上記のＩ／Ｆ１１６とデータ通信が可能なように構成されている。
音声出力部１２２は、Ｉ／Ｆ１２１から受けた音声信号を音として出力するためのものである。音声出力部１２２は、上記の右耳用のスピーカ１９０ａと左耳用のスピーカ１９０ｂと、を含み、それぞれのスピーカに対して音声信号に基づく音を出力する。
次に、上記のマーカについて図３を用いて説明する。図３のマーカ３０１は、矩形（例えば正方形）の枠３０２の内部に、該枠３０２に内接するように該枠３０２を縮小して規定角度（図３では９０度）回転させた枠３０３を配置し、該枠３０３の内部に規定のマーク３０４を配置したシートである。図３に示したマーカ３０１は、現実空間中に固定して配置されるのであれば、如何なる方法で現実空間中に設けても構わない。例えば、マーカ３０１を壁面に貼り付けても良いし、天井からつるしても構わない。また、壁面に設けた若しくは天井からつるした表示画面にマーカ３０１の画像を表示しても良い。また、本実施形態で使用可能なマーカの構成は図３に示した構成に限らない。
次に、表示装置１０１の表示画面１１５に表示画像を表示するためにＣＰＵ１１１が行う処理について、図６のフローチャートを用いて説明する。なお、図６のフローチャートに従った処理は、１フレーム分の表示画像を表示画面１１５に表示させるための処理である。然るにＣＰＵ１１１は、図６のフローチャートに従った処理を繰り返し行うことで、複数フレーム分の表示画像を表示画面１１５に表示させることができる。
ステップＳ６０１では、ＣＰＵ１１１は、カメラ１１４から出力された撮像画像（Ｎフレーム目の撮像画像）を取得し、該取得した撮像画像を不揮発性メモリ１１３に保存する。
ステップＳ６０２では、ＣＰＵ１１１は、ステップＳ６０１で取得したＮフレーム目の撮像画像（現フレームの撮像画像）においてマーカ３０１が写っている画像領域をマーカ領域として検出する。撮像画像からマーカ領域を検出するための技術には様々な技術があり、本ステップでは如何なる技術を用いて撮像画像からマーカ領域を検出しても良い。例えば、予めマーカを学習させた認識モデルを用いて、撮像画像から該マーカの画像領域をマーカ領域として検出するようにしても良いし、パターンマッチング技術により、撮像画像からマーカの画像と最も一致する画像領域をマーカ領域として検出するようにしても良い。
ステップＳ６０３では、ＣＰＵ１１１は、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像であるのか否かを判断する。この判断の結果、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像であれば、処理はステップＳ６０４に進み、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後にマーカ領域を検出した２枚目以降の撮像画像であれば、処理はステップＳ６０５に進む。
ステップＳ６０４では、ＣＰＵ１１１は、ステップＳ６０２で検出したマーカ領域、すなわち、表示装置１０１の起動後に初めて検出したマーカ領域の形状を規定する形状情報をＲＡＭ１１２に格納する。形状情報は、例えば、撮像画像上におけるマーカ領域の四隅の画像座標である。そして更にＣＰＵ１１１は、基準形状を有する表示画像（基準表示画像と称する場合がある）を表示画面１１５に表示する。以下では説明上、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像である場合には、図５Ｂに示す表示画像５０２が基準表示画像として表示画面１１５に表示されるものとして説明する。この例でいうところの「基準表示画像」とは「基準サイズを有する長方形の表示画像」に相当する。
一方、ステップＳ６０５では、ＣＰＵ１１１は、ステップＳ６０４でＲＡＭ１１２に格納した形状情報が示す形状から、Ｎフレーム目の撮像画像についてステップＳ６０２で検出したマーカ領域の形状へ、の変化を検出する。
ステップＳ６０６では、ＣＰＵ１１１は、ステップＳ６０５で求めた形状の変化に応じて基準表示画像の形状を制御して新たな表示画像を生成し、該生成した表示画像を表示画面１１５に表示させる。
ここで、ステップＳ６０５及びステップＳ６０６における処理について、図４Ａ〜４Ｄ，５Ａ〜５Ｄを例にとり説明する。
図４Ａ〜４Ｄには、撮像画像中におけるマーカ３０１の様々な写り方の一例を示している。撮像画像におけるマーカ３０１の写り方は、カメラ１１４とマーカ３０１との間の距離や、マーカ３０１の面の法線方向とカメラ１１４の光軸方向との関係などに応じて変化する。
例えば、マーカ３０１の位置から該マーカ３０１の法線方向に距離ｄ１だけ離間した位置から該マーカ３０１を正面から撮像したことで、図４Ａの撮像画像４０１ａが得られたとする。撮像画像４０１ａにはマーカ３０１が適当なサイズのマーカ４０１ｂとして写っている。
ここで、マーカ３０１の位置から該マーカ３０１の法線方向に距離ｄ２（ｄ２＞ｄ１）だけ離間した位置から該マーカ３０１を正面から撮像すると、図４Ｂに示す如く、マーカ４０１ｂより小さいサイズのマーカ４０２ｂが写った撮像画像４０２ａが得られる。
また、マーカ３０１の位置から該マーカ３０１の法線方向に距離ｄ１だけ離間した位置を位置Ｐとしたとき、位置Ｐから該マーカ３０１に向かって左側に適当な距離だけ離間した位置から該マーカ３０１を撮像すると、図４Ｃに示す如く、左辺及び右辺のそれぞれが、マーカ４０１ｂの左辺よりも長く、マーカ４０１ｂの右辺よりも短いマーカ４０４ｂが写った撮像画像４０４ａが得られる。
また、位置Ｐから該マーカ３０１に向かって右側に適当な距離だけ離間した位置から該マーカ３０１を撮像すると、図４Ｄに示す如く、左辺及び右辺のそれぞれが、マーカ４０１ｂの左辺よりも短く、マーカ４０１ｂの右辺よりも長いマーカ４０５ｂが写った撮像画像４０５ａが得られる。
このように、マーカ３０１とカメラ１１４との位置関係に応じて、撮像画像中のマーカ３０１の見え方は変化する。本実施形態では、表示装置１０１の起動後に初めて撮像画像からマーカ領域を検出した場合には、該検出したマーカ領域の形状に関わらず、基準表示画像（ここでは表示画像５０２）を表示画面１１５に表示する。つまり、図４Ａ〜４Ｄを例にとると、表示装置１０１の起動後に初めて撮像画像から検出したマーカ領域が、マーカ４０１ｂ、４０２ｂ、４０４ｂ、４０５ｂの何れの画像領域であっても、その形状に関わらず、基準表示画像を表示する。そして、それ以降のフレームであるＮフレーム目の撮像画像からマーカ領域を検出した場合には、形状情報が示す形状から該マーカ領域の形状への変化を求め、該求めた変化に応じて表示画像５０２の形状を制御した新たな表示画像を生成して表示する。
例えば、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ｂの撮像画像４０２ａであるとする。このとき、形状情報が示す形状はマーカ４０２ｂの形状である。そしてこのときに、基準表示画像として表示画像５０２が表示画面１１５に表示されたとする。
そしてその後、Ｎフレーム目の撮像画像として撮像画像４０１ａを取得したとする。この場合は、マーカ４０２ｂの形状からマーカ４０１ｂの形状への変化を求める。形状の変化を求める方法には様々な方法があるが、ここではその一例を挙げる。先ず、撮像画像４０１ａにおけるマーカ４０１ｂの四隅の画像座標を求める。そして、形状情報が示すマーカ４０２ｂの四隅の画像座標からマーカ４０１ｂの四隅の画像座標への座標変換パラメータ（マーカ４０２ｂのマーカ領域の形状をマーカ４０１ｂのマーカ領域の形状に変形させるための領域変形パラメータ）を求める。そして、該座標変換パラメータを用いて表示画像５０２の四隅の画像座標を変換することで該表示画像５０２を変形させた表示画像５０１を生成し、該生成した表示画像５０１を表示画面１１５に表示させる。その結果、図５Ａに示す如く、表示画面１１５には、表示画像５０２を、マーカ４０２ｂのサイズに対するマーカ４０１ｂのサイズの拡大率に応じて拡大した表示画像５０１が表示されることになる。これは、撮像画像４０１ａ内のマーカ４０１ｂのサイズが、撮像画像４０２ａ内のマーカ４０２ｂのサイズよりも大きくなっているため、これに合わせて、表示画像５０２を拡大した表示画像５０１を表示したことに起因する。
また、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ａの撮像画像４０１ａであり、そのときに表示した基準表示画像が表示画像５０１であり、Ｎフレーム目の撮像画像として撮像画像４０２ａを取得した場合には、例えば、撮像画像４０２ａにおけるマーカ４０２ｂの四隅の画像座標を求め、形状情報が示すマーカ４０１ｂの四隅の画像座標からマーカ４０２ｂの四隅の画像座標への座標変換パラメータを求め、該座標変換パラメータを用いて表示画像５０１の四隅の画像座標を変換させた表示画像５０２を生成し、該生成した表示画像５０２を表示画面１１５に表示させる。
また、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ａの撮像画像４０１ａであり、そのときに表示した基準表示画像が表示画像５０１であり、Ｎフレーム目の撮像画像として撮像画像４０４ａを取得した場合には、例えば、撮像画像４０４ａにおけるマーカ４０４ｂの四隅の画像座標を求め、形状情報が示すマーカ４０１ｂの四隅の画像座標からマーカ４０４ｂの四隅の画像座標への座標変換パラメータを求め、該座標変換パラメータを用いて表示画像５０１の四隅の画像座標を変換させた表示画像５０４を生成し、該生成した表示画像５０４を表示画面１１５に表示させる。これは、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ｂの撮像画像４０２ａであっても同様である。
また、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ａの撮像画像４０１ａであり、そのときに表示した基準表示画像が表示画像５０１であり、Ｎフレーム目の撮像画像として撮像画像４０５ａを取得した場合には、例えば、撮像画像４０５ａにおけるマーカ４０５ｂの四隅の画像座標を求め、形状情報が示すマーカ４０１ｂの四隅の画像座標からマーカ４０５ｂの四隅の画像座標への座標変換パラメータを求め、該座標変換パラメータを用いて表示画像５０１の四隅の画像座標を変換した表示画像５０５を生成し、該生成した表示画像５０５を表示画面１１５に表示させる。これは、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ｂの撮像画像４０２ａであっても同様である。
このような構成によれば、ＨＭＤ（頭部）の位置姿勢に応じた画像表示を行う場合、従来のように、ＨＭＤの位置姿勢をセンサなどを用いて計測したり、センサを用いて収集した情報やマーカの３次元位置姿勢なども考慮して仮想３次元空間における視点からの画像を生成するといった複雑な演算処理を行う必要はなく、撮像画像中のマーカ領域の形状の変化のみに応じて、ＨＭＤ（頭部）の位置姿勢に応じた画像表示を行うことができる。
［第２の実施形態］
第１の実施形態では、表示装置１０１の起動後に初めて撮像画像から検出したマーカ領域の形状を示す情報を形状情報としたが、他のフレームにおけるマーカ領域の形状を示す情報であっても良い。例えば、最近に検出したマーカ領域の形状を示す情報を形状情報としても良い。
また、第１の実施形態では、ＨＭＤの代わりに、ハンドヘルド表示装置、スマートフォン、タブレット端末装置を使用しても良いが、何れの装置であっても、現実空間の動画像を撮像するカメラを有する必要がある。
また、表示画面１１５に表示画像を表示する場合には、カメラ１１４による撮像画像も表示しても良い。例えば、撮像画像上のマーカ領域に重ねて表示画像を表示しても良い。もちろん、表示画像の表示位置はマーカ領域に重なる位置に限らない。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

Claims (7)

  1. 表示装置のコンピュータを、
    動画像における各フレームの撮像画像を取得する取得手段、
    前記取得手段が取得した第１フレームの撮像画像から検出したマーカの形状を規定する形状情報をメモリに格納し、該形状に関わらず、基準形状を有する基準表示画像を前記表示装置の表示画面に表示させる第１表示制御手段、
    前記取得手段が前記第１フレームよりも後に取得した第２フレームの撮像画像から前記マーカを検出した場合には、前記形状情報が示す形状を前記第２フレームの撮像画像から検出した前記マーカの形状に変形させるためのパラメータを求め、前記基準表示画像の形状を該パラメータを用いて変化させた表示画像を生成して前記表示画面に表示させる第２表示制御手段
    として機能させるためのコンピュータプログラム。
  2. 前記第１フレームの撮像画像は、
    前記表示装置の起動後に初めて前記マーカを検出した撮像画像であることを特徴とする請求項１に記載のコンピュータプログラム。
  3. 前記第２表示制御手段は、
    前記第２フレームの撮像画像から前記マーカを検出した場合には、前記第１フレームの撮像画像から検出した前記マーカの四隅の画像座標から前記第２フレームの撮像画像から検出した前記マーカの四隅の画像座標への座標変換を行う座標変換パラメータを求め、前記基準表示画像の四隅の画像座標を該座標変換パラメータを用いて変換することで、前記基準表示画像の形状を変化させた表示画像を生成して前記表示画面に表示させることを特徴とする請求項１または２に記載のコンピュータプログラム。
  4. 前記取得手段は、前記表示装置が有するカメラから前記動画像における各フレームの撮像画像を取得することを特徴とする請求項１乃至３の何れか１項に記載のコンピュータプログラム。
  5. 前記表示装置はスマートフォンであることを特徴とする請求項１乃至４の何れか１項に記載のコンピュータプログラム。
  6. 表示装置であって、
    動画像における各フレームの撮像画像を取得する取得手段と、
    前記取得手段が取得した第１フレームの撮像画像から検出したマーカの形状を規定する形状情報をメモリに格納し、該形状に関わらず、基準形状を有する基準表示画像を前記表示装置の表示画面に表示させる第１表示制御手段と、
    前記取得手段が前記第１フレームよりも後に取得した第２フレームの撮像画像から前記マーカを検出した場合には、前記形状情報が示す形状を前記第２フレームの撮像画像から検出した前記マーカの形状に変形させるためのパラメータを求め、前記基準表示画像の形状を該パラメータを用いて変化させた表示画像を生成して前記表示画面に表示させる第２表示制御手段と
    を備えることを特徴とする表示装置。
  7. 請求項６に記載の表示装置を有する頭部装着型表示装置。
JP2018558610A 2016-12-28 2016-12-28 コンピュータプログラム、表示装置、頭部装着型表示装置 Expired - Fee Related JP6751777B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/089106 WO2018123022A1 (ja) 2016-12-28 2016-12-28 コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ

Publications (2)

Publication Number Publication Date
JPWO2018123022A1 JPWO2018123022A1 (ja) 2019-11-14
JP6751777B2 true JP6751777B2 (ja) 2020-09-09

Family

ID=62710355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018558610A Expired - Fee Related JP6751777B2 (ja) 2016-12-28 2016-12-28 コンピュータプログラム、表示装置、頭部装着型表示装置

Country Status (4)

Country Link
US (1) US20190318503A1 (ja)
EP (1) EP3550524A4 (ja)
JP (1) JP6751777B2 (ja)
WO (1) WO2018123022A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6640294B1 (ja) * 2018-08-24 2020-02-05 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、携帯端末装置、及び方法
WO2021140631A1 (ja) * 2020-01-09 2021-07-15 マクセル株式会社 空間認識システム、空間認識方法、および情報端末

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944600B2 (ja) 1978-01-26 1984-10-30 セイコーエプソン株式会社 電子時計
JP4550768B2 (ja) * 2006-05-09 2010-09-22 日本電信電話株式会社 画像検出方法および画像検出装置
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP5040796B2 (ja) * 2008-05-09 2012-10-03 大日本印刷株式会社 室内調度品購入支援システム、方法、プログラム、媒体
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
US9613461B2 (en) * 2012-12-10 2017-04-04 Sony Corporation Display control apparatus, display control method, and program
JP6225538B2 (ja) * 2013-07-24 2017-11-08 富士通株式会社 情報処理装置、システム、情報提供方法および情報提供プログラム
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
JP2015114758A (ja) * 2013-12-10 2015-06-22 株式会社デンソーウェーブ 情報コード生成方法、情報コード、情報コード読取装置、及び情報コード利用システム
JP2016052114A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 画像処理システム、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
WO2018123022A1 (ja) 2018-07-05
JPWO2018123022A1 (ja) 2019-11-14
EP3550524A4 (en) 2019-11-20
US20190318503A1 (en) 2019-10-17
EP3550524A1 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR101878376B1 (ko) 시선 기반의 제어 장치 및 그것의 기기 제어 방법
JP6517255B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
WO2016008265A1 (zh) 一种定位位置的方法及装置
US20150339859A1 (en) Apparatus and method for navigating through volume image
JP6187668B1 (ja) 表示装置、画像処理装置及びプログラム
US11972532B2 (en) Display terminal, display control system and display control method
JP2021105749A (ja) 情報処理装置、情報処理方法およびプログラム
JP6751777B2 (ja) コンピュータプログラム、表示装置、頭部装着型表示装置
JP2014010362A (ja) 映像演出装置
JP2023024471A (ja) 情報処理装置および情報処理方法
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
US9300908B2 (en) Information processing apparatus and information processing method
KR20170110920A (ko) 디스플레이 장치, 및 디스플레이 장치의 제어방법
JP6982203B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム
JP6765846B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015043920A (ja) 撮像支援装置及び撮像システム並びにプログラム
JP2014096057A (ja) 画像処理装置
CN115917609A (zh) 信息处理装置、信息处理方法和存储介质
JP6399158B2 (ja) 画像処理システム
JP2016213675A (ja) 遠隔コミュニケーションシステム、その制御方法、及びプログラム
CN113614675A (zh) 头戴式信息处理装置和头戴式显示系统
JP2018165836A (ja) 表示装置、画像処理装置及びプログラム
JP2019045998A (ja) 情報処理装置及びその方法、プログラム
WO2022208595A1 (ja) ウェアラブル端末装置、プログラムおよび報知方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R150 Certificate of patent or registration of utility model

Ref document number: 6751777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees