JP6659924B2 - ヘッドマウントディスプレイの提示の調整 - Google Patents

ヘッドマウントディスプレイの提示の調整 Download PDF

Info

Publication number
JP6659924B2
JP6659924B2 JP2015076818A JP2015076818A JP6659924B2 JP 6659924 B2 JP6659924 B2 JP 6659924B2 JP 2015076818 A JP2015076818 A JP 2015076818A JP 2015076818 A JP2015076818 A JP 2015076818A JP 6659924 B2 JP6659924 B2 JP 6659924B2
Authority
JP
Japan
Prior art keywords
hmd
vehicle
image
difference
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015076818A
Other languages
English (en)
Other versions
JP2015204616A (ja
Inventor
アツモン ダン
アツモン ダン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Red Bend Ltd
Original Assignee
iOnRoad Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iOnRoad Technologies Ltd filed Critical iOnRoad Technologies Ltd
Publication of JP2015204616A publication Critical patent/JP2015204616A/ja
Application granted granted Critical
Publication of JP6659924B2 publication Critical patent/JP6659924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)

Description

本発明は、そのいくつかの実施形態において、ヘッドマウントディスプレイの配向に関し、より具体的には、これらに限定されないが、車両でのヘッドマウントディスプレイの配向および提示の調整に関する。
ヘッドマウントディスプレイまたはヘルメットマウントディスプレイは、どちらもＨＭＤと略記され、頭部に装着するまたはヘルメットの一部としての表示デバイスであり、片目（単眼ＨＭＤ）または両目（双眼ＨＭＤ）の前方に小型の表示光学装置を有する。光学ヘッドマウントディスプレイ（ＯＨＭＤ）もあるが、これは、投影画像を反射させる能力、ならびにユーザがそれを通して見ることを可能にする能力を有する、着用可能なディスプレイである。
代表的なＨＭＤは、ヘルメット、眼鏡（データ眼鏡としても知られる）、またはバイザーに埋め込まれたレンズおよび半透明の鏡を伴う、１つまたは２つの小型ディスプレイを有する。表示ユニットは、小型化されており、ＣＲＴ、ＬＣＤ、シリコン上液晶（ＬＣｏｓ）、またはＯＬＥＤが挙げられる。一部の販売業者は、総解像度および視野を高めるために、多数のマイクロディスプレイを用いている。
拡張現実（ＡＲ）オブジェクトをＨＭＤ上に提示するとき、提示されるＡＲオブジェクトは、ユーザの頭部の移動と相関させなければならない。これは、通常、ＨＭＤ上に位置する画像センサ（複数可）および／または行動検出器（複数可）を使用して周囲に対するＨＭＤの配向を計算し、その配向に基づいて、ＨＭＤ上のＡＲオブジェクトの提示を調整することによって確立される。
ＨＭＤは、データ、運航指示、統計、リアルタイムメッセージ、および通知によって、運転経験を高めるために使用することができるので、運転しながらＨＭＤを使用することは、多くの利点を有する。
例えば、Ｎｉｓｓａｎ ３Ｅヘッドマウントディスプレイは、ユーザが自動車の内部構造に関する様々な細かい場所を見ることを可能にし、一方で、従来のダッシュボードの一群のメーター類は、通常通りに他のレイアウトを運転者に提供する。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、ＨＭＤ移動データを収集するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、車両移動データを収集するために、車両に固定された少なくとも１つの車載センサを使用することと、ＨＭＤ移動データと車両移動データとの差を識別するために、ＨＭＤ移動データおよび車両移動データの解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。
随意に、少なくとも１つの車載センサは、車両マウント上に配置されるモバイルデバイスの構成要素である。
本発明のいくつかの実施形態によれば、本方法を行うように適合されるコンピュータ実行可能な命令を含む、コンピュータ読み出し可能な媒体が提供される。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、ＨＭＤ移動データを収集する、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサと、車両移動データを収集する、車両に固定された少なくとも１つのデバイスセンサと、ＨＭＤ移動データと車両移動データとの差を識別するために、ＨＭＤ移動データおよび車両移動データの解析を行い、差に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。
随意に、ＨＭＤ移動データおよび車両移動データは、無線接続によって、解析および計算モジュールに転送される。
随意に、解析および計算モジュールは、ＨＭＤにインストールされたコンピュータプログラムである。
随意に、解析および計算モジュールは、モバイルデバイスにインストールされたコンピュータプログラムである。
随意に、解析および計算モジュールは、車両のコンピューティングデバイスの一部としてインストールされたコンピュータプログラムである。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、景色の車両画像を取り込むために、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。
随意に、撮像デバイスは、ダッシュボードカメラである。
随意に、撮像デバイスは、フロントガラスに取り付けられる。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込む車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、景色の車両画像を取り込む、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、解析および計算モジュールであって、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析を行い、差に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器を使用して、現在のＨＭＤデバイス運動を測定することと、車両にインストールされた少なくとも１つの車両運動検出器を使用して、現在の車両運動を測定することと、現在の車両運動と現在のＨＭＤデバイス運動との差を識別するために、現在のＨＭＤデバイス運動および現在の車両運動の解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。
随意に、本方法はさらに、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、景色の車両画像を取り込むために、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することとをさらに含み、行うことはさらに、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するための、ＨＭＤ画像および車両画像の解析を含み、計算することはまた、見かけの位置の差にも基づく。
随意に、本方法はさらに、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することを含み、行うことは、ＨＭＤ画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するための、ＨＭＤ画像の解析を含み、計算することはまた、見かけの位置にも基づく。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、現在のＨＭＤデバイス運動を測定する、車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、現在の車両運動を測定する、車両にインストールされた少なくとも１つの車両運動検出器と、解析および計算モジュールであって、現在の車両運動と現在のＨＭＤデバイス運動との差を識別するために、現在のＨＭＤデバイス運動および現在の車両運動の解析を行い、差に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、ＨＭＤ画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析を行うことと、１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズに基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。
随意に、１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズは、スケール不変特徴変換（ＳＩＦＴ）過程を使用して検出される。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、運転者制御領域のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、解析および計算モジュールであって、ＨＭＤ画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析を行い、１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズに基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、運転者の制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、および現在のＨＭＤデバイス運動を測定するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサおよび少なくとも１つのＨＭＤデバイス運動検出器を使用することと、景色の車両画像を取り込むために、および現在の車両運動を測定するために、車両に固定された撮像デバイスの少なくとも１つのデバイス画像センサおよび少なくとも１つの車両運動検出器を使用することと、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のマーキング画像を取り込むために、少なくとも１つのＨＭＤ画像センサを使用することと、解析を行うことであって、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差、現在の車両運動と現在のＨＭＤデバイス運動との差、およびマーキング画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行うことと、差および見かけの位置に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。
いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込み、かつ、運転者制御領域のマーキング画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、現在のＨＭＤデバイス運動を測定する、ＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、景色の車両画像を取り込む、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、現在の車両運動を測定する、車両にインストールされた少なくとも１つの車両運動検出器と、解析および計算モジュールであって、解析を行うことであって、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差、現在の車両運動と現在のＨＭＤデバイス運動との差、およびマーキング画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行い、差および見かけの位置に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。
いくつかの本発明の実施形態の一態様によれば、立体的画像を取り込む方法が提供され、該方法は、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）画像センサを使用することと、景色の車両画像を取り込むために、車両に固定された基部上に載置された撮像デバイスの少なくとも１つの車両画像センサを使用することと、立体的画像を作成するために、ＨＭＤ画像と車両画像を組み合わせることとを含む。
いくつかの本発明の実施形態の一態様によれば、立体的画像を取り込むためのシステムが提供され、該システムは、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、景色の車両画像を取り込む、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、ＨＭＤ画像と車両画像を組み合わせて立体的画像を作成するための、解析および計算モジュールとを備える。
別途定義されない限り、本明細書で使用される全ての技術用語および／または科学用語は、本発明が属する当業者によって一般に理解される意味と同じ意味を有する。本明細書で説明される方法および材料と類似または同等の方法および材料を本発明の実施形態の実践または試験において使用することができるが、例示的な方法および／または材料は、下で説明される。矛盾する場合は、定義を含めて、本特許明細書が優先される。加えて、材料、方法、および実施例は、例示的なものに過ぎず、必ずしも限定することを意図しない。
本発明の実施形態の方法および／またはシステムの実現形態は、選択されたタスクを、手動で、自動的に、またはそれらの組み合わせで行うこと、または完了することを含むことができる。さらに、本発明の方法および／またはシステムの実施形態の実際の機器および装置によって、いくつかの選択されたタスクを、オペレーティングシステムを使用して、ハードウェア、ソフトウェア、もしくはハードウェア、またはそれらの組み合わせによって実現することができる。
例えば、本発明の実施形態による選択されたタスクを行うためのハードウェアは、チップまたは回路として実現することができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、任意の適切なオペレーティングシステムを使用して、コンピュータによって実行する複数のソフトウェア命令として実現することができる。本発明の例示的な実施形態において、本明細書で説明される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、複数の命令を実行するためのコンピューティングプラットフォーム等の、データプロセッサによって行われる。随意に、データプロセッサは、命令および／もしくはデータを記憶するための揮発性メモリ、ならびに／または命令および／もしくはデータを記憶するための不揮発性記憶装置、例えば、磁気ハードディスクおよび／もしくは取り外し可能媒体を含む。随意に、ネットワーク接続も提供される。ディスプレイおよび／またはキーボードまたはマウス等のユーザ入力デバイスも、随意に提供される。
例えば、本願発明は以下の項目を提供する。
（項目１）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
ＨＭＤ移動データを収集するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、
車両移動データを収集するために、上記車両に固定された少なくとも１つの車載センサを使用することと、
上記ＨＭＤ移動データと上記車両移動データとの差を識別するために、上記ＨＭＤ移動データおよび上記車両移動データの解析を行うことと、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目２）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
ＨＭＤ移動データを収集する、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサと、
車両移動データを収集する、上記車両に固定された少なくとも１つのデバイスセンサと、
解析および計算モジュールであって、
上記ＨＭＤ移動データと上記車両移動データとの差を識別するために、上記ＨＭＤ移動データおよび上記車両移動データの解析を行い、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目３）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
上記景色の車両画像を取り込むために、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、上記ＨＭＤ画像および上記車両画像の解析を行うことと、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目４）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
上記景色の車両画像を取り込む、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
解析および計算モジュールであって、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、上記ＨＭＤ画像および上記車両画像の解析を行い、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目５）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器を使用して、現在のＨＭＤデバイス運動を測定することと、
上記車両にインストールされた少なくとも１つの車両運動検出器を使用して、現在の車両運動を測定することと、
上記現在の車両運動と上記現在のＨＭＤデバイス運動との差を識別するために、上記現在のＨＭＤデバイス運動および上記現在の車両運動の解析を行うことと、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目６）
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
上記景色の車両画像を取り込むために、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、をさらに含み、
上記行うことはさらに、上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するための、上記ＨＭＤ画像および上記車両画像の解析を含み、
上記計算することはまた、上記見かけの位置の差にも基づく、上記項目のいずれか一項に記載の方法。
（項目７）
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することをさらに含み、
上記行うことは、上記ＨＭＤ画像の中の上記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するための、上記ＨＭＤ画像の解析を含み、
上記計算することはまた、上記見かけの位置にも基づく、上記項目のいずれか一項に記載の方法。
（項目８）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
現在のＨＭＤデバイス運動を測定する、車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、
現在の車両運動を測定する、上記車両にインストールされた少なくとも１つの車両運動検出器と、
解析および計算モジュールであって、
上記現在の車両運動と上記現在のＨＭＤデバイス運動との差を識別するために、上記現在のＨＭＤデバイス運動および上記現在の車両運動の解析を行い、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目９）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
上記ＨＭＤ画像の中の上記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、上記ＨＭＤ画像の解析を行うことと、
上記１組のサイズ既知マーカーの各メンバーの上記見かけの位置およびサイズに基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目１０）
上記１組のサイズ既知マーカーの各メンバーの上記見かけの位置およびサイズは、スケール不変特徴変換（ＳＩＦＴ）過程を使用して検出される、上記項目のいずれか一項に記載の方法。
（項目１１）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、
上記運転者制御領域のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
解析および計算モジュールであって、
上記ＨＭＤ画像の中の上記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、上記ＨＭＤ画像の解析を行い、
上記１組のサイズ既知マーカーの各メンバーの上記見かけの位置およびサイズに基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目１２）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
運転者の制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、および現在のＨＭＤデバイス運動を測定するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサおよび少なくとも１つのＨＭＤデバイス運動検出器を使用することと、
上記景色の車両画像を取り込むために、および現在の車両運動を測定するために、上記車両に固定された撮像デバイスの少なくとも１つのデバイス画像センサおよび少なくとも１つの車両運動検出器を使用することと、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のマーキング画像を取り込むために、上記少なくとも１つのＨＭＤ画像センサを使用することと、
解析を行うことであって、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差、
上記現在の車両運動と上記現在のＨＭＤデバイス運動との差、および
上記マーキング画像の中の上記１組のサイズ既知のマーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行うことと、
上記差および上記見かけの位置に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目１３）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込み、かつ、上記運転者制御領域のマーキング画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
現在のＨＭＤデバイス運動を測定する、上記ＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、
上記景色の車両画像を取り込む、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
現在の車両運動を測定する、上記車両にインストールされた少なくとも１つの車両運動検出器と、
解析および計算モジュールであって、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差、上記現在の車両運動と上記現在のＨＭＤデバイス運動との差、および上記マーキング画像の中の上記１組のサイズ既知のマーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行い、
上記差および上記見かけの位置に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目１４）
立体的画像を取り込む方法であって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）画像センサを使用することと、
上記景色の車両画像を取り込むために、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つの車両画像センサを使用することと、
立体的画像を作成するために、上記ＨＭＤ画像と上記車両画像を組み合わせることと、
を含む、方法。
（項目１５）
立体的画像を取り込むためのシステムであって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
上記景色の車両画像を取り込む、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
上記ＨＭＤ画像と上記車両画像を組み合わせて立体的画像を作成するための、解析および計算モジュールと、
を備える、システム。
（摘要）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、ＨＭＤ移動データを収集するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、車両移動データを収集するために、車両に固定された少なくとも１つの車載センサを使用することと、ＨＭＤ移動データと車両移動データとの差を識別するために、ＨＭＤ移動データおよび車両移動データの解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。
添付図面を参照しながら、本発明のいくつかの実施形態を単なる例として本明細書で説明する。以下、詳細に図面を具体的に参照すると、示される詳細は、一例であり、本発明の実施形態の実例となる論議を目的とするものであることが強調される。これに関して、図面とともになされる説明は、本発明の実施形態がどのように実践され得るのかを当業者に明らかにする。
本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサに基づいてＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。 本発明のいくつかの実施形態による、ＨＭＤの提示を動的に配向するためのシステムの概略図である。 本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいてＨＭＤの提示を動的に配向するためのシステムを使用したときの、車両の例示的な設定の概略図である。 本発明のいくつかの実施形態による、画像センサを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。 本発明のいくつかの実施形態による、画像センサを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。 本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。 本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的配向するためのシステムの概略図である。 本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。 本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。 本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。 本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。 本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込む方法を概略的に表す流れ図である。 本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込むためのシステムの概略図である。
本発明は、そのいくつかの実施形態において、ヘッドマウントディスプレイの配向に関し、より具体的には、これらに限定されないが、車両でのヘッドマウントディスプレイの配向および提示の調整に関する。
ユーザが車両を運転しているときに、拡張現実（ＡＲ）オブジェクト等のデータを、ヘッドマウントディスプレイ、ヘルメットマウントディスプレイ（ＨＭＤ）光学ヘッドマウントディスプレイ（ＯＨＭＤ）に提示するとき、提示されるＡＲオブジェクトは、ユーザの頭部の移動および自動車の移動と相関させなければならない。周囲に対するＨＭＤの配向を計算するための標準的な配向方法は、車両に対するＨＭＤの配向が考慮されないので、正確でない場合がある。
本発明のいくつかの実施形態によれば、画像センサ（複数可）および／または運動検出器（複数可）等のセンサから収集されるデータを解析して、車両に対するＨＭＤの配向を計算し、そして、その配向に基づいて、提示を調整することによって、車両の運転者によって着用されるＨＭＤの提示をリアルタイムで動的に配向する方法およびシステムが提供される。これは、運転の全体を通して配向が変化するにつれて連続的に行われる。本発明のいくつかの実施形態によれば、配向は、ＨＭＤに位置するセンサからのデータと、ＨＭＤを着用するユーザによって運転される車両に載置されるセンサからのデータとの組み合わせに基づいて計算される。本方法は、ユーザが運転している間の提示を整列させることを可能にし、それぞれがユーザまたは車両の移動データを収集する複数の物理的に分離されたセンサからのデータを考慮することによって、振動、提示の不整列、およびアーチファクトを低減させる。組み合わせは、車両移動の影響を低減させることを可能にし、ユーザに、速度、距離、および方向の指示子等のデータ、アプリケーション情報のオーバーレイ、ラインマーカー、道路を区切るグラフィクス等の景色を高める層のより信頼性のある提示を提示する。
本発明のいくつかの実施形態によれば、運転者制御領域、フロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、ＨＭＤ画像センサが使用される。また、同じ景色の車両画像を取り込むために、車両に載置された撮像デバイスが使用される。次いで、景色の中に位置し、双方の画像に表されるオブジェクトの見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析が行われ、そして、その差に基づいて、配向が計算される。
本発明のいくつかの実施形態によれば、現在のＨＭＤデバイス運動は、ＨＭＤデバイスにインストールされた運動検出器を使用して測定され、現在の車両運動は、車両にインストールされた運動検出器を使用して測定される。次いで、現在の車両運動と現在のＨＭＤデバイス運動との差に基づいて、配向が計算される。
本発明のいくつかの実施形態によれば、既知の配設で配設された１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、ＨＭＤ画像センサが使用される。次いで、随意にスケール不変特徴変換（ＳＩＦＴ）過程を使用することによって、ＨＭＤ画像の中の１組のマーカーの各メンバーの見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析が行われ、そして、その見かけの位置およびサイズに基づいて、配向が計算される。
本発明のいくつかの実施形態によれば、ＡＲおよび／または他の目的に使用され得る立体的画像を作成するために組み合わせられる、景色のＨＭＤ画像および同じ景色の車両画像。
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その用途において、以下の説明に記載され、ならびに／または図面および／もしくは実施例で示される、構成要素および／もしくは方法の構造および配設の詳細に必ずしも限定されないことを理解されたい。本発明は、他の実施形態に対応することができ、または、様々な方法で実践または実行することができる。
本発明は、システム、方法、および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ読み出し可能なプログラム命令をそこに有する、コンピュータ読み出し可能な記憶媒体（複数可）を含み得る。
コンピュータ読み出し可能な記憶媒体は、命令実行デバイスによって使用するための命令を保持し、記憶することができる、有形のデバイスとすることができる。コンピュータ読み出し可能な記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組み合わせであり得るが、それらに限定されない。コンピュータ読み出し可能な記憶媒体のより具体的な例の網羅的でないリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、命令がそこに記録されたパンチカードまたは溝の中の隆起構造体等の機械的にコード化されたデバイス、および上記の任意の好適な組み合わせを含む。コンピュータ読み出し可能な記憶媒体は、本明細書で使用されるとき、電波もしくは他の自由に伝播する電磁波、導波路または他の伝送媒体通って伝播する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、またはワイヤを通って伝送される電気信号等の、それ自体が一時的信号であると解釈するべきではない。
本明細書で説明されるコンピュータ読み出し可能なプログラム命令は、コンピュータ読み出し可能な記憶媒体から、それぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／もしくは無線ネットワークを介して、外部コンピュータもしくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバーを含み得る。各コンピューティング／処理デバイスにおけるネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ読み出し可能なプログラム命令を受け取り、該コンピュータ読み出し可能なプログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ読み出し可能な記憶媒体に記憶するために転送する。
本発明の動作を実行するためのコンピュータ読み出し可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋもしくはＣ＋＋等のオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語もしくは類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードであり得る。コンピュータ読み出し可能なプログラム命令は、ユーザのコンピュータ上で全体的に、独立型ソフトウェアパッケージとしてユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的にかつリモートコンピュータ上で部分的に、またはリモートコンピュータもしくはサーバ上で全体的に実行され得る。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通してユーザのコンピュータに接続され得るか、または外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを通して）接続が行われ得る。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む、電子回路は、本発明の態様を行うために、コンピュータ読み出し可能なプログラム命令の状態情報を利用して電気回路をパーソナライズすることによって、コンピュータ読み出し可能なプログラム命令を実行し得る。
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品の流れ図図および／またはブロック図を参照して本明細書で説明される。流れ図図および／またはブロック図の各ブロック、および流れ図図および／またはブロック図におけるブロックの組み合わせは、コンピュータ読み出し可能なプログラム命令によって実現することができることが理解されるであろう。
これらのコンピュータ読み出し可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、１つの機械を生成し、よって、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令は、流れ図および／またはブロック図の１つまたは複数のブロックに指定される機能／作用を実現するための手段を形成する。コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスを特定の様式で機能するよう指示することができる、これらのコンピュータ読み出し可能なプログラム命令も、コンピュータ読み出し可能なプログラム命令に記憶され得、よって、命令がその中に記憶されたコンピュータ読み出し可能な記憶媒体は、流れ図および／またはブロック図の１つまたは複数のブロックに指定された機能／作用の態様を実現する命令を含む、製品を含む。
コンピュータ読み出し可能なプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされて、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で行わせて、コンピュータで実現される過程が生成され、よって、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令は、流れ図および／またはブロック図の１つまたは複数のブロックに指定された機能／作用を実現し得る。
図中の流れ図およびブロック図は、本発明の種々の実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示する。これに関して、流れ図またはブロック図中の各ブロックは、指定された論理関数（複数可）を実現するための１つ以上の実行可能命令を含む、モジュール、セグメント、または命令の一部分を表し得る。いくつかの代替の実現形態では、ブロック内で言及される関数は、図中で言及される順序以外の順序で起こり得る。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行され得、またはブロックは、あるときには、関係する機能に応じて、逆の順序で実行され得る。ブロック図および／または流れ図図の各ブロック、ならびにブロック図および／または流れ図図中のブロックの組み合わせは、指定された機能もしくは作用を行う、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する、専用ハードウェアに基づくシステムによって実現することができることにも留意されたい。
以下、図面を参照すると、図１は、本発明のいくつかの実施形態による、ＨＭＤに位置するセンサからのデータと、ＨＭＤを着用するユーザによって運転される車両に載置されたセンサからのデータとの組み合わせに基づいて、ＨＭＤの提示をリアルタイムで動的に配向する方法を概略的に表す流れ図である。また、図２を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて、ＨＭＤの提示を動的に配向するためのシステムの概略図である。また、図３を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤの提示を動的に配向するためのシステムを使用したときの、車両の例示的な設定の概略図である。
最初に、１０１で示されるように、車両２０７の運転者２１４によって着用されるＨＭＤデバイス２０１の位置および配向を示唆する情報は、画像センサおよび／または運動検出器等の、ＨＭＤ２０１にインストールされたセンサ（複数可）によって収集される。
また、１０２で示されるように、ＨＭＤデバイス２０１を着用する運転者２１４によって運転される車両２０７の位置および配向を示唆する情報は、画像センサおよび／または運動検出器等の、車両２０７に固定されたおよび／または車両２０７に固定された基部２１３に載置された、センサ（複数可）によって収集される。センサは、例えば、車両２０７の車体、スマートフォン等の自動車マウント上に位置付けられるモバイルデバイス、車両２０７のシステムの一部、および／または車両２０７のシステムから運動情報を受信するデバイスに取り付けられ得る。センサは、車両２０７のセクション、運動制御領域２０８に取り付けられ、そこでは、車両２０７の動作の情報が運転者２１４に、例えばダッシュボードに提示される。
次いで、１０３および１０４で示されるように、ＨＭＤ２０１にインストールされたセンサ（複数可）によって収集された情報と、車両２０７に固定されたセンサ（複数可）によって収集された情報との差を識別するために、収集された情報に対して、解析および計算モジュール２０５によって解析が行われる。
解析および計算モジュール２０５は、コンピュータプログラムであり得る。プログラムは、例えば、ＨＭＤデバイス２０１に、車両２０７のコンピューティングデバイスの一部としてスマートフォンおよび／またはタブレットコンピュータ等のモバイルデバイスに、リモートサーバに、および／または任意の他のデバイスにインストールされ得る。収集された情報は、例えば、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（ＷｉＦｉ（商標））等の無線ローカルエリアネットワーク（ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル等の無線パーソナルエリアネットワーク（ＷＰＡＮ）、および／またはセルラーネットワーク等の無線接続によって、ローカルエリアネットワーク（ＬＡＮ）等の有線接続によって、および／または任意の他の接続によって、センサから解析および計算モジュール２０５に転送され得る。
次いで、４０４で示されるように、差に基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が解析および計算モジュール２０５によって計算される。計算は、相関および／または変換アルゴリズムを含み得る。
最終的に、１０５で示されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。解析および計算モジュール２０５がＨＭＤデバイス２０１にインストールされていないとき、配向は、任意の種類の無線接続によってＨＭＤデバイス２０１に送信され得る。提示されるデータは、ＡＲオブジェクト、視覚情報、書き込まれた情報、および／または任意の他の要素を含み得る。配向の結果として生じる調整は、運転者の頭部の移動ならびに自動車の移動を含む。
以下、図４を参照すると、該図は、本発明のいくつかの実施形態による、画像センサを使用したＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図５を参照すると、該図は、本発明のいくつかの実施形態による、画像センサを使用したＨＭＤの提示を動的に配向するためのシステムの概略図である。
最初に、４０１で示されるように、運転者制御領域２０８、フロントガラス２０９の一部、ならびにフロントガラス２０９の一部および車両２０７の前方を通して見える景色２１０のＨＭＤ画像を取り込むために、ＨＭＤ２０１にインストールされた、小型カメラ等の、少なくとも１つのＨＭＤ画像センサ２０２が使用される。景色２１０は、車両２０７の前方の道路および任意の他のオブジェクトを含み得る。
また、４０２で示されるように、景色２１０の車両画像を取り込むために、車両２０７に固定された基部２１３上に載置された撮像デバイス２０４の少なくとも１つのデバイス画像センサが使用される。撮像デバイス２０４は、例えば、ダッシュボードカメラ、フロントガラス２０９に取り付けられたカメラ、自動車マウント上に位置付けられるモバイルデバイスのカメラ、および／または任意の他のカメラもしくは画像取り込みデバイスであり得る。
次いで、４０３で示されるように、景色２１０の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクト２１２の見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析が行われる。オブジェクト２１２は、例えば、車両２０７の前方に位置する縁石、標識、樹木、別の車両、および／または任意の他の静止もしくは移動しているオブジェクトであり得る。オブジェクト２１２の位置は、例えば、随意に特徴を分類するためのサポートベクターマシン（ＳＭＶ）アルゴリズムと組み合わせられる、スケール不変特徴変換（ＳＩＦＴ）過程および／またはＶｉｏｌａ−Ｊｏｎｅｓオブジェクト検出フレームワーク等の、画像の中の局所的な特徴を検出し、説明するように設計されたアルゴリズムを使用することによって検出され得る。
次いで、４０４で示されるように、差に基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。これは、オブジェクトの位置に基づいてカメラの相対位置を計算するように設計された、解析および計算モジュール２０５で実現されるアルゴリズムによって行われ得る。アルゴリズムは、例えば、２つの画像の視点間のアフィン変換および／または透視変換であり得る。
最後に、４０５で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。
以下、図６を参照すると、該図は、本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図７を参照すると、該図は、本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。
最初に、６０１で示されるように、ＨＭＤデバイス２０１にインストールされた少なくとも１つのＨＭＤデバイス運動検出器２０３を使用して、現在のＨＭＤデバイス運動が測定される。運動検出器２０３は、例えば、加速度計、ジャイロ、および／またはコンパスであり得る。
また、６０２で示されるように、車両２０７にインストールされた少なくとも１つの車両運動検出器２０６を使用して、現在の車両運動が測定される。運動検出器２０６は、例えば、車両２０７の車体に取り付けられた加速度計、自動車マウント上に位置付けられるモバイルデバイス、および／または車両に２０７のシステムから運動情報を受け取るデバイスであり得る。
次いで、６０３で示されるように、現在の運動間の差を識別するために、現在のＨＭＤデバイス運動および現在の車両運動の解析が行われる。差は、例えば、ＨＭＤデバイス２０１と車両２０７との間の現在の相対運動を計算するように設計されたアルゴリズムを使用することによって計算され得る。アルゴリズムは、例えば、各次元における相対運動を計算するために、現在の車両運動の各次元成分から、現在のＨＭＤデバイス運動の各次元成分（ｘ，ｙ，ｚ）を減算し得る。
次いで、６０４で示されるように、現在のＨＭＤデバイス運動と現在の車両運動との差に基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。計算は、例えば、３次元並進関数を含み得る。
最後に、６０５で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。
随意に、運動検出器を使用してＨＭＤの提示を動的に配向する方法は、画像センサを使用してＨＭＤの提示を動的に配向する方法に代わるものまたは追加するものである。画像センサおよび運動検出器からのデータは、計算される配向の精度を高めるために、組み合わせられ得るか、または比較され得る。
以下、図８を参照すると、該図は、本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図９を参照すると、該図は、本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。
最初に、８０１で示されるように、既知の配設で配設される１組のサイズ既知マーカー２１１を備える運転者制御領域２０８のＨＭＤ画像を取り込むために、画像センサ２０２が使用される。マーカーは、例えば、画像処理アルゴリズムによって使用可能な、Ｘ字状もしくはＯ字状等の形状、数字、および／または任意の他のマークであり得る。マーカーは、画像センサ２０４で見ることができる運転者制御領域２０８の任意の場所に位置付けられ、配設され得る。
次いで、８０２で示されるように、ＨＭＤ画像の中の各マーカー２１１の見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析が行われる。各マーカー２１１の見かけの位置およびサイズは、例えば、ＳＩＦＴ過程のような、画像の中の局所的な特徴を検出し、説明するように設計されたアルゴリズムを使用することによって検出され得る。
次いで、８０３で示されるように、各マーカー２１１の見かけの位置およびサイズに基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。これは、例えば三角測量によって、オブジェクトの位置に基づいてカメラの相対位置を計算するように設計された、解析および計算モジュール２０５で実現されるアルゴリズムによって行われ得る。
最後に、８０４で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。
随意に、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法は、運動検出器を使用してＨＭＤの提示を動的に配向する方法および／または画像センサを使用してＨＭＤの提示を動的に配向する方法と組み合わせられ得る。見かけの位置およびサイズマーカー２１１は、計算される配向の精度を高めるために、オブジェクト２１２の見かけの位置のデータおよび／またはＨＭＤデバイス２０１と車両２０７との現在の位置の差のデータとデータと組み合わせられ得るか、または比較され得る。
以下、図１０を参照すると、該図は、本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図１１を参照すると、該図は、本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。
最初に、１１１〜１１５で示されるように、ＨＭＤ画像および景色２１０の車両画像を取り込むために、および／またはマーカー２１１のマーキング画像を取り込むために、画像センサが使用され、そして、上で説明されるように、現在のＨＭＤデバイス運動および現在の車両運動を測定するために、運動検出器が使用される。画像センサ（複数可）によって取り込まれた情報は、景色２１０の画像だけ、マーカー２１１の画像だけ、または双方の画像を含み得る。
次いで、１１６〜１１７で示され、上で説明されるように、オブジェクト２１２の見かけの位置の差、運動間の差、および／または各マーカー２１１の見かけの位置およびサイズの差を識別するために解析が行われ、そして、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。
随意に、画像センサによって取り込まれる情報（すなわち、オブジェクト２１２の見かけの位置の差、ならびに各マーカー２１１の見かけの位置および／またはサイズ）は、車両２０７に対するＨＭＤデバイス２０１のより遅い移動、よって、運動検出器によって測定される情報（すなわち、運動間の差）を示す。運動検出器で測定される情報は、高周波、例えば、１キロヘルツの振動を示す。
随意に、画像センサによって取り込まれる情報から識別されるより遅い移動は、運動検出器によって測定される情報から識別されるより速い移動と組み合わせられる。
随意に、より遅い移動およびより速い移動を解析するためのアルゴリズムを使用することによって、近い将来の移動が予測される。
最後に、１１８で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。随意に、より遅い移動は、例えば経時的加重平均によって、より速い移動と平均される。これは、経時的に計算された配向の濃煙変化をもたらし得る。
以下、図１２を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込む方法を概略的に表す流れ図である。また、図１３を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込むためのシステムの概略図である。
最初に、１２１で示され、上で説明されるように、運転者制御領域２０８、フロントガラス２０９の一部、ならびにフロントガラス２０９の一部および車両２０７の前方を通して見える景色２１０のＨＭＤ画像を取り込むために、ＨＭＤ２０１にインストールされた少なくとも１つのＨＭＤ画像センサ２０２が使用される。
また、１２２で示され、上で説明されるように、景色２１０の車両画像を取り込むために、車両２０７に固定された基部２１３上に載置された撮像デバイス２０４の少なくとも１つのデバイス画像センサが使用される。
次いで、１２３で示されるように、立体的画像２１５を作成するために、ＨＭＤ画像および車両画像が組み合わせられる。ＨＭＤ画像および車両画像は、同じ景色の２つの僅かに異なる視野を描写し、したがって、立体的画像を作成することに対して適合性がある。立体的画像２１５の作成は、解析および計算モジュール２０５で実現されるアルゴリズムによって行われ得る。立体的画像２１５は、ＡＲ提示、運転シミュレーション、および／または任意の他の目的に使用され得る。
図中の流れ図およびブロック図は、本発明の種々の実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示する。これに関して、流れ図またはブロック図中の各ブロックは、指定された論理関数（複数可）を実現するための１つ以上の実行可能命令を含む、モジュール、セグメント、またはコードの一部分を表し得る。いくつかの代替の実現形態では、ブロック内で言及される関数は、図中で言及される順序以外の順序で起こり得ることにも留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行され得、またはブロックは、あるときには、関係する機能に応じて、逆の順序で実行され得る。ブロック図および／または流れ図図の各ブロック、ならびにブロック図および／または流れ図図中のブロックの組み合わせは、指定された機能もしくは作用を行う専用ハードウェアに基づくシステム、または専用ハードウェアおよびコンピュータ命令の組み合わせによって実現することができることにも留意されたい。
本発明の種々の実施形態の説明は、例示の目的で提示されたものであり、網羅的であること、または開示される実施形態に限定することを意図しない。説明される実施形態の範囲および趣旨を逸脱することなく、多くの修正例および変形例が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、実際の応用、または市場で見られる技術を超える技術的改善を最も良く説明するように、または他の当業者が本明細書で開示される実施形態を理解することを可能にするように選択されている。
本出願から満了までの特許の存続期間中に、数多くの関連するヘッドマウントディスプレイが開発されることが予期され、ヘッドマウントディスプレイという用語の範囲は、全てのそのような新しい技術を先験的に含むことを意図する。
「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」という用語、およびそれらの同根語は、「含むがそれに限定されない」ことを意味する。この用語は、「〜から成る」および「〜から本質的に成る」という用語を包含する。
「〜から本質的に成る」という慣用句は、組成または方法が追加的な原料および／またはステップを含み得ることを意味するが、この追加的が原料および／またはステップが特許請求の範囲に記載される組成または方法の基本的および新規な特徴を物質的に変化させない場合に限る。
本明細書で使用されるとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、別途文脈が明確に指示しない限り、複数の指示対象を含む。例えば、「１つの化合物」または「少なくとも１つの化合物」という用語は、その混合物を含む、複数の化合物を含み得る。
「例示的な」という用語は、本明細書において、例、事例、または例示としての役割を果たすために使用される。「例示的な」ものとして説明される任意の実施形態は、必ずしも、他の実施形態を超えて好ましいもしくは有益なものとして解釈されるものではなく、および／または他の実施形態からの特徴の組み込みを除外するものではない。
「随意に」という用語は、「幾つかの実施形態においては提供され、別の実施形態においては提供されない」ことを意味するように本明細書で使用される。本発明の任意の特定の実施形態は、そのような特徴が矛盾しない限り、複数の「随意の」特徴を含み得る。
本出願の全体を通して、本発明の種々の実施形態は、範囲形式で提示され得る。範囲形式での説明は、単に便宜および簡潔さのためのものであり、本発明の範囲に対する柔軟性のない限定として解釈されるべきではないことを理解されたい。故に、範囲の説明は、全ての可能な部分範囲ならびにその範囲内の個々の数値を具体的に開示したものとみなされるべきである。例えば、１〜６等の範囲の説明は、１〜３、１〜４、１〜５、２〜４、２〜６、３〜６等の部分範囲、ならびにその範囲内の個々の数字、例えば、１、２、３、４、５、および６を具体的に開示したものとみなされるべきである。これは、範囲の幅とは無関係に適用される。
数の範囲が本明細書で示されるときはいつでも、示される範囲内の任意の列記された数（端数または整数）を含むことを意味する。第１の指示数と第２の指示数との「間の範囲」、および第１の指示数「〜」第２の指示数「の範囲」という慣用句は、本明細書で同じ意味で使用され、また、第１および第２の指示数ならびに全てのそれらの間の端数および整数を含むことを意味する。
本発明のある特徴は、明確にするために、別々の実施形態の文脈で説明されるが、単一の実施形態の組み合わせでも提供され得ることを認識されたい。逆に、本発明の種々の特徴は、明確にするために、単一の実施形態の文脈で説明されるが、別々もしくは任意の適切な部分的組み合わせでも、または適切であれば、本発明の任意の他の説明される実施形態においても提供され得る。種々の実施形態の文脈で説明されるある特徴は、実施形態がそのような要素がなければ動作不能である場合を除いて、それらの実施形態の本質的特徴とみなすべきではない。
本発明は、その特定の実施形態と併せて説明されているが、多くの代替物、修正物、および変形物が当業者に明らかになることは明白である。故に、添付の特許請求の範囲の趣旨および広範囲に含まれる全てのそのような代替物、修正物、および変形物を包含することを意図する。
本明細書で言及される全ての刊行物、特許、および特許出願は、あたかも個々の刊行物、特許、または特許出願が、参照により本明細書に組み込まれているように具体的および個別に示されるごとき程度で、その全体が参照により本明細書に組み込まれる。加えて、本出願における任意の参考文献の引用または確認は、そのような参考文献が本発明に対する先行技術として利用可能であることを認めるものとして解釈するべきではない。項の見出しが使用される範囲において、そのような見出しは、必ずしも限定するものとして解釈するべきではない。

Claims (8)

  1. ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
    運転者制御領域、およびフロントガラスの一部、ならびに前記フロントガラスの前記一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、前記車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
    前記景色の車両画像を取り込むために、前記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、
    前記景色の中に位置し、前記ＨＭＤ画像に表されるオブジェクトの第１の見かけの位置を検出すること、前記景色の中に位置し、前記車両画像に表される前記オブジェクトの第２の見かけの位置を検出すること、および、前記第１の見かけの位置と前記第２の見かけの位置との差を識別することを実行するために、前記ＨＭＤ画像および前記車両画像の解析を行うことと、
    前記差に基づいて、前記車両に対する前記ＨＭＤの配向を計算することと、
    前記配向に基づいて、前記ＨＭＤ上のデータの提示を調整することと
    を含む、方法。
  2. ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
    運転者制御領域、およびフロントガラスの一部、ならびに前記フロントガラスの前記一部および車両の前方を通して見える景色のＨＭＤ画像を取り込む、前記車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
    前記景色の車両画像を取り込む、前記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
    解析および計算モジュールであって、
    前記景色の中に位置し、前記ＨＭＤ画像に表されるオブジェクトの第１の見かけの位置を検出すること、前記景色の中に位置し、前記車両画像に表される前記オブジェクトの第２の見かけの位置を検出すること、および、前記第１の見かけの位置と前記第２の見かけの位置との差を識別することを実行するために、前記ＨＭＤ画像および前記車両画像の解析を行うことと、
    前記差に基づいて、前記車両に対する前記ＨＭＤの配向を計算することと、
    前記配向に基づいて、前記ＨＭＤ上のデータの提示を調整することと
    を実行するための解析および計算モジュールと
    を備える、システム。
  3. ＨＭＤ移動データを収集するために、前記車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、
    車両移動データを収集するために、前記車両に固定された少なくとも１つの車載センサを使用することと、
    前記ＨＭＤ移動データと前記車両移動データとの差を識別するために、前記ＨＭＤ移動データおよび前記車両移動データの解析を行うことと
    をさらに備え、
    前記計算することは、前記ＨＭＤ移動データと前記車両移動データとの前記差および前記第１の見かけの位置と前記第２の見かけの位置との前記差に基づく、請求項１に記載の方法。
  4. ＨＭＤ移動データを収集する、車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤセンサと、
    車両移動データを収集する、前記車両に固定された少なくとも１つのデバイスセンサと
    をさらに備え、
    前記行うことは、
    前記ＨＭＤ移動データと前記車両移動データとの差を識別するために、前記ＨＭＤ移動データおよび前記車両移動データの解析を行うことを含み、
    前記計算することは、前記ＨＭＤ移動データと前記車両移動データとの前記差に基づく、請求項２に記載のシステム。
  5. 前記車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤデバイス運動検出器を使用して、現在のＨＭＤデバイス運動を測定することと、
    前記車両にインストールされた少なくとも１つの車両運動検出器を使用して、現在の車両運動を測定することと、
    前記現在の車両運動と前記現在のＨＭＤデバイス運動との差を識別するために、前記現在のＨＭＤデバイス運動および前記現在の車両運動の解析を行うことと
    をさらに含み、
    前記計算することは、前記現在の車両運動と前記現在のＨＭＤ運動との前記差および前記第１の見かけの位置と前記第２の見かけの位置との前記差に基づく、請求項１に記載の方法。
  6. 既知の配設で配設される１組のサイズ既知マーカーを備える前記運転者制御領域のマーキング画像を取り込むために、車両の前記運転者によって着用される前記ＨＭＤにインストールされた前記少なくとも１つのＨＭＤ画像センサを使用することをさらに含み、
    前記行うことは、前記マーキング画像の中の前記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するための、前記マーキング画像の解析を含み、
    前記計算することはまた、前記見かけの位置、および、前記１組のサイズ既知マーカーの各メンバーの前記サイズにも基づく、請求項５に記載の方法。
  7. 現在のＨＭＤデバイス運動を測定する、前記車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、
    現在の車両運動を測定する、前記車両にインストールされた少なくとも１つの車両運動検出器と
    をさらに備え、
    前記行うことは、前記現在の車両運動と前記現在のＨＭＤデバイス運動との差を識別するために、前記現在のＨＭＤデバイス運動および前記現在の車両運動の解析を行うことを含み、
    前記計算することは、前記現在の車両運動と前記現在のＨＭＤデバイス運動との前記差に基づく、請求項２に記載のシステム。
  8. 前記１組のサイズ既知マーカーの各メンバーの前記見かけの位置およびサイズは、スケール不変特徴変換（ＳＩＦＴ）過程を使用して検出される、請求項６に記載の方法。
JP2015076818A 2014-04-14 2015-04-03 ヘッドマウントディスプレイの提示の調整 Active JP6659924B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14164536.6A EP2933707B1 (en) 2014-04-14 2014-04-14 Head mounted display presentation adjustment
EP14164536.6 2014-04-14

Publications (2)

Publication Number Publication Date
JP2015204616A JP2015204616A (ja) 2015-11-16
JP6659924B2 true JP6659924B2 (ja) 2020-03-04

Family

ID=50543434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015076818A Active JP6659924B2 (ja) 2014-04-14 2015-04-03 ヘッドマウントディスプレイの提示の調整

Country Status (4)

Country Link
US (1) US9928653B2 (ja)
EP (1) EP2933707B1 (ja)
JP (1) JP6659924B2 (ja)
CN (1) CN104977717B (ja)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9509979B2 (en) 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
NO3136729T3 (ja) 2014-11-17 2018-06-16
US9659411B2 (en) * 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
GB2535536B (en) * 2015-02-23 2020-01-01 Jaguar Land Rover Ltd Apparatus and method for displaying information
FR3034681B1 (fr) * 2015-04-10 2017-05-12 Parrot Systeme de pilotage de drone en immersion.
DE102015212253B4 (de) * 2015-06-30 2018-11-08 Icaros Gmbh Ausrichtungssensorsystem und Ausrichtungssensorikverfahren
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US9454010B1 (en) 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
US9990008B2 (en) 2015-08-07 2018-06-05 Ariadne's Thread (Usa), Inc. Modular multi-mode virtual reality headset
US9606362B2 (en) 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
US9821920B2 (en) * 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US9988008B2 (en) 2015-10-26 2018-06-05 Active Knowledge Ltd. Moveable internal shock-absorbing energy dissipation padding in an autonomous vehicle
US10710608B2 (en) 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
US10717406B2 (en) 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
US11332061B2 (en) 2015-10-26 2022-05-17 Atnomity Ltd. Unmanned carrier for carrying urban manned vehicles
US10059347B2 (en) 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
US10976808B2 (en) * 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
US10589625B1 (en) 2015-12-11 2020-03-17 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of an actual vehicle component with a virtual vehicle component
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US10438410B2 (en) * 2015-12-22 2019-10-08 Intel Corporation Text enhancements for head-mounted displays
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US10969748B1 (en) * 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
JP2017129406A (ja) * 2016-01-19 2017-07-27 日本電気通信システム株式会社 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
DE102016102808A1 (de) * 2016-02-17 2017-08-17 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Steuerung eines an einem Fahrzeug richtbar angeordnetes Sichtgeräts
CN108701415B (zh) * 2016-02-25 2021-08-03 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
US10579162B2 (en) * 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10365481B2 (en) 2016-07-27 2019-07-30 Brillio LLC Method and system for automatically calibrating HMD device
US20180031849A1 (en) * 2016-07-29 2018-02-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Augmented reality head-up display road correction
CN106338828A (zh) * 2016-08-31 2017-01-18 京东方科技集团股份有限公司 车载增强现实系统、方法和设备
US10503245B2 (en) * 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US10186065B2 (en) * 2016-10-01 2019-01-22 Intel Corporation Technologies for motion-compensated virtual reality
CN108012110A (zh) * 2016-11-01 2018-05-08 法乐第(北京)网络科技有限公司 一种车外视频获取方法、装置及电子设备
US10088902B2 (en) * 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US10453261B2 (en) 2016-12-13 2019-10-22 Brillio LLC Method and electronic device for managing mood signature of a user
DE102016225261A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
FR3063713B1 (fr) * 2017-03-09 2019-07-05 Airbus Operations (S.A.S.) Systeme et procede d'affichage pour un aeronef
US10430671B2 (en) * 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
DE102017208881A1 (de) * 2017-05-05 2018-11-08 Audi Ag Mobile Sensorvorrichtung für ein in einem Fahrzeug einsetzbares am Kopf tragbares visuelles Ausgabegerät und Verfahren zum Betreiben eines Anzeigesystems
US10639557B2 (en) * 2017-06-22 2020-05-05 Jntvr Llc Synchronized motion simulation for virtual reality
US10527849B2 (en) * 2017-07-18 2020-01-07 Toyota Jidosha Kabushiki Kaisha Augmented reality vehicular assistance for color blindness
JP2019049831A (ja) * 2017-09-08 2019-03-28 パナソニックＩｐマネジメント株式会社 映像表示制御装置、映像表示システムおよび映像表示制御方法
DE102017217027A1 (de) * 2017-09-26 2019-03-28 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
US10423844B2 (en) * 2017-09-27 2019-09-24 Toyota Jidosha Kabushiki Kaisha Personalized augmented reality vehicular assistance for color blindness condition
US10585471B2 (en) 2017-10-03 2020-03-10 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on predicted events
DE102017217592A1 (de) * 2017-10-04 2019-04-04 Audi Ag Kinetosefreies Betrachten eines digitalen Inhalts in einem Fahrzeug
DE102017217923A1 (de) 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
DE102017218214A1 (de) * 2017-10-12 2019-04-18 Audi Ag Verfahren und System zum Betreiben wenigstens einer Virtual-Reality-Brille in einem Kraftfahrzeug
DE102017218352A1 (de) * 2017-10-13 2019-04-18 Audi Ag Tragbare Vorrichtung zur Reduzierung von simulatorkrankheitsbedingten Störungen bei Verwendung einer elektronischen Datenbrille in einem Fahrzeug
US10417829B2 (en) * 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
DE102018201509A1 (de) * 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102018201661A1 (de) * 2018-02-05 2019-08-08 Audi Ag Verfahren zum Überlagern eines virtuellen graphischen Objekts über eine reale Umgebung mittels einer AR-Anzeigeeinrichtung für Augmented-Reality sowie Kraftfahrzeug
US11436932B2 (en) 2018-04-27 2022-09-06 Red Six Aerospace Inc. Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace
US11869388B2 (en) 2018-04-27 2024-01-09 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11887495B2 (en) 2018-04-27 2024-01-30 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11508255B2 (en) 2018-04-27 2022-11-22 Red Six Aerospace Inc. Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience
US11422764B1 (en) 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display
US10884248B2 (en) 2018-07-20 2021-01-05 Facense Ltd. Hygienic head-mounted display for vehicles
US10551623B1 (en) 2018-07-20 2020-02-04 Facense Ltd. Safe head-mounted display for vehicles
JP7165532B2 (ja) * 2018-08-07 2022-11-04 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
DE102018216613A1 (de) * 2018-09-27 2020-04-02 Bayerische Motoren Werke Aktiengesellschaft Datenbrillen mit automatischer Ausblendung von angezeigten Inhalten für Fahrzeuge
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
US10559135B1 (en) * 2019-03-15 2020-02-11 Microsoft Technology Licensing, Llc Fixed holograms in mobile environments
US10816813B1 (en) * 2019-04-05 2020-10-27 Disney Enterprises, Inc. Systems and methods for enhancing accuracy of spatial location and rotational orientation determination of wearable head-mounted display device
DE102019116089A1 (de) * 2019-06-13 2020-12-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
CN110412768A (zh) * 2019-07-31 2019-11-05 京东方科技集团股份有限公司 一种可穿戴设备、显示装置及定位方法
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
IT201900017429A1 (it) 2019-09-27 2021-03-27 Milano Politecnico Metodo e sistema per l'assistenza alla guida di un veicolo
DE102019131640A1 (de) * 2019-11-22 2021-05-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
CN113132714B (zh) * 2019-12-31 2023-09-08 精工爱普生株式会社 电路装置、电子设备和移动体
EP3846009B1 (en) 2019-12-31 2023-05-10 Seiko Epson Corporation Display system, electronic apparatus, mobile body, and display method
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
DE102020105196A1 (de) * 2020-02-27 2021-09-02 Audi Aktiengesellschaft Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer Datenbrille
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
GB2598749A (en) * 2020-09-10 2022-03-16 Bae Systems Plc Method for tracking orientation of an object, tracker system and head or helmet-mounted display
GB2600540A (en) * 2020-09-10 2022-05-04 Bae Systems Plc Method for tracking orientation of an object, tracker system and head or helmet-mounted display
DE102021108116A1 (de) * 2020-11-18 2022-05-19 Chan & Owsianowski GbR (vertretungsberechtigte Gesellschafter: Nico Owsianowski, 13597 Berlin und Cheua-Hei Chan, 52066 Aachen) Haltevorrichtung zum ortsfesten Haltern einer Augmented-Reality-Brille, Anordnung aus einer Augmented-Reality-Brille und einer Gyroskopeinrichtung, Augmented-Reality-Brille, Set mit einer solchen Augmented-Reality-Brille und einer Haltevorrichtung hierfür, Fahrzeug sowie Verfahren zum Betreiben einer solchen Augmented-Reality-Brille
IT202100007862A1 (it) 2021-03-30 2022-09-30 Milano Politecnico Metodo e sistema di assistenza alla guida di un veicolo
DE102021109082A1 (de) * 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Posenbestimmung in einer Datenbrille
CN113465611B (zh) * 2021-06-29 2024-03-26 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
CN115442578A (zh) * 2021-12-29 2022-12-06 北京罗克维尔斯科技有限公司 车载vr眼镜图像显示方法、装置及系统
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11747891B1 (en) * 2022-07-15 2023-09-05 Google Llc Content output management in a head mounted wearable device
CN115278204A (zh) * 2022-07-27 2022-11-01 浙江极氪智能科技有限公司 显示装置使用方法、装置、设备及存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953000A (en) * 1997-06-02 1999-09-14 Weirich; John P. Bounded-display-surface system for the input and output of computer data and video graphics
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
GB9904669D0 (en) * 1999-03-01 1999-04-21 Marconi Electronic Syst Ltd Head tracker system
JP3403361B2 (ja) * 1999-09-30 2003-05-06 川崎重工業株式会社 ヘッド・マウント・ディスプレイ装置
US20010045978A1 (en) * 2000-04-12 2001-11-29 Mcconnell Daniel L. Portable personal wireless interactive video device and method of using the same
US6474159B1 (en) * 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
US7312766B1 (en) * 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
EP1990674A1 (en) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
JP2011071746A (ja) * 2009-09-25 2011-04-07 Ntt Docomo Inc 映像出力装置及び映像出力方法
DE102010016113A1 (de) * 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs
WO2011143655A1 (en) * 2010-05-14 2011-11-17 Advitech, Inc. System and method for prevention and control of the effects of spatial disorientation
JP5331146B2 (ja) * 2011-03-22 2013-10-30 株式会社東芝 単眼ヘッドマウントディスプレイ
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8692739B2 (en) * 2011-09-22 2014-04-08 GM Global Technology Operations LLC Dynamic information presentation on full windshield head-up display
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US20140247286A1 (en) * 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
CA2864003C (en) * 2012-02-23 2021-06-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US9630631B2 (en) * 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
US10111620B2 (en) * 2015-02-27 2018-10-30 Microsoft Technology Licensing, Llc Enhanced motion tracking using transportable inertial sensors to determine that a frame of reference is established

Also Published As

Publication number Publication date
JP2015204616A (ja) 2015-11-16
CN104977717A (zh) 2015-10-14
US20150294505A1 (en) 2015-10-15
EP2933707A1 (en) 2015-10-21
CN104977717B (zh) 2019-11-01
EP2933707B1 (en) 2017-12-06
US9928653B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6659924B2 (ja) ヘッドマウントディスプレイの提示の調整
US10223799B2 (en) Determining coordinate frames in a dynamic environment
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US9563981B2 (en) Information processing apparatus, information processing method, and program
US11747915B2 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US9696798B2 (en) Eye gaze direction indicator
US10884576B2 (en) Mediated reality
US10634918B2 (en) Internal edge verification
JP2018142164A5 (ja) 画像処理装置、情報処理方法及びプログラム
US10768711B2 (en) Mediated reality
US11024040B2 (en) Dynamic object tracking
US20170032559A1 (en) Simulated Transparent Device
EP3038061A1 (en) Apparatus and method to display augmented reality data
KR20170119807A (ko) 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법
US20160127718A1 (en) Method and System for Stereoscopic Simulation of a Performance of a Head-Up Display (HUD)
US11682045B2 (en) Augmented reality advertisements on objects
US11543665B2 (en) Low motion to photon latency rapid target acquisition
US20200132998A1 (en) Imaging assisting device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190823

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190918

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191021

R150 Certificate of patent or registration of utility model

Ref document number: 6659924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250