JP2024040034A - プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム - Google Patents

プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2024040034A
JP2024040034A JP2022144848A JP2022144848A JP2024040034A JP 2024040034 A JP2024040034 A JP 2024040034A JP 2022144848 A JP2022144848 A JP 2022144848A JP 2022144848 A JP2022144848 A JP 2022144848A JP 2024040034 A JP2024040034 A JP 2024040034A
Authority
JP
Japan
Prior art keywords
display
image
change
processor
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022144848A
Other languages
English (en)
Inventor
伸一郎 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022144848A priority Critical patent/JP2024040034A/ja
Priority to US18/463,406 priority patent/US20240087489A1/en
Priority to CN202311161457.6A priority patent/CN117687502A/zh
Priority to EP23196531.0A priority patent/EP4336319A1/en
Publication of JP2024040034A publication Critical patent/JP2024040034A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning

Abstract

【課題】対象物に対するナビゲーションを行うための表示画像について、残像を残りにくくすることができ、視認しやすくすることができるプロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムを提供する。【解決手段】透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行うプロセッサ。【選択図】図7

Description

本開示は、プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムに関する。
従来、現実空間に、画像を重ね合わせた状態で表示する、拡張現実(AR:Augmented Reality)機器等の透過型の表示装置が知られている。
透過型の表示装置を用いるユーザの脳内で、現実空間を視認した現実像と、表示画像を視認した表示像とが合成されることで、ユーザは現実像に表示像が重なった状態を視認する。表示画像を用いて、ユーザに対してナビゲーションを行う技術が知られている(例えば、特許文献1参照)。
特開2017-102242号公報
しかしながら、従来の技術では、ユーザの動き等に応じて、表示されている表示画像の位置等が変化する。これにより、表示画像の残像が生じてしまい、ユーザは表示画像を視認し難くなる場合がある。
本開示は、以上の事情を鑑みて成されたものであり、対象物に対するナビゲーションを行うための表示画像について、残像を残りにくくすることができ、視認しやすくすることができるプロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第1の態様のプロセッサは、透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、表示装置と対象物との相対位置の変化に基づいて、第2表示画像の表示位置を変化させ、第1表示画像の表示位置の変化量を、第2表示画像の表示位置の変化量よりも小さくする制御を行う。
本開示の第2の態様のプロセッサは、第1の態様のプロセッサにおいて、相対位置の変化に追従するように第2表示画像を表示させる制御を行う。
本開示の第3の態様のプロセッサは、第2の態様のプロセッサにおいて、相対位置の変化に追従して第2表示画像の表示位置を変化させている間は、第1表示画像の表示位置の変化量を、表示装置のユーザが第1表示画像の表示位置の変化を認識できる量よりも小さくする制御を行う。
本開示の第4の態様のプロセッサは、第3の態様のプロセッサにおいて、第1表示画像の表示位置の変化量を、ゼロとする制御を行う。
本開示の第5の態様のプロセッサは、第4の態様のプロセッサにおいて、対象物の存在する位置が、表示装置により表示可能な範囲外である場合、第1表示画像を表示しない制御を行う。
本開示の第6の態様のプロセッサは、第5の態様のプロセッサにおいて、対象物と第1表示画像との関連をユーザが視覚可能なように、または第1表示画像が表示される表示領域における、対象物に対応する仮想対象物画像と第1表示画像との関連をユーザが視覚可能なように第2表示画像を表示させる制御を行う。
本開示の第7の態様のプロセッサは、第6の態様のプロセッサにおいて、第2表示画像を表示させる制御は、対象物と第1表示画像とを連結するように表示させる制御、または仮想対象物画像と第1表示画像とを連結するように表示させる制御である。
本開示の第8の態様のプロセッサは、第7の態様のプロセッサにおいて、表示装置は、現実空間での位置が変化する。
本開示の第9の態様のプロセッサは、第8の態様のプロセッサにおいて、対象物は、現実空間での位置が変化する。
上記目的を達成するために本開示の第10の態様の画像処理装置は、透過型の表示装置の表示領域に第1表示画像と第2表示画像とを表示させる制御を行う制御装置であって、
少なくとも1つのプロセッサを備え、プロセッサが、第1表示画像の位置を現実空間における位置に変換し、変換後の現実空間における第1表示画像の位置と、対象物の位置との相対的な変化を検出し、表示領域に、相対的な変化に係わらず表示位置を固定したままで第1表示画像を表示させる制御を行い、相対的な変化に基づいて表示位置を変化させて第2表示画像を表示させる制御を行う。
上記目的を達成するために本開示の第11の態様の眼鏡型情報表示装置は、透過型の表示装置と、本開示のプロセッサと、を備える。
上記目的を達成するために、本開示の第12の態様の画像処理方法は、透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、表示装置と対象物との相対位置の変化に基づいて、第2表示画像の表示位置を変化させ、第1表示画像の表示位置の変化量を、第2表示画像の表示位置の変化量よりも小さくする制御を行う処理をプロセッサが実行する画像処理方法である。
上記目的を達成するために、本開示の第13の態様の画像処理プログラムは、透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、表示装置と対象物との相対位置の変化に基づいて、第2表示画像の表示位置を変化させ、第1表示画像の表示位置の変化量を、第2表示画像の表示位置の変化量よりも小さくする制御を行う処理をプロセッサに実効させるためのものである。
本開示によれば、対象物に対するナビゲーションを行うための表示画像について、残像を残りにくくすることができ、視認しやすくすることができる。
第1実施形態の眼鏡型情報表示装置の構成の一例を示す構成図である。 実施形態のARグラスの一例を示す斜視図である。 第1実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 第1実施形態のプロセッサによるナビゲーション機能について説明するための図である。 第1実施形態のプロセッサによるナビゲーション機能について説明するための図である。 第1実施形態のプロセッサの構成の一例を示すブロック図である。 仮想目的対象物画像の位置情報の導出方法の一例について説明するための図である。 第1実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。 画像処理における第2投影像更新処理の一例を示すフローチャートである。 ARグラスと目的対象物との距離に応じた第2投影像の例を示す図である。 ARグラスと目的対象物との距離に応じた第2投影像の例を示す図である。 第2実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 第2実施形態のプロセッサによる第1投影像及び第2投影像の表示例について説明するための図である。 第2実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。 画像処理における第2投影像更新処理の一例を示すフローチャートである。 第3実施形態の眼鏡型情報表示装置の構成の一例を示す構成図である。 第3実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 第3実施形態を説明するための図である。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
[第1実施形態]
図1を参照して、本実施形態の眼鏡型情報表示装置1の構成を説明する。図1に示すように、本実施形態の眼鏡型情報表示装置1は、AR(Augmented Reality)グラス10及びスマートフォン12を備える。
ARグラス10は、OLED(Organic Light Emitting Diode)26から投影された投影画像を現実像に重畳させた状態でユーザによる視認を可能にする装置である。図2には、本実施形態のARグラス10の一例の斜視図が示されている。図1及び図2に示すように、ARグラス10は、一対の左眼用透過部20L及び右眼用透過部20Rと、電子コンパス25と、OLED26と、を備える。本実施形態のARグラス10が、本開示の透過型の表示装置の一例である。
OLED26は、右眼用透過部20Rを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部20Rに情報を表す画像(投影画像)を投影する。
右眼用透過部20Rは、右眼用レンズ22R及び導光板24を含む。導光板24の一端には、OLED26から投影された投影画像に応じた光が入射される。導光板24の中を伝播した光は、出射部(図示省略)において向きを変えて、ユーザの眼の方向に出射される。導光板24から出射された投影画像に応じた光は、右眼用レンズ22Rを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ22Rを通した現実空間を現実像として右目で視認する。
そのため、OLED26から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ22Rを通した現実空間を表す現実像と、導光板24に投影された投影画像に応じた投影像とが重畳された状態となる。また、OLED26から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ22R及び導光板24を通した現実空間を表す現実像となる。
一方、左眼用透過部20Lは、左眼用レンズ22Lを含む。ユーザは、左眼用レンズ22Lを通した現実空間を左眼で視認する。
電子コンパス25は、地磁気を検出し、検出した地磁気に基づいて方位を特定する機能を有する。本実施形態の電子コンパス25は、ARグラス10が向いている向き、換言すると、ユーザの視野方向を検出するためのセンサである。電子コンパス25が検出した方向は、スマートフォン12に出力される。
一方、スマートフォン12は、CPU(Central Processing Unit)40及びGPS(Global Positioning System)モジュール47を備える。本実施形態のCPU40は、OLED26から導光板24に投影画像を投影させる制御を、OLED26に対して行う。
GPSモジュール47は、スマートフォン12が存在する位置を検出するためのセンサである。GPSモジュール47は、GPS衛星からの信号を受信し、受信した信号に基づいて、スマートフォン12の位置の経緯度を特定する。GPSモジュール47は、特定した経緯度を出力する。
図3には、スマートフォン12のハードウェア構成の一例を表したブロック図が示されている。図3に示すように、スマートフォン12は、CPU40、メモリ42、I/F(InterFace)部43、記憶部44、ディスプレイ46、GPSモジュール47、及び入力装置48を備える。CPU40、メモリ42、I/F部43、記憶部44、ディスプレイ46、GPSモジュール47、及び入力装置48は、システムバスやコントロールバス等のバス49を介して相互に各種情報の授受が可能に接続されている。
CPU40は、記憶部44に記憶された画像処理プログラム45を含む各種のプログラムをメモリ42へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、CPU40は、OLED26による投影像の表示の制御を行う。一例として本実施形態のプロセッサ41は、CPU40と画像処理プログラム45との組合せで構成される。メモリ42は、CPU40が処理を実行するためのワークメモリである。
CPU40において実行される画像処理プログラム45は、記憶部44に記憶される。また、記憶部44には、OLED26から投影する投影画像の画像データ(図示省略)や、その他の各種情報等も記憶される。記憶部44の具体例としては、HDD(Hard Disk Drive)やSSD(Solid State Drive)等が挙げられる。
I/F部43は、無線通信または有線通信により、OLED26との間で各種情報の通信を行う。ディスプレイ46及び入力装置48はユーザインタフェースとして機能する。ディスプレイ46は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ46は特に限定されるものではなく、液晶モニタ及びLED(Light Emitting Diode)モニタ等が挙げられる。また、入力装置48は、投影画像の投影に関する各種の指示や、ナビゲーションにおける目的地に関する情報を入力するためにユーザによって操作される。入力装置48は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン12では、ディスプレイ46と入力装置48とを一体化したタッチパネルディスプレイを採用している。
また、本実施形態のスマートフォン12のプロセッサ41の機能について説明する。本実施形態のスマートフォン12のCPU40は、ARグラス10の右眼用レンズ22Rに第1投影像81及び第2投影像82を投影することにより、ユーザが設定した目的地までナビゲーションを行う機能を有する。
ここで、本実施形態のプロセッサ41におけるナビゲーション機能について説明する。一例として、ここでは、ユーザが目的地として設定したバス停留所までナビゲーションを行う場合について説明する。
ユーザによる目的地の設定は、例えば、地名、駅名、停車場名、及び建造物名等をユーザが入力装置48により入力することや、ディスプレイ46に表示させた地図上の地点をユーザが入力装置48により指定することにより行われる。なお、本実施形態のプロセッサ41では、目的地に応じた目的対象物が設定される。例えば、ユーザがバス停留所を目的地として設定した場合、プロセッサ41は、現実世界において、そのバス停留所が存在する位置(座標)に該当する土地やバス停の名称を掲示した標識柱等を目的対象物として設定する。なお、目的地に応じて目的対象物を設定する方法は特に限定されず、例えば、設定ルール等を予め定めておけばよい。本実施形態の目的対象物が、本開示の対象物の一例である。
図4A及び図4Bは、目的対象物72が存在する現実空間70を、ARグラス10を介してユーザUが視認している状態を示している。
また、図4A及び図4Bには、ARグラス10の仮想投影面の表示領域80Aに、第1投影像81及び第2投影像82が投影された状態が示されている。本実施形態の第1投影像81が本開示の第1表示画像の一例であり、本実施形態の第2投影像82が本開示の第2表示画像の一例である。また、仮想投影面の表示領域80Aには、目的対象物72を表す仮想目的対象物画像86も示されている。仮想目的対象物画像86は、例えば、目的対象物72の現実空間70における座標を、公知の射影変換等を用いて仮想投影面の座標に変換することで得られる(詳細後述)。
第1投影像81は、現実空間70に存在する目的対象物72に関連する情報を表示する画像である。なお、図4A及び図4Bでは、現実空間70に存在する目的対象物72に関連する情報を表示する画像として「目的地」という文字画像を用いているが、本形態に限定されず、例えば、目的地の名称(図4A及び図4Bの場合は、バス停の名称)を表す文字画像等であってもよいし、また、文字画像以外であってもよい。
一方、第2投影像82は、目的対象物72または仮想目的対象物画像86と第1投影像81との関連をユーザUが視覚可能なように表示される画像である。図4A及び図4Bに示すように、一例として本実施形態の第2投影像82は、始点を第1投影像81とし、終点を仮想目的対象物画像86とした矢印を表す画像であり、仮想目的対象物画像86と第1投影像81とを連結するように表示される。
このように第1投影像81及び第2投影像82を表示領域80Aに表示させることにより、ユーザUは、目的対象物72に対応する目的地像87を含む現実像71と、第1投影像81及び第2投影像82を含む視認像74を視認する。
図4Bは、図4Aに示した状態から、ユーザUが右方向に頭を回した状態について示されている。この場合、目的対象物72とARグラス10の相対位置が変化し、ユーザUの視界における目的対象物72の位置は、図4Aに示した場合に比べて、左方向に移動する。そのため、表示領域80Aにおける仮想目的対象物画像86の位置も、左方向に移動する。
第1投影像81は、ARグラス10(ユーザU)と目的対象物72との相対位置が変化しても、表示領域80Aにおける表示位置が変化しない。換言すると、表示領域80Aに対する仮想目的対象物画像86の位置が変化しても、第1投影像81の表示位置は変化しない。すなわち、ARグラス10と目的対象物72との相対位置の変化に係わらず、表示領域80Aにおける第1投影像81の表示位置の変化量はゼロである。従って、ユーザUが視認する視認像74における、第1投影像81の位置は変化しない。そのため、第1投影像81は、相対位置の変化にかかわらず、動いていないようにユーザUによって視認される。
一方、第2投影像82は、ARグラス10と目的対象物72との相対位置の変化に追従するように表示される。図4A及び図4Bに示した例では、第2投影像82は、第1投影像81と目的対象物72(仮想目的対象物画像86)とを連結するように形状や矢印の向き等が変化するように表示される。そのため、第2投影像82は、相対位置の変化に追従して表示が変化するようにユーザUによって視認される。
このように、本実施形態のプロセッサ41は、表示位置の変化量をゼロとして第1投影像81を表示させ、また、第1投影像81と目的対象物72(仮想目的対象物画像86)とを連結するように第2投影像82を表示させることで、目的地までのナビゲーションを行う。
図5には、本実施形態のプロセッサ41の機能に係る構成の一例を表す機能ブロック図が示されている。図5に示すようにプロセッサ41は、第1取得部50、第2取得部52、位置情報導出部54、及び表示制御部56を備える。一例として本実施形態のプロセッサ41は、CPU40が記憶部44に記憶されている画像処理プログラム45を実行することにより、CPU40が第1取得部50、第2取得部52、位置情報導出部54、及び表示制御部56として機能する。
第1取得部50は、対象物位置情報60を取得する機能を有する。対象物位置情報60とは、目的対象物72の位置を表す情報である。一例として本実施形態の対象物位置情報60は、ユーザUが入力した目的地に対応する現実空間70の緯度及び経度を表す情報である。そのため第1取得部50は、例えば、外部のサーバ等が提供する地図データを参照して、ユーザが入力した目的対象物72の位置を表す対象物位置情報60を取得する。第1取得部50は、取得した対象物位置情報60を位置情報導出部54に出力する。
第2取得部52は、自己位置情報62を取得する機能を有する。自己位置情報62とは、ARグラス10の位置及び向き(視野方向)を表す情報である。なお、本実施形態では、ユーザUがARグラス10及びスマートフォン12を所持した状態で移動するため、スマートフォン12の位置と、ARグラス10の位置とは等しいとみなしている。一例として本実施形態の自己位置情報62には、ARグラス10の位置を表す情報としてGPSモジュール47が受信したスマートフォン12の位置の経緯度を表す情報が含まれる。また、自己位置情報62には、ARグラス10の電子コンパス25から取得したユーザUの視野方向を表す情報が含まれる。そのため第2取得部52は、GPSモジュール47及びARグラス10の電子コンパス25から自己位置情報62を取得する。第2取得部52は、取得した自己位置情報62を位置情報導出部54に出力する。
位置情報導出部54は、目的対象物72の位置を表す位置情報を導出する機能を有する。一例として本実施形態の位置情報導出部54は、目的対象物72の位置を表す位置情報として仮想投影面80における仮想目的対象物画像86の位置を表す座標を導出する。図6を参照して、仮想目的対象物画像86の位置情報の導出方法の一例について説明する。位置情報導出部54は、例えば、公知の射影変換等を用いて、目的対象物72の位置を仮想投影面80の座標に変換することで仮想投影面80における仮想目的対象物画像86の表示位置を導出する。一例として位置情報導出部54は、対象物位置情報60に含まれるARグラス10の位置及びユーザUが向いている方向(視野方向)と、ARグラス10の視野角θとから、仮想投影面80の位置を導出する。また、位置情報導出部54は、仮想投影面80に目的対象物72を投影した場合の、仮想目的対象物画像86の位置(座標)を導出する。例えば、位置情報導出部54は、目的対象物72の位置を表すローカル座標系の座標を、モデリング変換してワールド座標系の座標とし、さらに、ビューイング変換及び投影変換を行い仮想投影面80における座標に変換する。位置情報導出部54は、仮想投影面80における仮想目的対象物画像86の表示位置(座標)を表示制御部56に出力する。なお、仮想投影面80における仮想目的対象物画像86の表示位置(座標)に対してビューポート変換を行い、ARグラス10の投影画像の座標系に変換した座標を目的対象物72の位置を表す位置情報として出力する形態としてもよい。
表示制御部56は、第1投影像81及び第2投影像82を表示させる制御を行う機能を有する。具体的には、表示制御部56は、第1投影像81を表示させるための第1投影画像の第1画像データと、第2投影像82を表示させるための第2投影画像の第2画像データとを取得する。一例として本実施形態では、第1画像データ及び第2画像データがスマートフォン12の記憶部44に記憶されているため、表示制御部56は、記憶部44から第1画像データ及び第2画像データを取得する。なお、本形態によらず、第1画像データ及び第2画像データをI/F部43を介して、スマートフォン12の外部の装置から取得する形態としてもよい。表示制御部56は、第1画像データに応じた第1投影画像、及び第2画像データに応じた第2投影画像をOLED26から投影させることにより、第1投影像81及び第2投影像82を表示させる制御を行う。
また、表示制御部56は、ARグラス10と目的対象物72との相対位置の変化に基づいて、第2投影像82の表示位置を変化させ、第1投影像81の表示位置の変化量を、第2投影像82の表示位置の変化量よりも少なくする機能を有する。具体的には、表示制御部56は、上述したように、第1投影像81の表示位置の変化量をゼロとして表示させる制御を行う。なお、第1投影像81の表示位置は、予め定められた位置であってもよいし、ユーザが指定した位置であってもよいし、目的対象物72の現実空間70における位置、及び種類等に応じた位置であってもよい。
さらに、表示制御部56は、上述したように、第1投影像81と目的対象物72(仮想目的対象物画像86)とを連結するように第2投影像82を表示させる制御を行う。一例として本実施形態の表示制御部56は、上述したように、第1投影像81における予め定められた位置を始点(以下、第2投影像82の始点という)とし、目的対象物72(仮想目的対象物画像86)を終点(以下、第2投影像82の終点という)とした方向を有する矢印を表す画像として第2投影像82を表示させる制御を行う。
次に、本実施形態のプロセッサ41の作用を説明する。図7には、本実施形態のプロセッサ41による画像処理の流れの一例を表したフローチャートが示されている。一例として本実施形態のスマートフォン12では、ユーザが入力装置48を用いて入力したナビゲーション開始の指示を受けた場合、プロセッサ41のCPU40が、記憶部44に記憶されている画像処理プログラム45を実行することにより、図7に一例を示した画像処理を実行する。
図7のステップS100で第1取得部50は、目的対象物72の対象物位置情報60を取得する。上述したように、第1取得部50は、外部のサーバ等が提供する地図データを参照して、ユーザが入力した目的対象物72の位置を表す対象物位置情報60を取得する。
次のステップS102で第2取得部52は、自己位置情報62を取得する。上述したように、第2取得部52は、GPSモジュール47からスマートフォン12が存在す位置の緯度経度を取得し、また、電子コンパス25からユーザが向いている方向(視野方向)を取得する。
次のステップS104で表示制御部56は、第1投影像81の表示を開始させるための表示開始指示を出力する。具体的には、表示制御部56は、第1投影像81を導光板24に投影させるようOLED26に第1画像データ、及び表示開始指示を出力する。OLED26は、スマートフォン12から第1画像データ及び表示開始指示が入力されると、第1画像データに応じた第1投影画像を導光板24に投影する。これにより、第1投影像81が表示され、ユーザが第1投影像81を視認することができるようになる。
次のステップS106で位置情報導出部54は、目的対象物72の位置を表す位置情報として仮想投影面80における仮想目的対象物画像86の位置を導出する。上述したように、位置情報導出部54は、現実空間70における目的対象物72の位置を、公知の射影変換等により、仮想投影面80における仮想目的対象物画像86の位置(座標)に変換する。
次のステップS108で表示制御部56は、第2投影像82の表示を開始させるための表示開始指示を出力する。具体的には、表示制御部56は、上記ステップS104で表示を開始した第1投影像81の表示位置を始点とし、及び上記ステップS106で導出した仮想目的対象物画像86の表示位置を終点とした第2投影像82を導光板24に投影させるようOLED26に第2画像データ、及び表示開始指示を出力する。OLED26は、スマートフォン12から第2画像データ及び表示開始指示が入力されると、第2画像データに応じた第2投影画像を導光板24に投影する。これにより、第2投影像82が表示され、ユーザが第2投影像82を視認することができるようになる。
次のステップS110で表示制御部56は、目的地へのナビゲーションを終了するか否か判定する。一例として本実施形態では、ユーザUが入力装置48により行ったナビゲーションの終了指示を受け付けた場合にナビゲーションを終了する。そのため、ナビゲーションの終了指示を受け付けていない場合、ステップS110の判定が否定判定となり、ステップS112へ移行して図8に示した、第2投影像82の表示を更新するための第2投影像更新処理を実行する。
図8に示すように、第2投影像更新処理のステップS150で第2取得部52は、上記ステップS102と同様に、自己位置情報62を取得する。ユーザUが移動している場合、及びユーザUの向きが変化している場合の少なくとも一方の場合、第2取得部52が取得した自己位置情報62が表す自己位置は、前回、第2取得部52が取得した自己位置情報62が表す自己位置から変化している。
次のステップS152で位置情報導出部54は、上記ステップS106と同様に、目的対象物72の位置を表す位置情報として仮想投影面80における仮想目的対象物画像86の位置を導出する。
次のステップS154で位置情報導出部54は、第2投影像82の終点について、現在の終点の位置が、目標の終点の位置と一致するか否かを判定する。現在の終点の位置は、現在、表示している第2投影像82の終点位置である。目標の終点の位置は、上記ステップS152で導出した仮想目的対象物画像86の位置である。なお、ここで「一致」とは、完全に一致する場合に限定されず、誤差や許容範囲を考慮して、一致とみなせる程度の差が生じていてもよい。現在の終点の位置と目標の終点の位置とが一致する場合、ステップS154の判定が肯定判定となり、図8に示した第2投影像更新処理を終了し、図7に示した画像処理のステップS110に戻る。
一方、現在の終点の位置と目標の終点の位置とが異なる場合、ステップS154の判定が否定判定となり、ステップS156へ移行する。
ステップS156で表示制御部56は、終点位置を現在の終点の位置から目標の終点の位置に変更した第2投影像82を表示させる。ステップS156の処理が終了すると、図8に示した第2投影像更新処理を終了し、図7に示した画像処理のステップS110に戻る。
一方、ナビゲーションの終了指示を受け付けた場合、ステップS110の判定が否定判定となり、ステップS114へ移行する。
ステップS114で表示制御部56は、第1投影像81及び第2投影像82の表示を終了させるための表示終了指示をOLED26に出力する。OLED26は、スマートフォン12から表示終了指示が入力されると、第1投影像81及び第2投影像82の投影を終了する。これにより、第1投影像81及び第2投影像82の表示が終了する。ステップS114の処理が終了すると、図7に示した画像処理が終了する。
これにより、本実施形態のプロセッサ41は、目的地へのナビゲーションの実行中は、ARグラス10と目的対象物72との相対位置の変化にかかわらず、表示位置の変化量をゼロとして第1投影像81の表示を行う。また、プロセッサ41は、ARグラス10と目的対象物72との相対位置の変化に追従した第2投影像82の表示を行う。
従って、本実施形態のプロセッサ41によれば、適切に目的地へのナビゲーションを行うことができる。また、プロセッサ41によれば、目的地へのナビゲーションを行うための第1投影像81及び第2投影像82の表示において、第1投影像81の残像が生じないようにすることができ、第1投影像81及び第2投影像82を視認しやすくすることができる。
なお、目的対象物72の存在する位置が、ARグラス10により表示可能な範囲外である場合がある。例えば、仮想目的対象物画像86の表示位置が仮想投影面80の表示領域80A外である場合、ARグラス10により視覚可能な範囲外に目的対象物72が存在する。このような場合、例えば、第1投影像81と、目的対象物72または仮想目的対象物画像86とを連結するように第2投影像82を表示させてもよい。なお、この場合、図9A及び図9Bに示すように、ARグラス10と目的対象物72との距離に応じて第2投影像82の表示形態を異ならせてもよい。図9A及び図9Bに示した例では、ARグラス10と目的対象物72との距離が離れているほど、第2投影像82である矢印画像が太くなる。具体的には、図9AにおけるARグラス10と目的対象物72との距離は、図9BにおけるARグラス10と目的対象物72との距離よりも離れている。そのため、図9Aに示した第2投影像82の矢印の方が、図9Bに示した第2投影像82の矢印よりも太い。なお、第2投影像82の矢印の太さに代えて、色及び矢印の種類の少なくとも一方を異ならせてもよい。また、第2投影像82の矢印の太さを異ならせる場合、第1投影像81側の始点の太さは異ならせず、ARグラス10と目的対象物72との距離に応じて、目的対象物72側の終点の太さを異ならせてもよい。また、第2投影像82を点滅させ、その点滅の速さを、ARグラス10と目的対象物72との距離に応じて異ならせてもよい。
このように、ARグラス10と目的対象物72との距離に応じて第2投影像82の表示形態を異ならせることにより、目的対象物72がユーザUの視認範囲外であっても、どの程度、目的対象物72と離れているかをユーザUに伝達することができる。
また、目的対象物72の存在する位置が、ARグラス10により表示可能な範囲外である場合、表示制御部56は第2投影像82を表示しない制御を行ってもよいし、第1投影像81及び第2投影像82を表示しない制御を行ってもよい。
[第2実施形態]
第1実施形態では、目的対象物72に対して、ARグラス10(ユーザU)が移動することにより、ARグラス10と目的対象物72との相対位置が変化する形態について説明した。これに対し、本実施形態では、ARグラス10(ユーザU)に対して、目的対象物72が移動することにより、ARグラス10と目的対象物72との相対位置が変化する形態について説明する。
図10には、スマートフォン12のハードウェア構成の一例を表したブロック図が示されている。本実施形態のスマートフォン12のハードウェア構成は、第1実施形態のスマートフォン12のハードウェア構成(図3参照)と同様であるが。I/F部43が、無線通信機30A及び無線通信機30Bと無線により通信を行う点が異なっている。無線通信機30Aは、目的対象物72Aに装着されたGPSモジュール31Aから出力された、目的対象物72Aが存在する位置を表す対象物位置情報60を無線により送信する機能を有する。また、無線通信機30Bは、目的対象物72Bに装着されたGPSモジュール31Bから出力された、目的対象物72Bが存在する位置を表す対象物位置情報60を無線により送信する機能を有する。
一例として、本実施形態では、ARグラス10(ユーザU)の位置は変化せず、目的対象物72A及び目的対象物72Bの位置が変化する。図11には、目的対象物72A及び目的対象物72Bの現実空間70における位置が変化した場合に、ユーザUがARグラス10により視認する視認像74の変化の例が示されている。
図11に示した視認像74では、目的対象物72Aに対しては、目的対象物72Aの名前「リンリン」を表す第1投影像81Aと、目的対象物72Aに対応する目的地像87Aと、第1投影像81Aとを連結するように表示された第2投影像82Aとが含まれる。また、目的対象物72Bに対しては、目的対象物72Bの名前「ユンユン」を表す第1投影像81Bと、目的対象物72Bに対応する目的地像87Bと、第1投影像81Bとを連結するように表示された第2投影像82Bとが含まれる。
図11に示すように、目的対象物72Aが移動し、目的地像87Aの位置が変化しても、第1投影像81Aの表示位置は変化せず、視認される第1投影像81Aの位置も変化しない。一方、第2投影像82Aは、目的対象物72A(目的地像87A)の移動に追従して表示が変化し、視認される状態も変化する。同様に、目的対象物72Bが移動し、目的地像87Bの位置が変化しても、第1投影像81Bの表示位置は変化せず、視認される第1投影像81Bの位置も変化しない。一方、第2投影像82Bは、目的対象物72B(目的地像87B)の移動に追従して表示が変化し、視認される状態も変化する。
また、本実施形態のプロセッサ41の機能に係る構成は、第1実施形態のプロセッサ41(図5参照)と同様に、第1取得部50、第2取得部52、位置情報導出部54、及び表示制御部56を備える。なお、上述したように、第1取得部50は、目的対象物72Aの無線通信機30Aから目的対象物72Aの対象物位置情報60を取得し、また、目的対象物72Bの無線通信機30Bから目的対象物72Bの対象物位置情報60を取得する。
次に、本実施形態のプロセッサ41の作用を説明する。図12には、本実施形態のプロセッサ41による画像処理の流れの一例を表したフローチャートが示されている。本実施形態の画像処理は、ステップS100に代わりステップS101の処理を備える点で、第1実施形態の画像処理(図7参照)と、異なっている。
図12のステップS101で第1取得部50は、目的対象物72A及び目的対象物72B各々の対象物位置情報60の受信を開始する。上述したように、第1取得部50は、無線通信機30Aから目的対象物72Aの対象物位置情報60の受信を開始する。また、第1取得部50は、無線通信機30Bから目的対象物72Bの対象物位置情報60の受信を開始する。
また、本実施形態の画像処理は、ステップS112に代わりステップS113を備える点で、第1実施形態の画像処理(図7参照)と、異なっている。すなわち、本実施形態は、第2投影像更新処理が、第1実施形態と異なっている。図13には、本実施形態における第2投影像82の表示を更新するための第2投影像更新処理の一例を表したフローチャートが示されている。
図13のステップS170で位置情報導出部54は、第1実施形態の第2投影像更新処理(図8参照)のステップS152と同様に、目的対象物72A及び目的対象物72B各々の位置を表す位置情報として仮想投影面80における仮想目的対象物画像86の位置を、それぞれ導出する。導出した仮想目的対象物画像86の位置により、変更の目標となる第2投影像82の終点位置が決定する。以下、この終点位置を、目標終点位置という。
次のステップS172で表示制御部56は、第2投影像82の始点位置から、現在、表示している第2投影像82の終点位置(以下、現在終点位置という)までの距離(以下、現在距離という)を演算する。なお、表示制御部56は、目的対象物72Aにおける第2投影像82に関する現在距離と、目的対象物72Bにおける第2投影像82に関する現在距離とを演算する。
次のステップS174で表示制御部56は、第2投影像82の始点位置から、上記ステップS170によって決定される第2投影像82の目標終点位置までの距離(以下、目標距離という)を演算する。なお、表示制御部56は、目的対象物72Aにおける第2投影像82に関する目標距離と、目的対象物72Bにおける第2投影像82に関する目標距離とを演算する。
次のステップS176で表示制御部56は、現在距離と目標距離との変化量(以下、距離変化量という)を演算する。具体的には、表示制御部56は、現在距離から目標距離を減算した値の絶対値を距離変化量として導出する。
次のステップS178で表示制御部56は、距離変化量が更新判定量以下であるか否かを判定する。本実施形態では、距離変化量が比較的小さい場合、第2投影像82の表示を更新しない。換言すると、ARグラス10と目的対象物72との相対位置の変化量が比較的小さい場合、第2投影像82の表示を相対位置の変化に追従させない。相対位置の変化量が比較的小さい場合は、第2投影像82の表示を変化させないことにより、第2投影像82の変化によるちらつきを抑制することができる。また、第2投影像82の表示の変更にかかるプロセッサ41の処理負荷を低減させることができる。なお、第2投影像82の更新を行うか否かを判定するための閾値となる更新判定量をどのように定めるかは、特に限定されない。更新判定量は、例えば、実験的に得られた値としてもよいし、現在距離等に応じて変化する値としてもよい。
距離変化量が更新判定量以下である場合、ステップS178の判定が肯定判定となり、図13に示した第2投影像更新処理を終了し、図12に示した画像処理のステップS110に戻る。一方、距離変化量が更新判定量を越える場合、ステップS178の判定が否定判定となり、ステップS180へ移行する。
ステップS180で表示制御部56は、距離変化量が更新限界量以下であるか否かを判定する。本実施形態では、距離変化量が比較的大きい場合、距離変化量を制限する。距離変化量が比較的大きい場合、表示を変更することにより第2投影像82の終点位置が始点位置から大きく離れた位置に移動する。この場合、ユーザUは、第1投影像81を認識しにくくなる。そのため、本実施形態の第2投影像更新処理では、距離変化量に制限を設け、徐々に、終点位置を変化させる。距離変化量の制限値となる更新限界量をどのように定めるかは、特に限定されない。更新限界量は、例えば、実験的に得られた値としてもよいし、現在距離等に応じて変化する値としてもよい。
距離変化量が更新限界量以下である場合、ステップS180の判定が肯定判定となり、ステップS182へ移行する。ステップS182で表示制御部56は、終点位置を現在終点位置から目標終点位置に変更した第2投影像82を表示させる。ステップS182の処理が終了すると、図13に示した第2投影像更新処理を終了し、図12に示した画像処理のステップS110に戻る。一方、距離変化量が更新限界量を越える場合、ステップS180の判定が否定判定となり、ステップS184へ移行する。
ステップS184で表示制御部56は、目標終点位置を更新限界量に応じた位置に修正する。具体的には、表示制御部56は、目標終点位置を、距離変化量を更新限界量とした場合の目標終点位置とする。
次のステップS186で表示制御部56は、終点位置を現在終点位置から上記ステップS184で修正した目標終点位置に変更した第2投影像82を表示させる。ステップS186の処理が終了すると、図13に示した第2投影像更新処理を終了し、図12に示した画像処理のステップS110に戻る。
このように、本実施形態の投影像更新処理によれば、ARグラス10(ユーザU)と、目的対象物72A及び目的対象物72Bの各々との相対位置の変化にやや遅延させつつ、錯綜しないように、第2投影像82を相対位置の変化に追従するように表示させることができる。
なお、第1実施形態と第2実施形態を組合せることにより、ARグラス10(ユーザU)、及び目的対象物72の双方が移動する形態であってもよい。
[第3実施形態]
本実施形態では、上記形態の変形例として、目的対象物72が美術館等の展示物であり、プロセッサ41が、展示物に関する情報を表す第1投影像81と、第2投影像82との表示を制御する形態について説明する。
図14に示すように本実施形態のARグラス10は、カメラ29をさらに備えている。カメラ29は、ユーザUの視線方向を撮影するカメラである。カメラ29により撮影された撮影画像は、スマートフォン12に出力される。
また、図15に示すように本実施形態のスマートフォン12のI/F部43が、無線通信機30A~30Cと無線により通信を行う点が異なっている。無線通信機30A~30Cの各々は、自装置の位置情報、目的対象物72の位置を表す情報、及び目的対象物72の内容、具体的には第1投影像81として表示すべき情報を無線により送信する。無線通信機30A~30Cを総称する場合、単に無線通信機30という。
なお、無線通信機30の数は限定されず、目的対象物72の設置環境等に応じて設ければよい。例えば、建物の各階に目的対象物72が設置されている場合、各階に、無線通信機30を設けてもよい。また、目的対象物72が設置されている部屋毎に無線通信機30を設けてもよい。
本実施形態のプロセッサ41は、無線通信機30から受信した各無線通信機30の位置情報からARグラス10(ユーザU)の位置を導出する。また、ARグラス10の電子コンパス25から、ARグラス10の向きを導出する。
また、プロセッサ41は、ARグラス10のカメラ29により得られた撮影画像から目的対象物72と、ARグラス10の表示範囲との対応関係を取得する。図16には、カメラ29の撮影範囲、すなわち撮影画像に表れる範囲と、ARグラス10の表示範囲との関係が示されている。図16に示す、ARグラス10の表示範囲内がユーザUの視認像74に対応する。
一例として本実施形態のプロセッサ41は、カメラ29により得られた撮影画像に対して画像解析を行うことにより、撮影画像における目的対象物72の位置を導出する。また、プロセッサ41は、カメラ29の撮影範囲と、ARグラス10の表示範囲との対応関係に基づいて、ARグラス10の表示範囲内における目的対象物72(仮想目的対象物画像86)の位置を導出する。
さらに、プロセッサ41は、目的対象物72の周囲の領域について、上部余白領域、右部余白領域、下部余白領域、及び左部余白領域を検出し、余白が最も大きい領域に第1投影像81及び第2投影像82を表示させる。
上述のようにして、第1投影像81の表示を開始した後は、ユーザUが顔を上下左右に動かす等して、ARグラス10と第2投影像82との相対位置関係が変化しても、プロセッサ41は、第1投影像81の表示位置は変化させない。一方、プロセッサ41は、第2投影像82は、ARグラス10と目的対象物72との相対位置の変化に追従して表示を変化させる。なお、このように追従して表示を変化させることにより、第2投影像82が目的対象物72に重畳する場合、第2投影像82を表示させないようにしてもよい。
また、余白の領域が狭く、第1投影像81と目的対象物72とが重畳する場合、第1投影像81の輝度を小さくして透過率を上げることにより、第1投影像81により目的対象物72が視認されなくなくなることを抑制してもよい。
このように、ユーザUの視野方向をカメラ29により撮影した撮影画像を用いて、目的対象物72の位置を導出することにより、より精度良く目的対象物72の位置情を得ることができる。また、第1投影像81の表示位置を目的対象物72(仮想目的対象物画像86)の表示位置に対して、適切な位置に配置することができる。
また、目的対象物72(仮想目的対象物画像86)と、ARグラス10(ユーザU)の相対位置の変化について、目的対象物72がユーザUの視野範囲外に存在する場合、GPSモジュール47によりARグラス10の位置を用いて変化量を導出し、目的対象物72がユーザUの視野範囲外に存在する場合、カメラ29により撮影された撮影画像から変化量を導出する形態としてもよい。
以上説明したように、上記各形態によれば、目的対象物72に対するナビゲーションを行うための第1投影像81及び第2投影像82について、残像を残りにくくすることができ、視認しやすくすることができる。
なお、上記各形態では、目的対象物72に対応する仮想目的対象物画像86の仮想投影面80における表示位置に変換し、変換した表示位置に基づいて、ARグラス10(ユーザU)と、目的対象物72との相対位置に変化を検出したが、相対位置の変化の検出方法は、本形態に限定されない。例えば、第1投影像81の表示位置の変化をゼロとする場合、第1投影像81の表示位置と目的対象物72または仮想目的対象物画像86の表示位置との相対位置の変化量を検出する形態としてもよい。この場合、例えば、第1投影像81の表示位置を現実空間70の位置に変換し、現実空間70における第1投影像81の位置と、目的対象物72の位置との相対的な変化を検出する形態としてもよい。
なお、上記各形態では、第1投影像81の表示位置の変化量をゼロとする形態について説明したが、表示位置の変化量は、ゼロでなくてもよい。例えば、第1投影像81の変化量を第1投影像81の表示位置の変化をユーザUが認識できる量よりも小さい量としてもよい。この場合、例えば、国際公開2020/170945号に記載されている方法を用いて、ユーザUが認識できる量を算出すればよい。
また、目的対象物72と第2投影像82との関連をユーザUが視覚可能なように第2投影像82を表示させる方法は、上述したように第1投影像81と目的対象物72とを連結するように表示する形態に限定されない。例えば、第1投影像81は、外枠の形状が星形、かつ黄色、かつ1/10秒周期で点滅するように表示させる。また、第2投影像82は、目的対象物72(仮想目的対象物画像86)を囲む外枠として表示され、外枠の形状が大きな星形、かつ黄色、かつ1/100秒周期で点滅するように表示させる。このように第1投影像81と第2投影像82とが共通形状、かつ共通色、かつ共通の点滅周期であるため、ユーザUは目的対象物72(仮想目的対象物画像86)と第1投影像81との関連性に気付くことができる。
なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよく、上記形態では、一方の眼により投影像を視認する形態について説明したが、両眼で、投影像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない(例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示の制御装置は膝に装着される)。このような制御装置も、本開示の技術に含まれる。
また、上記形態のプロセッサ41の機能の一部、または全部を、ARグラス10が備えていてもよいし、また、眼鏡型情報表示装置1外の装置が備えていてもよい。
また、上記形態において、例えば、第1取得部50、第2取得部52、位置情報導出部54、及び表示制御部56といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、上記実施形態のようにクライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記各形態では、画像処理プログラム45が記憶部44に予め記憶(インストール)されている態様を説明したが、これに限定されない。画像処理プログラム45は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム45は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の上記実施形態に関し、更に以下の付記を開示する。
(付記1)
透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、
前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、
前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行う
プロセッサ。
(付記2)
前記相対位置の変化に追従するように前記第2表示画像を表示させる制御を行う
付記1に記載のプロセッサ。
(付記3)
前記相対位置の変化に追従して前記第2表示画像の表示位置を変化させている間は、
前記第1表示画像の表示位置の変化量を、前記表示装置のユーザが前記第1表示画像の表示位置の変化を認識できる量よりも小さくする制御を行う
付記2に記載のプロセッサ。
(付記4)
前記第1表示画像の表示位置の変化量を、ゼロとする制御を行う
付記1から付記3のいずれか1つに記載のプロセッサ。
(付記5)
前記対象物の存在する位置が、前記表示装置により表示可能な範囲外である場合、前記第1表示画像を表示しない制御を行う
付記1から付記4のいずれか1つに記載のプロセッサ。
(付記6)
前記対象物と前記第1表示画像との関連をユーザが視覚可能なように、または前記第1表示画像が表示される表示領域における、前記対象物に対応する仮想対象物画像と前記第1表示画像との関連をユーザが視覚可能なように前記第2表示画像を表示させる制御を行う
付記1から付記5のいずれか1つに記載のプロセッサ。
(付記7)
前記第2表示画像を表示させる制御は、前記対象物と前記第1表示画像とを連結するように表示させる制御、または前記仮想対象物画像と前記第1表示画像とを連結するように表示させる制御である
付記6に記載のプロセッサ。
(付記8)
前記表示装置は、前記現実空間での位置が変化する
付記1から付記7のいずれか1つに記載のプロセッサ。
(付記9)
前記対象物は、前記現実空間での位置が変化する
付記1から付記8のいずれか1つに記載のプロセッサ。
(付記10)
少なくとも1つのプロセッサを備え、
前記プロセッサは、
透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、
前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、
前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行う
画像処理装置。
(付記11)
透過型の表示装置の表示領域に第1表示画像と第2表示画像とを表示させる制御を行う制御装置であって、
少なくとも1つのプロセッサを備え、
前記プロセッサが、
第1表示画像の位置を現実空間における位置に変換し、
変換後の現実空間における第1表示画像の位置と、対象物の位置との相対的な変化を検出し、
前記表示領域に、前記相対的な変化に係わらず表示位置を固定したままで第1表示画像を表示させる制御を行い、
前記相対的な変化に基づいて表示位置を変化させて前記第2表示画像を表示させる制御を行う
画像処理装置。
(付記12)
透過型の表示装置と、
付記1から付記9のいずれか1つに記載のプロセッサと、
を備えた眼鏡型情報表示装置。
(付記13)
透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、
前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、
前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行う
処理をプロセッサが実行する画像処理方法。
(付記14)
透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、
前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、
前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行う
処理をプロセッサに実効させるための画像処理プログラム。
1 眼鏡型情報表示装置
10 ARグラス
12 スマートフォン
20L 左眼用透過部、20R 右眼用透過部
22L 左眼用レンズ、22R 右眼用レンズ
24 導光板
25 電子コンパス
26 OLED
29 カメラ
30A、30B、30C 無線通信機
31A、31B GPSモジュール
40 CPU
41 プロセッサ
42 メモリ
43 I/F部
44 記憶部
45 画像処理プログラム
46 ディスプレイ
47 GPSモジュール
48 入力装置
49 バス
50 第1取得部
52 第2取得部
54 位置情報導出部
56 表示制御部
60 対象物位置情報
62 自己位置情報
70 現実空間
71 現実像
72、72A、72B 目的対象物
74 視認像
80 仮想投影面、80A 表示領域
81、81A、81B 第1投影像
82、82A、82B 第2投影像
86 仮想目的対象物画像
87、87A、87B 目的地像
U ユーザ
θ 視野角

Claims (13)

  1. 透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、
    前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、
    前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行う
    プロセッサ。
  2. 前記相対位置の変化に追従するように前記第2表示画像を表示させる制御を行う
    請求項1に記載のプロセッサ。
  3. 前記相対位置の変化に追従して前記第2表示画像の表示位置を変化させている間は、
    前記第1表示画像の表示位置の変化量を、前記表示装置のユーザが前記第1表示画像の表示位置の変化を認識できる量よりも小さくする制御を行う
    請求項2に記載のプロセッサ。
  4. 前記第1表示画像の表示位置の変化量を、ゼロとする制御を行う
    請求項3に記載のプロセッサ。
  5. 前記対象物の存在する位置が、前記表示装置により表示可能な範囲外である場合、前記第1表示画像を表示しない制御を行う
    請求項4に記載のプロセッサ。
  6. 前記対象物と前記第1表示画像との関連をユーザが視覚可能なように、または前記第1表示画像が表示される表示領域における、前記対象物に対応する仮想対象物画像と前記第1表示画像との関連をユーザが視覚可能なように前記第2表示画像を表示させる制御を行う
    請求項5に記載のプロセッサ。
  7. 前記第2表示画像を表示させる制御は、前記対象物と前記第1表示画像とを連結するように表示させる制御、または前記仮想対象物画像と前記第1表示画像とを連結するように表示させる制御である
    請求項6に記載のプロセッサ。
  8. 前記表示装置は、前記現実空間での位置が変化する
    請求項7に記載のプロセッサ。
  9. 前記対象物は、前記現実空間での位置が変化する
    請求項8に記載のプロセッサ。
  10. 透過型の表示装置の表示領域に第1表示画像と第2表示画像とを表示させる制御を行う制御装置であって、
    少なくとも1つのプロセッサを備え、
    前記プロセッサが、
    第1表示画像の位置を現実空間における位置に変換し、
    変換後の現実空間における第1表示画像の位置と、対象物の位置との相対的な変化を検出し、
    前記表示領域に、前記相対的な変化に係わらず表示位置を固定したままで第1表示画像を表示させる制御を行い、
    前記相対的な変化に基づいて表示位置を変化させて前記第2表示画像を表示させる制御を行う
    画像処理装置。
  11. 透過型の表示装置と、
    請求項1から請求項9のいずれか1項に記載のプロセッサと、
    を備えた眼鏡型情報表示装置。
  12. 透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、
    前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、
    前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行う
    処理をプロセッサが実行する画像処理方法。
  13. 透過型の表示装置に、現実空間に存在する対象物に関連する情報を表示する第1表示画像と、第2表示画像とを表示させ、
    前記表示装置と前記対象物との相対位置の変化に基づいて、前記第2表示画像の表示位置を変化させ、
    前記第1表示画像の表示位置の変化量を、前記第2表示画像の表示位置の変化量よりも小さくする制御を行う
    処理をプロセッサに実効させるための画像処理プログラム。
JP2022144848A 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム Pending JP2024040034A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022144848A JP2024040034A (ja) 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
US18/463,406 US20240087489A1 (en) 2022-09-12 2023-09-08 Processor, image processing device, glasses-type information display device, image processing method, and image processing program
CN202311161457.6A CN117687502A (zh) 2022-09-12 2023-09-08 处理器、图像处理装置及方法、信息显示装置和存储介质
EP23196531.0A EP4336319A1 (en) 2022-09-12 2023-09-11 Processor, image processing device, glasses-type information display device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022144848A JP2024040034A (ja) 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2024040034A true JP2024040034A (ja) 2024-03-25

Family

ID=88017779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022144848A Pending JP2024040034A (ja) 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20240087489A1 (ja)
EP (1) EP4336319A1 (ja)
JP (1) JP2024040034A (ja)
CN (1) CN117687502A (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746902B2 (ja) 2015-12-01 2020-08-26 株式会社デンソーウェーブ 作業者用頭部装着型ディスプレイの情報表示システム
CN113454706B (zh) 2019-02-20 2022-07-08 富士胶片株式会社 显示控制装置、摄像装置、显示控制方法

Also Published As

Publication number Publication date
EP4336319A1 (en) 2024-03-13
US20240087489A1 (en) 2024-03-14
CN117687502A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
US10521026B2 (en) Passive optical and inertial tracking in slim form-factor
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
US9395543B2 (en) Wearable behavior-based vision system
JP2021036438A (ja) 情報処理装置、情報処理方法及び記録媒体
US10139623B2 (en) Virtual object orientation and visualization
US11127380B2 (en) Content stabilization for head-mounted displays
US20150161762A1 (en) Information processing apparatus, information processing method, and program
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
CN114945853A (zh) 用于头戴式显示系统中的变形的补偿
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
US20170300121A1 (en) Input/output device, input/output program, and input/output method
JP2024040034A (ja) プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
US11697068B2 (en) Mobile platform as a physical interface for interaction
TW202319906A (zh) 資訊顯示方法及其處理裝置與資訊顯示系統