JP2024040035A - プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム - Google Patents

プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2024040035A
JP2024040035A JP2022144849A JP2022144849A JP2024040035A JP 2024040035 A JP2024040035 A JP 2024040035A JP 2022144849 A JP2022144849 A JP 2022144849A JP 2022144849 A JP2022144849 A JP 2022144849A JP 2024040035 A JP2024040035 A JP 2024040035A
Authority
JP
Japan
Prior art keywords
display
display image
image
area
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022144849A
Other languages
English (en)
Inventor
宏輔 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022144849A priority Critical patent/JP2024040035A/ja
Priority to CN202311161531.4A priority patent/CN117687503A/zh
Priority to US18/463,635 priority patent/US20240086133A1/en
Priority to EP23196665.6A priority patent/EP4336342A3/en
Publication of JP2024040035A publication Critical patent/JP2024040035A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】表示画像の表示位置を適切にした、ぶれ補正を行うことができるプロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させるプロセッサ。
【選択図】図７

Description

本開示は、プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムに関する。
従来、立体的な映像を表示する表示装置として、現実空間に、画像を重ね合わせた状態で表示する、拡張現実（ＡＲ：Augmented Reality）機器等の透過型の表示装置が知られている。
ユーザが走っている場合等、透過型の表示装置とユーザの眼との相対位置が変化した場合、表示装置に表示がされている表示画像がぶれて視認されることがある。そのため、ぶれて視認されるのを抑制するために、透視型の表示装置とユーザの眼との相対位置の変化を打ち消すように表示画像の表示位置を変更する、いわゆるぶれ補正を行う技術が知られている（例えば、特許文献１参照）。
特開２０１４－１１０４７４号公報
しかしながら、従来の技術では、ぶれ補正のために、表示画像の位置を変更させた場合、表示画像が表示できなくなる等、表示画像が適切に表示されなくなる場合がある。
本開示は、以上の事情を鑑みて成されたものであり、表示画像の表示位置を適切にした、ぶれ補正を行うことができるプロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第１の態様のプロセッサは、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第１位置と、相対位置の変化とに応じた、第２位置を導出し、第２位置が表示位置の補正が可能な補正領域を超えない場合、第１位置を、第２位置に変更し、第２位置が補正領域を超える場合、第１位置を、第３位置に変更し、補正領域内に表示画像を表示させる。
本開示の第２の態様のプロセッサは、第１の態様のプロセッサにおいて、補正領域に対する表示領域の位置を、相対位置の変化に応じて変化させる。
本開示の第３の態様のプロセッサは、第２の態様のプロセッサにおいて、表示領域に複数の表示画像が表示されている場合、複数の表示画像の表示位置を、それぞれ独立して補正する。
本開示の第４の態様のプロセッサは、第３の態様のプロセッサにおいて、表示位置を第３位置に変更することにより第１表示画像が第２表示画像と重畳する場合、第３位置に表示位置を変更後の第１表示画像に応じて第２表示画像の表示位置を変更する制御を行う。
本開示の第５の態様のプロセッサは、第３の態様のプロセッサにおいて、表示位置を第３位置に変更することにより第１表示画像が第２表示画像と重畳する場合、第３位置に表示位置を変更後の第１表示画像に応じて第２表示画像の表示位置を変更する第１制御、第１表示画像と第２表示画像とを重畳させて表示する第２制御、及び第１表示画像の表示位置を第２位置とする第３制御のいずれかの制御を選択的に行う。
本開示の第６の態様のプロセッサは、第３の態様のプロセッサにおいて、表示画像の表示が可能な表示可能範囲が、相対位置の変化の程度に応じて予め定められており、表示可能範囲内に表示画像の表示位置を変更する。
本開示の第７の態様のプロセッサは、第６の態様のプロセッサにおいて、ユーザの運動状態に応じた表示可能範囲を選択し、選択した表示可能範囲内に表示画像の表示位置を変更する。
本開示の第８の態様のプロセッサは、第３の態様のプロセッサにおいて、相対位置の変化量が、予め定められた閾値を超えた場合、第１位置を第３位置に変更するのに代えて、表示画像を非表示とする制御を行う。
本開示の第９の態様のプロセッサは、第１の態様のプロセッサにおいて、表示画像は複数の部分領域に分割されており、第３位置は、複数の部分領域のうち、少なくとも、予め定められた部分領域が、補正領域内となる位置である。
本開示の第１０の態様のプロセッサは、第１の態様のプロセッサにおいて、補正領域内とする面積に応じた優先度が表示画像に付与されており、第２位置が補正領域を超える場合、優先度に基づいて第３位置に変更する。
本開示の第１１の態様のプロセッサは、第１の態様のプロセッサにおいて、第２位置が表示位置の補正が可能な補正領域を超える場合とは、表示画像の少なくとも一部が補正領域外となる場合である。
本開示の第１２の態様のプロセッサは、第１の態様のプロセッサにおいて、第２位置が表示位置の補正が可能な補正領域を超える場合とは、表示画像の面積の９割以上が補正領域外となる場合である。
上記目的を達成するために本開示の第１３の態様の画像処理装置は、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第１位置と、相対位置の変化とに応じた、第２位置を導出し、第２位置が表示位置の補正が可能な補正領域を超えない場合、第１位置を、第２位置に変更し、第２位置が補正領域を超える場合、第１位置を、第３位置に変更し、補正領域内に表示画像を表示させるプロセッサ、を備える。
上記目的を達成するために本開示の第１４の眼鏡型情報表示装置は、透過型の表示装置と、本開示のプロセッサと、を備える。
上記目的を達成するために、本開示の第１５の態様の画像処理方法は、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第１位置と、相対位置の変化とに応じた、第２位置を導出し、第２位置が表示位置の補正が可能な補正領域を超えない場合、第１位置を、第２位置に変更し、第２位置が補正領域を超える場合、第１位置を、第３位置に変更し、補正領域内に表示画像を表示させる処理を行う。
上記目的を達成するために、本開示の第１６の態様の画像処理プログラムは、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第１位置と、相対位置の変化とに応じた、第２位置を導出し、第２位置が表示位置の補正が可能な補正領域を超えない場合、第１位置を、第２位置に変更し、第２位置が補正領域を超える場合、第１位置を、第３位置に変更し、補正領域内に表示画像を表示させる処理をプロセッサに実効させるためのものである。
本開示によれば、表示画像の表示位置を適切にした、ぶれ補正を行うことができる。
実施形態の眼鏡型情報表示装置の構成の一例を示す構成図である。 実施形態のＡＲグラスの一例を示す斜視図である。 実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 実施形態のプロセッサの構成の一例を示すブロック図である。 実施形態のプロセッサによるぶれ補正について説明するための図である。 実施形態のプロセッサによるぶれ補正について説明するための図である。 基本のぶれ補正による表示位置が補正領域を超える場合の一例について説明するための図である。 基本のぶれ補正による表示位置が補正領域を超える場合の他の例について説明するための図である。 第１実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。 表示画像の表示位置を補正領域内とする一例について説明するための図である。 歩行状態における表示可能範囲の例について説明するための図である。 走行状態における表示可能範囲の例について説明するための図である。 乗り物に乗車している状態における表示可能範囲の例について説明するための図である。 第２実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
［第１実施形態］
図１を参照して、本実施形態の眼鏡型情報表示装置１の構成を説明する。図１に示すように、本実施形態の眼鏡型情報表示装置１は、ＡＲ（Augmented Reality）グラス１０及びスマートフォン１２を備える。
ＡＲグラス１０は、ＯＬＥＤ（Organic Light Emitting Diode）２６から投影された投影画像を現実像に重畳させた状態でユーザによる視認を可能にする装置である。図２には、本実施形態のＡＲグラス１０の一例の斜視図が示されている。図１及び図２に示すように、ＡＲグラス１０は、一対の左眼用透過部２０Ｌ及び右眼用透過部２０Ｒと、ＯＬＥＤ２６と、振動検出センサ２９と、を備える。本実施形態のＡＲグラス１０が、本開示の透過型の表示装置の一例である。
ＯＬＥＤ２６は、右眼用透過部２０Ｒを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部２０Ｒに情報を表す画像（投影画像）を投影する。
右眼用透過部２０Ｒは、右眼用レンズ２２Ｒ及び導光板２４を含む。導光板２４の一端には、ＯＬＥＤ２６から投影された投影画像に応じた光が入射される。導光板２４の中を伝播した光は、出射部（図示省略）において向きを変えて、ユーザの眼の方向に出射される。導光板２４から出射された投影画像に応じた光は、右眼用レンズ２２Ｒを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ２２Ｒを通した現実空間を現実像として右目で視認する。
そのため、ＯＬＥＤ２６から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ２２Ｒを通した現実空間を表す現実像と、導光板２４に投影された投影画像に応じた投影像とが重畳された状態となる。また、ＯＬＥＤ２６から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ２２Ｒ及び導光板２４を通した現実空間を表す現実像となる。
一方、左眼用透過部２０Ｌは、左眼用レンズ２２Ｌを含む。ユーザは、左眼用レンズ２２Ｌを通した現実空間を左眼で視認する。
振動検出センサ２９は、ＡＲグラス１０とユーザの眼との相対位置の変化をＡＲグラス１０の振動として検出するセンサである。すなわち、振動検出センサ２９は、いわゆる「ぶれ」を検出するセンサである。具体的には、振動検出センサ２９は、ＡＲグラス１０が、右眼用レンズ２２Ｒの面内方向、換言すると、ユーザの左右上下方向のいずれに移動したかを表す移動方向と、その移動方向への移動量を検出するセンサである。振動検出センサ２９が検出した移動方向及び移動量は、振動を表す情報としてスマートフォン１２に出力される。
一方、スマートフォン１２は、プロセッサ４１を備える。本実施形態のプロセッサ４１は、ＯＬＥＤ２６から導光板２４に投影画像を投影させる制御を、ＯＬＥＤ２６に対して行う。また、本実施形態のプロセッサ４１は、ＡＲグラス１０とユーザの眼との相対位置の変化、すなわち、ぶれの補正の制御を行う。本実施形態のスマートフォン１２が、本開示の画像処理装置の一例である。
図３には、スマートフォン１２のハードウェア構成の一例を表したブロック図が示されている。図３に示すように、スマートフォン１２は、ＣＰＵ（Central Processing Unit）４０、メモリ４２、Ｉ／Ｆ（InterFace）部４３、記憶部４４、ディスプレイ４６、及び入力装置４８を備える。ＣＰＵ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。
ＣＰＵ４０は、記憶部４４に記憶された画像処理プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ４０は、ぶれ補正の制御、及びＯＬＥＤ２６による投影像の表示の制御を行う。一例として本実施形態のプロセッサ４１は、ＣＰＵ４０と画像処理プログラム４５との組合せで構成される。メモリ４２は、ＣＰＵ４０が処理を実行するためのワークメモリである。
ＣＰＵ４０において実行される画像処理プログラム４５は、記憶部４４に記憶される。また、記憶部４４には、ＯＬＥＤ２６から投影する投影画像の画像データ（図示省略）や、その他の各種情報等も記憶される。記憶部４４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。
Ｉ／Ｆ部４３は、無線通信または有線通信により、ＯＬＥＤ２６との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。また、入力装置４８は、投影画像の投影に関する各種の指示を入力するためにユーザによって操作される。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。
図４には、本実施形態のプロセッサ４１の機能に係る構成の一例を表す機能ブロック図が示されている。図４に示すようにプロセッサ４１は、取得部５０、ぶれ補正部５２、及び表示制御部５４を備える。一例として本実施形態のスマートフォン１２は、ＣＰＵ４０が記憶部４４に記憶されている画像処理プログラム４５を実行することにより、ＣＰＵ４０が取得部５０、ぶれ補正部５２、及び表示制御部５４として機能する。
取得部５０は、ＡＲグラス１０の振動検出センサ２９から振動を表す情報を取得する。取得部５０は、取得した振動を表す情報を補正部５２に出力する。
本実施形態のぶれ補正部５２は、振動を表す情報に基づいて、ぶれを打ち消すように、表示画像の表示位置を補正する機能を有する。図４に示すように、ぶれ補正部５２は、表示領域位置変更部５３Ａ及び表示画像表示位置変更部５３Ｂを含む。図５Ａ及び図５Ｂを参照して、ぶれ補正部５２による、ぶれ補正及び表示画像の表示位置の変更について説明する。
図５Ａに示すようにユーザの眼ＵとＡＲグラス１０とが相対している状態を、ぶれが生じていない初期状態とする。ＡＲグラス１０では、ＯＬＥＤ２６から投影画像を投影することにより表示された表示画像８０を表示する表示領域７０が設けられている。図５Ａでは、表示画像８０の一例として、表示画像８０Ａ～８０Ｄを示している。なお、本実施形態では、表示画像８０Ａ～８０Ｄについて個々を区別せずに総称する場合、表示画像８０という。
また、ＡＲグラス１０では、ぶれが生じた場合に表示画像８０の表示位置を補正するための補正領域７２が設けられている。補正領域７２の位置は、右眼用レンズ２２Ｒに対して固定されている。一例として本実施形態では、ＡＲグラス１０において表示画像８０の表示が可能な最大の領域を補正領域７２としている。図５Ａに示すように、補正領域７２の面積は、表示領域７０の面積よりも大きい。一例として本実施形態のＡＲグラス１０では、補正領域７２の内部に表示領域７０が設けられており、初期状態では、表示領域７０及び補正領域７２の中心位置は同様としている。
図５Ｂは、図５Ａに示した状態から、相対位置の変化として、ユーザの眼Ｕの下方向への移動、及びＡＲグラス１０の上方向の移動の少なくとも一方が生じた場合を示している。この場合、表示領域位置変更部５３Ａは、相対位置の変化を打ち消すように、右眼用レンズ２２Ｒに対する表示領域７０の位置を下方向に変化させるぶれ補正を行う。図５Ｂに示すように、表示領域位置変更部５３Ａが表示領域７０の位置を変化させることにより、ユーザの眼Ｕと、表示領域７０との相対位置は、初期状態から変化しない。表示領域７０の位置の変化に応じて表示画像８０の表示位置も変更されるため、ユーザの眼Ｕと、表示画像８０の表示位置との相対位置も、初期状態から変化しない。従って、ユーザは、表示画像８０が動いていないように視認することができる。
しかしながら、図５Ｂに示すように、ぶれ量が大きい場合、表示領域位置変更部５３Ａにより位置が変化された表示領域７０が、補正領域７２を超えて外部にはみ出す場合がある。補正領域７２の外部となった表示領域７０内を表示位置とする表示画像８０は、実際には、右眼用レンズ２２Ｒに表示されなくなり、ユーザの眼Ｕにより視認されなくなる。図５Ｂに示した例では、点線で示した表示画像８０Ａの表示位置が補正領域７２の外部となる。そのため表示画像８０Ａは、実際には、右眼用レンズ２２Ｒに表示されなくなり、ユーザの眼Ｕにより視認されなくなる。
そこで、本実施形態の表示画像表示位置変更部５３Ｂは、表示位置が補正領域７２の外部となった表示画像８０について、表示位置を補正領域７２内に変更する。図５Ｂに示した例では、点線で示した表示画像８０Ａの表示位置を矢印Ｚ方向に移動させて、表示画像８０Ａの全体が補正領域７２内となるように、表示位置を補正領域７２内に変更する。図５Ｂに示した例では、補正領域７２内に表示位置を変更後の表示画像８０Ａを実線で示している。このように、表示画像８０Ａの表示位置を補正領域７２内に変更することにより、ユーザは、表示画像８０Ａを視認できるようになる。
このように、表示領域位置変更部５３Ａは、ＡＲグラス１０（右眼用レンズ２２Ｒ）とユーザの眼Ｕとの相対位置の変化に基づいて、右眼用レンズ２２Ｒに対する表示領域７０の位置を変化させる、基本のぶれ補正を行う。具体的には、本実施形態の表示領域位置変更部５３Ａは、初期状態における表示領域７０に表示された表示画像８０の表示位置（以下、初期表示位置という）と、相対位置の変化とに応じて、表示画像８０の表示位置（以下、基本補正表示位置という）を導出する。表示画像表示位置変更部５３Ｂは、表示領域位置変更部５３Ａが導出した表示画像８０の表示位置が補正領域７２を超える場合、その表示画像８０について、表示位置を補正領域７２内の位置に変更する。本実施形態の初期表示位置が、本開示の第１位置の一例である。また、本実施形態の、基本のぶれ補正を行った場合の表示画像８０の基本補正表示位置が、本開示の第２位置の一例である。さらに、本実施形態の表示画像表示位置変更部５３Ｂが導出する表示画像８０の表示位置が、本開示の第３位置の一例である。
なお、表示画像８０の表示位置が補正領域７２を超える場合の具体的な状態については、特に限定されず、予め定めておけばよい。例えば、図６Ａに示すように、表示画像８０の少なくとも一部が補正領域７２外となる場合、換言すると、少しでも表示画像８０が補正領域７２外に至る場合としてもよい。また例えば、図６Ｂに示すように、表示画像８０の面積の９割以上が補正領域７２外となる場合としてもよい。
ぶれ補正部５２は、表示領域位置変更部５３Ａ及び表示画像表示位置変更部５３Ｂにより導出された表示画像８０Ａ～８０Ｄの表示位置を表示制御部５４に出力する。
表示制御部５４は、補正部５２から入力された表示位置に、表示画像８０Ａ～８０Ｄを表示させる機能を有する。具体的には、表示制御部５４は、ＯＬＥＤ２６が投影する表示画像８０Ａ～８０Ｄ各々の画像データを取得する。一例として本実施形態では、表示画像８０Ａ～８０Ｄ各々の画像データが記憶部４４に記憶されているため、表示制御部５６は、記憶部４４から表示画像８０Ａ～８０Ｄ各々の画像データを取得する。なお、本形態によらず、表示画像８０Ａ～８０Ｄ各々の画像データをＩ／Ｆ部４３を介して、スマートフォン１２の外部の装置から取得する形態としてもよい。なお、以下では、表示画像８０Ａ～８０Ｄの画像データについて、単に表示画像といい、例えば、表示画像８０Ａを取得するという。
次に、本実施形態のプロセッサ４１の作用を説明する。図７には、本実施形態のスマートフォン１２のプロセッサ４１による画像処理の流れの一例を表したフローチャートが示されている。一例として本実施形態のプロセッサ４１では、ＯＬＥＤ２６による投影画像の投影が開始され、表示画像８０の表示が開始された場合に、図７に一例を示した画像処理を実行する。
図７のステップＳ１００で取得部５０は、上述したように、振動を表す情報の取得を開始する。具体的には、振動検出センサ２９から出力される振動を表す情報の取得を開始する。
次のステップＳ１０２で表示領域位置変更部５３Ａは、取得部５０が取得した振動を表す情報に基づいて、ＡＲグラス１０の移動量が、ぶれ閾値以上であるか否かを判定する。一例として本実施形態では、移動量が極めて小さい場合、ぶれ補正、すなわち表示領域７０の位置を変化させず、表示画像８０の位置も変更しない。そこで、本実施形態では、移動量がぶれ閾値以上の場合、移動量が大きいとして、ぶれ補正を行う。なお、ぶれ補正を行うか否かの基準となる、ぶれ閾値の定め方は特に限定されず、例えば、実験的に得られ値を用いてもよいし、個々のユーザにより調整可能としてもよい。
移動量がぶれ閾値未満の場合、ステップＳ１０２の判定が否定判定となる。一方、移動量がぶれ閾値以上の場合、ステップＳ１０２の判定が肯定判定となり、ステップＳ１０４へ移行する。
ステップＳ１０４で表示領域位置変更部５３Ａは、上述したように、ＡＲグラス１０とユーザの眼Ｕとの相対位置の変化と、初期表示位置とから、基本のぶれ補正を行う場合の表示画像８０の基本補正表示位置を導出する。具体的には、表示領域位置変更部５３Ａは、上記ステップＳ１００で取得した振動を表す情報に含まれるＡＲグラス１０の移動方向及び移動量に応じて、表示画像８０の表示位置を導出する。例えば、移動量が５ｍｍであり、移動方向が下方向である場合、表示画像８０の表示位置として、初期表示位置から上方向に５ｍｍ移動させた表示位置を基本補正表示位置として導出する。なお、表示領域７０に複数の表示画像８０を表示させる場合、複数の表示画像８０のそれぞれについて、基本補正表示位置を補正する。
次のステップＳ１０６で表示画像表示位置変更部５３Ｂは、上記ステップＳ１０４で導出した、基本補正表示位置が、補正領域７２内であるか否かを判定する。基本補正表示位置が補正領域７２内の場合、ステップＳ１０６の判定が肯定判定となり、ステップＳ１１２へ移行する。一方、基本補正表示位置が、補正領域７２外である場合、ステップＳ１０６の判定が否定判定となり、ステップＳ１０８へ移行する。
ステップＳ１０８で表示画像表示位置変更部５３Ｂは、上述したように、補正領域７２外であった表示位置を、補正領域７２内の表示位置に変更する。なお、表示画像表示位置変更部５３Ｂが、補正領域７２外の表示位置から、補正領域７２内の表示位置に変更するための、表示位置の変更量、及び変更方向については特に限定されない。例えば、変更量が最も小さくなるように、表示画像表示位置変更部５３Ｂが表示画像８０の表示位置を補正領域７２内に変更させる形態としてもよい。
なお、表示画像表示位置変更部５３Ｂは、補正領域７２外であった表示位置を、補正領域７２内の表示位置に変更することにより、表示画像８０がどの程度、補正領域７２内となるかについては、限定されない。例えば、上述した図５Ｂの表示画像８０Ａのように、表示画像８０全体が、補正領域７２内となるように表示位置を変更してもよい。また例えば、図８に示すように、表示画像８０について、部分領域８１１～８１４が定められており、予め定められた部分領域８１（図８では部分領域８１１）について少なくとも補正領域７２内となるように表示位置を変更してもよい。なお、どの部分領域８１について、少なくとも補正領域７２内とするかについては、表示画像８０の内容、及び表示画像８０の表示位置等により定めてもよく、その定め方は特に限定されない。
また、表示画像表示位置変更部５３Ｂは、例えば、表示画像８０について、補正領域７２内とする面積に応じた優先度を付与しておき、表示画像８０に付与されている優先度に基づいて、表示画像８０の表示位置を補正領域７２内の表示位置としてもよい。例えば、表示画像表示位置変更部５３Ｂは、付与されている優先度が最も高い場合、上述した図５Ｂに示したように、表示画像８０の面積全体が、補正領域７２内となるように表示位置とし、優先度が低くなるほど、表示画像８０の面積の一部が補正領域７２害となるのを許容する表示位置としてもよい。
なお、表示領域７０に複数の表示画像８０を表示させる場合、上記ステップＳ１０６及びステップＳ１０８の判定は、各表示画像８０について独立して行われる。すなわち、表示画像表示位置変更部５３Ｂは、複数の表示画像８０について、その表示位置をそれぞれ独立して補正する。
次のステップＳ１１０で表示制御部５４は、表示画像８０を表示させる制御を行う。具体的には、上記ステップＳ１０４で導出した表示位置が、補正領域７２内である表示画像８０については、上記ステップＳ１０４で導出した表示位置に表示画像８０を表示させる。また、表示制御部５４は、上記ステップＳ１０８で補正領域７２内に表示位置を変更した表示画像８０については、変更後の表示位置に表示画像８０を表示させる。
次のステップＳ１１２で表示領域位置変更部５３Ａは、上記ステップＳ１０２と同様に、取得部５０が取得した振動を表す情報に基づいて、ＡＲグラス１０の移動量が、ぶれ閾値以上であるか否かを判定する。すなわち、振動が継続しているか否かを判定する。移動量がぶれ閾値以上である場合、すなわち、振動が継続している場合、ステップＳ１１２の判定が肯定判定となり、ステップＳ１１６へ移行する。
一方、移動量がぶれ閾値以上である場合、すなわち、振動が停止した場合、ステップＳ１１２の判定が否定判定となり、ステップＳ１１４へ移行する。ステップＳ１１４でぶれ補正部５２は、表示中の表示画像８０の表示位置を、初期表示位置に変更する。
次のステップＳ１１６で取得部５０は、図７に示した画像処理、すなわち、ぶれ補正を終了するか否かを判定する。一例として本実施形態では、表示画像８０の表示を行っている間は、ステップＳ１１６の判定が否定判定となり、ステップＳ１０２に戻り、ステップＳ１０２～Ｓ１１４の処理を繰り返す。一方、表示画像８０の表示を終了する場合、ステップＳ１１６の判定が肯定判定となり、ステップＳ１１８へ移行する。
ステップＳ１１８で取得部５０は、上記ステップＳ１００で開始した振動を表す情報の取得を終了する。ステップＳ１１８の処理が終了すると、図７に示した画像処理が終了する。
このように、本実施形態のプロセッサ４１によれば、ＡＲグラス１０とユーザの眼Ｕとの相対位置の変化に応じて行うぶれ補正において、表示画像８０の表示位置を適切にすることができる。
［第２実施形態］
本実施形態では、表示画像８０の初期表示位置を、ＡＲグラス１０とユーザの眼Ｕとの相対位置の変化に応じて予め定められた表示可能範囲内の位置に変更する形態について説明する。表示可能範囲とは、その範囲内の表示画像８０については、ＡＲグラス１０とユーザの眼Ｕとの相対位置の変化に応じた基本補正表示位置が、補正領域７２を超えないと予測される領域である。
例えば、ユーザの運動状態に応じて、ＡＲグラス１０とユーザの眼Ｕとの相対位置の変化量が異なる。そのため、本実施形態では、ユーザの運動に応じた表示可能範囲を選択し、選択した評価可能範囲内に、表示画像８０の初期表示位置を設ける形態について説明する。
例えば、ユーザが歩行している場合、ユーザの上下方向にＡＲグラス１０とユーザの眼Ｕとの相対位置が変化しやすい。そのため、図９Ａに示すように、ユーザが歩行している場合は、表示領域７０よりも上下が狭い範囲を、表示可能範囲７１として表示領域７０内に設ける。
また例えば、ユーザが走行している場合、ユーザの上下方向にＡＲグラス１０とユーザの眼Ｕとの相対位置が変化しやすく、その変化量は、ユーザが歩行している場合よりも大きい。そのため、図９Ｂに示すように、ユーザが走行している場合は、ユーザが走行している場合よりも、上下がさらに狭い範囲を、表示可能範囲７１として表示領域７０内に設ける。
また例えば、ユーザが、自動車や電車等の乗り物に乗車している場合、ユーザの上下及び左右方向にＡＲグラス１０とユーザの眼Ｕとの相対位置が変化する可能性がある。そのため、図９Ｃに示すように、ユーザが乗り物に乗車している場合は、表示領域７０よりも上下及び左右が狭い範囲を、表示可能範囲７１として表示領域７０内に設ける。
なお、ユーザが立ち止まっていたり、座っていたり等、停止している場合、ＡＲグラス１０とユーザの眼Ｕとの相対位置の変化が生じず、表示画像８０の表示位置は初期表示位置のままでよいため、表示可能範囲７１については特に設けていない。
第１実施形態と異なり、本実施形態では、ぶれ補正部５２の表示領域位置変更部５３Ａが、取得部５０が取得した振動を表す情報に基づいて、ユーザの運動状態を予測し、予測結果に応じた表示可能範囲７１内に、表示画像８０の初期表示位置を変更する。
図１０には、本実施形態のスマートフォン１２のプロセッサ４１による画像処理の流れの一例を表したフローチャートが示されている。
図１０のステップＳ２００で取得部５０は、上述したように、振動を表す情報の取得を開始する。具体的には、振動検出センサ２９から出力される振動を表す情報の取得を開始する。
次のステップＳ２０２で表示領域位置変更部５３Ａは、上述しように、ユーザの運動状態を予測する。なお、表示領域位置変更部５３Ａがユーザの運動状態を予測する方法は特に限定されない。例えば、振動を表す情報と、ユーザの運動状態との対応関係を学習した機械学習モデルを用い、取得部５０が取得した振動を表す情報に応じたユーザの運動状態を予測する形態としてもよい。また、振動を表す情報に加えて、または振動を表す情報に加えてその他の情報を用いてユーザの運動状態の予測を行ってもよい。例えば、ユーザの移動速度を検出し、検出結果に基づいて、ユーザの運動状態が、停止状態、歩行状態、走行状態、及び乗り物に乗車している状態のいずれであるか予測する形態としてもよい。
次のステップＳ２０４では、予測結果が歩行状態であるか否か判定する、歩行状態である場合、ステップＳ２０４の判定が肯定判定となり、ステップＳ２０６へ移行する。ステップＳ２０６で表示領域位置変更部５３Ａは、表示可能範囲７１として、最大の表示可能範囲７１、具体的には図９Ａに示した表示可能範囲７１を選択する。一方、歩行常状態ではない場合、ステップＳ２０４が否定判定となり、ステップＳ２０８へ移行する。
ステップＳ２０８では、予測結果が走行状態であるか否か判定する。走行状態である場合、ステップＳ２０８の判定が肯定判定となり、ステップＳ２１０へ移行する。ステップＳ２１０で表示領域位置変更部５３Ａは、表示可能範囲７１として、中間の表示可能範囲７１、具体的には図９Ｂに示した表示可能範囲７１を選択する。一方、走行常状態ではない場合、ステップＳ２０８が否定判定となり、ステップＳ２１２へ移行する。
ステップＳ２１２では、予測結果が乗り物に乗車中の状態であるか否か判定する。乗り物に乗車中の状態である場合、ステップＳ２１２の判定が肯定判定となり、ステップＳ２１４へ移行する。ステップＳ２１４で表示領域位置変更部５３Ａは、表示可能範囲７１として、最小の表示可能範囲７１、具体的には図９Ｃに示した表示可能範囲７１を選択する。一方、乗り物に乗車中の状態ではない場合、すなわち、停止状態である場合、ステップＳ２１２が否定判定となり、ステップＳ２１０２に戻る。
ステップＳ２１６で表示領域位置変更部５３Ａは、表示画像８０の表示位置を表示可能範囲７１に変更する。具体的には、上記ステップＳ２０６、Ｓ２１０、Ｓ２１４のいずれかで選択した表示可能範囲７１内に、表示画像８０の表示位置を変更し、変更した表示位置を、初期表示位置とする。
次のステップＳ２１８で表示制御部５４は、上記ステップＳ２１６で変更後の初期表示位置に、表示画像８０を表示させる。
次のステップＳ２２０で表示領域位置変更部５３Ａは、第１実施形態の画像処理（図７参照）のステップＳ１１２と同様に、取得部５０が取得した振動を表す情報に基づいて、ＡＲグラス１０の移動量が、ぶれ閾値以上であるか否かを判定する。すなわち、振動が継続しているか否かを判定する。移動量がぶれ閾値以上である場合、すなわち、振動が継続している場合、ステップＳ２２０の判定が肯定判定となり、ステップＳ２２２へ移行する。
ステップＳ２２２～Ｓ２２８の処理は、第１実施形態の画像処理（図７参照）のステップＳ１０４～Ｓ１１０の処理と同様であるため、説明を省略する。本実施形態では、ステップＳ２２８の終了後、ステップＳ２２０に戻る。
一方、移動量がぶれ閾値以上である場合、すなわち、振動が停止した場合、ステップＳ２２０の判定が否定判定となり、ステップＳ２３０へ移行する。ステップＳ２３０でぶれ補正部５２は、表示中の表示画像８０の表示位置を、初期表示位置に変更する。なお、ここでの初期表示位置とは、上記ステップＳ２１６で変更後の初期表示位置である。
次のステップＳ２３２で取得部５０は、図１０に示した画像処理、すなわち、ぶれ補正を終了するか否かを判定する。上述したように、表示画像８０の表示を行っている間は、ステップＳ２３２の判定が否定判定となり、ステップＳ２２０に戻り、ステップＳ２２０～Ｓ２３０の処理を繰り返す。一方、表示画像８０の表示を終了する場合、ステップＳ２３２の判定が肯定判定となり、ステップＳ２３４へ移行する。
ステップＳ２３４で取得部５０は、上記ステップＳ２００で開始した振動を表す情報の取得を終了する。ステップＳ１１８の処理が終了すると、図１０に示した画像処理が終了する。
このように、本実施形態のプロセッサ４１によれば、ＡＲグラス１０とユーザの眼Ｕとの相対変化に応じて、初期表示位置を表示可能範囲７１内とするため、基本補正表示位置が、補正領域７２を超えてしまうのを抑制することができる。従って、表示画像８０の表示位置の補正量を少なくすることができる。
なお、上記各形態において、表示画像表示位置変更部５３Ｂが表示画像８０の表示位置を補正領域７２内に変更することにより表示画像８０が、他の表示画像８０と重畳する場合、補正領域７２内に変更した表示画像８０に応じて、他の表示画像８０の表示位置を変更してもよい。
また、上記のように他の表示画像８０の表示位置を変更する制御の他、表示画像８０同士を重畳させて表示する形態とする制御を行ってもよい。また、補正領域７２内に表示位置を変更せず基本補正表示位置のままとする制御を行ってもよい。また、これら３つの制御について、ユーザの指示等や、予め定められた設定等に基づいて、選択的に表示画像表示位置変更部５３Ｂが実行する形態としてもよい。
なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよく、上記形態では、一方の眼により投影像を視認する形態について説明したが、両眼で、投影像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない（例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示の制御装置は膝に装着される）。このような制御装置も、本開示の技術に含まれる。
また、上記形態のプロセッサ４１の機能の一部、または全部を、ＡＲグラス１０が備えていてもよいし、また、眼鏡型情報表示装置１外の装置が備えていてもよい。
また、上記形態において、例えば、取得部５０、ぶれ補正部５２（表示領域位置変更部５３Ａ及び表示画像表示位置変更部５３Ｂ）、及び表示制御部５４といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、上記実施形態のようにクライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
また、上記各形態では、画像処理プログラム４５が記憶部４４に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム４５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム４５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の上記実施形態に関し、更に以下の付記を開示する。
（付記１）
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
プロセッサ。
（付記２）
前記補正領域に対する前記表示領域の位置を、前記相対位置の変化に応じて変化させる
付記１に記載のプロセッサ。
（付記３）
前記表示領域に複数の前記表示画像が表示されている場合、
前記複数の表示画像の表示位置を、それぞれ独立して補正する
付記１または付記２に記載のプロセッサ。
（付記４）
表示位置を第３位置に変更することにより第１表示画像が第２表示画像と重畳する場合、
前記第３位置に表示位置を変更後の前記第１表示画像に応じて前記第２表示画像の表示位置を変更する制御を行う
付記１から付記３のいずれか１つに記載のプロセッサ。
（付記５）
表示位置を第３位置に変更することにより第１表示画像が第２表示画像と重畳する場合、
前記第３位置に表示位置を変更後の前記第１表示画像に応じて前記第２表示画像の表示位置を変更する第１制御、前記第１表示画像と前記第２表示画像とを重畳させて表示する第２制御、及び前記第１表示画像の表示位置を前記第２位置とする第３制御のいずれかの制御を選択的に行う
付記１から付記３のいずれか１つに記載のプロセッサ。
（付記６）
前記表示画像の表示が可能な表示可能範囲が、前記相対位置の変化の程度に応じて予め定められており、
前記表示可能範囲内に前記表示画像の表示位置を変更する
付記１から付記５のいずれか１つに記載のプロセッサ。
（付記７）
前記ユーザの運動状態に応じた前記表示可能範囲を選択し、
選択した前記表示可能範囲内に前記表示画像の表示位置を変更する
付記６に記載のプロセッサ。
（付記８）
前記相対位置の変化量が、予め定められた閾値を超えた場合、前記第１位置を前記第３位置に変更するのに代えて、前記表示画像を非表示とする制御を行う
付記１から付記７のいずれか１つに記載のプロセッサ。
（付記９）
前記表示画像は複数の部分領域に分割されており、
前記第３位置は、前記複数の部分領域のうち、少なくとも、予め定められた部分領域が、前記補正領域内となる位置である
付記１から付記８のいずれか１つに記載のプロセッサ。
（付記１０）
前記補正領域内とする面積に応じた優先度が前記表示画像に付与されており、
前記第２位置が前記補正領域を超える場合、
前記優先度に基づいて前記第３位置に変更する
付記１から付記８のいずれか１つに記載のプロセッサ。
（付記１１）
前記第２位置が表示位置の補正が可能な補正領域を超える場合とは、
前記表示画像の少なくとも一部が前記補正領域外となる場合である
付記１から付記１０のいずれか１つに記載のプロセッサ。
（付記１２）
前記第２位置が表示位置の補正が可能な補正領域を超える場合とは、
前記表示画像の面積の９割以上が前記補正領域外となる場合である
付記１から付記１０のいずれか１つに記載のプロセッサ。
（付記１３）
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
プロセッサ、
を備えた画像処理装置。
（付記１４）
透過型の表示装置と、
付記１から付記１２のいずれか１つに記載のプロセッサと、
を備えた眼鏡型情報表示装置。
（付記１５）
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
処理をプロセッサが実行する画像処理方法。
（付記１６）
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
処理をプロセッサに実効させるための画像処理プログラム。
１ 眼鏡型情報表示装置
１０ ＡＲグラス
１２ スマートフォン
２０Ｌ 左眼用透過部、２０Ｒ 右眼用透過部
２２Ｌ 左眼用レンズ、２２Ｒ 右眼用レンズ
２４ 導光板
２６ ＯＬＥＤ
２９ 振動検出センサ
４０ ＣＰＵ
４１ プロセッサ
４２ メモリ
４３ Ｉ／Ｆ部
４４ 記憶部
４５ 制御プログラム
４６ ディスプレイ
４８ 入力装置
４９ バス
５０ 取得部
５２ ぶれ補正部、５３Ａ 表示領域位置変更部、５３Ｂ 表示画像表示位置変更部
５４ 表示制御部
７０ 表示領域
７２ 補正領域
８０Ａ～８０Ｄ 表示画像
８１１～８１４ 部分領域
Ｕ ユーザの眼
Ｚ 矢印

Claims (16)

  1. 透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
    前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
    前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
    前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
    プロセッサ。
  2. 前記補正領域に対する前記表示領域の位置を、前記相対位置の変化に応じて変化させる
    請求項１に記載のプロセッサ。
  3. 前記表示領域に複数の前記表示画像が表示されている場合、
    前記複数の表示画像の表示位置を、それぞれ独立して補正する
    請求項２に記載のプロセッサ。
  4. 表示位置を第３位置に変更することにより第１表示画像が第２表示画像と重畳する場合、
    前記第３位置に表示位置を変更後の前記第１表示画像に応じて前記第２表示画像の表示位置を変更する制御を行う
    請求項３に記載のプロセッサ。
  5. 表示位置を第３位置に変更することにより第１表示画像が第２表示画像と重畳する場合、
    前記第３位置に表示位置を変更後の前記第１表示画像に応じて前記第２表示画像の表示位置を変更する第１制御、前記第１表示画像と前記第２表示画像とを重畳させて表示する第２制御、及び前記第１表示画像の表示位置を前記第２位置とする第３制御のいずれかの制御を選択的に行う
    請求項３に記載のプロセッサ。
  6. 前記表示画像の表示が可能な表示可能範囲が、前記相対位置の変化の程度に応じて予め定められており、
    前記表示可能範囲内に前記表示画像の表示位置を変更する
    請求項３に記載のプロセッサ。
  7. 前記ユーザの運動状態に応じた前記表示可能範囲を選択し、
    選択した前記表示可能範囲内に前記表示画像の表示位置を変更する
    請求項６に記載のプロセッサ。
  8. 前記相対位置の変化量が、予め定められた閾値を超えた場合、前記第１位置を前記第３位置に変更するのに代えて、前記表示画像を非表示とする制御を行う
    請求項３に記載のプロセッサ。
  9. 前記表示画像は複数の部分領域に分割されており、
    前記第３位置は、前記複数の部分領域のうち、少なくとも、予め定められた部分領域が、前記補正領域内となる位置である
    請求項１に記載のプロセッサ。
  10. 前記補正領域内とする面積に応じた優先度が前記表示画像に付与されており、
    前記第２位置が前記補正領域を超える場合、
    前記優先度に基づいて前記第３位置に変更する
    請求項１に記載のプロセッサ。
  11. 前記第２位置が表示位置の補正が可能な補正領域を超える場合とは、
    前記表示画像の少なくとも一部が前記補正領域外となる場合である
    請求項１に記載のプロセッサ。
  12. 前記第２位置が表示位置の補正が可能な補正領域を超える場合とは、
    前記表示画像の面積の９割以上が前記補正領域外となる場合である
    請求項１に記載のプロセッサ。
  13. 透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
    前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
    前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
    前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
    プロセッサ、
    を備えた画像処理装置。
  14. 透過型の表示装置と、
    請求項１から請求項１２のいずれか１項に記載のプロセッサと、
    を備えた眼鏡型情報表示装置。
  15. 透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
    前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
    前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
    前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
    処理をプロセッサが実行する画像処理方法。
  16. 透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
    前記表示装置の表示領域に表示された表示画像の第１位置と、前記相対位置の変化とに応じた、第２位置を導出し、
    前記第２位置が表示位置の補正が可能な補正領域を超えない場合、前記第１位置を、前記第２位置に変更し、
    前記第２位置が前記補正領域を超える場合、前記第１位置を、第３位置に変更し、前記補正領域内に前記表示画像を表示させる
    処理をプロセッサに実効させるための画像処理プログラム。
JP2022144849A 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム Pending JP2024040035A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022144849A JP2024040035A (ja) 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
CN202311161531.4A CN117687503A (zh) 2022-09-12 2023-09-08 处理器、图像处理装置及方法、信息显示装置和存储介质
US18/463,635 US20240086133A1 (en) 2022-09-12 2023-09-08 Processor, image processing device, glasses-type information display device, image processing method, and image processing program
EP23196665.6A EP4336342A3 (en) 2022-09-12 2023-09-11 Processor, image processing device, glasses-type information display device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022144849A JP2024040035A (ja) 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2024040035A true JP2024040035A (ja) 2024-03-25

Family

ID=88017892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022144849A Pending JP2024040035A (ja) 2022-09-12 2022-09-12 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20240086133A1 (ja)
EP (1) EP4336342A3 (ja)
JP (1) JP2024040035A (ja)
CN (1) CN117687503A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681093B2 (en) * 2008-02-11 2014-03-25 Apple Inc. Motion compensation for screens
US9417666B2 (en) * 2012-10-19 2016-08-16 Microsoft Technology Licesning, LLC User and device movement based display compensation
JP6023568B2 (ja) 2012-11-30 2016-11-09 オリンパス株式会社 頭部装着型装置
KR20150071344A (ko) * 2013-12-18 2015-06-26 삼성전기주식회사 디스플레이의 영상 안정화 장치 및 방법
US10444847B2 (en) * 2014-12-31 2019-10-15 Oath Inc. Stabilizing content display on wearable devices
US9706086B2 (en) * 2015-08-26 2017-07-11 Intel Corporation Camera-assisted display motion compensation
JP2017068595A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN106921890A (zh) * 2015-12-24 2017-07-04 上海贝尔股份有限公司 一种用于促进设备中的视频渲染的方法和装置
US10726814B2 (en) * 2017-01-27 2020-07-28 Canon Kabushiki Kaisha Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium

Also Published As

Publication number Publication date
CN117687503A (zh) 2024-03-12
EP4336342A2 (en) 2024-03-13
EP4336342A3 (en) 2024-05-08
US20240086133A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
EP3552081B1 (en) Display synchronized image warping
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10546429B2 (en) Augmented reality mirror system
US11301969B1 (en) Context aware dynamic distortion correction
JP5476910B2 (ja) 画像生成装置、画像生成方法、および、プログラム
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020532797A (ja) 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成
CN111868789A (zh) 信息处理设备、信息处理方法以及程序
US20180364488A1 (en) Display device
US20180359463A1 (en) Information processing device, information processing method, and program
CN114026603B (zh) 渲染计算机生成现实文本
WO2019130708A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111264057B (zh) 信息处理装置、信息处理方法和记录介质
CN108885802B (zh) 信息处理装置、信息处理方法和存储介质
JP2022061495A (ja) 動的クロストークを測定する方法及び装置
JP2024040035A (ja) プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
US11543655B1 (en) Rendering for multi-focus display systems
US10602116B2 (en) Information processing apparatus, information processing method, and program for performing display control
JP5817091B2 (ja) 表示装置、画像処理装置およびプログラム
JP7080373B2 (ja) 情報処理装置および警告提示方法
JP2023124678A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6264173B2 (ja) 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
JP5663854B2 (ja) 表示装置、表示方法、および、プログラム
US20240036330A1 (en) Control device, glasses-type information display device, control method, and control program
JP2020019369A (ja) 車両用表示装置、方法、及びコンピュータ・プログラム