JP7476128B2 - 表示システムおよび表示装置 - Google Patents

表示システムおよび表示装置 Download PDF

Info

Publication number
JP7476128B2
JP7476128B2 JP2021039144A JP2021039144A JP7476128B2 JP 7476128 B2 JP7476128 B2 JP 7476128B2 JP 2021039144 A JP2021039144 A JP 2021039144A JP 2021039144 A JP2021039144 A JP 2021039144A JP 7476128 B2 JP7476128 B2 JP 7476128B2
Authority
JP
Japan
Prior art keywords
display
image
area
display mode
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021039144A
Other languages
English (en)
Other versions
JP2022138964A (ja
Inventor
航史 山崎
千代 大野
将史 山本
拓也 中道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021039144A priority Critical patent/JP7476128B2/ja
Priority to US17/536,148 priority patent/US11574582B2/en
Priority to CN202210199474.8A priority patent/CN115079973A/zh
Publication of JP2022138964A publication Critical patent/JP2022138964A/ja
Application granted granted Critical
Publication of JP7476128B2 publication Critical patent/JP7476128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、作業を支援するための情報を表示する表示システムおよび表示装置に関する。
工場（プラント）における製品の製造や、工場設備の点検、修理などの作業において、手順書や図面などの作業書を見ながら作業を行う場合がある。しかしながら、作業環境によっては、作業対象の近くに作業書を表示するディスプレイなどの装置を配置することが難しい場合がある。このような場合に利用可能な表示装置として、作業者の頭部に装着して、現実空間に仮想空間の画像を重畳して表示するシースルー型頭部装着型表示装置（ヘッドマウントディスプレイ、Head-Mounted Display、以下ではＨＭＤとも記す）やスマートグラスが注目されている。シースルー型ＨＭＤなどを使用すれば、作業者は表示装置を手に持ったり、遠くの表示装置を見に行ったりする必要がなく、作業効率を改善することができる。
ＨＭＤにおける表示制御については、ＨＭＤや作業者の状態、あるいは表示内容に応じて表示画面を変更・構成することにより使いやすいものとなる。例えば、特許文献１に記載のＨＭＤでは、ＨＭＤが計測した視線の角度に応じて、仮想空間を撮影した仮想カメラの画像を生成し、角度に応じて変化しない画像と共に表示している。
特開２０１９－１０１３３０号公報
特許文献１に記載の発明では、例えば、非透過型のＨＭＤの向きに応じて仮想空間の状態を示す第１画像と、表示画面の所定の領域にＨＭＤの向きに応じて変化しない第２画像とを表示する。一方、工場などの現場での作業を支援するＨＭＤでは、使用するデバイスや使用するシーン、表示コンテンツによって第１画像と第２画像の適切な表示方法は異なる。このため、特許文献１に記載の技術は、現場での作業用の表示装置として適しているとは言えない。
本発明は、このような背景を鑑みてなされたものであって、実空間で作業する作業者に適し、作業に係る情報を表示することを可能とする表示システムおよび表示装置を提供することを課題とする。
上記した課題を解決するため、本発明に係る表示システムは、表示器と、前記表示器の向きを検出する検出器とを含んで構成される表示システムであって、第１画像と、当該第１画像に関連する第２画像とを、それぞれ一部の領域の画像として含む表示元画像を生成する表示元画像生成部と、前記第１画像を前記表示器の第１表示領域に表示し、前記第２画像を前記表示器の第２表示領域に表示する視野画像表示部とを備え、前記視野画像表示部は、前記第１画像に関連付けられた表示モードが第１表示モードであれば、前記表示器の所定の固定領域を前記第１表示領域とし、前記表示モードが第２表示モードであれば、前記表示器の向きに応じて前記第１表示領域の表示位置および表示サイズを決定し、前記第１画像は、テキストの画像であり、前記表示元画像生成部は、複数の前記表示元画像を生成し、前回生成した表示元画像に含まれる第１画像のテキストと、今回生成する表示元画像に含まれる第１画像のテキストとの差分を求め、当該差分が所定の条件を満たす場合には、当該差分を強調して前記表示元画像を生成することを特徴とする。
本発明によれば、実空間で作業する作業者に適し、作業に係る情報を表示することを可能とする表示システムおよび表示装置を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
第１の実施形態に係る表示システムの構成を示す図である。 第１の実施形態に係るＨＭＤの機能ブロック図である。 第１の実施形態に係るスマートフォンの機能ブロック図である。 第１の実施形態に係る作業書データベースのデータ構成図である。 第１の実施形態に係る表示元画像の構成を示す図である。 第１の実施形態に係る第１表示モードでディスプレイに表示される視野画像の構成を示す図である。 第１の実施形態に係る第２表示モードでディスプレイに表示される視野画像の構成を示す図である。 第１の実施形態に係る第３表示モードでディスプレイに表示される視野画像の構成を示す図である。 第１の実施形態に係る配置定義処理のシーケンス図である。 第１の実施形態における表示元画像生成処理のフローチャートである。 第１の実施形態における視野画像表示処理のフローチャートである。 第２の実施形態に係るＨＭＤの機能ブロック図である。 第３の実施形態に係るスマートフォンの機能ブロック図である。 第３の実施形態における表示元画像生成処理のフローチャートである。
≪表示システムの概要≫
以下に本発明を実施するための形態（実施形態）における表示システムを説明する。表示システムは、スマートフォン、および透過型のＨＭＤ（ヘッドマウントディスプレイ）を含んで構成される。スマートフォンには、作業の手順書、および図面が記憶され、作業者が行っている作業ステップの手順書と図面とをそれぞれの所定の領域に含む画像（表示元画像とも記す）を生成して、ＨＭＤに送信する。
ＨＭＤは、表示元画像に含まれる手順書と図面とを表示モードに応じた所定の位置に表示する。例えば、第１の表示モードの場合にＨＭＤは、表示元画像に含まれる手順書の領域から画像を切り出して、ＨＭＤの画面における所定の位置（例えば中央下）に表示する。また、ＨＭＤは、本体の向きに応じて図面を表示する。例えば、図面の領域が表示元画像の右側にあるとする（後記する図５の表示元画像２３０内の図面配置領域２３２参照）。すると、ＨＭＤは、作業者が正面を向いているときには図面を表示しない。ＨＭＤは、作業者が小さく右を向いたことを検知すると図面の左側を画面の右側に表示し、作業者が大きく右を向いたことを検知すると図面全体を画面の右側に表示する。
このように、ＨＭＤが手順書と図面とを表示することにより、作業者は手順書を常時参照しながら作業することができる。また、右を向くことで作業者は、図面を参照することができる。正面を向いているときには図面は表示されず、作業者が作業対象や作業現場（実空間）を見る視界が遮られることはない。結果として作業者は、手でスマートフォンやＨＭＤを操作することなく両手で作業しながら、手順書や図面を参照しつつ作業することができるようになる。
第２の表示モードの場合にＨＭＤは、表示元画像から切り出した画像をそのままＨＭＤの画面に表示する。第１の表示モードと比較して手順書が固定表示されないため、実空間（作業場所、作業空間）の視認性が向上する。
表示システムは、作業に応じて第１の表示モードと第２の表示モードとを切り替える。作業内容（手順書）に応じて予め適切に表示モードを設定しておくことで、作業者は表示モードを切り替える操作をすることなく作業を行うことができる。
≪第１の実施形態：表示システムの全体構成≫
図１は、第１の実施形態に係る表示システム１０の構成を示す図である。表示システム１０は、ＨＭＤ１００（表示装置）とスマートフォン２００（携帯装置）とを含んで構成される。ＨＭＤ１００は、例えば、視界を覆うようにして頭部に装着するゴーグル型の表示装置である。ＨＭＤ１００とスマートフォン２００とは、例えばＵＳＢ（Universal Serial Bus）ケーブルで接続されるが、他の規格のケーブルまたは無線で接続されてもよい。また、スマートフォン２００にＵＳＢを接続し、変換アダプタを介してＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPortなどの画像出力コネクタに変換してＨＭＤ１００に接続する形態でもよい。なお、ＨＭＤ１００には、メガネのようにかけて使用するスマートグラスも含めるものとする。同様に、スマートフォン２００（携帯装置）には、タブレットやノートＰＣといった携帯可能な端末も含めるものとする。
≪第１の実施形態：ＨＭＤの構成≫
図２は、第１の実施形態に係るＨＭＤ１００の機能ブロック図である。ＨＭＤ１００は、制御部１１０、記憶部１２０、ディスプレイ１６０、センサ１７０、および通信部１８０を含んで構成される。通信部１８０は、ＵＳＢやWi-Fi（登録商標）など１つ以上の通信インターフェースを備え、スマートフォン２００との間でデータを送受信する。
ディスプレイ１６０は、ＨＭＤ１００の前部に備えられる高い透過率を有する透過型の表示装置である（図１参照）。ＨＭＤ１００は図１のような両眼型の他、左右の何れかの眼で使用する片眼型でも良い。作業者は、ＨＭＤ１００を装着してディスプレイ１６０に表示される情報を参照しながら作業することができる。
センサ１７０は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）式のジャイロスコープを含むセンサであって、ＨＭＤ１００の角度または角速度を検出して制御部１１０に出力する。周囲の照度を測定する照度センサ、および周囲や作業者を撮影するカメラを含んでもよい。
記憶部１２０はＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、フラッシュメモリなどから構成される。記憶部１２０には、プログラム１２１、表示元画像１２２、手順書座標１２３、関連図面座標１２４、視野内手順書座標１２５、および表示モード１２６が記憶される。プログラム１２１は、制御部１１０を構成するＣＰＵ（Central Processing Unit）が実行するプログラムであって、ＨＭＤ１００を制御する。プログラム１２１は、視野画像表示処理（後記する図１１参照）他の処理手順の記述を含む。
表示元画像１２２は、スマートフォン２００から受信した表示元画像２３０（後記する図３、図５参照）であって、ディスプレイ１６０に表示される視野画像の基となる画像である。手順書座標１２３、関連図面座標１２４、および視野内手順書座標１２５は、スマートフォン２００から受信した表示元画像１２２中の領域を示す座標データであって、後記するスマートフォン２００（図３参照）が記憶する手順書座標２２１、関連図面座標２２２、および視野内手順書座標２２３とそれぞれ同等である。また、表示モード１２６は視野画像の表示方法を示すものであり、後記するスマートフォン２００が記憶する表示モード２２４と同等である。
制御部１１０はＣＰＵを含んで構成され、データ受信部１１１、および視野画像表示部１１２を備える。データ受信部１１１は、スマートフォン２００から受信したデータを表示元画像１２２、手順書座標１２３、関連図面座標１２４、視野内手順書座標１２５、および表示モード１２６に格納する。
視野画像表示部１１２は、表示モード１２６に応じて、表示元画像１２２（後記する図５に記載の表示元画像２３０参照）から画像を切り出してディスプレイ１６０に表示する。画像を切り出す際に視野画像表示部１１２は、手順書座標１２３、関連図面座標１２４、視野内手順書座標１２５、および表示モード１２６を参照する。
≪第１の実施形態：スマートフォンの構成≫
図３は、第１の実施形態に係るスマートフォン２００の機能ブロック図である。スマートフォン２００は、制御部２１０、記憶部２２０、タッチパネルディスプレイ２６０、マイク２７０、および通信部２８０を含んで構成される。通信部２８０はＵＳＢやWi-Fiなど１つ以上の通信インターフェースを備え、ＨＭＤ１００との間でデータを送受信する。
記憶部２２０はＲＯＭやＲＡＭ、フラッシュメモリなどから構成される。記憶部２２０には、表示元画像２３０、手順書座標２２１、関連図面座標２２２、視野内手順書座標２２３、表示モード２２４、作業書データベース２４０（後記する図４参照）、図面データベース２５０、およびプログラム２２９が記憶される。
プログラム２２９は、制御部２１０を構成するＣＰＵが実行するプログラムであって、スマートフォン２００を制御する。プログラム２２９は、表示元画像生成処理（後記する図１０参照）他の処理手順の記述を含む。
図４は、第１の実施形態に係る作業書データベース２４０のデータ構成図である。作業書データベース２４０は、例えば表形式のデータである。作業書データベース２４０の１つの行（レコード）は、表示システム１０の利用者である作業者が実行する１つの作業ステップを示す。レコードは、ステップ番号２４１（図４では＃と記載）、作業対象部位２４２、作業内容２４３、関連図面２４４、完了フラグ２４５（図４では完了Ｆと記載）、完了日時２４６、および表示モード２４７（図４では表示Ｍと記載）を含んで構成される。
ステップ番号２４１は、作業ステップに付与された番号であって、作業ステップの順番を示す。作業対象部位２４２は、修理や点検などの作業の対象となる部位を示し、例えば「機種Ａの１号機」という作業対象の名称である。作業内容２４３は、ディスプレイ１６０（図１および図２参照）に表示される作業ステップの説明文であって、例えば、「スイッチＢをオフにする」という作業内容の説明文である。関連図面２４４は、作業ステップに関連する図面であって、ディスプレイ１６０に表示される図面の識別情報である。完了フラグ２４５は、作業ステップが完了したか（「ＹＥＳ」）、未了であるか（「ＮＯ」）を示す。完了日時２４６は、作業ステップが完了した日時である。表示モード２４７は、手順書と関連図面をどのように表示するかを示したものであり、第１の実施形態では第１～第３の表示モードを指定する。表示モードの詳細については後記する。
図３に戻って、図面データベース２５０は、作業ステップに関連する図面を格納する。図面には関連図面２４４（図４参照）に対応する識別情報が付与されている。制御部２１０は識別情報を指定することで、図面にアクセスすることができる。表示元画像２３０、手順書座標２２１、関連図面座標２２２、および視野内手順書座標２２３については、後記する図５～図８を参照しながら説明する。
表示モード２２４は、手順書や図面を含む視野画像の構成に係るモードであり、第１の実施形態では、第１～第３の３つの表示モードがある。表示モードの詳細についても図５～図８を参照しながら説明する。
≪第１の実施形態：表示元画像と視野画像≫
図５は、第１の実施形態に係る表示元画像２３０の構成を示す図である。表示元画像２３０はディスプレイ１６０（図１および図２参照）に表示される画像の基となる画像であって、図２に記載の表示元画像１２２と同等である。手順書配置領域２３１は表示元画像２３０の部分領域であって、手順書の内容（図４のステップ番号２４１、作業対象部位２４２、作業内容２４３、関連図面２４４、完了フラグ２４５）が表示される領域である。図面配置領域２３２は表示元画像２３０の部分領域であって、手順書に関連する図面（図４の関連図面２４４で識別され、図面データベース２５０に記憶されている図面）が表示される領域である。
視野領域２３３は、表示元画像２３０の部分領域であって、第１および第２の表示モードにおいてディスプレイ１６０（図１、図２参照）に表示される領域である。視野領域２３３の大きさは、ディスプレイ１６０の表示サイズである。
視野領域２３３は、ＨＭＤ１００の向きに応じて表示元画像２３０内を移動する。例えば、作業者が左を向くとともにセンサ１７０（図２参照）がＨＭＤ１００の左回転を検知すると、ディスプレイ１６０には表示元画像２３０の左側にある視野領域２３３Ａが表示される。
手順書座標２２１（図３参照）は、表示元画像２３０における手順書配置領域２３１の配置座標である。配置座標とは、例えば領域の左上頂点および右下頂点の表示元画像２３０内での座標である。配置座標は、領域の左上頂点の座標、および領域のサイズであってもよい。関連図面座標２２２は、表示元画像２３０における図面配置領域２３２の配置座標である。
以下、図６～図８を参照しながら、第１～第３の表示モード（「の」を省いて第１～第３表示モードとも記す）における視野画像４２０，４２０Ａ，４２０Ｂの構成を説明する。
図６は、第１の実施形態に係る第１表示モードでディスプレイ１６０に表示される視野画像４２０の構成を示す図である。視野画像４２０は、視野領域２３３（図５参照）に対応する画像であって、第１の表示モードにおける視野画像である。視野画像４２０は、表示元画像２３０から後記する視野内図面領域４２２を切り出した画像に、視野内手順書領域４２１が付加された画像である。ディスプレイ１６０において、視野内図面領域４２２および視野内手順書領域４２１以外の部分には画素が表示されないため、ＨＭＤ１００を装着した作業者には視野のその部分を通して作業場所（実空間）が見える。
視野内手順書領域４２１は、視野画像４２０の部分領域であって、手順書が表示される領域である。第１の実施形態では、視野内手順書領域４２１は、視野画像４２０の中央下側に配置されるが、別の位置に配置されてもよい。視野内手順書座標２２３（図３参照）は、視野画像４２０における視野内手順書領域４２１の配置座標である。
視野内図面領域４２２は、視野領域２３３（図５参照）と図面配置領域２３２とが重なった領域であって、図面の一部が含まれる領域である。視野領域２３３は、ＨＭＤ１００の向きに応じて表示元画像２３０内を移動するため、視野領域２３３と図面配置領域２３２とが重なった領域である視野内図面領域４２２もＨＭＤ１００の向きに応じて変化する。例えば、作業者が左を向くと、視野領域２３３から視野領域２３３Ａに移動する。すると、視野領域２３３Ａと図面配置領域２３２とは重ならないため、視野内図面領域４２２は存在せず、ディスプレイ１６０に図面は表示されないことになる。
第１表示モードでは、視野画像４２０内における視野内手順書領域４２１が固定されており、手順書が常にディスプレイ１６０に表示されるため、作業者はＨＭＤ１００（頭部）の向きを変えなくても手順書の確認が可能となる。このため、同じ作業対象に対して比較的短い手順を複数実施する場合に向いており、作業効率が向上する。
図７は、第１の実施形態に係る第２表示モードでディスプレイ１６０に表示される視野画像４２０Ａの構成を示す図である。視野画像４２０Ａは、視野領域２３３（図５参照）に対応する画像であって、第２の表示モードにおける視野画像である。視野画像４２０Ａは、表示元画像２３０から視野内図面領域４２２および視野内手順書領域４２３を切り出した画像である。ディスプレイ１６０において、視野内図面領域４２２および視野内手順書領域４２３以外の部分には画素が表示されないため、ＨＭＤ１００を装着した作業者には視野のその部分を通して作業場所が見える。
視野内手順書領域４２３は、視野領域２３３と手順書配置領域２３１とが重なった領域である。また、視野内図面領域４２２は、視野領域２３３と図面配置領域２３２とが重なった領域である。
第２表示モードでは、視野画像４２０Ａ内における視野内手順書領域４２３が固定されず、手順書が固定表示されないため、実空間の視認性が向上する。このため、比較的細かい作業などを集中して実施する場合に向いており、作業効率が向上する。
図８は、第１の実施形態に係る第３表示モードでディスプレイ１６０に表示される視野画像４２０Ｂの構成を示す図である。視野画像４２０Ｂは、表示元画像２３０に対応する画像であって、第３の表示モードにおける視野画像である。ディスプレイ１６０の画素数は元画像の画素数より少なく、視野画像４２０Ｂは、表示元画像２３０を縮小した画像となる。手順書配置領域２３１および図面配置領域２３２も縮小されて、それぞれ視野内手順書領域４２５および視野内図面領域４２４となる。
第３表示モードでは、手順書と図面とが同時に確認できるため、作業実施前に内容を確認するときなどに便利である。また、片眼タイプのＨＭＤを使用する場合は、ディスプレイに常に手順書と図面が表示されていても、実空間に対する視認性が確保されるため、常に第３の表示モードとしてもよい。
≪第１の実施形態：スマートフォンの構成：制御部≫
図３に戻って、制御部２１０はＣＰＵを含んで構成され、配置定義部２１１、表示元画像生成部２１２、および表示モード制御部２１３を備える。配置定義部２１１は、表示システム１０の利用者である作業者の指示を受け付け、表示元画像２３０（図５参照）における手順書配置領域２３１や図面配置領域２３２の配置（配置座標）、および視野画像４２０（図６参照）における視野内手順書領域４２１の配置を定義（設定）する。配置定義部２１１は、定義された配置座標をＨＭＤ１００に送信する。
表示元画像生成部２１２は、作業者が作業している作業ステップに係る手順書および関連図面を含んだ表示元画像２３０を生成して、ＨＭＤ１００に送信する。
表示モード制御部２１３は、表示モードを判定し、表示モード２２４に記憶する。
≪第１の実施形態：配置定義処理≫
図９は、第１の実施形態に係る配置定義処理のシーケンス図である。図９を参照しながら、表示元画像２３０（図５参照）、および視野画像４２０（図６参照）に係る設定を行うスマートフォン２００、およびＨＭＤ１００の処理を説明する。
ステップＳ１１１においてスマートフォン２００の配置定義部２１１は、表示システム１０の利用者である作業者が指示した表示元画像２３０（図５参照）における手順書配置領域２３１の配置座標を取得して、手順書座標２２１（図３参照）に格納する。配置座標は、例えば領域の左上頂点および右下頂点の表示元画像２３０内での座標である。
ステップＳ１１２において配置定義部２１１は、作業者が指示した表示元画像２３０における図面配置領域２３２の配置座標を取得して、関連図面座標２２２に格納する。
ステップＳ１１３において配置定義部２１１は、作業者が指示した視野画像４２０（図６参照）における視野内手順書領域４２１の配置座標を取得して、視野内手順書座標２２３に格納する。
ステップＳ１１４において配置定義部２１１は、手順書座標２２１、関連図面座標２２２、および視野内手順書座標２２３をＨＭＤ１００に送信する。
ステップＳ１１５においてＨＭＤ１００のデータ受信部１１１は、受信した手順書座標２２１、関連図面座標２２２、および視野内手順書座標２２３を、それぞれ手順書座標１２３、関連図面座標１２４、および視野内手順書座標１２５に格納する。
続いて、作業者が表示システム１０を利用して作業するときの表示システム１０の処理を説明する。
≪第１の実施形態：表示元画像生成処理≫
図１０は、第１の実施形態における表示元画像生成処理のフローチャートである。図１０を参照しながら、スマートフォン２００が表示元画像２３０を生成して、ＨＭＤ１００に送信する処理を説明する。
ステップＳ１３１において表示元画像生成部２１２は、作業ステップの完了指示があれば（ステップＳ１３１→ＹＥＳ）ステップＳ１３２に進み、なければ（ステップＳ１３１→ＮＯ）ステップＳ１３３に進む。作業ステップの完了指示とは、作業者が１つの作業ステップが完了したことを記録することを表示システム１０に指示することである。表示元画像生成部２１２は、マイク２７０（図３参照）で取得した音から、作業者の「作業ステップ完了」の発声を検出することで、作業ステップの完了指示の有無を判断する。または、表示元画像生成部２１２は、タッチパネルディスプレイ２６０に表示された作業ステップ完了ボタンのタップを検出して、作業ステップの完了指示があったと判断してもよい。
ステップＳ１３２において表示元画像生成部２１２は、作業ステップの完了を記録する。詳しくは、表示元画像生成部２１２は、現在の作業ステップの完了フラグ２４５（図４参照）を「ＹＥＳ」に、完了日時２４６を現在時刻に更新する。現在の作業ステップは、完了フラグ２４５が「ＮＯ」であってステップ番号２４１が最小の作業ステップである。
ステップＳ１３３において表示元画像生成部２１２は、空白の画像を生成して、表示元画像２３０に格納する。
ステップＳ１３４において表示元画像生成部２１２は、手順書を表示元画像２３０の手順書配置領域２３１（図５参照）に描画する。詳しくは、表示元画像生成部２１２は、現在の作業ステップのステップ番号２４１、作業対象部位２４２、作業内容２４３、関連図面２４４、完了フラグ２４５（図４参照）を手順書配置領域２３１に描画する。
ステップＳ１３５において表示モード制御部２１３は、現在の作業ステップの表示モード２４７を取得して表示モード２２４に格納する。
ステップＳ１３６において表示元画像生成部２１２は、関連図面を表示元画像２３０の図面配置領域２３２に描画する。詳しくは、表示元画像生成部２１２は、現在の作業ステップの関連図面２４４にある識別情報に対応する図面を図面データベース２５０から取得して図面配置領域２３２に描画する。
ステップＳ１３７において表示元画像生成部２１２は、表示元画像２３０と表示モード２２４とをＨＭＤ１００に送信して、ステップＳ１３１に戻る。なお、表示モード２２４については、表示モード制御部２１３がＨＭＤ１００に送信してもよい。
≪第１の実施形態：視野画像表示処理≫
図１１は、第１の実施形態における視野画像表示処理のフローチャートである。図１１を参照しながら、ＨＭＤ１００がスマートフォン２００から受信した（図１０のステップＳ１３７参照）表示元画像２３０と表示モード２２４とを基に視野画像をディスプレイ１６０に表示する処理を説明する。
ステップＳ１５１においてデータ受信部１１１は、スマートフォン２００が送信した表示元画像２３０と表示モード２２４とを受信して、表示元画像１２２と表示モード１２６とにそれぞれ格納する。
ステップＳ１５２において視野画像表示部１１２は、表示モード１２６が第１表示モードなら（ステップＳ１５２→第１表示モード）ステップＳ１５３に進み、第２表示モードなら（ステップＳ１５２→第２表示モード）ステップＳ１５６に進み、第３表示モードなら（ステップＳ１５２→第３表示モード）ステップＳ１５９に進む。
ステップＳ１５３において視野画像表示部１１２は、手順書配置領域２３１（図５参照、手順書座標１２３で示される表示元画像１２２の部分領域）の画像を視野内手順書座標１２５で示されるディスプレイ１６０の領域（図６の視野内手順書領域４２１参照）に表示する。
ステップＳ１５４において視野画像表示部１１２は、センサ１７０で取得したＨＭＤ１００の向き（角度）から視野領域２３３（図５参照）を算出する。
ステップＳ１５５において視野画像表示部１１２は、視野領域２３３と図面配置領域２３２の重複領域を、ディスプレイ１６０の対応する領域に表示して、ステップＳ１５１に戻る。ディスプレイ１６０の対応する領域とは、ディスプレイ１６０の表示画像を視野画像４２０（図６参照）と見なすときに、視野画像４２０内の視野内図面領域４２２に対応する領域である。
ステップＳ１５６は、ステップＳ１５４と同様である。
ステップＳ１５７において視野画像表示部１１２は、視野領域２３３と手順書配置領域２３１の重複領域を、ディスプレイ１６０の対応する領域に表示する。換言すれば視野画像表示部１１２は、ＨＭＤ１００の向きに応じて視野領域２３３のなかで手順書配置領域２３１と重複した領域を視野内手順書領域４２３と決定する。
ステップＳ１５８は、ステップＳ１５５と同様である。
ステップＳ１５９において視野画像表示部１１２は、表示元画像１２２をディスプレイ１６０に表示して、ステップＳ１５１に戻る。この時、表示元画像１２２がディスプレイ１６０で全画面表示されるように表示元画像１２２のサイズを変更してもよい。
≪第１の実施形態：表示システムの特徴≫
ＨＭＤ１００のディスプレイ１６０には、作業者が作業している作業ステップの手順書と関連図面とが表示される。
第１の表示モードの場合、手順書はディスプレイ１６０の設定された位置（図６の視野内手順書領域４２１参照）に常時表示される。このため、作業者は手順書を常時参照しながら作業することができる。また、関連図面は、作業者の頭部（ＨＭＤ１００）の向きに応じて表示される。図面の位置が表示元画像２３０の右側に設定されたとする。すると、作業者が正面を向いているときには図面は表示されず、作業者は図面に邪魔されることなく作業できる。作業者は、右を向くことで図面を参照することができる。結果として作業者は、手でスマートフォン２００やＨＭＤ１００を操作することなく両手で作業しながら、手順書や図面を参照することができるようになる。
第２の表示モードの場合、手順書が視野領域に固定表示されないため、実空間の視認性が向上し、より細かい作業などを集中して実施する場合に作業効率が向上する。
第３の表示モードの場合、１つのディスプレイで手順書と図面が確認できるため、作業実施前に内容を確認する際などに便利である。また、片眼タイプのＨＭＤを使用する場合は、ディスプレイに常に手順書と図面が表示されていても、実空間に対する視認性が確報されるため、常に第３の表示モードとしてもよい。
表示モードは、作業ステップに応じて切り替わる（図１０記載のステップＳ１３５，Ｓ１３７、図１１記載のステップＳ１５２参照）。作業ステップに対応する作業内容に応じて作業モードを設定することで、作業者は作業中に作業モードを切り替える必要がなくなり作業に集中することができ、作業効率を上げることができる。
≪第１の実施形態：変形例：表示モードの切り替え≫
なお、第１の実施形態の表示システム１０は、作業書データベース２４０に設定された表示モード２４７に応じて第１～第３の表示モードを変更しているが、その他の方法でもよい。例えば、表示モード制御部２１３が表示するコンテンツの種類を認識し、設定画面（図９参照）であれば第３の表示モード、作業画面であれば第１の表示モードとしてもよい。また、表示モード制御部２１３がＨＭＤのタイプ（片眼／両眼）をＨＭＤ１００から取得し、片眼タイプの場合は第３の表示モード、両眼タイプであれば第１の表示モードとしてもよい。また、表示モード制御部２１３はマイク２７０（図３参照）で取得した作業者の音声コマンドに応じて表示モードを切り替えてもよい。
≪第２の実施形態≫
第１の実施形態ではＨＭＤ１００は、スマートフォン２００が送信した表示モード１２６に従って、表示モードを切り替えている。作業者がＨＭＤ１００を操作することで表示モードが切り替わるようにしてもよい。
図１２は、第２の実施形態に係るＨＭＤ１００Ａの機能ブロック図である。第１の実施形態に係るＨＭＤ１００（図２参照）と比較して、ＨＭＤ１００Ａには操作部１７５が備わり、制御部１１０には表示モード制御部１１３が備わり、センサ１７０Ａにはマイクが備わる。
操作部１７５は、例えばボタンである。表示モード制御部１１３は、センサ１７０Ａに備わるマイクが拾った音声を認識して表示制御モードを切り替える。表示モード制御部１１３は、例えば「表示モード１」という音声を認識して、第１の表示モードに切り替える。また、表示モード制御部１１３は、操作部１７５のボタンが押されるごとに、第１の表示モード、第２の表示モード、および第３の表示モードをトグルで順に切り替える。
第１の実施形態では表示モードは、表示モード２４７（図４参照）に設定されるとおりであり作業ステップ（作業内容）に応じて固定であった。第２の実施形態においては作業者に都合に応じて切り替えることができるようになり、表示システム１０の使い勝手が向上している。
≪第３の実施形態≫
図１３は、第３の実施形態に係るスマートフォン２００Ｂの機能ブロック図である。第３の実施形態では、手順書の差異を強調する手順書強調部２１４が追加される。手順書強調部２１４は、作業書データベース２４０にある作業内容２４３（作業手順）において、前の作業手順との差分を強調表示するものである。これにより、作業手順の読み間違いなどを防止できる。
図１４は、第３の実施形態における表示元画像生成処理のフローチャートである。
ステップＳ３１１～Ｓ３１３は、図１０記載のステップＳ１３１～Ｓ１３３とそれぞれ同様である。
ステップＳ３１４において手順書強調部２１４は、現作業ステップの手順書と１つ前の作業ステップの手順書との差分を計算する。差分の計算には、例えばレーベンシュタイン距離を用いる。
ステップＳ３１５において手順書強調部２１４は、ステップＳ３１４で計算したレーベンシュタイン距離Ｄが０より大きく、かつ所定の閾値(Ｄ_ａ)よりも小さいならば（ステップＳ３１５→ＹＥＳ）ステップＳ３１６に進み、他の場合には（ステップＳ３１５→ＮＯ）ステップＳ３１８に進む。
ステップＳ３１６において手順書強調部２１４は、現手順書と１つ前の手順書と異なる文字を特定する。
ステップＳ３１７において表示元画像生成部２１２は、ステップＳ３１６で特定された文字を、文字色を変えるなどして強調して、手順書を表示元画像２３０の手順書配置領域２３１（図５参照）に描画する。
ステップＳ３１８～Ｓ３２１は、図１０記載のステップＳ１３４～Ｓ１３７とそれぞれ同様である。
≪第３の実施形態の特徴≫
第３の実施形態では、前後する作業ステップの手順書（作業内容）が類似している場合に、その違いが分かるように手順書を表示する。これにより、作業者の思い込みや読み間違いを防ぐことができ、より確実な作業を行うことができるようになる。
なお、第３の実施形態では前後する作業ステップの手順書を比較している。現作業ステップが複数の作業手順を含む場合には、この複数の作業手順間の違いを強調するようにしてもよい。
≪変形例：視野領域≫
上記した実施形態において視野領域２３３（図５参照）は、センサ１７０が検出したＨＭＤ１００の向きに基づいて算出される（図１１記載のステップＳ１５４参照）。これに対して他の情報に基づいて視野領域２３３が決定されてもよい。
第１の例としてセンサ１７０が、ＨＭＤ１００を装着している作業者の視線を検出する視線センサを備え、視野画像表示部１１２は視線に応じて視野領域２３３の移動方向を決めてもよい。例えば、上・右上・左などの視線の向きに応じて、表示元画像２３０における視野領域２３３が視線と同じ方向に現在の位置から移動するようにしてもよい。
第２の例としてＨＭＤ１００またはスマートフォン２００が備えるマイクが検出した作業者の声に応じて、視野画像表示部１１２は視野領域２３３の移動方向を決めてもよい。例えば、上・右上・左などの方向を示す作業者の声を検出して、表示元画像２３０における視野領域２３３が声による指示と同じ方向に移動するようにしてもよい。
第３の例としてＨＭＤ１００が備えるマイクが検出した音の向きに応じて、視野画像表示部１１２は視野領域２３３の移動方向を決めてもよい。この音とは作業対象（予め設定された音源）の音であり、例えばエンジン音やモータ音である。例えば、作業対象物の音の向きを検出して、視野領域２３３が音と同じ方向に移動するようにしてもよい。
第１の例～第３の例では視線や声、作業対象の音に応じて、視野画像表示部１１２は視野領域２３３の移動方向を決めているが、視野画像４２０（図６、図７参照）における視野内図面領域４２２の位置を決めてもよい。例えば、上・右上・左など視線や音声、対象物の音に応じて視野画像４２０の上・右上・左などに（視野画像４２０の中央より上・右上・左などなどの領域に）視野内図面領域４２２が配置されてもよい。配置する際には視野画像表示部１１２は、ディスプレイ１６０の中央より上・右上・左などの領域に表示元画像２３０（図５参照）の図面配置領域２３２を表示する。
また対象物の音の場合には、対象物の音の向きとは逆方向の視野画像４２０の中央より上・右上・左などの領域に視野内図面領域４２２が配置されてもよい。逆方向に配置されることで、作業者にとって対象物がある方向の視野が確保できて作業を進めやすくなる。
なお、視野を確保するために、ディスプレイ１６０の中央より上・右上・左などの領域で、ディスプレイ１６０の端（周）に接するように図面配置領域２３２を表示するのが望ましい。
≪その他の変形例≫
本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。例えば、スマートフォン２００の機能部やデータがＨＭＤ１００に取り込まれてもよい。このような場合には、表示システム１０は、ＨＭＤ１００と見なすことができる。
ＨＭＤ１００の制御部１１０、およびスマートフォン２００の制御部２１０の構成要素（機能部）が移動してもよい。例えば、配置定義部２１１、表示元画像生成部２１２、および表示モード制御部２１３が全てＨＭＤ１００に含まれるようにしてもよい。この場合、ＨＭＤ１００にある表示元画像生成部２１２、および表示モード制御部２１３は、スマートフォン２００に記憶される作業書データベース２４０および図面データベース２５０にアクセスすることになる。ＨＭＤ１００の記憶部１２０が小さい場合には、このような実施形態が好適となる。
上記した実施形態や変形例では、スマートフォン２００は表示元画像を生成してＨＭＤ１００に送信し、ＨＭＤ１００は表示元画像から図面の画像や手順書の画像を切り出してディスプレイ１６０に表示している。スマートフォン２００は図面の画像および手順書の画像を送信し、ＨＭＤ１００は図面の画像や手順書の画像から切り出してディスプレイ１６０に表示してもよい。また、スマートフォン２００はテキストの画像の替わりにテキストをＨＭＤ１００に送信し、ＨＭＤ１００がテキストを画像化するようにしてもよい。
これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 表示システム
１００，１００Ａ ＨＭＤ（表示装置）
１１１ データ受信部
１１２ 視野画像表示部
１１３ 表示モード制御部
１２２ 表示元画像
１２６ 表示モード
１６０ ディスプレイ（表示器）
１７０ センサ（検出器）
１７０Ａ センサ（検出器、マイク）
１７５ 操作部
２００，２００Ｂ スマートフォン（携帯装置、外部装置）
２１１ 配置定義部
２１２ 表示元画像生成部
２１３ 表示モード制御部
２１４ 手順書強調部（表示元画像生成部）
２２４ 表示モード
２３０ 表示元画像
２３１ 手順書配置領域（第１画像の領域）
２３２ 図面配置領域（第２画像の領域）
２３３，２３３Ａ 視野領域
２４０ 作業書データベース
２５０ 図面データベース
４２０，４２０Ａ，４２０Ｂ 視野画像
４２１ 視野内手順書領域（第１表示領域、固定領域）
４２２ 視野内図面領域（第２表示領域）
４２３ 視野内手順書領域（第１表示領域）

Claims (7)

  1. 表示器と、前記表示器の向きを検出する検出器とを含んで構成される表示システムであって、
    第１画像と、当該第１画像に関連する第２画像とを、それぞれ一部の領域の画像として含む表示元画像を生成する表示元画像生成部と、
    前記第１画像を前記表示器の第１表示領域に表示し、前記第２画像を前記表示器の第２表示領域に表示する視野画像表示部とを備え、
    前記視野画像表示部は、
    前記第１画像に関連付けられた表示モードが第１表示モードであれば、前記表示器の所定の固定領域を前記第１表示領域とし、
    前記表示モードが第２表示モードであれば、前記表示器の向きに応じて前記第１表示領域の表示位置および表示サイズを決定し、
    前記第１画像は、テキストの画像であり、
    前記表示元画像生成部は、
    複数の前記表示元画像を生成し、
    前回生成した表示元画像に含まれる第１画像のテキストと、今回生成する表示元画像に含まれる第１画像のテキストとの差分を求め、当該差分が所定の条件を満たす場合には、当該差分を強調して前記表示元画像を生成する
    ことを特徴とする表示システム。
  2. 表示器と、前記表示器の向きを検出する検出器とを含んで構成される表示システムであって、
    第１画像と、当該第１画像に関連する第２画像とを、それぞれ一部の領域の画像として含む表示元画像を生成する表示元画像生成部と、
    前記第１画像を前記表示器の第１表示領域に表示し、前記第２画像を前記表示器の第２表示領域に表示する視野画像表示部とを備え、
    前記視野画像表示部は、
    前記第１画像に関連付けられた表示モードが第１表示モードであれば、前記表示器の所定の固定領域を前記第１表示領域とし、
    前記表示モードが第２表示モードであれば、前記表示器の向きに応じて前記第１表示領域の表示位置および表示サイズを決定し、
    前記第１画像は、テキストの画像であり、
    前記テキストは、複数の部分テキストを含み、
    前記表示元画像生成部は、
    前記複数の部分テキスト間の差分を求め、当該差分が所定の条件を満たす場合には、当該差分を強調して前記表示元画像を生成する
    ことを特徴とする表示システム。
  3. 前記視野画像表示部は、
    前記表示モードが第３表示モードであれば、前記表示元画像全体を前記表示器に表示する
    ことを特徴とする請求項１または２に記載の表示システム。
  4. 前記視野画像表示部は、
    前記表示器が片眼用の表示器である場合には、前記表示モードが前記第３表示モードであるとして前記表示元画像を前記表示器に表示し、
    前記表示器が片眼用の表示器でない場合には、前記表示モードは前記第１表示モード、前記第２表示モードおよび前記第３表示モードの何れかである
    ことを特徴とする請求項３に記載の表示システム。
  5. 前記表示元画像生成部は、レーベンシュタイン距離を用いて前記差分を求める
    ことを特徴とする請求項１または２に記載の表示システム。
  6. 表示装置と携帯装置とを含んで構成される構成される表示システムの表示装置であって、
    前記携帯装置は、
    第１画像と、当該第１画像に関連する第２画像とを、それぞれ一部の領域の画像として含む表示元画像を生成して前記表示装置に送信する表示元画像生成部と、
    前記第１画像に関連付けられた表示モードを前記表示装置に送信する表示モード制御部とを備え、
    前記第１画像は、テキストの画像であり、
    前記表示元画像生成部は、
    複数の前記表示元画像を生成し、
    前回生成した表示元画像に含まれる第１画像のテキストと、今回生成する表示元画像に含まれる第１画像のテキストとの差分を求め、当該差分が所定の条件を満たす場合には、当該差分を強調して前記表示元画像を生成し、
    前記表示装置は、
    表示器と、
    前記表示器の向きを検出する検出器と、
    前記第１画像を前記表示器の第１表示領域に表示し、前記第２画像を前記表示器の第２表示領域に表示する視野画像表示部とを備え、
    前記視野画像表示部は、
    前記表示モードが第１表示モードであれば、前記表示器の所定の固定領域を前記第１表示領域とし、
    前記表示モードが第２表示モードであれば、前記表示器の向きに応じて前記第１表示領域の表示位置および表示サイズを決定する
    ことを特徴とする表示装置。
  7. 表示装置と携帯装置とを含んで構成される構成される表示システムの表示装置であって、
    前記携帯装置は、
    第１画像と、当該第１画像に関連する第２画像とを、それぞれ一部の領域の画像として含む表示元画像を生成して前記表示装置に送信する表示元画像生成部と、
    前記第１画像に関連付けられた表示モードを前記表示装置に送信する表示モード制御部とを備え、
    前記第１画像は、テキストの画像であり、
    前記テキストは、複数の部分テキストを含み、
    前記表示元画像生成部は、
    前記複数の部分テキスト間の差分を求め、当該差分が所定の条件を満たす場合には、当該差分を強調して前記表示元画像を生成し、
    前記表示装置は、
    表示器と、
    前記表示器の向きを検出する検出器と、
    前記第１画像を前記表示器の第１表示領域に表示し、前記第２画像を前記表示器の第２表示領域に表示する視野画像表示部とを備え、
    前記視野画像表示部は、
    前記表示モードが第１表示モードであれば、前記表示器の所定の固定領域を前記第１表示領域とし、
    前記表示モードが第２表示モードであれば、前記表示器の向きに応じて前記第１表示領域の表示位置および表示サイズを決定する
    ことを特徴とする表示装置。
JP2021039144A 2021-03-11 2021-03-11 表示システムおよび表示装置 Active JP7476128B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021039144A JP7476128B2 (ja) 2021-03-11 2021-03-11 表示システムおよび表示装置
US17/536,148 US11574582B2 (en) 2021-03-11 2021-11-29 Display system and display device
CN202210199474.8A CN115079973A (zh) 2021-03-11 2022-03-02 显示系统和显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021039144A JP7476128B2 (ja) 2021-03-11 2021-03-11 表示システムおよび表示装置

Publications (2)

Publication Number Publication Date
JP2022138964A JP2022138964A (ja) 2022-09-26
JP7476128B2 true JP7476128B2 (ja) 2024-04-30

Family

ID=83194354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021039144A Active JP7476128B2 (ja) 2021-03-11 2021-03-11 表示システムおよび表示装置

Country Status (3)

Country Link
US (1) US11574582B2 (ja)
JP (1) JP7476128B2 (ja)
CN (1) CN115079973A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748965B2 (en) * 2021-09-28 2023-09-05 Htc Corporation Virtual image display system and virtual image display method

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005158084A (ja) 2005-02-10 2005-06-16 Mitsubishi Electric Corp 図面の編集表示装置、その動作方法およびその方法をコンピュータに実行させるプログラム
JP2006201907A (ja) 2005-01-19 2006-08-03 Konica Minolta Holdings Inc 更新検出装置
JP2007265068A (ja) 2006-03-29 2007-10-11 National Institute Of Information & Communication Technology 文書差分検出装置及びプログラム
JP2016024528A (ja) 2014-07-17 2016-02-08 富士フイルム株式会社 情報処理装置、プログラム、及びデジタル検版方法
JP2016081339A (ja) 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2016110319A (ja) 2014-12-04 2016-06-20 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2016126188A (ja) 2015-01-05 2016-07-11 コニカミノルタ株式会社 音声情報表示装置
US20160232879A1 (en) 2015-02-05 2016-08-11 Samsung Electronics Co., Ltd. Method and electronic device for displaying screen
JP2019109850A (ja) 2017-12-20 2019-07-04 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
US20200258481A1 (en) 2019-02-11 2020-08-13 Samsung Electronics Co., Ltd. Electronic device for providing augmented reality user interface and operating method thereof
JP2021026125A (ja) 2019-08-06 2021-02-22 株式会社日立製作所 表示制御装置、透過型表示装置
WO2021187771A1 (ko) 2020-03-20 2021-09-23 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
KR102212030B1 (ko) * 2014-05-26 2021-02-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US10645374B2 (en) * 2016-03-04 2020-05-05 Seiko Epson Corporation Head-mounted display device and display control method for head-mounted display device
US10503391B2 (en) * 2017-11-17 2019-12-10 Motorola Solutions, Inc. Device, system and method for correcting operational device errors
JP6522092B1 (ja) 2017-12-06 2019-05-29 株式会社スクウェア・エニックス 表示システム及び表示方法
JP6585218B1 (ja) * 2018-03-28 2019-10-02 Eizo株式会社 表示システム及びプログラム
US10872460B1 (en) * 2018-09-21 2020-12-22 Immersivetouch, Inc. Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
US11333892B2 (en) * 2020-04-24 2022-05-17 Hitachi, Ltd. Display apparatus, display system, and display method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201907A (ja) 2005-01-19 2006-08-03 Konica Minolta Holdings Inc 更新検出装置
JP2005158084A (ja) 2005-02-10 2005-06-16 Mitsubishi Electric Corp 図面の編集表示装置、その動作方法およびその方法をコンピュータに実行させるプログラム
JP2007265068A (ja) 2006-03-29 2007-10-11 National Institute Of Information & Communication Technology 文書差分検出装置及びプログラム
JP2016024528A (ja) 2014-07-17 2016-02-08 富士フイルム株式会社 情報処理装置、プログラム、及びデジタル検版方法
JP2016081339A (ja) 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2016110319A (ja) 2014-12-04 2016-06-20 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2016126188A (ja) 2015-01-05 2016-07-11 コニカミノルタ株式会社 音声情報表示装置
US20160232879A1 (en) 2015-02-05 2016-08-11 Samsung Electronics Co., Ltd. Method and electronic device for displaying screen
JP2019109850A (ja) 2017-12-20 2019-07-04 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
US20200258481A1 (en) 2019-02-11 2020-08-13 Samsung Electronics Co., Ltd. Electronic device for providing augmented reality user interface and operating method thereof
JP2021026125A (ja) 2019-08-06 2021-02-22 株式会社日立製作所 表示制御装置、透過型表示装置
WO2021187771A1 (ko) 2020-03-20 2021-09-23 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법

Also Published As

Publication number Publication date
CN115079973A (zh) 2022-09-20
JP2022138964A (ja) 2022-09-26
US11574582B2 (en) 2023-02-07
US20220293036A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US11160688B2 (en) Visual aid display device and method of operating the same
US10698535B2 (en) Interface control system, interface control apparatus, interface control method, and program
US20150370321A1 (en) Shape recognition device, shape recognition program, and shape recognition method
KR101977332B1 (ko) 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
KR20230106727A (ko) 시선-기반 사용자 상호작용
KR101812227B1 (ko) 동작 인식 기반의 스마트 글래스 장치
US9979946B2 (en) I/O device, I/O program, and I/O method
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
US9906778B2 (en) Calibration device, calibration program, and calibration method
JPWO2017057107A1 (ja) 入力装置、入力方法、及びプログラム
JP2016082411A (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
EP3029547A1 (en) Three-dimensional input device and input system
US20220005441A1 (en) Method and system for spawning attention pointers (apt) for drawing attention of an user in a virtual screen display with augmented and virtual reality
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
JP7476128B2 (ja) 表示システムおよび表示装置
US11333892B2 (en) Display apparatus, display system, and display method
CN103713387A (zh) 电子设备和采集方法
JP7492904B2 (ja) 表示装置、表示システムおよび表示方法
US20240177436A1 (en) Wearable terminal device, program, and notification method
JP6275809B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018106723A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240417

R150 Certificate of patent or registration of utility model

Ref document number: 7476128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150