JP7206232B2 - 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置 - Google Patents

拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置 Download PDF

Info

Publication number
JP7206232B2
JP7206232B2 JP2020050533A JP2020050533A JP7206232B2 JP 7206232 B2 JP7206232 B2 JP 7206232B2 JP 2020050533 A JP2020050533 A JP 2020050533A JP 2020050533 A JP2020050533 A JP 2020050533A JP 7206232 B2 JP7206232 B2 JP 7206232B2
Authority
JP
Japan
Prior art keywords
content
display area
shape
augmented reality
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020050533A
Other languages
English (en)
Other versions
JP2021149723A (ja
Inventor
純一 桑田
尚太朗 玉山
昌樹 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020050533A priority Critical patent/JP7206232B2/ja
Priority to CN202080070469.6A priority patent/CN114586070A/zh
Priority to PCT/JP2020/029523 priority patent/WO2021192342A1/ja
Priority to US17/770,343 priority patent/US20220405985A1/en
Publication of JP2021149723A publication Critical patent/JP2021149723A/ja
Application granted granted Critical
Publication of JP7206232B2 publication Critical patent/JP7206232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置に関する。
近年、拡張現実を実現するヘッドマウントディスプレイが現場作業に適用されたり、マイクロソフト社のホロレンズ(登録商標)が現場作業支援に適用されたりしている。拡張現実システムを現場作業に適用することにより、作業対象の視認と併せて、多量の情報を参照することができる。また、頭の動作のみで情報を参照できるため、現場作業には好適である。
特許文献1には、遂行される業務プロセスに応じてARコンテンツを個別に提供する発明が記載されている。
特開2017-091561号公報
拡張現実システムでは、コンテンツが表示領域外にも存在するか否かについて認識困難な場合がある。これにより、重要な情報を見落すおそれがあり、情報を誤って解釈するおそれがある。しかし、特許文献1に記載されている発明は、コンテンツの視認性については何ら言及されていない。
そこで、本発明は、コンテンツが表示領域外にも存在するか否かを認識可能とすることを課題とする。
前記した課題を解決するため、本発明の拡張現実のコンテンツ生成装置は、現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域に対して所定の大きさ以上であるか否かを判定する判定手段と、前記判定手段が、前記表示領域に対して所定の大きさ以上であることを判定したならば、前記コンテンツの終端を強調する強調手段と、を備え、前記判定手段は、前記表示領域の形状と前記コンテンツの形状とが類似するか否かを判定し、前記強調手段は、前記表示領域の形状と前記コンテンツの形状とが類似していたならば、前記コンテンツの終端を強調することを特徴とする。
本発明の拡張現実のコンテンツ生成装置は、現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域の外にも存在するか否かを判定する判定手段と、前記判定手段が、前記表示領域の外にも前記コンテンツが存在することを判定したならば、前記コンテンツの終端を強調する強調手段と、を備え、前記判定手段は、前記表示領域の形状と前記コンテンツの形状とが類似するか否かを判定し、前記強調手段は、前記表示領域の形状と前記コンテンツの形状とが類似していたならば、前記コンテンツの終端を強調することを特徴とする。
本発明の拡張現実のコンテンツ生成装置は、現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域に対して所定の大きさ以上であるか否かを判定する判定手段と、前記判定手段が、前記表示領域に対して所定の大きさ以上であることを判定したならば、前記コンテンツの終端を強調する強調手段と、前記コンテンツが図形群または文字群であるか否かを判定する群判定手段と、を備え、前記強調手段は、前記コンテンツが図形群または文字群ならば、前記コンテンツの終端を強調する、ことを特徴とする。
本発明の拡張現実のコンテンツ生成装置は、現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域の外にも存在するか否かを判定する判定手段と、前記判定手段が、前記表示領域の外にも前記コンテンツが存在することを判定したならば、前記コンテンツの終端を強調する強調手段と、前記コンテンツが図形群または文字群であるか否かを判定する群判定手段と、を備え、前記強調手段は、前記コンテンツが図形群または文字群ならば、前記コンテンツの終端を強調する、ことを特徴とする。
本発明の拡張現実のコンテンツ表示装置は、コンテンツを現実空間に仮想配置する配置手段と、前記コンテンツを透明な外枠を持つ表示領域に表示させる表示制御手段と、前記表示領域の外にも前記コンテンツが存在することを判定したならば、終端が強調された前記コンテンツを表示し、前記表示領域に前記コンテンツが収まるならば、終端が強調されていない前記コンテンツを表示する強調手段と、前記表示領域の形状と前記コンテンツの形状とが類似するか否かを判定する判定手段と、を備え、前記強調手段は、前記表示領域の形状と前記コンテンツの形状とが類似していたならば、前記コンテンツの終端を強調することを特徴とする。
本発明の拡張現実のコンテンツ表示装置は、コンテンツを現実空間に仮想配置する配置手段と、前記コンテンツを透明な外枠を持つ表示領域に表示させる表示制御手段と、前記表示領域の外にも前記コンテンツが存在することを判定したならば、終端が強調された前記コンテンツを表示し、前記表示領域に前記コンテンツが収まるならば、終端が強調されていない前記コンテンツを表示する強調手段と、前記コンテンツが図形群または文字群であるか否かを判定する群判定手段と、を備え、前記強調手段は、前記コンテンツが図形群または文字群ならば、前記コンテンツの終端を強調する、ことを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
本発明によれば、コンテンツが表示領域外にも存在するか否かを認識可能である。
本実施形態に係る拡張現実システムの構成図である。 ヘッドマウントディスプレイのブロック図である。 本実施形態の拡張現実システムがユーザに提供する視界を示す図である。 コンテンツのつくりを示す図である。 拡張現実システムが提供する視界を示す図である。 比較例の拡張現実システムが提供する視界を示す図である。 本実施形態の拡張現実システムが提供する視界を示す図である。 比較例の拡張現実システムにおける表示例を示す図である。 本実施形態の拡張現実システムにおける表示例を示す図である。 終端強調されたコンテンツの例を示す図である。 終端強調されたコンテンツの例を示す図である。 終端強調されたコンテンツの例を示す図である。 変形例1の拡張現実システムにおけるコンテンツを示す図である。 変形例2の拡張現実システムにおけるコンテンツを示す図である。 コンテンツの終端強調を示す図である。 コンテンツの終端強調を示す図である。 コンテンツの終端強調を示す図である。 コンテンツ生成装置による終端強調処理を示すフローチャートである。 ヘッドマウントディスプレイによる終端強調のオンオフの切り替え処理を示すフローチャートである。 ヘッドマウントディスプレイによる終端強調処理を示すフローチャートである。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図1は、本実施形態に係る拡張現実システムSの構成図である。
拡張現実システムSは、手順書データベース1と、コンテンツ生成装置2と、管理端末3と、タブレット端末4と、ヘッドマウントディスプレイ5とを含んで構成される。この拡張現実システムSは、例えば現場作業者などであるユーザに、拡張現実を提供して、その作業を支援する。
図3は、本実施形態の拡張現実システムSがユーザに提供する視界を示す図である。
現実空間に仮想配置された円筒の内側には、あらかじめ作業中に参照したい手順書が示された手順書コンテンツ71a,71bや、作業対象6の内部構造を示す図面が示された図面コンテンツ72などが仮想的に配置されている。
このヘッドマウントディスプレイ5の向きが変わると、拡張現実システムSは、ヘッドマウントディスプレイ5の表示領域58の向きを認識して、表示状態を更新する。ユーザは、ヘッドマウントディスプレイ5を装着した状態で頭の向きを変えると、視点中央の表示領域58内に入った情報を見ることができる。つまり仮想の円筒は、現実空間に仮想的に配置されているかのように表示される。
そしてユーザが頭の向きを変えて、手順書コンテンツ71a,71bや図面コンテンツ72などが配置されていない方向に表示領域58を向ければ、その奥に存在する作業対象6をクリアに見通すことができる。つまりユーザは、頭の向きを変える動作によって、作業対象6の視認と、手順書コンテンツ71a,71bの参照と、図面コンテンツ72の参照とを切り替えることができる。
図1に戻り説明を続ける。手順書データベース1は、現場作業者などであるユーザに提供する手順書や図面などの情報を格納するデータベースである。
コンテンツ生成装置2は、コンピュータであり、例えば手順書データベース1の手順書情報や図面情報などが指定されると、これらに対応するコンテンツを生成するものである。
管理端末3は、このコンテンツ生成装置2を管理するための端末である。ユーザが管理端末3を操作して、手順書データベース1の手順書情報や図面情報などを指定すると、コンテンツ生成装置2がコンテンツを生成する。
タブレット端末4は、生成されたコンテンツを二次元でプレビューするための端末である。
ヘッドマウントディスプレイ5は、このコンテンツ生成装置2が生成した各コンテンツを再生するコンテンツ再生装置である。
図2は、ヘッドマウントディスプレイ5のブロック図である。
ヘッドマウントディスプレイ5は、ユーザの頭部に装着するディスプレイ装置であり、例えばAR(Augmented Reality)グラスと呼ばれている。ヘッドマウントディスプレイ5は、CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53、記憶部57を含んで構成されるコンピュータである。CPU51は、ROM52や記憶部57に格納された不図示のプログラムなどを実行することにより、コンテンツ再生機能を実現する。
ROM52は、不揮発性メモリであり、例えばBIOS(Basic I/O System)やプログラムなどを格納している。記憶部57は、例えばフラッシュメモリなどの大容量記憶装置であり、コンテンツ情報571やプログラムなどを格納している。
ヘッドマウントディスプレイ5は、ジャイロセンサ54、表示部55、通信部56を含んで構成される。
ジャイロセンサ54は、角加速度を検知するセンサである。CPU51は、このジャイロセンサ54により、ヘッドマウントディスプレイ5の向きの変化を検知する。
表示部55は、透明な表示板の中央に矩形の表示パネルが埋め込まれたものである。なお、この表示パネルは、コンテンツ領域が不透明であり、それ以外の領域が透明である。
通信部56は、外部と通信するためのものであり、例えば無線LANモジュールである。
図4は、コンテンツのつくりを示す図である。
視野59は、ユーザが見える範囲である。表示領域58は、ヘッドマウントディスプレイ5の表示部55によって表示可能な範囲であり、透明な外枠を有している。コンテンツ73,74,75は、現実空間上に仮想的に配置されている。ユーザが頭の向きを変えることで、視野59が変化し、よってヘッドマウントディスプレイ5の表示領域58とコンテンツ73,74,75との相対位置も変化する。
コンテンツ73は矩形であり、その右下領域が表示領域58に表示されており、それ以外の領域は表示領域58の外に存在している。
コンテンツ74は円形であり、その左下部分が表示領域58に表示されており、それ以外の部分は表示領域58の外に存在している。
コンテンツ75は三角形であり、その上部が表示領域58に表示されており、それ以外の部分は表示領域58の外に存在している。
図5は、拡張現実システムSが提供する視界を示す図である。
コンテンツ73は矩形であり、表示領域58に表示されている領域も矩形である。よってユーザは、コンテンツ73の全体が表示領域58に表示されているのか否かを判断できない。
コンテンツ75は三角形であり、表示領域58に表示されている領域も三角形である。よってユーザは、コンテンツ75の全体が表示領域58に表示されているのか否かを判断できない。
コンテンツ74は円形であり、表示領域58に表示されている領域は、その円形の一部である。よってユーザは、コンテンツ74の一部が表示領域58に表示されていることを判断できる。
図6は、比較例の拡張現実システムが提供する視界を示す図である。
図5の問題を解決するため、表示領域58の終端581が強調表示されている。しかし、この比較例では、終端581がユーザの視界を常に妨げてしまうという問題があった。
図7は、本実施形態の拡張現実システムSが提供する視界を示す図である。
本実施形態の拡張現実システムSは、コンテンツ73の終端731を強調している。これにより、拡張現実システムSは、コンテンツ73の一部が表示領域58に表示されている場合と、コンテンツ73の全体が表示領域58に表示されている場合とを区別して表示することができる。
拡張現実システムSは、コンテンツ75の終端751を強調している。これにより、拡張現実システムSは、コンテンツ75の一部が表示領域58に表示されている場合と、コンテンツ75の全体が表示領域58に表示されている場合とを区別して表示することができる。
拡張現実システムSは、コンテンツ74の終端741を強調している。これにより、拡張現実システムSは、コンテンツ74の一部が表示領域58に表示されている場合と、コンテンツ74の全体が表示領域58に表示されている場合とを区別して表示することができる。但し、コンテンツ74は円形なので、その一部が表示領域58に表示されている場合と、全体が表示領域58に表示されている場合とは、終端741によらず、その形状によって識別可能である。
本実施形態によれば、頭の向きを変えれば各コンテンツを非表示にできるため、視界を遮ることはない。
図8は、比較例の拡張現実システムにおける表示例を示す図である。
コンテンツ76は、文章を含んでいる。コンテンツ77は、三角形のインジケータである。コンテンツ78は、図面である。コンテンツ79は、表である。
これらコンテンツ76~79は、その全てが表示されているか否かを判定することが困難な場合がある。
図9は、本実施形態の拡張現実システムSにおける表示例を示す図である。
コンテンツ76は、終端761が強調されている。これによりユーザは、表示領域には文章の一部しか表示されていないことが判定可能である。ここで文章のコンテンツのことを、文字群のコンテンツという場合がある。
コンテンツ77は、終端771が強調されている。これによりユーザは、インジケータの最大値が右に隠れていることが判定可能である。
コンテンツ78は、終端781が強調されている。これによりユーザは、左下にまだ続きがあることが判定可能である。
コンテンツ79は、終端791が強調されている。これによりユーザは、右にまだ列があり、下にまだ行があることが判定可能である。
図10は、終端強調されたコンテンツの例を示す図である。
コンテンツ80は、単一の三角形である。その終端801は、三角形の各辺に相当する。
図11は、終端強調されたコンテンツの例を示す図である。
コンテンツ81は、複数の矩形が組み合わさっている。その終端811は、全体の形状を単純化した矩形を終端としている。
図12は、終端強調されたコンテンツの例を示す図である。
コンテンツ82は、時計を示している。その終端821は、全体の形状を単純化した円形を終端としている。
《表示領域の形状とコンテンツの形状との関係》
表示領域は、通常は矩形である。よってコンテンツ形状も矩形である場合、その一部が表示されるときも矩形となり、表示領域外にもコンテンツが存在するか判定することは難しい。
表示領域が六角形または五角形の場合にも同様な問題が存在する。以下、この問題について説明する。
図13は、変形例1の拡張現実システムにおけるコンテンツを示す図である。
ここで表示領域582は六角形であり、コンテンツ83も六角形である。このとき、表示領域582に表示されているコンテンツ83の一部も六角形である。そのため、ユーザは、表示領域582の外にもコンテンツ83が存在するか否かを認識する事は難しい。
よって、コンテンツ生成装置2は、表示領域582が六角形の場合、六角形のコンテンツ83にも終端強調を施すとよい。
図14は、変形例2の拡張現実システムにおけるコンテンツを示す図である。
ここで表示領域583は五角形であり、コンテンツ84も五角形である。このとき、表示領域583に表示されているコンテンツ84の一部も五角形である。そのため、ユーザは、表示領域582の外にもコンテンツ84が存在するか否かを認識する事は難しい。
よって、コンテンツ生成装置2は、表示領域583が五角形の場合、五角形のコンテンツ84にも終端強調を施すとよい。
《コンテンツの終端》
コンテンツの終端は、コンテンツの内側から外側へ減衰していくデザインであることが望ましい。これにより、ユーザは、コンテンツの内と外とを取り違えることがなくなる。
更にコンテンツの終端は、直線の端面または単純グラデーションではなく、コンテンツ内で使われておらず、かつ、コンテンツの内側に侵襲しない形状であることが望ましい。これにより、ユーザは、コンテンツの内と外とを取り違えることがなくなる。終端は、コンテンツの形状にそって、特定の柄を繰り返し配置するとよい。これにより、コンテンツ生成装置2は機械的に終端を生成可能であり、ユーザは終端とそれ以外の部分を視認しやすくなる。
図15は、コンテンツの終端強調を示す図である。
コンテンツ85の終端851は、コンテンツの内側から外側へ延びる楔型形状である。これは、ユーザがコンテンツの内側と外側を区別しやすいため、終端形状として好ましい。
図16は、コンテンツの終端強調を示す図である。
コンテンツ86の終端861は、コンテンツの内側から外側へ向かうにつれて密度が低くなる六角形である。これは、ユーザがコンテンツの内側と外側を区別しやすいため、終端形状として好ましい。
図17は、コンテンツの終端強調を示す図である。
コンテンツ85の終端851は、コンテンツの内側から外側へ向かう半円形状である。これは、ユーザがコンテンツの内側と外側を区別しやすいため、終端形状として好ましい。
《コンテンツ生成装置による終端強調処理》
図18は、コンテンツ生成装置2による終端強調処理を示すフローチャートである。
処理を開始すると、コンテンツ生成装置2の不図示の処理部(例えばCPU)は、生成するコンテンツが静止画であるか否かを判定する(S10)。処理部は、コンテンツが静止画ならば(Yes)、コンテンツの外周の黒の部分を無視して(S12)、ステップS13に進む。処理部は、コンテンツが動画ならば(No)、全フレームを通して黒いままの部分を無視して(S11)、ステップS13に進む。
ステップS13において、処理部は、ステップS11,S12で無視した部分を除いた形状の外周を適度に単純化した線を終端とする。
ステップS14~S18は、終端の強調を行うか否かの判定処理である。
ステップS14において、処理部は、表示領域のサイズに対してコンテンツが小さいか否かを判定する。ステップS14において、処理部は、コンテンツが表示領域に対して所定の大きさ以上であるか否かを判定する判定手段として機能する。ここでコンテンツが小さいとは、例えばコンテンツの表示の幅および高さが、表示領域の幅および高さに対して25%以下の場合である。
処理部は、表示領域のサイズに対してコンテンツが小さいならば(Yess)、ステップS20に進んで終端を強調しないコンテンツを生成すると、図18の処理を終了する。処理部は、表示領域のサイズに対してコンテンツが小さくないならば(No)、ステップS15に進む。
ステップS15において、処理部は、コンテンツと表示領域とが似た形状であるか否かを判定する。処理部は、コンテンツと表示領域とが似た形状ならば(Yes)、ステップS19に進んで終端を強調したコンテンツを生成すると、図18の処理を終了する。ステップS19において処理部は、コンテンツの終端を強調する強調手段として機能する。
ステップS15において処理部は、コンテンツと表示領域とが異なる形状ならば(No)、ステップS16に進む。
ステップS16において、処理部は、コンテンツが三角形であるか否かを判定する。処理部は、コンテンツが三角形ならば(Yes)、ステップS19に進んで終端を強調したコンテンツを生成すると、図18の処理を終了する。処理部は、コンテンツが三角形でないならば(No)、ステップS17に進む。
ステップS17において、処理部は、コンテンツが図形群であるか否かを判定する。処理部は、コンテンツが図形群ならば(Yes)、ステップS19に進んで、図形群全体が収まる矩形より、一回り大きな矩形の終端を強調したコンテンツを生成すると、図18の処理を終了する。
処理部は、コンテンツが図形群でないならば(No)、ステップS18に進む。
ステップS18において、処理部は、コンテンツが文字群であるか否かを判定する。処理部は、コンテンツが文字群ならば(Yes)、ステップS19に進んで、文字群全体が収まる矩形より、一回り大きな矩形の終端を強調したコンテンツを生成すると、図18の処理を終了する。処理部は、コンテンツが文字群でないならば(No)、ステップS20に進み、終端を強調しないコンテンツを生成すると、図18の処理を終了する。
つまり、ステップS17,S18において、処理部は、コンテンツが図形群または文字群であるか否かを判定する群判定手段として機能する。
処理部は更に、コンテンツの色に合わせて、終端の色調を調整してもよい。例えばコンテンツの色が単色である場合、コンテンツと同じ色調の強調表示をするとよい。更にコンテンツの色が複数である場合、コンテンツ全体の輝度に合わせた色で、強調表示をするとよい。これにより、処理部は、眩しくなることや、暗すぎることなどを抑止できる。
図19は、ヘッドマウントディスプレイ5による終端強調のオンオフの切り替え処理を示すフローチャートである。この切り替え処理は、例えばフレームの表示処理ごとに呼び出される。また、この処理の前提となっているのは、終端強調コンテンツか否かを図18の処理によって判定済であり、更に終端強調コンテンツは、終端を強調したコンテンツと終端を強調していない通常コンテンツの2つが生成されていることである。
CPU51は、終端強調コンテンツが存在するか否かを判定する(S30)。CPU51は、終端強調コンテンツが存在しないならば(No)、ステップS34に進み、各コンテンツをそのまま表示すると、図19の処理を終了する。CPU51は、終端強調コンテンツが存在するならば(Yes)、ステップS31に進む。
ステップS31において、CPU51は、コンテンツ全体が表示領域内に収まっているか否かを判定する。この判定処理は、各コンテンツについてそれぞれ実行される。CPU51は、コンテンツ全体が表示領域内に収まっているならば(Yes)、そのコンテンツについて終端を強調しないコンテンツを表示し(S33)、図19の処理を終了する。
CPU51は、コンテンツ全体が表示領域内に収まっていないならば(No)、そのコンテンツについて終端を強調したコンテンツを表示し(S32)、図19の処理を終了する。
《ヘッドマウントディスプレイによる終端強調処理》
図20は、ヘッドマウントディスプレイ5による終端強調処理を示すフローチャートである。これは、図18で説明した実施形態の変形例である。
ステップS40~S43の処理は、図18のステップS10~S13の処理と同様である。
ステップS44において、処理部は、コンテンツが表示領域に収まるか否かを判定する。処理部は、コンテンツが表示領域に収まるならば(Yes)、ステップS50に進む。処理部は、コンテンツが表示領域に収まらないならば(No)、ステップS45に進む。ステップS45~S50の処理は、図18のステップS15~S20の処理と同様である。
ステップS51において、CPU51は、終端を強調したコンテンツを表示して、図20の処理を終了する。ステップS52において、CPU51は、通常のコンテンツを表示して、図20の処理を終了する。ステップS51,S52において、CPU51は、透明な外枠を持つ表示領域にコンテンツを表示させる表示制御手段として機能する。
《その他の変形例》
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、SSD(Solid State Drive)などの記録装置、または、フラッシュメモリカード、DVD(Digital Versatile Disk)などの記録媒体に置くことができる。
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明のその他の変形例として、例えば、次の(a)~(e)のようなものがある。
(a) 多角形や円形などのような単純な図形に限定されず、例えば重機やプラント装置などのような複雑な図形を拡張現実のコンテンツとして表示してもよい。
(b) コンテンツ外側に向け減衰していない形状を終端強調として用いてもよい。
(c) コンテンツ内にも同じ表現が使われている可能性が高い形状を終端強調として用いてもよい。
(d) コンテンツ内側に侵襲する形状を終端強調として用いてもよい。
(e) 複数の装置で構成されるシステムに限定されず、ヘッドマウントディスプレイ5にコンテンツの生成機能と表示機能を実装してもよい。
S 拡張現実システム
1 手順書データベース
2 コンテンツ生成装置
3 管理端末
4 タブレット端末
5 ヘッドマウントディスプレイ
51 CPU
52 ROM
53 RAM
54 ジャイロセンサ
55 表示部
56 通信部
57 記憶部
571 コンテンツ情報
58,582,583 表示領域
581 終端
59 視野
6 作業対象
71a,71b 手順書コンテンツ
72 図面コンテンツ
73~87 コンテンツ
731~821,851~871 終端

Claims (9)

  1. 現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域に対して所定の大きさ以上であるか否かを判定する判定手段と、
    前記判定手段が、前記表示領域に対して所定の大きさ以上であることを判定したならば、前記コンテンツの終端を強調する強調手段と、
    を備え
    前記判定手段は、前記表示領域の形状と前記コンテンツの形状とが類似するか否かを判定し、
    前記強調手段は、前記表示領域の形状と前記コンテンツの形状とが類似していたならば、前記コンテンツの終端を強調する、
    ことを特徴とする拡張現実のコンテンツ生成装置。
  2. 現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域の外にも存在するか否かを判定する判定手段と、
    前記判定手段が、前記表示領域の外にも前記コンテンツが存在することを判定したならば、前記コンテンツの終端を強調する強調手段と、
    を備え
    前記判定手段は、前記表示領域の形状と前記コンテンツの形状とが類似するか否かを判定し、
    前記強調手段は、前記表示領域の形状と前記コンテンツの形状とが類似していたならば、前記コンテンツの終端を強調する、
    ことを特徴とする拡張現実のコンテンツ生成装置。
  3. 前記コンテンツの形状を判定する形状判定手段を更に備え、
    前記強調手段は、前記形状判定手段が判定した前記コンテンツの形状または種類に応じて、前記コンテンツの終端を強調するか否かを切り替える、
    ことを特徴とする請求項1または2に記載の拡張現実のコンテンツ生成装置。
  4. 前記強調手段は、前記コンテンツの形状が三角形ならば、前記コンテンツの終端を強調する、
    ことを特徴とする請求項1または2に記載の拡張現実のコンテンツ生成装置。
  5. 現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域に対して所定の大きさ以上であるか否かを判定する判定手段と、
    前記判定手段が、前記表示領域に対して所定の大きさ以上であることを判定したならば、前記コンテンツの終端を強調する強調手段と、
    前記コンテンツが図形群または文字群であるか否かを判定する群判定手段と、を備え、
    前記強調手段は、前記コンテンツが図形群または文字群ならば、前記コンテンツの終端を強調する、
    ことを特徴とする拡張現実のコンテンツ生成装置。
  6. 現実空間に仮想配置されたコンテンツを透明な外枠を持つ表示領域に表示する際、前記コンテンツが前記表示領域の外にも存在するか否かを判定する判定手段と、
    前記判定手段が、前記表示領域の外にも前記コンテンツが存在することを判定したならば、前記コンテンツの終端を強調する強調手段と、
    前記コンテンツが図形群または文字群であるか否かを判定する群判定手段と、を備え、
    前記強調手段は、前記コンテンツが図形群または文字群ならば、前記コンテンツの終端を強調する、
    ことを特徴とする拡張現実のコンテンツ生成装置。
  7. 前記強調手段は、前記コンテンツの形状の外周を単純化して終端とする、
    ことを特徴とする請求項1または2に記載の拡張現実のコンテンツ生成装置。
  8. コンテンツを現実空間に仮想配置する配置手段と、
    前記コンテンツを透明な外枠を持つ表示領域に表示させる表示制御手段と、
    前記表示領域の外にも前記コンテンツが存在することを判定したならば、終端が強調された前記コンテンツを表示し、前記表示領域に前記コンテンツが収まるならば、終端が強調されていない前記コンテンツを表示する強調手段と、
    前記表示領域の形状と前記コンテンツの形状とが類似するか否かを判定する判定手段と、
    を備え
    前記強調手段は、前記表示領域の形状と前記コンテンツの形状とが類似していたならば、前記コンテンツの終端を強調する、
    ことを特徴とする拡張現実のコンテンツ表示装置。
  9. コンテンツを現実空間に仮想配置する配置手段と、
    前記コンテンツを透明な外枠を持つ表示領域に表示させる表示制御手段と、
    前記表示領域の外にも前記コンテンツが存在することを判定したならば、終端が強調された前記コンテンツを表示し、前記表示領域に前記コンテンツが収まるならば、終端が強調されていない前記コンテンツを表示する強調手段と、
    前記コンテンツが図形群または文字群であるか否かを判定する群判定手段と、を備え、
    前記強調手段は、前記コンテンツが図形群または文字群ならば、前記コンテンツの終端を強調する、
    ことを特徴とする拡張現実のコンテンツ表示装置。
JP2020050533A 2020-03-23 2020-03-23 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置 Active JP7206232B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020050533A JP7206232B2 (ja) 2020-03-23 2020-03-23 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置
CN202080070469.6A CN114586070A (zh) 2020-03-23 2020-07-31 扩展现实的内容生成装置及扩展现实的内容显示装置
PCT/JP2020/029523 WO2021192342A1 (ja) 2020-03-23 2020-07-31 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置
US17/770,343 US20220405985A1 (en) 2020-03-23 2020-07-31 Augmented reality content generation device and augmented reality content display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020050533A JP7206232B2 (ja) 2020-03-23 2020-03-23 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置

Publications (2)

Publication Number Publication Date
JP2021149723A JP2021149723A (ja) 2021-09-27
JP7206232B2 true JP7206232B2 (ja) 2023-01-17

Family

ID=77849166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050533A Active JP7206232B2 (ja) 2020-03-23 2020-03-23 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置

Country Status (4)

Country Link
US (1) US20220405985A1 (ja)
JP (1) JP7206232B2 (ja)
CN (1) CN114586070A (ja)
WO (1) WO2021192342A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169001A1 (ja) 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019016044A (ja) 2017-07-04 2019-01-31 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273470A1 (en) * 2004-05-20 2005-12-08 Heigold Cynthia J Interactive system for dynamic generation of a user-customized composite digital image
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169001A1 (ja) 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019016044A (ja) 2017-07-04 2019-01-31 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置

Also Published As

Publication number Publication date
CN114586070A (zh) 2022-06-03
US20220405985A1 (en) 2022-12-22
JP2021149723A (ja) 2021-09-27
WO2021192342A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP2642021B2 (ja) ディスプレイ・システム
US5283560A (en) Computer system and method for displaying images with superimposed partially transparent menus
CA2419719C (en) Data display for multiple layered screens
KR101491035B1 (ko) 3-d 모델 뷰 조작 장치
US5434964A (en) Movement and redimensioning of computer display windows
JP2572471B2 (ja) アイコンを動的に変更する方法及び装置
JP2009217838A (ja) 多層スクリーンの表示方法
EP1956471B1 (en) Object selecting device, object selecting method, information recording medium, and program
EP1332425A1 (en) On-screen transparent keyboard interface
US8157170B2 (en) Card identification device, card identification method, program, and information recording medium
CN112114734A (zh) 在线文档的显示方法、装置、终端及存储介质
CN113262476A (zh) 操作控件的位置调整方法、装置、终端及存储介质
JP4899908B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
US20080143673A1 (en) Method and Apparatus For Moving Cursor Using Numerical Keys
JP7206232B2 (ja) 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置
US8645857B2 (en) Method for controlling information display
CN111213184B (zh) 基于增强现实的虚拟仪表板实现
JP3255650B2 (ja) 境界の電気的発生方法および装置
JP4031528B2 (ja) コンピュータ・ディスプレイ上の不明瞭なアイテムを取り扱う方法
JP4490215B2 (ja) データ表示装置及びプログラム
JP6173786B2 (ja) 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法
JP7528621B2 (ja) 情報処理装置及び情報処理プログラム
JP3257925B2 (ja) 半透明色画像生成装置
JPH05101044A (ja) 文書処理装置
JP3147233B2 (ja) 文書処理方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230104

R150 Certificate of patent or registration of utility model

Ref document number: 7206232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150