JP6279131B2 - 表示システム及び情報処理方法 - Google Patents

表示システム及び情報処理方法 Download PDF

Info

Publication number
JP6279131B2
JP6279131B2 JP2017119626A JP2017119626A JP6279131B2 JP 6279131 B2 JP6279131 B2 JP 6279131B2 JP 2017119626 A JP2017119626 A JP 2017119626A JP 2017119626 A JP2017119626 A JP 2017119626A JP 6279131 B2 JP6279131 B2 JP 6279131B2
Authority
JP
Japan
Prior art keywords
image
display
display device
inspection object
determination result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017119626A
Other languages
English (en)
Other versions
JP2017182838A (ja
Inventor
和佳 井上
和佳 井上
陽一郎 角藤
陽一郎 角藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Publication of JP2017182838A publication Critical patent/JP2017182838A/ja
Application granted granted Critical
Publication of JP6279131B2 publication Critical patent/JP6279131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35482—Eyephone, head-mounted 2-D or 3-D display, also voice and other control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • General Factory Administration (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Description

本発明は、表示システム及び情報処理方法に関する。
従来、自動車製造工場等では複数の検査工程が実施されており、各検査工程を管理する管理システムが知られている。特許文献１には、実行済みの検査工程の検査結果が所定の基準を満たさない場合に、その旨を表示するシステムが開示されている。また、検査工程には、検査者の目視による検査も含まれている。目視検査においては、検査者は、検査項目毎に定められた判定基準に従って、検査対象物の合格、不合格を判定する。
一方、近年では、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲ）技術を利用した作業支援技術が知られている。作業支援の技術として、特許文献２には、作業者が装着する装着型ＡＲ表示装置に、現実空間の映像に重畳して、障害復旧作業に係る情報を表示する技術が開示されている。
特開２０１０−２６７５７号公報 特開２０１１−２４８８６０号公報
しかしながら、作業者の目視検査では、誤判定がなされる可能性もあり、本来不合格と判定されるべき製品が出荷されてしまうという問題があった。
本発明はこのような問題点に鑑みなされたもので、検査者の目視による検査の検査精度の向上に繋がる支援を行うことを目的とする。
そこで、本発明は、現実空間に重畳して画像を表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムであって、前記表示装置は、記憶手段から、現実空間に存在する検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を読み出す読出手段と、読み出された画像を、光透過型の表示手段を透過する現実空間に重畳して前記表示手段に表示する表示処理手段と、前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付手段と、前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する撮影制御手段と、前記撮影制御手段の制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する第１の送信手段と、前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する第１の受信手段と、前記撮影画像を前記判定結果と共に、前記管理装置に送信する第２の送信手段と、を有し、前記表示処理手段は、前記判定結果を表示し、前記管理装置は、前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録手段と、前記判定結果に従い、前記記憶手段に前記追加の合格画像又は不合格画像として登録されている前記撮影画像を、前記合格画像又は前記不合格画像として前記表示装置に送信する送信手段と、を有し、前記表示処理手段は、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する。
本発明によれば、検査者の目視による検査を含んだ検査工程における検査精度を向上させることができる。
図１は、図１は、ＡＲ表示システムを示す図である。 図２は、ＡＲ表示装置を示す図である。 図３は、管理装置を示す図である。 図４は、完成車検査の説明図である。 図５は、ＡＲ表示システムによる検査支援処理を示すフローチャートである。 図６は、参照画像ＤＢのデータ構成の一例を示す図である。 図７は、参考画像の表示例を示す図である。 図８Ａは、選択指示に係る画像の拡大表示例を示す図である。 図８Ｂは、選択指示に係る画像の拡大表示例を示す図である。 図９は、参考画像の表示例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
図１は、表示システムとしての拡張現実表示システムを示す図である。以下、拡張現実表示システムをＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示システムと称することとする。ＡＲ表示システムは、ＡＲ表示装置１００と、管理装置１１０と、ＰＣ１２０とを有している。
ＡＲ表示装置１００は、眼鏡型のデバイスである。本実施形態においては、自動車工場における完成車の最終検査において、検査者がＡＲ表示装置１００を装着して検査対象物の目視検査を行うものとする。ＡＲ表示装置１００はまた、光透過型の表示装置であり、眼鏡のレンズ部分に相当する位置には、光透過型の表示部１０５が設けられている。ＡＲ表示装置１００を装着した検査者は、ＡＲ表示装置１００の表示部１０５を介して、現実空間において、視線の先に存在する物体を見ることができる。さらに、表示部１０５には任意の画像が表示されるので、ＡＲ表示装置１００を装着した検査者には、表示部１０５を通して見ている現実空間に、任意の画像が重畳された状態が認識される。このように、ＡＲ表示装置１００は、現実空間に重畳して画像を表示可能な表示装置である。なお、現実空間と、任意の画像とが合成された空間を拡張現実空間と称する。さらに、表示部１０５に隣接する位置に撮影部１０７が設けられている。撮影部１０７は、撮影方向がＡＲ表示装置１００の装着者の視線方向と、撮影部１０７の撮影方向とが一致するように設置されているものとする。これにより、撮影部１０７は、ＡＲ表示装置１００を装着する検査者が見ている現実空間の画像を撮影することができる。なお、他の例としては、撮影部１０７は、撮影方向と装着者の視線方向とが一定の関係になるように設置されていてもよい。
管理装置１１０は、ＡＲ表示装置１００が表示する情報を管理する。ＰＣ１２０は、例えば検査者の上司等予め定められたユーザが使用する情報処理装置である。ここで、ＰＣ１２０は、外部装置の一例である。ＡＲ表示装置１００は、ネットワークを介して管理装置１１０及びＰＣ１２０と通信可能であるものとする。ＡＲ表示装置１００と管理装置１１０の間のネットワークと、ＡＲ表示装置１００とのＰＣ１２０の間のネットワークは同一であってもよく、異なるものであってもよい。
図２は、ＡＲ表示装置１００を示す図である。ＡＲ表示装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、通信Ｉ／Ｆ１０４と、表示部１０５と、マイク１０６と、撮影部１０７とを有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、後述するＡＲ表示装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２に格納されているコンピュータのプログラムを読み出し、このプログラムを実行することにより実現されるものである。
通信Ｉ／Ｆ１０４は、ネットワークを介して、管理装置１１０及びＰＣ１２０との通信処理を行う。表示部１０５は、各種情報を表示する。マイク１０６は、ＡＲ表示装置１００を装着した検査者の発話等の音声を入力する。なお、音声は、ＣＰＵ１０１に送られ、ＣＰＵ１０１において音声認識処理が行われる。ＣＰＵ１０１は、音声認識の結果から、ユーザによる各種指示を受け付けることができる。撮影部１０７は、現実空間の撮影を行う。なお、本実施形態においては、ＡＲ表示装置１００は、マイク１０６に入力された音声によりユーザからの指示を受け付けるものとするが、ユーザからの指示を受け付けるためのユーザインタフェースは、これに限定されるものではない。他の例としては、ＡＲ表示装置１００は、ＡＲ表示装置１００に設けられた不図示のボタンの押下に応じた指示を受け付けてもよい。また、他の例としては、ＡＲ表示装置１００は、撮影部１０７により撮影された動画を基に、ユーザによるジェスチャに対するジェスチャ認識結果に応じた指示を受け付けてもよい。
図３は、管理装置１１０を示す図である。管理装置１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、通信Ｉ／Ｆ１１４と、表示部１１５と、入力部１１６と、ＨＤＤ１１７とを有している。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３及び通信Ｉ／Ｆ１１４は、それぞれＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３及び通信Ｉ／Ｆ１０４と同様である。表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。ＨＤＤ１１７は、データや各種プログラム等を記憶する。後述する管理装置１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１７に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。なお、ＰＣ１２０の構成は、管理装置１１０の構成と同様である。
図４は、自動車工場において実施される完成車検査の説明図である。完成車検査においては、検査装置による検査と、検査者の目視による検査とを含んでおり、検査者Ａは、ＡＲ表示装置１００を装着し、目視による検査を行う。完成車２００は、ベルトコンベアー２１０に載って、検査者Ａの前に運ばれる。ベルトコンベアー２１０に載って運ばれてくる検査対象の自動車の仕様（車種、型式、装備、色等）は多種に渡り、検査者Ａは、まず自動車の仕様を特定する。そして、検査者は、仕様毎の検査項目が記載されたスペックシート等を参照しつつ、仕様に応じて、検査項目を特定し、検査項目に示される検査対象物を目視により確認し、合格又は不合格の判定を下す。以下においては、完成車２００の前面に設けられたエンブレム２０１を検査対象物とし、エンブレム２０１の形状の検査を例に説明する。
図５は、ＡＲ表示システムによる検査支援処理を示すフローチャートである。本処理は、ＡＲ表示装置１００を装着した検査者が検査を行う際に実行される処理である。まず、Ｓ１００において、ＡＲ表示装置１００のＣＰＵ１０１は、検査者による発話に応じて、検査項目の選択指示を受け付けたか否かを確認する。ここで、検査項目とは、検査者がこれから検査する検査対象物及びその検査内容を示す情報である。検査者が「エンブレムの形状検査」と発話すると、ＡＲ表示装置１００のＣＰＵ１０１は、マイク１０６から入力された音声に対する音声認識を行い、音声認識結果に応じて、検査項目「エンブレムの形状」の選択指示を受け付ける。なお、前述の通り、検査者が選択指示を入力するためのユーザインタフェースは、マイク１０６に限定されるものではない。他の例としては、ユーザは、ボタンの押下、ジェスチャ等により選択指示の入力を行ってもよい。なお、以下の説明において、検査者が各種指示を入力する場合においても同様に、指示入力のためのユーザインタフェースは実施形態に限定されるものではない。ここで、Ｓ１００の処理は、受付処理の一例である。
ＡＲ表示装置１００のＣＰＵ１０１は、選択指示を受け付けた場合には（Ｓ１００でＹｅｓ）、処理をＳ１０１へ進める。Ｓ１０１において、ＡＲ表示装置１００のＣＰＵ１０１は、通信Ｉ／Ｆ１０４を介し、管理装置１１０に対し、選択指示に係る検査項目を含む画像取得要求を送信する（送信処理）。管理装置１１０のＣＰＵ１１１は、通信Ｉ／Ｆ１１４を介し、画像取得要求を受信すると、処理をＳ１０２へ進める。Ｓ１０２において、管理装置１１０のＣＰＵ１１１は、参照画像ＤＢから画像取得要求に示される検査項目に対応付けて登録されている参照画像を抽出する。ここで、参照画像とは、検査において参照される画像であり、合格又は不合格と判定された検査対象物の画像である。
図６は、参照画像ＤＢ１１８のデータ構成の一例を示す図である。参照画像ＤＢ１１８は、例えば、管理装置１１０のＨＤＤ１１７等の記憶部に格納されている。参照画像ＤＢ１１８には、検査項目と、参照画像とが対応付けて格納されている。図６に示すように、参照画像は合格画像及び不合格画像を含んでいる。ここで、合格画像は、合格と判定された検査対象物の画像である。不合格画像は、不合格と判定された検査対象物の画像である。このように、参照画像ＤＢ１１８は、参照画像を、合格画像であるか不合格画像であるかを識別可能に格納しているものとする。なお、合格画像及び不合格画像は、ＡＲ表示システムの設計時等、実際の処理が行われる前に、設計者等により予め作成され、参照画像ＤＢ１１８に登録されているものとする。
管理装置１１０のＣＰＵ１１１は、参照画像ＤＢ１１８において、検査項目に対応付けられている参照画像を抽出する。なお、検査項目に対応付けて、合格画像及び不合格画像の両方が格納されている場合と、何れか一方の画像のみが格納されている場合とがある。前者の場合には、合格画像及び不合格画像の両方が抽出され、後者の場合には合格画像及び不合格画像のうち何れか一方の画像のみが抽出される。
次に、Ｓ１０３において、管理装置１１０のＣＰＵ１１１は、抽出した参照画像と、各参照画像が合格画像であるか不合格画像であるかを識別する情報とを対応付けて、通信Ｉ／Ｆ１１４を介して、ＡＲ表示装置１００に送信する。
ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１０３において参照画像を受信すると、処理をＳ１０４へ進める。ここで、Ｓ１０３の処理は、合格画像及び不合格画像のうち少なくとも一方を受信する受信処理の一例である。Ｓ１０４において、ＡＲ表示装置１００のＣＰＵ１０１は、受信した参照画像の中から１つの合格画像と、１つの不合格画像とを抽出し、これらを表示部１０５に表示する。図７は、合格画像及び不合格画像の表示例を示す図である。表示部１０５の左側及び右側に、それぞれ１つの合格画像２２１及び１つの不合格画像２２３が表示されている。これにより、検査者は、表示部１０５を介して、現実空間に存在する検査対象物としての、完成車２００のエンブレム２０１を見るのと同時に、表示部１０５に表示される合格画像２２１及び不合格画像２２３を見ることができる。すなわち、検査者は、現実空間に存在する検査対象物に合格画像２２１及び不合格画像２２３が重畳された拡張現実空間を認識することができる。
さらに、合格画像２２１の近傍に、合格画像であることを示す情報２２２として「ＯＫ」の文字が表示され、ＮＧ画像２２３の近傍に、不合格画像であることを示す情報２２４として「ＮＧ」の文字が表示される。なお、合格画像、不合格画像であることを示す情報は、多国の検査者が容易に把握可能なものが好ましい。例えば、丸とバツ等の記号であってもよい。
さらに、ＡＲ表示装置１００は、表示部１０５における合格画像及び不合格画像それぞれを予め定められた表示位置に表示することが好ましい。これにより、検査者は、合格画像又は不合格画像であることを示す情報２２２，２２４を確認することなく、表示位置から合格画像であるのか不合格画像であるのかを特定することができる。本実施形態に係るＡＲ表示装置１００は、合格画像を表示部１０５の左側に表示し、不合格画像を表示部１０５の右側に表示するものとする。また、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１０３において、合格画像及び不合格画像のうち一方のみを受信した場合には、Ｓ１０４において、受信した画像（合格画像又は不合格画像）のみを表示するものとする。
ＡＲ表示装置１００のＣＰＵ１０１はさらに、合格画像２２１に隣接して「１／３」と表示する。ここで、分母「３」は、Ｓ１０３において受信した合格画像の総数であり、分子「１」は、表示中の合格画像２２１の識別番号である。ＡＲ表示装置１００のＣＰＵ１０１はまた、不合格画像２２２に隣接して、同様に「１／４」と表示する。
ＡＲ表示装置１００のＣＰＵ１０１は、さらに検査者からの指示に応じて、表示部１０５に表示する画像を切り替えることができる。例えば、検査者が「合格画像変更」と発話すると、ＡＲ表示装置１００のＣＰＵ１０１は、合格画像の表示切替指示を受け付ける。そして、ＡＲ表示装置１００のＣＰＵ１０１は、表示中の合格画像に替えて、受信した他の合格画像を表示する。同様に、検査者が「不合格画像変更」と発話すると、ＡＲ表示装置１００のＣＰＵ１０１は、不合格画像の表示切替指示を受け付け、表示中の不合格画像に替えて、受信した他の不合格画像を表示する。このように、ＡＲ表示装置１００のＣＰＵ１０１は、表示切替指示を受け付ける度に、表示画像を切り替えることにより、受信した合格画像及び不合格画像を順に表示することができる。ここで、Ｓ１０４の処理は、管理装置１１０から受信した画像を表示する表示処理の一例である。
なお、表示部１０５に同時に表示する画像の数は実施形態に限定されるものではない。他の例としては、表示部１０５の左側及び右側にそれぞれ合格画像及び不合格画像を３つずつ表示し、表示切替指示を受け付ける度に、表示中の３つの画像に替えて、次の３つの画像を表示してもよい。
なお、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１０３において、参照画像の受信を契機に、管理装置１１０から受信した参照画像を表示することとしたが、これに限定されるものではない。他の例としては、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１０３において参照画像を受信し、かつ検査者から、参照画像の表示指示を受け付けた場合に、参照画像を表示することとしてもよい。
検査者は、こうして、表示部１０５に合格画像及び不合格画像を表示させ、表示中の画像と、現実空間に存在する検査対象物とを比較する。そして、検査者は、特に似ている画像がある場合には、似ている画像の選択指示を入力する。例えば、検査者は、検査対象物を、表示中の合格画像と比較したいと考えた場合には、「合格画像選択」と発話する。このとき、ＡＲ表示装置１００のＣＰＵ１０１は、マイク１０６に入力された、この音声に対し音声認識処理を行い、認識結果に応じて、表示中の合格画像の選択指示を受け付けたと判断する。同様に、ＡＲ表示装置１００のＣＰＵ１０１は、表示中の不合格画像の選択指示を受け付けることもできる。
これに対し、Ｓ１０５において、ＡＲ表示装置１００のＣＰＵ１０１は、選択指示を受け付けた場合には（Ｓ１０５でＹｅｓ）、処理をＳ１０６へ進める。ＡＲ表示装置１００のＣＰＵ１０１は、選択指示を受け付けなかった場合には（Ｓ１０５でＮｏ）、処理をＳ１１４へ進める。ここで、Ｓ１０５の処理は、表示部１０５が表示中の画像のうち一の画像の選択指示を受け付ける受付処理の一例である。
Ｓ１０６において、ＡＲ表示装置１００のＣＰＵ１０１は、選択指示に係る画像（合格画像又は不合格画像）を拡大して表示し、その後処理をＳ１０７へ進める。
図８Ａは、合格画像の拡大表示例を示す図である。合格画像２３１は、表示部１０５の左側に表示される。また、図８Ｂは、不合格画像の拡大表示例を示す図である。不合格画像２３２は、表示部１０５の右側に表示される。ＡＲ表示装置１００のＣＰＵ１０１はさらに、検査者から変倍指示を受け付け、変倍指示に応じて、合格画像２３１又は不合格画像２３２を拡大、縮小することができる。これにより、合格画像２３１及び不合格画像２３２の表示サイズを、例えば実空間の検査対象物２０１を検査者が視認するサイズと同じサイズに調整することができる。さらに、検査者は、視線を移動することにより、検査対象物２０１の隣に、合格画像２３１又は不合格画像２３２を表示させることができる。さらに、ＡＲ表示装置１００のＣＰＵ１０１は、検査者からの指示に従い、合格画像２３１または不合格画像２３２の表示位置を変更することができる。これにより、上記と同様に、検査対象物２０１の隣に、合格画像２３１又は不合格画像２３２を表示させることができる。このように、検査者は、実際の検査対象物と、合格画像２３１又は不合格画像２３２と、を、視線を動かすことなく、比較することができるため、より正確に合格不合格の判定を行うことができる。
しかしながら、検査対象物が、表示部１０５に表示されるいずれの合格画像及び不合格画像にも類似していないような場合等、検査者が表示された画像を参照してもなお、合格不合格の判定に悩む場合がある。このような場合には、検査者は、例えば「判定依頼」と発話する。これに対し、ＡＲ表示装置１００のＣＰＵ１０１は、マイク１０６に入力された検査者の音声に対し音声認識処理を行い、認識結果から判定依頼指示を受け付けたと判断する。
これに対し、Ｓ１０７において、ＡＲ表示装置１００のＣＰＵ１０１は、判定依頼指示を受け付けたか否かを確認する。ＡＲ表示装置１００のＣＰＵ１０１は、判定依頼指示を受け付けた場合には（Ｓ１０７でＹｅｓ）、処理をＳ１０８へ進める。ＡＲ表示装置１００のＣＰＵ１０１は、判定依頼指示を受け付けなかった場合には（Ｓ１０７でＮｏ）、処理をＳ１１６へ進める。ここで、Ｓ１０７の処理は、判定依頼指示を受け付ける受付処理の一例である。Ｓ１０８において、ＡＲ表示装置１００のＣＰＵ１０１は、撮影制御処理を行う。本処理は、Ｓ１０６における撮影制御処理と同様に、画像を撮影し、記憶部に格納する処理である。次に、Ｓ１０９において、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１０８において得られた撮影画像をＳ１００において選択された検査項目に対応付けてＰＣ１２０に送信する。なお、他の例としては、Ｓ１０９において、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１０６において得られた撮影画像を送信することとしてもよい。この場合には、Ｓ１０８の処理は省略することができる。
ＰＣ１２０のＣＰＵ１１１は、Ｓ１０９において、撮影画像と検査項目とを受信すると、処理をＳ１１０へ進める。Ｓ１１０において、ＰＣ１２０のＣＰＵ１１１は、受信した撮影画像を検査項目と共に表示部１１５に表示する。このとき、ＰＣ１２０の使用者である検査者の上司等は、表示部１１５に表示された撮影画像を確認し、合格又は不合格を判定し、入力部１１６を介して判定結果を入力する。ここで、ＰＣ１２０は、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する装置であればよい。他の例としては、ＰＣ１２０は、検査工程における判断基準の管理者や、最終検査工程全体の管理者等が使用する装置であってもよい。
ＰＣ１２０の処理に対し、Ｓ１１１において、ＰＣ１２０のＣＰＵ１１１は、判定結果の入力を受け付ける。次に、Ｓ１１２において、ＰＣ１２０のＣＰＵ１１１は、通信Ｉ／Ｆ１１４を介して、ＡＲ表示装置１００に判定結果を送信する。これに対し、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１１２において、判定結果を受信すると、処理をＳ１１３へ進める。Ｓ１１３において、ＡＲ表示装置１００のＣＰＵ１０１は、判定結果を表示部１０５に表示する。これにより、検査者は、自身で判断できないような検査対象物に対しても、迅速に、正しい検査結果を得ることができる。なお、ＡＲ表示装置１００のＣＰＵ１０１は、検査者からの指示に従い、適宜判定結果の表示を終了する。
次に、Ｓ１１４において、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１０８において得られた撮影画像の画像登録指示を管理装置１１０に送信し、その後処理をＳ１１６へ進める。ここで、画像登録指示には、撮影画像の他、検査項目、Ｓ１１２において受信した判定結果が含まれているものとする。管理装置１１０のＣＰＵ１１１は、画像登録指示を受信すると、処理をＳ１１５へ進める。Ｓ１１５において、管理装置１１０のＣＰＵ１１１は、画像登録指示に係る撮影画像を、画像登録指示に係る検査項目に対応付けて、参照画像ＤＢ１１８に登録する。
なお、他の例としては、ＡＲ表示装置１００のＣＰＵ１０１は、判定結果を受信し、かつ検査者から、画像登録指示を受け付けた場合に、Ｓ１１４及びＳ１１５の処理を実行し、画像の登録を行うこととしてもよい。
また、ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１１６において、検査者により入力された判定結果を受け付ける。次に、Ｓ１１７において、ＡＲ表示装置１００のＣＰＵ１０１は、判定結果を管理装置１１０に送信する。管理装置１１０は、判定結果を受信すると、Ｓ１１８において、判定結果を検査項目に対応付けて記録する。次に、Ｓ１１８において、管理装置１１０は、判定結果をＨＤＤ１１７等の記憶部に記録する。
なお、ＡＲ表示装置１００は、Ｓ１１４において、撮影画像を送信している場合には、Ｓ１１４にて送信した撮影画像の識別情報を判定結果と共に送信するものとする。管理装置１１０は、識別情報と判定結果とを受信した場合には、参照画像ＤＢ１１８において、識別情報により識別される撮影画像を特定する。そして、管理装置１１０は、判定結果、すなわち合格画像又は不合格画像であることを示す情報を、特定した撮影画像に対応付けて、参照画像ＤＢ１１８に記録する。
ＡＲ表示装置１００のＣＰＵ１０１は、Ｓ１１７の処理の後、Ｓ１１９において、ユーザによる発話に応じて、参照画像の表示終了指示を受け付けたか否かを確認する。ＡＲ表示装置１００のＣＰＵ１０１は、表示終了指示を受け付けなかった場合には（Ｓ１１９でＮｏ）、処理をＳ１０４へ進める。なお、他の例としては、ＡＲ表示装置１００のＣＰＵ１０１は、表示終了指示を受け付けなかった場合には（Ｓ１１９でＮｏ）、処理をＳ１０１へ進めることとしてもよい。これにより、より新しい状態の参照画像ＤＢ１１８を参照することができる。一方で、ＡＲ表示装置１００のＣＰＵ１０１は、表示終了指示を受け付けた場合には（Ｓ１１９でＹｅｓ）、処理を終了する。
このように、本実施形態に係るＡＲ表示装置１００は、現実空間に存在する検査対象物に重畳して、合格画像と不合格画像とを表示する。このため、検査者は、検査対象物の判定を行う際に、実際の合格品及び不合格品の画像を見て、検査対象物の合格不合格の判定を行うことができる。このように、本実施形態に係るＡＲ表示システムを用いた検査工程においては、合否の判定に曖昧さが含まれ得る文字に替えて画像（合格画像及び不合格画像）を、検査の判定基準として用いることができる。このため、検査者は、より簡単かつ正確に検査対象物の判定（検査）を行うことができる。このように、本実施形態に係るＡＲ表示システムは、検査者の目視による検査の検査精度の向上に繋がる支援を行うことができる。
また、従来は、検査者が合否の判定に迷う場合、主観で判定して結果を入力しており、適切な判定が行われないこともあった。そのような場合であっても、必ずしも検査の判定基準が更新されるわけではなく、次に同じような検査対象を検査することになった際、適切でない判定が繰り返されることがあった。これに対し、本実施形態に係るＡＲ表示システムを用いた検査工程においては、判定基準を即時に更新することができるようになる。このため、次に同じような検査対象を検査することになった場合、検査者は、客観的な判定基準に基づいて判定することができるため、適切でない判定が繰り返されることを防止することができる。また、検査の判定基準を更新する場合、管理者等が手作業でマニュアルに記載された判定基準を書き替える必要があった。さらに、同じ検査が複数国の工場で行われる場合には、各国の言語への翻訳作業も必要であった。これに対し、上述のように、本実施形態に係るＡＲ表示システムを用いた検査工程においては、参照画像が判定基準として用いられ、新たな参照画像が自動的に蓄積されることにより、判定基準が更新される。また、表示される合格画像及び不合格画像についても、両者を区別するための識別情報を丸とバツ等、多国で共通の記号や文字で表示することができる。したがって、管理者等による手作業での判定基準の更新を不要とし、さらに更新時の翻訳作業も不要とすることができる。
次に、本実施形態に係るＡＲ表示システムの第１の変更例について説明する。両手が自由になるという観点から、ＡＲ表示装置１００は、本実施形態において説明したような眼鏡型や、ヘッドマウントディスプレイのような頭部装着型等、装着型の装置であることが好ましい。ただし、ＡＲ表示装置１００は、装着型に限定されるものではない。例えば、検査時の視線移動が少ないようなケースにおいては、ＡＲ表示装置１００は、例えば検査者の視線方向の位置であり、検査者と検査対象物の間の位置に検査対象物を透過して表示するように設置されてもよい。また、他の例としては、ＡＲ表示装置１００は、携帯型であってもよい。
また、第２の変更例としては、ＡＲ表示装置１００は、光学透過型の表示装置に限定されるものではない。他の例としては、ビデオ透過型の表示装置であってもよい。この場合、ＡＲ表示装置１００のＣＰＵ１０１は、図５に示す処理の開始時に、撮影部１０７を制御して検査対象物の画像を撮影し、撮影画像としての、現実空間の映像を表示部１０５に表示する。そして、Ｓ１０４において、ＡＲ表示装置１００のＣＰＵ１０１は、表示部１０５に表示中の、現実空間の検査対象物の映像に重畳して、合格画像及び不合格画像を重畳表示するものとする。また、Ｓ１０６において、ＡＲ表示装置１００のＣＰＵ１０１は、現実空間の検査対象物に替えて、表示部１０５に表示中の現実空間の映像中の検査対象物の画像に重畳して、重畳表示指示に係る画像を表示するものとする。
第３の変更例について説明する。本実施形態に係るＡＲ表示装置１００は、２Ｄ画像を表示するものであったが、これに替えて３Ｄ画像を表示するものであってもよい。この場合、ＡＲ表示装置１００は、右目及び左目に対応する位置に２つの表示部を有し、各表示部に３Ｄ画像を実現するような画像を表示すればよい。
また、第４の変更例としては、ＡＲ表示装置１００は、実行され得るすべての検査項目に対応する参照画像を予めＲＯＭ１０２等の記憶部に記憶していてもよい。そして、ＡＲ表示装置１００は、図５に示すＳ１００において検査項目の選択指示を受け付けた場合に、Ｓ１０４において、記憶部に記憶されている参照画像の中から、選択指示に係る参照画像を読み出し（読出処理）、読み出した照画像を表示する。すなわち、この場合には、Ｓ１０１〜Ｓ１０３の処理は不要である。さらに、ＡＲ表示装置１００は、定期的に管理装置１１０に更新分の画像取得要求を送信し、管理装置１１０から更新分の参照画像(追加分の参照画像)を受信し、記憶部に格納してもよい。
なお、前回送った参照画像を特定すべく、例えば、ＡＲ表示装置１００は、参照画像を受信する度に、受信日時を記録しておき、前回の受信日時の情報を含んだ、更新分の画像取得要求を送信することとする。また、他の例としては、管理装置１１０がＡＲ表示装置１００に更新分の参照画像を送信した送信日時を記録しておくこととしてもよい。
なお、ＡＲ表示装置１００が、変更分の参照画像を受信するタイミングは特に限定されるものではない。ＡＲ表示装置１００は、他の例としては、図５のＳ１００において選択指示を受け付けたタイミングにおいて、更新分の参照画像を受信することとしてもよい。
また、第５の変更例としては、ＡＲ表示装置１００は、検査者からの検査項目の選択指示の入力に応じて検査を進める（図５のＳ１００）のに替えて、自動的に検査を進めてもよい。例えば、ＡＲ表示装置１００は、スペックシートに対応する検査情報をＨＤＤ１１７等に予め記憶しておく。ここで、検査情報は、検査項目と、各検査項目の検査順とを示す情報である。
そして、検査者は、検査開始時に検査開始の指示を入力する。これに対応し、ＡＲ表示装置１００は、検査情報に示される１番目の検査項目を特定し、１番目の検査項目を含む画像取得要求を管理装置１１０に送信することにより、１番目の検査項目の参照画像を受信し、これを表示する。その後、検査者は、１番目の検査が終了した時点で、検査終了の指示を入力する。ＡＲ表示装置１００は、検査終了の指示を受け付けると、検査情報を参照し、検査対象を次の検査項目に進める。そして、ＡＲ表示装置１００は、２番目の検査項目を含む画像取得要求を管理装置１１０に送信することにより、対応する参照画像を受信し、これを表示する。以降同様の処理を繰り返せばよい。
また、第６の変更例としては、ＡＲ表示装置１００は、図５のＳ１０４において、表示部１０５に参照画像を表示する際の参照画像の配置は実施形態に限定されるものではない。例えば、ＡＲ表示装置１００は、図９に示すように、表示部１０５の右側に複数の不合格画像を表示してもよい。また、他の例としては、Ｓ１０４において、図８Ａ、図８Ｂに示したように、表示部１０５に合格画像２３１のみ、又は不合格画像２３２のみを表示してもよい。なお、この場合も、図７を参照しつつ説明したのと同様に、総数と、表示中の画像の識別番号とを分数形式で表示してもよい。
また、第７の変更例としては、ＡＲ表示装置１００は、図５のＳ１０６において、検査者からの指示を受け付けることなく、自動的に選択指示に係る画像のサイズ調整及び表示位置の調整を行ってもよい。具体的には、ＡＲ表示装置１００のＣＰＵ１０１は、まず撮影部１０７を制御して撮影画像を取得する。そして、ＣＰＵ１０１は、撮影画像に対して画像認識を行い、検査対象物の画像を抽出し（画像認識処理）、検査対象物の画像の撮影画像中での位置と大きさを特定する。ＡＲ表示装置１００のＣＰＵ１０１は、さらに撮影方向と視線方向の関係と、検査対象物の撮影画像中の位置及び大きさと、に基づいて、選択指示に係る画像の表示位置及び表示サイズを決定する。
ここで、表示位置は、検査対象物に隣接する位置とする。そして、ＡＲ表示装置１００のＣＰＵ１０１は、決定した表示位置に、決定した表示サイズで選択指示に係る画像を表示する。ここで、隣接する位置とは、表示部１０５内において検査者が把握する検査対象物の位置と前記表示位置との間の距離が所定の長さとなるような位置であり、さらに好ましくは、検査対象物と画像とが重ならないような位置であるものとする。また、隣接する位置は、表示部１０５内において検査者が把握する検査対象物のサイズに応じて定まる位置であってもよい。
また、第８の変更例としては、ＡＲ表示装置１００が合格画像及び不合格画像として表示する画像は静止画に限定されるものではなく、動画であってもよい。また、他の例としては、ＡＲ表示装置１００は、撮影部１０７により撮影された動画からアニメーションを生成し、これを合格画像及び不合格画像として表示してもよい。
また、第９の変更例としては、ＡＲ表示装置１００は、ＰＣ１２０から判定結果を受信した撮影画像だけでなく、検査者が参照画像ＤＢ１１８への登録を希望する撮影画像を、参照画像として、判定結果に対応付けて参照画像ＤＢ１１８に登録してもよい。
また、第１０の変更例としては、ＡＲ表示装置１００は、検査者が判定に悩んだケースに限らず、すべての検査項目について、検査中又は検査終了時に検査対象物の画像を撮影、記録することとしてもよい。これにより、後に品質不良等が生じた場合に、不良の原因を突き止めることができる。例えば、ＡＲ表示装置１００は、参照画像とは別に、検査済み画像として、撮影画像を管理装置１１０に記録することとする。さらに、ＡＲ表示装置１００は、検査結果を検査済み画像に対応付けて記録してもよい。
また、第１１の変更例としては、検査対象は、自動車のエンブレムに限定されるものではなく、例えば、木目調のステアリング・ホイール、バックドアとボディとのチリ（隙間）、コーションラベル（注意書き）、オーナメント（飾り）等であってもよい。また、検査対象は、完成車検査に限定されるものではなく、自動車の組立工程や塗装工程における完成検査等に適用してもよい。また、他の例としては、建築物の検査、プラント・設備・装置の検査等に適用してもよい。
以上、上述した各実施形態によれば、検査者の目視による検査の検査精度の向上に繋がる支援を行うことができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００ ＡＲ表示装置
１１０ 管理装置
１２０ ＰＣ

Claims (13)

  1. 現実空間に重畳して画像を表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムであって、
    前記表示装置は、
    記憶手段から、現実空間に存在する検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を読み出す読出手段と、
    読み出された画像を、光透過型の表示手段を透過する現実空間に重畳して前記表示手段に表示する表示処理手段と、
    前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付手段と、
    前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する撮影制御手段と、
    前記撮影制御手段の制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する第１の送信手段と、
    前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する第１の受信手段と、
    前記撮影画像を前記判定結果と共に、前記管理装置に送信する第２の送信手段と、
    を有し、
    前記表示処理手段は、前記判定結果を表示し、
    前記管理装置は、
    前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録手段と、
    前記判定結果に従い、前記記憶手段に前記追加の合格画像又は不合格画像として登録されている前記撮影画像を、前記合格画像又は前記不合格画像として前記表示装置に送信する送信手段と、
    を有し、
    前記表示処理手段は、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する表示システム。
  2. 前記表示装置は、
    前記管理装置から、前記合格画像及び前記不合格画像のうち少なくとも一方の画像を受信する第２の受信手段と、
    前記第２の受信手段が受信した画像を前記記憶手段に格納する格納手段と、
    を更に有する請求項１に記載の表示システム。
  3. 前記表示装置は、
    前記表示処理手段が表示中の画像のうち一の画像の選択指示を受け付け、さらに、前記選択指示に係る画像に対する変倍指示を受け付ける受付手段を更に有し、
    前記表示処理手段は、前記変倍指示に係る画像を、変倍して表示する請求項１又は２に記載の表示システム。
  4. 前記表示装置は、
    検査項目の選択指示を受け付ける受付手段と、
    前記選択指示に係る検査項目に対応付けられている画像の取得要求を、前記管理装置に送信する第３の送信手段と、
    前記選択指示に係る前記検査項目に対応付けられている前記画像を、前記管理装置から受信する第２の受信手段と、
    を更に有する請求項１に記載の表示システム。
  5. 前記表示装置は、装着型装置である請求項１乃至４何れか１項に記載の表示システム。
  6. 前記表示装置は、携帯型装置である請求項１乃至４何れか１項に記載の表示システム。
  7. 現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムであって、
    前記表示装置は、
    前記現実空間の撮影を制御する第１の撮影制御手段と、
    記憶手段から、検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を読み出す読出手段と、
    読み出された画像を、前記第１の撮影制御手段の制御により得られた撮影画像に重畳してビデオ透過型の表示手段に表示する表示処理手段と、
    前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付手段と、
    前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する第２の撮影制御手段と、
    前記第２の撮影制御手段の制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する第１の送信手段と、
    前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する受信手段と、
    前記撮影画像を前記判定結果と共に、前記管理装置に送信する第２の送信手段と、
    を有し、
    前記表示処理手段は、前記判定結果を表示し、
    前記管理装置は、
    前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録手段と、
    前記判定結果に従い、前記記憶手段に前記追加の合格画像又は不合格画像として登録されている前記撮影画像を、前記合格画像又は前記不合格画像として前記表示装置に送信する送信手段と、
    を有し、
    前記表示処理手段は、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する表示システム。
  8. 現実空間に重畳して画像を表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムにおける情報処理方法であって、
    前記表示装置が、記憶手段から、現実空間に存在する検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を読み出す読出ステップと、
    前記表示装置が、読み出された画像を、光透過型の表示手段を透過する現実空間に重畳して前記表示手段に表示する第１の表示処理ステップと、
    前記表示装置が、前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付ステップと、
    前記表示装置が、前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する撮影制御ステップと、
    前記表示装置が、前記撮影制御ステップでの制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する第１の送信ステップと、
    前記表示装置が、前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する受信ステップと、
    前記表示装置が、前記表示手段に、前記判定結果を表示する第２の表示処理ステップと、
    前記表示装置が、前記撮影画像を前記判定結果と共に、前記管理装置に送信する第２の送信ステップと、
    前記管理装置が、前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録ステップと、
    前記管理装置が、前記判定結果に従い、前記記憶手段に前記追加の合格画像又は不合格画像として登録されている前記撮影画像を、前記合格画像又は前記不合格画像として前記表示装置に送信する第３の送信ステップと、
    前記表示装置が、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する第３の表示処理ステップと、
    を含む情報処理方法。
  9. 現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムにおける情報処理方法であって、
    前記表示装置が、前記現実空間の撮影を制御する第１の撮影制御ステップと、
    前記表示装置が、記憶手段から、検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を読み出す読出ステップと、
    前記表示装置が、読み出された画像を、前記第１の撮影制御ステップでの制御により得られた撮影画像に重畳してビデオ透過型の表示手段に表示する第１の表示処理ステップと、
    前記表示装置が、前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付ステップと、
    前記表示装置が、前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する第２の撮影制御ステップと、
    前記表示装置が、前記第２の撮影制御ステップでの制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する第１の送信ステップと、
    前記表示装置が、前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する受信ステップと、
    前記表示装置が、前記表示手段に、前記判定結果を表示する第２の表示処理ステップと、
    前記表示装置が、前記撮影画像を前記判定結果と共に、前記管理装置に送信する第２の送信ステップと、
    前記管理装置が、前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録ステップと、
    前記管理装置が、前記判定結果に従い、前記記憶手段に前記追加の合格画像又は不合格画像として登録されている前記撮影画像を、前記合格画像又は前記不合格画像として前記表示装置に送信する第３の送信ステップと、
    前記表示装置が、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する第３の表示処理ステップと、
    を含む情報処理方法。
  10. 現実空間に重畳して画像を表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムであって、
    前記表示装置は、
    現実空間に存在する検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を、光透過型の表示手段を透過する現実空間に重畳して前記表示手段に表示する表示処理手段と、
    前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付手段と、
    前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する撮影制御手段と、
    前記撮影制御手段の制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する送信手段と、
    前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する受信手段と、
    を有し、
    前記表示処理手段は、前記判定結果を表示し、
    前記管理装置は、
    前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録手段と、
    を有し、
    前記表示処理手段は、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する表示システム。
  11. 現実空間に重畳して画像を表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムにおける情報処理方法であって、
    前記表示装置が、現実空間に存在する検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を、光透過型の表示手段を透過する現実空間に重畳して前記表示手段に表示する第１の表示処理ステップと、
    前記表示装置が、前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付ステップと、
    前記表示装置が、前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する撮影制御ステップと、
    前記表示装置が、前記撮影制御ステップでの制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する送信ステップと、
    前記表示装置が、前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する受信ステップと、
    前記表示装置が、前記表示手段に、前記判定結果を表示する第２の表示処理ステップと、
    前記管理装置が、前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録ステップと、
    前記表示装置が、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する第３の表示処理ステップと、
    を含む情報処理方法。
  12. 現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムであって、
    前記表示装置は、
    前記現実空間の撮影を制御する第１の撮影制御手段と、
    検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を、前記第１の撮影制御手段の制御により得られた撮影画像に重畳してビデオ透過型の表示手段に表示する表示処理手段と、
    前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付手段と、
    前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する第２の撮影制御手段と、
    前記第２の撮影制御手段の制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する第１の送信手段と、
    前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する受信手段と、
    を有し、
    前記表示処理手段は、前記判定結果を表示し、
    前記管理装置は、
    前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録手段と、
    を有し、
    前記表示処理手段は、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する表示システム。
  13. 現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置と、前記表示装置が表示する画像を管理する管理装置とを有する表示システムにおける情報処理方法であって、
    前記表示装置が、前記現実空間の撮影を制御する第１の撮影制御ステップと、
    前記表示装置が、検査対象物に対する合格画像及び不合格画像のうち少なくとも一方を、前記第１の撮影制御ステップでの制御により得られた撮影画像に重畳してビデオ透過型の表示手段に表示する第１の表示処理ステップと、
    前記表示装置が、前記現実空間の前記検査対象物の判定依頼指示を受け付ける受付ステップと、
    前記表示装置が、前記判定依頼指示を受け付けた場合に、前記検査対象物の撮影を制御する第２の撮影制御ステップと、
    前記表示装置が、前記第２の撮影制御ステップでの制御により得られた撮影画像を、検査に対し正しい判断を下すことができる人物として予め定められた人物が使用する外部装置に送信する第１の送信ステップと、
    前記表示装置が、前記外部装置から前記予め定められた人物による前記撮影画像に対する合格又は不合格の判定結果を受信する受信ステップと、
    前記表示装置が、前記表示手段に、前記判定結果を表示する第２の表示処理ステップと、
    前記管理装置が、前記判定依頼指示に対する前記外部装置での前記判定結果と前記撮影画像とを受信した場合、前記判定結果に対応付けて前記撮影画像を追加の合格画像又は不合格画像として記憶手段に登録する登録ステップと、
    前記表示装置が、前記追加の合格画像又は不合格画像として前記撮影画像が前記記憶手段に登録された後、前記撮影画像に対応する検査対象物の検査の際に、前記管理装置から受信した前記撮影画像を前記表示手段に表示する第３の表示処理ステップと、
    を含む情報処理方法。
JP2017119626A 2015-08-21 2017-06-19 表示システム及び情報処理方法 Active JP6279131B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015163825 2015-08-21
JP2015163825 2015-08-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016567690A Division JP6165362B1 (ja) 2015-08-21 2016-06-27 表示システム、表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017182838A JP2017182838A (ja) 2017-10-05
JP6279131B2 true JP6279131B2 (ja) 2018-02-14

Family

ID=58099780

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016567690A Active JP6165362B1 (ja) 2015-08-21 2016-06-27 表示システム、表示装置、表示方法及びプログラム
JP2017119626A Active JP6279131B2 (ja) 2015-08-21 2017-06-19 表示システム及び情報処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016567690A Active JP6165362B1 (ja) 2015-08-21 2016-06-27 表示システム、表示装置、表示方法及びプログラム

Country Status (5)

Country Link
US (1) US10539509B2 (ja)
JP (2) JP6165362B1 (ja)
CN (1) CN107850550B (ja)
MY (2) MY201893A (ja)
WO (1) WO2017033561A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150070A1 (en) * 2016-11-29 2018-05-31 Caterpillar Inc. Portable inspection and control device
FR3073046B1 (fr) * 2017-10-27 2019-11-15 Pfeiffer Vacuum Module de detection de fuites et procede de controle de l'etancheite d'un objet a tester par gaz traceur
JP6729607B2 (ja) * 2018-01-11 2020-07-22 株式会社デンソー 設置位置情報提供装置及び設置位置情報提供方法
FR3080915B1 (fr) * 2018-05-02 2020-05-08 Pfeiffer Vacuum Module de detection de fuites et procede de controle de l etancheite d un objet a tester par gaz traceur
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
WO2020066711A1 (ja) * 2018-09-26 2020-04-02 パナソニックＩｐマネジメント株式会社 内装材検査システム、及び、内装材検査方法
CN109584226B (zh) * 2018-11-26 2021-02-05 浙江瑞度新材料科技有限公司 一种质检系统以及方法
RU2739901C1 (ru) * 2019-07-23 2020-12-29 Публичное акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королёва" Мобильное устройство визуализации контроля технологического процесса с применением технологии дополненной реальности
US11624713B2 (en) * 2019-12-04 2023-04-11 Ford Global Technologies, Llc Flexible inspection system
JP2021096185A (ja) * 2019-12-18 2021-06-24 日本信号株式会社 検査システム
CN113282778A (zh) * 2020-02-20 2021-08-20 青岛海尔工业智能研究院有限公司 一种品质异常记录方法、装置、ar设备、系统及介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4281139B2 (ja) 1999-02-09 2009-06-17 ソニー株式会社 位置認識装置、位置認識方法及び仮想画像立体合成装置
JP2003338700A (ja) 2002-05-21 2003-11-28 Hitachi Giken Co Ltd 工業製品のリペア支援装置
JP2004184095A (ja) * 2002-11-29 2004-07-02 Mitsubishi Heavy Ind Ltd 検査支援装置
ES2237256B1 (es) * 2003-01-13 2006-02-01 Servicios Tecnologicos Para La Peritacion, S.L. Sistema de peritaje virtual.
JP4243500B2 (ja) 2003-03-12 2009-03-25 日本Ｃｍｏ株式会社 ディスプレイパネルの欠陥検査システム
JP4599980B2 (ja) 2003-10-15 2010-12-15 パナソニック株式会社 多層配線構造の不良解析方法および不良解析装置
US7502068B2 (en) * 2004-06-22 2009-03-10 International Business Machines Corporation Sensor for imaging inside equipment
JP2006337235A (ja) * 2005-06-03 2006-12-14 Toppan Printing Co Ltd 目視検査支援システムおよび目視検査支援装置
JP2007309729A (ja) * 2006-05-17 2007-11-29 Matsushita Electric Ind Co Ltd プレス加工品の外観検査方法とそれに用いる外観検査装置
US8224020B2 (en) 2007-11-29 2012-07-17 Kabushiki Kaisha Toshiba Appearance inspection apparatus, appearance inspection system, and appearance inspection appearance
JP5537008B2 (ja) * 2007-11-29 2014-07-02 株式会社東芝 外観検査装置
JP4888792B2 (ja) 2008-07-18 2012-02-29 Ｎｅｃアクセステクニカ株式会社 検査工程管理システム
JP4913913B2 (ja) 2010-04-28 2012-04-11 新日鉄ソリューションズ株式会社 情報処理システム、情報処理方法及びプログラム
JP5099182B2 (ja) 2010-06-24 2012-12-12 日本電気株式会社 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
JP5325267B2 (ja) * 2011-07-14 2013-10-23 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5929238B2 (ja) * 2012-01-27 2016-06-01 オムロン株式会社 画像検査方法および画像検査装置
DE102012101310C5 (de) * 2012-02-17 2014-09-04 Stephan Krebs Vorrichtung und Verfahren zur Druckbildkontrolle
US9723251B2 (en) * 2013-04-23 2017-08-01 Jaacob I. SLOTKY Technique for image acquisition and management
JP2015001468A (ja) * 2013-06-17 2015-01-05 株式会社松井製作所 成形品の検査装置
JP5824101B2 (ja) * 2014-04-14 2015-11-25 鹿島建設株式会社 電気機器の検査装置
KR102145542B1 (ko) * 2014-08-14 2020-08-18 삼성전자주식회사 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법

Also Published As

Publication number Publication date
JPWO2017033561A1 (ja) 2017-08-24
US10539509B2 (en) 2020-01-21
MY188596A (en) 2021-12-22
JP2017182838A (ja) 2017-10-05
US20180238810A1 (en) 2018-08-23
MY201893A (en) 2024-03-22
CN107850550A (zh) 2018-03-27
JP6165362B1 (ja) 2017-07-19
WO2017033561A1 (ja) 2017-03-02
CN107850550B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
JP6279131B2 (ja) 表示システム及び情報処理方法
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
CN105874528B (zh) 信息显示终端、信息显示系统以及信息显示方法
JP6105180B1 (ja) 作業支援装置、作業支援方法及びプログラム
EP3009833B1 (de) In-Prozess Fehlerüberprüfung durch erweiterte Realität
US10032297B2 (en) Simulation system, simulation device, and product explanation assistance method
WO2017120363A1 (en) Task management using augmented reality devices
CN105469379A (zh) 视频目标区域遮挡方法和装置
CN113066195A (zh) 电力设备巡检方法、装置、ar眼镜和存储介质
WO2018158815A1 (ja) 点検支援装置、点検支援方法および記録媒体
JP7011569B2 (ja) 熟練度判定システム
US10460155B2 (en) Facial identification techniques
JP6765846B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6536053B2 (ja) 眼鏡レンズ加工用装置、および眼鏡レンズ加工用プログラム
JP7036559B2 (ja) 杭位置検査装置及び杭位置検査方法
JP2020119495A (ja) ウェアラブル検索システム、検索方法、及び、検索プログラム
JP2018181339A (ja) システム、情報処理方法及びプログラム
JP6536052B2 (ja) 眼鏡レンズ加工用システム、およびそれに用いられる眼鏡レンズ加工用端末装置、眼鏡レンズ加工用プログラム
JP6601894B1 (ja) ウェアラブル検索システム、検索方法、及び、検索プログラム
WO2024075817A1 (ja) 表示方法、表示システム
US20200372722A1 (en) Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
JP2024027122A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6503769B2 (ja) 眼鏡レンズ加工用装置、眼鏡レンズ加工用システム、眼鏡レンズ加工プログラム、眼鏡レンズ加工方法、および眼鏡レンズ加工用端末装置
JP2024019208A (ja) 操作支援方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180116

R150 Certificate of patent or registration of utility model

Ref document number: 6279131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250