WO2018179230A1 - ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム - Google Patents

ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム Download PDF

Info

Publication number
WO2018179230A1
WO2018179230A1 PCT/JP2017/013263 JP2017013263W WO2018179230A1 WO 2018179230 A1 WO2018179230 A1 WO 2018179230A1 JP 2017013263 W JP2017013263 W JP 2017013263W WO 2018179230 A1 WO2018179230 A1 WO 2018179230A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
wearable terminal
display
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/013263
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to PCT/JP2017/013263 priority Critical patent/WO2018179230A1/ja
Priority to JP2019508018A priority patent/JP6762470B2/ja
Publication of WO2018179230A1 publication Critical patent/WO2018179230A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics

Definitions

  • the present invention relates to a wearable terminal display system, a wearable terminal display method, and a program for displaying collected inspection items as augmented reality on an inspection target that is visible through the display board on a display board of the wearable terminal.
  • Patent Document 1 has a problem that it cannot collect and display inspection items according to the inspection target on the display board of the wearable terminal.
  • the present invention is directed to a wearable terminal display system that identifies an inspection target from an image of a wearable terminal field of view and displays inspection items collected according to the inspection target as an augmented reality on a display panel of the wearable terminal.
  • An object is to provide a terminal display method and a program.
  • the present invention provides the following solutions.
  • the invention according to the first feature includes: an image acquisition unit that acquires an image of an inspection target that has entered the field of view of the wearable terminal; an identification unit that analyzes the image to identify the inspection target; and Collecting means for collecting the corresponding inspection items, and inspection item display means for displaying the inspection items as augmented reality on the display object of the wearable terminal, with respect to the inspection object seen through the display board, A wearable terminal display system is provided.
  • the invention according to the first aspect includes an image acquisition step of acquiring an image of an inspection target that has entered the field of view of the wearable terminal, a specifying step of performing image analysis on the image to specify the inspection target, and the inspection target.
  • a wearable terminal display method is provided.
  • the invention includes an image acquisition step of acquiring an image of an inspection object that has entered the field of view of the wearable terminal in a computer, an identifying step of analyzing the image and specifying the inspection object, A collection step for collecting inspection items according to the inspection object, and an inspection item display step for displaying the inspection item as an augmented reality for the inspection object that appears through the display board on the display board of the wearable terminal. And provide a program for
  • Inspection items according to the inspection target can be collected and displayed on the display panel of the wearable terminal.
  • FIG. 1 is a schematic diagram of a wearable terminal display system.
  • FIG. 2 is an example in which inspection items corresponding to the inspection target are collected and displayed on the display board of the wearable terminal.
  • the wearable terminal display system of the present invention is a system that displays the collected inspection items as augmented reality on the display board of the wearable terminal with respect to the inspection object that can be seen through the display board.
  • a wearable terminal is a terminal with a field of view such as a smart glass or a head-mounted display. The kind of inspection object is not ask
  • FIG. 1 is a schematic diagram of a wearable terminal display system which is a preferred embodiment of the present invention.
  • the wearable terminal display system includes image acquisition means, identification means, collection means, and inspection item display means, which are realized by a control unit reading a predetermined program.
  • determination means, change means, detection means, action result display means, position / direction acquisition means, estimation means, guideline display means, and selection reception means may be provided. These may be application type, cloud type or others.
  • Each means described above may be realized by a single computer or may be realized by two or more computers (for example, a server and a terminal).
  • the image acquisition means acquires an image to be inspected that has entered the field of view of the wearable terminal. You may acquire the image imaged with the camera of the wearable terminal. Or even if it is other than a wearable terminal, as long as such an image can be acquired, it does not matter.
  • the image may be a moving image or a still image. Real-time images are preferred for real-time inspection.
  • the specifying means specifies the inspection object by analyzing the image. Since the type of the inspection target is not limited, what the inspection target is is specified by image analysis. Examples include equipment repair inspection, building maintenance inspection, and crop sorting inspection. In addition, if it takes time to specify all the reflected objects, the object in the center of the field of view of the wearable terminal may be specified as the inspection object. By specifying only the object in the center of the field of view as the inspection object, the time required for the identification can be greatly reduced.
  • the accuracy of image analysis may be improved by machine learning. For example, machine learning is performed using a past image to be inspected as teacher data.
  • the collection means collects inspection items according to the inspection target.
  • the inspection items corresponding to the inspection object may be collected with reference to a database in which the inspection items are registered in advance. For example, if it is a scheduled inspection, inspection items can be prepared in the database, so that it can be collected by referring to the database.
  • inspection items may be collected by accessing Web contents linked in advance to the inspection target.
  • the URL can be collected from the Web content by assigning a URL that links the inspection target and the inspection item.
  • inspection items may be collected from Web content searched by searching the Internet for inspection targets. For example, in the case of equipment repair inspection, there are cases where inspection items are posted on the homepage of a company that sells equipment, and can be collected from an Internet search.
  • the inspection item display means displays the inspection item as an augmented reality on the display board of the wearable terminal with respect to the inspection object that can be seen through the display board.
  • an inspection item drawn with a broken line is displayed as an augmented reality on the display board of the wearable terminal with respect to an inspection object drawn with a solid line that can be seen through the display board.
  • the solid line is the real thing
  • the broken line is the augmented reality.
  • the determination means determines whether the displayed inspection item has been inspected. It may be determined whether the inspection item has been inspected by acquiring an image under inspection and performing image analysis. Moreover, you may determine whether an inspection item was test
  • the changing means changes the inspection item determined to be inspected to inspected, and changes the degree of attention so that the inspection item determined not to be inspected is inspected. In this way, it is possible to visually grasp which inspection item has been inspected or not inspected. For example, checking the check box of the inspection item is very good.
  • the inspection item may be inspected by pressing a stamp.
  • the attention level may be changed by changing the color / size of the inspection item or by pressing a stamp so that the inspection item is conspicuous.
  • Detecting means detects an action for the displayed inspection item.
  • An action for an inspection item can be detected by acquiring an image under inspection and performing image analysis. Further, the action for the inspection item can be detected from the sensor information of the wearable terminal or the sensor information attached to the inspector.
  • the action result display means displays the result corresponding to the action as an augmented reality on the display board of the wearable terminal with respect to the inspection object that can be seen through the display board. For example, when an action for deleting an inspection item is detected, the display of the inspection item may be deleted. For example, the link may be opened when an action for opening the link attached to the inspection eye is detected. Of course, other actions are possible.
  • the position direction means acquires the terminal position and the imaging direction of the wearable terminal.
  • the terminal position can be acquired from the GPS (Global Positioning System) of the wearable terminal.
  • the imaging direction can be acquired from a geomagnetic sensor or an acceleration sensor of the wearable terminal when imaging is performed with the wearable terminal. You may acquire from other than these.
  • the estimation means estimates the target position to be inspected based on the terminal position and the imaging direction. If the terminal position and the imaging direction are known, the imaged position of the inspection object can be estimated.
  • the specifying means may specify the target from the target position and image analysis.
  • an inspection object of the same design or a device of the same model may not be uniquely identified unless the position of the object is estimated.
  • it is possible to identify the device type from the target position by specifying the device model from the image analysis.
  • the guideline display means displays the guideline for imaging the inspection object as augmented reality on the display board of the wearable terminal.
  • guidelines such as a frame or a cross may be displayed. Image analysis is facilitated by having images taken along the guidelines.
  • the acquisition unit may acquire an image taken along the guideline.
  • the selection receiving means receives selection of a selection target for an inspection target that is seen through the display board of the wearable terminal.
  • the selection of the selection target may be accepted by looking at the inspection target that is seen through the display board of the wearable terminal for a certain period of time.
  • the selection of the selection target may be received by touching the inspection target that appears through the display board of the wearable terminal.
  • the selection of the selection target may be received by placing the cursor on the inspection target that can be seen through the display board of the wearable terminal.
  • the inspection item display means may display the inspection items as augmented reality on the display board of the wearable terminal only in accordance with the selection target that can be seen through the display board. Since the inspection items are displayed as augmented reality only in accordance with the selected selection target, the inspection items can be pinpointed. If the inspection items are displayed on all specified inspection targets, the screen of the display board may become troublesome.
  • the wearable terminal display method of the present invention is a method of displaying collected inspection items as augmented reality on the display board of the wearable terminal for an inspection object that can be seen through the display board.
  • the wearable terminal display method includes an image acquisition step, a specific step, a collection step, and an inspection item display step. Similarly, a determination step, a change step, a detection step, an action result display step, a position direction acquisition step, an estimation step, a guideline display step, and a selection reception step may be provided.
  • the image acquisition means acquires an image to be inspected that has entered the field of view of the wearable terminal. You may acquire the image imaged with the camera of the wearable terminal. Or even if it is other than a wearable terminal, as long as such an image can be acquired, it does not matter.
  • the image may be a moving image or a still image. Real-time images are preferred for real-time inspection.
  • the specifying means specifies the inspection object by analyzing the image. Since the type of the inspection target is not limited, what the inspection target is is specified by image analysis. Examples include equipment repair inspection, building maintenance inspection, and crop sorting inspection. In addition, if it takes time to specify all the reflected objects, the object in the center of the field of view of the wearable terminal may be specified as the inspection object. By specifying only the object in the center of the field of view as the inspection object, the time required for the identification can be greatly reduced. The accuracy of image analysis may be improved by machine learning. For example, machine learning is performed using a past image to be inspected as teacher data.
  • the collection means collects inspection items according to the inspection object.
  • the inspection items corresponding to the inspection object may be collected with reference to a database in which the inspection items are registered in advance. For example, if it is a scheduled inspection, inspection items can be prepared in the database, so that it can be collected by referring to the database.
  • inspection items may be collected by accessing Web contents linked in advance to the inspection target.
  • the URL can be collected from the Web content by assigning a URL that links the inspection target and the inspection item.
  • inspection items may be collected from Web content searched by searching the Internet for inspection targets. For example, in the case of equipment repair inspection, there are cases where inspection items are posted on the homepage of a company that sells equipment, and can be collected from an Internet search.
  • the inspection item display means displays the inspection item as an augmented reality on the display board of the wearable terminal with respect to the inspection object seen through the display board.
  • an inspection item drawn with a broken line is displayed as an augmented reality on the display board of the wearable terminal with respect to an inspection object drawn with a solid line that can be seen through the display board.
  • the solid line is the real thing
  • the broken line is the augmented reality.
  • the determination means determines whether or not the displayed inspection item has been inspected. It may be determined whether the inspection item has been inspected by acquiring an image under inspection and performing image analysis. Moreover, you may determine whether an inspection item was test
  • the changing means changes the inspection item determined to be inspected to inspected, and changes the degree of attention so that the inspection item determined not to be inspected is inspected. In this way, it is possible to visually grasp which inspection item has been inspected or not inspected. For example, checking the check box of the inspection item is very good.
  • the inspection item may be inspected by pressing a stamp.
  • the attention level may be changed by changing the color / size of the inspection item or by pressing a stamp so that the inspection item is conspicuous.
  • the detection means detects an action for the displayed inspection item.
  • An action for an inspection item can be detected by acquiring an image under inspection and performing image analysis. Further, the action for the inspection item can be detected from the sensor information of the wearable terminal or the sensor information attached to the inspector.
  • the action result display means displays the result according to the action as an augmented reality on the display board of the wearable terminal with respect to the inspection object that can be seen through the display board. For example, when an action for deleting an inspection item is detected, the display of the inspection item may be deleted. For example, the link may be opened when an action for opening the link attached to the inspection eye is detected. Of course, other actions are possible.
  • the position / direction means acquires the terminal position and the imaging direction of the wearable terminal.
  • the terminal position can be acquired from the GPS (Global Positioning System) of the wearable terminal.
  • the imaging direction can be acquired from a geomagnetic sensor or an acceleration sensor of the wearable terminal when imaging is performed with the wearable terminal. You may acquire from other than these.
  • the estimation means estimates the target position to be inspected based on the terminal position and the imaging direction. If the terminal position and the imaging direction are known, the imaged position of the inspection object can be estimated.
  • the specifying unit may specify the target from the target position and the image analysis.
  • an inspection object of the same design or a device of the same model may not be uniquely identified unless the position of the object is estimated.
  • the guideline display means displays the guideline for imaging the inspection object as an augmented reality on the display board of the wearable terminal.
  • guidelines such as a frame or a cross may be displayed. Image analysis is facilitated by having images taken along the guidelines.
  • the acquisition unit may acquire an image captured along the guideline.
  • the inspection object can be identified efficiently.
  • the selection reception unit receives selection of a selection target for an inspection target that is seen through the display board of the wearable terminal.
  • the selection of the selection target may be accepted by looking at the inspection target that is seen through the display board of the wearable terminal for a certain period of time.
  • the selection of the selection target may be received by touching the inspection target that appears through the display board of the wearable terminal.
  • the selection of the selection target may be received by placing the cursor on the inspection target that can be seen through the display board of the wearable terminal.
  • the inspection item display means may display the inspection items as augmented reality on the display board of the wearable terminal only in accordance with the selection target that can be seen through the display board. Since the inspection items are displayed as augmented reality only in accordance with the selected selection target, the inspection items can be pinpointed. If the inspection items are displayed on all specified inspection targets, the screen of the display board may become troublesome.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program may be, for example, an application installed on a computer, or may be in the form of SaaS (software as a service) provided from a computer via a network, for example, a flexible disk, a CD It may be provided in a form recorded on a computer-readable recording medium such as a CD-ROM (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
  • a nearest neighbor method a naive Bayes method, a decision tree, a support vector machine, reinforcement learning, or the like may be used.
  • deep learning may be used in which a characteristic amount for learning is generated by using a neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ウェアラブル端末の視界の画像から検査対象を特定して、検査対象に応じて収集した検査項目をウェアラブル端末の表示板に拡張現実として表示する。 【解決手段】ウェアラブル端末の視界に入った検査対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記検査対象を特定する特定手段と、前記検査対象に応じた検査項目を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記検査項目を拡張現実として表示する検査項目表示手段と、を備えるウェアラブル端末表示システムを提供する。

Description

ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
　本発明は、ウェアラブル端末の表示板に、表示板を透過して見える検査対象に対して、収集された検査項目を拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムに関する。
　近年、スマートグラスやヘッドマウントディスプレイなどのウェアラブル端末が普及し、これらのウェアラブル端末を検査で活用する動きがある。例えば、薬剤監査のために監査と照合とを同時に実行可能な照合検査装置、または、照合先の物品と照合元の注文票や処方箋との直接の照合を実現できる照合検査装置が提供されている（特許文献１）。
特開２０１１－１３４０７９号公報
　しかしながら、特許文献１の装置は、ウェアラブル端末の表示板に、検査対象に応じた検査項目を収集して表示できない問題がある。
　本発明は、上記課題に鑑み、ウェアラブル端末の視界の画像から検査対象を特定して、検査対象に応じて収集した検査項目をウェアラブル端末の表示板に拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、ウェアラブル端末の視界に入った検査対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記検査対象を特定する特定手段と、前記検査対象に応じた検査項目を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記検査項目を拡張現実として表示する検査項目表示手段と、を備えるウェアラブル端末表示システムを提供する。
　第１の特徴に係る発明は、ウェアラブル端末の視界に入った検査対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記検査対象を特定する特定ステップと、前記検査対象に応じた検査項目を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記検査項目を拡張現実として表示する検査項目表示ステップと、を備えるウェアラブル端末表示方法を提供する。
　第１の特徴に係る発明は、コンピュータに、ウェアラブル端末の視界に入った検査対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記検査対象を特定する特定ステップと、前記検査対象に応じた検査項目を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記検査項目を拡張現実として表示する検査項目表示ステップと、をさせるためのプログラムを提供する。
　ウェアラブル端末の表示板に、検査対象に応じた検査項目を収集して表示できる。
図１は、ウェアラブル端末表示システムの概要図である。 図２は、ウェアラブル端末の表示板に検査対象に応じた検査項目を収集して表示した一例である。
　以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　本発明のウェアラブル端末表示システムは、ウェアラブル端末の表示板に、表示板を透過して見える検査対象に対して、収集された検査項目を拡張現実として表示するシステムである。ウェアラブル端末とはスマートグラスやヘッドマウントディスプレイなどの視界がある端末のことである。検査対象の種類は問わない。
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるウェアラブル端末表示システムの概要図である。
　図１にあるように、ウェアラブル端末表示システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、特定手段、収集手段、検査項目表示手段、を備える。また同様に、判定手段、変更手段、検出手段、アクション結果表示手段、位置方向取得手段、推測手段、ガイドライン表示手段、選択受付手段、を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
　画像取得手段は、ウェアラブル端末の視界に入った検査対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに検査するためには、リアルタイムな画像の方が好ましい。
　特定手段は、画像を画像解析して検査対象を特定する。検査対象の種類は問わないので、検査対象が何であるかを画像解析で特定することになる。例えば、機器の修理検査や、ビルの保守検査や、農作物の仕分け検査など、が挙げられる。また、映った対象全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある対象を検査対象として特定してもよい。視界の中央にある対象だけを検査対象として特定することで特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、検査対象の過去画像を教師データとして機械学習を行う。
　収集手段は、検査対象に応じた検査項目を収集する。予め検査項目が登録されたデータベースを参照して検査対象に応じた検査項目を収集してもよい。例えば、予定されていた検査ならばデータベースに検査項目を用意しておくことが可能なのでデータベースを参照して取集できる。また、検査対象に予め紐付けられたＷｅｂコンテンツにアクセスして検査項目を収集してもよい。例えば、検査対象と検査項目とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収取できる。また、検査対象をインターネット検索して検索されたＷｅｂコンテンツから検査項目を収集してもよい。例えば、機器の修理検査の場合、機器を販売している企業のホームページに検査項目が掲載されているケースがあるので、インターネット検索から収集できる。
　検査項目表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える検査対象に対して検査項目を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた検査対象に対して、破線で描かれた検査項目を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた検査対象に対して検査項目を拡張現実で表示することで、検査対象にどのような検査項目があるのかを視覚的に把握することが出来る。拡張現実として表示する検査項目は、表示板を透過して見える検査対象に重なるように表示しても良いが、検査対象が見づらくなるので、検査項目の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
　判定手段は、表示された検査項目が検査されたかどうかを判定する。検査中の画像を取得して画像解析をすることで、検査項目が検査されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、検査者に装着されたセンサ情報などから、検査項目が検査されたかどうかを判定してもよい。
　変更手段は、検査されたと判定された検査項目を検査済に変更し、検査されていないと判定された検査項目を検査されるように注目度を変更する。このようにすることで、どの検査項目が、検査済なのか、未検査なのか、を視覚的に把握できる。例えば、検査項目のチェックボックスにチェックを入れることで検査済とてもよい。例えば、検査項目にスタンプを押すことで検査済としてもよい。また、注目度の変更は、検査項目の色・サイズを変更したり、検査項目が目立つようにスタンプを押して変更したりしてもよい。
　検出手段は、表示された検査項目に対するアクションを検出する。検査中の画像を取得して画像解析をすることで、検査項目に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、検査者に装着されたセンサ情報などから、検査項目に対するアクションを検出できる。
　アクション結果表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える検査対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、検査項目を消すアクションを検出したら検査項目の表示を消してよい。例えば、検査目に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
　位置方向手段は、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
　推測手段は、端末位置と撮像方向とに基づいて、検査対象の対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された検査対象の位置を推測することができる。
　また、特定手段は、対象位置と画像解析とから、前記対象を特定してもよい。例えば、同じデザインの検査対象や、同じ機種の機器などは対象の位置を推測しないと一意的に特定できないことがある。例えば、画像解析から機器の機種を特定して、対象位置からどこに置かれている機器なのかを特定することができる。
　ガイドライン表示手段は、ウェアラブル端末の表示板に、検査対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
　また、取得手段は、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く検査対象を特定できる。
　選択受付手段は、ウェアラブル端末の表示板を透過して見える検査対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える検査対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える検査対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える検査対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。
　また、検査項目表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、検査項目を拡張現実として表示してもよい。選択された選択対象にだけ合わせて検査項目を拡張現実として表示するので、ピンポイントに検査項目を把握することができる。特定された全ての検査対象に検査項目を表示すると表示板の画面が煩わしくなることがある。
[動作の説明]
　次に、ウェアラブル端末表示方法について説明する。本発明のウェアラブル端末表示方法は、ウェアラブル端末の表示板に、表示板を透過して見える検査対象に対して、収集された検査項目を拡張現実として表示する方法である。
　ウェアラブル端末表示方法は、画像取得ステップ、特定ステップ、収集ステップ、検査項目表示ステップ、を備える。また同様に、判定ステップ、変更ステップ、検出ステップ、アクション結果表示ステップ、位置方向取得ステップ、推測ステップ、ガイドライン表示ステップ、選択受付ステップ、を備えてもよい。
　画像取得ステップでは、画像取得手段が、ウェアラブル端末の視界に入った検査対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに検査するためには、リアルタイムな画像の方が好ましい。
　特定ステップでは、特定手段が、画像を画像解析して検査対象を特定する。検査対象の種類は問わないので、検査対象が何であるかを画像解析で特定することになる。例えば、機器の修理検査や、ビルの保守検査や、農作物の仕分け検査など、が挙げられる。また、映った対象全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある対象を検査対象として特定してもよい。視界の中央にある対象だけを検査対象として特定することで特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、検査対象の過去画像を教師データとして機械学習を行う。
　収集ステップでは、収集手段が、検査対象に応じた検査項目を収集する。予め検査項目が登録されたデータベースを参照して検査対象に応じた検査項目を収集してもよい。例えば、予定されていた検査ならばデータベースに検査項目を用意しておくことが可能なのでデータベースを参照して取集できる。また、検査対象に予め紐付けられたＷｅｂコンテンツにアクセスして検査項目を収集してもよい。例えば、検査対象と検査項目とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収取できる。また、検査対象をインターネット検索して検索されたＷｅｂコンテンツから検査項目を収集してもよい。例えば、機器の修理検査の場合、機器を販売している企業のホームページに検査項目が掲載されているケースがあるので、インターネット検索から収集できる。
　検査項目表示ステップでは、検査項目表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える検査対象に対して検査項目を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた検査対象に対して、破線で描かれた検査項目を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた検査対象に対して検査項目を拡張現実で表示することで、検査対象にどのような検査項目があるのかを視覚的に把握することが出来る。拡張現実として表示する検査項目は、表示板を透過して見える検査対象に重なるように表示しても良いが、検査対象が見づらくなるので、検査項目の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
　判定ステップでは、判定手段は、表示された検査項目が検査されたかどうかを判定する。検査中の画像を取得して画像解析をすることで、検査項目が検査されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、検査者に装着されたセンサ情報などから、検査項目が検査されたかどうかを判定してもよい。
　変更ステップでは、変更手段は、検査されたと判定された検査項目を検査済に変更し、検査されていないと判定された検査項目を検査されるように注目度を変更する。このようにすることで、どの検査項目が、検査済なのか、未検査なのか、を視覚的に把握できる。例えば、検査項目のチェックボックスにチェックを入れることで検査済とてもよい。例えば、検査項目にスタンプを押すことで検査済としてもよい。また、注目度の変更は、検査項目の色・サイズを変更したり、検査項目が目立つようにスタンプを押して変更したりしてもよい。
　検出ステップでは、検出手段は、表示された検査項目に対するアクションを検出する。検査中の画像を取得して画像解析をすることで、検査項目に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、検査者に装着されたセンサ情報などから、検査項目に対するアクションを検出できる。
　アクション結果表示ステップでは、アクション結果表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える検査対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、検査項目を消すアクションを検出したら検査項目の表示を消してよい。例えば、検査目に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
　位置方向ステップでは、位置方向手段が、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
　推測ステップでは、推測手段は、端末位置と撮像方向とに基づいて、検査対象の対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された検査対象の位置を推測することができる。
　また、特定ステップでは、特定手段が、対象位置と画像解析とから、前記対象を特定してもよい。例えば、同じデザインの検査対象や、同じ機種の機器などは対象の位置を推測しないと一意的に特定できないことがある。例えば、画像解析から機器の機種を特定して、対象位置からどこに置かれている機器なのかを特定することができる。
　ガイドライン表示ステップでは、ガイドライン表示手段が、ウェアラブル端末の表示板に、検査対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
　また、取得ステップでは、取得手段が、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く検査対象を特定できる。
　選択受付ステップでは、選択受付手段が、ウェアラブル端末の表示板を透過して見える検査対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える検査対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える検査対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える検査対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。
　また、検査項目表示ステップでは、検査項目表示手段が、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、検査項目を拡張現実として表示してもよい。選択された選択対象にだけ合わせて検査項目を拡張現実として表示するので、ピンポイントに検査項目を把握することができる。特定された全ての検査対象に検査項目を表示すると表示板の画面が煩わしくなることがある。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

 

Claims (13)

  1. 　ウェアラブル端末の視界に入った検査対象の画像を取得する画像取得手段と、
    　前記画像を画像解析して、前記検査対象を特定する特定手段と、
    　前記検査対象に応じた検査項目を収集する収集手段と、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記検査項目を拡張現実として表示する検査項目表示手段と、を備えるウェアラブル端末表示システム。
  2. 　前記特定手段は、前記ウェアラブル端末の視界の中央にある対象を、前記検査対象として特定する請求項１に記載のウェアラブル端末表示システム。
  3. 　前記収集手段は、予め検査項目が登録されたデータベースを参照して、前記検査対象に応じた検査項目を収集する請求項１に記載のウェアラブル端末表示システム。
  4. 　前記収集手段は、前記検査対象に予め紐付けられたＷｅｂコンテンツにアクセスして、前記検査項目を収集する請求項１に記載のウェアラブル端末表示システム。
  5. 　前記収集手段は、前記検査対象をインターネット検索して、検索されたＷｅｂコンテンツから前記検査項目を収集する請求項１に記載のウェアラブル端末表示システム。
  6. 　前記表示された検査項目が検査されたかどうかを判定する判定手段と、
    　検査されたと判定された場合に、前記表示された検査項目を検査済みに変更する変更手段と、を備える請求項１に記載のウェアラブル端末表示システム。
  7. 　前記表示された検査項目が検査されたかどうかを判定する判定手段と、
    　検査されていないと判定された場合に、前記表示された検査項目が検査されるように注目度を変更する変更手段と、を備える請求項１に記載のウェアラブル端末表示システム。
  8. 　前記表示された検査項目に対するアクションを検出する検出手段と、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、を備える請求項１に記載のウェアラブル端末表示システム。
  9. 　前記ウェアラブル端末の、端末位置と撮像方向と、を取得する位置方向取得手段と、
    　前記端末位置と前記撮像方向とに基づいて、前記検査対象の対象位置を推測する推測手段と、を備え、
    　前記特定手段は、前記対象位置と前記画像解析とから、前記対象を特定する請求項１に記載のウェアラブル端末表示システム。
  10. 　前記ウェアラブル端末の表示板に、前記検査対象を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
    　前記取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する請求項１に記載のウェアラブル端末表示システム。
  11. 　前記ウェアラブル端末の表示板を透過して見える前記検査対象に対して、選択対象の選択を受け付ける選択受付手段を備え、
    　前記検査項目表示手段は、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記検査項目を拡張現実として表示する請求項１に記載のウェアラブル端末表示システム。
  12. 　ウェアラブル端末の視界に入った検査対象の画像を取得する画像取得ステップと、
    　前記画像を画像解析して、前記検査対象を特定する特定ステップと、
    　前記検査対象に応じた検査項目を収集する収集ステップと、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記検査項目を拡張現実として表示する検査項目表示ステップと、を備えるウェアラブル端末表示方法。
  13. 　コンピュータに、
    　ウェアラブル端末の視界に入った検査対象の画像を取得する画像取得ステップと、
    　前記画像を画像解析して、前記検査対象を特定する特定ステップと、
    　前記検査対象に応じた検査項目を収集する収集ステップと、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記検査対象に対して、前記検査項目を拡張現実として表示する検査項目表示ステップと、を実行させるためのプログラム。
     
PCT/JP2017/013263 2017-03-30 2017-03-30 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム Ceased WO2018179230A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/013263 WO2018179230A1 (ja) 2017-03-30 2017-03-30 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2019508018A JP6762470B2 (ja) 2017-03-30 2017-03-30 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013263 WO2018179230A1 (ja) 2017-03-30 2017-03-30 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2018179230A1 true WO2018179230A1 (ja) 2018-10-04

Family

ID=63677654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013263 Ceased WO2018179230A1 (ja) 2017-03-30 2017-03-30 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6762470B2 (ja)
WO (1) WO2018179230A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2014071663A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP2014119786A (ja) * 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2015176516A (ja) * 2014-03-18 2015-10-05 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
WO2015173882A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 コンテンツ生成方法および管理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP6124543B2 (ja) * 2011-12-26 2017-05-10 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2014071663A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP2014119786A (ja) * 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2015176516A (ja) * 2014-03-18 2015-10-05 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
WO2015173882A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 コンテンツ生成方法および管理装置

Also Published As

Publication number Publication date
JP6762470B2 (ja) 2020-09-30
JPWO2018179230A1 (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
JP6267841B1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US20200184270A1 (en) Automatically tagging images to create labeled dataset for training supervised machine learning models
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
CN110619324A (zh) 一种行人和安全帽检测方法、装置及系统
KR20170028302A (ko) 시선 정보에 기초하는 자극들에 대한 주의의 결정
CN114037934B (zh) 一种工服穿戴行为的识别方法、终端设备和存储介质
US9361513B2 (en) Sorting system using wearable input device
CN114972500A (zh) 查验方法、标注方法、系统、装置、终端、设备及介质
US11335044B2 (en) Display system of a wearable terminal, display method of the wearable terminal, and program
JP6762470B2 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2023043626A (ja) 製品品質検査システム
WO2019003359A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019021446A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2018198320A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2018216220A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP7185535B2 (ja) 検品支援方法、及び検品支援システム
WO2019021447A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2018216221A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN112950329A (zh) 商品动态信息生成方法、装置、设备及计算机可读介质
Harding et al. Blade counting tool with a 3d borescope for turbine applications
EP4459547A1 (en) Method for the analysis of surface defects
KR101554966B1 (ko) 심리 검사 결과를 판독하는 방법, 장치 및 기록매체
JP6343412B1 (ja) 地図連動センサ情報表示システム、地図連動センサ情報表示方法およびプログラム
Teixeira et al. A generative AI framework for digital twin maintenance in dynamic retail environments
CN120352109A (zh) 一种基于图像识别的arhud性能检测方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903360

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508018

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17903360

Country of ref document: EP

Kind code of ref document: A1