JP6822061B2 - 情報処理装置、情報処理方法、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理方法、情報処理システム及びプログラム Download PDF

Info

Publication number
JP6822061B2
JP6822061B2 JP2016207745A JP2016207745A JP6822061B2 JP 6822061 B2 JP6822061 B2 JP 6822061B2 JP 2016207745 A JP2016207745 A JP 2016207745A JP 2016207745 A JP2016207745 A JP 2016207745A JP 6822061 B2 JP6822061 B2 JP 6822061B2
Authority
JP
Japan
Prior art keywords
parts
information
maintenance
threshold value
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016207745A
Other languages
English (en)
Other versions
JP2017097856A (ja
Inventor
豊 柳浦
豊 柳浦
Original Assignee
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015222626 priority Critical
Priority to JP2015222626 priority
Application filed by 株式会社リコー filed Critical 株式会社リコー
Priority claimed from US15/345,466 external-priority patent/US10354231B2/en
Publication of JP2017097856A publication Critical patent/JP2017097856A/ja
Application granted granted Critical
Publication of JP6822061B2 publication Critical patent/JP6822061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

本発明は、情報処理装置、情報処理方法、情報処理システム及びプログラムに関するものである。
従来、各種機器の操作方法等を示すマニュアルを電子化した電子マニュアル等を利用する方法が知られている。
例えば、電子マニュアルの利用において、利便性の高い支援情報を提供する方法が知られている。具体的には、機器に用いられるパーツの画像特徴量に基づいて、類似画像検索処理を行ってパーツ識別子を特定して、特定されるパーツ識別子からヘルプ情報等の支援情報を抽出し、支援情報を提供する方法が知られている(例えば、特許文献1参照)。
しかしながら、装置のメンテナンスにおいて、予め作成された作業手順情報等に示される装置の状態と、メンテナンスの対象となる実際の装置の状態とが異なる場合がある。このような場合には、従来の技術では、装置のメンテナンスにおいて、作業手順書等に示される装置の状態と、メンテナンスの対象となる装置の状態との差異が、メンテナンスの作業において、どの程度の影響を及ぼすものであるか、判断できないことが多い。
本発明の1つの側面は、予め作成された作業手順情報に示される装置の状態と、メンテナンスの対象となる実際の装置の状態と、に基づき、メンテナンス作業を支援することを目的とする。
上述した課題を解決するために、本発明の一態様である、装置のメンテナンスにおける作業を支援する情報処理装置であって、前記メンテナンスの作業手順毎の部品リスト情報と、前記装置が有する部品を特定するための部品定義情報と、を記憶する記憶部と、前記部品リスト情報に基づき、前記作業手順において取り扱われる作業対象の部品と、前記作業対象の部品の数である第1部品数を特定する特定部と、前記装置を撮影した画像の画像データを生成する撮影部と、前記部品定義情報に基づき、前記画像データにおける前記作業対象の部品と、前記作業対象の部品の数である第2部品数と、を特定する解析部と、前記第1部品数と前記第2部品数との差が、第1閾値より大きく、かつ、当該第1閾値よりも大きい第2閾値以下である場合に、警告情報を含むメンテナンス情報を表示させ、前記第1部品数と前記第2部品数との差が、前記第2閾値より大きい場合に、エラー情報を含むメンテナンス情報を表示させる、表示制御部
を備えることを特徴とする。
予め作成された作業手順情報に示される装置の状態と、メンテナンスの対象となる実際の装置の状態と、に基づき、メンテナンス作業を支援できる。
本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 本発明の一実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。 第一の実施形態の作業内容データベースの一例を示す図である。 第一の実施形態の部品定義データベースの一例を示す図である。 第一の実施形態の部品リストデータベースの一例を示す図である。 第一の実施形態の通知内容データベースの一例を示す図である。 第一の実施形態の情報処理装置による全体処理の一例を示すフローチャートである。 第一の実施形態の情報処理装置を利用したメンテナンスについて説明する第一の図である。 第一の実施形態の情報処理装置を利用したメンテナンスについて説明する第二の図である。 警告情報の表示例を示す図である。 「OK」アイコンの表示例を示す図である。 第二の実施形態の部品リストデータベースの一例を示す図である。 第二の実施形態の情報処理装置による全体処理の一例を示すフローチャートである。 第二の実施形態におけるメンテナンス情報の表示例を示す図である。
以下、本発明の実施の形態について説明する。
<第1実施形態>
装置に対して、ユーザは、メンテナンスを行うことがある。このメンテナンス作業では、複数の手順が行われる場合が多い。以下、メンテナンス作業において、複数の手順がユーザによって行われる例で説明する。メンテナンス作業における手順で、装置から部品が取り外されるとする。この場合において、作業中、即ち、メンテナンス作業のうち、一部の手順が終了した状態では、ユーザの手元には、部品があるとする。一方で、メンテナンス作業が終了、即ち、複数の手順がすべて終了すると、ユーザの手元にあった部品は、手順で装置に取り付けられ、ユーザの手元には、部品が残らない例とする。
<情報処理装置のハードウェア構成例>
図1は、本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。以下、情報処理装置が、いわゆるヘッドマウントディスプレイ(Head Mounted Display)(以下「HMD」という。)10である例で説明する。
図示するように、HMD10は、表示装置10H1と、タッチパッド(touchpad)10H2と、ネットワークインタフェース10H3と、撮影装置10H4と、CPU(Central Processing Unit)10H5とを有する。さらに、HMD10は、ROM(Read−Only Memory)10H6と、RAM(Random Access Memory)10H7と、フラッシュメモリ(flash memory)10H8とを有する。
表示装置10H1は、例えば、ディスプレイ等である。即ち、表示装置10H1は、画像等を出力する出力装置の例である。
タッチパッド10H2は、ユーザが操作を入力するための入力装置の例である。即ち、タッチパッド10H2は、ユーザによるジェスチャ操作によって、コマンド等を入力する。
ネットワークインタフェース10H3は、有線又は無線によって、ネットワークを介して、サーバ等の外部装置とデータ等を入出力するためのインタフェース(interface)の例である。例えば、ネットワークインタフェース10H3は、アンテナ及び処理IC(Integrated Circuit)等である。
撮影装置10H4は、例えば、カメラ等である。即ち、撮影装置10H4は、ユーザが見ている物体、例えば、メンテナンスをユーザが行っている場合には、メンテナンスの対象となっている装置の全部又は一部等を撮影し、画像を生成する。
CPU10H5は、各種処理及び各種データの加工を行う演算装置並びに各ハードウェア等を制御する制御装置の例である。
ROM10H6、RAM10H7及びフラッシュメモリ10H8は、記憶装置の例である。具体的には、ROM10H6又はフラッシュメモリ10H8は、入力されるデータ及びプログラム等を記憶する。また、RAM10H7は、実行されるプログラムが展開される記憶領域等となる。
なお、ハードウェア構成は、図示する構成に限られない。例えば、情報処理装置は、更に演算装置又は制御装置を有する構成でもよい。また、情報処理装置は、複数の装置で構成されてもよい。
以下、HMD10は、装置のメンテナンスを行うユーザ、即ち、作業者の頭部に装着されて利用される例で説明する。また、以下の例では、HMD10は、いわゆる透過(See−Through)型であり、HMD10を装着しているユーザは、視線が透過するため、HMD10の外の様子を見ることができる例で説明する。
図2は、本発明の一実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。具体的には、HMD10は、表示制御部10F1と、タッチパッド制御部10F2と、ディスプレイ制御部10F3と、コンテンツ管理部10F4と、記憶制御部10F5と、ネットワーク制御部10F6とを含む。また、HMD10は、部品数特定部10F7と、コンテンツ作成部10F8と、撮影部10F9と、解析部10F10と、判定部10F11と、データベース格納部10F12と、を有する。
はじめに、データベース格納部10F12について説明する。データベース格納部10F12は、ROM10H6、RAM10H7及びフラッシュメモリ10H8等により実現される。
データベース格納部10F12には、作業内容データベース210、部品定義データベース220、部品リストデータベース230、通知内容データベース240が格納されている。各データベースは、例えばHMD10の管理者等により、予めデータベース格納部10F12に格納されているものとする。
作業内容データベース210は、装置毎のメンテナンスにおける作業内容を示す作業内容情報が格納されている。部品定義データベース220は、装置毎に、各装置を撮像した画像データから、装置が有する部品を特定するための部品定義情報が格納されている。
部品リストデータベース230は、作業内容の各手順において、取り扱われる部品の一覧を示す部品リスト情報が格納されている。また、部品リストデータベース230は、部品毎に、部品数の許容される欠損数が格納されている。
通知内容データベース240は、判定部10F11による判定結果として通知される通知内容情報が格納されている。各データベースの詳細は後述する。
表示制御部10F1は、解析部10F10による解析結果と、通知内容データベース240に基づいて、メンテナンス情報を表示させる。
タッチパッド制御部10F2は、例えば、ユーザが指によってタッチ操作を行うと、タッチ操作を受け付ける。次に、タッチパッド制御部10F2は、受け付けたタッチ操作に基づいて、タップ(tap)及びスワイプ(swipe)等のタッチジェスチャによる操作を入力する。なお、タッチパッド制御部10F2は、例えば、タッチパッド10H2(図1)等によって実現される。
ディスプレイ制御部10F3は、ディスプレイに表示される画像等を制御する。なお、ディスプレイ制御部10F3は、例えば、表示装置10H1(図1)等によって実現される。
コンテンツ管理部10F4は、データベース格納部10F12を管理する。即ち、コンテンツ管理部10F4は、データベース格納部10F12に格納された各データベースを更新したり、必要なデータを外部装置から入力したりする。なお、コンテンツ管理部10F4は、例えば、CPU10H5(図1)等によって実現される。
記憶制御部10F5は、外部装置からネットワーク等を介して入力されるデータベースをデータベース格納部10F12に格納する。なお、記憶制御部10F5は、例えば、CPU10H5及びフラッシュメモリ10H8(図1)等によって実現される。
ネットワーク制御部10F6は、無線LAN(Local Area Network)等のネットワーク通信を制御する。なお、ネットワーク制御部10F6は、例えば、ネットワークインタフェース10H3等によって実現される。
部品数特定部10F7は、部品リストデータベース230に基づいて、作業内容情報が示す各手順で取り扱われる部品の数(以下「第1部品数」という。)を特定する。言い換えれば、部品数特定部10F7は、メンテナンスの作業内容情報に従った各手順と対応付けられた部品と、部品の数(第1部品数)を特定する。なお、部品数特定部10F7は、例えば、CPU10H5等によって実現される。
コンテンツ作成部10F8は、判定部10F11による判定結果に基づいて表示されるメンテナンス情報を作成する。より具体的には、コンテンツ作成部10F8は、解析部10F10が、撮影部10F9により撮像された画像データを解析した結果として出力する画像と、判定結果に基づく通知内容情報と、を含むメンテナンス情報を作成し、表示制御部10F1へ渡す。コンテンツ作成部10F8は、例えば、CPU10H5等によって実現される。
撮影部10F9は、装置に対するメンテナンスで取り扱われる部品が含まれる画像の画像データを生成する。なお、撮影部10F9は、例えば、撮影装置10H4(図1)等によって実現される。
解析部10F10は、部品定義データベース220を参照し、撮影部10F9によって生成される画像データを解析し、画像データにおける、メンテナンスで取り扱われる部品と部品の数(以下、第2部品数)と、を特定する。解析部10F10は、画像データから、取り扱われる部品を示す模式的な画像データを生成し、コンテンツ作成部10F8へ出力しても良い。なお、解析部10F10は、例えば、CPU10H5等によって実現される。
判定部10F11は、第1部品数と、第2部品数とを比較する。また、判定部10F11は、比較した結果、第1部品数と第2部品数との差分がある場合に、部品リストデータベース230を参照し、この差分が許容される数未満であるか否かを判定する。言い換えれば、判定部10F11は、第1部品数と第2部品数との差分が、メンテナンス作業の継続にあたり、影響がない差又は影響が少ない差であるか否かを判定する。
なお、影響がない差又は影響が少ない差は、無視できる程度のものであり、例えば、ロット等による差又は無視できる程度の作業ミスによる差等である。一方で、影響がある差は、その後の手順等に影響する差である。例えば、影響がある差は、重大な作業ミス等により発生する。なお、判定部10F11は、例えば、CPU10H5等によって実現される。
HMD10では、この判定結果に応じたメンテナンス情報がコンテンツ作成部10F8により作成され、表示制御部10F1によって表示される。
なお、HMD10では、第1部品数と第2部品数との差がある場合には、判定結果に応じて、「警告状態」及び「エラー状態」等のそれぞれの状態に合わせたメンテナンス情報を表示させても良い。また、HMD10では、第1部品数と第2部品数との差がない場合には、作業内容情報をメンテナンス情報として表示させても良い。
「警告状態」とは、第1部品数と第2部品数の差が、影響がない差又は影響が少ない差と判定された場合の状態である。この場合、HMD10は、手順に従ってメンテナンスの作業の支援を続けることが可能である。
「エラー状態」とは、第1部品数と第2部品数の差が、その後の手順等に影響する差と判定された場合の状態である。この場合、HMD10は、メンテナンスの作業の中断を促す。
<各データベース>
以下に、図3乃至図6を参照し、データベース格納部10F12に格納された各データベースについて説明する。
図3は、第一の実施形態の作業内容データベースの一例を示す図である。作業内容データベース210は、作業内容毎に、作業内容において行われる作業手順が対応付けられて格納されている。
作業内容データベース210は、情報の項目として、手順No.、静止画ファイル、メッセージを有し、項目「手順No.」に、その他の項目が対応付けられている。以下の説明では、作業内容データベース210において、項目「手順No.」の値と、その他の項目の値と、を含む情報を、作業内容情報と呼ぶ。
項目「手順No.」の値は、作業内容における手順の番号を示す。項目「静止画ファイル」の値は、対応する手順No.において行われる作業内容を示す画像データである。項目「メッセージ」の値は、項目「静止画ファイル」の値である画像データと共に表示されるメッセージ(テキストデータ)を示す。
図3の例では、作業内容「ネジ交換」における手順No.1では、画像データ「Step1.jpg」と、「コントロールパネルを明けて、・・・」というテキストデータとが、作業内容情報として表示される。
なお、本実施形態の作業内容情報は、コンテンツ作成部10F8によるメンテナンス情報の作成の際に用いられても良い。図3の例では、手順No.1の作業内容情報210−1では、メッセージは「・・・フロントボードの$1箇所のネジを外して下さい」となっている。この場合、「$1」は変数とすることができる。
本実施形態では、メッセージに含まれる変数に、後述する部品リストデータベース230の第1部品数を代入して作業内容情報の一部としても良いし、第2部品数を代入してメンテナンス情報の一部としても良い。
また、メンテナンスにおける作業内容は、上記の図3に示す作業に限られない。メンテナンスの作業内容は、1つの手順であってもよい。一方で、メンテナンス作業は、複数の作業又は手順が連続して行われてもよい。
図4は、第一の実施形態の部品定義データベースの一例を示す図である。部品定義データベース220は、メンテナンス対象となる装置の機種毎に設けられている。
部品定義データベース220は、情報の項目として、部品ID、特徴量データ、部品の名称を有する。項目「部品ID」は、その他の項目と対応付けられている。以下の説明では、部品定義データベース220において、項目「部品ID」の値と、その他の項目の値とを含む情報を、部品定義情報と呼ぶ。
項目「部品ID」の値は、部品を識別するための識別子である。項目「特徴量データ」の値は、キーポイント群を示す。キーポイントとは、画像の勾配等を示す変化量の極値から算出される。キーポイントは、位置、角度、サイズ及び128次元のヒストグラムベクトル等によって構成される。
項目「部品の名称」の値は、対応する部品IDで識別される部品の名称を示す。
本実施形態の部品定義データベース220は、解析部10F10による画像データの解析の際に参照される。
図5は、第一の実施形態の部品リストデータベースの一例を示す図である。本実施形態の部品リストデータベース230は、作業内容毎に設けられている。
部品リストデータベース230は、情報の項目として、手順No.、部品ID、第1部品数、警告用閾値(第1閾値)、エラー用閾値(第2閾値)を有する。本実施形態では、第2閾値は、第1閾値よりも大きい値となる。
部品リストデータベース230において、項目「手順No.」と、その他の項目とが対応付けられている。以下の説明では、部品リストデータベース230において、項目「手順No.」の値と、その他の項目の値とが対応付けられた情報を、部品リスト情報と呼ぶ。
本実施形態では、例えば、第1部品数と第2部品数との差が、第1閾値より大きい場合に、両者の差は、作業の継続に対して重大な影響を与えるものであり、許容されないものと判定する。
また、本実施形態では、第1部品数と第2部品数との差が、第2閾値より大きい場合に、両者の差は、作業の継続に影響を与えない、又は継続を困難にしない程度の影響を与えるものであり、許容されるものと判定する。
よって、例えば、部品ID「pid_2」のように、第2閾値が「0」であると、1個も差の存在が許されない重要な部品であることがわかる。一方で、部品ID「pid_3」のように、第2閾値が「3」であると、3個まで差が許される部品であることがわかる。
図6は、第一の実施形態の通知内容データベースの一例を示す図である。本実施形態の通知内容データベース240は、作業内容毎に設けられている。
通知内容データベース240は、情報の項目として、手順No.、警告、エラーを有する。通知内容データベース240では、項目「手順No.」と、他の項目とが対応付けられている。以下の説明では、項目「手順No.」の値と、その他の項目の値とを含む情報を、通知内容情報と呼ぶ。
項目「警告」の値は、第1部品数と第2部品数との差が、許容されるものと判定された場合に通知される内容を示す。具体的には、項目「警告」の値は、例えば、作業内容情報と対応付けられた部品数と、実際の装置の部品数が異なっていることを通知するための情報である。
項目「エラー」の値は、第1部品数と第2部品数との差が、許容されないものと判定された場合に通知される内容を示す。具体的には、項目「エラー」の値は、例えば、作業内容情報と対応付けられた部品数と、実際の装置の部品数との差が許容範囲を超えており、メンテナンスの作業の継続が困難であることを通知するための情報である。
本実施形態の通知内容データベース240は、コンテンツ作成部10F8や表示制御部10F1により参照される。
次に、図7を参照して本実施形態のHDM10の動作について説明する。
図7は、第一の実施形態の情報処理装置による全体処理の一例を示すフローチャートである。
表示制御部10F1は、メンテナンスの対象となる装置の機種と、作業内容の入力を受け付けて、作業内容データベース210を参照し、作業内容に含まれる手順を示す作業内容情報を表示装置10H1に表示させる(ステップS701)。
具体的には、表示制御部10F1は、作業内容情報に含まれる手順のうち、手順No.の値が最も小さい作業内容情報を選択し、表示させる。
続いて、HMD10は、撮影部10F9により、対象となる部品が撮影され、対象となる部品を含む画像データを取得する(ステップS702)。なお、図7の例では、機種と作業内容の入力を受け付けると、作業内容情報を最初に表示させるものとしたが、これに限定されない。本実施形態では、機種と作業内容の入力を受け付けた後に、メンテナンス情報が表示されるまでの間、撮影部10F9により撮影されている画像が表示装置10H1に表示されても良い。
また、本実施形態のHMD10は、表示制御部10F1により、作業者に対し、メンテナンスの対象の装置の撮影を促すガイド情報等を表示させても良い。具体的には、例えば、表示制御部10F1は、撮影部10F9により撮影される画像における装置の範囲が、手順用画像IMG1の画像71に含まれる範囲と同等となる位置へ作業者を誘導するガイド情報を表示装置10H1に表示させても良い。
続いて、HMD10は、部品数特定部10F7により、部品リストデータベース230を参照し、作業内容情報が表示されている手順と対応する部品の部品IDが複数存在するか否かを判定する(ステップS703)。
ステップS703において、部品IDが複数存在しない場合、部品数特定部10F7は、後述するステップS705へ進む。この場合、第1部品数及び第2部品数を求める対象の部品の部品IDは、1つであるため、この部品IDの部品について、以下の処理で第1部品数及び第2部品数を求める。
ステップS703において、部品IDが複数存在する場合、部品数特定部10F7は、1つ目の部品IDの部品を選択する(ステップS704)。ここで選択された種類の部品は、第1部品数及び第2部品数を求める対象の部品となる。
続いて、部品数特定部10F7は、対象の部品の第1部品数を特定する(ステップS705)。具体的には、例えば、部品数特定部10F7は、入力された機種と作業内容に基づき、部品リストデータベース230を参照し、入力された機種と作業内容において実行の手順No.を含む部品リスト情報を抽出する。そして、部品数特定部10F7は、部品リスト情報に含まれる、第1部品数を特定する。
続いて、HMD10は、解析部10F10により、ステップS702で取得した画像データを解析し、対象の部品の第2部品数を特定する(ステップS706)。
以下に、解析部10F10による画像データの解析について説明する。本実施形態の解析部10F10は、部品定義データベース220を参照し、対象の部品の部品情報に含まれる特徴量データに基づき、画像データに対象の部品が含まれるか否かを解析する。
解析部10F10による画像解析は、例えば、いわゆるパターンマッチング等によって実現される。解析部10F10は、画像データに対して、対象の部品と同一又は類似の被写体が写っているか否かを解析する。なお、画像解析では、部品の種類及び大きさ等が分別されてもよい。また、画像解析に用いられるデータは、画像でもよい。
画像を解析するアルゴリズムには、例えば、SURF(Speed―Up Robust Features)等が用いられる。SURFが用いられると、被写体が撮影される照明、スケール又は角度等の影響が少なくできる。また、特徴量を示すデータは、画像のデータよりもデータ容量が小さい場合が多いため、特徴量を示すデータが用いられると、画像解析を行うためのデータ容量を小さくすることができる。
SURFでは、まず、あらかじめ被写体となる部品のサンプル画像が入力される。次に、サンプル画像に基づいて、画像の勾配等である変化量の極値からキーポイント群が算出される。続いて、解析部10F10は、画像データに対して、特徴量データに基づいて照合を行う。照合によって、特徴量データと同一又は類似の被写体があると判定されると、解析部10F10は、対象の部品が、画像データが示す画像に含まれるものとする。
なお、例えば、QRコード(登録商標)及びARマーカ等が部品にあらかじめ貼られ、解析部10F10は、読み込まれたQRコード(登録商標)及びARマーカに基づいて、部品を認識するように解析してもよい。
次に、HMD10は、判定部10F11は、第1部品数と第2部品数との差分を算出する。また、判定部10F11は、部品リストデータベース230を参照し、入力された作業内容において、現在実行中の手順No.を含む部品リスト情報を抽出する。そして、判定部10F11は、第1部品数と第2部品数の差分を、抽出した部品リスト情報に含まれる第2閾値と比較し、差分が第2閾値以下であるか否かを判定する(ステップS707)。
ステップS707において、差分が第2閾値以下でない場合、つまり、差分が第2閾値より大きい場合、HMD10は、判定部10F11により、通知内容データベース240を参照してエラーの通知を選択し(ステップS708)、後述するステップS711へ進む。このとき、判定部10F11は、選択された部品の部品IDと、選択した通知の内容とを対応付けて保持していても良い。
ステップS707において、差分が第2閾値以下である場合、判定部10F11は、差分が第1閾値以下であるか否かを判定する(ステップS709)。
ステップS709において、差分が第1閾値以下でない場合、つまり、差分が第1閾値より大きい場合、判定部10F11は、通知内容データベース240を参照して警告の通知を選択し(ステップS710)、後述するステップS711へ進む。このとき、判定部10F11は、選択された部品の部品IDと、選択した通知の内容とを対応付けて保持していても良い。
続いて、HMD10は、作業内容情報が表示された手順と対応付けられた全ての部品IDについて、処理を行ったか否かを判定する(ステップS711)。ステップS711において、全ての部品IDに対して処理を行っていない場合、HMD10は、次の部品の種類を選択し(ステップS712)、ステップS705へ戻る。
ステップS711において、全ての部品IDに対して処理を行った場合、HMD10は、コンテンツ作成部10F8により、表示制御部10F1に渡すメンテナンス情報を作成する(ステップS713)。
以下に、コンテンツ作成部10F8の処理について説明する。はじめに、エラーの通知が選択された場合について説明する。
コンテンツ作成部10F8は、通知内容データベース240を参照し、指定された作業内容の手順No.を含む通知内容情報を抽出する。そして、コンテンツ作成部10F8は、通知内容情報に含まれるエラーの通知内容と、ステップS706の解析結果として出力された画像とを含むメンテナンス情報を作成する。コンテンツ作成部10F8は、このメンテナンス情報を、表示制御部10F1へ渡す。
次に、警告の通知が選択された場合について説明する。
コンテンツ作成部10F8は、通知内容データベース240を参照する。次に、コンテンツ作成部10F8は、指定された作業内容の手順No.を含む通知内容情報を抽出する。そして、コンテンツ作成部10F8は、通知内容情報に含まれる警告の通知内容を、ステップS706の解析結果として出力された画像と対応付ける。
また、コンテンツ作成部10F8は、作業内容データベース210を参照し、指定された作業内容の手順No.を含む作業内容情報のメッセージを取得する。
そして、コンテンツ作成部10F8は、解析結果として出力された画像と、警告の通知内容と、作業内容情報に含まれるメッセージとを含むメンテナンス情報を作成し、表示制御部10F1へ渡す。
なお、作業内容情報に含まれるメッセージに、変数を示す符号「$」等が含まれる場合には、この変数に、第2部品数を代入したメッセージをメンテナンス情報に含めても良い。
次に、第1部品数と第2部品数の差が、第1閾値以下であった場合のコンテンツ作成部10F8の処理について説明する。
この場合、コンテンツ作成部10F8は、ステップS706の解析結果として出力された画像と、指定された作業内容の手順No.を含む作業内容情報のメッセージとを含むメンテナンス情報を作成し、表示制御部10F1へ渡しても良い。また、コンテンツ作成部10F8は、指定された作業内容の手順No.を含む作業内容情報をそのままメンテナンス情報として表示制御部10F1へ渡しても良い。
なお、本実施形態の判定部10F11は、手順において取り扱われる部品が複数存在する場合には、部品ID毎に、選択された通知の内容を保持しておき、部品毎に通知の内容を表示させるメンテナンス情報を作成しても良い。
続いて、HMD10は、表示制御部10F1により、コンテンツ作成部10F8から渡されたメンテナンス情報を表示装置10H1に表示させる(ステップS714)。
続いて、HMD10は、次の手順が選択されたか否かを判定する(ステップS715)。
ステップS715において、次の手順が選択された場合、HMD10は、次の手順の作業内容情報を参照し(ステップS716)、ステップS703へ戻る。なお、このとき、HMD10は、作業者の操作に応じて、次の手順の作業内容情報を表示させても良い。
ステップS715において、次の手順が選択されない場合、HMD10は、処理を終了する。次の手順が選択されない場合とは、例えば全ての手順が終了された場合等である。
以下に、図8乃至図11を参照して、本実施形態のHMD10の処理を具体的に説明する。
図8は、第一の実施形態の情報処理装置を利用したメンテナンスについて説明する第一の図である。以下、図示するように、HMD10のユーザとなる作業者1がHMD10を装着してメンテナンスを行う例で説明する。
この例では、作業者1は、装置の例であるMFP(Multifunction Peripheral)2をメンテナンスする。即ち、作業者1は、MFP2のメンテナンスにおいて、MFP2に対して、各手順で、ネジ等の部品を取り付けたり、取り外したりする。言い換えれば、以下の例では、メンテナンスにおいて、取り扱われる部品は、ネジとし、部品数はネジの数となる。また、以下の例では、MFPの機種は「××」であり、作業者1が行う作業内容は、「ネジ交換」であるものとする。
本実施形態において、作業者1は、HMD10を装着し、メンテナンス対象のMFP2の機種「××」と、作業内容「ネジ交換」とを入力する。すると、表示制御部10F1は、作業内容データベース210を参照し、入力された機種「××」の作業内容「ネジ交換」と対応した作業内容情報を抽出し、手順No.が若い手順の作業内容情報から順に、表示装置10H1へ表示させる。
図8では、作業内容データベース210における手順No.1の作業内容情報210−1が表示された例を示している(図3参照)。
このとき、表示制御部10F1は、作業者1に対して、作業内容情報210−1を手順用画像IMG1として表示する。手順用画像IMG1には、作業内容情報210−1に含まれる静止画ファイル名によって示される画像81と、メッセージ82と、が含まれる。
なお、作業内容情報210−1に含まれるメッセージでは、「・・・$1箇所のネジを外して下さい」とされている。よって、表示制御部10F1は、部品リストデータベース230から、作業内容及び手順No.と対応する部品リスト情報230−1を抽出し、部品リスト情報230−1の第1部品数「6」を、メッセージにおける変数「$1」に代入し、作業内容情報としても良い(図5参照)。
手順用画像IMG1が表示されると、作業者1は、メンテナンスにおいて、手順の内容等を把握することができる。具体的には、手順用画像IMG1は、「ネジを外す」手順の内容、対象となるネジの位置及び手順によって外すネジの数等を示す。したがって、表示制御部10F1により手順用画像IMG1が表示されると、作業者1は、MFP2に対してこの手順を行うことができ、容易にメンテナンスを行うことができる。
なお、メンテナンスの対象となる装置は、MFP2に限られない。メンテナンスの対象となる装置は、MFP以外の事務機器等でもよい。
また、HMD10がいわゆる没入型である場合には、MFP2は、実機でなく、いわゆるシミュレーション用のモデル等でもよい。
図9は、第一の実施形態の情報処理装置を利用したメンテナンスについて説明する第二の図である。図9(A)は、作業内容情報が表示された例を示す図である。図9(B)は、解析部10F10による解析結果の画像の例を示す図である。図9(C)は、メンテナンス情報の表示例を示す第一の図である。図9(D)は、メンテナンス情報の表示例を示す第二の図である。
図9は、図8の例と同様に、機種「××」のMFP2のメンテナンスにおいて、作業内容「ネジ交換」が行われる例で説明する。
まず、表示制御部10F1は、図9(A)に示すように、手順用画像IMG1を表示する。
このとき、部品数特定部10F7は、手順用画像IMG1に含まれる部品と、この部品の数(第1部品数)を特定する。
手順用画像IMG1は、手順No.1と対応付いているため、部品数特定部10F7は、部品リスト情報230−1から、作業内容「ネジ交換」の手順No.1で取り扱われる部品を、部品ID「pid1」の部品と特定し、第1部品数を「6」と特定する。
次に、解析部10F10は、第2部品数を特定する。
HDM10において、撮影部10F9は、作業者1の操作により、メンテナンスの対象であるMFP2を撮影し、MFP2の画像データを生成する。
撮影部10F9により、MFP2の画像が撮影され、解析部10F10による解析結果の画像91が生成されると、コンテンツ作成部10F8は、図9(B)に示すように、画像91を含む画像IMG2を生成する。画像IMG2は、作業者の視線の先にある装置の一部又は全部を示す画像である。
図9(A)及び図9(B)に示す例では、ネジSCの数が異なる。具体的には、図9(A)に示す第1部品数は「6」である。これに対して、図9(B)に示す第2部品数は、「4」である。よって、第1部品数と第2部品数の差分は「2」となる。
本実施形態では、判定部10F11により、第1部品数と、第2部品数とを比較し、第1部品数と第2部品数との差分を取得すると、この差分と、部品リスト情報230−1に含まれる第1及び第2閾値と、を比較する。
部品リスト情報230−1に含まれる第1閾値は「1」であり、第2閾値は「3」である。
図9(A)と図9(B)との差分「2」は、第1閾値より大きく、第2閾値より小さい。よって、コンテンツ作成部10F8は、通知内容データベース240を参照し、作業内容「ネジ交換」の手順No.1の通知内容情報240−1の警告の通知内容83を画像81と対応付ける。また、作業内容「ネジ交換」の手順No.1の作業内容情報210−1のメッセージには、変数「$1」が含まれる。よって、コンテンツ作成部10F8は、作業内容情報210−1のメッセージの変数「$1」に第2部品数「4」を代入したメッセージ82Aを作成し、画像81と対応付ける。
そして、コンテンツ作成部10F8は、画像81と、通知内容83と、メッセージ82Aと、を含むメンテナンス情報として、画像IMG3を作成して、表示制御部10F1へ渡し、表示装置10H1へ表示させる。
図9(C)は、画像IMG3が表示された例を示している。画像IMG3には、画像81と、メッセージ82Aと、通知内容83とが含まれる。図9(C)に示す通知内容83は、警告を示すアイコン画像である。
本実施形態によれば、通知内容83が表示されることで、作業内容情報210−1を示している画像IMG2と状態が異なっていることを作業者に提示できる。
また、本実施形態では、例えば作業者の操作によって、通知内容83が選択されると、表示制御部10F1は、警告情報を表示しても良い。警告情報とは、部品に欠損があることを通知する情報であっても良い。警告情報の詳細は後述する。
図9(D)は、第1部品数と第2部品数との差分が、第2閾値より大きくなった場合のメンテナンス情報として、画像IMG4が表示された例を示している。
この場合、コンテンツ作成部10F8は、通知内容データベース240を参照し、作業内容「ネジ交換」の手順No.1の通知内容情報240−1のエラーの通知内容84を画像81と対応付ける。また、画像IMG4では、欠損した部品を示す情報85も表示されている。図9(D)の例では、欠損した部品の部品IDとして、ネジSCの部品ID「pid_1」が表示される。さらに、図9(D)の例では、エラーアイコン86が表示されている。
なお、図9の例では、手順において取り扱われる部品が1つの場合を説明したが、複数の部品が取り扱われる場合には、部品毎にエラーや警告の通知がメンテナンス情報として表示されても良い。
次に、図10を参照して、警告情報について説明する。図10は、警告情報の表示例を示す図である。
図10に示す画像101は、図9(C)の通知内容83が選択された場合に、表示装置10H1に表示される画面の例である。
画像101には、警告情報として、第1部品数と、第2部品数との差を示すメッセージと、数に差異がある部品の部品IDが含まれても良い。なお、警告情報は、「装置のロットによって部品数が異なる場合がある。」等の情報を更に表示してもよい。
なお、「装置のロットによって部品数が異なる場合がある。」等の情報を更に表示する場合には、記憶制御部10F5は、装置のロットが異なると部品数が変わるか否かを示すデータを記憶させてもよい。このデータに基づいて、判定部10F11は、「装置のロットによって部品数が異なる場合がある。」等の情報を表示するか否かを判断できる。
また、本実施形態では、表示制御部10F1は、第1部品数と第2部品数の差が、第1閾値以下である場合、「OK」アイコン等を表示してもよい。
図11は、「OK」アイコンの表示例を示す図である。図示するように、表示制御部10F1は、図9(A)に示す手順用画像IMG1に、更に「OK」アイコン111を表示する。この場合は、第1部品数と、第2部品数とに差がない、即ち、第1部品数と、第2部品数とが等しい場合を含む。
また、「OK」アイコン111は、第1部品数と、第2部品数とに差が第1閾値以下であった場合も表示されて良い。
よって、例えば作業内容「ネジ交換」の手順No.1では、第1部品数と第2部品数とに差があっても、その差が1個であれば、図11に示す画像が表示される。
また、第1部品数と、第2部品数との差が第1閾値より大きい場合には、図9(C)に示す画像IMG3が表示される。
なお、図5における部品ID「pid_1」のように、第1閾値に「1」以上の値が入力される場合は、例えば、同じ機種であってもロットの違いによって、部品数が異なる場合等である。他にも、第1閾値に「1」以上の値が入力される場合は、以前のメンテナンスで部品の取り付け忘れがあり、かつ、取り付け忘れた部品がなくとも問題がない部品である場合等でもよい。これらの場合には、差異があっても、判定部10F11は、通常状態と判断し、図11に示す「OK」アイコン等を表示すると判断してもよい。
なお、「装置のロットによって部品数が異なる場合がある。」等の情報を更に表示する場合には、記憶制御部10F5は、装置のロットが異なると部品数が変わるか否かを示すデータを記憶させてもよい。このデータに基づいて、判定部10F11は、「装置のロットによって部品数が異なる場合がある。」等の情報を表示するか否かを判断できる。
以上のように、第1部品数及び第2部品数を比較することで、判定部10F11は、装置のメンテナンスにおいて、予め決められた手順が示す装置の状態と、メンテナンスの対象となる装置の状態とに差異があることを検出できる。次に、コンテンツ作成部10F8は、検出された差に基づいて、メンテナンス情報を作成する。表示制御部10F1は、コンテンツ作成部10F8によって作成されたメンテナンス情報を表示する。
例えば、差異が検出されると、コンテンツ作成部10F8は、部品数の差に応じたメンテナンス情報を作成する。このようにすると、表示制御部10F1は、部品数の差に応じたメンテナンス情報を表示できる。
また、予め決められた手順が示す装置の状態と、メンテナンスの対象となる装置の状態とに差異があるのを想定して、各差異に応じたコンテンツをそれぞれ用意する方法がある。この方法では、差異ごとにコンテンツがそれぞれ用意されるため、データ容量が大きくなる場合が多い。これに対して、本実施形態では、差異に応じてメンテナンス情報を作成するため、記憶制御部10F5によって記憶されるデータ容量を少なくすることができる。
例えば、機種ごとにマニュアル、即ち、メンテナンスに関する情報が用意されても、ロットによって、部品数は、異なる場合がある。この場合には、同一の機種であれば、同様のメンテナンス作業であるのに、ロットによって部品数が異なるため、ロットごとにマニュアル等を容易しなければならないことが多い。そのため、マニュアルの種類が多いため、データ容量が多くなってしまう場合がある。このような場合でも、本実施形態では、ロット毎のコンテンツを用意する必要はない。
また、本実施形態によれば、予めマニュアル等で想定された装置の状態と、作業者が作業を行おうとしている装置の状態との差異に応じたメンテナンス情報を表示させる。したがって、本実施形態によれば、装置の現状に応じたメンテナンス情報を表示させることができる。よって、本実施形態によれば、予め作成された作業内容情報に示される装置の状態と、メンテナンスの対象となる実際の装置の状態と、に基づき、メンテナンス作業を支援できる。
さらには、本実施形態によれば、予め作成された作業内容情報に示される装置の状態と、メンテナンスの対象となる実際の装置の状態とに差異が存在する場合に、この差異によって生じる影響の程度を作業者へ提示できる。
よって、本実施形態によれば、予め作成された作業内容情報に示される装置の状態と、メンテナンスの対象となる実際の装置の状態とに差異が存在する場合でも、作業者に、この差異の影響の程度を容易に把握させることができる。言い換えれば、本実施形態によれば、マニュアル等に示された装置の状態と、これからメンテナンスをしようとしている作業者の目の前にある装置の状態と、の違いを作業者に把握させることができる。さらに、本実施形態によれば、作業者に対して、その違いが及ぼす影響が、無視できる程度のものであるのか、そうでないのかを通知することができる。
なお、本実施形態では、メンテナンス作業における手順で、装置から部品が取り外される例を説明したが、これに限定されない。本実施形態は、一度取り外された部品を装置へ取り付ける手順においても適用することができる。
この場合には、作業内容と手順とに対応付けられた部品の部品数と、部品の取り付け中又は取り付け後に撮影された装置の画像データの解析結果から特定された部品の部品数と、の差異を求め、上述した説明と同様の処理を行えば良い。
このようにすれば、作業者は、部品の取り付け後に、重大な影響を及ぼす差異が発生していないかどうかを確認することができる。
<第2実施形態>
第2実施形態では、例えば、第1実施形態と同様のハードウェア構成及び機能構成のHMDが用いられる。第2実施形態は、第1実施形態と比較すると、部品リストデータベースが第1実施形態と相違する。
図12は、第二の実施形態の部品リストデータベースの一例を示す図である。本実施形態の部品リストデータベース230Aは、作業内容毎に設けられている。また。部品リストデータベース230Aでは、各手順と対応付けられた部品IDについて、ロット毎の第1部品数が対応付けられている。
部品リストデータベース230Aは、情報の項目として、手順No.、ロット、部品ID、第1部品数、警告用閾値(第1閾値)、エラー用閾値(第2閾値)を有する。項目「ロット」は、部品のロット数を示す。
図12の例では、例えば、作業内容「ネジ交換」の手順No.1で取り扱われる部品ID「pid_1」の部品と、部品ID「pid_2」の部品は、項目「ロット」の値は共通となっている。よって、これらの部品は、ロットが異なる場合であっても、作業内容「ネジ交換」の手順No.1における第1部品数は同じことを示す。
また、図12の例では、例えば、作業内容「ネジ交換」の手順No.2で取り扱われる部品ID「pid_3」の部品は、ロット「A」の場合と、ロット「B」の場合とで、第1部品数が異なることがわかる。
装置は、製造されるロット(lot)によって、部品数、部品の種類又はいずれの両方が変更される場合がある。例えば、装置の改良、仕様の変更及び仕向け等によって、部品数は、増えたり、減ったりする場合がある。
本実施形態では、この部品リストデータベース230Aを参照することで、作業内容の手順に取り扱われる部品のロット毎に、予め作成された作業内容情報に示される装置の状態と、メンテナンスの対象となる実際の装置の状態とに差異を検出することができる。
次に、図13を参照して本実施形態のHDM10の動作について説明する。
図13は、第二の実施形態の情報処理装置による全体処理の一例を示すフローチャートである。
図13のステップS1301からステップS1304までの処理は、図7のステップS701からステップS704までの処理と同様であるから、説明を省略する。
ステップS1304において、1つめの部品が選択されると、HMD10は、判定部10F11により、部品リストデータベース230Aを参照し、部品IDと対応するロット毎に第1部品数が異なるか否かを判定する(ステップS1305)。
以下に、ステップS1305の処理について具体的に説明する。部品リストデータベース230Aでは、例えば作業内容「ネジ交換」の手順No.1である場合、取り扱われる部品の部品IDは、「pid_1」であり、対応するロットは「共通」となっている(図12参照)。よって、判定部10F11は、この場合、部品IDと対応するロット毎の第1部品数は共通と判定する。
また、部品リストデータベース230Aでは、例えば作業内容「ネジ交換」の手順No.2である場合、取り扱われる部品の部品IDは、「pid_3」であり、対応するロットは「A」、「B」となっており、それぞれの第1部品数は、「6」と「3」である(図12参照)。よって、判定部10F11は、この場合、部品IDと対応するロット毎に第1部品数が異なる、と判定する。
ステップS1305おいて、ロット毎の第1部品数が異ならない場合、つまり、ロット毎の第1部品数が一致している場合、HMD10は、後述するステップS1307へ進む。
ステップS1305おいて、ロット毎の第1部品数が異なる場合、HMD10は、部品数特定部10F7により、1つ目のロットを特定し(ステップS1306)、ステップS1307へ進む。
ステップS1307からステップS1312までの処理は、図7のステップS705からステップS710までの処理と同様であるから、説明を省略する。
続いてHMD10は、部品リストデータベース230Aにおいて、選択された部品IDと対応付けられた全ての第1部品数について、ステップS1307〜ステップS1312の処理を実行したか否かを判定する(ステップS1313)。
ステップS1313において、全ての第1部品数について処理していない場合、HMD10は、部品数特定部10F7は、次のロットを選択し(ステップS1314)、ステップS1307へ戻る。
ステップS1313において、全ての第1部品数について処理した場合、HMD10は、ステップS1314へ進む。
ステップS1315からステップS1319までの処理は、図7のステップS711からステップS715までの処理と同様であるから、説明を省略する。
なお、本実施形態では、ステップS1310、1312において、選択された通知の内容を、部品IDと、ロットと対応付けて保持しておいても良い。
また、本実施形態では、ステップS1316において、部品IDとロット毎に、選択された通知の内容を表示させても良い。
図14は、第二の実施形態におけるメンテナンス情報の表示例を示す図である。
図14に示す画像(画面)141は、メンテナンス情報として表示される画像の一例である。画像141では、警告を通知するアイコン142と、第1部品数と第2部品数の差が第1閾値より大きくなるロットを特定する情報143と、特定されたロットの製造番号を示す情報144と、が含まれる。
この場合、例えば、ロットB以外は、第1部品数と第2部品数の差が第1閾値以下となり、ロットBの場合に第1部品数と第2部品数の差が第1閾値より大きくなったことがわかる。
本実施形態では、このように、ロット毎のエラーや警告を通知することで、作業者に対し、自身がこれからメンテナンスを行う装置の部品のロットがロットB以外であれば、作業内容情報に従って作業を行って良いことを容易に把握させることができる。
以上のように、上記(表4)に示すデータ等が用いられると、ロットによって装置が有する部品数等が異なる場合には、表示制御部10F1(図2)は、ロットに関する情報を表示することができる。即ち、ロットによって、装置が有する部品数が異なる場合であっても、表示制御部10F1は、メンテナンスの対象となる装置の状態に合わせたメンテナンス情報を表示できる。
<変形例>
本発明に係る実施形態において、対象となる部品は、ネジに限られない。例えば、対象となる部品は、バネ又は板金等の機構部品でもよい。なお、対象となる部品は、ネジのように、装置に使われる部品数が多い部品が望ましい。
本発明に係る実施形態は、HMDに限られない。例えば、カメラ等の撮影装置と、PC(Personal Computer)等の情報処理装置とを組み合わせた情報処理システム等で実現されてもよい。即ち、情報処理システムにおいて、撮影装置と、情報処理装置とは、有線又は無線で接続され、撮影装置が生成する画像は、情報処理装置に送信される。次に、情報処理システムでは、情報処理装置が、各種処理を行い、処理結果又は処理結果に基づく画像等を表示したり、ユーザによる操作を入力したりしてもよい。
また、本発明に係る実施形態は、複数の情報処理装置で、分散、並列、冗長に処理又は記憶が行われてもよい。例えば、本発明に係る実施形態は、サーバ等の情報処理装置と、サーバ等とネットワークを介して接続されるHMD等の情報処理装置とを有する情報処理システムによって、実現されてもよい。具体的には、サーバ等が各種処理及びデータを記憶し、一方で、HMD等がユーザに対して処理結果及び画像等を表示及びユーザによる操作を入力する構成であってもよい。
また、本発明の実施形態は、情報処理装置又は1以上の情報処理装置を有する情報処理システム等のコンピュータに、情報処理方法を実行させるためのプログラム等によって実現されてもよい。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
10 HMD
2 MFP
10F1 表示制御部
10F7 部品数特定部
10F8 コンテンツ作成部
10F10 解析部
10F11 判定部
10F12 データベース格納部
210 作業内容データベース
220 部品定義データベース
230、230A 部品リストデータベース
240 通知内容データベース
特許第4150651号公報

Claims (10)

  1. 装置のメンテナンスにおける作業を支援する情報処理装置であって、
    前記メンテナンスの作業手順毎の部品リスト情報と、前記装置が有する部品を特定するための部品定義情報と、を記憶する記憶部と、
    前記部品リスト情報に基づき、前記作業手順において取り扱われる作業対象の部品と、前記作業対象の部品の数である第1部品数を特定する特定部と、
    前記装置を撮影した画像の画像データを生成する撮影部と、
    前記部品定義情報に基づき、前記画像データにおける前記作業対象の部品と、前記作業対象の部品の数である第2部品数と、を特定する解析部と、
    前記第1部品数と前記第2部品数との差が、第1閾値より大きく、かつ、当該第1閾値よりも大きい第2閾値以下である場合に、警告情報を含むメンテナンス情報を表示させ、前記第1部品数と前記第2部品数との差が、前記第2閾値より大きい場合に、エラー情報を含むメンテナンス情報を表示させる、表示制御部と、
    を備える情報処理装置。
  2. 前記メンテナンス情報は、
    前記画像データの解析結果として出力される画像と、
    前記第1部品数及び前記第2部品数の比較結果に応じたメッセージと、を含む請求項1記載の情報処理装置。
  3. 前記第1部品数と前記第1閾値は、前記装置のロットごとに記憶される請求項1又は2に記載の情報処理装置。
  4. 前記第1部品数と前記第2閾値は、前記装置のロットごとに記憶される請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記第1部品数と前記第2部品数との差が、前記第1閾値より大きいか否か、及び、前記第1閾値よりも大きい第2閾値より大きいか否か、を判定する判定部を有する、請求項1乃至4のいずれか1項記載の情報処理装置。
  6. 前記警告情報は、メンテナンスの作業の支援を続けることが可能であることを示す情報を含み、
    前記エラー情報は、メンテナンスの作業の中断を促すことを示す情報を含む、請求項1乃至5のいずれか1項記載の情報処理装置。
  7. 前記表示制御部は、前記第1部品数と前記第2部品数との差が、前記第1閾値以下である場合に、問題がない旨を含むメンテナンス情報を表示させる、請求項1乃至6のいずれか1項記載の情報処理装置。
  8. 装置のメンテナンスにおける作業を支援する1以上の情報処理装置を有する情報処理システムであって、
    前記メンテナンスの作業手順毎の部品リスト情報と、前記装置が有する部品を特定するための部品定義情報と、を記憶する記憶部と、
    前記部品リスト情報に基づき、前記作業手順において取り扱われる作業対象の部品と、前記作業対象の部品の数である第1部品数を特定する特定部と、
    前記装置を撮影した画像の画像データを生成する撮影部と、
    前記部品定義情報に基づき、前記画像データにおける前記作業対象の部品と、前記作業対象の部品の数である第2部品数と、を特定する解析部と、
    前記第1部品数と前記第2部品数との差が、第1閾値より大きく、かつ、当該第1閾値よりも大きい第2閾値以下である場合に、警告情報を含むメンテナンス情報を表示させ、前記第1部品数と前記第2部品数との差が、前記第2閾値より大きい場合に、エラー情報を含むメンテナンス情報を表示させる、表示制御部と、
    を備える情報処理システム。
  9. 装置のメンテナンスにおける作業を支援する情報処理装置による情報処理方法であって、前記情報処理装置が、
    記憶部に格納された、前記メンテナンスの作業手順毎の部品リスト情報に基づき、前記作業手順において取り扱われる作業対象の部品と、前記作業対象の部品の数である第1部品数を特定し、
    前記装置を撮影した画像の画像データを生成し、
    前記記憶部に格納された、前記装置が有する部品を特定するための部品定義情報に基づき、前記画像データにおける前記作業対象の部品と、前記作業対象の部品の数である第2部品数と、を特定し、
    前記第1部品数と前記第2部品数との差が、第1閾値より大きく、かつ、当該第1閾値よりも大きい第2閾値以下である場合に、警告情報を含むメンテナンス情報を表示させ、前記第1部品数と前記第2部品数との差が、前記第2閾値より大きい場合に、エラー情報を含むメンテナンス情報を表示させる、情報処理方法。
  10. 装置のメンテナンスにおける作業を支援する情報処理装置により実行されるプログラムであって、
    記憶部に格納された、前記メンテナンスの作業手順毎の部品リスト情報に基づき、前記作業手順において取り扱われる作業対象の部品と、前記作業対象の部品の数である第1部品数を特定する処理と、
    前記装置を撮影した画像の画像データを生成する処理と、
    前記記憶部に格納された、前記装置が有する部品を特定するための部品定義情報に基づき、前記画像データにおける前記作業対象の部品と、前記作業対象の部品の数である第2部品数と、を特定する処理と、
    前記第1部品数と前記第2部品数との差が、第1閾値より大きく、かつ、当該第1閾値よりも大きい第2閾値以下である場合に、警告情報を含むメンテナンス情報を表示させ、前記第1部品数と前記第2部品数との差が、前記第2閾値より大きい場合に、エラー情報を含むメンテナンス情報を表示させる処理と、を前記情報処理装置に実行させるプログラム。
JP2016207745A 2015-11-13 2016-10-24 情報処理装置、情報処理方法、情報処理システム及びプログラム Active JP6822061B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015222626 2015-11-13
JP2015222626 2015-11-13

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US15/345,466 US10354231B2 (en) 2015-11-13 2016-11-07 Information processing device, information processing method, and information processing system

Publications (2)

Publication Number Publication Date
JP2017097856A JP2017097856A (ja) 2017-06-01
JP6822061B2 true JP6822061B2 (ja) 2021-01-27

Family

ID=58804939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016207745A Active JP6822061B2 (ja) 2015-11-13 2016-10-24 情報処理装置、情報処理方法、情報処理システム及びプログラム

Country Status (1)

Country Link
JP (1) JP6822061B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6368421B1 (ja) * 2017-12-21 2018-08-01 株式会社Cygames 立体を認識するためのプログラム、システム、電子装置、及び方法

Also Published As

Publication number Publication date
JP2017097856A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
US9690601B2 (en) Dynamic profile switching based on user identification
US9977952B2 (en) Organizing images by correlating faces
US10866780B2 (en) Augmented reality quick-start and user guide
EP2996015B1 (en) Method to use augmented reality to function as hmi display
JP6144839B2 (ja) 画像を検索するための方法およびシステム
KR20180104609A (ko) 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체
CN102365645B (zh) 通过关联面部来组织数字图像
JP5009577B2 (ja) 画像検索装置および方法並びにプログラム
WO2018191437A1 (en) Image-based vehicle loss assessment method, apparatus, and system, and electronic device
JP4588098B2 (ja) 画像・音声監視システム
US9454675B2 (en) Apparatus and method for protecting personal information of recorded image, and computer-readable recording medium having computer program recorded therein
JP2007206920A (ja) 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
KR20070079330A (ko) 표시 제어장치 및 방법, 컴퓨터 프로그램, 및 기록 매체
EP2639740A2 (en) Registration determination device, control method and control program therefor, and electronic apparatus
CN104349045B (zh) 一种图像采集方法及电子设备
US8687855B2 (en) Method for detecting facial features
EP2477468B1 (en) Substrate inspection system
JPWO2010041377A1 (ja) 代表画像表示装置及び代表画像選択方法
US20120054691A1 (en) Methods, apparatuses and computer program products for determining shared friends of individuals
CN106446816B (zh) 人脸识别方法及装置
EP2874045A1 (en) Gesture recognition device and control method for the same
US20070064278A1 (en) Method, apparatus, and program for laying out images
US20120294496A1 (en) Face recognition apparatus, control method thereof, and face recognition method
KR20160120238A (ko) 의류 추천 시스템
US8626782B2 (en) Pattern identification apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R151 Written notification of patent or utility model registration

Ref document number: 6822061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151