JP7189332B2 - 整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラム - Google Patents

Description

本発明は、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力する整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラムに関する。

近年、物流のＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）化が進んできている。このようなＩｏＴ化の例として、客とオートリース会社毎とで点検整備する項目が異なるリース車両の点検整備において、自動的に点検整備項目、整備工場及び点検整備日程を決定し、追加点検に対しても対応可能なものが開示されている（特許文献１参照）。

特開２００７－６６１１６号公報

物流のＩｏＴ化において、輸送中の事故を軽減する技術が考えられる。例えば、車両を整備する整備作業者に適したサポート情報を、この整備作業者に出力するといったものである。しかしながら、特許文献１の構成では、このようなサポート情報を拡張現実として出力することが困難であった。

本発明は、整備作業者の習熟度に応じたサポート情報を、拡張現実として出力することが可能な整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力する整備サポート拡張現実出力システムであって、
前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得する第１取得手段と、
取得した前記第１整備作業画像を解析する第１解析手段と、
整備対象となる車両を特定する特定手段と、
前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定する第１判定手段と、
特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定する決定手段と、
前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力する出力手段と、
を備えることを特徴とする整備サポート拡張現実出力システムを提供する。

本発明によれば、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力する整備サポート拡張現実出力システムは、前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得し、取得した前記第１整備作業画像を解析し、整備対象となる車両を特定し、前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定し、特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定し、前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を前記車両に重なるように拡張現実として出力する。

本発明は、システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

また、本発明は、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力させるコンピュータであって、
前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得する第１取得手段と、
取得した前記第１整備作業画像を解析する第１解析手段と、
整備対象となる車両を特定する特定手段と、
前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定する第１判定手段と、
特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定する決定手段と、
前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力させる出力手段と、
を備えることを特徴とするコンピュータを提供する。

また、本発明は、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力する端末であって、
前記整備作業者による整備作業の風景を撮影した第１整備作業画像を出力する第１出力手段と、
特定された整備対象となる車両と、前記第１整備作業画像の解析結果に基づいて判定された前記整備作業者の習熟度とから決定された当該整備作業者が当該車両を整備するためのサポート情報を取得する取得手段と、
自身の表示部に、取得した前記サポート情報を拡張現実として出力する第２出力手段と、
を備えることを特徴とする端末を提供する。
また、本発明は、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力させるコンピュータが実行する整備サポート拡張現実出力方法であって、
前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得する第１取得手段と、
取得した前記第１整備作業画像を解析する第１解析手段と、
整備対象となる車両を特定する特定手段と、
前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定する第１判定手段と、
特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定する決定手段と、
前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力させる出力手段と、
を備えることを特徴とする整備サポート拡張現実出力方法を提供する。
また、本発明は、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力させるコンピュータに、
前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得するステップ、
取得した前記第１整備作業画像を解析するステップ、
整備対象となる車両を特定するステップ、
前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定するステップ、
特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定するステップ、
前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力させるステップ、
を実行させるためのコンピュータ読み取り可能なプログラムを提供する。

本発明によれば、整備作業者の習熟度に応じたサポート情報を、拡張現実として出力することが可能な整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラムを提供することが可能となる。

図１は、整備サポート拡張現実出力システム１の概要を示す図である。 図２は、整備サポート拡張現実出力システム１の全体構成図である。 図３は、コンピュータ１０が実行する整備サポート拡張現実出力処理のフローチャートを示す図である。 図４は、コンピュータ１０が実行する習熟度評価処理のフローチャートを示す図である。 図５は、コンピュータ１０が実行する報告書自動作成処理のフローチャートを示す図である。 図６は、コンピュータ１０が整備作業者端末にサポート情報を拡張現実として出力させた一例を模式的に示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。

［整備サポート拡張現実出力システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である整備サポート拡張現実出力システム１の概要を説明するための図である。整備サポート拡張現実出力システム１は、コンピュータ１０から構成され、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力するコンピュータシステムである。

なお、整備サポート拡張現実出力システム１は、車両を整備する整備作業者が所持する整備作業者端末（例えば、スマートフォンやタブレット端末等の携帯端末や、スマートグラス等のヘッドマウントディスプレイといったウェアラブル端末）、所定の位置に配置された又は移動式の撮影装置等のその他の端末や装置類が含まれていてもよい。また、整備サポート拡張現実出力システム１は、例えば、コンピュータ１０等の１台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。

また、整備サポート拡張現実出力システム１は、コンピュータ１０と、その他の端末や装置類とから構成されてもよい。この場合、整備サポート拡張現実出力システム１は、後述する各処理を、コンピュータ１０とその他の端末や装置類との何れか又は複数の組み合わせにより実行することになる。

コンピュータ１０は、整備作業者端末、撮影装置等のその他の端末や装置類と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータの送受信を実行する。

コンピュータ１０は、整備作業者による整備作業の風景を動画や静止画等で撮影した第１整備作業画像を取得する。コンピュータ１０は、例えば、整備作業者端末や撮影装置が撮影した第１整備作業画像を取得する。

例えば、整備作業者端末や撮影装置は、整備作業者の整備作業の風景を動画や静止画等の第１整備作業画像として撮影し、撮影した第１整備作業画像を、コンピュータ１０に送信する。コンピュータ１０は、この第１整備作業画像を受信することにより、端末等から第１整備作業画像を取得することになる。

コンピュータ１０は、取得した第１整備作業画像を解析する。コンピュータ１０は、例えば、この第１整備作業画像の特徴点（例えば、形状、輪郭、色相）や特徴量（例えば、画素値の平均、分散、ヒストグラム等の統計的な数値）を抽出することにより、解析を実行する。この結果、コンピュータ１０は、第１整備作業画像に写っている車両の解析と、整備作業者の動作（例えば、作業内容、作業速度、作業工程、工具類の扱い方）の解析とを実行することになる。

コンピュータ１０は、整備対象となる車両を特定する。コンピュータ１０は、例えば、この第１整備作業画像の解析結果に基づいて、整備対象となる車両を特定する。コンピュータ１０は、例えば、予め車両の特徴点や特徴量と、この車両の識別子（例えば、車両製造番号、車番、型式、整理番号、管理番号、名称）とを対応付けて記録した車両データベースを参照することにより、この車両を特定する。コンピュータ１０は、抽出した特徴点や特徴量と、車両データベースに記録された特徴点や特徴量とを比較し、この抽出した特徴点や特徴量と一致する車両データベースにおける特徴点や特徴量に対応付けられた車両の識別子を特定する。その結果、コンピュータ１０は、第１整備作業画像に写っている整備対象となる車両を特定することになる。

また、コンピュータ１０は、例えば、整備作業者端末やその他の端末や装置類等から整備対象となる車両の識別子の入力を受け付け、この受け付けた識別子に基づいて、整備対象となる車両を特定する。整備作業者端末やその他の端末や装置類は、整備対象となる車両の識別子の入力を受け付け、受け付けた識別子を、コンピュータ１０に送信する。コンピュータ１０は、この識別子を受信することにより、整備対象となる車両の識別子を取得する。その結果、コンピュータ１０は、整備対象となる車両を特定することになる。

コンピュータ１０は、この第１整備作業画像の解析結果に基づいて、整備作業者の習熟度を判定する。コンピュータ１０は、例えば、予め整備作業者の動作と、この動作をする整備作業者の整備作業の習熟度とを対応付けて記録した習熟度データベースを参照することにより、この整備作業者の習熟度を判定する。コンピュータ１０は、抽出した特徴点や特徴量に基づいて、整備作業者の動作を特定する。コンピュータ１０は、この特定した動作と、習熟度データベースに記録された動作とを比較し、この特定した動作と一致する習熟度データベースにおける動作に対応付けられた習熟度を特定する。コンピュータ１０は、この特定した習熟度を、整備作業者の習熟度として判定する。その結果、コンピュータ１０は、第１整備作業画像に写っている整備作業者の習熟度を判定することになる。

コンピュータ１０は、特定した車両と、判定した習熟度とから、この整備作業者がこの車両を整備するためのサポート情報（例えば、工具類の使用方法の指示、体の位置の指示、作業内容の指示等といった整備作業者が整備作業を実行するために必要な動作に関する情報）を決定する。コンピュータ１０は、例えば、予め車両の識別子及び整備作業者の習熟度と、サポート情報とを対応付けて記録したサポート情報データベースを参照することにより、このサポート情報を決定する。コンピュータ１０は、特定した車両の識別子及び判定した習熟度と、このサポート情報データベースを比較し、この車両の識別子及び習熟度と一致するサポート情報データベースにおける識別子及び習熟度に対応付けられたサポート情報を特定する。コンピュータ１０は、この特定したサポート情報を、整備作業者がこの車両を整備するためのサポート情報として決定する。

コンピュータ１０は、整備作業者端末の表示部に、決定したサポート情報を車両に重なるように拡張現実として出力させる。コンピュータ１０は、決定したサポート情報を、整備作業者端末に出力させる。コンピュータ１０は、このサポート情報を、整備作業者端末に送信する。整備作業者端末は、このサポート情報を受信する。整備作業者端末は、この受信したサポート情報を自身の表示部に表示する。このとき、整備作業者端末は、自身が撮影する車両に重なる（例えば、この車両の一部又は全部に重なる、この車両の整備対象となる部位の一部又は全部に重なる）ように、このサポート情報を拡張現実として表示する。その結果、コンピュータ１０は、このサポート情報を、整備作業者端末に出力させることになる。また、整備作業者端末は、このサポート情報を、自身の表示部に出力することになる。したがって、整備サポート拡張現実出力システム１は、整備作業者端末の表示部に、決定したサポート情報を車両に重なるように拡張現実として出力することになる。

以上の処理の結果、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力する整備サポート拡張現実出力システム１は、前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得し、取得した前記第１整備作業画像を解析し、前記第１整備作業画像の解析結果に基づいて、整備対象となる車両を特定し、前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定し、特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定し、前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を前記車両に重なるように拡張現実として出力することになる。

なお、コンピュータ１０は、サポート情報を出力後、整備作業者の整備作業の風景を動画や静止画等で撮影した第２整備作業画像を取得する構成も可能である。この場合、コンピュータ１０は、例えば、整備作業者端末や撮影装置が撮影した第２整備作業画像を取得する。

例えば、整備作業者端末や撮影装置は、サポート情報を出力後の整備作業者の整備作業の風景を動画や静止画等の第２整備作業画像として撮影し、撮影した第２整備作業画像を、コンピュータ１０に送信する。コンピュータ１０は、この第２整備作業画像を受信することにより、端末等から第２整備作業画像を取得することになる。

コンピュータ１０は、取得した第２整備作業画像を解析する。コンピュータ１０は、例えば、この第２整備作業画像の特徴点や特徴量を抽出することにより、解析を実行する。この結果、コンピュータ１０は、第２整備作業画像に写っている整備作業者の動作の解析を実行することになる。

コンピュータ１０は、この解析結果に基づいて、整備作業者の習熟度を評価する。この習熟度の評価は、例えば、この整備作業者がサポート情報に則した動作や作業を達成した回数に基づいたものである。コンピュータ１０は、この回数が規定回数を超えた際、この整備作業者の習熟度の評価を上昇させる。評価の情報は、例えば、過去のこの整備作業者の習熟度の評価が１である場合、今回この回数を達成したことにより、この整備作業者の習熟度の評価を２にするといったものである。

コンピュータ１０は、次回以降の第１整備作業画像の解析結果に基づいた整備作業者の習熟度の判定に際して、解析結果に、この整備作業者の習熟度の評価を加味して整備作業者の習熟度を判定する。コンピュータ１０は、例えば、今回の整備作業者の習熟度を、この整備作業者の習熟度の評価に応じて判定する。コンピュータ１０は、整備作業者の習熟度の評価の数値に応じた所定の係数を用いて、この整備作業者の習熟度を判定する。

また、コンピュータ１０は、取得した第２整備作業画像の解析結果に基づいて、この整備作業者の動作が、サポート情報に則した動作であるか否かを判定する構成も可能である。この場合、コンピュータ１０は、例えば、第２整備作業画像の解析結果に基づいた整備作業者の動作が、決定したサポート情報に則した動作であるか否かを判定する。コンピュータ１０は、この判定結果に基づいて、報告書を自動作成する。

コンピュータ１０は、解析結果に基づいた整備作業者の動作が、サポート情報に則した動作であると判定した場合、所定のフォーマットに基づいて、作業内容が適切であった旨を記載した報告書を自動作成する。このとき、コンピュータ１０は、この報告書に、この整備作業者の動作が適切なものであったことを記載することも可能である。

コンピュータ１０は、解析結果に基づいた整備作業者の動作が、サポート情報に則した動作ではないと判定した場合、所定のフォーマットに基づいて、作業内容が適切でなかった旨を記載した報告書を自動作成する。このとき、コンピュータ１０は、この報告書に、さらに、本来行うべき動作、実際に行った動作、改善箇所等を記載することも可能である。

次に、整備サポート拡張現実出力システム１が実行する処理の概要について説明する。

コンピュータ１０は、上述した第１整備作業画像を取得する（ステップＳ０１）。整備作業者端末や撮影装置は、上述した第１整備作業画像を撮影し、この第１整備作業画像をコンピュータ１０に送信する。コンピュータ１０は、この第１整備作業画像を受信することにより、端末等から第１整備作業画像を取得することになる。

コンピュータ１０は、取得した第１整備作業画像を解析する（ステップＳ０２）。コンピュータ１０は、この第１整備作業画像の特徴点や特徴量を抽出することにより、第１整備作業画像を解析する。コンピュータ１０は、第１整備作業画像における車両及び整備作業者の動作を解析することになる。

コンピュータ１０は、整備対象となる車両を特定する（ステップＳ０３）。コンピュータ１０は、第１整備作業画像の解析結果に基づいて、整備対象となる車両を特定する。コンピュータ１０は、今回抽出した特徴点や特徴量と、上述した車両データベースとを比較することにより、車両を特定する。コンピュータ１０は、今回抽出した特徴点や特徴量に該当する車両の識別子を、車両データベースに基づいて特定する。コンピュータ１０は、この車両の識別子を特定することにより、第１整備作業画像に写っている整備対象となる車両を特定することになる。また、コンピュータ１０は、整備作業者端末やその他の端末や装置類等から整備対象となる車両の識別子の入力を受け付け、この受け付けた識別子に基づいて、整備対象となる車両を特定する。整備作業者端末やその他の端末や装置類は、整備対象となる車両の識別子の入力を受け付け、受け付けた識別子を、コンピュータ１０に送信する。コンピュータ１０は、この識別子を受信することにより、整備対象となる車両の識別子を取得する。コンピュータ１０は、整備対象となる車両の識別子を取得することにより、整備対象となる車両を特定することになる。

コンピュータ１０は、この解析結果に基づいて、整備作業者の習熟度を判定する（ステップＳ０４）。コンピュータ１０は、今回抽出した特徴点や特徴量に基づいたこの整備作業者の動作と、上述した習熟度データベースとを比較することにより、この整備作業者の習熟度を判定する。コンピュータ１０は、今回抽出した特徴点や特徴量に基づいたこの整備作業者の動作に該当する整備作業者の習熟度を、習熟度データベースに基づいて特定する。コンピュータ１０は、この特定した整備作業者の習熟度を、この整備作業者の習熟度として判定する。コンピュータ１０は、この整備作業者の習熟度を判定することにより、第１整備作業画像に写っている整備作業者の習熟度を判定することになる。

コンピュータ１０は、特定した車両と、判定した習熟度とから、この整備作業者がこの車両を整備するためのサポート情報を決定する（ステップＳ０５）。コンピュータ１０は、この車両及び習熟度と、上述したサポート情報データベースとを比較することにより、サポート情報を決定する。コンピュータ１０は、特定した車両の識別子及び判定した整備作業者の習熟度に該当するサポート情報を、サポート情報データベースに基づいて特定する。コンピュータ１０は、この特定したサポート情報を、この整備作業者がこの車両を整備するためのサポート情報として決定する。コンピュータ１０は、このサポート情報を決定することにより、整備作業者がこの車両を整備するためのサポート情報を決定する。

コンピュータ１０は、整備作業者端末の表示部に、決定したサポート情報を車両に重なるように拡張現実として出力させる（ステップＳ０６）。コンピュータ１０は、このサポート情報を、整備作業者端末に送信する。整備作業者は、このサポート情報を受信し、自身の表示部に拡張現実として表示する。このとき、整備作業者端末は、自身が撮影する車両に重なるように、このサポート情報を拡張現実として表示する。その結果、コンピュータ１０は、このサポート情報を、整備作業者端末に出力させることになり、整備作業者端末は、このサポート情報を、自身の表示部に出力することになる。したがって、整備サポート拡張現実出力システム１は、整備作業者端末の表示部に、決定したサポート情報を車両に重なるように拡張現実として出力することになる。

以上が、整備サポート拡張現実出力システム１が実行する処理の概要である。

［整備サポート拡張現実出力システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である整備サポート拡張現実出力システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である整備サポート拡張現実出力システム１のシステム構成を示す図である。図２において、整備サポート拡張現実出力システム１は、コンピュータ１０から構成され、車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力するコンピュータシステムである。

コンピュータ１０は、整備作業者端末、撮影装置等のその他の端末や装置類と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータの送受信を実行する。

なお、整備サポート拡張現実出力システム１は、図示していない整備作業者端末、撮影装置等のその他の端末や装置類が含まれていてもよい。また、整備サポート拡張現実出力システム１は、例えば、コンピュータ１０等の１台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。

また、整備サポート拡張現実出力システム１は、コンピュータ１０と、その他の端末や装置類とから構成されてもよい。この場合、整備サポート拡張現実出力システム１は、後述する各処理を、コンピュータ１０とその他の端末や装置類との何れか又は複数の組み合わせにより実行することになる。

コンピュータ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、コンピュータ１０は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部として、各種処理を実行する各種デバイス等を備える。

コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、第１整備作業画像取得モジュール２０、出力モジュール２１、第２整備作業画像取得モジュール２２を実現する。また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、記録部と協働して、記録モジュール３０を実現する。また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、解析モジュール４０、車両特定モジュール４１、習熟度判定モジュール４２、サポート情報決定モジュール４３、習熟度評価モジュール４４、整備内容判定モジュール４５、報告書自動作成モジュール４６を実現する。

［整備サポート拡張現実出力処理］
図３に基づいて、整備サポート拡張現実出力システム１が実行する整備サポート拡張現実出力処理について説明する。図３は、コンピュータ１０が実行する整備サポート拡張現実出力処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

第１整備作業画像取得モジュール２０は、整備作業者による整備作業の風景を動画や静止画等で撮影した第１整備作業画像を取得する（ステップＳ１０）。ステップＳ１０において、第１整備作業取得モジュール２０は、整備作業者端末や撮影装置が撮影した第１整備作業画像を取得する。

整備作業者端末や撮影装置は、整備作業者や管理者やその他の撮影を指示する入力操作や音声による入力操作を受け付け、第１整備作業画像を撮影する。整備作業者端末や撮影装置は、撮影した第１整備作業画像を、コンピュータ１０に送信する。第１整備作業画像取得モジュール２０は、この第１整備作業画像を受信することにより、端末等から第１整備作業画像を取得することになる。

解析モジュール４０は、取得した第１整備作業画像を解析する（ステップＳ１１）。ステップＳ１１において、解析モジュール４０は、この第１整備作業画像を画像解析し、この第１整備作業画像における特徴点や特徴量を抽出する。特徴点は、例えば、上述したような形状、輪郭、色相である。また、特徴量は、例えば上述したような画素値の平均、分散、ヒストグラム等の統計的な数値である。解析モジュール４０は、特徴点や特徴量を抽出することにより、第１整備作業画像に写っている車両及び整備作業者の動作を解析する。整備作業者の動作は、例えば、上述したような整備作業者が実行している作業内容、整備作業者の作業速度、作業工程、工具類の扱い方である。

車両特定モジュール４１は、整備対象となる車両を特定する（ステップＳ１２）。ステップＳ１２において、車両特定モジュール４１は、第１整備作業画像の画像解析結果又は整備作業者端末やその他の端末や装置類等から取得した整備対象となる車両の識別子の何れか又は双方に基づいて、整備対象となる車両を特定する。

車両特定モジュール４１は、予め車両の特徴点や特徴量と、この車両の識別子とを対応付けて記録した車両データベースとを参照することにより、この車両を特定する。車両の識別子は、例えば、上述したような車両の車両製造番号、車番、型式、整理番号、管理番号、名称である。この車両データベースは、記録モジュール３０に記録されたものである。

車両特定モジュール４１は、第１整備作業画像から抽出した特徴点や特徴量と、車両データベースに記録された特徴点や特徴量とを比較し、この抽出した特徴点や特徴量と一致する車両データベースに記録された特徴点や特徴量を特定する。車両特定モジュール４１は、車両データベースにおいて、この特定した特徴点や特徴量に対応付けられた車両の識別子を特定する。車両特定モジュール４１は、この車両の識別子を特定することにより、整備対象となる車両を特定する。

また、車両特定モジュール４１は、整備作業者端末やその他の端末や装置類等が入力を受け付けた整備対象となる車両の識別子を取得する。このとき、整備作業者端末やその他の端末や装置類等は、この整備対象となる車両の識別子の入力を受け付ける。整備作業者端末やその他の端末や装置類等は、この受け付けた識別子を、コンピュータ１０に送信する。コンピュータ１０は、この識別子を受信することにより、整備対象となる車両の識別子を取得する。車両特定モジュール４１は、この取得した識別子を、整備対象となる車両の識別子であると特定する。車両特定モジュール４１は、この車両の識別子を取得することにより、整備対象となる車両を特定する。

習熟度判定モジュール４２は、第１整備作業画像の解析結果に基づいて、整備作業者の習熟度を判定する（ステップＳ１３）。ステップＳ１３において、第１整備作業画像から抽出した特徴点や特徴量に基づいて、この第１整備作業画像に写っている整備作業者の動作を特定する。習熟度判定モジュール４２は、この特徴点や特徴量の変化に基づいて、整備作業者の動作を特定する。習熟度判定モジュール４２は、例えば、この特徴点や特徴量の変化に基づいて、整備作業者の身体の動き、整備作業者が使用している工具類の動き、車両と整備作業者との位置関係を動作として特定する。

習熟度判定モジュール４２は、予め、整備作業者の動作と、この動作をする整備作業者の整備作業の習熟度とを対応付けて記録した習熟度データベースを参照することにより、この整備作業者の習熟度を特定する。この習熟度データベースは、記録モジュール３０に記録されたものである。この習熟度は、整備作業者の整備作業に対する熟練の程度を数値化したものである。この習熟度は、例えば、所定数の段階に分けられたものであり、整備作業の熟練の度合いが高い程、高い数値となり、低い程、低い数値となる。具体的には、１から１０までの段階に分けられており、熟練の度合いが高いほど１０に近づいていくものである。

習熟度判定モジュール４２は、特定した動作と、習熟度データベースに記録された動作とを比較し、この特定した動作と一致する習熟度データベースに記録された動作を特定する。習熟度判定モジュール４２は、習熟度データベースにおいて、この特定した動作に対応付けられた習熟度を特定する。習熟度判定モジュール４２は、この特定した習熟度を、この整備作業者の習熟度として判定する。

サポート情報決定モジュール４３は、特定した車両と、判定した習熟度とに基づいて、この整備作業者がこの車両を整備するためのサポート情報を決定する（ステップＳ１４）。ステップＳ１４において、サポート情報は、例えば、上述したような、工具類の使用方法の指示、身体の位置の指示、作業内容の指示といった整備作業者が整備作業を実行するために必要な動作に関する情報である。

サポート情報決定モジュール４３は、予め、車両の識別子及び整備作業者の習熟度と、サポート情報とを対応付けて記録したサポート情報データベースを参照することにより、サポート情報を決定する。このサポート情報データベースは、記録モジュール３０に記録されたものである。サポート情報決定モジュール４３は、特定した車両の識別子及び判定した習熟度と、サポート情報データベースに記録された車両の識別子及び習熟度とを比較し、この特定した車両の識別子及び判定した習熟度と一致するサポート情報データベースに記録された車両の識別子及び習熟度を特定する。サポート情報決定モジュール４３は、この特定した車両の識別子及び習熟度に対応付けられたサポート情報を特定する。サポート情報決定モジュール４３は、この特定したサポート情報を、整備作業者がこの車両を整備するためのサポート情報として決定する。

サポート情報決定モジュール４３が決定するサポート情報の一例について説明する。

サポート情報決定モジュール４３は、特定した車両の識別子が０００１であり、判定した習熟度が３である場合、サポート情報データベースにおける車両の識別子「０００１」及び習熟度「３」に対応付けられたサポート情報を特定する。サポート情報決定モジュール４３は、この特定したサポート情報を、整備作業者がこの車両を整備するためのサポート情報として決定する。

出力モジュール２１は、整備作業者の表示部に、決定したサポート情報を車両に重なるように拡張現実として出力させる（ステップＳ１５）。ステップＳ１５において、出力モジュール２１は、決定したサポート情報を、整備作業者端末に出力させる。出力モジュール２１は、整備作業者端末に、このサポート情報を送信する。整備作業者端末は、このサポート情報を受信する。

整備作業者端末は、受信したサポート情報を自身の表示部に拡張現実として表示する。このとき、整備作業者端末は、自身の表示部に表示する車両に重なるように、このサポート情報を拡張現実として表示する。整備作業者端末は、車両の一部又は全部や、整備対象とする部位の一部又は全部に重なるように、この拡張現実を表示する。

この結果、コンピュータ１０は、このサポート情報を、整備作業者端末に出力させることになる。また、整備作業者端末は、このサポート情報を、自身の表示部に出力することになる。したがって、整備サポート拡張現実出力システム１は、整備作業者端末の表示部に、決定したサポート情報を車両に重なるように拡張現実として出力することになる。

図６に基づいて、出力モジュール２１が、整備作業者端末に出力させるサポート情報について説明する。図６は、出力モジュール２１が整備作業者端末にサポート情報を拡張現実として出力させた一例を模式的に示す図である。図６において、整備作業者端末は、自身の表示部１００に、車両１１０を表示している。整備作業者端末は、サポート情報１２０を拡張現実として、車両１１０に重なる位置に表示する。このとき、整備作業者端末は、車両１１０の特に、整備対象とする部位に重ねて、サポート情報１２０を拡張現実として表示する。出力モジュール２１は、このように、整備作業者端末の表示部が表示する車両１１０に重なる位置に、サポート情報１２０を表示させる。

以上が、整備サポート拡張現実出力処理である。

［習熟度評価処理］
図４に基づいて、整備サポート拡張現実出力システム１が実行する習熟度評価処理について説明する。図４は、コンピュータ１０が実行する習熟度評価処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、上述した処理と同様の処理については、その詳細な説明は省略する。

第２整備作業画像取得モジュール２２は、出力モジュール２１がサポート情報を出力後、整備作業者の整備作業の風景を撮影した第２整備作業画像を取得する（ステップＳ２０）。ステップＳ２０において、第２整備作業画像取得モジュール２２が取得する第２整備作業画像は、出力モジュール２１が整備作業者端末にサポート情報を出力させた後の状態における整備作業者の整備作業の風景を撮影したものである。ステップＳ２０の実質的な処理は、上述したステップＳ１０の処理と同様である。

解析モジュール４０は、取得した第２整備作業画像を解析する（ステップＳ２１）。ステップＳ２１の処理は、上述したステップＳ１１の処理と同様である。ただし、本処理では、解析モジュール４０は、整備作業者のみを解析する。

習熟度評価モジュール４４は、解析結果に基づいて、この整備作業者の習熟度を評価する（ステップＳ２２）。ステップＳ２２において、整備作業者の習熟度の評価は、整備作業者がサポート情報に則した動作や作業を達成した回数に基づいて、この整備作業者の習熟度を数値化したものである。習熟度評価モジュール４４は、第２整備作業画像から抽出した特徴点や特徴量に基づいて、この第２整備作業者に写っている整備作業者の動作を特定する。習熟度評価モジュール４４は、この特徴点や特徴量の変化に基づいて、整備作業者の動作を特定する。例えば、習熟度評価モジュール４４は、この特徴点や特徴量の変化に基づいて、整備作業者の身体の動き、整備作業者が使用している工具類の動き、車両と整備作業者との位置関係を動作として特定する。

習熟度評価モジュール４４は、今回決定したサポート情報に則した動作や作業を達成した回数をカウントする。習熟度評価モジュール４４は、この回数が、規定の回数を超えている場合、予め、整備作業者の識別子と、過去のこの整備作業者の習熟度の評価とを対応付けて記録した評価データベースを更新する。この評価データベースは、記録モジュール３０に記録されたものである。整備作業者の識別子は、例えば、整備作業者端末の識別子、整備作業者の氏名、管理番号、顔写真である。この習熟度の評価は、例えば、所定数の段階に分けられたものであり、整備作業者がサポート情報に則した動作や作業を達成した回数が規定回数を超えた場合を数値化したものである。この習熟度の評価は、規定回数を達成した回数が多い程、高い数値となり、少ない程、低い数値となる。具体的には、１から１０までの段階に分けられており、規定回数を達成した回数が多いほど１０に近づいていくものである。

習熟度評価モジュール４４は、特定した動作に基づいて、今回決定したサポート情報に則した動作や作業を達成した回数が、規定の回数を超えている場合、評価データベースにおけるこの整備作業者の識別子に対応付けられたこの整備作業者の習熟度の評価を特定する。習熟度評価モジュール４４は、この特定した習熟度の評価を１段階上昇させる。

一方、習熟度評価モジュール４４は、特定した動作に基づいて、今回決定したサポート情報に則した動作や作業を達成した回数が、規定の回数を超えていない場合、この特定した習熟度の評価を上昇させずに、維持する。

習熟度評価モジュール４４は、この１段階上昇させた評価に基づいて、評価データベースを更新する（ステップＳ２３）。ステップＳ２３において、習熟度評価モジュール４４は、この評価データベースにおいて、今回対象となる整備作業者の識別子に対応付けられた習熟度の評価を、１段階上昇させる。習熟度評価モジュール４４は、この上昇させた習熟度の評価を、評価データベースに記録する。その結果、習熟度評価モジュール４４は、評価データベースを更新する。

上述したステップＳ１４の処理に際して、サポート情報決定モジュール４３は、この習熟度の評価を加味して、サポート情報を決定する。この場合について説明する。

サポート情報決定モジュール４３は、特定した車両と、判定した習熟度と、この整備作業者の習熟度の評価とに基づいて、この整備作業者がこの車両を整備するためのサポート情報を決定する。

サポート情報決定モジュール４３は、特定した車両及び判定した習熟度と、この整備作業者の習熟度の評価とに基づいて、サポート情報を決定する。サポート情報決定モジュール４３は、この整備作業者の習熟度の評価と、判定したこの整備作業者の習熟度とに基づいて、サポート情報の決定に用いる整備作業者の習熟度を決定する。このとき、例えば、サポート情報決定モジュール４３は、整備作業者の習熟度の評価と、判定した整備作業者の習熟度とのうち、より低い数値のもの又はより高い数値のものを、サポート情報の決定に用いる整備作業者の習熟度として決定する。また、サポート情報決定モジュール４３は、判定した整備作業者の習熟度に、整備作業者の習熟度の評価に応じた所定の係数を加算、減算等の所定の処理を行うことにより、サポート情報の決定に用いる整備作業者の習熟度として決定する。

サポート情報決定モジュール４３は、特定した車両の識別子及び今回決定した整備作業者の習熟度と、サポート情報データベースに記録された車両の識別子及び習熟度とを比較し、この特定した車両の識別子及び判定した習熟度と一致するサポート情報データベースに記録された車両の識別子及び習熟度を特定する。サポート情報決定モジュール４３は、この特定した車両の識別子及び習熟度に対応付けられたサポート情報を特定する。サポート情報決定モジュール４３は、この特定したサポート情報を、整備作業者がこの車両を整備するためのサポート情報として決定する。

サポート情報決定モジュール４３が決定するサポート情報の一例について説明する。

サポート情報決定モジュール４３は、特定した車両の識別子が０００２であり、判定した習熟度が３であり、この整備作業者の習熟度の評価が４である場合、サポート情報決定モジュール４３は、この整備作業者の習熟度を、低い数値である、判定した習熟度の３に基づいて決定する。サポート情報決定モジュール４３は、サポート情報データベースにおける車両の識別子「０００２」及び習熟度「３」に対応付けられたサポート情報を特定する。サポート情報決定モジュール４３は、この特定したサポート情報を、整備作業者がこの車両を整備するためのサポート情報として決定する。

ここで、低い習熟度の数値を用いる理由は、この整備作業者に対して、より確実なサポートが期待できるからである。なお、サポート情報決定モジュール４３が実行するサポート情報の決定方法は、上述した例に限らず、適宜変更可能である。

以上が、習熟度評価処理である。

［報告書自動作成処理］
図５に基づいて、整備サポート拡張現実出力システム１が実行する報告書自動作成処理について説明する。図５は、コンピュータ１０が実行する報告書自動作成処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、上述した処理と同様の処理については、その詳細な説明は省略する。

第２整備作業画像取得モジュール２２は、出力モジュール２１がサポート情報を出力後、整備作業者の整備作業の風景を撮影した第２整備作業画像を取得する（ステップＳ３０）。ステップＳ３０の処理は、上述したステップＳ２０の処理と同様である。

解析モジュール４０は、取得した第２整備作業画像を解析する（ステップＳ３１）。ステップＳ３１の処理は、上述したステップＳ２１の処理と同様である。

整備内容判定モジュール４５は、解析結果に基づいて、この整備作業者の動作が、サポート情報に則した動作であるか否かを判定する（ステップＳ３２）。ステップＳ３２において、整備内容判定モジュール４５は、第２整備作業画像から抽出した特徴点や特徴量に基づいて、この第２整備作業者に写っている整備作業者の動作を特定する。整備内容判定モジュール４５は、この特徴点や特徴量の変化に基づいて、整備作業者の動作を特定する。例えば、整備内容判定モジュール４５は、この特徴点や特徴量の変化に基づいて、整備作業者の身体の動き、整備作業者が使用している工具類の動き、車両と整備作業者との位置関係を動作として特定する。整備内容判定モジュール４５は、この特定した整備作業者の動作と、決定したサポート情報と一致するか否かを判断する。

ステップＳ３２において、整備内容判定モジュール４５は、この整備作業者の動作が、サポート情報に則した動作であると判定した場合（ステップＳ３２ ＹＥＳ）、報告書自動作成モジュール４６は、作業内用が適切であった旨を記載した報告書を自動作成する（ステップＳ３３）。ステップＳ３３において、報告書自動作成モジュール４６は、所定のフォーマットに基づいて、一般的な報告書に記載される事項及び整備作業者の作業内容が適切なものであった旨を、報告書として自動作成する。報告書自動作成モジュール４６は、例えば、日付、宛先、表題、本文（例えば、整備作業の作業内容が適切であった旨の内容）を所定のフォーマットに記載することにより、報告書を自動作成する。

一方、ステップＳ３２において、整備内容判定モジュール４５は、この整備作業者の動作が、サポート情報に則した動作ではないと判定した場合（ステップＳ３２ ＮＯ）、報告書自動作成モジュール４６は、作業内用が適切でなかった旨を記載した報告書を自動作成する（ステップＳ３４）。ステップＳ３４において、報告書自動作成モジュール４６は、所定のフォーマットに基づいて、一般的な報告書に記載される事項及び整備作業者の作業内容が適切なものではなかった旨を、報告書として自動作成する。報告書自動作成モジュール４６は、例えば、日付、宛先、表題、本文（例えば、整備作業の作業内容が適切でなかった旨の内容、本来行うべき整備作業の作業内容、実際に行った動作、整備作業における改善箇所）を所定のフォーマットに記載することにより、報告書を自動作成する。

なお、出力モジュール２１は、上述したステップＳ３４及びＳ３５の処理により作成した報告書を整備作業者端末、その他の端末や装置類に出力させることも可能である。

以上が、報告書自動作成処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 整備サポート拡張現実出力システム、１０ コンピュータ

Claims (9)

1. 車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力する整備サポート拡張現実出力システムであって、
   前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得する第１取得手段と、
   取得した前記第１整備作業画像を解析する第１解析手段と、
   整備対象となる車両を特定する特定手段と、
   前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定する第１判定手段と、
   特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定する決定手段と、
   前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力する出力手段と、
   を備えることを特徴とする整備サポート拡張現実出力システム。
2. 前記特定手段は、前記第１整備作業画像の解析結果に基づいて、前記車両を特定する、
   ことを特徴とする請求項１に記載の整備サポート拡張現実出力システム。
3. 前記特定手段は、前記車両の識別子の入力を受け付け、当該車両の識別子に基づいて、当該車両を特定する、
   ことを特徴とする請求項１に記載の整備サポート拡張現実出力システム。
4. 前記サポート情報を出力後、前記整備作業の風景を撮影した第２整備作業画像を取得する第２取得手段と、
   取得した前記第２整備作業を解析する第２解析手段と、
   前記第２解析手段による解析結果に基づいて、前記習熟度を評価する評価手段と、
   をさらに備え、
   前記第１判定手段は、次回以降の判定時、前記第１整備作業画像の解析結果と、前記評価とに基づいて、前記習熟度を判定する、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の整備サポート拡張現実出力システム。
5. 前記サポート情報を出力後、前記整備作業の風景を撮影した第２整備作業画像を取得する第２取得手段と、
   取得した前記第２整備作業を解析する第２解析手段と、
   前記第２整備作業画像の解析結果に基づいて、前記サポート情報に則した作業内容であるか否かを判定する第２判定手段と、
   前記第２判定手段による判定結果に基づいて、報告書を自動作成する自動作成手段と、
   を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の整備サポート拡張現実出力システム。
6. 車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力させるコンピュータであって、
   前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得する第１取得手段と、
   取得した前記第１整備作業画像を解析する第１解析手段と、
   整備対象となる車両を特定する特定手段と、
   前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定する第１判定手段と、
   特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定する決定手段と、
   前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力させる出力手段と、
   を備えることを特徴とするコンピュータ。
7. 車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力する端末であって、
   前記整備作業者による整備作業の風景を撮影した第１整備作業画像を出力する第１出力手段と、
   特定された整備対象となる車両と、前記第１整備作業画像の解析結果に基づいて判定された前記整備作業者の習熟度とから決定された当該整備作業者が当該車両を整備するためのサポート情報を取得する取得手段と、
   自身の表示部に、取得した前記サポート情報を拡張現実として出力する第２出力手段と、
   を備えることを特徴とする端末。
8. 車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力させるコンピュータが実行する整備サポート拡張現実出力方法であって、
   前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得する第１取得手段と、
   取得した前記第１整備作業画像を解析する第１解析手段と、
   整備対象となる車両を特定する特定手段と、
   前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定する第１判定手段と、
   特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定する決定手段と、
   前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力させる出力手段と、
   を備えることを特徴とする整備サポート拡張現実出力方法。
9. 車両を整備する整備作業者の習熟度に応じたサポート情報を、拡張現実として出力させるコンピュータに、
   前記整備作業者による整備作業の風景を撮影した第１整備作業画像を取得するステップ、
   取得した前記第１整備作業画像を解析するステップ、
   整備対象となる車両を特定するステップ、
   前記第１整備作業画像の解析結果に基づいて、前記整備作業者の習熟度を判定するステップ、
   特定した前記車両と、判定した前記習熟度とから、前記整備作業者が当該車両を整備するためのサポート情報を決定するステップ、
   前記整備作業者が利用する端末の表示部に、決定した前記サポート情報を拡張現実として出力させるステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images