JP7255619B2 - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。

例えばプラント内に、流量計等の機器が設けられることが知られている（特許文献１を参照）。

特開２０１８－１８５６１６号公報

操作ログを生成、出力することのできない機器もある。例えば、記憶容量が限られており操作ログを保存できなかったり、消費電力の制約等により操作ログを外部送信できなかったりする機器が該当する。

本発明は、操作ログを生成、出力することのできない機器であってもその操作ログを取得できるようにすることを目的とする。

一側面に係る情報処理装置は、ユーザによって操作されている操作対象の機器を撮像した撮像画像と、操作対象の機器の機種の操作パターン情報とに基づいて、操作対象の機器の操作内容を特定し、操作対象の機器の操作ログを生成する処理部、を備える。

一側面に係る情報処理方法は、ユーザによって操作されている操作対象の機器を撮像した撮像画像と、操作対象の機器の機種の操作パターン情報とに基づいて、操作対象の機器の操作内容を特定し、操作対象の機器の操作ログを生成する。

一側面に係る情報処理プログラムは、コンピュータに、ユーザによって操作されている操作対象の機器を撮像した撮像画像と、操作対象の機器の機種の操作パターン情報とに基づいて、操作対象の機器の操作内容を特定し、操作対象の機器の操作ログを生成する処理を実行させる。

一側面に係る情報処理システムは、ユーザによって操作されている操作対象の機器を撮像する撮像デバイスと、撮像デバイスによって撮像された操作対象の機器の撮像画像と、操作対象の機器の機種の操作パターン情報とに基づいて、操作対象の機器の操作内容を特定し、操作対象の機器の操作ログを生成する情報処理装置と、を備える。

本発明によれば、操作ログを生成、出力することのできない機器であってもその操作ログを取得できるようになる。

実施形態に係る情報処理システムの概略構成の例を示す図である。 撮像デバイスの概略構成の例を示す図である。 撮像画像の例を示す図である。 情報処理装置の概略構成の例を示す図である。 機種特定用情報の例を示す図である。 個体特定用情報の例を示す図である。 操作パターン情報の例を示す図である。 画面遷移の例を意示す図である。 操作ログの例を示す図である。 情報処理システムにおいて実行される処理の例を示すフローチャートである。 情報処理システムにおいて実行される処理の例を示すフローチャートである。 情報処理システムにおいて実行される処理の例を示すフローチャートである。 情報処理システムにおいて実行される処理の例を示すフローチャートである。 変形例に係る情報処理システムの概略構成の例を示す図である。 情報処理システムにおいて実行される処理（情報処理方法）の例を示すフローチャートである。 変形例に係る情報処理システムの概略構成の例を示す図である。 変形例に係る情報処理システムの概略構成の例を示す図である。 情報処理装置のハードウェア構成の例を示す図である。

以下、図面を参照しつつ実施形態について説明する。同一の要素には同一の符号を付し、重複する説明は適宜省略する。

図１は、実施形態に係る情報処理システムの概略構成の例を示す図である。情報処理システム１００は、ユーザＵによって操作されている機器１の操作ログを生成する。さまざまな機器１が存在しうる。機器１の例は、プラント等に設けられた流量計、圧力計、温度計等であり、その場合のユーザＵは、プラントのオペレータ（現場作業員等）であってよい。図１には、ユーザＵが機器１の表示画面１ａを見ながら機器１を手動操作している様子が示される。表示画面１ａはタッチパネルであってよく、その場合、ユーザＵは、表示画面１ａに触れることにより機器１を操作する。機器１は、操作ログの生成、保存及び出力等を備えていなくてもよい。

情報処理システム１００は、撮像デバイス２と、情報処理装置３とを含む。撮像デバイス２及び情報処理装置３は、互いに通信可能に構成される。この例では、撮像デバイス２と、情報処理装置３とは、ネットワークＮを介して接続される。ネットワークＮの例は、インターネット、ＷＡＮ、ＬＡＮ等である。

撮像デバイス２は、撮像機能を有する装置である。撮像デバイス２の例は、カメラ等を備えるスマートフォン、タブレット端末、ラップトップ、ＰＣ等である。撮像デバイス２について、図２も参照して説明する。

図２は、撮像デバイスの概略構成の例を示す図である。撮像デバイス２は、撮像部２１と、表示部２２と、処理部２３と、記憶部２４と、通信部２５と、操作部２６とを含む。

撮像部２１の撮像画像を、撮像画像２１ａと称する。撮像画像２１ａは、機器１を撮像した画像であり、例えば、機器１の機種を特定するための画像、機器１の個体を特定するための画像、機器１の操作内容を特定するための画像等である。詳細は後述する。

本開示において、「画像」及び「撮影」は、「映像」及び「撮影」を含む意味であってよい。以降の説明において、「画像」及び「撮像」は、矛盾のない範囲において「映像」及び「撮影」に適宜読み替えられてよい。画像は、写真、スクリーンショット、スキャン画像、映像フレーム、またはコンテンツオーサリングアプリケーションによって作成される画像であってもよい。

図３は、撮像画像の例を示す図である。例示される撮像画像２１ａは、機器１の操作内容を特定するための画像（例えば映像中の１フレーム）である。ユーザＵによって操作されている機器１が示される。なお、撮像画像２１ａには、撮像時刻の情報も含まれてよい。

図２に戻り、表示部２２は、さまざまな情報を表示する。例えば、表示部２２は、撮像部２１の撮像画像をリアルタイムで表示する。また、表示部２２は、ユーザ操作に供することのできる情報を表示したり、生成された機器１の操作ログ（後述）を表示したりもする。

処理部２３は、機器１の操作ログの生成に関するさまざまな処理を実行する。とくに説明がある場合を除き、本開示で説明される撮像デバイス２の動作は、処理部２３が撮像デバイス２の各要素を制御することによって（撮像デバイス２の全体制御を行うことによって）行われる。

記憶部２４は、撮像デバイス２において実行される処理に必要なさまざまな情報を記憶する。記憶部２４に記憶される情報として、撮像画像２１ａ及びプログラム２４ａが例示される。撮像画像２１ａについては上述のとおりである。プログラム２４ａは、コンピュータに、撮像デバイス２の処理を実行させるプログラムである。例えば、プログラム２４ａによって、機器１の操作ログ生成に関するアプリケーションが実行される。

通信部２５は、情報処理装置３と通信する。撮像デバイス２と情報処理装置３と間で情報の送受信が可能になる。例えば、通信部２５は、撮像画像２１ａを情報処理装置３に送信する。撮像画像２１ａは、撮像部２１によって撮像されるとともにリアルタイムで情報処理装置３に送信されてもよいし、任意のタイミングで記憶部２４から取り出されて情報処理装置３に送信されてもよい。通信部２５は、先に述べたユーザ情報等も、情報処理装置３に送信する。

撮像画像２１ａの情報処理装置３への送信についてさらに述べる。撮像部２１の撮像画像２１ａのうちの、一部の画像だけが、情報処理装置３に送信されてよい。例えば、処理部２３は、撮像画像２１ａのうち、機器１の機種の特定、個体の特定及び操作内容の特定に必要な部分（フレーム等）の画像だけを抽出する（動画の切り出し等を行う）。操作内容の特定に必要な画像を例に挙げて説明すると、例えば、処理部２３は、操作の前後に該当する機器１の表示画面１ａの変化を示す画像だけを抽出してよい。処理部２３は、指、タッチペン等が写っている画像だけを抽出してもよい。抽出は、公知の画像認識技術等を用いて自動的に行われてもよいし、ユーザ操作によって行われてもよい。通信部２５は、抽出された画像を情報処理装置３に送信する。通信部２５は、撮像画像２１ａの画面（映像画面）の変化量が一定以下であれば、情報処理装置３にしなくてもよい。その分、通信負荷が軽減される。

上述のような処理部２３による画像抽出等の処理は、必須ではない。撮像部２１のすべての撮像画像２１ａが自動的に情報処理装置３に送信されるようにすることで、画像抽出等の処理が不要になる分、処理部２３の処理負担が軽減される。

操作部２６は、ユーザＵによる撮像デバイス２の操作（ユーザ操作）を処理する。上述の表示部２２がタッチパネルディスプレイ等を含む場合には、操作部２６の一部又は全部の機能が表示部２２に組み入れられてもよい。

図１に戻り、情報処理装置３は、撮像デバイス２によって送信された撮像画像２１ａに基づいて、機器１の操作ログを生成する。情報処理装置３について、図４も参照して説明する。

図４は、情報処理装置の概略構成の例を示す図である。情報処理装置３は、処理部３１と、通信部３２と、記録部３３と、データベース３４と、記憶部３５とを含む。

処理部３１は、機器１の操作ログの生成に関するさまざまな処理を実行する。とくに説明がある場合を除き、本開示で説明される情報処理装置３の動作は、処理部３１が情報処理装置３の各要素を制御することによって（情報処理装置３の全体制御を行うことによって）行われる。詳細は後述する。

通信部３２は、撮像デバイス２の通信部２５と通信する。情報処理装置３と撮像デバイス２との間で情報の送受信が可能になる。例えば、通信部３２は、撮像デバイス２の通信部２５によって送信された撮像画像２１ａを受信したり、処理部３１によって生成された操作ログを撮像デバイス２の通信部２５に送信したりする。

記録部３３、データベース３４及び記憶部３５は、情報処理装置３において実行される処理に必要なさまざまな情報を記録、登録（保存）及び記憶等する。限定されるわけではないが、例えば、処理部３１からみたときに、記録部３３は、Ｒｅａｄ用の記録部であってよい。データベース３４は、Ｒｅａｄ／Ｗｒｉｔｅ用のデータベースであってよい。記憶部３５は、Ｒｅａｄ用又はＲｅａｄ／Ｗｒｉｔｅ用の記憶部であってよい。

記録部３３に記録される情報として、機種特定用情報３３ａ、個体特定用情報３３ｂ及び操作パターン情報３３ｃが例示される。機種特定用情報３３ａは、撮像画像から機器１の機種を特定するために用いられる情報である。「機種」は、例えば機器１の型名、機器１のバージョン情報、製品ＩＤ等によって特定される。それらが完全に同一でなくとも、実質的に同じ操作及び動作が行われる機器１は、同じ機種として扱われてよい。

図５は、機種特定用情報の例を示す図である。例示される機種特定用情報３３ａは、「機種」と、「機種特定用画像」とが対応付けられた（紐付けられた）情報である。「機種」は、この例では「ｘｘｘ」等として模式的に示される。「機種特定用画像」は、機器１の機種を特定することのできる画像である。図５には、機種特定用画像として、機器１のいくつかの外観画像が例示される。

図４に戻り、個体特定用情報３３ｂは、撮像画像２１ａから機器１の個体情報を特定するために用いられる情報である。個体情報は、機器１を一意に特定することのできる情報であり、例えば製品番号（シリアル番号等）、タグ名等である。

図６は、個体特定用情報の例を示す図である。例示される個体特定用情報３３ｂは、「機種」と、「個体情報」と、「個体特定用画像」とが対応付けられた情報である。「機種」は上述のとおりである。「個体情報」は、この例では、「ｘｘｘ－００１」等として模式的に示される。「個体特定用画像」は、機器１の個体情報を特定することのできる画像である。個体特定用画像は、その機器１に固有の特徴を示す画像であってよい。例えば、同じ機種の機器１どうしでも、互いに異なる外観形状を有しており、そのような部分を含む画像が、個体特定用画像として用いられる。異なる外観形状の例は、凹凸等である。

図４に戻り、操作パターン情報３３ｃは、撮像画像２１ａから機器１の操作内容を特定するための情報である。操作パターン情報３３ｃは、例えば機種ごとに準備される。

図７は、操作パターン情報の例を示す図である。例示される操作パターン情報３３ｃは、「機種」と、「画像由来情報」と、「操作内容」とが対応付けられた情報である。「機種」は上述のとおりである。「画像由来情報」は、その機種の機器の画像から得ることのできる情報である。画像由来情報として、「操作箇所」及び「表示」が例示される。

「操作箇所」は、機器の操作箇所を示す。操作箇所の例は、押下等されるボタン、選択等されるアイコン等であり、図では、「ボタンＡ」及び「アイコンＡ」等として模式的に示される。なお、ボタンは、ハードウェアボタン（物理ボタン）及びソフトウェアボタンのいずれであってもよい。

「表示」は、機器の表示を示す。表示の例は、機器の表示画面に表示された文字列（数字等も含む）、表示画面に発生したタッチフィードバック（タッチパネルのボタン背景色のタッチ中の変化等）及び表示画面に発生した画面遷移等である。図においては、「文字列Ａ」、「タッチフィードバックＡ」及び「画面遷移Ａ」等として模式的に示される。画面遷移について、図８も参照して説明する。

図８は、画面遷移の例を示す図である。機器の表示画面は、メニュー画面１ａ－１、モニタ画面１ａ－２及び設定画面１ａ－３といったさまざまな画面の間を遷移する。画面遷移はユーザ操作に起因して発生するため、画面遷移に操作内容が対応付けられる。この例では、メニュー画面１ａ－１からモニタ画面１ａ－２への画面遷移に、「モニタ画面ボタン」の押下が対応付けられる。モニタ画面１ａ－２からメニュー画面１ａ－１への画面遷移に、「ホームボタン」の押下が対応付けられる。メニュー画面１ａ－１から設定画面１ａ－３への画面遷移に、「設定ボタン」の押下が対応付けられる。設定画面１ａ－３からメニュー画面１ａ－１への画面遷移に、「ホームボタン」の押下が対応付けられる。設定画面１ａ－３からモニタ画面１ａ－２への画面遷移に、「決定」または「キャンセル」の実行が対応付けられる。

なお、上述のメニュー画面１ａ－１、モニタ画面１ａ－２及び設定画面１ａ－３以外にも、さまざまな画面が存在していてよい。他の画面の例は、通信画面等である。

図７に戻り、「操作内容」は、機器１の操作の内容を示す。この例では、操作内容は、「ｙ１」等として模式的に示される。操作内容は、１つの画像由来情報又は複数の画像由来情報の組み合わせに対応付けられる。例えば、或るボタン（ボタンＡ等）の押下に対して、或る操作内容（決定等）が対応付けられる。或る文字列（文字列Ａ等）の表示と或るボタン（ボタンＡ等）の押下との組み合わせに対して、或る操作内容（文字列Ａで表される処理の実行等）が対応付けられてもよい。例えば、機器の表示画面に表示されている文字列「設定保存」の上がタッチフィードバックの色に変化したことに対して、その設定を実行するという操作内容が対応付けられる。これらはほんの一部の例に過ぎず、さまざまな画像由来情報及び／又はそれらの組み合わせと、さまざまな操作内容とが対応付けられる。

上記以外にも、撮像画像２１ａから機器１の操作内容の特定に供することのできるさまざまな情報が、操作パターン情報３３ｃに含まれる。例えば、画面操作を行うポインタ（指、タッチペン等）のパターンも、画像由来情報として操作パターン情報３３ｃに含まれてよい。ユーザＵのジェスチャ等も、画像由来情報として操作パターン情報３３ｃに含まれてよい。機器１に設けられたロータリスイッチの回転、タッチパネルのドラッグ、タッチパネルのフリック等も、画像由来情報として操作パターン情報３３ｃに含まれてよい。

図４に戻り、例えば以上で説明したような機種特定用情報３３ａ、個体特定用情報３３ｂ及び操作パターン情報３３ｃが、記録部３３に記録されている。これらの情報は、例えば機器１の出荷前等の段階で取得され記録部３３に記録される。

データベース３４に記憶される情報として、操作ログ３１ａが例示される。操作ログ３１ａは、機器１の操作履歴を示す。操作ログ３１ａは、後述するように処理部３１によって生成される。

図９は、操作ログの例を示す図である。例示される操作ログ３１ａは、「個体情報」と、「時刻」と、「操作内容」とを対応付けて記述する。「個体情報」及び「操作内容」は上述のとおりである。「時刻」は、操作時刻（日時等）を示し、この例では、「ｔ１」等として模式的に示される。

なお、操作ログ３１ａにおいて、個体情報の記述は必須ではない。操作ログ３１ａは、個体情報を記述しなくてもよいし、或いは、個体情報に代えて機種を記述してもよい。

図４に戻り、データベース３４には、情報処理システム１００を利用するユーザＵの情報（ユーザ情報）も登録されてよい。ユーザ情報の例は、ユーザＩＤ、ユーザ名、所属、機器１の操作場所、撮像デバイス２（のアプリケーション）を利用するためのログイン情報、利用した撮像デバイスのアプリケーションの種類、機器１の撮像画像２１ａ、撮像日時及び撮像場所等である。このようなユーザ情報もデータベース３４に保存されることにより、例えば後に操作ログ３１ａのレビュー等において、ユーザ情報も参照することができる。

記憶部３５に記憶される情報として、プログラム３５ａが例示される。プログラム３５ａは、コンピュータに、情報処理装置３の処理を実行させるプログラム（情報処理プログラム）である。なお、撮像デバイス２から送信された撮像画像２１ａも、記憶部３５に記憶されてよい。

処理部３１について詳述する。処理部３１は、ユーザＵによって操作されている操作対象の機器１の撮像画像２１ａと、その機器１の機種の操作パターン情報３３ｃとに基づいて、その機器１の操作内容を特定し、その機器１の操作ログ３１ａを生成する。主な処理として、機種特定、個体特定及び操作ログ生成の３つの処理について順に説明する。

＜機種特定＞
処理部３１は、機器１の機種を特定する。一実施形態において、処理部３１は、撮像画像２１ａと、記録部３３に記録されている機種特定用情報３３ａとに基づいて、機器１の機種を特定する。

ここでの撮像画像２１ａは、機器１の機種を特定するために撮像された画像であってよい。撮像デバイス２の処理部２３は、そのような画像（例えば機器１の外観画像）の撮像を促すための情報を生成し、表示部２２に表示させる。ユーザ操作により、撮像デバイス２の撮像部２１が機器１を撮像し、通信部２５が撮像画像２１ａを情報処理装置３に送信する。

例えば、処理部３１は、上述のように撮像デバイス２によって送信された撮像画像２１ａとマッチする機種特定用画像を、機種特定用情報３３ａから検索する。画像検索において、画像パターンマッチング等のさまざまな公知の手法が用いられてよい。処理部３１は、撮像画像２１ａとマッチする機種特定用画像に対応付けられている機種を、機器１の機種として特定する。

上述の画像検索において、画像認識等のためのさまざまなアルゴリズムが用いられてよい。画像認識には学習済みモデルが用いられてもよく、これについては、後の操作ログ生成の説明で触れる。

撮像画像２１ａを用いずに機種が特定されてもよい。例えば、機種を示す機種情報が、撮像デバイス２から情報処理装置３に送信され、その機種情報に示される機種が、操作ログ対象の機器１の機種として特定されてよい。機種情報は、ユーザ操作により撮像デバイス２に入力されてよい。

上記以外にも、機種を特定することが可能なさまざまな手法が用いられてよく、これについては、この後の個体特定の説明で触れる。

なお、処理部３１によって特定された機種の情報は、通信部３２が、撮像デバイス２の通信部２５に送信してよい。撮像デバイス２の表示部２２は、機種の情報を表示してよい。ユーザＵは、機種特定が適切に行われたか否かを確認し、次の処理に進むための撮像デバイス２の操作（アプリ操作等）を行ったり、必要であれば再度の機種特定を行ったりすることができる。

＜個体特定＞
処理部３１は、操作ログ生成対象の機器１の個体情報を特定する。個体情報の特定は、初めて操作ログ生成の対象となる機器１に対してのみ行われてよい。一度個体情報が特定されれば、その機器１と個体情報とを対応付けた情報が例えばデータベース３４に登録され（初回の個体登録が完了し）、それ以降は登録された個体情報に紐づけて操作ログが取得される。

一実施形態において、処理部３１は、撮像画像２１ａと、記録部３３に記録されている個体特定用情報３３ｂとに基づいて、機器１の個体情報を特定する。

ここでの撮像画像２１ａは、機器１の個体情報を特定するために撮像された画像であってよい。撮像デバイス２の処理部２３は、そのような画像（例えば機器１に固有の特徴を示す画像）の撮像を促すための情報を生成し、表示部２２に表示させてよい。ユーザ操作により、撮像デバイス２の撮像部２１が機器１を撮像し、通信部２５が撮像画像２１ａを情報処理装置３に送信する。

例えば、処理部３１は、先に特定した機種の個体特定用画像と、上述のように撮像デバイス２によって送信された撮像画像２１ａとを比較する。画像比較において、画像パターンマッチング等のさまざまな公知の手法が用いられてよい。処理部３１は、撮像画像２１ａとマッチする個体特定用画像に対応付け得られている個体情報を、操作ログ生成対象の機器１の個体情報として特定する。先に述べように個体特定用画像は、機器１に固有の特徴（凹凸等）を示す画像であり、このような特徴に基づく個体特定手法は、物体指紋認証等と称されることもある（例えば特願２０１７－５４３４７９）。

上述のような画像比較に限らず、個体情報を特定することが可能なさまざまな手法が用いられてよい。例えば、撮像画像２１ａに対して画像認識処理が実行されてもよい。画像認識等のためのさまざまなアルゴリズムが用いられてよい。画像認識には学習済みモデルが用いられてもよく、これについては、後の操作ログ生成の説明で触れる。

画像認識は、文字認識を含んでよい。文字認識は、個体情報を特定するための文字列等の認識を含んでよい。このような文字列等の認識によって、個体情報が特定される。そのような文字列等は、機器１の銘板、機器１に付されたシール、ラベル等、さらには、機器１の表示画面１ａの表示画面等の画像から抽出されうる。機器１に設けられたバーコード、ＱＲコード（登録商標）等の読み取りによって個体情報が特定されてもよい。

文字認識において、ＯＣＲ等のさまざまなアルゴリズムが用いられてもよい。異なる文字表示フォーマット（ドットマトリックスだけでなく７ｓｅｇ、１１ｓｅｇ、１４ｓｅｇ、１６ｓｅｇ等のさまざまなフォーマットが含まれてよい）に各々対応する複数のアルゴリズムが準備されていてよい。処理部３１は、例えば特定した機種に応じて、最適なアルゴリズムを用いて文字を抽出してよい。

上述の画像認識を用いた手法は、先に説明した機種特定にも適用されてよい。

撮像画像２１ａを用いずに個体情報が特定されてもよい。例えば、個体情報が、撮像デバイス２から情報処理装置３に送信され、操作ログ対象の機器１の個体情報として特定されてよい。個体情報は、ユーザ操作により撮像デバイス２に入力されてよい。

なお、特定された機種と、機器１の位置情報（例えば機器１の近くにある撮像デバイス２の位置情報）との組み合わせから、個体情報が特定されてもよい。位置情報は、ＧＰＳ情報、地磁気情報、或いはこれらの組み合わせ等によって与えられ、例えば撮像デバイス２において取得され、情報処理装置３に送信される。こういった位置情報の利用は公知であるので（例えば特開２０１８－３１５９９号公報）、ここでは詳細な説明は行わない。

なお、処理部３１によって特定された個体情報は、通信部３２が、撮像デバイス２の通信部２５に送信してよい。撮像デバイス２の表示部２２は、個体情報を表示してよい。ユーザＵは、個体特定が適切に行われたか否かを確認し、次の処理に進むための撮像デバイス２の操作（アプリ操作等）を行ったり、必要であれば再度の個体特定を行ったりすることができる。

上述の機種特定及び個体特定は、並列に（同時に）行われてよい。例えば、ＱＲコード、バーコードが機種及び個体情報の両方を与える場合には、一度の読み取りで、機種及び個体情報を同時に特定することができる。なお、個体特定は必須ではない。操作ログの用途（活用目的等）によって、個体特定を必要としたり必要としなかったりするからである。例えば、同じ機種の機器１であっても取り付け場所等の相違を区別したい場合には、個体特定が行われてよい。

＜操作ログ生成＞
処理部３１は、撮像画像２１ａと、特定した機種の機種特定用情報３３ａとに基づいて、機器１の操作内容を特定し、その機器１の操作ログ３１ａを生成する。

ここでの撮像画像２１ａは、機器１の操作を特定するために撮像された画像であり、具体的には、ユーザＵによって操作されている機器１の撮像画像２１ａである（図３等）。撮像デバイス２の処理部２３は、そのような画像の撮像を促すための情報を生成し、表示部２２に表示させてよい。ユーザ操作によって、撮像デバイス２の撮像部２１が機器１を撮像し、通信部２５が撮像画像２１ａを情報処理装置３に送信する。先に説明したように、操作内容の特定に必要な部分（フレーム等）の画像だけが処理部２３によって抽出され、通信部２５によって送信されてよい。

処理部３１は、撮像画像２１ａに対して画像認識処理を実行し、撮像画像２１ａの画像認識結果と、操作パターン情報３３ｃとに基づいて、機器１の操作内容を特定する。画像認識処理として、先に図７を参照して説明した画像由来情報が得られるような画像認識処理が用いられる。例えば、画像認識結果は、画像由来情報（機器１の操作箇所及び表示等）を含む。より具体的に、画像認識結果は、機器１のボタンの押下、アイコンの選択、文字列の表示、タッチフィードバック、ロータリスイッチの回転、タッチパネルのドラッグ、タッチパネルのフリック及び画面遷移等を含んでよい。

例えば、画像認識処理により、機器１の表示画面１ａに表示されている文字列が抽出されたり、表示画面１ａの画面種類（設定画面等）、ユーザの指、タッチペン等の位置が特定されたりする。処理部３１は、それらの抽出結果、特定結果等を検索キーとして、操作パターン情報３３ｃを検索し、操作内容を特定する。それらの抽出結果、特定結果等の各々又は組み合わせに対して、先に図７を参照して説明したように操作内容が対応付けられおり、従って、処理部３１が操作パターン情報３３ｃを参照することによって操作内容が特定される。なお、キャンセルの実行といった、機器１の動作に影響しないような操作も特定されてよい。

処理部３１は、画像認識結果における画面遷移と他の結果との組み合わせと、操作パターン情報３３ｃとに基づいて、機器１の操作内容を特定してもよい。例えば、処理部３１は、機器１のボタンの押下、アイコンの選択、文字列の表示、タッチフィードバック、ロータリスイッチの回転、タッチパネルのドラッグ及びタッチパネルのフリックの少なくとも１つと画面遷移との組み合わせと、操作パターン情報とに基づいて、機器１の操作内容を特定してよい。これにより、画面遷移からだけでは操作内容を一意に特定することが難しい場合等でも、操作内容を特定することができる。

具体例について、再び図８を参照して説明する。機器１の起動時には、測定値を表示するモニタ画面１ａ－２が表示される。表示画面１ａが遷移してメニュー画面１ａ－１が表示されると、画像認識結果に基づいて、表示画面１ａがモニタ画面１ａ－２からメニュー画面１ａ－１に遷移したことが特定される。その画面遷移を与えるメニューボタンの押下が、操作内容として特定される。一方で、設定画面１ａ－３からモニタ画面１ａ－２への遷移を与える操作内容としては、決定及びキャンセルの２つが存在する。このように１つの画面遷移に対して複数の操作内容が対応付けられている場合は、画面遷移だけでなく、上述したような画像認識結果における他の結果と組み合わせることで、操作内容を特定できる。例えば決定に対応するボタンの押下等の特定と組み合わせにより、操作内容を決定操作として特定することができる。

図４に戻り、画像認識には、さまざまな公知のアルゴリズム等が用いられてよい。一実施形態において、学習済みモデルが用いられてよい。学習済みモデルは、例えば、撮像画像２１ａが入力されると、上述のような画像認識結果を出力するように、訓練データを用いて生成される（機械学習される）。処理部３１は、撮像部２１に対応するデータを学習済みモデルに入力し、学習済みモデルから画像認識結果を取得する。

訓練データは、学習用画像を含んで構成されてよい。学習用画像は、機器１の種類、機器１の表示画面１ａに表示される画面の種類（設定画面、モニタ画面、通信画面、操作画面等）、表示されている内容の選択状態（タッチフィードバック）、アラーム発生状態等に分類して与えられてよい。配線の有無、操作する指の有無など、条件の異なる学習用画像も準備されてよい。

指の位置特定の学習に関して、人種の相違にも対応できるように、色、形状等の異なるさまざまな指を含む学習用画像が準備され、訓練データに含められてよい。手袋をした状態、さまざまな異なる形状のタッチペン等にも対応できるように、それらを含む学習用画像が準備され、訓練データに含められてもよい。目印（マーク）等が付された指等を含む学習用画像が準備され、訓練データに含められてよい。

上述のような学習済みモデルは、先に説明した機種特定及び個体特定での画像認識にも用いられてよい。

処理部３１は、特定した操作内容を用いて、操作ログ３１ａを生成する。操作ログ３１ａの例は、先に図９を参照して説明したとおりである。例えば、処理部３１は、特定した個体情報と、時刻と、特定した操作内容とを対応付けて記述する操作ログ３１ａを生成する。時刻情報は、例えば、撮像デバイス２によって送信された撮像画像２１ａから取得される。先にも述べたように個体情報の記述は必須ではなく、処理部３１は、例えば、個体情報に代えて、機種と、時刻と、操作内容とを対応付けて操作ログ３１ａを生成してよい。

処理部３１は、生成した操作ログ３１ａを、データベース３４に登録する（保存する）。撮像デバイス２が情報処理装置３と通信可能であるので、情報処理装置３のデータベース３４に登録された操作ログ３１ａは、ユーザＵが例えば撮像デバイス２を操作して利用することができる。

処理部３１は、生成した操作ログ３１ａの全部をデータベース３４に登録してもよいし、生成した操作ログ３１ａの一部だけをデータベース３４に登録してもよい。例えば、生成された操作ログ３１ａのうち、機器１の特定の機能、動作等に関する部分だけがデータベース３４に登録されてよい。登録対象は適宜設定されてよい。

処理部３１は、生成した又はデータベース３４に登録されているさまざまな操作ログ３１ａの統計処理を実行してもよい。例えば、特定の操作内容の頻度等が算出されてよい。特定の操作内容の例は、キャンセル操作、やり直し操作等、操作効率を妨げるような操作内容である。例えば機器１の操作設計の改善に供することができる。

例えば以上のようにして、操作ログが生成される。生成された操作ログは、ユーザＵにフィードバックされうる。例えば、処理部３１によって生成された操作ログ３１ａがリアルタイムで、或いは、データベース３４に登録された操作ログ３１ａが任意のタイミングで、撮像デバイス２に送信される。撮像デバイス２の表示部２２は、操作ログ３１ａを表示する。処理部２３は、操作ログ３１ａを含むさまざまな形式の表示情報を生成し、表示部２２に表示させてよい。ユーザＵは、表示された操作ログ３１ａを、デバッグ、誤操作防止等の確認等に用いることができる。処理部２３は、表示される操作ログ３１ａのフィルタリングを行ってもよい。フィルタリングの内容は、例えばユーザＵによって設定される。

図１０～図１３は、情報処理システムにおいて実行される処理（情報処理方法）の例を示すフローチャートである。

図１０には、情報処理システム１００の主な処理として、上述の機種特定、個体特定及び操作ログ生成が示される。ステップＳ１において、機種が特定される。ステップＳ２において、個体情報が特定される。ステップＳ３において、操作ログが生成される。各ステップについて、図１１～図１３を参照して説明する。なお、これまでの説明と重複する内容については、適宜説明を省略する。

図１１には、ステップＳ１（図１０）の詳細フローが例示される。ステップＳ１は、ステップＳ１１～ステップＳ１６を含む。

ステップＳ１１において、撮像デバイス２は、機種を特定するための撮像画像を情報処理装置３に送信する。情報処理装置３は、撮像デバイス２によって送信された撮像画像を受信する。

ステップＳ１２において、情報処理装置３は、受信した撮像画像にマッチする機種特定用画像を検索する。情報処理装置３の処理部３１は、記録部３３の機種特定用情報３３ａに含まれる機種特定用画像から、撮像デバイス２によって送信された撮像画像２１ａとマッチする機種特定用画像を検索する。この画像検索により機種が特定されうることは先に説明したとおりである。

ステップＳ１３では、画像検索により機種が特定されたか否かに応じて処理が分岐される。画像検索により機種が特定された場合（ステップＳ１３：Ｙｅｓ）、このフローチャートの処理（ステップＳ１の処理）は終了する。機種が特定されなかった場合（ステップＳ１３：Ｎｏ）、ステップＳ１４に処理が進められる。例えば画像が不鮮明等の理由によって、機種が特定されない場合もある。

ステップＳ１４において、情報処理装置３は、再送要求を撮像デバイス２に送信する。情報処理装置３の処理部３１は、再送要求情報（コマンド等）を生成し、通信部３２は、再送要求を撮像デバイス２の通信部２５に送信する。撮像デバイス２の通信部２５は、再送要求を受信し、表示部２２は、再送要求を受信したこと等の情報を表示する。ユーザＵは、撮像デバイス２を操作して、機種を特定するための撮像画像を改めて撮像するか、機種情報を入力する。

ステップＳ１５において、撮像デバイス２は、撮像画像又は機種情報を情報処理装置３に送信する。情報処理装置３は、撮像画像又は機種情報を受信する。

ステップＳ１６では、画像検索が必要か否かに応じて処理が分岐される。撮像デバイス２によって撮像画像が再送された場合、画像検索が必要になり（ステップＳ１６：Ｙｅｓ）、再びステップＳ１２に処理が移る。撮像デバイス２によって機種情報が送信された場合には、機種が特定され、画像検索は不要になるので（ステップＳ１６：Ｎｏ）、このフローチャートの処理（ステップＳ１の処理）は終了する。

例えば以上のようにして、機種が特定される。なお、上述のフローにおいて、ステップＳ１１の時点で機種情報が送信されてもよい。その場合は、ステップＳ１２等の画像検索に関する処理は適宜スキップされる。

図１２には、ステップＳ２（図１０）の詳細フローが例示される。ステップＳ２は、ステップＳ２１～ステップＳ２７を含む。

ステップＳ２１において、情報処理装置３は、個体特定用画像を記録部から取得する。情報処理装置３の処理部３１は、先のステップＳ１で特定した機種の個体特定用画像を、記録部３３の個体特定用情報３３ｂから取得する。

ステップＳ２２において、撮像デバイス２は、個体を特定するための撮像画像を情報処理装置３に送信する。情報処理装置３は、撮像デバイス２によって送信された撮像画像を受信する。

ステップＳ２３において、情報処理装置３は、画像を比較する。情報処理装置３の処理部３１は、先のステップＳ２１で取得した個体特定用画像と、先のステップＳ２２で撮像デバイス２から送信された撮像画像とを比較する。この画像比較により個体情報が特定されうることは先に説明したとおりである。

ステップＳ２４では、画像比較により個体情報が特定されたか否かに応じて処理が分岐される。画像比較により個体情報が特定された場合（ステップＳ２４：Ｙｅｓ）、このフローチャートの処理（ステップＳ２の処理）は終了する。個体情報が特定されなかった場合（ステップＳ２４：Ｎｏ）、ステップＳ２５に処理が進められる。例えば画像が不鮮明等の理由によって、個体情報が特定されない場合もある。

ステップＳ２５において、情報処理装置３は、再送要求を撮像デバイス２に送信する。ユーザＵは、撮像デバイス２を操作して、個体情報を特定するための撮像画像を改めて撮像するか、個体情報を入力する。

ステップＳ２６において、撮像デバイス２は、撮像画像又は個体情報を情報処理装置３に送信する。情報処理装置３は、撮像画像又は個体情報を受信する。

ステップＳ２７では、画像比較が必要か否かに応じて処理が分岐される。撮像デバイス２によって撮像画像が再送された場合、画像比較が必要になり（ステップＳ２７：Ｙｅｓ）、再びステップＳ２３に処理が移る。撮像デバイス２によって個体情報が送信された場合には、個体情報が特定され、画像比較は不要になるので（ステップＳ２７：Ｎｏ）、このフローチャートの処理（ステップＳ２の処理）は終了する。

例えば以上のようにして、個体情報が特定される。なお、上述のフローにおいて、ステップＳ２２の時点で個体情報が送信されてもよい。その場合は、ステップＳ２３等の画像比較に関する処理は適宜スキップされる。

図１３には、ステップＳ３（図１０）の詳細フローが例示される。ステップＳ３は、ステップＳ３１～ステップＳ３５等を含む。

ステップＳ３１において、情報処理装置３は、操作パターン情報を取得する。情報処理装置３の処理部３１は、先のステップＳ１で特定した機種の操作パターン情報３３ｃを、記録部３３から取得する。

ステップＳ３２において、撮像デバイス２は、操作内容を特定するための撮像画像を準備する。撮像デバイス２の撮像部２１は、ユーザＵによって操作されている機器１を撮像する。必要に応じて、処理部２３は、撮像部２１の撮像画像２１ａの一部だけを抽出する。

ステップＳ３３において、撮像デバイス２は、撮像画像を情報処理装置３に送信する。撮像デバイス２の通信部２５は、先のステップＳ３２で準備された撮像画像２１ａを、情報処理装置３の通信部３２に送信する。情報処理装置３の通信部３２は、撮像画像２１ａを受信する。

ステップＳ３４において、情報処理装置３は、操作内容を特定する。情報処理装置３の処理部３１は、先のステップＳ３１で取得した操作パターン情報３３ｃと、先のステップＳ３３で撮像デバイス２によって送信された撮像画像２１ａとに基づいて、機器１の操作内容を特定する。

ステップＳ３５において、情報処理装置３は、操作ログを生成し、データベースに登録する。情報処理装置３の処理部３１は、先のステップＳ３４で特定した操作内容に基づいて操作ログ３１ａを生成し、データベース３４に登録する。

上記のステップＳ３２～ステップＳ３５の処理が、繰り返し実行される。例えば２回目のそれらの処理が、ステップＳ３２－２～ステップＳ３５－２として図示される。撮像デバイス２による撮像画像が送信されなくなる等して操作ログ生成に関する処理が終了すると、このフローチャートの処理（ステップＳ３の処理）は終了する。

例えば以上のようにして、機器１の操作内容が特定され、その機器１の操作ログ３１ａが生成される。

以上説明した情報処理システム１００によれば、操作ログを生成、出力することのできない機器１であってもその操作ログ３１ａを生成して取得（収集）できる。機器１に対するファームウェアの機能追加等は不要である。機器１を撮像した撮像画像２１ａを用いて自動的に機種特定、個体特定及び操作ログ生成等が行われるので、ユーザＵの手間を最小限に抑えることができる。本体に識別情報（バーコード、ＱＲコード等）の刻印等がなくとも、個体情報を特定し、操作ログ３１ａに含めることもできる。機器１と非接続、非通信で機器１の情報（撮像画像２１ａ）が取得され、外部情報（情報処理装置３内の情報等）と紐付けられるようになっているので、機器１の処理負担は増加しない。操作ログ３１ａがデータベース３４に登録される（保存される）ことにより、例えばユーザＵが過去に機器１に対して行った操作（設定変更等を含む）を確認することができる。

以上、本開示の一実施形態について説明した。開示される技術は、上記実施形態に限定されない。いくつかの変形例について述べる。

一実施形態において、操作ログ３１ａのエビデンスとして、機器１の操作の一部始終を示す撮像画像２１ａ（映像）が保存されてよい。保存には、専用のデータベースが用いられてよい。これについて、図１４を参照して説明する。

図１４は、変形例に係る情報処理システムの概略構成の例を示す図である。例示される情報処理システム１００Ａは、情報処理システム１００（図１）と比較して、撮像デバイス２に代えて撮像デバイス２Ａを含む点、及び、保存用データベース４をさらに含む点において相違する。

保存用データベース４は、ネットワークＮを介して、撮像デバイス２及び情報処理装置３それぞれと接続される。操作ログ生成時に、撮像デバイス２Ａは、撮像部２１の撮像画像を保存用データベース４にも送信する。保存用データベース４は、撮像画像を保存する。なお、保存用データベース４の機能は、情報処理装置３に（例えばデータベース３４に）組み入れられてもよい。

情報処理システム１００Ａにおいては、操作ログ生成時の処理（図１０及び図１３のステップＳ３）において、撮像画像２１ａを保存用データベース４に保存するための処理が追加される。

図１５は、情報処理システムにおいて実行される処理（情報処理方法）の例を示すフローチャートである。例示されるステップＳ３Ａの処理は、ステップＳ３（図１３）と比較して、ステップＳ４１～ステップＳ４４の処理をさらに含む点において相違する。

ステップＳ４１において、撮像デバイス２Ａは、撮像画像の送信を開始する。撮像デバイス２Ａの撮像部２１は、ユーザＵによって操作されている機器１の撮像画像２１ａを撮像し、保存用データベース４に送信する。保存用データベース４は、撮像画像２１ａを受信する。

ステップＳ４２において、保存用データベース４は、撮像画像の保存を開始する。保存用データベース４は、撮像デバイス２Ａによって送信された撮像画像２１ａを保存する。

ステップＳ３１～ステップＳ３５等の処理は、詳細は先に図１２を参照して説明したとおりであるので、ここでは説明は繰り返さない。

ステップＳ４３において、撮像デバイス２Ａは、撮像画像２１ａの保存用データベース４への送信を終了する。

ステップＳ４４において、保存用データベース４は、撮像画像２１ａの保存を終了する。

例えば以上のようにして、ユーザＵによる機器１の操作の一部始終を示す撮像画像２１ａ（映像）が、操作ログ３１ａのエビデンスとして保存用データベース４に保存される。

なお、上記では、撮像画像２１ａがリアルタイムで保存用データベース４に送信され保存される例について説明した。ただし、撮像画像２１ａは、撮像デバイス２の記憶部２４に記憶され、その後（例えばステップＳ４３の時点で）、まとめて保存用データベース４に送信され保存されてもよい。

保存用データベース４は、撮像画像２１ａに操作ログ生成時刻（操作ログ取得時刻）のタイムスタンプを付加して保存してもよい。これにより、任意の時刻の操作ログ３１ａのエビデンスとなる撮像画像２１ａを検索等することが可能になる。

一実施形態において、撮像デバイス２及び情報処理装置３の機能が、いずれか一方に集約されてよい。例えば、情報処理装置３の機能が、撮像デバイス２に組み入れられてもよい。或いは、撮像デバイス２の機能が、情報処理装置３に組み入れられてもよい。撮像デバイス２と情報処理装置３とを接続するネットワーク環境が不要になる。これについて、図１６を参照して説明する。

図１６は、変形例に係る情報処理システムの概略構成の例を示す図である。例示される情報処理システム１００Ｂでは、これまで説明した撮像デバイス２及び情報処理装置３の機能が、撮像デバイス２Ｂ（或いは情報処理装置３Ｂ）に集約されている。先に説明した図１に示されるネットワークＮを介した通信が無くとも、機器１の操作ログを生成することができる。

一実施形態において、撮像デバイス２側における情報処理装置３との通信機能が、撮像デバイス２の外部に設けられてよい。これについて、図１７を参照して説明する。

図１７は、変形例に係る情報処理システムの概略構成の例を示す図である。例示される情報処理システム１００Ｃでは、撮像デバイス２Ｃは、通信装置５に接続される。通信装置５は、ネットワークＮを介して、情報処理装置３と通信可能に接続される。撮像デバイス２Ｃは、通信装置５を用いて、情報処理装置３と通信する。例えば、撮像デバイス２Ｃとしてカメラ、ビデオカメラ等が用いられ、通信装置５としてＰＣ等が用いられてよい。撮像機能を備える装置と、通信機能を備える装置とを組み合わせて用いることによっても、これまでと同様に、機器１の操作ログ３１ａを取得することができる。

一実施形態において、情報処理装置３による処理は、クラウドコンピューティング等によって実現されてよい。例えば、情報処理装置３の処理部３１、記録部３３及びデータベース３４の機能の一部又は全部が、情報処理装置３の外部の装置に設けられてよい。情報処理装置３は、そのような外部の装置と通信することによって、これまで説明した処理を実行してよい。撮像デバイス２が直接そのような外部の装置と通信することで、これまで説明した処理が実行されてもよい。

図１８は、情報処理装置のハードウェア構成の例を示す図である。例えばこのようなハードウェア構成を備えるコンピュータ等が、これまで説明した情報処理装置３として機能する。ハードウェア構成として、バス等で相互に接続される通信装置３ａ、表示装置３ｂ、記憶装置３ｃ、メモリ３ｄ及びプロセッサ３ｅ等が例示される。記憶装置３ｃの例は、ＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等である。なお、メモリ３ｄは、記憶装置３ｃに含まれてもよい。

通信装置３ａは、ネットワークインタフェースカードなどであり、他の装置との通信を可能にする。表示装置３ｂは、例えばタッチパネルやディスプレイなどである。記憶装置３ｃは、記録部３３、データベース３４及び記憶部３５等として機能する。

プロセッサ３ｅは、プログラム３５ａ（図４）を記憶装置３ｃ等から読み出してメモリ３ｄに展開することで、コンピュータを、情報処理装置３として機能させる。機能は、これまで説明したような処理部３１の機能を含む。

プログラム３５ａは、インターネットなどのネットワークを介して配布することができる。また、プログラム３５ａは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

情報処理装置３以外の装置、例えば撮像デバイス２も、上述と同様のハードウェア構成を備えてよい。

以上説明した技術は、例えば次のように特定される。図１～図９等を参照して説明したように、情報処理装置３は、ユーザＵによって操作されている操作対象の機器１を撮像した撮像画像２１ａと、操作対象の機器１の機種の操作パターン情報３３ｃとに基づいて、操作対象の機器１の操作内容を特定し、操作対象の機器１の操作ログ３１ａを生成する処理部３１、を備える。

上記の情報処理装置３によれば、操作対象の機器１の撮像画像２１ａから、その操作ログ３１ａが生成される。従って、操作ログを生成、出力することのできない機器１（操作ログの掃き出し機能を備えていない機器１等）であってもその操作ログ３１ａを取得できるようになる。

図７等を参照して説明したように、操作パターン情報３３ｃは、機種と、その機種の機器の画像から得ることのできる画像由来情報と、操作内容とが対応付けられた情報であり、処理部３１は、操作ログ３１ａの画像認識結果と、操作パターン情報３３ｃとに基づいて、操作対象の機器１の操作内容を特定してよい。例えばこのように画像認識結果及び操作パターン情報３３ｃを利用して、操作対象の機器１の操作内容を特定することができる。

図７等を参照して説明したように、操作パターン情報３３ｃにおける画像由来情報は、機器の操作箇所及び表示の少なくとも一方を含み、画像認識結果は、操作対象の機器１の操作箇所及び操作対象の機器１の表示の少なくとも一方を含んでよい。画像由来情報は、機器のボタンの押下、アイコンの選択、文字列の表示、タッチフィードバック、ロータリスイッチの回転、タッチパネルのドラッグ、タッチパネルのフリック及び画面遷移の少なくとも１つを含み、画像認識結果は、操作対象の機器１のボタンの押下、アイコンの選択、文字列の表示、タッチフィードバック、ロータリスイッチの回転、タッチパネルのドラッグ、タッチパネルのフリック及び画面遷移の少なくとも１つを含んでよい。例えばこのような画像由来情報を単独で又は組み合わせて用いることにより、操作対象の機器１の操作内容を特定することができる。

図７及び図８等を参照して説明したように、処理部３１は、画像認識結果における操作対象の機器１のボタンの押下、アイコンの選択、文字列の表示、タッチフィードバック、ロータリスイッチの回転、タッチパネルのドラッグ及びタッチパネルのフリックの少なくとも１つと画面遷移との組み合わせと、操作パターン情報３３ｃとに基づいて、操作対象の機器１の操作内容を特定してよい。これにより、画面遷移からだけでは操作内容を一意に特定することが難しい場合等でも、操作対象の機器１の操作内容を特定することができる。

図５等を参照して説明したように、処理部３１は、撮像画像２１ａと、機種特定用画像（例えば記録部３３の機種特定用情報３３ａに含まれる）とに基づいて、操作対象の機器１の機種を特定し、撮像画像２１ａと、特定した機種の操作パターン情報３３ｃとに基づいて、操作対象の機器１の操作内容を特定してよい。これにより、撮像画像２１ａから、操作対象の機器１の機種を特定することができる。

図６及び図９等を参照して説明したように、処理部３１は、撮像画像２１ａと、機器に固有の特徴を示す個体特定用画像（例えば記録部３３の個体特定用情報３３ｂに含まれる）とに基づいて、操作対象の機器１の個体情報を特定し、特定した個体情報と、特定した操作内容とを対応付けて操作ログ３１ａを生成してよい。これにより、撮像画像２１ａから、操作対象の機器１の個体情報を特定でき、また、個体情報で識別された操作ログ３１ａを生成することができる。

図４等を参照して説明したように、処理部３１は、生成した操作ログ３１ａを、ユーザＵが利用できるように、データベース３４に登録してよい。これにより、生成した操作ログ３１ａをユーザＵにフィードバックすることができる。

図１０～図１３等を参照して説明した情報処理方法も、実施形態の１つである。情報処理方法は、ユーザＵによって操作されている操作対象の機器１を撮像した撮像画像２１ａと、操作対象の機器１の機種の操作パターン情報３３ｃとに基づいて、操作対象の機器１の操作内容を特定し、操作対象の機器１の操作ログ３１ａを生成する（ステップＳ３、ステップＳ３４及びステップＳ３５）。このような情報処理方法によっても、これまで説明したように、操作ログを生成、出力することのできない機器１であってもその操作ログ３１ａを取得できるようになる。

図４及び図１８等を参照して説明したプログラム３５ａも、実施形態の１つである。プログラム３５ａは、コンピュータに、ユーザＵによって操作されている操作対象の機器１を撮像した撮像画像２１ａと、操作対象の機器１の機種の操作パターン情報３３ｃとに基づいて、操作対象の機器１の操作内容を特定し、操作対象の機器１の操作ログ３１ａを生成する処理を実行させる情報処理プログラムである。このようなプログラム３５ａによっても、これまで説明したように、操作ログを生成、出力することのできない機器１であってもその操作ログ３１ａを取得できるようになる。なお、図１８等を参照して説明したように、プログラム３５ａが記録された記録媒体も、実施形態の１つである。

図１等を参照して説明した情報処理システム１００も、実施形態の１つである。情報処理システム１００は、ユーザＵによって操作されている操作対象の機器１を撮像する撮像デバイス２と、撮像デバイス２によって撮像された操作対象の機器１の撮像画像２１ａと、操作対象の機器１の機種の操作パターン情報３３ｃとに基づいて、操作対象の機器１の操作内容を特定し、操作対象の機器１の操作ログ３１ａを生成する情報処理装置３と、を備える。このような情報処理システム１００によっても、これまで説明したように、操作ログを生成、出力することのできない機器１であってもその操作ログ３１ａを取得できるようになる。

開示される技術は、次のように特定されてもよい。情報処理システム１００は、機器１の画像を撮像する撮像デバイス２と、撮像デバイス２が撮像した撮像画像２１ａを（例えば撮像デバイス２のアプリケーションを介して）受信するようにコンピュータを動作させる関連プログラム（例えばプログラム３５ａ）と、機種（製品ＩＤ等）及びこれに紐付けられた表示画面情報等が記録された記録部３３と、機器１の操作ログ３１ａを登録するデータベースと、を備える。関連プログラムは、受信した撮像画像２１ａを解析して機種を特定し、機種に紐付けられた表示文字列情報、表示アイコン、画像情報、表示画面種類情報、画面遷移情報のいずれか１つ以上を記録部３３から検索し、検索した情報を使用して機器１の操作ログ３１ａを取得する。

撮像デバイス２の撮像部２１は、機器１に取り付けられたＱＲコード、表示画面１ａ、機器１の全体もしくは一部、形状、表示中文字列、バーコード、銘版、色、アイコン、表示画像、表示中の画面種類、ユーザＵのジェスチャ情報等の少なくとも１つ以上を含む画像を、撮像画像２１ａとして撮像してよい。

撮像画像２１ａは、写真、スクリーンショット、画像スキャン、映像フレーム、またはコンテンツオーサリングアプリケーションによって作成される画像、映像（動画）等によって得られてよい。

撮像デバイスは、ビデオ、カメラ等の撮影機器と、ＰＣ等とが組み合わされた構成を備えよい。

記録部３３、データベース３４及びプログラム３５ａの機能の全部又は一部が、撮像デバイス２内、撮像デバイス２とネットワークＮを介して接続された情報処理装置３内、保存用データベース４内、その他の外部ストレージ等に備えられてよい。

撮像画像２１ａの画像解析（例えば情報処理装置３の処理部３１による画像認識処理等）において、機器１の形状、表示中文字列、ＱＲコード等の識別情報、色、アイコン、表示画像、表示中の画面種類などのいずれか１つ以上が解析され、記録部３３の検索キーとして使用されてよい。

機種（製品ＩＤ等）の特定においては、画像解析以外に、ユーザＵが例えば撮像デバイス２に手動入力した機種情報を通信で取得されてもよい。この場合、機種特定のための撮像は不要である。

記録部３３には、機器の表示文字列、表示画面種類、表示アイコン種類、ハードウェア/ソフトウェアのボタン等の入力部品の種類、メニュー種類、タッチフィードバックの表示方法、画面遷移のいずれか一つを含む情報（例えば機種特定用情報３３ａ）が記録されていてよい。

記録部３３には、個体特定のための特定部の画像データ、画像データから抽出された特徴点情報（凹凸等）等が記録部３３に記録されたり、関連付けられたりしてよい。

データベース３４には、ユーザのユーザＩＤ、ユーザ名、所属、操作場所、前記撮像デバイスのアプリケーションを利用するためのログイン情報、利用したアプリケーションの種類、操作対象の機器１の撮像画像、撮像日時及び撮像場所の少なくとも１つが登録されてもよい。

撮像画像２１ａ、撮像画像２１ａから特定した機種、個体情報又はアプリケーション（撮像デバイス２に）入力されたそれらの情報、撮像画像２１ａの画像解析結果、生成された操作ログ３１ａ等が、データベース３４、保存用データベース４等のデータベースに登録（収集等）されてよい。データベースに登録等された情報が検索されてよい。

データベースに登録等された情報、検索された情報等が統計処理されてよい。

例えば記録部３３は予め情報が記録され、Ｒｅａｄのみが可能な記憶領域であってよい。データベース３４は、情報の収集、検索等が行えるようにＲｅａｄ及びＷｒｉｔｅが可能な記憶領域であってよい。

１ 機器
２ 撮像デバイス
２１ 撮像部
２１ａ 撮像画像
２２ 表示部
２３ 処理部
２４ 記憶部
２４ａ プログラム（アプリケーション）
２５ 通信部
２６ 操作部
３ 情報処理装置
３１ 処理部
３１ａ 操作ログ
３２ 通信部
３３ 記録部
３３ａ 機種特定用情報
３３ｂ 個体特定用情報
３３ｃ 操作パターン情報
３４ データベース
３５ 記憶部
３５ａ プログラム（情報処理プログラム）
４ 保存用データベース
５ 通信装置
１００ 情報処理システム

Claims (11)

1. ユーザによって操作されている操作対象の機器を撮像した撮像画像と、前記操作対象の機器の機種の操作パターン情報とに基づいて、前記操作対象の機器の操作内容を特定し、前記操作対象の機器の操作ログを生成する処理部、
   を備える、
   情報処理装置。
2. 前記操作パターン情報は、機種と、その機種の機器の画像から得ることのできる画像由来情報と、操作内容とが対応付けられた情報であり、
   前記処理部は、前記撮像画像の画像認識結果と、前記操作パターン情報とに基づいて、前記操作対象の機器の操作内容を特定する、
   請求項１に記載の情報処理装置。
3. 前記操作パターン情報における前記画像由来情報は、機器の操作箇所及び機器の表示の少なくとも一方を含み、
   前記画像認識結果は、前記操作対象の機器の操作箇所及び前記操作対象の機器の表示の少なくとも一方を含む、
   請求項２に記載の情報処理装置。
4. 前記画像由来情報は、機器のボタンの押下、アイコンの選択、文字列の表示、タッチフィードバック、ロータリスイッチの回転、タッチパネルのドラッグ、タッチパネルのフリック及び画面遷移の少なくとも１つを含み、
   前記画像認識結果は、前記操作対象の機器のボタンの押下、アイコンの選択、文字列の表示、タッチフィードバック、ロータリスイッチの回転、タッチパネルのドラッグ、タッチパネルのフリック及び画面遷移の少なくとも１つを含む、
   請求項２又は３に記載の情報処理装置。
5. 前記画像認識結果は、前記操作対象の機器の前記ボタンの押下、前記アイコンの選択、前記文字列の表示、前記タッチフィードバック、前記ロータリスイッチの回転、前記タッチパネルのドラッグ及び前記タッチパネルのフリックの少なくとも１つと前記操作対象の機器の前記画面遷移とを含み、
   前記処理部は、前記画像認識結果における前記操作対象の前記機器のボタンの押下、前記アイコンの選択、前記文字列の表示、前記タッチフィードバック、前記ロータリスイッチの回転、前記タッチパネルのドラッグ及び前記タッチパネルのフリックの少なくとも１つと前記操作対象の機器の前記画面遷移との組み合わせと、前記操作パターン情報とに基づいて、前記操作対象の機器の操作内容を特定する、
   請求項４に記載の情報処理装置。
6. 前記処理部は、
   前記撮像画像と、機種特定用画像とに基づいて、前記操作対象の機器の機種を特定し、
   前記撮像画像と、特定した機種の操作パターン情報とに基づいて、前記操作対象の機器の操作内容を特定する、
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記処理部は、
   前記撮像画像と、機器に固有の特徴を示す個体特定用画像とに基づいて、前記操作対象の機器の個体情報を特定し、
   特定した個体情報と、特定した操作内容とを対応付けて前記操作ログを生成する、
   請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記処理部は、生成した前記操作ログを、前記ユーザが利用できるように、データベースに登録する、
   請求項１～７のいずれか１項に記載の情報処理装置。
9. ユーザによって操作されている操作対象の機器を撮像した撮像画像と、前記操作対象の機器の機種の操作パターン情報とに基づいて、前記操作対象の機器の操作内容を特定し、前記操作対象の機器の操作ログを生成する、
   情報処理方法。
10. コンピュータに、ユーザによって操作されている操作対象の機器を撮像した撮像画像と、前記操作対象の機器の機種の操作パターン情報とに基づいて、前記操作対象の機器の操作内容を特定し、前記操作対象の機器の操作ログを生成する処理を実行させる情報処理プログラム。
11. ユーザによって操作されている操作対象の機器を撮像する撮像デバイスと、
    前記撮像デバイスによって撮像された前記操作対象の機器の撮像画像と、前記操作対象の機器の機種の操作パターン情報とに基づいて、前記操作対象の機器の操作内容を特定し、前記操作対象の機器の操作ログを生成する情報処理装置と、
    を備える、
    情報処理システム。

Images