JP5814689B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、ストリーミング映像を再生する為の技術に関するものである。

情報家電やOA機器などの情報機器やPCなどで動作するアプリケーションソフトウェアを使用するためには、利用者による各種の設定や操作を必要とする。例えば、複写機のコピー設定には、用紙サイズ、倍率、濃度、白黒／カラー、出力順など、種々の項目があり、コピー操作は、これらを正しく設定した上で行う必要がある。設定項目の中には、倍率や濃度、出力順のように標準的な値が既定値として設定されている項目や、用紙サイズや白黒／カラーのように所定のプログラムによって適当な値を自動的に設定可能な項目など、利用者の設定操作が省略可能な項目がある。しかし、これらの設定が利用者の意図にそぐわない場合、利用者は手動で設定を行う必要がある。また、着色剤切れに対する復旧操作を例にとると、機器を正常な状態に回復させるためには、不足している着色剤を特定し、カートリッジの交換を行う必要がある。これらの復旧操作において、着色剤の特定などは所定のプログラムを用いて自動的に行うことが可能であるものの、カートリッジ交換のような作業は、人手を介して行わなければならない。

従来、これらの設定や操作などの作業手順は、情報機器やアプリケーションに付属の紙媒体、あるいは電子媒体のマニュアル／ヘルプに記載されており、利用者は同マニュアル／ヘルプを適宜参照することにより作業手順の確認や実施を行っていた。特に、電子媒体のマニュアル／ヘルプでは、利用者に対してより理解しやすい作業手順を示すために、紙媒体では表現できないアニメーションや映像などもガイダンス情報として利用している。また、インターネットの普及に伴って、これらの情報はウェブ上でも公開されるようになった。利用者は、ウェブで公開されているQ＆A集などからガイダンス情報を入手することで、所望の作業手順を確認することができる。さらに、液晶パネルのような表示UI（ユーザインターフェース）を持つ情報機器の場合、表示UI上にガイダンス情報を表示する方法も利用されている。

上述したようなマニュアルやヘルプ、Q&Aを参照して作業手順を確認する方法の場合、情報機器の機器状態やアプリケーションの操作状態などを利用者が判断し、状態に応じた適切な参照項目を探し出す作業を必要とする。一方で、情報機器やアプリケーションの高機能化・多機能化に伴い、設定項目や操作内容は一層複雑化してきており、利用者が適切なガイダンス情報を得ることが困難な場合がある。

また、特に映像データを含むガイダンス情報を情報機器やアプリケーションに組み込む場合、テキストデータや画像データに比べてデータサイズが大きく、記憶容量を圧迫するという問題がある。

以上のような問題に対し、特許文献１によれば、マニュアルとしてガイダンス映像を使用すること、さらには、ガイダンス映像にテキストを別途表示することが開示されている。

特開2009-096069号公報

しかしながら、先行技術では、機器個別状態に応じたガイダンス映像を表示する場合に、多種多様な部品で構成されている装置においては、数多くの機器個別状態が存在することとなる。そのため、機器個別状態の組み合わせ数だけガイダンス映像を作成すると、作成工数が膨大になり、管理負担が増大するという問題がある。

本発明はこのような問題に鑑みてなされたものであり、映像マニュアル作成・管理の負担を軽減しつつ、より有益で分かりやすいガイド表示を実現するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は、機器を構成する部品の状態を示す部品状態情報を取得する取得手段と、
前記機器を構成する部品の部品状態情報を用いて、規定の状態にある部品を特定状態部品として特定する特定手段と、
動画像において前記特定状態部品が登場するフレームに対して、該特定状態部品の部品状態情報に応じたメッセージを合成することで、合成フレームを生成する合成手段と、
前記合成フレームを再生手段に再生させる制御手段と
を備え、
前記合成手段は更に、前記動画像において前記特定状態部品が登場するフレーム内の該特定状態部品が登場する位置に対応させて、該特定状態部品の部品状態情報に応じたメッセージを合成する
ことを特徴とする。

本発明の構成によれば、映像マニュアル作成・管理の負担を軽減しつつ、より有益で分かりやすいガイド表示を実現することができる。

システムの機能構成例を示すブロック図。 映像再生装置１００が行う処理のフローチャート。 ステップＳ２０５における処理のフローチャート。 ステップＳ２０７における処理のフローチャート。 システムの機能構成例を示すブロック図。 映像再生装置５００が行う処理のフローチャート。 ステップＳ６０５における処理のフローチャート。 ステップＳ６０７における処理のフローチャート。 動画像の表示例を示す図。 動画像の表示例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。

［第１の実施形態］
先ず、本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、動画像を処理して再生する画像処理装置として機能する映像再生装置１００と、動画像や該動画像に係る情報を配信する装置として機能する情報配信装置２００と、を有する。映像再生装置１００と情報配信装置２００とは互いにネットワークを介してデータ通信を行うことができる。このネットワークには、ＬＡＮやインターネットなどの既知のネットワークを適用することができる。もちろん、このネットワークは有線、無線の何れであってもよい。先ず、映像再生装置１００について説明する。

状態取得部１０１は、機器（ここでは映像再生装置１００）の状態（機器状態）を示す情報である機器情報や、該機器の各部品の状態を示す情報である構成部品情報（部品状態情報）を取得する。

機器情報は、例えば、映像再生装置１００が有するカバーが開状態にあるのか閉状態にあるのか、映像再生装置１００が有するタッチパネルに対してどのような操作がなされたのか等を示すものである。例えば、ユーザが映像再生装置１００が有するカバーを開状態にすると、カバーが開状態にあることを示す機器情報が状態取得部１０１に入力されることになる。状態取得部１０１は、機器情報については通信部１０６を介して情報配信装置２００に送信する。

構成部品情報は、機器の各部品の使用期間や消耗の度合い等、各部品の状態（構成部品状態）を示すものである。状態取得部１０１は、機器の各部品の構成部品情報を参照して、規定の状態にある部品を特定状態部品として特定する。例えば、消耗の度合いが規定の度合い以上である部品を、特定状態部品として特定する。そして状態取得部１０１は、特定状態部品の構成部品情報のリスト（消耗部品リスト）を作成し、作成したリストをメタ情報取得部１０２及びガイド情報生成部１０３に送出する。なお、この消耗部品リストには、構成部品情報だけでなく、特定状態部品に関する様々な情報を含めるようにしてもよい。

メタ情報取得部１０２は、状態取得部１０１が送信した機器情報に応じて情報配信装置２００から送信されたメタ情報を、通信部１０６を介して受信する。このメタ情報は、「状態取得部１０１が送信した機器情報に対応する動画像において、該機器の各部品が登場するフレームの位置や該フレーム内で該各部品が登場する座標位置」を含むメタ情報である。即ち、このメタ情報には、機器の部品毎に、該部品が何フレーム目の画像中のどの座標位置に登場するのかが登録されている。そしてメタ情報取得部１０２は、状態取得部１０１から上記のリストを受けると、メタ情報から、このリストに構成部品情報が登録されている特定状態部品に対応する情報を取得する。このメタ情報から取得した情報を以下では合成パラメータと呼称する場合がある。そしてメタ情報取得部１０２は、この取得した合成パラメータを合成表示部１０４及び再生制御部１０５に送出する。

ガイド情報生成部１０３は、状態取得部１０１から上記のリストを受けると、このリストに登録されている構成部品情報に対応するメッセージ（ガイド情報、ガイダンス情報）を生成し、生成したガイド情報を合成表示部１０４に送出する。もちろん、ガイド情報を改めて生成せずとも、リストに登録されている構成部品情報に対応するメッセージを予め作成しておき、必要に応じて対応するメッセージを読み出すようにしてもよい。

再生制御部１０５は、ＤＥＭＵＸ、デコーダ等で構成されており、状態取得部１０１が送信した機器情報に応じて情報配信装置２００から送信された動画像を、通信部１０６を介して受信する。例えば、情報配信装置２００からＭＰＥＧ２−ＴＳストリーミング映像が送信された場合は、このＭＰＥＧ２−ＴＳストリーミング映像から映像データを抽出してデコードし、そのデコード結果を合成表示部１０４に供給する。更に再生制御部１０５は、メタ情報取得部１０２から合成パラメータを受ける。そして再生制御部１０５は、情報配信装置２００から受けた各フレームの画像を順次合成表示部１０４に送出する。その際、メタ情報取得部１０２から受けた合成パラメータが示す、特定状態部品が登場するフレームについては、指定された再生方法で再生すべく、フレームの送出を制御する。

合成表示部１０４は、再生制御部１０５から受けた各フレームの画像を順次ディスプレイ１０９に対して送出することで、ディスプレイ１０９の画面上に各フレームの画像を再生する。その際、メタ情報取得部１０２から受けた合成パラメータが示す、特定状態部品が登場するフレームに対しては、該フレームに対してガイド情報生成部１０３が生成したメッセージを合成して合成フレームを生成し、合成フレームをディスプレイ１０９に送出する。

なお、各フレームの画像の送出先についてはディスプレイ１０９に限定するものではなく、例えばハードディスクドライブ装置などの情報記憶装置であってもよいし、ＰＣ（パーソナルコンピュータ）等のコンピュータであってもよい。

通信部１０６は、映像再生装置１００が情報配信装置２００とデータ通信を行うために動作するものであり、ＨＴＴＰやＲＴＰ／ＲＴＳＰ等のプロトコルに従って、情報配信装置２００とのデータ通信を行う。

次に、情報配信装置２００について説明する。情報配信装置２００は、通信部１０７とサーバ１０８とを有する。なお、図１では通信部１０７はサーバ１０８とは別個の構成要件として示されているが、通信部１０７を組み込んだサーバ１０８を情報配信装置２００としてもよい。

通信部１０７は、通信部１０６と同様の動作を行うものであり、映像再生装置１００とのデータ通信を行うために使用するものである。サーバ１０８は、映像再生装置１００から送信された機器情報に対応する動画像及びメタ情報を映像再生装置１００に返信する。

次に、映像再生装置１００が行う処理について、同処理のフローチャートを示す図２を用いて説明する。図２のフローチャートは、映像再生装置１００の起動中に行われるものであり、起動していない場合は行われない（ステップＳ２０１）。

ステップＳ２０２では、状態取得部１０１は、機器情報の入力を待機しており、ユーザがカバーを開状態にしたりタッチパネルを操作したりすることで本装置に機器情報が入力されると、状態取得部１０１はこの入力された機器情報を取得する。なお、この機器情報が、上記のガイド情報を必要とする機器情報である、即ち、この機器情報に対応する動画像が情報配信装置２００に保持されているものである場合には、処理はステップＳ２０３を介してステップＳ２０４に進む。一方、この機器情報が、上記のガイド情報を必要とする機器情報ではない、即ち、この機器情報に対応する動画像が情報配信装置２００に保持されているものではない場合には、処理はステップＳ２０３を介してステップＳ２０２に戻る。

ステップＳ２０４では、映像再生装置１００は通信部１０６を制御して情報配信装置２００とのネットワーク接続を行う。ステップＳ２０５では、ガイド情報の生成処理（ガイダンス表示の前処理）を行う。ステップＳ２０５における処理の詳細については、図３を用いて後述する。

ステップＳ２０６では、再生制御部１０５は、情報配信装置２００から受信した動画像の再生が完了したか否かを判断する。この判断の結果、まだ再生が完了していない場合は再生制御部１０５は、再生が完了するまでステップＳ２０７における動画像再生処理を行い、完了すれば、処理はステップＳ２０８に進む。ステップＳ２０７における処理の詳細については、図４のフローチャートを用いて後述する。ステップＳ２０８では、映像再生装置１００は、通信部１０６を制御し、情報配信装置２００とのネットワーク接続を切断する。

次に、上記のステップＳ２０５における、ガイド情報の生成処理について、同処理のフローチャートを示す図３を用いて説明する。ステップＳ３０１では、状態取得部１０１は、取得した機器情報を情報配信装置２００に対して送信する。そして、機器の各部品について、ステップＳ３０２〜ステップＳ３０５の処理が行われる。

ステップＳ３０３では、状態取得部１０１は、機器の各部品の構成部品情報を取得する。そしてステップＳ３０４では状態取得部１０１は、この取得した各部品の構成部品情報から、規定の状態にある部品を特定する。例えば、各部品の構成部品情報に、該部品の消耗の度合いが１（全く消耗していない）〜１０（完全に消耗している）の数値で登録されている場合、６以上の度合いが登録されている構成部品情報に対応する部品を特定状態部品として特定する。

そしてステップＳ３０５において状態取得部１０１は、特定状態部品の構成部品情報のリスト（消耗部品リスト）を作成し、作成したリストをメタ情報取得部１０２及びガイド情報生成部１０３に送出する。

ステップＳ３０６では、メタ情報取得部１０２は、状態取得部１０１が送信した機器情報に応じて情報配信装置２００から送信されたメタ情報を、通信部１０６を介して受信する。

ステップＳ３０７では、メタ情報取得部１０２は、状態取得部１０１から上記のリストを受けると、メタ情報から、このリストに構成部品情報が登録されている特定状態部品に対応する情報を合成パラメータとして取得し、合成表示部１０４に送出する。

ステップＳ３０８では、ガイド情報生成部１０３は、状態取得部１０１から上記のリストを受けると、このリストに登録されている構成部品情報に対応するメッセージを生成し、生成したガイド情報を合成表示部１０４に送出する。

次に、上記のステップＳ２０７における処理の詳細について、図４のフローチャートを用いて説明する。ステップＳ４０１では、再生制御部１０５は、上記のステップＳ２０２、若しくは後述するステップＳ４０８において状態取得部１０１が取得し、送信した機器情報に応じて情報配信装置２００から送信された動画像を、通信部１０６を介して受信する。

ステップＳ４０２では再生制御部１０５は、メタ情報取得部１０２から受けた合成パラメータに、特定状態部品が登場するフレームの位置が登録されているか否かを判断する。もちろん、動画像中に特定状態部品が登場していない場合は、この合成パラメータには何も登録されていない。この判断の結果、登録されている場合は処理はステップＳ４０３に進み、登録されていない場合は処理はステップＳ４０７に進む。

ステップＳ４０７では、再生制御部１０５は、情報配信装置２００から受けた各フレームの画像を順次、合成表示部１０４に送出する。即ち、この場合は、通常のストリーム再生を行う。

一方、ステップＳ４０３では、再生制御部１０５は、メタ情報取得部１０２から受けた合成パラメータに登録されている各特定状態部品の登場フレーム数を参照し、最も短いフレーム数が規定フレーム数よりも少ないか否かを判断する。この判断には様々なものが考えられる。この判断の結果、最も短いフレーム数が規定フレーム数よりも少ない場合は処理はステップＳ４０４に進み、最も短いフレーム数が規定フレーム数よりも多い場合は処理はステップＳ４０５に進む。

ステップＳ４０５では、ステップＳ４０７と同様、再生制御部１０５は、情報配信装置２００から受けた各フレームの画像を順次、合成表示部１０４に送出する。即ち、この場合も、通常のストリーム再生を行う。

一方、ステップＳ４０４では、再生制御部１０５は、特定状態部品の登場フレーム数の再生時間を規定時間以上確保するために、特定状態部品が登場するフレームの再生を制御する。特定状態部品が登場しないフレームについては通常のストリーム再生を行う。特定状態部品が登場するフレームの再生については、例えば、次のようにしてもよい。即ち、一時停止、スロー再生、リピート再生などを指定できるようなＧＵＩ（グラフィカルユーザインターフェース）をこのフレームに重ねて表示し、ユーザによる操作に応じて、このフレームの再生を制御するようにしてもよい。また、スロー再生を行うように予め定めていてもよい（再生速度に関しては予め定めていてもよいし、ユーザが指定できるようにしてもよい）。

ステップＳ４０６で合成表示部１０４は、メタ情報取得部１０２から受けた合成パラメータが示す、特定状態部品が登場するフレームに対し、該フレームに対してガイド情報生成部１０３が生成したメッセージを合成し、ディスプレイ１０９に送出する。メッセージの合成位置は、特に限定するものではなく、合成パラメータ中に記されている「特定状態部品の登場するフレーム内の座標位置」であってもよいし、この座標位置に適当なバイアスを加えた座標位置であってもよい。ここでの説明では、ディスプレイ１０９への各フレームの送出は、図４のフローチャートに従った処理と並行して別スレッドにて行うものとしている。もちろん、これに限るものではない。

ステップＳ４０８では、状態取得部１０１は、機器情報の受付を行う。そして、動画像を構成する全てのフレームの再生が完了したことを再生制御部１０５が検知した場合には、処理はステップＳ４０９を介して完了し、まだ再生していないフレームが残っている場合は、処理はステップＳ４０９を介してステップＳ４１０に進む。ステップＳ４１０では状態取得部１０１は、ステップＳ４０８で取得した機器情報が前に取得した機器情報から変化しているか否かを判断し、変化している場合は図４のフローチャートに従った処理は完了し、変化していない場合は処理はステップＳ４０８に戻る。

次に、上記の処理による、動画像の表示例を図９を用いて説明する。図９では、トナー（イエロー）の交換をするためのガイダンスを要求する旨の操作がユーザにより入力され、この要求を表す機器情報が情報配信装置２００に送信され、情報配信装置２００がこの機器情報に応じて送信した動画像を示している。

このとき、合成パラメータに何も登録されていない場合は、ディスプレイ１０９には、フレーム（Ａ）→フレーム（Ｂ）→フレーム（Ｃ）→フレーム（Ａ）→…の順に繰り返し表示される。

一方、合成パラメータに、特定状態部品が登場するフレームの位置が登録されている場合、ディスプレイ１０９には、フレーム（Ｄ）→フレーム（Ｅ）→フレーム（Ｆ）→フレーム（Ｄ）→…の順に繰り返し表示される。この場合は、トナー（マゼンタ）に対応する構成部品情報が、規定の度合い以上の消耗を表しており、且つ合成パラメータには、トナー（マゼンタ）が登場するフレームの位置としてフレーム（Ｅ）、フレーム（Ｆ）のそれぞれの位置が登録されている。また、合成パラメータには、フレーム（Ｅ）、フレーム（Ｆ）のそれぞれにおけるトナー（マゼンタ）の写っている領域の座標位置も登録されている。然るに、フレーム（Ｅ）、フレーム（Ｆ）のそれぞれにおける、トナー（マゼンタ）の写っている領域の座標位置（の近傍）には、消耗の度合いやこの度合いに応じたメッセージ（Ｐ９０１，Ｐ９０２）等が表示されている。

図９では、メッセージＰ９０１、Ｐ９０２は、トナー（マゼンタ）に関するガイド情報で、文字列のグラフィクスを余白に合成し、トナー（マゼンタ）の座標に向かって矢印のグラフィクスを合成している。

以上の説明により、本実施形態によれば、マニュアル作成／管理負担の軽減しつつ、ユーザにとってより有益で分かりやすいガイド表示を行うことができる。なお、動画像の表示方法や、表示内容については上記の説明は一例であり、状況に応じて様々なものが考え得る。

なお、本実施形態では、ステップＳ４０３にて、最も短いフレーム数が規定フレーム数よりも少ないか否かを判断し、最も短いフレーム数が規定フレーム数よりも少ない場合はステップＳ４０４における処理を行うようにした。しかし、最も短いフレーム数が規定フレーム数よりも少ないか否かに関係なく、ステップＳ４０４における処理を行うようにしてもよい。

［第２の実施形態］
第１の実施形態では、機器の各部品について、該部品が登場するフレームの位置や該フレーム内で登場する座標位置を予め調べておき、メタ情報として情報配信装置２００に登録しておく必要があり、その作成及び管理負担が増加してしまう可能性がある。

また、第１の実施形態では、直前に使用履歴があり、高温状態にある部品についての構成部品情報については触れておらず、このようなケースに対応したメッセージをユーザに提示しないと、このような部品をユーザが触る等の危険性がある。

第２の実施形態ではこれらの問題に鑑み、受信した動画像から上記のメタ情報を作成することで、ユーザの負担を軽減する。また、第２の実施形態では、部品の温度や機器破損状態等のセンサ値を構成部品情報に含めるようにする。

本実施形態に係るシステムの機能構成例について、図５のブロック図を用いて説明する。図５に示す如く、本実施形態に係るシステムは、動画像を処理して再生する画像処理装置として機能する映像再生装置５００と、動画像を配信する装置として機能する情報配信装置６００と、を有する。映像再生装置５００と情報配信装置６００とは互いにネットワークを介してデータ通信を行うことができる。このネットワークには、ＬＡＮやインターネットなどの既知のネットワークを適用することができる。もちろん、このネットワークは有線、無線の何れであってもよい。

先ず、映像再生装置５００について説明する。

状態取得部５０１は、第１の実施形態で説明した機器情報を状態取得部１０１と同様にして取得し、情報配信装置６００に対して送信する。また状態取得部５０１は、機器の各部品の使用期間や消耗の度合い等の状態情報だけでなく、各部品の温度や機器破損状態などのセンサ値も含む構成部品情報を取得する。このようなセンサ値は、各部品の温度や機器破損状態などを測定する、映像再生装置５００内の不図示のセンサから取得する。そして状態取得部５０１は、機器の各部品の構成部品情報を参照して、規定の状態にある部品を特定状態部品として特定する。例えば、消耗の度合いが規定の度合い以上である部品、規定の温度以上の温度の部品、を特定状態部品として特定する。そして状態取得部５０１は、特定状態部品の構成部品情報のリスト（異常部品リスト）を作成し、作成したリストをメタ情報取得部５０２及びガイド情報生成部５０３に送出する。なお、この異常部品リストには、構成部品情報だけでなく、特定状態部品に関する様々な情報を含めるようにしてもよい。

メタ情報取得部５０２は、状態取得部５０１が送信した機器情報に応じて情報配信装置６００から送信された動画像を、通信部５０６を介して受信する。そしてメタ情報取得部５０２は、この動画像を構成する各フレームの画像に対して周知の画像認識処理を行い、異常部品リストに登録されている特定状態部品が写っているフレーム及び該フレーム内における座標位置を検出する。そして、メタ情報取得部５０２は、特定状態部品毎に検出したフレーム位置及び座標位置を登録したメタ情報を合成パラメータとして生成し、生成した合成パラメータを合成表示部５０４及び再生制御部５０５に送出する。

ガイド情報生成部５０３は、状態取得部５０１から上記のリストを受けると、ガイド情報生成部１０３と同様にして、このリストに登録されている構成部品情報に対応するメッセージ（ガイド情報、ガイダンス情報）を生成する。そしてガイド情報生成部５０３は、この生成したガイド情報を合成表示部５０４に送出する。もちろん、ガイド情報を改めて生成せずとも、リストに登録されている構成部品情報に対応するメッセージを予め作成しておき、必要に応じて対応するメッセージを読み出すようにしてもよい。

再生制御部５０５は再生制御部１０５と同様に動作するものであり、状態取得部５０１が送信した機器情報に応じて情報配信装置６００から送信された動画像を合成表示部５０４に供給する。また、再生制御部５０５は、再生制御部１０５と同様にし、メタ情報取得部５０２から受けた合成パラメータが示す、特定状態部品が登場するフレームについては、指定された再生方法で再生すべく、フレームの送出を制御する。このフレーム送出の制御は必須ではない。

合成表示部５０４は、再生制御部５０５から受けた各フレームの画像を順次ＰＣ５０９に対して送出する。その際、メタ情報取得部５０２から受けた合成パラメータが示す、特定状態部品が登場するフレームに対しては、該フレームに対してガイド情報生成部５０３が生成したメッセージを合成して合成フレームを生成し、この合成フレームをＰＣ５０９に送出する。なお、各フレームの画像の送出先については第１の実施形態と同様、ＰＣ５０９に限定するものではない。

通信部５０６は、映像再生装置５００が情報配信装置６００とデータ通信を行うために動作するものであり、ＨＴＴＰやＲＴＰ／ＲＴＳＰ等のプロトコルに従って、情報配信装置６００とのデータ通信を行う。

次に、情報配信装置６００について説明する。情報配信装置６００は、通信部５０７とサーバ５０８とを有する。なお、図５では通信部５０７はサーバ５０８とは別個の構成要件として示されているが、通信部５０７を組み込んだサーバ５０８を情報配信装置６００としてもよい。

通信部５０７は、通信部５０６と同様の動作を行うものであり、映像再生装置５００とのデータ通信を行うために使用するものである。サーバ５０８は、映像再生装置５００から送信された機器情報に対応する動画像を映像再生装置５００に返信する。

次に、映像再生装置５００が行う処理について、同処理のフローチャートを示す図６を用いて説明する。図６のフローチャートは、映像再生装置５００の起動中に行われるものであり、起動していない場合は行われない（ステップＳ６０１）。

ステップＳ６０２では、状態取得部５０１は、機器情報の入力を待機しており、ユーザがカバーを開状態にしたりタッチパネルを操作したりすることで本装置に機器情報が入力されると、状態取得部５０１はこの入力された機器情報を取得する。なお、この機器情報が、上記のガイド情報を必要とする機器情報である、即ち、この機器情報に対応する動画像が情報配信装置６００に保持されているものである場合には、処理はステップＳ６０３を介してステップＳ６０４に進む。一方、この機器情報が、上記のガイド情報を必要とする機器情報ではない、即ち、この機器情報に対応する動画像が情報配信装置６００に保持されているものではない場合には、処理はステップＳ６０３を介してステップＳ６０２に戻る。

ステップＳ６０４では、映像再生装置５００は通信部５０６を制御して情報配信装置６００とのネットワーク接続を行う。ステップＳ６０５では、ガイド情報の生成処理（ガイダンス表示の前処理）を行う。ステップＳ６０５における処理の詳細については、図７を用いて後述する。

ステップＳ６０６では、再生制御部５０５は、情報配信装置６００から受信した動画像の再生が完了したか否かを判断する。この判断の結果、まだ再生が完了していない場合は再生制御部５０５は、再生が完了するまでステップＳ６０７における動画像再生処理を行い、完了すれば、処理はステップＳ６０８に進む。ステップＳ６０７における処理の詳細については、図８のフローチャートを用いて後述する。

ステップＳ６０８では、映像再生装置５００は、通信部５０６を制御し、情報配信装置６００とのネットワーク接続を切断する。

次に、上記のステップＳ６０５における、ガイド情報の生成処理について、同処理のフローチャートを示す図７を用いて説明する。ステップＳ７０１では、状態取得部５０１は、取得した機器情報を情報配信装置６００に対して送信する。

そして、機器の各部品について、ステップＳ７０２〜ステップＳ７０５の処理が行われる。

ステップＳ７０３では、状態取得部５０１は、機器の各部品の構成部品情報を取得する。そしてステップＳ７０４では状態取得部５０１は、この取得した各部品の構成部品情報から、規定の状態にある部品を特定する。例えば、規定の消耗の度合い以上の消耗の度合いが登録された構成部品情報に対応する部品や、規定の値以上のセンサ値が登録された構成部品情報に対応する部品を、特定状態部品として特定する。

そしてステップＳ７０５において状態取得部５０１は、特定状態部品の構成部品情報のリスト（異常部品リスト）を作成し、作成したリストをメタ情報取得部５０２及びガイド情報生成部５０３に送出する。

ステップＳ７０６では、ガイド情報生成部５０３は、状態取得部５０１から上記のリストを受けると、ガイド情報生成部１０３と同様にし、このリストに登録されている構成部品情報に対応するメッセージ（ガイド情報、ガイダンス情報）を生成する。そしてガイド情報生成部５０３は、この生成したガイド情報を合成表示部５０４に送出する。

次に、上記のステップＳ６０７における処理の詳細について、図８のフローチャートを用いて説明する。ステップＳ８０１では、再生制御部５０５は、上記のステップＳ６０２、若しくは後述するステップＳ８１１において状態取得部５０１が取得し、送信した機器情報に応じて情報配信装置６００から送信された動画像を、通信部５０６を介して受信する。

ステップＳ８０２ではメタ情報取得部５０２は、ステップＳ８０１で受信した動画像を再生する。ステップＳ８０３ではメタ情報取得部５０２は、この再生された動画像を構成する各フレームの画像に対して周知の画像認識処理を行い、異常部品リストに登録されている特定状態部品が写っているフレーム及び該フレーム内における座標位置を検出する。そして、メタ情報取得部５０２は、特定状態部品毎に検出したフレーム位置及び座標位置を登録したメタ情報を合成パラメータとして生成し、生成した合成パラメータを合成表示部５０４に送出する（ステップＳ８０４，Ｓ８０５）。

そしてステップＳ８０６で再生制御部５０５は、情報配信装置６００から受けた各フレームの画像を順次、合成表示部５０４に送出する。合成表示部１０４は、メタ情報取得部５０２から受けた合成パラメータが示す、特定状態部品が登場するフレームに対し、該フレームに対してガイド情報生成部５０３が生成したメッセージを合成し、ＰＣ５０９に送出する。メッセージの合成位置は、特に限定するものではなく、合成パラメータ中に記されている「特定状態部品の登場するフレーム内の座標位置」であってもよいし、この座標位置に適当なバイアスを加えた座標位置であってもよい。ここでの説明でも、ＰＣ５０９への各フレームの送出は、図８のフローチャートに従った処理と並行して別スレッドにて行うものとしている。もちろん、これに限るものではない。

次に、異常部品リストに登録されている全ての構成部品情報に対応する特定状態部品について、ステップＳ８０８〜Ｓ８１０の処理を行う。

ステップＳ８０８では状態取得部５０１は、異常部品リストに登録されている特定状態部品のセンサ値を、該センサ値を計測する不図示のセンサから取得する。

そしてステップＳ８０９では状態取得部５０１は、この取得したそれぞれのセンサ値が、正常なセンサ値として予め定められた範囲に収まっているか否か（若しくは予め定められた値との誤差が規定範囲内であるか否か）を判断する。この判断の結果、取得したそれぞれのセンサ値が、正常なセンサ値として予め定められた範囲に収まっている（若しくは予め定められた値との誤差が規定範囲内）であれば、処理はステップＳ８１０に進む。一方、取得したそれぞれのセンサ値が、正常なセンサ値として予め定められた範囲に収まっていない（若しくは予め定められた値との誤差が規定範囲外）であれば、処理はステップＳ８０７に戻る。

ステップＳ８１０では状態取得部５０１は、正常なセンサ値として予め定められた範囲に収まっている（若しくは予め定められた値との誤差が規定範囲内）として判断されたセンサ値を含む構成部品情報を、異常部品リストから削除する。

ステップＳ８１１では、状態取得部５０１は、機器情報の受付を行う。そして、動画像を構成する全てのフレームの再生が完了したことを再生制御部５０５が検知した場合には、処理はステップＳ８１２を介して完了し、まだ再生していないフレームが残っている場合は、処理はステップＳ８１２を介してステップＳ８１３に進む。ステップＳ８１３では状態取得部５０１は、ステップＳ８１１で取得した機器情報が前に取得した機器情報から変化しているか否かを判断し、変化している場合は図８のフローチャートに従った処理は完了し、変化していない場合は処理はステップＳ８１１に戻る。

次に、上記の処理による、動画像の表示例を図１０を用いて説明する。給紙ローラーＡが消耗状態にあり、ユーザが右扉を開状態にした場合には、ＰＣ５０９側では、フレーム（Ａ）→フレーム（Ｂ）→フレーム（Ｃ）→フレーム（Ａ）→…の順に繰り返し表示される。フレーム（Ｂ）、フレーム（Ｃ）のそれぞれにおける、給紙ローラーＡの写っている領域の座標位置（の近傍）には、消耗の度合いに応じたメッセージ（Ｐ１００１，Ｐ１００２）等が表示されている。

このとき、定着器の温度センサが高温を示すセンサ値を計測した場合、ＰＣ５０９側では、フレーム（Ｄ）→フレーム（Ｅ）→フレーム（Ｆ）→フレーム（Ｄ）→…の順に繰り返し表示される。フレーム（Ｅ）、フレーム（Ｆ）のそれぞれには、メッセージ（Ｐ１００４，Ｐ１００７）に加え、高温であることを示すメッセージ（Ｐ１００３，Ｐ１００６）等が表示されている。この表示位置は特定の位置に限るものではない。更に、定着器として認識された領域は強調表示（例えば赤の色で塗りつぶされて表示される）する。

このように、本実施形態によれば、メタ情報の作成／管理の負担を軽減する効果を奏する。さらに、取得する構成部品状態として消耗状態だけでなくセンサ値を含むことで、ユーザへの危険性を回避する効果を奏する。

［第３の実施形態］
図１の状態取得部１０１、図５の状態取得部５０１は、部品の状態を示す情報を取得していたが、不正なアクセスがなされたことを示す履歴を取得するようにしてもよい。これにより、本実施形態によれば、機器のセキュリティ状態をユーザに通知する効果を奏する。

［第４の実施形態］
映像再生装置１００を構成する各部（通信部１０６、ディスプレイ１０９を除く）や、映像再生装置５００を構成する各部（通信部５０６を除く）は、ハードウェアで構成してもよいが、ソフトウェア（コンピュータプログラム）で実装してもよい。ソフトウェアで実装する場合、このソフトウェアを格納するためのメモリと、このメモリに格納されているソフトウェアを実行するＣＰＵと、を有するコンピュータは、この映像再生装置１００（５００）に適用することができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 機器を構成する部品の状態を示す部品状態情報を取得する取得手段と、
   前記機器を構成する部品の部品状態情報を用いて、規定の状態にある部品を特定状態部品として特定する特定手段と、
   動画像において前記特定状態部品が登場するフレームに対して、該特定状態部品の部品状態情報に応じたメッセージを合成することで、合成フレームを生成する合成手段と、
   前記合成フレームを再生手段に再生させる制御手段と
   を備え、
   前記合成手段は更に、前記動画像において前記特定状態部品が登場するフレーム内の該特定状態部品が登場する位置に対応させて、該特定状態部品の部品状態情報に応じたメッセージを合成する
   ことを特徴とする画像処理装置。
2. 前記特定手段は、前記機器を構成する部品毎の消耗の度合いを示す部品状態情報を用いて、消耗の度合いが規定の度合い以上である部品を、特定状態部品として特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記機器を構成する部品の温度を測定するセンサから該温度を取得し、該温度が規定の温度以上である部品を、特定状態部品として特定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像処理装置が行う画像処理方法であって、
   機器を構成する部品の状態を示す部品状態情報を取得する取得工程と、
   前記機器を構成する部品の部品状態情報を用いて、規定の状態にある部品を特定状態部品として特定する特定工程と、
   動画像において前記特定状態部品が登場するフレームに対して、該特定状態部品の部品状態情報に応じたメッセージを合成することで、合成フレームを生成する合成工程と、
   前記合成フレームを再生手段に再生させる制御工程と
   を有し、
   前記合成工程では更に、前記動画像において前記特定状態部品が登場するフレーム内の該特定状態部品が登場する位置に対応させて、該特定状態部品の部品状態情報に応じたメッセージを合成する
   ことを特徴とする画像処理方法。
5. コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images