JP6048093B2 - 制御装置およびコンピュータプログラム - Google Patents

Description

本発明は、撮像画像を利用する技術に関し、特に、撮像画像を用いて利用者に情報を提供する技術に関する。

撮像画像を用いて利用者に情報を提供する技術が知られている。例えば、特許文献１に開示された技術では、テレビで放映されるコマーシャルの画像に、コマーシャルで宣伝された製品の詳細情報にアクセスするためのリンク先（例えば、ＵＲＬ（Uniform Resource Locator））を示す画像情報を含めている。そして、携帯電話が、当該コマーシャルの画像を撮像して得られる撮像画像を解析して、製品の詳細情報にアクセスするためのＵＲＬを取得する。そして、携帯電話は、取得されたＵＲＬを用いて、サーバにアクセスすることによって、製品の詳細情報を取得して、当該詳細情報を表示部に表示する。

特開２００５−３３３４０６号公報

本発明は、撮像画像を用いて製品に関する情報を利用者に提供する新規な技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］撮像部と端末側表示部とを含む撮像端末のための制御装置であって、
製品に含まれる製品側表示部であって、前記製品の現在の状態を示す特定の状態画像を表示する前記製品側表示部を、前記撮像部が撮像することによって生成される撮像画像データを取得する第１の取得部と、
前記撮像画像データを解析することによって、前記特定の状態画像に関係する特定の関係情報を識別するための特定の識別情報を取得する第２の取得部と、
前記特定の識別情報を用いて、前記特定の関係情報を取得する第３の取得部と、
前記特定の関係情報を、前記撮像端末の前記端末側表示部に表示させる表示制御部と、
を備える、制御装置。

上記構成によれば、制御装置は、製品の現在の状態を示す特定の状態画像を表示する製品側表示部を撮像して得られる撮像画像データを解析し、特定の状態画像に関係する特定の関係情報を識別するための特定の識別情報を取得する。制御装置は、特定の識別情報を用いて、特定の関係情報を端末側表示部に表示させる。この結果、撮像端末は、製品側表示部に表示された特定の状態画像に応じた適切な情報を、利用者に提供することができる。

［適用例２］適用例１に記載の制御装置であって、
前記第２の取得部は、
前記撮像画像データによって表される撮像画像の特徴を示す撮像画像情報を取得する撮像画像情報取得部と、
複数個の候補画像のそれぞれについて、前記候補画像の特徴を表す候補画像情報を取得する候補画像情報取得部であって、複数個の前記候補画像のそれぞれは、前記製品の状態を示す前記状態画像として前記製品側表示部に表示される画像である、前記候補画像情報取得部と、
前記撮像画像情報と、複数個の前記候補画像情報と、を用いて、複数個の前記候補画像のうち前記撮像画像に最も類似する特定の候補画像の特徴を表す特定の候補画像情報を決定する決定部と、
複数個の前記候補画像のそれぞれについて、前記候補画像の特徴を表す前記候補画像情報と、前記候補画像に関係する前記関係情報を識別するための前記識別情報と、を対応付けて記憶する記憶部から、前記特定の候補画像情報に対応する前記特定の識別情報を取得する識別情報取得部と、を備える、制御装置。

上記構成によれば、複数個の候補画像のそれぞれの特徴を表す複数個の特徴情報を用いて、適切な関係情報を表示できるので、利用者に対して適切な関係情報を表示することができる。

［適用例３］適用例１または適用例２に記載の制御装置であって、
前記特定の関係情報は、前記制御装置とネットワークを介して接続されるサーバに格納され、
前記第２の取得部は、前記サーバ内における前記特定の関係情報の位置を表す特定の位置情報を、前記特定の識別情報として取得し、
前記第３の取得部は、前記特定の位置情報を用いて前記サーバにアクセスすることによって、前記特定の関係情報を取得する、制御装置。

上記構成によれば、利用者は、製品側表示部を撮像することによって、サーバに格納された関係情報を、容易に端末側表示部に表示することができる。

［適用例４］適用例１ないし適用例３のいずれかに記載の制御装置であって、
前記製品の種類の入力を利用者から受け付ける第１の受付部をさらに備え、
前記第２の取得部は、前記撮像画像データの解析結果と、前記製品の種類を表す製品情報と、を用いて、前記特定の識別情報を取得する、制御装置。

上記構成によれば、製品の種類に応じて、適切な関係情報を端末側表示部に表示することができる。

［適用例５］適用例４に記載の制御装置であって、
前記第２の取得部が第１の撮像画像データの解析結果と、前記製品情報と、を用いて第１の識別情報を取得した場合には、
前記第１の受付部は、前記第２の取得部が、第１の撮像画像データが取得された後に取得された第２の撮像画像データの解析結果を用いて第２の識別情報を取得する際に、前記製品の種類の受け付けを行わない、制御装置。

上記構成によれば、第２の撮像画像データを解析することによって識別情報を取得する際に、製品の種類の受け付けを行うことなく、適切な識別情報を取得できるので、利用者の操作負担を軽減できる。

［適用例６］適用例１ないし適用例５のいずれかに記載の制御装置であって、
前記第２の取得部は、さらに、
前記撮像画像データを解析することによって、前記特定の識別情報を取得できない場合に、複数個の候補画像をそれぞれ表す複数個の候補画像データを取得する候補画像取得部と、
複数個の前記候補画像を前記端末側表示部に表示させて、利用者の選択を受け付ける第２の受付部と、
前記第２の受付部によって受け付けられた前記利用者の選択結果を用いて、前記特定の識別情報を取得する識別情報取得部と、を備える、制御装置。

上記構成によれば、撮像画像データを解析することによって、特定の識別情報を取得できない場合であっても、適切な関係情報を端末側表示部に表示させることができる。

［適用例７］適用例６に記載の制御装置であって、
前記候補画像取得部は、前記特定の識別情報を取得できない場合において、前記撮像画像データによって表される撮像画像に類似する所定数の候補画像が特定された場合に、前記所定数の候補画像を取得し、
前記第２の受付部は、特定された所定数の前記候補画像を、前記端末側表示部に表示させる、制御装置。

上記構成によれば、撮像画像データを解析することによって、撮像画像データによって表される撮像画像に類似する所定数の候補画像が特定された場合に、利用者は、撮像画像に類似する所定数の候補画像の中から１つの候補画像を選択することができ、利用者の操作負担を軽減できる。

［適用例８］適用例６に記載の制御装置であって、
前記候補画像取得部は、前記特定の識別情報を取得できない場合に、予め定められた所定数の候補画像を取得し、
前記第２の受付部は、所定数の前記候補画像を前記端末側表示部に表示させる、制御装置。

上記構成によれば、過剰な数の候補画像が表示されることを抑制して、操作が複雑になることを抑制することができる。

［適用例９］適用例６ないし適用例８のいずれかに記載の制御装置であって、
前記第２の受付部は、利用者の選択を受け付けるために、複数個の前記候補画像と、前記撮像画像データによって表される撮像画像とを、前記端末側表示部に表示させる、制御装置。

上記構成によれば、利用者は、複数個の候補画像の中から撮像画像に対応する候補画像を容易に選択することができる。

［適用例１０］適用例９に記載の制御装置であって、
前記特定の状態画像は、前記製品において現在発生しているエラーを示すための画像であり、
前記特定の関係情報は、前記エラーを解決するための解決方法を示す、制御装置。

上記構成によれば、製品においてエラーが現在発生している場合に、エラーを解決するための解決方法を利用者に提供することができる。

［適用例１１］適用例１０に記載の制御装置であって、
前記第２の受付部は、複数個の前記候補画像に加えて、特定の選択肢を前記端末側表示部に表示させ、
前記表示制御部は、
前記特定の選択肢が選択された場合に、複数個のエラー項目であって、前記製品において現在発生しているエラーに対応する特定のエラー項目を含む複数個の前記エラー項目を、前記端末側表示部に表示させる、制御装置。

上記構成によれば、候補画像の表示数が過度に増加することを抑制しつつ、利用者に適切な関係情報を選択させることができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、撮像部と端末側表示部とを備える撮像端末の制御方法、これらの装置の機能または方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

第１実施例における情報提供システムの構成を示すブロック図である。 複合機２００の外観斜視図である。 ＵＩ画像の一例を示す図である。 情報提供処理のフローチャートである。 情報提供処理のフローチャートである。 機種選択画像ＭＤ１の一例を示す図である。 候補画像特徴テーブル群ＤＴ１の内容を説明する図である。 撮像画像ＰＣについて示す図である。 候補画像選択画像ＳＥを含む表示画像ＭＤ３の一例を示す図である。 候補画像選択画像ＳＥを含む表示画像ＭＤ４の一例を示す図である。 サポート情報の表示画像ＭＤ５の一例である。 一覧画像ＭＤ６の一例を示す図である。 第２実施例の情報提供処理のフローチャートである。 第２実施例の情報提供処理のフローチャートである。

Ａ．第１実施例
Ａ−１．システムの構成：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、第１実施例における情報提供システムの構成を示すブロック図である。図２は、複合機２００の外観斜視図である。このシステムは、複合機２００と、インターネット７０に接続されたサーバ６０と、携帯端末４００と、を備えている。

複合機２００は、ＣＰＵ２１０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置２２０と、ＲＡＭなどの揮発性記憶装置２３０と、インクジェット式のプリントエンジンであるプリンタ部２４０と、光学センサ（例えば、ＣＩＳ（Contact Image Sensor））を用いて、原稿を光学的に読み取るスキャナ部２５０と、タッチパネル２６０Ａやボタン２６０Ｂ（図２）などを含む操作部２６０と、タッチパネルと重畳された液晶などの表示パネルを含む表示部２７０と、パーソナルコンピュータ（図示省略）などの外部装置とデータ通信を行うためのインタフェースを含む通信部２８０と、を備えている。表示部２７０は、液晶パネルの表示面が複合機２００の上面の手前側に位置するように、配置されている（図２）。また、複合機２００は、さらに、複合機２００の筐体の底面近傍に、前方に引き出し可能に配置された給紙トレイ２８５と、プリンタ部２４０による印刷のための印刷材としてのインクを収容するインクカートリッジが装着されるインク装着部２９０と、を備えている（図２）。

揮発性記憶装置２３０には、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２３１が設けられている。不揮発性記憶装置２２０は、複合機２００を制御するためのコンピュータプログラム２２１と、ＵＩ画像データ群２２４と、を格納している。

コンピュータプログラム２２１は、例えば、複合機２００の出荷時に予め不揮発性記憶装置２２０に格納されている。また、コンピュータプログラム２２１は、ＣＤ−ＲＯＭなどに記録された形態や、サーバからダウンロードされる形態で提供され得る。

ＵＩ画像データ群２２４は、図３を参照して説明する複数種類のＵＩ画像を表す複数のＵＩ画像データを含む。ＵＩ画像データは、例えば、ＵＩ画像を構成する複数個の画素の色をＲＧＢ値で表したＲＧＢ画像データである。

ＣＰＵ２１０は、コンピュータプログラム２２１を実行することにより、複合機２００の全体を制御する。具体的には、ＣＰＵ２１０は、装置制御部１１０と、ＵＩ制御部１２０として機能する。装置制御部１１０は、プリンタ部２４０やスキャナ部２５０などを制御して、画像印刷処理や画像読取処理などの複合機２００の主たる機能を実現する。ＵＩ制御部１２０は、利用者からの操作の受け付けや、利用者に対する複合機２００に関連する情報の提供のためのユーザインタフェースを提供する。具体的には、ＵＩ制御部１２０は、ＵＩ画像データ群２２４に含まれるＵＩ画像データを用いて、ボタンを表す画像などを含むＵＩ画像や、複合機２００の現在の状態に応じて、現在の状態に関する情報を利用者に示すためのＵＩ画像を、表示部２７０に表示する。また、ＵＩ制御部１２０は、表示されたＵＩ画像を介して利用者の操作を受け付ける処理を実行する。

サーバ６０は、周知の計算機であり、図示しないサーバプログラムを実行することにより、携帯端末４００や図示しないパーソナルコンピュータなどのクライアント計算機に対して、ＷＥＢサービスを提供する。サーバ６０の記憶部６５には、複合機２００の利用者をサポートするためのサポート情報群６５１がＷＥＢページの形式で格納されている。サーバ６０によるＷＥＢサービスは、利用者へのサポート情報の提供である。サーバ６０は、例えば、複合機２００を製品として販売した販売者によって、運営されている。

携帯端末４００は、例えば、複合機２００の利用者が所有するスマートフォンなどの多機能携帯電話である。携帯端末４００は、ＣＰＵ４１０と、フラッシュメモリなどの不揮発性記憶装置４２０と、ＲＡＭなどを含みバッファ領域４２７などに用いられる揮発性記憶装置４２５と、無線ＩＦ部４３０と、電話ＩＦ部４４０と、スピーカやマイクを含み電話機能などを実現するための音声処理部４５０と、タッチパネルや操作キーなどを含む操作部４６０と、タッチパネルと重畳された液晶パネルなどを含む表示部４７０と、イメージセンサを用いて撮像を行うカメラ４９０と、を主に備えている。

無線ＩＦ部４３０は、アンテナを含み、例えば、図示しないアクセスポイントを介した無線通信（インフラストラクチャーモードに準拠する無線通信）を行う。無線ＩＦ部４３０は、後述するように、携帯端末４００がサーバ６０にアクセスするために用いられる。

電話ＩＦ部４４０は、アンテナを含み、基地局（図示省略）との間で携帯電話通信の方式（例えば、Ｗ−ＣＤＭＡ）に準拠する無線通信を行う。電話ＩＦ部４４０は、例えば、電話や、基地局を介したインターネット７０への接続などを実現する。無線ＩＦ部４３０と同様に、電話ＩＦ部４４０は、携帯端末４００がサーバ６０にアクセスするために用いられる。

カメラ４９０は、周知のデジタルカメラであり、撮像対象物を表す画像データを生成・取得することができる。なお、カメラ４９０による画像データの生成・取得は、利用者の指示（具体的にはシャッターボタンの押下）に応じて、比較的高解像度の画像データを生成・取得して、例えば、不揮発性記憶装置４２０に格納することに限らず、表示部４７０に表示するために、比較的低解像度の画像データを連続的に（例えば、１００ｍｓｅｃ毎に）生成・取得して、揮発性記憶装置４２５に、一時的に格納することを含む。

不揮発性記憶装置４２０には、制御プログラムＰＧ１と、情報提供プログラムＰＧ２と、ブラウザプログラムＰＧ３と、後述する情報提供処理において利用される候補画像特徴テーブル群ＤＴ１と、候補画像データ群ＤＴ２と、が格納されている。制御プログラムＰＧ１は、ＯＳ（オペレーティングシステム）の機能や、電話機能、カメラ４９０の制御機能、携帯端末４００の基本機能を実現するプログラムである。ブラウザプログラムＰＧ３は、ＷＥＢページを閲覧するためのＷＥＢブラウザとしての機能を実現するプログラムである。制御プログラムＰＧ１およびブラウザプログラムＰＧ３は、例えば、携帯端末４００の製造者によって提供され、出荷時に予め格納されている。情報提供プログラムＰＧ２は、複合機２００に関する情報を利用者に提供する処理を、サーバ６０と協働して、実現するプログラムである。情報提供プログラムＰＧ２は、携帯端末４００に新たな機能を追加するプログラム（「アプリ」とも呼ばれる。）であり、例えば、携帯端末４００の製造者とは異なる提供者（例えば、複合機２００の製造者）によって、所定のサーバからダウンロードする形態で、提供される。また、情報提供プログラムＰＧ２が所定のサーバからダウンロードされる際、候補画像特徴テーブル群ＤＴ１と、候補画像データ群ＤＴ２と、も併せて所定のサーバからダウンロードされる。情報提供プログラムＰＧ２、候補画像特徴テーブル群ＤＴ１、候補画像データ群ＤＴ２は、例えば、携帯端末４００の製造者によって提供され、出荷時に予め格納されていても良い。

ＣＰＵ４１０は、制御プログラムＰＧ１を実行することによって、携帯端末４００の基本機能を実現するメイン制御部２０とし、ブラウザプログラムＰＧ３を実行することによって、ＷＥＢブラウザ５０として機能する。また、ＣＰＵ４１０は、情報提供プログラムＰＧ２を実行することによって、情報提供部３００として機能する。

情報提供部３００は、第１の取得部３１０と、第２の取得部３２０と、第３の取得部３３０と、第１の受付部３５０と、第２の受付部３６０と、を備えている。第２の取得部３２０は、撮像画像情報取得部３２１と、候補画像情報取得部３２２と、候補画像取得部３２３と、識別情報取得部３２４と、決定部３２５と、を備えている。これらの各処理については、後述する。

なお、複合機２００は、製品側表示部（表示部２７０）を含む製品の例である。携帯端末４００は、撮像部（カメラ４９０）と端末側表示部（表示部４７０）とを含む撮像端末の例である。情報提供部３００として機能する携帯端末４００のＣＰＵ４１０は、撮像端末のための制御装置の例である。なお、ＷＥＢブラウザ５０は表示制御部の例である。

Ａ−２．複合機２００のＵＩ画像：
次に、複合機２００の表示部２７０に、ＵＩ制御部１２０によって表示されるＵＩ画像について説明する。

図３は、ＵＩ画像の一例を示す図である。図３（Ａ）に示す第１のＵＩ画像ＭＩ１は、インク装着部２９０に装着されるべきインクカートリッジＣＴが未装着であるエラーの発生を、利用者に示すためのＵＩ画像である。この第１のＵＩ画像ＭＩ１は、画像の上端にそって、帯状に配置された帯領域ＢＡ１と、帯領域ＢＡ１の下側に配置された主表示領域ＭＡ１とを含んでいる。帯領域ＢＡ１の色と主表示領域ＭＡ１の色とは、異なっており、例えば、帯領域ＢＡ１の色は、黄色、緑色などの比較的彩度が高い色であり、主表示領域ＭＡ１の色は、比較的彩度および明度が低い色、例えば、黒色やグレーなどが用いられている。また、帯領域ＢＡ１および主表示領域ＭＡ１には、それぞれ、エラーに関する情報を文字で表す文字画像ＣＩ１、ＣＩ２が含まれている。主表示領域ＭＡ１には、さらに、エラーに関する情報を複合機２００の斜視図を表す製品画像ＤＩ１や、エラーに関する情報を記号で表す記号画像ＭＫなどを含んでいる。

図３（Ｂ）に示す第２のＵＩ画像ＭＩ２は、ＵＩ画像ＭＩ１が示すエラーとは、異なるエラーを利用者に示すためのＵＩ画像である。この第２のＵＩ画像ＭＩ２は、印刷用紙がプリンタ部２４０の用紙搬送機構の特定の部分に詰まることによって、印刷処理の継続ができないエラー（いわゆる紙詰まり）の発生を、利用者に示すためのＵＩ画像である。第２のＵＩ画像ＭＩ２は、第１のＵＩ画像ＭＩ１と同様に、帯領域ＢＡ２と、主表示領域ＭＡ２とを含んでいる。帯領域ＢＡ２は、エラーに関する情報を文字で表す文字画像ＣＩ４を含んでいる。主表示領域ＭＡ２は、エラーに関する情報を文字で表す文字画像ＣＩ３と、複合機２００の斜視図を表す製品画像ＤＩ２と、表示部２７０に表示される画像を、第２のＵＩ画像ＭＩ２から、第２のＵＩ画像ＭＩ２と関連する情報を利用者に示すための別のＵＩ画像（図示省略）に切り替えるためのボタン画像ＢＴと、を含んでいる。第１のＵＩ画像ＭＩ１の製品画像ＤＩ１と、第２のＵＩ画像ＭＩ２の製品画像ＤＩ２は、表示部２７０の表示領域内に配置された位置や大きさが同じであるが、図示されている製品の部位や、製品の状態（特定の開閉部材（カバーなど）の開閉状態など）が互いに異なる。

なお、図３（Ａ）（Ｂ）に示す第１のＵＩ画像ＭＩ１および第２のＵＩ画像ＭＩ２は、製品の状態を示す状態画像の例である。

Ａ−３．携帯端末４００の情報提供部３００の処理：
図４および図５は、携帯端末４００の情報提供部３００（図１）が実行する情報提供処理のフローチャートである。この情報提供処理は、例えば、複合機２００の状態が特定の状態であることを示す特定のＵＩ画像が表示部２７０に表示されたときに、利用者が当該特定のＵＩ画像に関係する情報を取得するために、情報提供プログラムＰＧ２を起動したときに、実行される。より具体的には、例えば、この情報提供処理は、複合機２００がインクカートリッジの非装着などのエラー状態である場合に、表示部２７０にエラー状態を示すＵＩ画像（例えば、第１のＵＩ画像ＭＩ１（図３（Ａ）））が表示され、利用者がエラー状態の解決方法を詳しく知るために、情報提供プログラムＰＧ２を起動したときに、実行される。

ステップＳ１０にて、情報提供部３００（情報提供プログラムＰＧ２）の起動処理が実行されて、情報提供部３００が動作可能な状態になると、情報提供部３００は、ステップＳ１０での情報提供部３００の起動処理が初回であるか否かを判断する（ステップＳ２０）。例えば、情報提供部３００は、既に対象機種が登録済みである場合には、今回の起動処理は初回でないと判断し、対象機種が未登録である場合には、今回の起動処理は初回であると判断する

起動処理が初回であると判断されると（ステップＳ２０：ＹＥＳ）、第１の受付部３５０は、機種選択画像ＭＤ１を表示部４７０に表示し（ステップＳ２５）、表示された機種選択画像ＭＤ１を介して利用者から機種選択指示を受け付ける（ステップＳ３０）。

図６は、機種選択画像ＭＤ１の一例を示す図である。この機種選択画像ＭＤ１は、情報提供部３００が対応している機種の名称（型番など）の一覧ＭＮを含んでいる。利用者は、カーソルＣＵを移動させて、利用者が使用している複合機２００の機種の名称を選択したうえで、モデル選択ボタンＢＴ１にタッチすることによって、対象機種を入力する。第１の受付部３５０は、利用者からの入力に基づいて、対象機種を示す機種情報を生成して、不揮発性記憶装置４２０の所定領域に登録する。

ステップＳ３５では、第２の取得部３２０は、対象機種に対応する候補画像特徴テーブルを特定する。

図７は、候補画像特徴テーブル群ＤＴ１（図１）の内容を説明する図である。候補画像特徴テーブル群ＤＴ１は、情報提供部３００が対応しているＮ種類の機種（Ｎは自然数）にそれぞれ対応するＮ種類の候補画像特徴テーブルＤＴ１１〜ＤＴ１Ｎを含んでいる。図７には、３つの候補画像特徴テーブルＤＴ１１〜ＤＴ１３だけが図示されている。候補画像特徴テーブルＤＴ１１には、候補画像の特徴を表す候補画像情報と、対応ＵＲＬとが、候補画像に対応付けて記録されている。対応ＵＲＬは、候補画像情報に対応付けられていると言うこともできる。ここで、候補画像は、テーブルに対応する機種において表示部２７０に表示され得る複数種類のＵＩ画像、すなわち、複合機２００に格納されたＵＩ画像データ群２２４に含まれる複数種類のＵＩ画像データによって表される画像である。また、候補画像は、利用者によって撮像された撮像画像（後述）に含まれるＵＩ画像の候補を表す画像である。なお、候補画像特徴テーブルＤＴ１１には、対応する機種において表示され得る全ての種類のＵＩ画像が、候補画像として記録されている必要はなく、全ての種類のＵＩ画像のうち、一部の主要なＵＩ画像群が記録されていることが好ましい。

候補画像情報は、本実施例では、候補画像の色に関する特徴を表す色データと、候補画像の配置に関する特徴を表す配置データと、のセットである。

図３（Ａ）に示す第１のＵＩ画像ＭＩ１が候補画像である場合を例に説明する。配置データは、例えば、候補画像内に表現された要素の画像内における配置を表すデータである。例えば、第１のＵＩ画像ＭＩ１の配置データは、帯領域ＢＡ１や主表示領域ＭＡ１の配置、文字画像ＣＩ１、ＣＩ２の配置、製品画像ＤＩ１や記号画像ＭＫの配置を、表すデータである。例えば、候補画像を、縦Ｍ個×横Ｋ個（Ｍ、Ｋは、例えば、２０〜２００程度の自然数）の升目状のブロックに分割し、ブロックごとにブロック内のオブジェクト（文字、製品画像、記号、背景１（帯領域）、背景２（主表示領域））を識別する識別値（文字＝１、製品画像＝２、...）を対応付けて得られるデータ（ブロック画像データとも呼ぶ）が、配置データとして用いられる。ブロック画像データは、縦Ｍ個×横Ｋ個のブロックに対応する縦Ｍ個×横Ｋ個の画素値から構成された画像データであって、画素値がオブジェクト識別子である画像データである。このような配置データは、例えば、図３（Ａ）に示す第１のＵＩ画像ＭＩ１における文字画像ＣＩ１内の文字列の水平方向の長さ、文字画像ＣＩ２の配置位置など、他のＵＩ画像（例えば、図３（Ｂ）に示す第２のＵＩ画像ＭＩ２）と異なる特徴を表すことができる。

色データは、候補画像内に表現された要素の色分布特性を表すデータである。例えば、配置データに規定された複数個の領域（文字画像の領域、製品画像ＤＩ１の領域、...）ごとに作成されたヒストグラムデータが、色データとして用いられる。ヒストグラムデータは、周知のように、画像内の各画素を、その色に応じて、複数のクラスに分類することによって得られるデータである。このような色データは、例えば、図３（Ａ）に示す第１のＵＩ画像ＭＩ１における製品画像ＤＩ１の色分布特性など、他のＵＩ画像（例えば、図３（Ｂ）に示す第２のＵＩ画像ＭＩ２）と異なる特徴を表すことができる。

対応ＵＲＬ（Uniform Resource Locator）は、対応する候補画像（ＵＩ画像）に関係するサポート情報を含むＷＥＢページのサーバ６０内の位置を表す位置情報である。ＵＩ画像に関係するサポート情報は、例えば、当該ＵＩ画像がエラー状態に関する画像である場合には、当該エラーの解決方法、エラーの解決に必要な消耗品に関する情報などを含む。なお、候補画像（ＵＩ画像）に関係するサポート情報は、関係情報の例である。

他の候補画像特徴テーブルＤＴ１２、ＤＴ１３（図７（Ｂ）（Ｃ））も同様の構成を有している。ここで、候補画像特徴テーブルＤＴ１２（図７（Ｂ））には、候補画像特徴テーブルＤＴ１１に記録されている複数個の候補画像と同一の複数個の候補画像（エラー表示画像１、２、３）が記録されている。そして、２個のテーブルにそれぞれ記録されている２個の同一の候補画像（例えば、エラー表示画像１）に対応する２個のＵＲＬ（例えば、ＵＲＬ１と、ＵＲＬ４）は、互いに異なる。すなわち、２個の表示されるＵＩ画像が同一であっても、提供されるサポート情報は、対象機種によって互いに異なっていることが解る。

図４のステップＳ３５では、第２の取得部３２０は、図７に示す候補画像特徴テーブル群ＤＴ１の中から、対象機種に対応する候補画像特徴テーブルを特定する。候補画像特徴テーブル群ＤＴ１が不揮発性記憶装置４２０に格納されていない場合、あるいは、候補画像特徴テーブル群ＤＴ１の中に、所望の候補画像特徴テーブルがない場合には、第２の取得部３２０は、例えば、対象機種を表す機種情報とともに、候補画像特徴テーブルの送信を要求するコマンドをサーバ６０に送信することによって、サーバ６０から所望の候補画像特徴テーブルを取得しても良い。

ステップＳ４０では、第１の取得部３１０は、カメラ４９０を起動して、カメラ４９０を撮像可能な状態にする。ステップＳ４５では、第１の取得部３１０は、複合機２００の表示部２７０の表示パネルに表示されたＵＩ画像を撮像して得られる撮像画像データを取得する。例えば、第１の取得部３１０は、表示部４７０に、利用者に対して表示パネル（ＵＩ画像）の撮像を促すメッセージを表示する。そして、第１の取得部３１０は、利用者の撮像操作（シャッターボタン等の操作）、あるいは、自動認識を利用した自動撮像によって、撮像画像データを取得する。

ステップＳ５０では、第１の取得部３１０は、撮像画像データの取得が成功したか否かを判断する。第１の取得部３１０は、利用者の撮像操作によって、何らかの撮像画像データを取得できた場合には、撮像画像データの取得が成功したと判断する。あるいは、第１の取得部３１０は、撮像画像データが取得された場合に、撮像画像データに対して、比較的簡単な解析を行い、撮像画像内に、表示部２７０の表示パネルである可能性が比較的高い矩形のオブジェクトが認識できた場合に、撮像画像データの取得が成功したと判断しても良い。矩形のオブジェクトの認識は、撮像画像データにエッジ抽出処理を施すことによって、表示パネルと同等の縦横比を有する矩形オブジェクトを抽出することによって実行される。

撮像画像データの取得が成功したと判断できない場合には（ステップＳ５０：ＮＯ）、第１の取得部３１０は、撮像画像データの取得を続ける。撮像画像データの取得が成功したと判断されると（ステップＳ５０：ＹＥＳ）、第１の取得部３１０は、撮像画像データをバッファ領域４２７に格納する。撮像画像データによって表される撮像画像は、利用者が確認できるように、表示部４７０に表示される。

図８は、撮像画像ＰＣについて示す図である。図８は、ステップＳ４５にて取得された撮像画像データによって表される撮像画像ＰＣを含む表示画像ＭＤ２を示す。表示画像ＭＤ２は、撮像画像データが取得された直後に、携帯端末４００の表示部４７０に表示される画像である。図８の例では、撮像画像ＰＣは、表示部２７０の表示パネルを表す画像２７１と、表示部２７０の表示パネルに近接した複合機２００の操作ボタン２６０Ｂを表す画像２６１Ｂと、を含んでいる。以下、撮像画像ＰＣ内のＵＩ画像が写っている部分画像（表示パネルの画像）を撮像ＵＩ画像２７１とも呼ぶ。

図４のステップＳ５５では、撮像画像情報取得部３２１は、ステップＳ４５において取得された撮像画像データを用いて、撮像画像ＰＣの特徴を表す撮像画像情報を生成する。具体的には、撮像画像情報取得部３２１は、候補画像特徴テーブル群ＤＴ１に記録されている候補画像情報と同様の情報を生成する。

具体的には、撮像画像情報取得部３２１は、撮像画像ＰＣに対してエッジ抽出処理を施して、撮像画像ＰＣ内の撮像ＵＩ画像２７１を特定する。撮像画像情報取得部３２１は、さらに、当該撮像ＵＩ画像に対して傾き補正処理（回転処理）および拡大縮小処理を施して、適切なサイズおよび向きに修正された撮像ＵＩ画像２７１を表す画像データを取得する。

さらに、撮像画像情報取得部３２１は、修正された撮像ＵＩ画像を、上述した縦Ｍ個×横Ｋ個の升目状のブロックに分割し、ブロックごとにブロック内のオブジェクト（文字、製品画像、記号、背景１（帯領域）、背景２（主表示領域））を識別する識別値（例えば、文字＝１、製品画像＝２、...）を対応付けて、撮像ＵＩ画像の配置データ（ブロック画像データ）を生成する。ブロック内のオブジェクトの認識は、周知の様々な方法を用いることができる。例えば、撮像画像情報取得部３２１は、ブロックごとに平均エッジ量と平均色値を算出し、平均エッジ量と平均色値とを基準値と比較することによってオブジェクトの認識を行うことができる。また、ＵＩ画像の大まかな配置は、複数のＵＩ画像で共通している。例えば、図３に示すように、製品画像は、ＵＩ画像の水平方向の中央より左側に表示され、文字画像は、右側に表示される。このような、大まかな配置を加味しながら、ブロック内のオブジェクトを判定することで、比較的高い判定精度を実現できる。

さらに、撮像画像情報取得部３２１は、配置データに規定された複数個の領域（文字画像の領域、製品画像ＤＩ１の領域、...）ごとに撮像ＵＩ画像のヒストグラムデータを生成することによって、撮像ＵＩ画像の色データを生成する。

ステップＳ６０では、候補画像情報取得部３２２は、ステップＳ３５にて特定された候補画像特徴テーブルから候補画像情報（配置データと色データ）を取得する。

図５のステップＳ６５では、決定部３２５は、候補画像情報と撮像画像情報とを用いて、複数個の候補画像の中から撮像画像ＰＣ内のＵＩ画像と類似する候補画像、すなわち、撮像ＵＩ画像が表すＵＩ画像と類似する候補画像を決定する。具体的には、決定部３２５は、候補画像特徴テーブルに記録された複数個の候補画像に対応する複数個の候補画像情報と、撮像画像情報と、を用いて、複数個の候補画像に対応する複数個の類似度ＳＬを算出する。具体的には、決定部３２５は、算出対象の候補画像情報の色データと、撮像画像情報の色データとの類似度である色類似度ＣＳと、算出対象の候補画像情報の配置データと、撮像画像情報の配置データとの類似度である配置類似度ＡＳと、候補画像ごとに算出する。

色類似度ＣＳは、例えば、算出対象の２個の色データである２個のヒストグラムデータを用いて算出される。ヒストグラムデータの複数個のクラスｈ１，ｈ２，ｈ３...の頻度をｖｈ１，ｖｈ２，ｖｈ３...とした場合に、Ｉ＝（ｖｈ１，ｖｈ２，ｖｈ３，...）で表されるベクトルＩを、ヒストグラムデータのベクトルとする。色類似度ＣＳは、算出対象の２個のヒストグラムデータの２個のベクトルＩ１、Ｉ２の角距離ｃｏｓθで表すことができる。

配置類似度ＡＳは、例えば、算出対象の２個の配置データである２個のブロック画像データを用いて算出される。配置類似度ＡＳは、例えば、一致画素数ＰＮ１／総画素数ＰＮ２で表される。一致画素数ＰＮ１は、２個のブロック画像データのうちの第１のブロック画像データを構成する縦Ｍ個×横Ｋ個の画素値のうち、２個のブロック画像データのうちの第２のブロック画像データの対応する画素値と同値である画素値の数である。総画素数ＰＮ２は、１個のブロック画像データに含まれる全ての画素の総数（具体的には、Ｍ×Ｋ）である。

候補画像ごとに算出される類似度ＳＬは、色類似度ＣＳと配置類似度ＡＳとの和で表される。このような画像の類似度の評価手法は周知であり、例えば、特開平８−２０２７３３号公報、特開２００７−０９４９６２号公報に同様な評価手法が記載されている。

複数個の候補画像に対応する複数個の類似度ＳＬが算出されると、決定部３２５は、次に、該複数の類似度ＳＬを用いて、撮像ＵＩ画像と類似する候補画像を決定する。複数個の類似度ＳＬの中に、所定のしきい値ＴＨを超える類似度ＳＬが、１個だけ存在する場合には、しきい値ＴＨを超える１個の類似度ＳＬに対応する候補画像が、撮像ＵＩ画像に最も類似する１個の候補画像として決定される。一方、複数個の類似度ＳＬの中に、所定のしきい値ＴＨを超える２個以上の類似度ＳＬが存在する場合には、および、複数個の類似度ＳＬの中に、所定のしきい値を超える類似度ＳＬが、存在しない場合には、撮像ＵＩ画像に類似する候補画像は決定されない。

ステップＳ７０では、情報提供部３００は、ステップＳ６５にて、１個の候補画像を決定できたか否かを判断する。１個の候補画像を決定できた場合には（ステップＳ７０：ＹＥＳ）、識別情報取得部３２４は、決定された候補画像および候補画像情報に対応する識別情報としての対応ＵＲＬを、候補画像特徴テーブル（図７）から取得する（ステップＳ７３）。対応ＵＲＬが取得されると、情報提供部３００は、ステップＳ１１０に処理を移行する。

１個の候補画像を決定できない場合には（ステップＳ７０：ＮＯ）、候補画像取得部３２３は、予め定められた複数個の候補画像データを候補画像データ群ＤＴ２（図１）から取得する（ステップＳ７５）。予め定められた複数個の候補画像データは、全ての候補画像のうちの、予め定められた複数個の候補画像をそれぞれ表す画像データである。予め定められた複数個の候補画像を、複数個の選択対象候補画像ＳＧとも呼ぶ。不揮発性記憶装置４２０に格納された候補画像データ群ＤＴ２に含まれる候補画像データは、複数個の選択対象候補画像ＳＧを表す候補画像データだけであっても良いし、選択対象候補画像ＳＧ以外の候補画像を表す候補画像データを含んでいても良い。

ステップＳ８０では、第２の受付部３６０は、複数個の選択対象候補画像ＳＧを含む候補画像選択画像ＳＥを表示部４７０に表示して、利用者の選択を受け付ける。

図９、図１０は、候補画像選択画像ＳＥを含む表示画像ＭＤ３、ＭＤ４の一例を示す図である。表示画像ＭＤ３（図９）は、表示画像ＭＤ２（図８）に、候補画像選択画像ＳＥが重畳された画像である。候補画像選択画像ＳＥは、半透明に見せる画像処理が施されて表示され、撮像画像ＰＣの一部分、具体的には、撮像画像ＰＣの左右方向の中心より右側の領域に重畳されている。候補画像選択画像ＳＥは、複数個の選択対象候補画像ＳＧと、特殊選択画像ＯＴ（図１０）と、上下方向に候補画像選択画像ＳＥをスクロールさせる指示を受け付けるためのスクロールボタンＳＡと、を含んでいる。本実施例では、複数個の選択対象候補画像ＳＧの全部が同時に表示されるわけではなく、利用者は、スクロールボタンＳＡを操作することによって、複数個の選択対象候補画像ＳＧのうち、表示される画像を切り換えることができる（図９、図１０）。

各選択対象候補画像ＳＧは、撮像画像ＰＣ内の撮像ＵＩ画像２７１と比較して小さく、一度に所定個数ずつ（図９の例では３個ずつ）表示される。また、各選択対象候補画像ＳＧは、撮像ＵＩ画像２７１の主要な特徴部分、図９の例では製品画像や主要なメッセージが表示された左側の部分を避けて、重畳されている。このように、各選択対象候補画像ＳＧは、利用者が、各選択対象候補画像ＳＧと撮像ＵＩ画像２７１とを比較しやすい態様で、表示される。なお、各選択対象候補画像ＳＧは、撮像画像ＰＣ内の撮像ＵＩ画像２７１と同程度の大きさで、一度に１個ずつ表示されてもよい。

図１０に示すように、候補画像選択画像ＳＥを下方にスクロールさせると、下端の選択対象候補画像ＳＧの下方に、特殊選択画像ＯＴが表示される。図１０の例では、特殊選択画像ＯＴには、「その他」の文字が表示されている。利用者は、複数個の選択対象候補画像ＳＧと、特殊選択画像ＯＴと、のうちのいずれか１個の画像を選択することができる。

図５のステップＳ８５では、情報提供部３００は、第２の受付部３６０によって受け付けられた利用者の選択結果が、選択対象候補画像ＳＧであるか、特殊選択画像ＯＴであるかを判断する。

利用者の選択結果が選択対象候補画像ＳＧである場合には、識別情報取得部３２４は、選択された選択対象候補画像ＳＧに対応する識別情報としての対応ＵＲＬを、候補画像特徴テーブル（図７）から取得する（ステップＳ１０７）。

ステップＳ１１０では、第３の取得部３３０は、ブラウザプログラムＰＧ３（図１）をＣＰＵ４１０に実行させることによってＷＥＢブラウザ５０（図１）を起動する。

ステップＳ１１５では、第３の取得部３３０は、取得した識別情報（本実施例では、対応ＵＲＬ）を用いて、候補画像に関係するサポート情報をサーバ６０から取得する。具体的には、第３の取得部３３０は、識別情報としての対応ＵＲＬをＷＥＢブラウザ５０に渡して、ＷＥＢブラウザ５０を用いて、候補画像に関係するサポート情報をサーバ６０から取得する。

ステップＳ１２０では、ＷＥＢブラウザ５０は、取得されたサポート情報を表示部４７０に表示する。

図１１は、サポート情報の表示画像ＭＤ５の一例である。この表示画像ＭＤ５は、サーバ６０が提供する複数のＷＥＢページのうち、候補画像に対応するサポート情報を含むページの画像である。このページは、図１１に示すように、ステップＳ４５にて撮像画像データが取得された際の撮像対象となったＵＩ画像（図３（Ａ））が複合機２００に表示された場合に、複合機２００の利用者が参考とすることを想定して作成されたページである。図１１には、インクカートリッジの非装着のエラーを示すＵＩ画像が表示された場合の解決方法が詳しく記載されたページが例示されている。

図５のステップＳ８５にて、利用者の選択結果が特殊選択画像ＯＴ（図１０）である場合には、情報提供部３００は、ＷＥＢブラウザ５０を起動する（ステップＳ９０）。

ステップＳ９５では、ＷＥＢブラウザ５０は、複合機２００に表示され得る複数個のＵＩ画像に関係するサポート情報の項目の一覧を表す一覧画像ＭＤ６を、表示部４７０に表示する。具体的には、ＷＥＢブラウザ５０は、一覧画像ＭＤ６を表すＷＥＢページのＵＲＬを情報提供部３００から受け取って、当該ＵＲＬを用いてサーバ６０にアクセスすることによって、一覧画像ＭＤ６を表示する。

図１２は、一覧画像ＭＤ６の一例を示す図である。この一覧画像ＭＤ６には、複合機２００に発生し得る多数のエラーに対応する多数の項目が網羅されている。したがって、この一覧画像ＭＤ６には、複合機２００において、現在発生しているエラーに対応する特定の項目が含まれている可能性が高い。

ステップＳ１００では、ＷＥＢブラウザ５０は、一覧画像ＭＤ６を介して、一覧画像ＭＤ６に含まれる項目の選択を利用者から受け付ける。ステップＳ１０５では、ＷＥＢブラウザ５０は、選択された項目のサポート情報を、サーバ６０から取得する。

ステップＳ１２０では、ＷＥＢブラウザ５０は、取得されたサポート情報を表示部４７０に表示する。

以上説明した本実施例によれば、複合機２００の特定の状態（例えば、紙切れなどのエラー状態）を示す特定のＵＩ画像を表示する表示部２７０を撮像して得られる撮像画像データを解析することによって、特定のＵＩ画像に関係する特定のサポート情報の位置を示すＵＲＬを取得する。そして、取得されたＵＲＬに基づいて、特定のサポート情報を取得して携帯端末４００の表示部４７０に表示することができる。この結果、携帯端末４００は、複合機２００の表示部２７０に表示された特定のＵＩ画像に応じた適切な情報を、利用者に提供することができる。

複合機２００にエラーが発生した場合に、複合機２００に現在発生しているエラーに関係する情報は、表示部２７０に表示されるＵＩ画像によっても提供される。しかし、複合機２００の不揮発性記憶装置２２０の容量制限や、表示部２７０の解像度や大きさの制限などから、表示部２７０に表示されるＵＩ画像によって、十分な情報が提供することは比較的困難である。

このために、エラーに関する情報等を含むサポート情報が、サーバ６０にてＷＥＢサービスとして提供されている。しかし、サーバ６０が充実した複合機２００のサポート情報をＷＥＢサービスとして提供していても、サポート情報が複合機２００の利用者によって十分に活用されているとは言えない場合があった。例えば、多数のサポート情報を含むサポート情報群６５１の中から、所望のサポート情報に到達するのは、利用者にとって負担が大きい。

本実施例によれば、例えば、複合機２００にエラーが発生したときに表示されたＵＩ画像を、携帯端末４００で撮像することによって、利用者は、容易に、発生したエラーに関係するサポート情報を入手することができる。

さらに、携帯端末４００は、撮像画像の特徴を示す撮像画像情報を解析によって取得する。そして、携帯端末４００は、複数個の候補画像の特徴を表す複数個の候補画像情報を、テーブル等（図７）から取得する。携帯端末４００は、撮像画像情報取得部と、複数個の候補画像情報とを用いて、最も類似する特定の候補画像の候補画像情報を決定する（図５：Ｓ６５）。そして、携帯端末４００は、決定された候補画像情報に対応する識別情報（例えば、対応ＵＲＬ）を取得する。したがって、複数個の候補画像のそれぞれの特徴を表す複数個の候補画像情報を用いて、適切なサポート情報を表示できるので、利用者に対して適切な関係情報を表示することができる。

また、ＵＩ画像自体の特徴（例えば、領域の色や配置）に応じて、提供すべきサポート情報を表示するので、提供すべきサポート情報を特定するための特別な情報（例えば、ＵＲＬやＱＲコード（登録商標）などの情報）を、複合機２００が表示する仕組みが必要ない。この結果、既存の製品についても、当該既存の製品に備えられる表示部に表示されるＵＩ画像に関係する関係情報を、利用者に容易に提供することができる。例えば、特別な仕組みを持たない、既に出荷された複合機２００のサポート情報であっても、当該出荷済みの複合機２００に表示されるＵＩ画像の特徴に基づいて、適切なサポート情報を容易に提供できる。

また、携帯端末４００は、撮像画像データの解析によって取得されたＵＲＬを用いてサーバ６０にアクセスすることによって、サポート情報をサーバ６０から取得する。利用者は、サーバ６０に格納されたサポート情報を、容易に携帯端末４００に表示させることができる。

さらに、携帯端末４００は、複合機２００の種類の入力を利用者から受け付けて、撮像画像データの解析結果と、複合機２００の種類を表す製品情報と、を用いて、特定のＵＲＬを取得する。したがって、複合機２００の種類に応じて、適切な関係情報を表示部４７０に表示することができる。例えば、同一のＵＩ画像が撮影された場合であっても、複合機２００の種類が異なれば、提供すべきサポート情報が異なる場合がある。より具体的には、インクカートリッジＣＴが未装着であるエラーの発生を示すためのＵＩ画像（図３（Ａ））として、同じＵＩ画像データを使用している２つの機種であっても、対応しているインクカートリッジの品番や種類が互いに異なる場合がある。このような場合であっても、撮像画像データの解析結果のみならず複合機２００の機種をも鑑みて、提供すべきサポート情報のＵＲＬが取得される。そのため、機種ごとに適切なインクカートリッジの品番や種類を示すサポート情報を提供することができる。

第１の撮像画像データの解析結果と、複合機２００の機種情報と、を用いてＵＲＬを取得した場合には、第１の撮像画像データが取得された後に取得された第２の撮像画像データの解析結果を用いてＵＲＬを取得する際に、機種の受け付けを行わない。例えば、初回に複合機２００の機種情報を入力すれば、２回目以降は、機種の受け付けを行わない（図４：Ｓ２０）。この結果、第２の撮像画像データを解析することによって識別情報を取得する際に、複合機２００の種類の受け付けを行うことなく、適切なＵＲＬを取得できる。この結果、利用者の操作負担を軽減できる。

さらに、携帯端末４００は、撮像画像データを解析することによって、特定のＵＲＬを取得できない場合に、複数個の選択対象候補画像ＳＧを表示部４７０に表示して、利用者の選択を受け付ける（図９、１０）。そして、受け付けられた利用者の選択結果を用いて、特定のＵＲＬを取得する。したがって、撮像画像データを解析することによって、特定のＵＲＬを取得できない場合であっても、適切なサポート情報を携帯端末４００に表示させることができる。

また、携帯端末４００は、撮像画像データを解析することによって、特定のＵＲＬを取得できない場合に、予め定められた個数の候補画像を表示部４７０に表示させる（図９、１０）ので、過剰な数の候補画像が表示されることを抑制して、操作が複雑になることを抑制することができる。

また、携帯端末４００は、利用者の選択を受け付けるために、複数個の選択対象候補画像ＳＧと、撮像画像データによって表される撮像画像ＰＣとを、表示部４７０に表示させる。この結果、選択対象候補画像ＳＧと撮像画像ＰＣを比較しながら、撮像画像ＰＣに対応する候補画像を容易に選択することができる。

携帯端末４００は、複数個の選択対象候補画像ＳＧに加えて、特殊選択画像ＯＴを特定の選択肢として、表示部４７０に表示させる。そして、特殊選択画像ＯＴが選択された場合に、複数個のエラー項目であって、複合機２００において現在発生しているエラーに対応する特定のエラー項目を含む複数個のエラー項目を表示部４７０に表示させる。具体的には、図１２に示すエラー項目の一覧画像ＭＤ６が表示部４７０に表示される。この結果、選択対象候補画像ＳＧの表示個数が過度に増加することを抑制しつつ、利用者に適切なサポート情報を選択させることができる。

Ｂ．第２実施例：
図１３、図１４は、第２実施例の情報提供処理のフローチャートである。図１３、図１４において、第１実施例の情報提供処理（図４、図５）と同一のステップには、図４、図５と同一の符号を付し、第１実施例の情報提供処理と異なるステップには、符号の末尾に「Ａ」を付した。

第２実施例は、第１実施例と大きく２つの点で異なる。１つは、対象機種の１機種分のサポート情報の全体が、携帯端末４００の記憶装置に格納される点である。まずこの点について説明する。

第２実施例の情報提供処理では、ステップＳ３０にて、機種選択指示を受け付けることによって、対象機種が選択された後、ステップＳ３８Ａでは、第３の取得部３３０は、選択された対象機種の全てのサポート情報をサーバ６０から取得する。取得されたサポート情報は、携帯端末４００の内部の記憶装置、例えば、不揮発性記憶装置４２０に格納される。

そして、第２実施例の情報提供処理では、図１４のステップＳ７３Ａ、Ｓ１０７Ａにおいて、取得される識別情報は、ＵＲＬに代えて、取得すべきサポート情報が格納された不揮発性記憶装置４２０内の位置を識別可能な識別情報が用いられる。識別情報には、アドレス、サポート情報を格納したファイル名などが用いられる。

そして、第２実施例の情報提供処理では、ステップＳ１１５Ａにおいて、サポート情報は、上述した識別情報を用いて、不揮発性記憶装置４２０から取得される。

同様に、ステップＳ１０５Ａにおいて、利用者によって選択された項目のサポート情報は、不揮発性記憶装置４２０から取得される。

第２実施例では、１機種分のサポート情報が、不揮発性記憶装置４２０に格納されるので、対象機種が変わらない限り、携帯端末４００とサーバ６０との間で通信が発生しないので、通信障害などの影響で、サポート情報が取得できない可能性を抑制できる。

また、携帯端末４００の不揮発性記憶装置４２０には、１機種分のサポート情報に限らず、情報提供部３００が対応している全ての機種のサポート情報が格納されても良い。こうすれば、さらに、携帯端末４００とサーバ６０との間で通信が発生する可能性を低くすることができる。

次に、第２実施例が第１実施例と異なる２つ目の点について説明する。
ステップＳ６５にて、撮像画像データを解析し、類似度ＳＬとしきい値ＴＨとの比較結果によって、撮像ＵＩ画像に類似する１個の候補画像を決定できない場合には（ステップＳ７０：ＮＯ）、情報提供部３００は、１個の候補画像を決定できないものの、撮像ＵＩ画像に類似する候補画像が、複数個の候補に絞られたか否かを判断する（ステップＳ７２Ａ）。

上述したように、撮像ＵＩ画像に類似する１個の候補画像が決定される条件は、候補画像ごとに算出された複数個の類似度ＳＬのうち、しきい値ＴＨを超える類似度ＳＬが、１個だけ存在することである。したがって、撮像ＵＩ画像に類似する１個の候補画像が決定されない場合には、以下の２つがある。

（１）候補画像ごとに算出された複数個の類似度ＳＬのうち、しきい値ＴＨを超える類似度ＳＬが、２個以上存在する。
（２）候補画像ごとに算出された複数個の類似度ＳＬのうち、しきい値ＴＨを超える類似度ＳＬが、１個も存在しない。

ここで、上記（１）の場合には、情報提供部３００は、撮像ＵＩ画像に類似する１個の候補画像は、しきい値ＴＨを超える２個以上の類似度ＳＬに対応する２個以上の候補画像に絞られたと判断する。上記（２）の場合には、情報提供部３００は、撮像ＵＩ画像に類似する１個の候補画像は、絞られていないと判断する。

ここで、撮像ＵＩ画像に類似する１個の候補画像は、特定個数に絞られていないと判断された場合には（ステップＳ７２Ａ：ＮＯ）、第１実施例と同様の処理が行われるので説明を省略する。

ここで、撮像ＵＩ画像に類似する１個の候補画像は、特定個数に絞られたと判断された場合には（ステップＳ７２Ａ：ＹＥＳ）、第２の受付部３６０は、当該絞られた所定個数の候補画像を含む選択画像を表示部４７０に表示する（ステップＳ７３Ａ）。続くステップＳ７４Ａでは、第２の受付部３６０は、ステップＳ７３Ａにおいて表示された選択画像を介して、利用者から候補画像の選択を受け付ける。

第２実施例によれば、撮像画像データを解析することによって、撮像画像データによって表される撮像画像に類似する所定数の候補画像が特定された場合に、利用者は、撮像画像に類似する所定数の候補画像の中から１つの候補画像を選択することができ、利用者の操作負担を軽減できる。

Ｃ．変形例：
（１）上記各実施例は、製品の例示として複合機をあげているが、これに代えて、他の電子機器、例えば、デジタルカメラや、単体のプリンタ、スキャナであっても良い。

（２）携帯端末４００の情報提供部３００によって実行される処理の一部は、携帯端末４００と接続された他の計算機、例えば、サーバによって実行されても良い。例えば、図４のステップＳ５０で携帯端末４００が撮像画像データを取得した後、当該撮像画像データを所定のサーバに送信しても良い。この場合には、当該撮像画像データを受け取ったサーバが、ステップＳ５５〜Ｓ１１５までの処理を実行して、取得したＵＲＬを、携帯端末４００に対して送信しても良い。

（３）上記実施例において、候補画像と撮像画像の類似度を評価する手法は、一例であって、これに限られない。上述したヒストグラムデータとブロック画像データを用いる方法に代えて、画像の周波数成分を用いる手法や、文字認識技術を用いる手法であっても良い。このような２種類の画像の類似度を評価する手法は、例えば、特開２００１−１６７１１８号公報（画像の周波数成分を表す係数を、比較する手法）や、特開２００８−２３４３２７号公報（画像の色度を色度図上でヒストグラム化したヒストグラムデータを、比較する手法）に開示されている。

（４）上記実施例では、携帯端末４００とサーバ６０とが協働して、利用者に対するサポート情報の提供を実現しているが、携帯端末４００単体で、サーバ６０にサポート情報を提供してもよい。この場合には、全ての機種の全ての項目のサポート情報が携帯端末４００の不揮発性記憶装置４２０に格納されれば良い。この場合には、携帯端末４００の情報提供部３００は、撮像画像ＰＣに対応する１個の候補画像を特定した後、候補画像に対応する識別情報（例えば、エラー項目名、不揮発性記憶装置４２０内におけるアドレス）に基づいて、不揮発性記憶装置４２０から対応するサポート情報を取得・表示すれば良い。

（５）上記第１実施例において、候補画像に対応する識別情報として、ＵＲＬが用いられているが、これに代えて、エラー項目や候補画像の識別子（名称、識別コード）が用いられても良い。この場合には、例えば、携帯端末４００の情報提供部３００は、エラー項目や候補画像の識別子をサーバ６０に送信して、ＵＲＬを問い合わせる。サーバ６０は、エラー項目や候補画像の識別子に対応するＵＲＬを、情報提供部３００に返信する。携帯端末４００は、サーバから取得したＵＲＬをＷＥＢブラウザに渡すことによって、上記実施例と同様に、対応するサポート情報を表示部４７０に表示させることができる。この場合には、サーバ６０において、サーバの管理者がサポート情報を提供するＷＥＢページを更新することによって、ＵＲＬが変更されても、携帯端末４００は、問題なくサポート情報を取得することができる。

（６）上記実施例では、予め候補画像情報が算出されて候補画像特徴テーブル（図７）に格納されているが、候補画像情報取得部３２２が、候補画像を表す候補画像データを解析することによって、候補画像情報を生成しても良い。候補画像情報の生成手法は、例えば、撮像画像情報取得部３２１による撮像画像情報の生成と同様の手法が用いられる。

（８）上記実施例では、候補画像データ群ＤＴ２が不揮発性記憶装置４２０に格納されているが、候補画像データ群ＤＴ２は、不揮発性記憶装置４２０に格納されていなくても良い。候補画像データ群ＤＴ２がなくても、予め算出された候補画像情報を含む候補画像特徴テーブル（図７）が格納されていれば、情報提供部３００は、撮像画像ＰＣに対応する１個の候補画像を決定することができる。候補画像データ群ＤＴ２がない場合には、情報提供部３００は、選択対象候補画像ＳＧの表示（図９）を行えない。この場合には、情報提供部３００は、選択対象候補画像ＳＧの表示に代えて、選択対象候補画像ＳＧに対応する複合機２００の状態（例えば、エラー状態）を文字で表示しても良い。

（９）上記実施例では、製品の現在の状態を示す状態画像として、複合機２００のエラー状態を示すＵＩ画像（図３）を例示し、状態画像に関係する関係情報として、エラーの解決方法を例示している。これに代えて、製品の現在の状態を示す状態画像は、利用者の印刷指示やスキャン指示を受け付け可能な待機状態を示すＵＩ画像（待ち受け画面）、各種の設定（ネットワーク設定、初期設定）に関する利用者の入力を受け付けている設定処理状態を示すＵＩ画像（設定画面）であって良い。そして、状態画像に関係する関係情報は、待機状態のＵＩ画像で選択可能な印刷処理やスキャン処理の具体的な操作方法の説明であっても良い。また、状態画像に関係する関係情報は、設定処理状態のＵＩ画像で設定可能な各種設定項目の説明および各種設定項目の具体的な設定方法の説明であっても良い。

（１０）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

（１１）本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含んでいる。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

２０...メイン制御部、６０...サーバ、６５...記憶部、７０...インターネット、１１０...装置制御部、２００...複合機、２１０...ＣＰＵ、２２０...不揮発性記憶装置、２２１...コンピュータプログラム、２３０...揮発性記憶装置、２３１...バッファ領域、２４０...プリンタ部、２５０...スキャナ部、２６０...操作部、２６０Ａ...タッチパネル、２６０Ｂ...ボタン、２７０...表示部、２８０...通信部、２８５...給紙トレイ、２９０...インク装着部、３００...情報提供部、３１０...第１の取得部、３２０...第２の取得部、３２１...撮像画像情報取得部、３２２...候補画像情報取得部、３２３...候補画像取得部、３２４...識別情報取得部、３２５...決定部、３３０...第３の取得部、３４０...表示制御部、３５０...第１の受付部、３６０...第２の受付部、４００...携帯端末、４１０...ＣＰＵ、４２０...不揮発性記憶装置、４２５...揮発性記憶装置、４２７...バッファ領域、４５０...音声処理部、４６０...操作部、４７０...表示部、４９０...カメラ

Claims (11)

1. 撮像部と端末側表示部とを含む撮像端末のための制御装置であって、
   製品に含まれる製品側表示部であって、前記製品において現在発生しているエラーの状態を示す特定の状態画像を表示する前記製品側表示部を、前記撮像部が撮像することによって生成される撮像画像データを取得する第１の取得部と、
   前記撮像画像データを解析することによって、前記製品側表示部に表示され得る複数個の候補画像であって、前記撮像画像データによって表される前記特定の状態画像の候補として予め準備される前記複数個の候補画像の中から、前記撮像画像データによって表される前記特定の状態画像に対応する一の候補画像を特定する特定部と、
   特定済みの前記一の候補画像に対応する特定の関係情報を取得するために前記撮像端末によって利用される特定の識別情報を取得する第２の取得部であって、前記特定の関係情報は、前記一の候補画像が示すエラーを解決するための解決方法を示す、前記第２の取得部と、
   前記特定の識別情報を用いて、前記特定の関係情報を取得する第３の取得部と、
   前記特定の関係情報を、前記撮像端末の前記端末側表示部に表示させる表示制御部と、
   を備える、制御装置。
2. 請求項１に記載の制御装置であって、
   前記第２の取得部は、
   前記撮像画像データによって表される撮像画像の特徴を示す撮像画像情報を取得する撮像画像情報取得部と、
   複数個の前記候補画像のそれぞれについて、前記候補画像の特徴を表す候補画像情報を取得する候補画像情報取得部と、
   前記撮像画像情報と、複数個の前記候補画像情報と、を用いて、複数個の前記候補画像のうち前記撮像画像に最も類似する特定の候補画像の特徴を表す特定の候補画像情報を決定する決定部と、
   複数個の前記候補画像のそれぞれについて、前記候補画像の特徴を表す前記候補画像情報と、前記候補画像に対応する前記関係情報を識別するための前記識別情報と、を対応
   付けて記憶する記憶部から、前記特定の候補画像情報に対応する前記特定の識別情報を取得する識別情報取得部と、を備える、制御装置。
3. 請求項１または請求項２に記載の制御装置であって、
   前記特定の関係情報は、前記制御装置とネットワークを介して接続されるサーバに格納され、
   前記第２の取得部は、前記サーバ内における前記特定の関係情報の位置を表す特定の位置情報を、前記特定の識別情報として取得し、
   前記第３の取得部は、前記特定の位置情報を用いて前記サーバにアクセスすることによって、前記特定の関係情報を取得する、制御装置。
4. 請求項１ないし請求項３のいずれかに記載の制御装置であって、
   前記製品の種類の入力を利用者から受け付ける第１の受付部をさらに備え、
   前記第２の取得部は、前記撮像画像データの解析結果と、前記製品の種類を表す製品情報と、を用いて、前記特定の識別情報を取得する、制御装置。
5. 請求項４に記載の制御装置であって、
   前記第２の取得部が第１の撮像画像データの解析結果と、前記製品情報と、を用いて第１の識別情報を取得した場合には、
   前記第１の受付部は、前記第２の取得部が、第１の撮像画像データが取得された後に取得された第２の撮像画像データの解析結果を用いて第２の識別情報を取得する際に、前記製品の種類の受け付けを行わない、制御装置。
6. 請求項１ないし請求項５のいずれかに記載の制御装置であって、
   前記第２の取得部は、さらに、
   前記撮像画像データを解析することによって、前記特定の識別情報を取得できない場合に、複数個の前記候補画像をそれぞれ表す複数個の候補画像データを取得する候補画像取得部と、
   複数個の前記候補画像を前記端末側表示部に表示させて、利用者の選択を受け付ける第２の受付部と、
   前記第２の受付部によって受け付けられた前記利用者の選択結果を用いて、前記特定の識別情報を取得する識別情報取得部と、を備える、制御装置。
7. 請求項６に記載の制御装置であって、
   前記候補画像取得部は、前記特定の識別情報を取得できない場合において、前記撮像画像データによって表される撮像画像に類似する所定数の前記候補画像が特定された場合に、所定数の前記候補画像を取得し、
   前記第２の受付部は、特定された所定数の前記候補画像を、前記端末側表示部に表示させる、制御装置。
8. 請求項６に記載の制御装置であって、
   前記候補画像取得部は、前記特定の識別情報を取得できない場合に、予め定められた所定数の前記候補画像を取得し、
   前記第２の受付部は、所定数の前記候補画像を前記端末側表示部に表示させる、制御装置。
9. 請求項６ないし請求項８のいずれかに記載の制御装置であって、
   前記第２の受付部は、利用者の選択を受け付けるために、複数個の前記候補画像と、前記撮像画像データによって表される撮像画像とを、前記端末側表示部に表示させる、制御装置。
10. 請求項６ないし請求項９のいずれかに記載の制御装置であって、
    前記第２の受付部は、複数個の前記候補画像に加えて、特定の選択肢を前記端末側表示部に表示させ、
    前記表示制御部は、
    前記特定の選択肢が選択された場合に、複数個のエラー項目であって、前記製品において現在発生しているエラーに対応する特定のエラー項目を含む複数個の前記エラー項目を、前記端末側表示部に表示させる、制御装置。
11. 撮像部と端末側表示部とを含む撮像端末のためのコンピュータプログラムであって、
    製品に含まれる製品側表示部であって、前記製品において現在発生しているエラーの状態を示す特定の状態画像を表示する前記製品側表示部を、前記撮像部が撮像することによって生成される撮像画像データを取得する第１の取得機能と、
    前記撮像画像データを解析することによって、前記製品側表示部に表示され得る複数個の候補画像であって、前記撮像画像データによって表される前記特定の状態画像の候補として予め準備される前記複数個の候補画像の中から、前記撮像画像データによって表される前記特定の状態画像に対応する一の候補画像を特定する特定機能と、
    特定済みの前記一の候補画像に対応する特定の関係情報を取得するために前記撮像端末によって利用される特定の識別情報を取得する第２の取得機能であって、前記特定の関係情報は、前記一の候補画像が示すエラーを解決するための解決方法を示す、前記第２の取得機能と、
    前記特定の関係情報を前記撮像端末の前記端末側表示部に表示させるために、前記特定の識別情報を用いて、前記特定の関係情報を取得する第３の取得機能と、
    を備える、コンピュータプログラム。
    

Images