JP6194785B2

JP6194785B2 - 表示システム，情報処理装置，およびモバイル装置

Info

Publication number: JP6194785B2
Application number: JP2013260670A
Authority: JP
Inventors: 渉水向
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2013-12-17
Filing date: 2013-12-17
Publication date: 2017-09-13
Anticipated expiration: 2033-12-17
Also published as: JP2015119290A

Description

本発明は，表示機能を有する情報処理装置と，撮像機能を有するモバイル装置とを有する表示システムに関する。

近年，ＡＲ（Augmented Reality：拡張現実）技術のように，マーカを検出し，そのマーカに対応する情報を表示する表示技術が注目されている。例えば，情報処理装置が具備する液晶パネルにＡＲマーカを表示させ，スマートフォン等の撮像機能付きのモバイル装置にそのＡＲマーカを読み取らせ，モバイル装置がＡＲマーカを解析し，そのＡＲマーカに対応する情報をモバイル装置に表示させる。

表示技術に関連する文献としては，例えば特許文献１がある。特許文献１では，読み取った画像にＡＲマーカ全体が含まれていない場合であっても，ＡＲ表示を行うことができるとする技術が開示されている。

特開２０１２−６３８５０号公報

しかしながら，マーカを表示する情報処理装置では，マーカを表示する原因となった事象の解消や，省電力モードへの移行に伴うバックライトの消灯等，マーカの表示を自動的に取り消すことがある。この場合，モバイル装置ではマーカを全く検出できなくなり，マーカに対応する情報の表示を維持できなくなる。

本発明は，モバイル装置でマーカに基づく表示を行っている場合に，その表示の継続が期待できる技術を提供することにある。

この課題の解決を目的としてなされた表示システムは，モバイル装置と，情報処理装置とを有する表示システムであって，前記モバイル装置は，撮像部と，表示部と，制御部とを備え，前記モバイル装置の制御部は，マーカの読み取りが指示されたことを条件として，前記撮像部にて読み取った画像からマーカを検出する検出処理と，前記検出処理にて検出されたマーカに対応する情報を，前記表示部に表示させる情報表示処理と，前記撮像部にてマーカの読み取りを開始した後，マーカの読み取り中であることを示す読取情報を，前記情報処理装置に送信する送信処理とを実行し，前記情報処理装置は，表示部と，制御部とを備え，前記情報処理装置の制御部は，前記情報処理装置の表示部にマーカを表示させるマーカ表示処理と，前記マーカ表示処理によるマーカの表示中に，前記情報処理装置の表示部の画面を更新する条件を満たした際，前記モバイル装置から前記読取情報を受信していなければ前記情報処理装置の表示部の画面を更新し，前記モバイル装置から前記読取情報を受信していれば当該マーカの表示を維持する更新処理とを実行することを特徴としている。

本明細書に開示される表示システムは，情報処理装置がマーカを表示し，モバイル装置が撮像部にて読み取った画像からマーカを検出し，そのマーカに対応する情報を表示する。さらに，モバイル装置では，マーカの読み取りを開始した後，読取情報を情報処理装
置に送信する。情報処理装置では，マーカの表示中に，表示部の画面を更新する条件を満たした際，読取情報を受信していなければ画面を更新し，読取情報を受信していれば当該マーカの表示を維持する。画面を更新する際には，マーカの表示を維持してもよいし，マーカを非表示としてもよい。マーカの表示を維持する際には，マーカ以外の表示を更新してもよいし，更新しなくてもよい。なお，モバイル装置からの読取情報の送信は，マーカの読み取りを開始した後であればよく，マーカを検出する前であっても後であってもよい。

すなわち，本明細書に開示される表示システムにおいて，情報処理装置は，マーカの表示中に画面を更新する条件を満たしたとしても，モバイル装置から読取情報を受け取っている場合にはマーカを非表示とせずにマーカの表示を維持する。これにより，本明細書に開示される表示システムでは，モバイル装置にてマーカの読み取り中に，情報処理装置でそのマーカが自動的に非表示になることを回避し，その結果としてモバイル装置にてそのマーカに対応する情報の表示を継続できる。

また，前記読取情報には，検出されたマーカを特定する特定情報を含み，前記情報処理装置の制御部は，前記マーカ表示処理では，１または複数のマーカを前記表示部に表示させ，前記更新処理では，前記表示部の画面を更新する条件を満たした際，前記モバイル装置から前記読取情報を受信している場合，少なくとも前記特定情報によって特定されるマーカの表示を維持するとよい。どのマーカを読み取っているかを特定し，少なくともその特定のマーカの表示を維持することで，モバイル装置で読み取り中のマーカに対応する情報の表示を継続できる。

また，前記情報処理装置の制御部は，前記マーカ表示処理によるマーカの表示中において前記モバイル装置から前記読取情報を受信した後，所定時間内に前記読取情報を再度受信しない場合，前記更新処理にて，前記読取情報を受信していないものとするとよい。そして，前記モバイル装置の制御部は，前記送信処理では，前記撮像部にてマーカの読み取りを開始した後，マーカの読み取り中，前記読取情報を前記情報処理装置に定期的に送信するとよい。例えば，ユーザが情報処理装置から離れ，モバイル装置がマーカを読み取れなくなった場合に，情報処理装置がマーカを表示し続ける必要性は低い。そこで，モバイル装置では，マーカの読み取り中は定期的に読取情報を送信するものとし，情報処理装置では，モバイル装置からの読取情報を所定時間経過しても受信しなかった場合にはマーカの読み取りが終了したものと見做し，読取情報を受信していないものとする方が好ましい。

また，前記情報処理装置の制御部は，前記マーカ表示処理によるマーカの表示中において前記モバイル装置から前記読取情報を受信した後，前記モバイル装置からマーカの読み取りを終了したことを示す終了情報を受信した場合，前記更新処理にて，前記読取情報を受信していないものとするとよい。そして，前記モバイル装置の制御部は，前記撮像部でのマーカの読み取りを終了した場合，マーカの読み取りを終了したことを示す終了情報を，前記情報処理装置に送信する終了送信処理を実行するとよい。モバイル装置でのマーカの読み取りが終了した後は，情報処理装置がマーカを表示し続ける必要性は低い。そこで，マーカの読み取りが終了した後，モバイル装置は終了情報を送信し，情報処理装置ではその終了情報を受信した後，読取情報を受信していないものとする方が好ましい。

また，前記マーカは，前記情報処理装置に対する特定の操作に関連した情報を，当該マーカを読み取った装置に表示させるものであり，前記情報処理装置の制御部は，前記マーカの表示中に前記特定の操作を受け付けた場合に，前記更新処理によるマーカの表示の維持を解除するとよい。例えば，マーカに基づく情報が情報処理装置に対して特定の操作を促す情報であった場合，その特定の操作が行われた後はその情報を表示する必要性が低くなる。そこで，情報処理装置は，マーカの表示中にそのマーカに対応する特定の操作を受け付けた場合，マーカの表示の維持を解除する方が好ましい。

また，前記マーカは，前記情報処理装置の特定の機能を実行させる操作子を兼ねるものであり，前記情報処理装置の制御部は，前記マーカの表示中に前記マーカによって前記特定の機能の実行指示を受け付けた場合に，前記更新処理によるマーカの表示の維持を解除するとよい。例えば，マーカが特定の機能の実行させる操作子を兼ねる場合，その特定の機能の実行が指示された後はマーカを表示する必要性が低くなる。そこで，マーカの表示中にそのマーカに対応する特定の機能の実行指示を受け付けた場合には，そのマーカの表示の維持を解除する方が好ましい。

また，前記マーカは，前記情報処理装置に発生している特定のエラーに関連した情報を，当該マーカを読み取った装置に表示させるものであり，前記情報処理装置の制御部は，前記マーカの表示中に前記特定のエラーが解消した場合に，前記更新処理によるマーカの表示の維持を解除するとよい。例えば，マーカに基づく情報がエラー情報およびその解消方法に関する情報であった場合，そのエラーが解消した後はその情報を表示する必要性が低くなる。そこで，マーカの表示中にそのマーカに対応するエラーが解消した場合には，そのマーカの表示の維持を解除する方が好ましい。

また，前記モバイル装置の制御部は，前記送信処理では，前記撮像部がマーカの読み取りを開始した後，前記検出処理にてマーカが検出されたことを条件として，前記読取情報を前記情報処理装置に送信するとよい。マーカが検出された後は，マーカに基づく表示を行っている可能性が高く，マーカが読み取れなくなることによる不利益が大きくなる。一方で，マーカが検出される前は，その不利益が小さい。このことから，マーカが検出された後に読取情報を送信し，マーカが検出されたことを条件として情報処理装置でのマーカの表示を維持する方が好ましい。

本発明によれば，モバイル装置でマーカに基づく表示を行っている場合に，その表示の継続が期待できる技術が実現される。

実施の形態にかかる表示システムの構成を示すブロック図である。ＭＦＰの操作パネルの構成を示す図である。タッチパネルのＡＲマーカの表示例を示す図である。表示システムの表示概要を示す図である。モバイル装置が実行するＡＲ読取処理の手順を示すフローチャートである。ＭＦＰが実行する画面更新処理の手順を示すフローチャートである。

以下，本実施形態にかかる表示システムについて，添付図面を参照しつつ詳細に説明する。本形態は，表示部を備える複合機（ＭＦＰ：Multi Function Peripheral）と，撮像機能を備えたモバイル装置とを有する表示システムに本発明を適用したものである。

本形態の表示システム９００は，図１に示すように，モバイル装置１００と，ＭＦＰ２００とを備えている。ＭＦＰ２００は，情報処理装置の一例である。モバイル装置１００としては，例えば，スマートフォンやタブレット端末が該当する。モバイル装置および情報処理装置は，少なくとも１台あればよく，複数台あってもよい。表示システム９００では，ＭＦＰ２００がＡＲマーカを表示し，モバイル装置１００がそのＡＲマーカを読み取り，その読み取ったＡＲマーカに対応する情報を表示する。

続いて，図１に示したモバイル装置１００の概略構成について説明する。モバイル装置１００は，ＣＰＵ５１と，ＲＯＭ５２と，ＲＡＭ５３と，ＨＤＤ５４とを有するコントローラ５０を備えている。なお，図１中のコントローラ５０は，ＣＰＵ５１等，モバイル装置１００の制御に利用されるハードウェアを纏めた総称であって，実際にモバイル装置１００に存在する単一のハードウェアと表すとは限らない。

また，モバイル装置１００は，入力機能と表示機能とを兼ねるタッチパネル４０と，ボタン等によって構成される入力部４１と，外部装置との通信を可能にする無線通信インターフェース５７と，撮像機能を有するカメラ５９とを有し，これらがＣＰＵ５１によって制御される。タッチパネル４０は，モバイル装置の表示部の一例である。カメラ５９は，撮像部の一例である。

ＨＤＤ５４には，ＯＳ，インターネット上のデータを閲覧するためのブラウザ，各種のデバイスを制御するデバイスドライバ等が組み込まれている。また，ＨＤＤ５４には，例えば，カメラ５９によって映し出された画像からＡＲマーカを認識し，そのＡＲマーカに対応する情報を表示するアプリケーションプログラム（以下，「ＡＲアプリ」とする）が記憶される。

ＣＰＵ５１は，ＲＯＭ５２から読み出した制御プログラムやＨＤＤ５４から読み出したプログラムに従って，その演算結果をＲＡＭ５３またはＨＤＤ５４に記憶させながら各種の処理を行う。ＣＰＵ５１は，モバイル装置の制御部の一例である。なお，コントローラ５０がモバイル装置の制御部であってもよい。

無線通信インターフェース５７は，ＷｉＦｉ（登録商標）等の無線通信を介して接続された装置と通信を行うためのハードウェアである。モバイル装置１００は，無線通信インターフェース５７を介して，例えば，ＭＦＰ２００に対して情報の送受信を行うことができる。この他，電話通信を行うためのインターフェースや，ＵＳＢ等のシリアルインターフェースを備えていてもよい。

続いて，図１に示したＭＦＰ２００の概略構成について説明する。ＭＦＰ２００は，ＣＰＵ３１と，ＲＯＭ３２と，ＲＡＭ３３と，ＮＶＲＡＭ（Non Volatile RAM）３４とを有するコントローラ３０を備えている。なお，図１中のコントローラ３０は，ＣＰＵ３１等，ＭＦＰ２００の制御に利用されるハードウェアを纏めた総称であって，実際にＭＦＰ２００に存在する単一のハードウェアと表すとは限らない。

また，ＭＦＰ２００は，用紙に画像を印刷する画像形成部１０と，原稿の画像を読み取る画像読取部１１と，動作状況の表示やユーザによる入力操作の受付を行う操作パネル１３と，ネットワークインターフェース３７と，無線通信インターフェース３９とを有し，これらがＣＰＵ３１によって制御される。

画像形成部１０は，カラー印刷が可能であってもモノクロ印刷のみが可能であってもよい。本形態では，カラー印刷が可能なものとする。また，印刷方式についても，電子写真方式であってもインクジェット方式であってもよい。また，画像読取部１１は，カラースキャンが可能であってもモノクロスキャンのみが可能であってもよい。本形態では，カラースキャンが可能なものとする。また，読取機構についても，ＣＣＤであってもＣＩＳであってもよい。

ＲＯＭ３２には，ＭＦＰ２００を制御するための制御プログラムであるファームウェアや各種設定，初期値等が記憶されている。また，ＮＶＲＡＭ３４には，例えば，操作パネル１３に表示するＡＲマーカが記憶される。ＡＲマーカは，１種類であっても複数種類であってもよい。ＲＡＭ３３およびＮＶＲＡＭ３４は，各種制御プログラムが読み出される作業領域として，あるいはデータを一時的に記憶する記憶領域として利用される。

ＣＰＵ３１は，ＲＯＭ３２から読み出した制御プログラムや各種センサから送られる信号に従って，その処理結果をＲＡＭ３３またはＮＶＲＡＭ３４に記憶させながら，ＭＦＰ２００の各構成要素を制御する。ＣＰＵ３１は情報処理装置の制御部の一例である。なお，コントローラ３０が情報処理装置の制御部であってもよい。

ネットワークインターフェース３７は，ＬＡＮケーブルや無線通信を介して接続された装置と通信を行うためのハードウェアである。無線通信インターフェース３９は，ＷｉＦｉ（登録商標）等の無線通信を介して接続された装置と通信を行うためのハードウェアである。ＭＦＰ２００は，無線通信インターフェース３９を介して，例えば，モバイル装置１００に対して情報の送受信を行うことができる。この他，ＵＳＢ等のシリアルインターフェースを備えていてもよい。

操作パネル１３は，ＭＦＰ２００の外装に設けられ，図２に示すように，ユーザ入力を受け付ける各種のボタン１３２と，入力機能と表示機能とを兼ねるタッチパネル１３１とを有している。各種のボタン１３２としては，例えば，印刷開始指示を入力するＯＫボタンや，印刷のキャンセル指示を入力するキャンセルボタンがある。

タッチパネル１３１は，各種の設定を可能にする複数の画面を表示することができる。さらにはエラーを報知する複数の画面を表示することができる。そして，そのうちの幾つかの画面では，図３に示すようなＡＲマーカ１３３が表示される。ＡＲマーカ１３３は，図３に示したようにタッチパネル１３１に表示される画面に含まれる一部の画像であってもよいし，タッチパネル１３１全体に表示される画面そのものであってもよい。タッチパネル１３１は，情報処理装置の表示部の一例である。ＡＲマーカは，マーカの一例である。

続いて，表示システム９００による表示技術の概要について説明する。表示システム９００では，モバイル装置１００とＭＦＰ２００との間で通信接続を確立させる。例えば，ＷｉＦｉ（登録商標）ダイレクト通信によって，モバイル装置１００とＭＦＰ２００との間で直接通信を可能にする。

ＭＦＰ２００は，タッチパネル１３１にＡＲマーカを表示する。ＡＲマーカは，例えば，画像一覧画面等の所定の画面に含まれる。また，ＡＲマーカは，説明表示や実演表示等のＡＲ技術を利用した機能の実行指示が入力された場合にも表示される。この他，ＡＲマーカは，エラーが発生した際に表示する画面にも含まれる。表示するＡＲマーカの数は，１つであっても複数であってもよい。

一方，モバイル装置１００は，ＡＲアプリを起動し，カメラ５９による撮影を開始する。そして，カメラ５９がＡＲマーカを表示したタッチパネル１３１を映し出すと，ＡＲアプリがＡＲマーカを認識する。そして，モバイル装置１００は，図４に示すように，ＡＲアプリが認識したＡＲマーカに対応する情報４０１，４０２を，カメラ５９によって映し出される画像に重ね合わせて表示する。ＡＲマーカに対応する情報は，文字に限らず，静止画であっても動画であってもよい。すなわち，モバイル装置１００は，カメラ５９によって映し出されている現実の映像に，所定の画像等を仮想表示する。

ＡＲアプリが表示する情報としては，例えば，特定の機能の操作方法を説明する情報，特定の操作を促す情報，現在の装置の状況を示す情報がある。例えば，ＭＦＰ２００のタッチパネル１３１にて画像一覧画面を表示している場合には，その画面に表示される各オブジェクトの情報が該当する。また，例えば，コピーの実演表示が指示された場合には，コピーを実行するまでの手順が該当する。また，例えば，ＭＦＰ２００にてエラーが発生している場合には，そのエラーの内容や修理方法の情報が該当する。

また，ＭＦＰ２００では，画面の更新条件が満たされると，タッチパネル１３１の表示内容を更新する。更新条件としては，例えば，メインメニューへの切り換え指示等の，画面の移行指示が入力されたこと，特定の機能の実行が指示されたこと，エラーが発生ないし解消したこと，外部装置からの新たなジョブを受け付けたことが該当する。また，ＭＦＰ２００は，非省電力モードから省電力モードに移行すると，タッチパネル１３１のバックライトを消灯し，画面を暗転させる。また，省電力モードから非省電力モードに復帰すると，タッチパネル１３１のバックライトを点灯し，暗転状態から暗転前の画面を表示する。この省電力モードへの移行や省電力モードからの復帰も，画面の更新条件に含まれる。ＡＲマーカは，画面の更新に伴って，必要に応じて表示と非表示とが切り換えられる。

続いて，上述したＡＲマーカを用いた仮想表示を実現するモバイル装置１００およびＭＦＰ２００のそれぞれの動作について説明する。なお，以下の説明では，モバイル装置１００とＭＦＰ２００との間で通信接続が確立した状態で，モバイル装置１００によって，ＭＦＰ２００に表示されるＡＲマーカを読み取るものとする。

始めに，モバイル装置１００が実行するＡＲ読取処理について，図５のフローチャートを参照しつつ説明する。ＡＲ読取処理は，ＡＲアプリを起動したことを契機に，ＣＰＵ５１によって実行される。

ＡＲ読取処理では，先ず，ＡＲ読み取りを開始する（Ｓ１０１）。具体的にＳ１０１では，カメラ５９による撮影を開始し，カメラ５９によって映し出された画像を解析し，その画像からＡＲマーカを検出する。すなわち，ＡＲアプリの起動を，ＡＲマーカの読み取りが指示されたと見做し，ＡＲマーカの検出動作を開始する。Ｓ１０１は，検出処理の一例である。なお，ＡＲアプリの起動後，ユーザからのＡＲ読み取りの開始指示の入力を待って，ＡＲマーカの検出動作を開始してもよい。

Ｓ１０１の後は，ＡＲマーカが検出されたか否かを判断する（Ｓ１０２）。ＡＲマーカが検出された場合には（Ｓ１０２：ＹＥＳ），検出されたＡＲマーカに対応する情報を，タッチパネル４０に表示する（Ｓ１０３）。ＡＲマーカに対応する情報は，ＨＤＤ５４に記憶されていてもよいし，サーバ等の外部装置に記憶されてもよい。Ｓ１０３は，情報表示処理の一例である。

Ｓ１０３の後，ＡＲマーカの読み取り中であることを示すＡＲ読取情報を，無線通信インターフェース５７を介してＭＦＰ２００に送信する（Ｓ１０４）。Ｓ１０４は，送信処理の一例である。ＡＲ読取情報には，検出されたＡＲマーカを特定する情報が含まれる。Ｓ１０３とＳ１０４とは，逆順であっても同時であってもよい。また，ＡＲマーカを複数読み取った場合には，ＡＲマーカごとに，Ｓ１０３の表示およびＳ１０４の送信が行われる。

その後，読み取りが終了したＡＲマーカがあるか否かを判断する（Ｓ１０５）。読み取りが終了したＡＲマーカ，すなわちユーザがモバイル装置１００を動かす等，カメラ５９の撮影範囲から外れたＡＲマーカがある場合には（Ｓ１０５：ＹＥＳ），ＡＲマーカの読み取りが終了したことを示す読取終了通知を，無線通信インターフェース５７を介してＭＦＰ２００に送信する（Ｓ１０６）。読取終了通知には，読み取りが終了したＡＲマーカを特定する情報が含まれる。Ｓ１０６は，終了送信処理の一例である。

Ｓ１０６の後，あるいはＡＲマーカが検出されていない場合には（Ｓ１０２：ＮＯ），ＡＲアプリの終了が指示されたか否かを判断する（Ｓ１０７）。ＡＲアプリの終了が指示されていない場合（Ｓ１０７：ＮＯ），あるいは読み取りが終了したＡＲマーカがなければ（Ｓ１０５：ＮＯ），Ｓ１０２に移行してＡＲマーカの有無を再度判断する。すなわち，ＡＲアプリの実行中は，ＡＲマーカの検出動作が定期的に繰り返され，モバイル装置１００がＡＲマーカの読み取りを継続している間，すなわちＡＲマーカに基づく情報を表示している間は，ＡＲ読取情報が定期的にＭＦＰ２００に送信される。

一方，ＡＲアプリの終了が指示された場合（Ｓ１０７：ＹＥＳ），ＡＲ読取処理を終了する。なお，ＡＲマーカの読み取りが終了する前にＡＲアプリの終了が指示された場合には，そのＡＲマーカについての読取終了通知をＭＦＰ２００に送信した後，ＡＲ読取処理を終了する。

続いて，ＭＦＰ２００が実行する画面更新処理について，図６のフローチャートを参照しつつ説明する。画面更新処理は，定期的にＣＰＵ３１によって実行される。本形態では，例えば１００ｍｓごとに実行される。

画面更新処理では，先ず，ＡＲ読取情報を受信したか否かを判断する（Ｓ２０１）。ＡＲ読取情報を受信した場合には（Ｓ２０１：ＹＥＳ），その受信したＡＲ読取情報をＲＡＭ３３ないしＮＶＲＡＭ３４に記憶する（Ｓ２０２）。そして，タイムアウトを判断するためのタイマーを開始する（Ｓ２０３）。タイマーは，受信したＡＲ読取情報によって特定されるＡＲマーカごとに設けられる。Ｓ２０２とＳ２０３とは，逆順であっても同時であってもよい。

Ｓ２０３の後，あるいはＡＲ読取情報を受信していない場合には（Ｓ２０１：ＮＯ），読取終了通知を受信したか否かを判断する（Ｓ２１１）。読取終了通知を受信した場合には（Ｓ２１１：ＹＥＳ），その受信した読取終了通知に対応するＡＲ読取情報をＲＡＭ３３ないしＮＶＲＡＭ３４から消去する（Ｓ２１２）。そして，その受信した読取終了通知に対応するタイマーを停止する（Ｓ２１３）。Ｓ２１２とＳ２１３とは，逆順であっても同時であってもよい。

Ｓ２１３の後，あるいは読取終了通知を受信していない場合には（Ｓ２１１：ＮＯ），画面更新条件を満たしているか否かを判断する（Ｓ２２１）。画面更新条件は，例えば，ユーザ操作による画面切り替え指示や特定処理の実行開始指示があったことが該当する。また，例えば，エラーの発生ないし解消，省電力モードへの移行，外部装置からの新たなジョブの受信等の，ＭＦＰ２００内でのイベントがあったことでもよい。

画面更新条件を満たしている場合には（Ｓ２２１：ＹＥＳ），ＡＲマーカを表示中か否かを判断する（Ｓ２２２）。ＡＲマーカを表示中でなければ（Ｓ２２２：ＮＯ），操作パネル１３の画面を更新する（Ｓ２２５）。Ｓ２２５では，更新先の画面でＡＲマーカを表示する場合には，その画面に対応するＡＲマーカを表示する。Ｓ２２５は，表示処理の一例である。

一方，ＡＲマーカを表示中の場合（Ｓ２２２：ＹＥＳ），ＡＲ読取情報が記憶されているか否かを判断する（Ｓ２２３）。すなわち，表示中のＡＲマーカを読み取っているモバイル装置があるか否かを判断する。ＡＲマーカを読み取っているモバイル装置がない場合には（Ｓ２２３：ＮＯ），操作パネル１３の画面を更新する（Ｓ２２５）。Ｓ２２５では，更新先の画面でＡＲマーカを表示しない場合，表示中のＡＲマーカは非表示となる。例えば，省電力モードへの移行に伴って画面更新条件を満たした場合には，タッチパネル
４０のバックライトを消灯して画面を暗転させることから，表示中のＡＲマーカは非表示となる。

一方，ＡＲマーカを読み取っているモバイル装置がある場合には（Ｓ２２３：ＹＥＳ），読み取られているＡＲマーカについて更新可能条件を満たしているか否かを判断する（Ｓ２２４）。更新可能条件を満たしている場合には（Ｓ２２４：ＹＥＳ），操作パネル１３の画面を更新する（Ｓ２２５）。

更新可能条件は，モバイル装置１００にて表示中の情報を非表示としても，ユーザに不満が生じ難い条件であればよい。具体的な更新可能条件としては，例えば，ＡＲマーカがエラーに関する情報を表示させるものであれば，そのエラーが解消したことが該当する。この場合，エラーが解消すればそのエラーに関する情報を表示する必要性が低くなるため，画面の更新を可能にする。また，同じくＡＲマーカがエラーに関する情報を表示させるものであり，ＭＦＰ２００がその情報と同じ情報をタッチパネル１３１に表示可能であれば，ユーザ操作によってその情報がタッチパネル１３１に表示されたことが該当する。この場合，同じ情報をモバイル装置１００で表示する必要性は低くなるため，画面の更新を可能にする。

また，他の更新可能条件としては，例えば，ＡＲマーカが特定の操作に関する情報を表示させるものであれば，その特定の操作を受け付けたことが該当する。この場合，特定の操作を行った後はその操作に関する情報を表示する必要性が低くなるため，画面の更新を許可する。特定の操作としては，例えば，ＦＡＸ送信における宛先の設定や，読み取りにおける出力先の設定が該当する。

また，他の更新可能条件としては，例えば，ＡＲマーカが特定の機能を実行させる操作子を兼ねるものであれば，その特定の機能の実行を受け付けたことが該当する。この場合，ＡＲマーカに対応する情報はその特定の機能に関する情報の可能性が高く，特定の機能の実行を受け付けた後はその特定の機能に関する情報を表示する必要性が低くなるため，画面の更新を許可する。特定の機能としては，例えば，ＦＡＸ送信やコピーが該当する。

Ｓ２２５の後，あるいは更新可能条件を満たしていない場合（Ｓ２２４：ＮＯ），あるいは画面更新指示がなかった場合には（Ｓ２２１：ＮＯ），タイムアウトとなったＡＲマーカがあるか否かを判断する（Ｓ２３１）。すなわち，あるＡＲマーカについてのＡＲ読取情報を受け取った後，所定期間内にそのＡＲマーカについてのＡＲ読取情報を再度受信しなかった場合，ユーザがＭＦＰ２００から離れた等，読取終了通知を送信することなくＡＲ読み取りを終了していることが考えられる。そこで，そのような場合にはタイムアウトとする。

タイムアウトとなったＡＲマーカがある場合には（Ｓ２３１：ＹＥＳ），そのタイムアウトとなったＡＲマーカに対応するＡＲ読取情報をＲＡＭ３３ないしＮＶＲＡＭ３４から消去する（Ｓ２３２）。そして，そのタイムアウトとなったＡＲマーカに対応するタイマーを停止する（Ｓ２３３）。Ｓ２３２とＳ２３３とは，逆順であっても同時であってもよい。Ｓ２２１〜Ｓ２２５は，更新処理の一例である。

Ｓ２３３の後，あるいはタイムアウトとなったＡＲマーカがない場合には（Ｓ２３１：ＮＯ），画面更新処理を終了する。なお，Ｓ２０１，Ｓ２１１，Ｓ２２１，Ｓ２３１の判断順は，前述の順に限るものではない。

以上詳細に説明したように表示システム９００において，ＭＦＰ２００は，ＡＲマーカの表示中にタッチパネル１３１の画面更新条件を満たしたとしても，モバイル装置１００からＡＲ読取情報を受け取っていれば画面を更新する機会が少ない。すなわち，モバイル装置１００がＡＲマーカを読み取っている間は，ＭＦＰ２００はそのＡＲマーカの表示を維持する可能性が高い。これにより，表示システム９００では，モバイル装置１００にてＡＲマーカの読み取り中に，ＭＦＰ２００でそのＡＲマーカが自動的に非表示になることの回避が期待できる。その結果として，モバイル装置１００にてそのＡＲマーカに対応する情報の表示を継続できる。

なお，本実施の形態は単なる例示にすぎず，本発明を何ら限定するものではない。したがって本発明は当然に，その要旨を逸脱しない範囲内で種々の改良，変形が可能である。例えば，ＭＦＰは，マーカを表示できればよく，プリンタ，スキャナ，ＦＡＸ装置，コピー機であってもよく，さらに画像処理機能を有しない装置であってもよい。

また，実施の形態では，ＡＲマーカを読み取ってそのＡＲマーカに対応する情報を表示しているが，読み取るマーカはＡＲマーカに限るものではない。すなわち，情報処理装置でマーカを表示し，モバイル装置でそのマーカに対応する情報を表示するシステムであれば，適用可能である。例えば，マーカとして，ＱＲコード（登録商標）やバーコードであってもよい。

また，実施の形態では，モバイル装置１００とＭＦＰ２００との間で通信接続を確立させた状態でＡＲ読取情報の受け渡しを行っているが，通信接続を確立させる必要がない通信媒体でＡＲ読取情報の受け渡しを行ってもよい。この場合，モバイル装置１００は，ＡＲ読取情報や読取終了通知をブロードキャストしてもよい。

また，実施の形態では，モバイル装置１００がＡＲマーカの検出後にそのＡＲマーカに関するＡＲ読取情報を送信しているが，ＡＲ読取情報をＡＲマーカの検出前，例えばＳ１０１にてＡＲ読み取りを開始したタイミングで送信してもよい。この場合，ＡＲマーカを特定できないため，ＡＲ読取情報には，ＡＲマーカを特定する情報が含まれない。そして，モバイル装置１００は，読取終了通知をＡＲアプリの終了が指示された際に送信する。この構成であっても，少なくともモバイル装置１００でのＡＲアプリの動作中は，ＭＦＰ２００でのＡＲマーカの表示が継続される。

また，実施の形態では，ＭＦＰ２００が一度に複数のＡＲマーカを表示可能としているが，一度に１つのＡＲマーカを表示するものであってもよい。この場合，読み取られるＡＲマーカは１つに決まるため，ＡＲ読取情報にＡＲマーカを特定する情報を含めなくてもよい。

また，実施の形態では，ＡＲ読取情報があったとしても（Ｓ２２３：ＹＥＳ），更新可能条件を満たしていれば（Ｓ２２４：ＹＥＳ），画面を更新しているが，更新可能条件の判断は行わなくてもよい。すなわち，ＡＲ読取情報があった場合には（Ｓ２２３：ＮＯ），Ｓ２３１に移行して画面を更新しないとしてもよい。

また，実施の形態では，ＭＦＰ２００において，更新可能条件を満たしていない場合には（Ｓ２２４：ＮＯ），ＡＲマーカの表示を維持するために画面を更新していないが，ＡＲマーカを非表示にしないのであれば，画面のうち，ＡＲマーカ以外の情報を更新してもよい。また，ＭＦＰ２００において，ＡＲマーカを表示していた場合（Ｓ２２２：ＹＥＳ）にＳ２２５にて画面を更新する際，画面の更新に伴ってそのＡＲマーカを非表示にしているが，更新先の画面に影響なければ表示を維持してもよい。すなわち，ＭＦＰ２００にてＡＲマーカを表示している状態において，タッチパネル１３１の画面を更新する際には，ＡＲマーカの表示を維持してもよいし，ＡＲマーカを非表示としてもよい。一方，ＡＲマーカの表示を維持する際には，ＡＲマーカ以外の表示を更新してもよいし，更新しな
くてもよい。

また，実施の形態に開示されている処理は，単一のＣＰＵ，複数のＣＰＵ，ＡＳＩＣなどのハードウェア，またはそれらの組み合わせで実行されてもよい。また，実施の形態に開示されている処理は，その処理を実行するためのプログラムを記録した記録媒体，または方法等の種々の態様で実現することができる。

４０タッチパネル
５９カメラ
１００モバイル装置
１３１タッチパネル
１３３ＡＲマーカ
２００ＭＦＰ

Claims

モバイル装置と，情報処理装置とを有する表示システムにおいて，
前記モバイル装置は，
撮像部と，
表示部と，
制御部と，
を備え，
前記モバイル装置の制御部は，
マーカの読み取りが指示されたことを条件として，前記撮像部にて読み取った画像からマーカを検出する検出処理と，
前記検出処理にて検出されたマーカに対応する情報を，前記表示部に表示させる情報表示処理と，
前記撮像部にてマーカの読み取りを開始した後，マーカの読み取り中であることを示す読取情報を，前記情報処理装置に送信する送信処理と，
を実行し，
前記情報処理装置は，
表示部と，
制御部と，
を備え，
前記情報処理装置の制御部は，
前記情報処理装置の表示部にマーカを表示させるマーカ表示処理と，
前記マーカ表示処理によるマーカの表示中に，前記情報処理装置の表示部の画面を更新する条件を満たした際，前記モバイル装置から前記読取情報を受信していなければ前記情報処理装置の表示部の画面を更新し，前記モバイル装置から前記読取情報を受信していれば当該マーカの表示を維持する更新処理と，
を実行することを特徴とする表示システム。
表示部と，
制御部と，
を備え，
前記制御部は，
前記表示部にマーカを表示させるマーカ表示処理と，
前記マーカ表示処理によるマーカの表示中に，前記表示部の画面を更新する条件を満たした際，モバイル装置から前記マーカの読み取り中であることを示す読取情報を受信していなければ前記表示部の画面を更新し，前記モバイル装置から前記読取情報を受信していれば当該マーカの表示を維持する更新処理と，
を実行することを特徴とする情報処理装置。
請求項２に記載する情報処理装置において，
前記読取情報には，検出されたマーカを特定する特定情報を含み，
前記制御部は，
前記マーカ表示処理では，１または複数のマーカを前記表示部に表示させ，
前記更新処理では，前記表示部の画面を更新する条件を満たした際，前記モバイル装置から前記読取情報を受信している場合，少なくとも前記特定情報によって特定されるマーカの表示を維持することを特徴とする情報処理装置。
請求項２または請求項３に記載する情報処理装置において，
前記制御部は，
前記マーカ表示処理によるマーカの表示中において前記モバイル装置から前記読取情報を受信した後，所定時間内に前記読取情報を再度受信しない場合，前記更新処理にて，前記読取情報を受信していないものとすることを特徴とする情報処理装置。
請求項２から請求項４のいずれか１つに記載する情報処理装置において，
前記制御部は，
前記マーカ表示処理によるマーカの表示中において前記モバイル装置から前記読取情報を受信した後，前記モバイル装置からマーカの読み取りを終了したことを示す終了情報を受信した場合，前記更新処理にて，前記読取情報を受信していないものとすることを特徴とする情報処理装置。
請求項２から請求項５のいずれか１つに記載する情報処理装置において，
前記マーカは，前記情報処理装置に対する特定の操作に関連した情報を，当該マーカを読み取った装置に表示させるものであり，
前記制御部は，
前記マーカの表示中に前記特定の操作を受け付けた場合に，前記更新処理によるマーカの表示の維持を解除することを特徴とする情報処理装置。
請求項２から請求項６のいずれか１つに記載する情報処理装置において，
前記マーカは，前記情報処理装置の特定の機能を実行させる操作子を兼ねるものであり，
前記制御部は，
前記マーカの表示中に前記マーカによって前記特定の機能の実行指示を受け付けた場合に，前記更新処理によるマーカの表示の維持を解除することを特徴とする情報処理装置。
請求項２から請求項７のいずれか１つに記載する情報処理装置において，
前記マーカは，前記情報処理装置に発生している特定のエラーに関連した情報を，当該マーカを読み取った装置に表示させるものであり，
前記制御部は，
前記マーカの表示中に前記特定のエラーが解消した場合に，前記更新処理によるマーカの表示の維持を解除することを特徴とする情報処理装置。
請求項２から請求項８のいずれか１つに記載する情報処理装置において，
前記表示部は，バックライトを備える液晶パネルであり，
前記表示部の画面の更新には，前記バックライトの消灯による暗転が含まれることを特徴とする情報処理装置。
撮像部と，
表示部と，
制御部と，
を備え，
前記制御部は，
マーカの読み取りが指示されたことを条件として，前記撮像部にて読み取った画像からマーカを検出する検出処理と，
前記検出処理にて検出されたマーカに対応する情報を，前記表示部に表示させる情報表示処理と，
前記撮像部にてマーカの読み取りを開始した後，マーカの読み取り中であることを示す読取情報を，当該マーカを表示する情報処理装置に送信する送信処理と，
を実行することを特徴とするモバイル装置。
請求項１０に記載するモバイル装置において，
前記制御部は，
前記送信処理では，前記撮像部がマーカの読み取りを開始した後，前記検出処理にてマーカが検出されたことを条件として，前記読取情報を前記情報処理装置に送信することを特徴とするモバイル装置。
請求項１０または請求項１１に記載するモバイル装置において，
前記制御部は，
前記送信処理では，前記撮像部にてマーカの読み取りを開始した後，マーカの読み取り中，前記読取情報を前記情報処理装置に定期的に送信することを特徴とするモバイル装置。
請求項１０から請求項１２のいずれか１つに記載するモバイル装置において，
前記制御部は，
前記撮像部でのマーカの読み取りを終了した場合，マーカの読み取りを終了したことを示す終了情報を，前記情報処理装置に送信する終了送信処理を実行することを特徴とするモバイル装置。