JP6696331B2 - 情報処理装置、画像形成システムおよびプログラム - Google Patents

Description

本発明は、情報処理装置、画像形成システムおよびプログラムに関する。

従来技術として、画像形成装置等の操作対象物についての情報を、操作者が身に付けるウェアラブル端末等の携帯端末に表示する技術が存在する。例えば特許文献１には、ヘッドマウントディスプレイ装置のスクリーンに、画像形成装置のジョブで使用される用紙を仮想的に示す仮想用紙を配置した画像を表示する技術が開示されている。

特開２０１４−１９４７２５号公報

ところで、画像形成装置等の操作対象物の操作を、携帯端末の表示部に表示される画像を注視しながら行うと、携帯端末や表示部に表示される画像によって操作者の視界が阻害される場合がある。そして、このような場合、操作対象物と操作者との位置関係等によっては、操作対象物を構成する部品や操作対象物の周囲に置かれた備品等に操作者が接触する等の不都合が生じるおそれがある。
本発明は、携帯端末の表示部への表示を変更しない場合と比較して、携帯端末や携帯端末の表示部に表示される画像で操作者の視界が狭まることによる不都合を抑制することを目的とする。

請求項１に係る発明は、撮影部を備える携帯端末の表示部に、操作者により操作される操作対象物の操作を支援する支援画像を、当該撮影部が撮影した撮影画像または当該表示部を介して視認される光景に重畳して表示させる支援画像表示手段と、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記支援画像表示手段により前記表示部に表示されている前記支援画像を、前記操作対象物の操作を支援しない態様に変更する支援画像変更手段とを備え、前記支援画像変更手段は、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする情報処理装置である。
請求項２に係る発明は、前記支援画像変更手段は、前記撮影結果に基づき操作者と前記操作対象物との位置関係が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする請求項１に記載の情報処理装置である。
請求項３に係る発明は、前記支援画像変更手段は、操作者と前記操作対象物との位置関係が予め定めた距離以上である場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする請求項２に記載の情報処理装置である。
請求項４に係る発明は、前記支援画像変更手段は、前記撮影画像または前記光景を被覆する不透過あるいは半透明のパターンを前記表示部に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置である。
請求項５に係る発明は、前記支援画像表示手段は、操作者に装着されて使用される前記携帯端末の前記表示部に前記支援画像を表示し、前記支援画像表示手段は、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、操作者に前記携帯端末の取り外しを促す警告画像を前記表示部に表示させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置である。
請求項６に係る発明は、記録材に対して画像を形成する画像形成装置と、撮影部を備える携帯端末の表示部に、操作者による前記画像形成装置の操作を支援する支援画像を、当該撮影部が撮影した撮影画像または当該表示部を介して視認される光景に重畳して表示させる支援画像表示手段と、当該携帯端末の当該撮影部による撮影結果が予め定めた条件を満たした場合に、当該支援画像表示手段により当該表示部に表示されている当該支援画像を、当該画像形成装置の操作を支援しない態様に変更する支援画像変更手段とを有する情報処理装置とを備え、前記情報処理装置の前記支援画像変更手段は、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする画像形成システムである。
請求項７に係る発明は、コンピュータに対して、撮影部を備える携帯端末の表示部に、操作者により操作される操作対象物の操作を支援する支援画像を、当該撮影部が撮影した撮影画像または当該表示部を介して視認される光景に重畳して表示させる機能と、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることで、前記表示部に表示されている前記支援画像を、前記操作対象物の操作を支援しない態様に変更する機能とを実現させるプログラムである。

請求項１に係る発明によれば、携帯端末の表示部への表示を変更しない場合と比較して、携帯端末や携帯端末の表示部に表示される画像で操作者の視界が狭まることによる不都合を抑制することができる。
請求項２に係る発明によれば、操作者と操作対象物の部品や操作対象物の周囲にある物体との接触を抑制することができる。
請求項３に係る発明によれば、操作者と操作対象物の周囲にある物体との接触を抑制することができる。
請求項４に係る発明によれば、操作者に携帯端末の表示部を介した操作対象物の視認の停止を促すことができる。
請求項５に係る発明によれば、操作者に携帯端末の表示部を介した操作対象物の視認の停止を促すことができる。
請求項６に係る発明によれば、携帯端末の表示部への表示を変更しない場合と比較して、携帯端末や携帯端末の表示部に表示される画像で操作者の視界が狭まることによる不都合を抑制することができる。
請求項７に係る発明によれば、携帯端末の表示部への表示を変更しない場合と比較して、携帯端末や携帯端末の表示部に表示される画像で操作者の視界が狭まることによる不都合を抑制することができる。

本実施の形態が適用される画像形成システムの全体構成の一例を示した図である。 本実施の形態が適用される画像形成装置の内部構造を示した図である。 本実施の形態が適用される反転装置の内部構造を示した図である。 本実施の形態が適用されるウェアラブル端末の概略構成を示した図である。 本実施の形態が適用される画像形成システムの機能的な構成を示したブロック図である。 本実施の形態が適用されるウェアラブル端末の制御部により行われる処理について示したフローチャートである。 （ａ）〜（ｂ）は、支援画像の表示を行う場合の画像形成システムの状態を示した図である。 （ａ）〜（ｄ）は、非支援表示の態様を説明するための図である。 （ａ）〜（ｄ）は、表示部にて行われる非支援表示の他の形態について説明するための図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。
＜画像形成システムの構成＞
図１は、本実施の形態が適用される画像形成システム１の全体構成の一例を示した図である。
図１に示すように、本実施の形態の画像形成システム１は、印刷指示（出力指示）に基づく処理である印刷ジョブ等を管理する印刷サーバ３と、操作者により操作される操作対象物の一例であって、印刷サーバ３による制御の下で連続紙に対する印刷処理（画像形成処理）を実行する画像形成装置５と、を備えている。また、画像形成システム１は、画像形成装置５における各種の操作を行う操作者に装着されて使用され、操作者による各種の操作を支援するための操作支援画像等を表示する携帯端末の一例としてのウェアラブル端末７を備えている。
画像形成システム１において、印刷サーバ３、画像形成装置５およびウェアラブル端末７は、無線通信回線等を介して互いに通信可能に接続されている。

＜画像形成装置の構成＞
図２は、本実施の形態が適用される画像形成装置５の内部構造を示した図である。本実施の形態の画像形成装置５は、搬送される連続紙に対して画像を形成する。本実施の形態の画像形成装置５では、例えば１００ｍ／分程度の高速で連続紙が搬送され、数千ページ／分の高速印刷が可能となっている。なお、本実施の形態において連続紙とは、画像形成装置５の搬送方向に沿って連続した用紙を意味する。なお、連続紙は、搬送方向に連続していれば、ミシン目や折れ目等が設けられていてもよい。

図１および図２に示すように、画像形成装置５は、複数の装置が複合して構成されている。具体的には、画像形成装置５は、連続紙の一方の面に対して画像を形成する第１画像形成装置５１と、第１画像形成装置５１にて画像が形成された連続紙の一方の面または他方の面に画像を形成する第２画像形成装置５２とを備えている。また、画像形成装置５は、第１画像形成装置５１に対して連続紙を供給する給紙装置５３と、第２画像形成装置５２にて画像が形成された後の連続紙を巻き取って回収する回収装置５４とを備えている。さらに、画像形成装置５は、必要に応じて、第１画像形成装置５１にて画像が形成された連続紙の表裏を反転させて第２画像形成装置５２に搬送する反転装置５５を備えている。さらにまた、画像形成装置５は、給紙装置５３と第１画像形成装置５１との間、第１画像形成装置５１と反転装置５５との間、反転装置５５と第２画像形成装置５２との間、および第２画像形成装置５２と回収装置５４との間を中継する複数の中継部（不図示）を備えている。

また、画像形成装置５は、操作者からの操作入力を受け付けるとともに操作者に対して情報を表示する表示パネル５６（図１参照）と、画像形成装置５の各部の動作等を制御するとともに印刷サーバ３との通信を行う制御部６０（後述する図５参照）とを備えている。

図１および図２に示すように、第１画像形成装置５１は、搬送される連続紙の一方の面に対して画像を形成する第１画像形成ユニット５１１と、第１画像形成ユニット５１１にて画像が形成された連続紙を乾燥させる第１乾燥ユニット５１２とを備えている。さらに、第１画像形成装置５１は、連続紙を搬送する複数の搬送ロール５１３を備えている。さらに、第１画像形成装置５１は、第１画像形成ユニット５１１、第１乾燥ユニット５１２、搬送ロール５１３等を収容する筐体５１６を備えている。筐体５１６は、図１に示すように、連続紙の装填時等に操作者等によって開放が可能な開閉扉５１６ａを有している。

第１画像形成ユニット５１１は、所謂インクジェット方式により連続紙上に画像を形成する。具体的には、第１画像形成ユニット５１１は、インクを液滴として吐出する複数のノズルを備えるインクジェットヘッド（不図示）を有している。
また、第１乾燥ユニット５１２は、第１画像形成ユニット５１１により連続紙上に吐出されたインクを加熱することで、乾燥させる。具体的には、第１乾燥ユニット５１２は、通電により発熱するヒータ（不図示）を備えている。

第２画像形成装置５２は、第１画像形成装置５１と同様の構成を有している。すなわち、第２画像形成装置５２は、インクジェットヘッドを有し所謂インクジェット方式により連続紙上に画像を形成する第２画像形成ユニット５２１と、第２画像形成ユニット５２１により連続紙上に吐出されたインクを加熱することで乾燥させる第２乾燥ユニット５２２とを備えている。さらに、第２画像形成装置５２は、連続紙を搬送する複数の搬送ロール５２３を備えている。さらに、第２画像形成装置５２は、開閉扉５２６ａを備え、第２画像形成ユニット５２１、第２乾燥ユニット５２２、搬送ロール５２３等を収容する筐体５２６を備えている。

給紙装置５３は、ロール状に巻かれた連続紙を巻き戻しながら、中継部を介して第１画像形成装置５１に供給する。給紙装置５３は、ロール状に巻かれた連続紙を支持するとともに回転可能なロール部材５３１と、ロール部材５３１から巻き戻された連続紙を第１画像形成装置５１に向けて搬送する複数の搬送ロール５３２とを備えている。さらに、給紙装置５３は、開閉可能な開閉扉５３６ａを有し、ロール部材５３１、搬送ロール５３２、およびロール部材５３１に支持される連続紙を収容する筐体５３６を備えている。

回収装置５４は、第２画像形成装置５２にて画像が形成された連続紙をロール状に巻き取りながら回収する。具体的には、回収装置５４は、連続紙をロール状に巻き取るとともに回転可能なロール部材５４１と、第２画像形成装置５２から排出された連続紙をロール部材５４１に向けて搬送する複数の搬送ロール５４２とを備えている。さらに、回収装置５４は、開閉可能な開閉扉５４６ａを有し、ロール部材５４１、搬送ロール５４２、およびロール部材５４１に支持される連続紙を収容する筐体５４６を備えている。
なお、本実施の形態の画像形成装置５では、給紙装置５３は、ロール状の連続紙を巻き戻しながら供給し、回収装置５４は、連続紙をロール状に巻き取りながら回収しているが、連続紙の形態はこれに限定されるものではない。給紙装置５３は、例えばミシン目等に沿って蛇腹状に折り畳まれた連続紙を伸ばしながら供給してもよく、また、回収装置５４は、連続紙をミシン目等に沿って蛇腹状に折り畳みながら回収してもよい。

図３は、本実施の形態が適用される反転装置５５の内部構造を示した図であり、図２に示した反転装置５５をＩＩＩ方向から見た図に対応する。
反転装置５５は、第１画像形成装置５１にて画像が形成された連続紙の表裏を、必要に応じて反転し、第２画像形成装置５２に搬送する。なお、反転装置５５では、連続紙の表裏を反転する場合としない場合とで、後述する反転ロール５５１〜５５５への連続紙の装填方法が異なっている。図３では、反転装置５５にて連続紙の表裏を反転する場合について示している。

また、本実施の形態の画像形成装置５は、第１画像形成装置５１、第２画像形成装置５２、給紙装置５３、回収装置５４および反転装置５５のそれぞれには、ウェアラブル端末７にて操作者が視認する画像形成装置５の領域（ユニット）を特定するためのマークＭが設けられている。
例えば、第１画像形成装置５１では、第１画像形成ユニット５１１、第１乾燥ユニット５１２、および搬送ロール５１３に、それぞれマークＭが取り付けられている。同様に、第２画像形成装置５２では、第２画像形成ユニット５２１、第２乾燥ユニット５２２および搬送ロール５２３に、マークＭが取り付けられている。さらに、反転装置５５では、それぞれの反転ロール５５１〜５５５に、マークＭが取り付けられている。

詳細については後述するが、本実施の形態の画像形成システム１では、ウェアラブル端末７の撮影部７２によって撮影されたマークＭを検知、解析することで、操作者が視認している画像形成装置５のユニットを特定する。ここで、本実施の形態において画像形成装置５のユニットとは、機能および配置で区別される画像形成装置５の構成単位を意味する。例えば、画像形成装置５のユニットとしては、第１画像形成装置５１の第１画像形成ユニット５１１、第１乾燥ユニット５１２、第２画像形成装置５２の第２画像形成ユニット５２１、第２乾燥ユニット５２２、反転装置５５の各反転ロール５５１〜５５５、給紙装置５３、回収装置５４、中継部等のそれぞれが該当する。

図示は省略するが、本実施の形態の画像形成装置５では、マークＭの検知、解析によって画像形成装置５のユニットの特定を可能とするため、取り付けられるユニットによってマークＭの種類が異なっている。具体的には、画像形成装置５では、取り付けられるユニットによって、マークＭの形状、色、模様等が互いに相違している。
また、画像形成装置５では、それぞれのマークＭは、それぞれの装置の筐体の内部に設けられている。例えば、第１画像形成装置５１では、それぞれのユニットに取り付けられるマークＭは、筐体５１６の内部に設けられている。そして、筐体５１６の開閉扉５１６ａを開放した場合に、それぞれのマークＭが外部に露出し、視認できるようになっている。

さらに、図示は省略するが、本実施の形態の画像形成装置５は、それぞれのユニットに、ユニットの状態を検知するセンサを有している。画像形成装置５において、それぞれのユニットに設けられるセンサは、例えば各ユニットでの連続紙の装填等の操作に応じた出力を行う。そして、画像形成装置５の制御部６０は、各センサの出力状態を監視することで、各ユニットの状態を把握する。

＜ウェアラブル端末の構成＞
図４は、本実施の形態が適用されるウェアラブル端末７の概略構成を示した図である。図４に示すように、本実施の形態のウェアラブル端末７は、全体としてメガネ状の形状を有しており、操作者の頭部に装着されて使用される。
ウェアラブル端末７は、装着された場合に操作者の左右の目に対応する位置に設けられるレンズ部７１と、操作者がレンズ部７１を介して視認する領域を撮影する撮影部７２と、レンズ部７１を介して操作者が視認する光景に重ねて画像を表示する表示部７３とを備えている。さらに、ウェアラブル端末７は、操作者に対して音声による案内を行う音声案内部７４を備えている。また、ウェアラブル端末７は、各部の制御を行う制御部８０（後述する図５参照）を備えている。

レンズ部７１は、光透過性を有する材料により構成されている。これにより、ウェアラブル端末７を装着した操作者は、レンズ部７１を介して前方の光景を視認できるようになっている。
撮影部７２は、例えばＣＣＤカメラ等の小型カメラにより構成され、ウェアラブル端末７を装着した操作者の視線に沿った方向に向くように、レンズ部７１に隣接して設けられている。そして、撮影部７２は、レンズ部７１を介して操作者により視認される光景について動画を撮影し、撮影した映像を制御部８０に出力する。
表示部７３は、レンズ部７１に重なるように形成され、画像を表示しない状態では光透過性を有する材料により構成されている。そして、表示部７３は、制御部８０による表示制御に基づいて、レンズ部７１を介して操作者に視認される光景（実画像）に重なるように、画像を表示する。
音声案内部７４は、小型のスピーカを有しており、制御部８０による制御に基づいて音声を出力することで、操作者に案内を行う。

＜画像形成システムの機能構成＞
図５は、本実施の形態が適用される画像形成システム１の機能的な構成を示したブロック図である。
本実施の形態の印刷サーバ３は、ウェアラブル端末７や画像形成装置５等との通信を制御する通信制御部３１を備えている。通信制御部３１は、例えばウェアラブル端末７から、後述するユニット特定部８１３にて特定されたユニットに関する情報を取得する。また、通信制御部３１は、画像形成装置５から、画像形成装置５にて設定されている装置設定に関する情報を取得する。また、通信制御部３１は、ウェアラブル端末７から取得したユニットに関する情報に基づいて、後述する情報保持部３３にて保持される支援画像に関する情報をウェアラブル端末７に出力する。

また、印刷サーバ３は、操作者による画像形成装置５の操作を支援するための支援画像に関する情報を保持する情報保持部３３を備えている。
さらに、印刷サーバ３は、画像形成装置５の状態や画像形成装置５でのジョブの実行を制御する装置制御部３５を備えている。

ウェアラブル端末７の制御部８０は、撮影部７２にて撮影された映像の解析を行う取得手段の一例としての映像解析部８１を備えている。さらに、ウェアラブル端末７の制御部８０は、表示部７３に表示する画像を制御する表示制御部８３を備えている。さらに、ウェアラブル端末７の制御部８０は、音声案内部７４にて出力する音声を制御する音声通知手段の一例としての音声制御部８４を備えている。さらにまた、ウェアラブル端末７の制御部８０は、印刷サーバ３との通信を行う通信制御部８５を備えている。

映像解析部８１は、撮影部７２にて撮影された撮影結果である映像に含まれるマークＭを検出するマーク検出部８１１を備えている。また、映像解析部８１は、マーク検出部８１１にて検出されたマークＭに基づいて、撮影部７２にて撮影された画像形成装置５のユニットを特定するユニット特定部８１３を有している。また、映像解析部８１は、マーク検出部８１１にて検出されたマークＭに基づいて、ユニット特定部８１３で特定されたユニットとウェアラブル端末７との位置関係を特定する位置特定部８１５を有している。さらに、映像解析部８１は、撮影部７２にて撮影された映像および印刷サーバ３から取得した情報に基づいて、ユニット特定部８１３で特定されたユニットにおいて操作者が行う操作工程を特定する工程特定部８１７を有している。

表示制御部８３は、表示部７３に支援画像を表示させる支援画像表示手段の一例である支援画像表示部８３１を有している。支援画像表示部８３１は、通信制御部８５を介して印刷サーバ３から取得した情報や映像解析部８１にて検出されたマークＭに関する情報等に基づいて、表示部７３に支援画像を表示させる。
また、表示制御部８３は、映像解析部８１の位置特定部８１５にて特定された位置関係に基づいて、表示部７３における表示を、操作者による操作を支援しない態様にする支援画像変更手段または阻害画像表示手段の一例としての非支援表示部８３２を有している。非支援表示部８３２は、映像解析部８１の位置特定部８１５にて特定された位置関係に基づいて、後述する阻害画像および警告画像を表示する。また、非支援表示部８３２は、支援画像表示部８３１により表示される支援画像を、操作を支援しない態様に変更する。

通信制御部８５は、映像解析部８１のユニット特定部８１３にて特定された画像形成装置５のユニットに関する情報等を、印刷サーバ３に出力する。また、通信制御部８５は、印刷サーバ３から出力された、支援画像に関する情報を取得する。

ところで、本実施の形態の画像形成システム１では、画像形成装置５における印刷時に連続紙が高速で搬送されるため、画像形成装置５を構成する各装置内には、高速回転する部品が数多く存在している。また、第１画像形成装置５１の第１乾燥ユニット５１２、第２画像形成装置５２の第２乾燥ユニット５２２では、加熱によりインクを強制的に乾燥させるため、特に印刷動作中は高温になる。

このように、本実施の形態の画像形成装置５は、構造が複雑であるため、画像形成装置５の保守作業や点検作業等の操作には高度な専門知識が必要である。そのため、通常は、予め教育を受けた操作者が、マニュアル等を見ながら画像形成装置５の操作を行うことが多い。しかし、画像形成装置５は、大型であるため、操作を行う箇所が１箇所に留まらず、通常は画像形成装置５の周囲を移動しながらさまざまな操作を行うことになる。この場合、操作時に、マニュアル等の資料を持ち歩きながら参照することは操作者にとって不便になりやすい。

これに対し、本実施の形態の画像形成システム１では、操作者が装着するウェアラブル端末７の表示部７３に、操作者による画像形成装置５の作業を支援するための支援画像を表示する。これにより、操作者は、ウェアラブル端末７の表示部７３に表示される支援画像を参照することで、例えば操作時に資料を参照する場合と比較して、操作効率が向上する。

ここで、本実施の形態の画像形成装置５の保守作業等の操作では、画像形成装置５を構成する各装置の筐体を開けてその内部に手を伸ばしたり、内部に半身を入れたりした状態で行うことが多い。この際、ウェアラブル端末７の表示部７３に支援画像が表示された状態で操作を行うと、支援画像によって視界が狭まるため、筐体や筐体内に存在する部分に身体をぶつけるおそれがある。
また、画像形成装置５には、電源ケーブル、ネットケーブル、エアーチューブ、冷却ホース等の付属品が接続されており、またその周囲には、消耗品や関連機器が置かれていることが多い。このような場所で、ウェアラブル端末７の表示部７３に支援画像が表示された状態で操作者が歩き回ると、付属品や消耗品などに着目しにくく、接触したり躓いたりするおそれがある。

＜画像形成システムで行われる処理について＞
これに対し、本実施の形態では、ウェアラブル端末７と画像形成装置５の各ユニットとの位置関係を特定し、当該特定した位置関係に基づいてウェアラブル端末７の表示部７３における表示を変更している。これにより、ウェアラブル端末７の表示部７３に表示される画像やウェアラブル端末７本体による操作性の低下を抑制している。
以下、本実施の形態の画像形成システム１にて行われる処理について詳細に説明する。
なお、以下で説明する画像形成システム１にて行われる処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。すなわち、ウェアラブル端末７および印刷サーバ３に設けられた制御用コンピュータ内部のＣＰＵが、ウェアラブル端末７および印刷サーバ３の各機能を実現するプログラムを実行し、これらの各機能が実現される。

図６は、本実施の形態が適用されるウェアラブル端末７の制御部８０により行われる処理について示したフローチャートである。
操作者によりウェアラブル端末７が起動されると、通信制御部８５による通信が行われ、印刷サーバ３から、画像形成装置５の構成に関する情報が取得される（ステップ１０１）。ここで、画像形成装置５の構成に関する情報としては、画像形成装置５に含まれるユニットの構成に関する情報（構成情報）が挙げられる。

続いて、撮影部７２による撮影が行われる（ステップ１０２）。上述したように、本実施の形態のウェアラブル端末７では、ウェアラブル端末７を装着した操作者によってレンズ部７１を介して視認される光景が、撮影部７２によって動画として撮影される。
撮影部７２により撮影された映像は、映像解析部８１に出力され（ステップ１０３）、映像の解析が行われる。

映像解析部８１では、まず、マーク検出部８１１により、撮影部７２で撮影された映像からマークＭの検出が行われる（ステップ１０４）。なお、映像からマークＭが検出できない場合（ステップ１０４にてＮＯ）には、マークＭの検出を引き続き行う。

マーク検出部８１１によりマークＭが検出された場合（ステップ１０４にてＹＥＳ）、検出されたマークＭに基づいて、ユニット特定部８１３により、撮影部７２で撮影された映像に含まれる画像形成装置５のユニットが特定される（ステップ１０５）。具体的には、マーク検出部８１１により検出されたマークＭが画像解析される。そして、マークＭの種類（形状、色、模様等）と、ステップ１０１にて取得した画像形成装置５の構成に関する情報に基づき、撮影部７２で撮影された映像に画像形成装置５のいずれのユニットが含まれるかが特定される。

続いて、ステップ１０４にて検出されたマークＭに基づいて、位置特定部８１５により、画像形成装置５のユニットとウェアラブル端末７との位置関係が特定される（ステップ１０６）。この例では、位置特定部８１５により、マークＭの大きさ等に基づいて、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１（図８参照）が特定される。すなわち、画像形成装置５のユニットとウェアラブル端末７との距離が離れているほど撮影部７２にてマークＭは小さく撮影され、距離が近いほど撮影部７２にてマークＭは大きく撮影される。この関係から、検出されたマークＭの大きさに基づいて、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が特定される。

次いで、位置特定部８１５により、ステップ１０５で特定されたユニットとウェアラブル端末７との位置関係が予め定めた要件を満たすか否かの判定が行われる（ステップ１０７）。位置関係の予め定めた要件としては、例えば、位置特定部８１５により特定されたユニットとウェアラブル端末７との距離Ｄ１が、予め定めた基準距離ＤＡ（図８参照）以下であるか否か等が挙げられる。

ユニットとウェアラブル端末７との位置関係が、予め定めた要件を満たさない場合（ステップ１０７にてＮＯ）には、印刷サーバ３から取得した情報に基づき、表示制御部８３の支援画像表示部８３１により、表示部７３に操作者による画像形成装置５の操作を支援するための支援画像が表示される（ステップ１０８）。例えば、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が予め定めた基準距離ＤＡよりも長い場合には、予め定めた要件を満たさないとして、表示部７３に支援画像が表示される。なお、ステップ１０８における支援画像の表示については、後段にて詳細に説明する。

一方、ユニットとウェアラブル端末７との位置関係が、予め定めた要件を満たす場合（ステップ１０７にてＹＥＳ）には、表示制御部８３の非支援表示部８３２により、表示部７３に、操作者による画像形成装置５の操作を支援しない態様の表示（以下、非支援表示と称する場合がある）がされる（ステップ１０９）。例えば、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が予め定めた基準距離ＤＡ以下である場合には、予め定めた要件を満たすとして、表示部７３にて非支援表示がされる。

表示部７３における非支援表示の一例としては、レンズ部７１を介した光景の視認を阻害する阻害画像の表示や、操作者にウェアラブル端末７の取り外しを促す警告画像の表示等が挙げられる。また、表示部７３において既に支援画像の表示を行っている場合には、表示部７３における非支援表示の一例として、表示部７３から支援画像を削除したり、支援画像の表示位置や表示サイズを変更したりすることが挙げられる。なお、ステップ１０９における非支援表示については、後段にて詳細に説明する。
続いて、ステップ１０８における支援画像の表示、またはステップ１０９における非支援表示を行った後は、ステップ１０２に戻り、一連の処理を継続する。

続いて、ステップ１０８における支援画像の表示の一例について、より詳細に説明する。図７（ａ）〜（ｂ）は、支援画像の表示を行う場合の画像形成システム１の状態を示した図であって、図７（ａ）は、画像形成装置５とウェアラブル端末７との状態を示した図であり、図７（ｂ）は、ウェアラブル端末７の表示部７３に表示される画像の一例を示した図である。

この例では、図７（ａ）に示すように、ウェアラブル端末７を装着した操作者は、筐体５１６における開閉扉５１６ａを開いて第１画像形成装置５１の内部を視認している。これにより、図７（ａ）に示すように、第１画像形成装置５１における第１画像形成ユニット５１１、第１乾燥ユニット５１２および搬送ロール５１３に取り付けられたマークＭが撮影部７２によって撮影されている。そして、この例では、上述したステップ１０５において、このマークＭに基づいて、画像形成装置５のユニットとして第１画像形成ユニット５１１、第１乾燥ユニット５１２および搬送ロール５１３が特定されている。

上述したステップ１０７にて画像形成装置５のユニットとウェアラブル端末７との位置関係が予め定めた要件を満たさないと判定された場合、ステップ１０５にてユニット特定部８１３により特定された画像形成装置５のユニットに関する情報が、通信制御部８５により印刷サーバ３に出力される。
印刷サーバ３では、ウェアラブル端末７から取得した画像形成装置５のユニットに関する情報に基づいて、情報保持部３３により当該ユニットにおける操作者による操作を支援するための支援画像に関する情報が作成され、通信制御部３１によりウェアラブル端末７に出力される。

次いで、ウェアラブル端末７では、通信制御部８５により、印刷サーバ３から出力された支援画像に関する情報が取得される。この例では、特定された第１画像形成ユニット５１１、第１乾燥ユニット５１２および搬送ロール５１３における操作を支援するための支援画像に関する情報が取得される。支援画像に関する情報とは、表示部７３にて支援画像を表示するために必要な情報であり、特定されたユニットを構成する部材の名称に関する情報や、特定されたユニットにおける作業手順に関する情報等が挙げられる。

次いで、通信制御部８５により取得された支援画像に関する情報に基づいて、表示制御部８３の支援画像表示部８３１によって、表示部７３に対して支援画像が表示される。具体的には、撮影部７２にて撮影されるマークＭの位置に基づいて、操作者によりレンズ部７１を介して視認されるユニットの光景に重なるように、表示部７３に対して支援画像が表示される。
この例では、図７（ｂ）に示すように、操作者によりレンズ部７１を介して視認される第１画像形成ユニット５１１に重なるように、支援画像として「ヘッドボックス」という案内が表示されている。また、操作者によりレンズ部７１を介して視認される第１乾燥ユニット５１２に重なるように、支援画像として「乾燥機」という案内が表示されている。さらに、操作者によりレンズ部７１を介して視認され、搬送ロール５１３に張架される連続紙に重なるように、支援画像として「紙づまり」という案内が表示されている。

ウェアラブル端末７を装着した操作者は、表示部７３に表示される支援画像を参照して画像形成装置５の操作を行うことができる。図７（ｂ）に示す例では、表示部７３に表示される支援画像から、搬送ロール５１３に張架される連続紙に紙づまりが生じていることが分かる。これにより、ウェアラブル端末７を装着した操作者は、表示部７３の支援画像を参照して、紙づまりを解消する操作を行うことができる。
このように、本実施の形態の画像形成システム１では、ウェアラブル端末７の表示部７３に支援画像を表示することで、操作者による画像形成装置５の操作性を向上させることができる。

次いで、本実施の形態のウェアラブル端末７にて行われる非支援表示の一例について、具体的に説明する。図８（ａ）〜（ｄ）は、非支援表示の態様を説明するための図である。なお、この例では、図７（ａ）〜（ｂ）に示した例と同様に、ウェアラブル端末７を装着した操作者は、筐体５１６における開閉扉５１６ａを開いて第１画像形成装置５１の内部を視認している。そして、第１画像形成装置５１の第１画像形成ユニット５１１、第１乾燥ユニット５１２および搬送ロール５１３に設けられたマークＭが、撮影部７２によって撮影され、ユニット特定部８１３によってこれらのユニットが特定されている。
ここで、図８（ａ）および（ｃ）は、ウェアラブル端末７を装着した操作者と第１画像形成装置５１との位置関係を示した図であり、図８（ｂ）および（ｄ）は、図８（ａ）および（ｃ）のそれぞれの場合に、ウェアラブル端末７の表示部７３に表示される画像、およびレンズ部７１を介して操作者に視認される光景を示した図である。

本実施の形態では、上述したように、画像形成装置５（第１画像形成装置５１）のユニットとウェアラブル端末７との位置関係として、マークＭの検出結果に基づいて画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１を算出している。
図８（ａ）に示すように、距離Ｄ１が予め定めた基準距離ＤＡよりも長い場合には、画像形成装置５のユニットとウェアラブル端末７との位置関係が予め定めた要件を満たさないものとして、図８（ｂ）に示すように表示部７３に支援画像が表示される。

一方、図８（ｃ）に示すように、操作者が第１画像形成装置５１に近づいて距離Ｄ１が予め定めた基準距離ＤＡよりも短くなった場合には、画像形成装置５のユニットとウェアラブル端末７との位置関係が予め定めた要件を満たすと判定される。そして、図８（ｄ）に示すように、表示制御部８３により、表示部７３における表示が操作者による操作を支援しない態様の表示（非支援表示）に切り替えられる。

この例では、図８（ｄ）に示すように、非支援表示として、表示部７３全体にレンズ部７１を介した視認を阻害する阻害画像を表示するとともに、この阻害画像に重ねて、操作者にウェアラブル端末７の取り外しを促す警告画像を表示する。
具体的には、図８（ｄ）に示すように、阻害画像として、表示部７３全体に不透過のパターンもしくは透過性が低い半透明のパターンを表示する。また、図８（ｄ）に示すように、警告画像として、「メガネを外して下さい」等の文字からなり、操作者にウェアラブル端末７の取り外しを促す警告文を表示する。

上述したように、画像形成装置５において各ユニットの操作を行う際に、ウェアラブル端末７を装着していると、ウェアラブル端末７やウェアラブル端末７の表示部７３に表示される支援画像によって操作者の視界が狭まる場合がある。このため、画像形成装置５の各ユニットに対して操作者が過度に近づいた場合には、画像形成装置５を構成する部品等に操作者が身体等をぶつけたり、高温のヒータ等に触れてしまったりする懸念がある。
これに対し、本実施の形態では、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が予め定めた基準距離ＤＡ以下となった場合に、表示部７３に阻害画像および警告画像を表示することで、操作者がウェアラブル端末７を装着した状態で作業を続けることを困難にしている。これにより、操作者は、ウェアラブル端末７を取り外して作業を行うことになり、ウェアラブル端末７によって操作者の視界が狭まることが抑制される。この結果、操作者が画像形成装置５を構成する部品等に身体をぶつけたり、高温のヒータ等に触れてしまったりすることが抑制される。

また、画像形成装置５のユニットの操作が終了し、操作者がユニットから離れ、ユニットとウェアラブル端末７との距離Ｄ１が基準距離よりも長くなった場合には、表示部７３に再び支援画像が表示される。これにより、操作者は、再びウェアラブル端末７を装着して表示部７３に表示された支援画像を参照することで、ユニットの操作が正しく完了したかを確認することができる。

なお、本実施の形態では、操作者にウェアラブル端末７の取り外しを促すための非支援表示として、表示部７３に阻害画像と警告画像とを重ねて表示する場合について説明したが、これらのうち一方のみを表示部７３に表示してもよい。
また、図８（ｄ）に示した表示部７３における警告画像の表示と併せて、または警告画像の表示に替えて、音声制御部８４による制御に基づき音声案内部７４（図４参照）にてウェアラブル端末７の取り外しを促す旨の音声案内を行ってもよい。具体的には、音声制御部８４による制御に基づき、音声案内部７４にて「メガネを外して下さい」等の音声案内を行う。これにより、例えば表示部７３による表示のみを行う場合と比較して、操作者によるウェアラブル端末７の取り外しをより促すことが可能となる。

続いて、ウェアラブル端末７の表示部７３にて行われる非支援表示の他の形態について説明する。上述した図８（ａ）〜（ｄ）では、非支援表示として表示部７３に阻害画像および警告画像を表示し、操作者にウェアラブル端末７の取り外しを促すことで、ウェアラブル端末７により視界が遮られることを抑制する例について説明した。しかしながら、ウェアラブル端末７やウェアラブル端末７の表示部７３に表示される画像により視界が遮られることを抑制する非支援表示の態様としては、これに限定されるものではない。
図９（ａ）〜（ｄ）は、表示部７３にて行われる非支援表示の他の形態について説明するための図であって、表示部７３に表示される画像およびレンズ部７１を介して操作者に視認される光景を示した図である。ここで、図９（ａ）は、表示部７３に支援画像が表示されている場合を示しており、図９（ｂ）〜（ｄ）は、表示部７３にて非支援表示が行われている場合を示している。

図９（ｂ）に示す例では、画像形成装置５のユニットとウェアラブル端末７との位置関係が予め定めた要件を満たす場合に、非支援表示として、表示部７３に表示される支援画像を削除している。
また、図９（ｃ）に示す例では、非支援表示として、表示部７３に表示される支援画像の位置を変更している。具体的には、支援画像を構成する「ヘッドボックス」、「乾燥機」、「紙づまり」という文字を、図９（ａ）に示す場合と比較して、表示部７３の外周側に移動させている。
さらに、図９（ｄ）に示す例では、非支援表示として、表示部７３に表示される支援画像の大きさを変更している。具体的には、支援画像を構成する「ヘッドボックス」、「乾燥機」、「紙づまり」という文字を、図９（ａ）に示す場合と比較して、縮小している。

図９（ｂ）〜（ｄ）に示す例では、非支援表示として、支援画像の表示を削除し、また支援画像の表示方法を変更することで、図９（ａ）に示す場合と比較して、表示部７３に表示される画像によって操作者の視界が狭まることが抑制される。言い換えると、図９（ｂ）〜（ｄ）に示す例では、表示部７３にて引き続き支援画像の表示を行う場合と比較して、操作者のレンズ部７１を介した光景の視認性を向上させている。これにより、操作者がウェアラブル端末７を装着したままでも、画像形成装置５を構成する部品等に身体をぶつけたり、高温のヒータ等に触れてしまったりすることが抑制される。

続いて、画像形成装置５のユニットとウェアラブル端末７との位置関係を判定する要件の他の例について説明する。上記説明では、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が予め定めた基準距離ＤＡ以下である場合に、表示部７３にて非支援表示を行うものとしている。
これに対し、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が、予め定めた他の基準距離ＤＢ以上である場合に、画像形成装置５のユニットとウェアラブル端末７との位置関係が要件を満たさないものとして、上述した非支援表示を行ってもよい。

すなわち、操作者が画像形成装置５から過度に離れている場合、画像形成装置５の保守作業等の操作を行うことは困難であり、ウェアラブル端末７の表示部７３にて支援画像を表示する必要性は低い。その一方で、操作者が画像形成装置５から過度に離れている場合にウェアラブル端末７によって操作者の視界が遮られると、例えば画像形成装置５の周囲に置いてある消耗品や関連機器等に操作者が接触したり躓いたりするおそれがある。

これに対し、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が他の基準距離ＤＢ以上である場合に非支援表示を行うことで、操作者が画像形成装置５から過度に離れている場合にウェアラブル端末７によって操作者の視界が狭まることが抑制される。この結果、操作者が、ウェアラブル端末７により視界が阻害された状態で画像形成装置５の周囲を歩きまわることが抑制され、画像形成装置５の周囲に置いてある消耗品や関連機器等に操作者が接触したり躓いたりすることが抑制される。

なお、本実施の形態では、画像形成装置５のユニットとウェアラブル端末７との距離Ｄ１が、基準距離ＤＡ以下である場合と、他の基準距離ＤＢ以上である場合との双方で、ウェアラブル端末７の表示部７３にて非支援表示を行うものとしてもよい。

また、上記説明では、マーク検出部８１１にてマークＭを検出できない場合には、マークＭが検出されるまでマークＭの検出を継続していたが、これに限定されるものではない。画像形成装置５の各装置においてマークＭは筐体の内部に設けられているため、例えば、各装置において筐体を開いていない場合には、撮影部７２によりマークＭは撮影されず、マークＭを検出することができない。通常、画像形成装置５の各ユニットの操作を行う場合には、筐体を開く必要があるが、筐体が開いておらずマークＭが検出されないような場合には、各ユニットの操作を行うことができないため、ウェアラブル端末７の表示部７３に支援画像を表示する必要性は低い。

したがって、マーク検出部８１１にてマークＭを検出できない場合には、画像形成装置５のユニットとウェアラブル端末７との位置関係が予め定めた要件を満たさないものとして、上述した非支援表示を行ってもよい。

また、上記説明では、画像形成装置５のユニットとウェアラブル端末７との位置関係に基づいて、ウェアラブル端末７の表示部７３にて非支援表示を行う形態について説明した。しかしながら、非支援表示を行うための要件としては、画像形成装置５のユニットとウェアラブル端末７との位置関係に限定されるものではない。例えば、ウェアラブル端末７の撮影部７２にて撮影された映像により映像解析部８１の工程特定部８１７にて特定されるユニットでの操作工程に基づいて、非支援表示を行ってもよい。

具体的に説明すると、画像形成装置５を構成する各装置やユニットでは、操作者による操作に応じてその状態が変化する。また、画像形成装置５の各装置やユニットでは、操作者が装置の筐体を開けてその内部に手を伸ばしたり、内部に半身を入れたりする必要がある操作が存在する一方で、操作の種類によっては装置の内部に過度に近づく必要のない操作も存在する。
したがって、本実施の形態の画像形成システム１では、工程特定部８１７にてそれぞれのユニットでの操作工程を特定し、その操作工程が、操作者がユニットに過度に近づく必要がある操作等の予め定めた操作工程である場合に、上述した非支援表示を行ってもよい。
これにより、操作者が画像形成装置５を構成する部品等に身体をぶつけたり、高温のヒータ等に触れてしまったりすることが抑制される。

なお、工程特定部８１７にて画像形成装置５の各ユニットにおける操作工程を特定する方法としては、特に限定されるものではない。例えば、撮影部７２にて撮影された映像を画像解析して各ユニットにおける連続紙やロール部材等の状態を検出し、これを印刷サーバ３から取得した情報等と比較することで、各ユニットにおける操作工程を特定することができる。
また、例えば「紙詰まり解除工程」のように予め定められた一連の操作工程を操作者が順次処理していくことに伴い、操作者が操作した画像形成装置５の各ユニットに設けられたセンサの出力状態も変化していく。従って、これらセンサの出力状態を監視することによっても、画像形成装置５の各ユニットにおける操作工程が特定される。つまり、撮影部７２にて撮影されたマークＭに基づかなくても、操作工程が特定される。このような方法で操作工程を特定する工程特定部８１７は、画像形成装置５の各ユニットからセンサ出力を受け取ることになるので、印刷サーバ３や画像形成装置５の制御部６０に設けてもよい。このような場合、ウェラブル端末７は工程特定部８１７が特定した操作工程を、通信制御部８５を介して受け取るようにしてもよい。

また、本実施の形態のウェアラブル端末７では、ウェアラブル端末７を装着する操作者によりレンズ部７１を介して視認される光景に重なるように、表示部７３にて支援画像、阻害画像、警告画像等の画像を表示するものとした。しかしながら、例えば撮影部７２にて撮影される光景の画像（実画像）を表示部７３に表示するとともに、表示部７３に表示される実画像に重ねて上述した支援画像、阻害画像、警告画像等を表示してもよい。

さらに、本実施の形態のウェアラブル端末７では、撮影部７２にて撮影されるマークＭを検出し、検出されたマークＭに基づいて、画像形成装置５におけるユニットの特定や、画像形成装置５のユニットとウェアラブル端末７との位置関係の特定等を行った。しかしながら、必ずしもマークＭを用いる必要はない。すなわち、撮影部７２にて撮影される画像形成装置５のユニットの映像について、各部品や連続紙等の配置、大きさ等を解析することにより、画像形成装置５におけるユニットの特定や、画像形成装置５のユニットとウェアラブル端末７との位置関係の特定等を行ってもよい。

また、本実施の形態では、撮影部７２にて撮影された映像の解析の処理等を、ウェアラブル端末７の制御部８０で行うものとしたが、制御部８０にて行われる処理の一部または全部は、印刷サーバ３にて行われるものとしてもよい。言い換えると、本実施の形態では、ウェアラブル端末７の制御部８０により情報処理装置が構成されてもよく、印刷サーバ３により情報処理装置が構成されてもよく、またウェアラブル端末７の制御部８０と印刷サーバ３との双方により情報処理装置が構成されていてもよい。

また、本実施の形態では、支援画像等の表示を行う携帯端末として操作者に装着されて使用されるウェアラブル端末７を例に挙げて説明したが、これに限定されるものではない。画像を表示する表示部７３と映像を撮影する撮影部７２とを備え、例えば操作者が身につけて画像形成装置５の操作ができる媒体であれば、携帯端末としてウェアラブル端末７に替えてスマートフォンや携帯電話、タブレット端末、デジタルカメラ等を採用してもよい。

１…画像形成システム、３…印刷サーバ、５…画像形成装置、７…ウェアラブル端末、７１…レンズ部、７２…撮影部、７３…表示部、８０…制御部、８１…映像解析部

Claims (7)

1. 撮影部を備える携帯端末の表示部に、操作者により操作される操作対象物の操作を支援する支援画像を、当該撮影部が撮影した撮影画像または当該表示部を介して視認される光景に重畳して表示させる支援画像表示手段と、
   前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記支援画像表示手段により前記表示部に表示されている前記支援画像を、前記操作対象物の操作を支援しない態様に変更する支援画像変更手段と
   を備え、
   前記支援画像変更手段は、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする情報処理装置。
2. 前記支援画像変更手段は、前記撮影結果に基づき操作者と前記操作対象物との位置関係が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする請求項１に記載の情報処理装置。
3. 前記支援画像変更手段は、操作者と前記操作対象物との位置関係が予め定めた距離以上である場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする請求項２に記載の情報処理装置。
4. 前記支援画像変更手段は、前記撮影画像または前記光景を被覆する不透過あるいは半透明のパターンを前記表示部に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記支援画像表示手段は、操作者に装着されて使用される前記携帯端末の前記表示部に前記支援画像を表示し、
   前記支援画像表示手段は、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、操作者に前記携帯端末の取り外しを促す警告画像を前記表示部に表示させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 記録材に対して画像を形成する画像形成装置と、
   撮影部を備える携帯端末の表示部に、操作者による前記画像形成装置の操作を支援する支援画像を、当該撮影部が撮影した撮影画像または当該表示部を介して視認される光景に重畳して表示させる支援画像表示手段と、当該携帯端末の当該撮影部による撮影結果が予め定めた条件を満たした場合に、当該支援画像表示手段により当該表示部に表示されている当該支援画像を、当該画像形成装置の操作を支援しない態様に変更する支援画像変更手段とを有する情報処理装置と
   を備え、
   前記情報処理装置の前記支援画像変更手段は、前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることを特徴とする画像形成システム。
7. コンピュータに対して、
   撮影部を備える携帯端末の表示部に、操作者により操作される操作対象物の操作を支援する支援画像を、当該撮影部が撮影した撮影画像または当該表示部を介して視認される光景に重畳して表示させる機能と、
   前記携帯端末の前記撮影部による撮影結果が予め定めた条件を満たした場合に、前記撮影画像または前記光景の視認性を低下させることで、前記表示部に表示されている前記支援画像を、前記操作対象物の操作を支援しない態様に変更する機能と
   を実現させるプログラム。

Images