JP6274186B2 - 画像形成装置、画像形成システム、及びプログラム - Google Patents

画像形成装置、画像形成システム、及びプログラム Download PDF

Info

Publication number
JP6274186B2
JP6274186B2 JP2015220228A JP2015220228A JP6274186B2 JP 6274186 B2 JP6274186 B2 JP 6274186B2 JP 2015220228 A JP2015220228 A JP 2015220228A JP 2015220228 A JP2015220228 A JP 2015220228A JP 6274186 B2 JP6274186 B2 JP 6274186B2
Authority
JP
Japan
Prior art keywords
screen
display
unit
image forming
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015220228A
Other languages
English (en)
Other versions
JP2017092706A (ja
Inventor
亮 成
亮 成
澤田　勝利
勝利 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015220228A priority Critical patent/JP6274186B2/ja
Priority to US15/345,073 priority patent/US10110765B2/en
Publication of JP2017092706A publication Critical patent/JP2017092706A/ja
Application granted granted Critical
Publication of JP6274186B2 publication Critical patent/JP6274186B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00885—Power supply means, e.g. arrangements for the control of power supply to the apparatus or components thereof
    • H04N1/00888—Control thereof
    • H04N1/00896—Control thereof using a low-power mode, e.g. standby
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00885—Power supply means, e.g. arrangements for the control of power supply to the apparatus or components thereof
    • H04N1/00888—Control thereof
    • H04N1/00891—Switching on or off, e.g. for saving power when not in use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00973—Input arrangements for operating instructions or parameters, e.g. updating internal software from a remote device, e.g. receiving via the internet instructions input to a computer terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074—Arrangements for the control of a still picture apparatus by the connected apparatus
    • H04N2201/0075—Arrangements for the control of a still picture apparatus by the connected apparatus by a user operated remote control device, e.g. receiving instructions from a user via a computer terminal or mobile telephone handset
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Description

本発明は、画像形成装置、画像形成システム、及びプログラムに関する。
近年、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）の機能が複雑化しており、操作画面及び操作項目が多岐にわたるようになってきている。一方、個人に携帯して使用されている情報端末の機能も複雑化しているが、ＭＦＰと比べて操作する機会が多いこともあり、複雑な操作手順が要求される場合であっても操作の習得にはそれほどの困難は伴わない。
このような情報端末を利用して、ＭＦＰを遠隔操作する技術が開発されている（例えば、特許文献１参照）。また、情報端末に搭載されている撮像部の機能を利用することにより、ＭＦＰを過去に操作していた状態に容易に設定するものがある（例えば、特許文献２参照）。
特開２００８−２１９３５１号公報 特開２０１４−３６３５６号公報
特許文献１に記載のような従来技術は、情報端末から画像形成装置として機能するＭＦＰを遠隔操作する際、画像形成装置が通信により情報端末に操作画面を提供している。よって、ＭＦＰは、情報端末により遠隔操作される際、情報端末との通信を維持する必要がある。
特許文献２に記載のような従来技術は、操作画面の撮像通知がＭＦＰに送信され、その時点での操作画面に関連した操作内容が保持されることにより、情報端末を介して過去の操作画面が選択されれば、現在のＭＦＰの設定を過去のＭＦＰの設定にすることができるものである。よって、ＭＦＰを過去に操作していた状態に設定するためには、操作画面が撮像されるつど、ＭＦＰとの通信が行われる必要がある。
よって、特許文献１，２に記載のような従来技術は、情報端末を介してＭＦＰの遠隔操作が実行される際、ＭＦＰとの通信が頻繁に実施される必要があるため、遠隔操作時の消費電力を抑制することができない恐れがある。
本発明は、従来の課題を解決するためになされたものであり、その目的とするところは、遠隔操作時の消費電力を抑制することができる画像形成装置、画像形成システム、及びプログラムを提供することにある。
上記目的を達成するため、本発明に係る画像形成装置は、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御部と、前記本体側表示制御部により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信部と、前記本体側受信部により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理部とを備え、前記操作信号は、前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、前記第２の操作内容は、前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、前記操作画面と、前記表示画面とを関連付ける画面識別情報とを含み、前記画像処理部は、前記画像に関連する処理を実行する際、前記本体側受信部による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、ことを特徴とするものである。
この画像形成装置によれば、遠隔操作時の消費電力を抑制することができる。
また、本発明に係る画像形成装置において、前記画面識別情報は、前記操作画面及び前記表示画面のそれぞれに識別子が含まれない場合、前記操作画面の表示時間及び前記撮像データの撮像時間に基づいて生成される、ことが好ましい。
この画像形成装置によれば、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
また、本発明に係る画像形成装置において、前記操作項目位置情報は、前記第２の操作項目の座標情報に基づいて生成される、ことが好ましい。
この画像形成装置によれば、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
また、本発明に係る画像形成装置において、前記操作項目位置情報は、前記表示画面と、前記操作画面とのずれ量に応じて補正される、ことが好ましい。
この画像形成装置によれば、表示画面と、操作画面とを正確に関連付け、遠隔操作を意図した通りに実施することができる。
また、本発明に係る画像形成装置において、前記ずれ量は、前記操作画面が撮像されたときの画角に基づいて求められる、ことが好ましい。
この画像形成装置によれば、情報端末の撮像時の設定に依存することなく、遠隔操作を実施することができる。
また、本発明に係る画像形成装置において、前記ずれ量は、前記操作画面の輪郭情報を基準情報として、前記第１の操作項目の座標情報と、前記第２の操作項目の座標情報と、に基づいて求められる、ことが好ましい。
この画像形成装置によれば、操作項目の位置を正確に特定できる。
また、本発明に係る画像形成装置において、前記ずれ量は、前記操作画面の撮影倍率に起因して生じている場合、該撮影倍率に基づいて補正され、又は前記表示画面の表示倍率に起因して生じている場合、該表示倍率に基づいて補正される、ことが好ましい。
この画像形成装置によれば、ユーザーの嗜好に適した環境で遠隔操作を実現することができる。
また、本発明に係る画像形成装置において、前記画像処理部は、前記表示画面にハードキーに相当するものが含まれ、前記第２の操作内容が前記ハードキーに対応したものである場合、前記ハードキーに対応する前記画像に関連する処理を実行する、ことが好ましい。
この画像形成装置によれば、遠隔操作できる操作内容を充実化させることができる。
また、本発明に係る画像形成装置において、前記第２の操作内容は、前記操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、前記第１の設定画面から前記第２の設定画面に遷移する際の前記操作項目位置情報及び前記画面識別情報が含まれる、ことが好ましい。
この画像形成装置によれば、画面遷移も含めた遠隔操作を実現することができる。
また、本発明に係る画像形成装置において、前記操作画面の表示に要する電力を制御する電力制御部をさらに備え、前記電力制御部は、前記操作画面の撮像を契機として、前記操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる、ことが好ましい。
この画像形成装置によれば、遠隔操作時の消費電力を大幅に削減することができる。
また、上記目的を達成するため、本発明に係る画像形成システムは、上記記載の画像形成装置と、情報端末とを備える画像形成システムであって、前記情報端末は、前記操作画面を撮像する撮像部と、前記撮像部により撮像された前記操作画面に基づいて前記表示画面を表示する表示部と、前記表示部により表示された前記表示画面の前記第２の操作内容を受け付ける操作部と、前記操作部により受け付けられた前記第２の操作内容に基づいて生成された前記操作信号を送信する端末側インターフェース部とを備える、ことを特徴とするものである。
この画像形成システムによれば、簡易な構成の端末を利用して遠隔操作を実現することができる。
また、上記目的を達成するため、本発明に係るプログラムは、コンピュータに、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御機能と、前記本体側表示制御機能により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信機能と、前記本体側受信機能により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理機能とを実行させるためのプログラムであって、前記操作信号は、前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、前記第２の操作内容は、前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、前記操作画面と、前記表示画面とを関連付ける画面識別情報とを含み、前記画像処理機能は、前記画像に関連する処理を実行する際、前記本体側受信機能による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、ことを特徴とするものである。
このプログラムによれば、本発明に係る画像形成装置における場合と同様に、遠隔操作時の消費電力を抑制することができるようになる。
本発明によれば、遠隔操作時の消費電力を抑制することができる。
本実施形態に係る画像形成システム１の全体構成の一例を示す図である。 ＭＦＰ１０が情報端末２０に遠隔操作されるときの一形態を示す図である。 ＭＦＰ１０のハードウェア構成の一例を示すブロック図である。 情報端末２０のハードウェア構成の一例を示すブロック図である。 ＭＦＰ１０の機能構成の一例を示すブロック図である。 情報端末２０の機能構成の一例を示すブロック図である。 画像形成システム１の制御例を説明するフローチャートである。 操作信号生成処理の詳細動作を説明するフローチャートである。 関連付け処理の詳細動作を説明するフローチャートである。 情報端末２０の表示部２０６に表示された表示画面に識別子Ａが含まれている一例を示す図である。 情報端末２０の表示部２０６に表示された表示画面にハードキーＢに該当するものが含まれている一例を示す図である。
以下、図面に基づいて本発明の実施形態を説明するが、本発明は以下の実施形態に限られるものではない。
図１は、本実施形態に係る画像形成システム１の全体構成の一例を示す図である。図１に示すように、画像形成システム１は、画像形成装置として機能するＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１０ａ〜１０ｃ及び情報端末２０を含み、それぞれが通信媒体３に接続されている。また、画像形成システム１は、パーソナルコンピュータ１２及び無線局３０を含み、それぞれが通信媒体３に接続されている。
パーソナルコンピュータ１２は、ＭＦＰ１０ａ〜１０ｃを制御するための各種ドライバプログラムがインストールされている。なお、ＭＦＰ１０ａ〜１０ｃの種類が異なる場合、パーソナルコンピュータ１２には、ＭＦＰ１０ａ〜１０ｃを制御するための３種類の各種ドライバプログラムがそれぞれインストールされる。
ＭＦＰ１０ａ〜１０ｃのそれぞれは、原稿を読み取るための原稿読取機能、画像データに基づいて紙等の記録媒体に画像を形成するための画像形成機能、及びファクシミリデータを送受信するファクシミリ送受信機能が実現される。なお、ＭＦＰ１０ａ〜ＭＦＰ１０ｃのそれぞれは同一の機能が実現されるものであり、何れか１台を特に限定しない場合、ＭＦＰ１０と称する。
通信媒体３は、例えば、ローカルエリアネットワークを構成し、接続形態は有線及び無線の何れであってもよい。また、通信媒体３は、インターネット等のワイドエリアネットワークに接続されている。なお、通信媒体３は、ローカルエリアネットワークに限定されず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を構成してもよい。
情報端末２０は、携帯電話の機能が実現される端末であり、携帯電話用基地局と無線を介して通信することにより携帯電話網に接続し、通話が可能となる。また、情報端末２０は、無線ＬＡＮ通信機能が実現される端末である。
無線局３０は、通信媒体３に接続された中継装置であり、無線ＬＡＮ通信機能が実現される情報端末２０と通信することにより、情報端末２０と接続する。なお、ＭＦＰ１０は、通信媒体３を介してパーソナルコンピュータ１２とデータの送受信が可能であり、通信媒体３及び無線局３０を介して情報端末２０とデータの送受信が可能となる。
なお、ＭＦＰ１０に無線ＬＡＮ通信機能が実装されている場合、ＭＦＰ１０は、無線局３０を介さずに、情報端末２０とデータの送受信が可能となる。
次に、情報端末２０によるＭＦＰ１０の遠隔操作の概要について説明する。図２は、ＭＦＰ１０が情報端末２０に遠隔操作されるときの一形態を示す図である。図３は、ＭＦＰ１０のハードウェア構成の一例を示すブロック図である。
まず、ＭＦＰ１０について具体的に説明する。図２，３に示すように、ＭＦＰ１０は、メイン回路１１０と、自動原稿搬送装置１２０と、原稿読取部１３０と、画像形成部１４０と、給紙部１５０と、操作パネル１６０とを含む。自動原稿搬送装置１２０は、原稿を原稿読取部１３０に搬送する。原稿読取部１３０は、自動原稿搬送装置１２０により搬送された原稿を読み取る。画像形成部１４０は、原稿読取部１３０により読み取られた原稿の画像データに基づいて用紙等の記録媒体に画像を形成する。給紙部１５０は、画像形成部１４０に用紙等の記録媒体を供給する。
操作パネル１６０は、ＭＦＰ１０の上面側に設けられ、表示部１６１及び操作部１６３を含む。表示部１６１は、表示装置であり、例えば、液晶表示装置からなる。表示部１６１は、ユーザーへの指示メニュー及び原稿読取部１３０により読み取られた原稿の画像データに関する情報等を表示する。
操作部１６３は、ユーザーの操作による指示を受け付ける。操作部１６３は、ハードキー部１６７を含む。ハードキー部１６７は、複数のキーからなる。複数のキーのそれぞれは、各種の指示、文字、及び数字等のデータの入力を受け付けるものである。操作部１６３は、タッチパネル１６５を含む。タッチパネル１６５は、表示部１６１上に設けられ、表示部１６１の表示画面が触れられた場所に対応する座標を検出する。
メイン回路１１０は、ＣＰＵ１１１と、本体側インターフェース部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＨＤＤ１１５と、ファクシミリ部１１６と、外部記憶装置１１７とを含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、及び操作パネル１６０と接続され、ＭＦＰ１０全体を制御する。
本体側インターフェース部１１２は、ＭＦＰ１０を通信媒体３に接続するインターフェースである。よって、ＣＰＵ１１１は、本体側インターフェース部１１２を介して、ＭＦＰ１０ａ〜１０ｃ又は情報端末２０と通信することにより、各種データを送受信する。本体側インターフェース部１１２は、通信媒体３を介してインターネットに接続された各種機器と通信が可能である。
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム又はそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる原稿の画像データを一時的に記憶する。
ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続される。ファクシミリ部１１６は、公衆交換電話網にファクシミリデータを送信する。ファクシミリ部１１６は、公衆交換電話網からファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータをＨＤＤ１１５に記憶する、又は画像形成部１４０に出力する。
よって、画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントすることができる。ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換し、公衆交換電話網に接続された不図示のファクシミリ装置に送信する。なお、ＨＤＤ１１５は、大容量記憶装置として機能するものであり、例えば、ハードディスクドライブからなる。
外部記憶装置１１７は、ＣＤ−ＲＯＭ１１８が装着される。これにより、ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記憶されたプログラムを、ＲＡＭ１１４にロードして実行する。
なお、画像形成システム１において、ＭＦＰ１０と、情報端末２０との間で、データが送受信される際、データを送受信するプロトコルは、受信側の装置において送信元を特定することができれば、任意のプロトコルを用いることができる。データを送受信するプロトコルは、例えば、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＳＭＰＴ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、及びＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）等が用いられる。
次に、情報端末２０について具体的に説明する。図４は、情報端末２０のハードウェア構成の一例を示すブロック図である。図４に示すように、情報端末２０は、ＣＰＵ２０１と、撮像部２０２と、フラッシュメモリ２０３と、無線通信部２０４と、通話部２０５と、表示部２０６と、操作部２０７と、端末側インターフェース部２０８とを含む。
撮像部２０２は、レンズ及び光電変換素子を備え、レンズで集光した光を光電変換素子に結像する。光電変換素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサから構成され、受光した光を光電変換した画像データを撮像データとしてＣＰＵ２０１又はフラッシュメモリ２０３に出力する。
フラッシュメモリ２０３は、ＣＰＵ２０１が実行するプログラム、又はそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリ２０３に記憶されたプログラムを、ＣＰＵ２０１が含まれる不図示のＲＡＭにロードして実行する。
無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、情報端末２０を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を音声信号に復調する。無線通信部２０４は、復調した音声信号を複合して通話部２０５に出力する。
無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイク及びスピーカを備える。スピーカは、無線通信部２０４から入力される音声を出力する。マイクは、入力される音声を無線通信部２０４に出力する。無線通信部２０４は、ＣＰＵ２０１により制御され、情報端末２０を電子メールサーバーに接続し、電子メールを送受信する。
表示部２０６は、表示装置であり、例えば、液晶表示装置からなる。表示部２０６は、ユーザーへの指示メニューを表示する。表示部２０６は、撮像部２０２又は端末側インターフェース部２０８により取得された画像データに関する情報等を表示する。
操作部２０７は、ユーザーの操作による指示を受け付ける。操作部２０７は、ハードキー部２１２を含む。ハードキー部２１２は、複数のキーからなる。複数のキーのそれぞれは、各種の指示、文字、及び数字等のデータの入力を受け付けるものである。操作部２０７は、タッチパネル２１１を含む。タッチパネル２１１は、表示部２０６上に設けられ、表示部２０６の表示画面が触れられた場所に対応する座標を検出する。
端末側インターフェース部２０８は、無線局３０と通信し、情報端末２０を通信媒体３に接続するためのインターフェースである。情報端末２０に予めＭＦＰ１０ａ〜１０ｃのそれぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、情報端末２０と、ＭＦＰ１０ａ〜１０ｃのそれぞれと通信することができ、データの送受信が可能となる。
ここで、ＭＦＰ１０の表示部１６１に操作画面が表示されている場合、情報端末２０は、ＭＦＰ１０の表示部１６１に表示されている操作画面を撮像部２０２により撮像可能である。ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像部２０２により撮像されることにより、情報端末２０は、ＭＦＰ１０の表示部１６１に表示されている操作画面の撮像データを取得することができる。
さらに、情報端末２０は、操作画面の撮像データを表示部２０６に表示画面として表示させる場合、操作部２０７を介して表示画面の操作内容を受け付けることができる。表示画面の操作内容は、位置情報である。
ところで、ＭＦＰ１０の表示部１６１には複数の操作画面が表示され得る。よって、図２に示すように、情報端末２０の表示部２０６に表示されている表示画面が、複数の操作画面のうちの何れかであるかを特定する識別情報が取得され、位置情報及び識別情報が情報端末２０からＭＦＰ１０に送信されることにより、操作画面の撮像データを利用して、ＭＦＰ１０を遠隔操作することが可能となる。
次に、情報端末２０によりＭＦＰ１０を遠隔操作する機能構成について説明する。図５は、ＭＦＰ１０の機能構成の一例を示すブロック図である。図６は、情報端末２０の機能構成の一例を示すブロック図である。
ＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、又はＣＤ−ＲＯＭ１１８に記憶された各種プログラムを実行することにより、図５に示すような、画像処理部５１、本体側表示制御部５２、電力制御部５３、本体側受信部５４、本体側送信部５５、及び計時部５６を含む各種機能が実現される。
画像処理部５１は、各種指令に応じて、画像形成部１４０に画像形成指令を出力する。画像処理部５１は、本体側受信部５４により受信された操作信号に基づいて画像に関連する処理を実行する。操作信号は、遠隔操作の主体となり得る情報端末２０から送信される。例えば、情報端末２０において表示されている表示画面が操作された場合、操作信号が生成され、遠隔操作対象であるＭＦＰ１０にその操作信号が送信される。
画像処理部５１は、画像に関連する処理を実行する際、操作信号の受信を契機として、操作信号に含まれる、操作項目位置情報と、画面識別情報と、に基づいて、表示画面を介して操作された操作内容と、操作画面を介して操作され得る操作内容とを関連付ける。
画像処理部５１は、表示画面にハードキーＢに相当するものが含まれ、表示画面を介して操作された操作内容がそのハードキーＢに対応したものである場合、ハードキーＢに対応する画像に関連する処理を実行する。例えば、ハードキーＢに対応したものが、予めプリセットされた内容に基づくスキャンに相当する機能である場合、画像処理部５１は、該当する機能を実現させる処理を実行する。具体的には、画像処理部５１は、操作項目位置情報と、画面識別情報とに基づいて、表示画面を介して操作された操作内容が、タッチパネル１６５に相当するものであるか、ハードキー部１６７に相当するものであるかを判別することができる。よって、画像処理部５１は、ハードキー部１６７の位置関係を特定できる位置関係対応表がプリセットされることにより、どのハードキーＢが操作されたかを特定することができる。なお、位置関係対応表は、絶対座標であってもよく、相対座標であってもよい。
また、操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、第１の設定画面から第２の設定画面に遷移する際、操作内容は動的に変化する。この場合、情報端末２０がその遷移していく過程を動画撮影すれば、情報端末２０ではその動画が再生可能である。例えば、情報端末２０の表示部２０６には、第１の設定画面から第２の設定画面に遷移する動画が表示され、第２の設定画面になったときに第２の設定画面に含まれる操作項目が操作された場合、その操作項目に基づいて操作信号が、ＭＦＰ１０に送信される。この場合であっても、画像処理部５１は、操作信号に含まれる、操作項目位置情報と、画面識別情報と、に基づいて、表示画面を介して操作された操作内容と、操作画面を介して操作され得る操作内容とを関連付ければよい。
本体側表示制御部５２は、ＨＤＤ１１５に予め記憶された複数の操作画面の何れか１つを表示部１６１に表示させる。複数の操作画面は、互いに関連付けられており、１つの操作画面が他の操作画面に遷移する機能を実現させる操作項目が構成されている。本体側表示制御部５２は、操作項目が選択される操作が操作部１６３により検出されると、その選択された操作項目に関連付けられた操作画面をＨＤＤ１１５から読み出し、表示部１６１に表示させる。
つまり、操作画面は、画像に関連する処理の操作を受け付ける。よって、本体側表示制御部５２は、操作画面を表示制御する。
電力制御部５３は、操作画面の表示に要する電力を制御する。電力制御部５３は、操作画面の撮像を契機として、操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる。
本体側受信部５４は、本体側表示制御部５２により表示制御されている操作画面を介して操作され得る操作内容に相当する操作信号を受信する。操作信号は、遠隔操作の主体となり得る情報端末２０から送信される。例えば、情報端末２０において表示されている表示画面が操作された場合、操作信号が生成され、遠隔操作対象であるＭＦＰ１０にその操作信号が送信され、本体側受信部５４は、本体側インターフェース部１１２を介して、その操作信号を受信する。
本体側受信部５４は、表示部１６１に表示されている操作画面が撮像された旨を受信した場合、その旨を電力制御部５３に伝達する。
本体側送信部５５は、本体側インターフェース部１１２を介して、情報端末２０等に各種信号を送信する。
計時部５６は、予め設定されたタイムゾーンに応じて時間を計時し、計時結果を予め設定したタイミングで画像処理部５１に出力する。なお、計時部５６は、ある基準に基づいて時間を計時すればよい。例えば、標準電波により設定された時間を計時してもよい。
ＣＰＵ２０１が、フラッシュメモリ２０３等に記憶された各種プログラムを実行することにより、図６に示すような、撮像制御部７１、端末側表示制御部７２、座標検出部７３、演算部７４、計時部７５、端末側送信部７６、及び端末側受信部７７を含む各種機能が実現される。
撮像制御部７１は、操作部２０７の操作内容に応じて、撮像部２０２に制御指令を出力することにより、撮像部２０２に被写体を撮像させる。被写体がＭＦＰ１０の表示部１６１に表示されている操作画面であれば、撮像部２０２は、撮像制御部７１の制御指令により、操作画面を撮像する。
端末側表示制御部７２は、フラッシュメモリ２０３に記憶されたデータを表示部２０６に表示させる。ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像された撮像データがフラッシュメモリ２０３に記憶されてあって、その撮像データが選択された場合、端末側表示制御部７２は、撮像データに基づいた表示画面を表示させる制御指令を表示部２０６に出力する。表示部２０６は、端末側表示制御部７２の制御指令により、撮像データを取得し、操作画面に基づいて表示画面を表示する。
座標検出部７３は、表示部２０６により表示された表示画面の操作内容を操作部２０７が受け付けた場合、操作部２０７が操作された位置情報を座標情報として検出する。例えば、表示画面に複数の操作項目が表示され、その複数の操作項目の何れかが操作された場合、座標検出部７３は、その操作された操作項目位置情報を、座標情報として検出する。
演算部７４は、操作画面が撮像された撮像データの表示画面を介して操作された操作内容に基づいて、操作信号を生成する。表示画面を介して操作された操作内容は、第１に、操作画面の操作項目と、表示画面の操作項目とを関連付ける操作項目位置情報である。表示画面を介して操作された操作内容は、第２に、操作画面と、表示画面とを関連付ける画面識別情報である。
操作項目位置情報は、表示画面に含まれる操作項目の座標情報に基づいて生成される。例えば、表示画面に含まれる操作項目として、コピー、スキャン、及びＦＡＸの動作指令機能が含まれ、そのうち、コピーの動作指令機能が選択された場合、選択された場所に対応する座標情報を含む情報が、操作項目位置情報として生成される。
操作項目位置情報は、表示画面と、操作画面とにずれがある場合、補正される。具体的には、操作項目位置情報は、表示画面と、操作画面とのずれ量に応じて補正される。ずれ量は、例えば、ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像部２０２により撮像されたときの画角に基づいて求められる。画角は、撮影時には撮像部２０２に予め設定されているため、演算部７４は、撮像部２０２に設定されている画角に基づいて、ずれ量を求め、求めたずれ量に応じて、操作画面にある操作項目と、表示画面にある操作項目とが、１対１の対応関係となるようにする。
また、ずれ量は、例えば、操作画面の輪郭情報を基準情報として、操作画面にある操作項目の座標情報と、表示画面にある操作項目の座標情報と、に基づいて求められる。操作画面の輪郭情報は、操作画面による操作が可能な境界情報となる。よって、操作画面の輪郭情報を得ることにより、表示画面にある操作項目と、操作画面にある操作項目とのずれ量を求めることができる。
また、ずれ量は、例えば、表示画面と、操作画面との撮影倍率又は表示倍率に起因して生じている場合、その撮影倍率に基づいて補正される。例えば、表示画面は、操作画面の３００％表示である場合、表示画面にある操作項目の座標情報と、操作画面にある操作項目の座標情報とは、一致しない。この場合、表示倍率に基づいてずれ量が補正されれば、表示画面にある操作項目と、操作画面にある操作項目との対応付けが可能となる。つまり、ずれ量は、表示画面と、操作画面との相対的な位置ずれに起因して生じている場合、その相対的な位置ずれに基づいて補正される。
なお、上記で説明したずれ量の具体的な算出については、当業者であれば容易に実施できるものであるため、ここではその詳細な説明については省略する。例えば、表示画面と、操作画面とのそれぞれをアフィン空間上に定義し、操作画面と、表示画面との間にアフィン写像の関係を成立させ、ずれ量を求めてもよい。
画面識別情報は、操作画面及び表示画面のそれぞれに含まれる場合、その含まれているものが利用される。例えば、共通の識別子Ａとして、操作画面に通し番号が含まれ、表示画面に通し番号が含まれ、両者の通し番号が同一である場合、その通し番号が画面識別情報として利用されればよい。
また、操作画面に含まれる番号と、表示画面に含まれる番号との間、予め設定された写像関係が成立する場合、それらの番号が画面識別情報として利用されればよい。例えば、操作画面に含まれる番号に予め設定された値を加算したものが、表示画面に含まれる番号となる場合であっても、操作画面と、表示画面とを関連付けることができる。
また、操作画面に含まれる記号と、表示画面に含まれる記号とに対応関係が成立すれば、その記号が画面識別情報として利用されてもよい。
つまり、操作画面に含まれる識別子Ａと、表示画面に含まれる識別子Ａとに対応関係が成立すれば、その識別子Ａが画面識別情報として利用可能である。識別子Ａの抽出は、当業者であれば容易に実施できるため、その詳細な説明については省略する。例えば、識別子Ａが予め対応表として設定されていれば、表示画面が表示部２０６により表示されると共に、表示画面に該当する識別子Ａが存在するか否かをパターンマッチングにより検査してもよい。例えば、テンプレートマッチング法により、表示画面に含まれる識別子Ａと、操作画面に含まれる識別子Ａとの類似度を求め、両者が一致するとみなせるか否かにより、画面識別情報を検出してもよい。
なお、操作画面及び表示画面の両方を関連付ける識別子Ａが存在しない場合、操作画面と、表示画面とを関連付ける識別子Ａを生成すればよい。具体的には、操作画面が撮像されたとき、撮像データの撮像時間により画面識別情報が生成されてもよい。この場合、ＭＦＰ１０が操作画面の表示時間を予め設定されたタイミングで記憶しておけば、表示画面と、操作画面とを関連付けることができる。
計時部７５は、予め設定されたタイムゾーンに応じて時間を計時し、計時結果を予め設定したタイミングで演算部７４に出力する。なお、計時部７５は、ある基準に基づいて時間を計時すればよい。例えば、標準電波により設定された時間を計時してもよい。
端末側送信部７６は、演算部７４により生成された操作信号を送信する。例えば、端末側送信部７６は、端末側インターフェース部２０８を介して、操作信号をＭＦＰ１０に送信する。
端末側受信部７７は、端末側インターフェース部２０８を介して、各種信号を受信する。例えば、端末側受信部７７は、端末側インターフェース部２０８を介して、ＭＦＰ１０から送信されてきた各種信号を受信する。
なお、計時部５６と、計時部７５とは、同一のタイムゾーンに基づいて設定されていることを想定するが、異なるタイムゾーンであれば、何れか一方が、時差分に応じて調整されればよい。
次に、上記で説明した一連の処理について説明する。図７は、画像形成システム１の制御例を説明するフローチャートである。図８は、操作信号生成処理の詳細動作を説明するフローチャートである。図９は、関連付け処理の詳細動作を説明するフローチャートである。図１０は、情報端末２０の表示部２０６に表示された表示画面に識別子Ａが含まれている一例を示す図である。図１１は、情報端末２０の表示部２０６に表示された表示画面にハードキーＢに該当するものが含まれている一例を示す図である。
なお、画像形成装置として機能するＭＦＰ１０は、待機状態であって、省エネモードを実行中であると想定する。
（画像形成装置側処理）
（ステップＳ１１）
ＣＰＵ１１１は、操作がされたか否かを判定する。操作がされた場合、ステップＳ１２に移行する。一方、操作がされていない場合、そのまま待機する。
（ステップＳ１２）
ＣＰＵ１１１により、待機状態から通常状態に移行される。これにより、ＭＦＰ１０は、省エネモードが解除される。
（ステップＳ１３）
ＣＰＵ１１１により、表示部１６１に操作画面が表示される。これにより、操作画面を介して操作部１６３による操作の受付が可能な状態となる。
（ステップＳ１４）
ＣＰＵ１１１は、操作画面が撮像された旨を受信したか否かを判定する。操作画面が撮像された旨を受信した場合、ステップＳ１５に移行する。一方、操作画面が撮像された旨を受信しない場合、そのまま待機する。
（ステップＳ１５）
ＣＰＵ１１１により、通常状態から待機状態に移行される。これにより、ＭＦＰ１０は、省エネモードに移行する。
（ステップＳ１６）
ＣＰＵ１１１は、操作信号を受信したか否かを判定する。操作信号を受信した場合、ステップＳ１７に移行する。一方、操作信号を受信しない場合、そのまま待機する。
（ステップＳ１７）
ＣＰＵ１１１により、待機状態から通常状態に移行される。これにより、ＭＦＰ１０は、省エネモードが解除される。
（ステップＳ１８）
ＣＰＵ１１１は、関連付け処理を実行する。なお、関連付け処理の詳細については後述する。
（ステップＳ１９）
ＣＰＵ１１１は、関連付けた内容に応じた処理を実行する。例えば、図１０に示すように、情報端末２０の表示部２０６に表示画面が表示され、コピーという操作項目が操作された場合、ＭＦＰ１０は、図１０の識別子Ａに対応する操作画面を特定した上で、特定した操作画面に含まれるコピーという操作項目の機能を実施する。
なお、図１１に示すように、ハードキーＢのうち、スキャンというハードキーＢが操作された場合、ＭＦＰ１０は、該当するハードキーＢに対応する機能を実施する。
（ステップＳ２０）
ＣＰＵ１１１は、省エネ指令があるか否かを判定する。省エネ指令がある場合、ステップＳ２１に移行する。一方、省エネ指令がない場合、そのまま処理は終了される。
省エネ指令は、ユーザーから操作されるものであってもよく、ＭＦＰ１０にデフォルト設定に従うものであってもよい。デフォルト設定は、例えば、ユーザーからの操作が、予め設定された待ち時間を経過してもない場合、省エネモードに移行するようなものであるが、特にこれに限定されるものではない。
（ステップＳ２１）
ＣＰＵ１１１により、通常状態から待機状態に移行される。これにより、ＭＦＰ１０は、省エネモードに移行し、そのまま処理は終了される。
なお、処理の終了とは、図７に示す画像形成装置側処理の終了であって、ＭＦＰ１０自体の動作が終了するという意味ではない。
（情報端末側処理）
（ステップＳ４１）
ＣＰＵ２０１は、撮像指令があるか否かを判定する。撮像指令がある場合、ステップＳ４２に移行する。一方、撮像指令がない場合、そのまま待機する。
（ステップＳ４２）
ＣＰＵ２０１により、撮像部２０２が作動し、ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像される。
（ステップＳ４３）
ＣＰＵ２０１により、ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像された旨がＭＦＰ１０に送信される。
（ステップＳ４４）
ＣＰＵ２０１により、撮像部２０２により撮像された撮像結果として、表示部２０６により表示画面が表示される。
（ステップＳ４５）
ＣＰＵ２０１は、表示画面を介して操作されたか否かを判定する。表示画面を介して操作された場合、ステップＳ４６に移行する。一方、表示画面を介して操作されない場合、そのまま待機する。
（ステップＳ４６）
ＣＰＵ２０１は、操作信号生成処理を実行する。なお、操作信号生成処理の詳細については後述する。
（ステップＳ４７）
ＣＰＵ２０１により、生成した操作信号が送信され、処理は終了する。
なお、ステップＳ４１からステップＳ４７の一連の処理が逐次実行される説明をしたが、特にこれに限定されない。例えば、撮像だけが実施され、遠隔操作を実行する旨が選択された場合にステップＳ４４移行の処理が実施されてもよい。
また、処理の終了とは、図７に示す情報端末側処理の終了であって、情報端末２０自体の動作が終了するという意味ではない。
（操作信号生成処理）
（ステップＳ６１）
ＣＰＵ２０１は、表示画面及び操作画面のそれぞれに画面識別情報が含まれるか否かを判定する。表示画面及び操作画面のそれぞれに画面識別情報が含まれる場合、ステップＳ６２に移行する。一方、表示画面及び操作画面のそれぞれに画面識別情報が含まれない場合、ステップＳ６８に移行する。
（ステップＳ６２）
ＣＰＵ２０１は、表示画面と、操作画面とのずれ量を求める。
（ステップＳ６３）
ＣＰＵ２０１は、表示画面と、操作画面とのずれ量が閾値を超えるか否かを判定する。表示画面と、操作画面とのずれ量が閾値を超える場合、ステップＳ６４に移行する。一方、表示画面と、操作画面とのずれ量が閾値を超えない場合、ステップＳ６７に移行する。ここでいう閾値は、表示画面と、操作画面とのずれ量が、表示画面と、操作画面との関連付けに影響を与えない程度に設定されたものである。よって、閾値を超えれば、表示画面と、操作画面とのずれ量が、表示画面と、操作画面との関連付けに影響を与えることを意味する。
（ステップＳ６４）
ＣＰＵ２０１は、表示画面の操作項目の座標情報の補正量を求める。
（ステップＳ６５）
ＣＰＵ２０１は、表示画面に対応させて座標情報の補正量を保存する。例えば、表示画面と、座標情報とが組みとなって保存される。
（ステップＳ６６）
ＣＰＵ２０１は、補正量に基づいて表示画面の操作項目の座標情報を補正する。
（ステップＳ６７）
ＣＰＵ２０１は、表示画面の操作項目の座標情報に基づいて操作項目位置情報を生成する。
（ステップＳ６８）
ＣＰＵ２０１は、操作項目位置情報と、画面識別情報とに基づいて操作信号を生成し、処理を終了する。
なお、処理の終了とは、図８に示す操作信号生成処理の終了であって、情報端末２０自体の動作が終了するという意味ではない。
また、操作信号は、操作項目位置情報と、画面識別情報とが含まれ、ＭＦＰ１０により、操作項目位置情報と、画面識別情報とが抽出されることが可能であればよいものであり、特にその形式は限定されない。
（関連付け処理）
（ステップＳ８１）
ＣＰＵ１１１は、複数の操作画面のうち、操作信号に含まれる画面識別情報に基づいて、表示画面に対応する操作画面を確定する。
（ステップＳ８２）
ＣＰＵ１１１は、確定した操作画面に含まれる操作項目のうち、操作信号に含まれる操作項目位置情報に基づいて、表示画面の操作項目に対応する操作画面の操作項目を確定し、処理を終了する。
なお、処理の終了とは、図９に示す関連付け処理の終了であって、情報端末２０自体の動作が終了するという意味ではない。
以上、画像形成装置として機能するＭＦＰ１０は、情報端末２０により操作画面が撮像され、その撮像された撮像データの表示画面を介して操作された操作内容に基づいた操作信号を受信する。操作信号には、操作画面を特定する画面識別情報と、操作画面に含まれる操作項目のうち、どの操作項目が操作されたかを特定する操作項目位置情報と、が含まれている。画像形成装置は、操作信号を受信すれば、操作画面を介して操作され得る操作内容と、情報端末２０で表示されている表示画面を介して操作された操作内容とを、関連付ける。
よって、ＭＦＰ１０は、遠隔操作の主体である情報端末２０と頻繁に通信をすることなく、遠隔操作されるため、遠隔操作されているときに消費電力が大幅に増加することがない。
換言すれば、画像形成装置は、操作画面が撮像された撮像データの表示画面の操作内容である操作画面の画面識別情報及び操作項目位置情報に基づいて、撮像データの表示画面が操作された操作内容と、操作画面が操作され得る操作内容とを関連付けることにより、通信量及び処理内容が削減されるため、遠隔操作時の消費電力を抑制することができる。
また、画像形成装置において、画面識別情報は、操作画面と、表示画面とにそれぞれ含まれる識別子Ａである。また、画面識別情報は、撮像データの撮像時間と、操作画面の表示時間とに基づいて生成される。よって、単純な内容で容易に操作画面を特定することができるため、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
また、画像形成装置において、操作項目位置情報は、情報端末２０の表示部２０６に表示されている表示画面に含まれる操作項目の座標情報に基づいて生成される。よって、単純な内容で容易に操作画面に含まれる操作項目のうち、どの操作項目が操作されたかを特定できるため、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
また、画像形成装置において、操作項目位置情報は、情報端末２０の表示部２０６により表示されている表示画面と、ＭＦＰ１０の表示部１６１により表示されている操作画面とのずれ量に応じて補正される。よって、撮像部２０２の撮影位置が、操作画面を正面と対向しない場合であっても、撮像部２０２による撮像時のずれが補正されるため、表示画面と、操作画面とを正確に関連付け、遠隔操作を意図した通りに実施することができる。
また、画像形成装置において、ずれ量は、ＭＦＰ１０の表示部１６１により表示されている操作画面が撮像されたとき、情報端末２０の撮像部２０２の画角に基づいて求められるものである。よって、情報端末２０の撮像時の設定に依存することなく、遠隔操作を実施することができる。
また、画像形成装置において、ずれ量は、ＭＦＰ１０の表示部１６１により表示されている操作画面の輪郭を基準として、ＭＦＰ１０の表示部１６１により表示されている操作画面にある操作項目の座標情報と、情報端末２０の表示部２０６により表示されている表示画面にある操作項目の座標情報と、に基づいて求められるものである。よって、操作画面の輪郭を基準座標軸として、ずれ量を求めることができるため、操作項目の位置を正確に特定できる。
また、画像形成装置において、ずれ量は、ＭＦＰ１０の表示部１６１により表示されている操作画面の撮影倍率に起因して生じている場合にはその撮影倍率に基づいて補正され、情報端末２０の表示部２０６により表示されている表示画面の表示倍率に起因して生じている場合にはその表示倍率に基づいて補正される。よって、操作画面と、表示画面との相対的な位置ずれに基づいて補正が実施されるため、ユーザーの嗜好に適した環境で遠隔操作を実現することができる。
また、画像形成装置において、ＭＦＰ１０のハードキーＢに相当するものが、情報端末２０の表示部２０６により表示されている表示画面に含まれている場合、そのハードキーＢに対応する処理が実行される。よって、ＭＦＰ１０のタッチパネル１６５以外の操作も遠隔で実施できるため、遠隔操作できる操作内容を充実化させることができる。
また、画像形成装置において、ＭＦＰ１０の表示部１６１により表示されている操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、第１の設定画面から第２の設定画面に遷移する際の操作項目位置情報及び画面識別情報に基づいて、操作信号が生成される。よって、設定画面の遷移を動画撮影した場合であっても、遠隔操作を実施できるため、画面遷移も含めた遠隔操作を実現することができる。
また、画像形成装置において、ＭＦＰ１０の表示部１６１により表示されている操作画面が、情報端末２０により撮像されたことを契機として、操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる。よって、操作画面を常時表示させている必要がなくなるため、遠隔操作時の消費電力を大幅に削減することができる。
また、画像形成システム１において、情報端末２０は、撮像部２０２を備え、撮像部２０２により撮像された撮像データを表示部２０６に表示させ、表示部２０６に表示された表示画面の操作内容に応じて、遠隔操作が実現される。よって、簡易な構成の端末を利用して遠隔操作を実現することができる。
このようにして、本実施形態に係る画像形成装置によれば、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御部５２と、本体側表示制御部５２により表示制御されている操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信部５４と、本体側受信部５４により受信された操作信号に基づいて画像に関連する処理を実行する画像処理部５１とを備え、操作信号は、操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、第２の操作内容は、操作画面の第１の操作項目と、表示画面の第２の操作項目とを関連付ける操作項目位置情報と、操作画面と、表示画面とを関連付ける画面識別情報とを含み、画像処理部５１は、画像に関連する処理を実行する際、本体側受信部５４による操作信号の受信を契機として、操作項目位置情報と、画面識別情報と、に基づいて、第１の操作内容と、第２の操作内容とを関連付ける。
これにより、画像形成装置は、遠隔操作時の消費電力を抑制することができる。
また、本実施形態に係る画像形成装置によれば、画面識別情報は、操作画面及び表示画面のそれぞれに含まれる、又は操作画面の表示時間及び撮像データの撮像時間に基づいて生成される。
これにより、画像形成装置は、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
また、本実施形態に係る画像形成装置によれば、操作項目位置情報は、第２の操作項目の座標情報に基づいて生成される。
これにより、画像形成装置は、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
また、本実施形態に係る画像形成装置によれば、操作項目位置情報は、表示画面と、操作画面とのずれ量に応じて補正される。
これにより、画像形成装置は、表示画面と、操作画面とを正確に関連付け、遠隔操作を意図した通りに実施することができる。
また、本実施形態に係る画像形成装置によれば、ずれ量は、操作画面が撮像されたときの画角に基づいて求められる。
これにより、画像形成装置は、情報端末２０の撮像時の設定に依存することなく、遠隔操作を実施することができる。
また、本実施形態に係る画像形成装置によれば、ずれ量は、操作画面の輪郭情報を基準情報として、第１の操作項目の座標情報と、第２の操作項目の座標情報と、に基づいて求められる。
これにより、画像形成装置は、操作項目の位置を正確に特定できる。
また、本実施形態に係る画像形成装置によれば、ずれ量は、操作画面の撮影倍率に起因して生じている場合、撮影倍率に基づいて補正され、又は表示画面の表示倍率に起因して生じている場合、表示倍率に基づいて補正される。
これにより、画像形成装置は、ユーザーの嗜好に適した環境で遠隔操作を実現することができる。
また、本実施形態に係る画像形成装置によれば、画像処理部５１は、表示画面にハードキーＢに相当するものが含まれ、第２の操作内容がハードキーＢに対応したものである場合、ハードキーＢに対応する画像に関連する処理を実行する。
これにより、画像形成装置は、遠隔操作できる操作内容を充実化させることができる。
また、本実施形態に係る画像形成装置によれば、第２の操作内容は、操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、第１の設定画面から第２の設定画面に遷移する際の操作項目位置情報及び画面識別情報が含まれる。
これにより、画像形成装置は、画面遷移も含めた遠隔操作を実現することができる。
また、本実施形態に係る画像形成装置によれば、操作画面の表示に要する電力を制御する電力制御部５３をさらに備え、電力制御部５３は、操作画面の撮像を契機として、操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる。
これにより、画像形成装置は、遠隔操作時の消費電力を大幅に削減することができる。
また、本実施形態に係る画像形成システム１によれば、画像形成装置と、情報端末２０とを備える画像形成システム１であって、情報端末２０は、操作画面を撮像する撮像部２０２と、撮像部２０２により撮像された操作画面に基づいて表示画面を表示する表示部２０６と、表示部２０６により表示された表示画面の第２の操作内容を受け付ける操作部２０７と、操作部２０７により受け付けられた第２の操作内容に基づいて生成された操作信号を送信する端末側インターフェース部２０８とを備える。
これにより、画像形成システム１は、簡易な構成の端末を利用して遠隔操作を実現することができる。
また、本実施形態に係るプログラムによれば、コンピュータに、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御機能と、本体側表示制御機能により表示制御されている操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信機能と、本体側受信機能により受信された操作信号に基づいて画像に関連する処理を実行する画像処理機能とを実行させるためのプログラムであって、操作信号は、操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、第２の操作内容は、操作画面の第１の操作項目と、表示画面の第２の操作項目とを関連付ける操作項目位置情報と、操作画面と、表示画面とを関連付ける画面識別情報とを含み、画像処理機能は、画像に関連する処理を実行する際、本体側受信機能による操作信号の受信を契機として、操作項目位置情報と、画面識別情報と、に基づいて、第１の操作内容と、第２の操作内容とを関連付ける。
これにより、画像形成装置における場合と同様に、遠隔操作時の消費電力を抑制することができるようになる。
以上、本発明に係る画像形成装置を実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
例えば、画像形成装置として機能するＭＦＰ１０によるネットワークが構成された画像形成システム１の一例について説明したが、これに限らず、画像形成システム１を構成するネットワークの構成要素は、画像形成装置として機能するものであればよい。例えば、画像形成装置として機能するプリンタ又はファクシミリが画像形成システム１を構成するネットワークの構成要素であってもよい。
また、情報端末２０に携帯電話の機能が実現される一例について説明したが、これに限らず、情報端末２０は、携帯電話の機能の有無にかかわらず、撮像部２０２を含み、撮像部２０２により撮像された撮像データが表示可能であって、表示された撮像データから生成される表示画面が操作可能であり、ＭＦＰ１０に表示画面の操作内容が送信できるものであればよい。
また、表示部１６１，２０６のそれぞれが液晶表示装置からなる一例について説明したが、これに限らず、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）からなるものであってもよい。
また、ＣＰＵ１１１が実行するプログラムを記憶する記録媒体としてＣＤ−ＲＯＭ１１８を用いる一例について説明したが、これに限らず、光ディスク、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｄｉｓｃ）、及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の半導体メモリであってもよい。
また、ＣＰＵ１１１が実行するプログラムが、ＣＤ−ＲＯＭ１１８に記憶されたプログラムである一例について説明したが、これに限らず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行してもよい。この場合、通信媒体３に接続された不図示の他のコンピュータが、ＭＦＰ１０のＨＤＤ１１５に記憶されたプログラムを書き換える、又は新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１０が、通信媒体３に接続された不図示の他のコンピュータからプログラムをダウンロードし、そのダウンロードしたプログラムをＨＤＤ１１５に記憶してもよい。このようプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけではなく、ソースプログラム、圧縮処理されたプログラム、又は暗号化されたプログラム等であってもよい。
また、ＣＰＵ２０１が実行するプログラムを記憶する記録媒体としてフラッシュメモリ２０３を用いる一例について説明したが、これに限らず、光ディスク、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｄｉｓｃ）、及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の半導体メモリであってもよい。
また、通信媒体３に接続された不図示の他のコンピュータが、情報端末２０のフラッシュメモリ２０３に記憶されたプログラムを書き換える、又は新たなプログラムを追加して書き込むようにしてもよい。さらに、情報端末２０が、通信媒体３に接続された不図示の他のコンピュータからプログラムをダウンロードし、そのダウンロードしたプログラムをフラッシュメモリ２０３に記憶してもよい。このようプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけではなく、ソースプログラム、圧縮処理されたプログラム、又は暗号化されたプログラム等であってもよい。
また、情報端末２０の撮像部２０２が備える光電変換素子がＣＭＯＳセンサである一例について説明したが、これに限らず、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサであってもよい。
また、情報端末２０が、端末側インターフェース部２０８を用いることにより、ＭＦＰ１０ａ〜１０ｃのそれぞれと通信可能である一例について説明したが、これに限らず、他の通信形態であってもよい。例えば、情報端末２０及びＭＦＰ１０ａ〜１０ｃのそれぞれが、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信装置を搭載する場合、情報端末２０が、ＭＦＰ１０ａ〜１０ｃの何れか１台と、１対１で通信してもよい。また、例えば、情報端末２０と、ＭＦＰ１０ａ〜１０ｃの何れか１台とを、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の有線で接続させることにより、情報端末２０が、ＭＦＰ１０ａ〜１０ｃの何れか１台と、１対１で通信してもよい。
なお、本実施形態においては説明を省略したが、情報端末２０と、ＭＦＰ１０とが通信を開始する際、パスワード等による認証処理が実行され、情報端末２０と、ＭＦＰ１０との間の接続認証が許可された場合、情報端末２０と、ＭＦＰ１０との通信を確立させてもよい。
なお、上記で説明した一連の処理は、ハードウェアにより実行させることもでき、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合は、そのソフトウェアを構成するプログラムが、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータに、プログラムを記録する記録媒体から、又は、インターネット等を介して、インストールされるものである。
１ 画像形成システム
３ 通信媒体
１０，１０ａ〜１０ｃ ＭＦＰ
１１０ メイン回路
１１１ ＣＰＵ
１１２ 本体側インターフェース部
１１３ ＲＯＭ
１１４ ＲＡＭ
１１５ ＨＤＤ
１１６ ファクシミリ部
１１７ 外部記憶装置
１１８ ＣＤ−ＲＯＭ
１２０ 自動原稿搬送装置
１３０ 原稿読取部
１４０ 画像形成部
１５０ 給紙部
１６０ 操作パネル
１６１ 表示部
１６３ 操作部
１６５ タッチパネル
１６７ ハードキー部
１２ パーソナルコンピュータ
２０ 情報端末
２０１ ＣＰＵ
２０２ 撮像部
２０３ フラッシュメモリ
２０４ 無線通信部
２０５ 通話部
２０６ 表示部
２０７ 操作部
２０８ 端末側インターフェース部
２１１ タッチパネル
２１２ ハードキー部
３０ 無線局
５１ 画像処理部
５２ 本体側表示制御部
５３ 電力制御部
５４ 本体側受信部
５５ 本体側送信部
５６ 計時部
７１ 撮像制御部
７２ 端末側表示制御部
７３ 座標検出部
７４ 演算部
７５ 計時部
７６ 端末側送信部
７７ 端末側受信部

Claims (12)

  1. 画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御部と、
    前記本体側表示制御部により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信部と、
    前記本体側受信部により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理部と
    を備え、
    前記操作信号は、
    前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、
    前記第２の操作内容は、
    前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、
    前記操作画面と、前記表示画面とを関連付ける画面識別情報と
    を含み、
    前記画像処理部は、
    前記画像に関連する処理を実行する際、
    前記本体側受信部による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、
    画像形成装置。
  2. 前記画面識別情報は、
    前記操作画面及び前記表示画面のそれぞれに識別子が含まれない場合、前記操作画面の表示時間及び前記撮像データの撮像時間に基づいて生成される、
    請求項１に記載の画像形成装置。
  3. 前記操作項目位置情報は、
    前記第２の操作項目の座標情報に基づいて生成される、
    請求項２に記載の画像形成装置。
  4. 前記操作項目位置情報は、
    前記表示画面と、前記操作画面とのずれ量に応じて補正される、
    請求項３に記載の画像形成装置。
  5. 前記ずれ量は、
    前記操作画面が撮像されたときの画角に基づいて求められる、
    請求項４に記載の画像形成装置。
  6. 前記ずれ量は、
    前記操作画面の輪郭情報を基準情報として、
    前記第１の操作項目の座標情報と、前記第２の操作項目の座標情報と、に基づいて求められる、
    請求項４に記載の画像形成装置。
  7. 前記ずれ量は、
    前記操作画面の撮影倍率に起因して生じている場合、該撮影倍率に基づいて補正され、又は前記表示画面の表示倍率に起因して生じている場合、該表示倍率に基づいて補正される、
    請求項４に記載の画像形成装置。
  8. 前記画像処理部は、
    前記表示画面にハードキーに相当するものが含まれ、前記第２の操作内容が前記ハードキーに対応したものである場合、前記ハードキーに対応する前記画像に関連する処理を実行する、
    請求項５〜７の何れか一項に記載の画像形成装置。
  9. 前記第２の操作内容は、
    前記操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、前記第１の設定画面から前記第２の設定画面に遷移する際の前記操作項目位置情報及び前記画面識別情報が含まれる、
    請求項８に記載の画像形成装置。
  10. 前記操作画面の表示に要する電力を制御する電力制御部
    をさらに備え、
    前記電力制御部は、
    前記操作画面の撮像を契機として、前記操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる、
    請求項１〜９の何れか一項に記載の画像形成装置。
  11. 請求項１〜１０の何れか一項に記載の画像形成装置と、
    情報端末と
    を備える画像形成システムであって、
    前記情報端末は、
    前記操作画面を撮像する撮像部と、
    前記撮像部により撮像された前記操作画面に基づいて前記表示画面を表示する表示部と、
    前記表示部により表示された前記表示画面の前記第２の操作内容を受け付ける操作部と、
    前記操作部により受け付けられた前記第２の操作内容に基づいて生成された前記操作信号を送信する端末側インターフェース部と
    を備える、
    画像形成システム。
  12. コンピュータに、
    画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御機能と、
    前記本体側表示制御機能により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信機能と、
    前記本体側受信機能により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理機能と
    を実行させるためのプログラムであって、
    前記操作信号は、
    前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、
    前記第２の操作内容は、
    前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、
    前記操作画面と、前記表示画面とを関連付ける画面識別情報と
    を含み、
    前記画像処理機能は、
    前記画像に関連する処理を実行する際、
    前記本体側受信機能による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、
    プログラム。
JP2015220228A 2015-11-10 2015-11-10 画像形成装置、画像形成システム、及びプログラム Active JP6274186B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015220228A JP6274186B2 (ja) 2015-11-10 2015-11-10 画像形成装置、画像形成システム、及びプログラム
US15/345,073 US10110765B2 (en) 2015-11-10 2016-11-07 Image forming apparatus, image forming system, non-transitory computer readable recording medium on which program is recorded and image forming method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015220228A JP6274186B2 (ja) 2015-11-10 2015-11-10 画像形成装置、画像形成システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017092706A JP2017092706A (ja) 2017-05-25
JP6274186B2 true JP6274186B2 (ja) 2018-02-07

Family

ID=58667961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015220228A Active JP6274186B2 (ja) 2015-11-10 2015-11-10 画像形成装置、画像形成システム、及びプログラム

Country Status (2)

Country Link
US (1) US10110765B2 (ja)
JP (1) JP6274186B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135444B2 (ja) * 2018-05-29 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957292B2 (ja) 2007-03-02 2012-06-20 コニカミノルタビジネステクノロジーズ株式会社 画像形成システム
JP2012088959A (ja) * 2010-10-20 2012-05-10 Kddi Corp 遠隔操作システム、遠隔操作方法およびプログラム
JP2012147387A (ja) * 2011-01-14 2012-08-02 Konica Minolta Business Technologies Inc 画像処理システム、画像処理装置およびその制御方法、情報処理装置およびその制御方法、ならびに、携帯端末の制御プログラム
JP5803323B2 (ja) * 2011-06-24 2015-11-04 ブラザー工業株式会社 操作支援プログラム
JP5652439B2 (ja) 2012-08-09 2015-01-14 コニカミノルタ株式会社 画像形成システム、連携方法および画像形成装置
JP2014220772A (ja) * 2013-05-10 2014-11-20 キヤノン株式会社 画像処理装置及びその制御方法とプログラム
JP6179227B2 (ja) 2013-07-08 2017-08-16 沖電気工業株式会社 情報処理装置、携帯端末および情報入力装置
JP5983664B2 (ja) * 2014-03-14 2016-09-06 コニカミノルタ株式会社 画像形成システム、画像形成装置、携帯端末およびプログラム

Also Published As

Publication number Publication date
US10110765B2 (en) 2018-10-23
US20170134599A1 (en) 2017-05-11
JP2017092706A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
US10469698B2 (en) Image processing apparatus having image data transmission, method of controlling the same, and storage medium
JP5846157B2 (ja) プリントシステム、利便性情報生成装置、利便性情報生成方法および利便性情報生成プログラム
JP6020353B2 (ja) 情報処理装置、画像形成装置、遠隔操作方法、遠隔制御方法、遠隔操作プログラムおよび遠隔制御プログラム
JP6686321B2 (ja) プログラム、情報処理装置、第二の情報処理装置、情報処理方法、情報処理システム
JP6273903B2 (ja) 情報処理システム、情報処理方法およびプログラム
JP2016072774A (ja) 携帯情報装置、画像処理システム、遠隔操作方法および遠隔操作プログラム
US9332142B2 (en) Cooperation system, image forming apparatus, portable information device, remote control method, and remote operation method
US9225890B2 (en) Image processing system, portable information device, remote operation method, and non-transitory computer-readable recording medium encoded with cooperation program
US9979849B2 (en) Communication path selection for remote control system of an image processing apparatus, remote control and communication path selection method, and non-transitory computer-readable recording medium encoded with remote control and communication path selection program
JP6268904B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6274186B2 (ja) 画像形成装置、画像形成システム、及びプログラム
US9113012B2 (en) Image forming system including image forming apparatus remotely operated by portable information device, and cooperation method
JP6344233B2 (ja) 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム
JP6860060B2 (ja) プログラム、情報処理装置、第二の情報処理装置、情報処理方法、情報処理システム
JP6268950B2 (ja) 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム
JP2016081313A (ja) 画像処理システム、および仮想現実表示方法
JP6464751B2 (ja) 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム
JP6528931B2 (ja) 画像処理システム、画像処理装置、遠隔制御方法および遠隔制御プログラム
JP6551058B2 (ja) 情報処理システム、情報処理装置、データ取得方法及びプログラム
JP5994615B2 (ja) 遠隔制御システム、携帯情報装置、遠隔制御方法および遠隔制御プログラム
JP6357964B2 (ja) プリントシステムおよびプリント方法
JP2018036703A (ja) 情報処理装置とその制御方法、情報処理システム及びプログラム
JP2015207913A (ja) 遠隔制御システム、画像処理装置、遠隔制御方法および遠隔制御プログラム
JP2017092603A (ja) 画像処理装置、遠隔制御方法、および遠隔制御プログラム
JP2016081312A (ja) 画像処理システム、および連動変更方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171225

R150 Certificate of patent or registration of utility model

Ref document number: 6274186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150