JP7363399B2 - Information processing device, information processing system, and information processing program - Google Patents
Information processing device, information processing system, and information processing program Download PDFInfo
- Publication number
- JP7363399B2 JP7363399B2 JP2019207269A JP2019207269A JP7363399B2 JP 7363399 B2 JP7363399 B2 JP 7363399B2 JP 2019207269 A JP2019207269 A JP 2019207269A JP 2019207269 A JP2019207269 A JP 2019207269A JP 7363399 B2 JP7363399 B2 JP 7363399B2
- Authority
- JP
- Japan
- Prior art keywords
- image forming
- forming apparatus
- information processing
- paper
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、情報処理装置、情報処理システム、及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing system, and an information processing program.
特許文献１には、画像形成装置でのジョブの実行状況を遠くから容易に認識することのできるジョブ情報表示装置が提案されている。詳細には、ヘッドマウントディスプレイ装置が、ユーザの見ている光景と同じ光景をカメラ部で撮影し、該光景の中に存在する画像形成装置を画像解析等によって認識し、その画像形成装置からジョブの実行状況を示すジョブ情報を取得する。そして、ジョブ情報に基づいて、該ジョブの実行状況を、画像形成装置の通紙経路上にそのジョブで使用される用紙を仮想的に示す仮想用紙を配置した画像を作成し、該画像をユーザの見ている光景内の画像形成装置に重なるように表示スクリーンに表示する。 Patent Document 1 proposes a job information display device that allows the execution status of a job in an image forming apparatus to be easily recognized from a distance. Specifically, a head-mounted display device uses a camera unit to photograph the same scene that the user is looking at, recognizes an image forming device present in the scene through image analysis, and prints a job from that image forming device. Get job information that shows the execution status. Then, based on the job information, an image is created that shows the execution status of the job by placing virtual paper that virtually represents the paper used in the job on the paper passing path of the image forming apparatus, and the image is displayed by the user. is displayed on the display screen so as to overlap the image forming device in the scene being viewed by the user.
また、特許文献２には、画像形成に関する処理の設定条件における位置条件を直感的に容易に指定可能な情報処理装置が提案されている。詳細には、ヘッドマウントデバイスが、画像形成に関する処理の位置条件が指定される場合に、カメラで撮影された視界影像に含まれる位置条件の指定の対象となる指定対象物の画像を認識する。そして、ヘッドマウントデバイスが、認識された指定対象物の画像における視線検出部で検出された視線方向に対応する位置に応じて、位置条件の指定内容を判定する。 Further, Patent Document 2 proposes an information processing apparatus that can intuitively and easily specify positional conditions in setting conditions for processing related to image formation. Specifically, when a positional condition for processing related to image formation is specified, the head-mounted device recognizes an image of a designated object included in a field-of-view image taken by a camera and for which the positional condition is specified. Then, the head-mounted device determines the specified content of the position condition according to the position corresponding to the line-of-sight direction detected by the line-of-sight detection unit in the image of the recognized designated object.
本発明は、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。 The present invention provides an information processing device, an information processing system, and an information processing program that allow operation instructions to be given more intuitively than by operating a user interface in a virtual reality space, an augmented reality space, or a mixed reality space. The purpose is to provide
請求項１に記載の情報処理装置は、プロセッサを備え、前記プロセッサは、画像形成指示に対する実行状況を取得し、仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行う。
請求項２に記載の情報処理装置は、プロセッサを備え、前記プロセッサは、画像形成指示に対する実行状況を取得し、仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止不可区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成の停止が不可であることを報知する。
請求項３に記載の情報処理装置は、プロセッサを備え、前記プロセッサは、画像形成指示に対する実行状況を取得し、仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙と、予め定めた停止不可区間の前記仮想用紙とを異なる形態で表示する。
The information processing apparatus according to claim 1 includes a processor, and the processor acquires the execution status of an image forming instruction and determines the paper passing path of the image forming apparatus in a virtual reality space, an augmented reality space, or a mixed reality space. A virtual sheet is displayed at a position corresponding to the execution status above, and when a predetermined gesture operation on the virtual sheet is detected, a predetermined operation instruction corresponding to the gesture operation is sent to the image forming apparatus. If a predetermined stop gesture operation on the virtual paper is detected, an instruction to stop image formation is issued to the image forming apparatus, and the stop gesture is performed on the virtual paper within a predetermined stoppable interval. When a gesture operation is detected, an instruction to stop image formation is given to the image forming apparatus.
The information processing apparatus according to claim 2 includes a processor, and the processor acquires the execution status of the image forming instruction and adjusts the paper passing path of the image forming apparatus in a virtual reality space, an augmented reality space, or a mixed reality space. A virtual sheet is displayed at a position corresponding to the execution status above, and when a predetermined gesture operation on the virtual sheet is detected, a predetermined operation instruction corresponding to the gesture operation is sent to the image forming apparatus. If a predetermined stop gesture operation is detected on the virtual paper, an instruction to stop image formation is issued to the image forming apparatus, and the stop gesture is performed on the virtual paper in a predetermined non-stop area. When an operation is detected, it is notified that image formation cannot be stopped.
The information processing apparatus according to claim 3 includes a processor, and the processor acquires the execution status of the image forming instruction and adjusts the paper passing path of the image forming apparatus in a virtual reality space, an augmented reality space, or a mixed reality space. A virtual sheet is displayed at a position corresponding to the execution status above, and when a predetermined gesture operation on the virtual sheet is detected, a predetermined operation instruction corresponding to the gesture operation is sent to the image forming apparatus. If a predetermined stop gesture operation on the virtual paper is detected, an instruction to stop image formation is issued to the image forming apparatus, and the virtual paper in a predetermined stoppable area is detected. The virtual paper in the non-stoppable section is displayed in a different form.
請求項４に記載の発明は、請求項１～３の何れか１項に記載の発明において、前記プロセッサは、画像形成指示を取得した場合に、前記画像形成装置の通紙経路上の前記仮想用紙を搬送開始位置に表示させ、前記仮想用紙に対する予め定めた開始ジェスチャ操作を検知した場合に、画像形成を開始する指示を前記画像形成装置に対して行う。 The invention according to claim 4 is the invention according to any one of claims 1 to 3 , when the processor acquires the image forming instruction, the virtual A sheet is displayed at a transport start position, and when a predetermined start gesture operation on the virtual sheet is detected, an instruction to start image formation is given to the image forming apparatus.
請求項５に記載の発明は、請求項２又は請求項３に記載の発明において、前記プロセッサは、予め定めた停止可能区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合に、画像形成を停止する指示を前記画像形成装置に対して行う。 In the invention according to claim 5 , in the invention according to claim 2 or 3, when the processor detects the stop gesture operation on the virtual paper in a predetermined stoppable section, the processor stops image formation. An instruction to stop is given to the image forming apparatus.
請求項６に記載の発明は、請求項１又は請求項３に記載の発明において、前記プロセッサは、予め定めた停止不可区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成の停止が不可であることを報知する。 The invention according to claim 6 is the invention according to claim 1 or 3 , when the processor detects the stop gesture operation on the virtual paper in a predetermined non-stop area, the processor stops image formation. Notify that stopping is not possible.
請求項７に記載の発明は、請求項１又は請求項２に記載の発明において、前記プロセッサは、予め定めた停止可能区間の前記仮想用紙と、予め定めた停止不可区間の前記仮想用紙とを異なる形態で表示する。 The invention according to claim 7 is the invention according to claim 1 or 2 , wherein the processor separates the virtual paper in a predetermined stoppable section and the virtual paper in a predetermined stoppable section. Display in different formats.
請求項８に記載の発明は、請求項１～７の何れか１項に記載の発明において、前記プロセッサは、前記画像形成装置の実際の通紙経路に沿って前記仮想用紙が移動するように表示する。 The invention according to claim 8 is the invention according to any one of claims 1 to 7 , wherein the processor causes the virtual paper to move along an actual paper passing path of the image forming apparatus. indicate.
請求項９に記載の発明は、請求項８に記載の発明において、前記プロセッサは、画像形成指示に含まれる用紙情報を用いて、前記仮想用紙の移動経路を更に表示する。 According to a ninth aspect of the present invention, in the eighth aspect of the present invention, the processor further displays a moving path of the virtual paper using paper information included in the image forming instruction.
請求項１０に記載の発明は、請求項９に記載の発明において、前記プロセッサは、予め定めた後処理を行う後処理装置を前記画像形成装置が備える場合、画像形成指示に含まれる後処理情報を用いて、後処理の排出位置に合わせて前記移動経路を表示する。 The invention according to claim 10 is the invention according to claim 9 , in which, in the case where the image forming apparatus includes a post-processing device that performs predetermined post-processing, the processor includes post-processing information included in the image forming instruction. is used to display the movement route in accordance with the post-processing discharge position.
請求項１１に記載の情報処理システムは、請求項１～１０の何れか１項に記載の情報処理装置と、画像形成指示を受け付けて画像形成を行い、かつ前記操作指示に対応する処理を行う画像形成装置と、を含む。 An information processing system according to claim 11 includes the information processing apparatus according to any one of claims 1 to 10 , receives an image formation instruction, forms an image, and performs processing corresponding to the operation instruction. An image forming apparatus.
請求項１２に記載の情報処理プログラムは、コンピュータを、請求項１～１０の何れか１項に記載の情報処理装置として機能させる。 An information processing program according to claim 12 causes a computer to function as the information processing apparatus according to any one of claims 1 to 10 .
請求項１に記載の情報処理装置によれば、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置を提供でき、かつ停止可能な場合にジェスチャ操作により画像形成を停止することが可能となる。
請求項２に記載の情報処理装置によれば、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置を提供でき、かつ停止不可の場合にジェスチャ操作による画像形成の停止が不可能であることをユーザが認識することができる。
請求項３に記載の情報処理装置によれば、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置を提供でき、かつ画像形成を停止可能か不可能かを認識することが可能となる。
According to the information processing device according to claim 1, the information processing device is capable of giving operation instructions in a virtual reality space, augmented reality space, or mixed reality space more intuitively than giving operation instructions by operating a user interface. It becomes possible to stop image formation by a gesture operation when it is possible to provide image formation and to stop image formation .
According to the information processing device according to claim 2, the information processing device is capable of giving operation instructions in a virtual reality space, augmented reality space, or mixed reality space more intuitively than giving operation instructions by operating a user interface. In addition, the user can recognize that it is impossible to stop image formation by a gesture operation when the image formation cannot be stopped.
According to the information processing device according to claim 3, in a virtual reality space, an augmented reality space, or a mixed reality space, the information processing device is capable of giving operation instructions more intuitively than by operating a user interface to give operation instructions. It is also possible to recognize whether or not image formation can be stopped.
請求項４に記載の発明によれば、ジェスチャ操作により画像形成を開始することが可能となる。 According to the fourth aspect of the invention, image formation can be started by a gesture operation.
請求項５に記載の発明によれば、停止可能な場合にジェスチャ操作により画像形成を停止することが可能となる。 According to the invention set forth in claim 5 , image formation can be stopped by a gesture operation if it can be stopped.
請求項６に記載の発明によれば、停止不可の場合にジェスチャ操作による画像形成の停止が不可能であることをユーザが認識することができる。 According to the invention set forth in claim 6 , the user can recognize that it is impossible to stop image formation by a gesture operation when it is impossible to stop.
請求項７に記載の発明によれば、画像形成を停止可能か不可能かを認識することが可能となる。 According to the seventh aspect of the invention, it is possible to recognize whether or not image formation can be stopped.
請求項８に記載の発明によれば、画像形成中の通紙状態を仮想的に確認することが可能となる。 According to the invention set forth in claim 8 , it is possible to virtually confirm the paper passing state during image formation.
請求項９に記載の発明によれば、用紙毎の通紙経路を確認することが可能となる。 According to the invention described in claim 9 , it becomes possible to confirm the paper passing route for each paper.
請求項１０に記載の発明によれば、画像形成装置に後処理装置を備える場合に、用紙の排出位置を認識することが可能となる。 According to the tenth aspect of the invention, when an image forming apparatus is provided with a post-processing device, it is possible to recognize the paper ejection position.
請求項１１に記載の情報処理システムによれば、本発明は、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理システムを提供できる。 According to the information processing system according to claim 11 , the present invention enables operation instructions to be given more intuitively than by operating a user interface in a virtual reality space, an augmented reality space, or a mixed reality space. can provide an information processing system.
請求項１２に記載の情報処理プログラムによれば、本発明は、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理プログラムを提供できる。 According to the information processing program according to claim 12 , the present invention enables operation instructions to be given more intuitively than by operating a user interface in a virtual reality space, an augmented reality space, or a mixed reality space. can provide information processing programs.
以下、図面を参照して本実施形態の一例を詳細に説明する。本実施形態では、画像形成装置、プリントサーバ、クライアントコンピュータ、及び無線基地局が各種ネットワーク等の通信回線を介して各々接続された情報処理システムを一例として説明する。図１は、本実施形態に係る情報処理システム１０の概略構成を示す図である。 Hereinafter, an example of this embodiment will be described in detail with reference to the drawings. In this embodiment, an information processing system in which an image forming apparatus, a print server, a client computer, and a wireless base station are connected to each other via communication lines such as various networks will be described as an example. FIG. 1 is a diagram showing a schematic configuration of an information processing system 10 according to this embodiment.
本実施形態に係る情報処理システム１０は、図１に示すように、画像形成装置１２と、無線基地局１３と、クライアントコンピュータ１５と、プリントサーバ１６とを備えている。なお、図１では、画像形成装置１２及びクライアントコンピュータ１５は１つ示すが、それぞれ複数でもよいし、何れか一方が複数でもよい。 The information processing system 10 according to this embodiment includes an image forming apparatus 12, a wireless base station 13, a client computer 15, and a print server 16, as shown in FIG. Although one image forming apparatus 12 and one client computer 15 are shown in FIG. 1, there may be a plurality of each, or a plurality of either one.
画像形成装置１２、無線基地局１３、クライアントコンピュータ１５、及びプリントサーバ１６は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、イントラネット等の通信回線１８を介して各々接続されている。そして、画像形成装置１２、無線基地局１３、クライアントコンピュータ１５、及びプリントサーバ１６の各々は、通信回線１８を介して各種データの送受信を相互に行うことが可能とされている。また、無線基地局１３には、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）１４ａや、携帯端末装置１４ｂ等の複合現実空間（ＭＲ：Mixed Reality）の画像を表示可能な情報処理装置としてのＭＲデバイス１４が無線接続されており、ＭＲデバイス１４と各機器と各種データの送受信を行うことが可能とされている。 The image forming device 12, the wireless base station 13, the client computer 15, and the print server 16 are each connected via a communication line 18 such as a LAN (Local Area Network), WAN (Wide Area Network), the Internet, or an intranet. . The image forming apparatus 12, the wireless base station 13, the client computer 15, and the print server 16 are each capable of transmitting and receiving various data to and from each other via the communication line 18. The wireless base station 13 also includes a head mounted display (HMD) 14a and an MR device, such as a mobile terminal device 14b, as an information processing device capable of displaying mixed reality (MR) images. 14 are wirelessly connected, and it is possible to transmit and receive various data between the MR device 14 and each device.
本実施形態に係る情報処理システム１０は、プリントサーバ１６がクライアントコンピュータ１５等からの要求に応じたプリントサービスをクラウドサービスとして提供する。具体的には、クライアントコンピュータ１５等からプリントサーバ１６に対して画像形成指示を行って、画像形成装置１２によって画像形成指示に対応する画像形成を行うクラウドサービスをプリントサーバ１６が提供する。このとき、ＭＲデバイス１４は、実際の画像形成装置１２の通紙経路上に仮想的に用紙を重畳して表示する。そして、仮想用紙に対するジェスチャ操作を受け付けて操作指示を画像形成装置１２に対して行うことで画像形成装置１２に対する操作が可能とされている。なお、以下では、仮想的に表示する用紙を仮想用紙と称す。 In the information processing system 10 according to this embodiment, the print server 16 provides a print service as a cloud service in response to a request from a client computer 15 or the like. Specifically, the print server 16 provides a cloud service in which the client computer 15 or the like issues an image formation instruction to the print server 16, and the image forming apparatus 12 forms an image corresponding to the image formation instruction. At this time, the MR device 14 displays the paper virtually superimposed on the paper passing path of the actual image forming apparatus 12 . The image forming apparatus 12 can be operated by accepting gesture operations on the virtual paper and issuing operation instructions to the image forming apparatus 12. Note that hereinafter, the paper that is virtually displayed will be referred to as a virtual paper.
図２は、本実施形態に係る情報処理システム１０における画像形成装置１２の電気系の要部構成を示すブロック図である。 FIG. 2 is a block diagram showing the main configuration of the electrical system of the image forming apparatus 12 in the information processing system 10 according to the present embodiment.
本実施形態に係る画像形成装置１２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、及びＲＡＭ（Random Access Memory）２０Ｃを含むコントロール・ユニット２０を備えている。ＣＰＵ２０Ａは、画像形成装置１２の全体の動作を司る。ＲＡＭ２０Ｃは、ＣＰＵ２０Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＲＯＭ２０Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。そして、画像形成装置１２は、コントロール・ユニット２０の各部がシステムバス４２によって電気的に接続されている。 As shown in FIG. 2, the image forming apparatus 12 according to the present embodiment includes a control unit 20 including a CPU (Central Processing Unit) 20A, a ROM (Read Only Memory) 20B, and a RAM (Random Access Memory) 20C. ing. The CPU 20A controls the overall operation of the image forming apparatus 12. The RAM 20C is used as a work area etc. when the CPU 20A executes various programs. The ROM 20B stores various control programs, various parameters, etc. in advance. In the image forming apparatus 12, each part of the control unit 20 is electrically connected by a system bus 42.
一方、本実施形態に係る画像形成装置１２は、各種のデータやアプリケーション・プログラム等を記憶するＨＤＤ（hard disk drive）２６を備えている。また、画像形成装置１２は、ユーザインタフェース２２に接続され、ユーザインタフェース２２のディスプレイへの各種の操作画面等の表示を制御する表示制御部２８を備えている。また、画像形成装置１２は、ユーザインタフェース２２に接続され、ユーザインタフェース２２を介して入力される操作指示を検出する操作入力検出部３０を備えている。そして、画像形成装置１２では、ＨＤＤ２６、表示制御部２８、および操作入力検出部３０がシステムバス４２に電気的に接続されている。なお、本実施形態に係る画像形成装置１２では、記憶部としてＨＤＤ２６を適用しているが、これに限らず、フラッシュメモリ等の不揮発性の記憶部を適用してもよい。 On the other hand, the image forming apparatus 12 according to this embodiment includes an HDD (hard disk drive) 26 that stores various data, application programs, and the like. The image forming apparatus 12 also includes a display control unit 28 that is connected to the user interface 22 and controls the display of various operation screens and the like on the display of the user interface 22. The image forming apparatus 12 also includes an operation input detection section 30 that is connected to the user interface 22 and detects operation instructions input via the user interface 22. In the image forming apparatus 12, the HDD 26, the display control section 28, and the operation input detection section 30 are electrically connected to the system bus 42. Note that in the image forming apparatus 12 according to the present embodiment, the HDD 26 is used as the storage unit, but the present invention is not limited to this, and a nonvolatile storage unit such as a flash memory may be used.
また、本実施形態に係る画像形成装置１２は、原稿読取部４４による光学的な画像の読み取り動作、及び原稿搬送部による原稿送り動作を制御する読取制御部３２と、画像形成部２４による画像形成処理、及び搬送部２５による画像形成部２４への用紙の搬送を制御する画像形成制御部３４と、を備えている。また、画像形成装置１２は、通信回線１８に接続され、当該通信回線１８に接続されたプリントサーバ１６等の他の外部装置と通信データの送受信を行う通信回線Ｉ／Ｆ（インタフェース）部３６と、を備えている。また、画像形成装置１２は、図示しない電話回線に接続され、当該電話回線に接続されているファクシミリ装置とファクシミリデータの送受信を行うファクシミリＩ／Ｆ（インタフェース）部３８を備えている。また、画像形成装置１２は、ファクシミリＩ／Ｆ部３８を介したファクシミリデータの送受信を制御する送受信制御部４０を備えている。そして、画像形成装置１２では、送受信制御部４０、読取制御部３２、画像形成制御部３４、通信回線Ｉ／Ｆ部３６、及びファクシミリＩ／Ｆ部３８がシステムバス４２に電気的に接続されている。 The image forming apparatus 12 according to the present embodiment also includes a reading control section 32 that controls an optical image reading operation by the document reading section 44 and a document feeding operation by the document transport section, and an image forming section 32 that controls the image forming section 24. The image forming apparatus includes an image forming control section 34 that controls processing and conveyance of the paper to the image forming section 24 by the conveying section 25. The image forming apparatus 12 also includes a communication line I/F (interface) unit 36 that is connected to the communication line 18 and that sends and receives communication data to and from other external devices such as the print server 16 connected to the communication line 18 . , is equipped with. The image forming apparatus 12 also includes a facsimile I/F (interface) unit 38 that is connected to a telephone line (not shown) and that transmits and receives facsimile data to and from a facsimile device connected to the telephone line. The image forming apparatus 12 also includes a transmission/reception control section 40 that controls transmission and reception of facsimile data via the facsimile I/F section 38 . In the image forming apparatus 12, a transmission/reception control section 40, a reading control section 32, an image formation control section 34, a communication line I/F section 36, and a facsimile I/F section 38 are electrically connected to a system bus 42. There is.
以上の構成により、本実施形態に係る画像形成装置１２は、ＣＰＵ２０Ａにより、ＲＡＭ２０Ｃ、ＲＯＭ２０Ｂ、及びＨＤＤ２６へのアクセスを各々実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、表示制御部２８を介したユーザインタフェース２２のディスプレイ２２Ａへの操作画面、各種のメッセージ等の情報の表示の制御を実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、読取制御部３２を介した原稿読取部４４及び原稿搬送部の作動の制御を実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、画像形成制御部３４を介した画像形成部２４及び搬送部２５の作動の制御と、通信回線Ｉ／Ｆ部３６を介した通信データの送受信の制御と、を各々実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、送受信制御部４０によるファクシミリＩ／Ｆ部３８を介したファクシミリデータの送受信の制御を実行する。さらに、画像形成装置１２は、ＣＰＵ２０Ａにより、操作入力検出部３０によって検出された操作情報に基づくユーザインタフェース２２における操作内容の把握が行われ、この操作内容に基づく各種の制御を実行する。 With the above configuration, in the image forming apparatus 12 according to the present embodiment, the CPU 20A accesses the RAM 20C, ROM 20B, and HDD 26, respectively. In addition, the image forming apparatus 12 uses the CPU 20A to control the display of information such as an operation screen and various messages on the display 22A of the user interface 22 via the display control unit 28. Furthermore, the image forming apparatus 12 controls the operation of the document reading section 44 and the document conveying section via the reading control section 32 by the CPU 20A. The image forming apparatus 12 also controls the operation of the image forming section 24 and the transport section 25 via the image forming control section 34 and the transmission and reception of communication data via the communication line I/F section 36 by the CPU 20A. , respectively. Further, in the image forming apparatus 12, the CPU 20A controls the transmission and reception of facsimile data by the transmission and reception control section 40 via the facsimile I/F section 38. Further, in the image forming apparatus 12, the CPU 20A grasps the operation content on the user interface 22 based on the operation information detected by the operation input detection unit 30, and executes various controls based on this operation content.
続いて、本実施形態に係るＭＲデバイス１４の電気系の要部構成について説明する。図３は、本実施形態に係る情報処理システム１０におけるＭＲデバイス１４の電気系の要部構成を示すブロック図である。 Next, the main configuration of the electrical system of the MR device 14 according to this embodiment will be explained. FIG. 3 is a block diagram showing the main configuration of the electrical system of the MR device 14 in the information processing system 10 according to the present embodiment.
本実施形態に係るＭＲデバイス１４は、図３に示すように、プロセッサの一例としてのＣＰＵ１４Ａ、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、ＨＤＤ１４Ｄ、操作部１４Ｅ、表示部１４Ｆ、通信回線Ｉ／Ｆ（インタフェース）部１４Ｇ、及び撮影部１４Ｈを備えている。ＣＰＵ１４Ａは、ＭＲデバイス１４の全体の動作を司る。ＲＯＭ１４Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。ＲＡＭ１４Ｃは、ＣＰＵ１４Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＨＤＤ１４Ｄは、各種のデータやアプリケーション・プログラム等が記憶される。操作部１４Ｅは各種の情報を入力するために用いられる。表示部１４Ｆは、各種の情報を表示するために用いられる。撮影部１４Ｈは、撮影によって得られる画像情報を出力する。通信回線Ｉ／Ｆ部１４Ｇは、通信回線１８に接続され、当該通信回線１８に接続された他の装置と各種データの送受信を行う。また、通信回線Ｉ／Ｆ部１４Ｇは、周知の各種の無線通信を用いて、各機器と直接通信が可能な構成とてもよい。以上のＭＲデバイス１４の各部はシステムバス１４Ｉにより電気的に相互に接続されている。なお、本実施形態に係るＭＲデバイス１４では、ＨＤＤ１４Ｄを記憶部として適用しているが、これに限らず、フラッシュメモリ等の他の不揮発性の記憶部を適用してもよい。 As shown in FIG. 3, the MR device 14 according to the present embodiment includes a CPU 14A as an example of a processor, a ROM 14B, a RAM 14C, an HDD 14D, an operation section 14E, a display section 14F, a communication line I/F (interface) section 14G, and It is equipped with a photographing section 14H. The CPU 14A controls the overall operation of the MR device 14. The ROM 14B stores various control programs, various parameters, etc. in advance. The RAM 14C is used as a work area etc. when the CPU 14A executes various programs. The HDD 14D stores various data, application programs, and the like. The operation unit 14E is used to input various information. The display section 14F is used to display various information. The photographing unit 14H outputs image information obtained by photographing. The communication line I/F section 14G is connected to the communication line 18 and performs transmission and reception of various data with other devices connected to the communication line 18. Furthermore, the communication line I/F section 14G has a very good configuration that allows direct communication with each device using various well-known wireless communications. Each part of the MR device 14 described above is electrically connected to each other by a system bus 14I. Note that in the MR device 14 according to the present embodiment, the HDD 14D is used as a storage section, but the present invention is not limited to this, and other non-volatile storage sections such as a flash memory may be used.
以上の構成により、本実施形態に係るＭＲデバイス１４は、ＣＰＵ１４Ａにより、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、及びＨＤＤ１４Ｄに対するアクセス、操作部１４Ｅを介した各種データの取得、撮影部１４Ｈによる撮影、表示部１４Ｆに対する各種情報の表示を各々実行する。また、ＭＲデバイス１４は、ＣＰＵ１４Ａにより、通信回線Ｉ／Ｆ部１４Ｇを介した通信データの送受信の制御を実行する。 With the above configuration, the MR device 14 according to the present embodiment allows the CPU 14A to access the ROM 14B, RAM 14C, and HDD 14D, obtain various data via the operation section 14E, take pictures with the imaging section 14H, and display various information on the display section 14F. Execute each display. Furthermore, the MR device 14 uses the CPU 14A to control transmission and reception of communication data via the communication line I/F section 14G.
なお、クライアントコンピュータ１５及びプリントサーバ１６は、基本的には一般的なコンピュータ構成とされ、図３の撮影部１４Ｈ以外は、ＭＲデバイス１４と同様に、ＣＰＵ１５Ａ、１６Ａ、ＲＯＭ１５Ｂ、１６Ｂ、及びＲＡＭ１５Ｃ、１６Ｃ等を含む構成であるため、詳細な説明は省略する。 Note that the client computer 15 and the print server 16 basically have a general computer configuration, and except for the imaging unit 14H in FIG. Since the configuration includes 16C and the like, detailed explanation will be omitted.
上述のように構成された本実施形態に係る情報処理システム１０では、図４に示すように、ＭＲデバイス１４により、実際の画像形成装置１２に対してリアルタイムに仮想用紙５０を表示する。例えば、ＭＲデバイス１４は、画像形成装置１２の撮影画像を表示して仮想用紙５０を重畳して表示する形態としてもよいし、透過スクリーン等を備えて透過スクリーン上の画像形成装置１２に対応する位置に仮想用紙５０を表示することで、実際の画像形成装置１２に仮想用紙５０を重畳して表示する形態としてもよい。なお、画像形成指示に含まれる用紙情報等を用いて排出位置等を特定して、図４に示すように、仮想用紙５０の移動経路を矢印等で表示してもよい。 In the information processing system 10 according to the present embodiment configured as described above, as shown in FIG. 4, the MR device 14 displays the virtual paper 50 on the actual image forming apparatus 12 in real time. For example, the MR device 14 may display an image taken by the image forming apparatus 12 and display the virtual paper 50 in a superimposed manner, or may include a transparent screen or the like to correspond to the image forming apparatus 12 on the transparent screen. By displaying the virtual paper 50 at the position, the virtual paper 50 may be displayed in a superimposed manner on the actual image forming apparatus 12. Note that the ejection position and the like may be specified using the paper information included in the image forming instruction, and the moving route of the virtual paper 50 may be displayed with an arrow or the like as shown in FIG.
そして、撮影部１４Ｈによって撮影された撮影画像に基づいて仮想用紙５０に対する予め定めたジェスチャ操作を検出し、検出した操作に対応する指示を画像形成装置１２に通知して、画像形成装置１２を操作する。例えば、予め定めたジェスチャ操作としては、画像形成開始を指示するジェスチャ操作や、画像形成指示を削除するジェスチャ操作、画像形成を停止するジェスチャ操作などが挙げられる。 Then, a predetermined gesture operation on the virtual paper 50 is detected based on the photographed image photographed by the photographing unit 14H, and an instruction corresponding to the detected operation is notified to the image forming apparatus 12 to operate the image forming apparatus 12. do. For example, the predetermined gesture operations include a gesture operation that instructs to start image formation, a gesture operation that deletes an image formation instruction, a gesture operation that stops image formation, and the like.
例えば、仮想用紙５０を手で上に挙げる等の画像形成開始を指示する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合には、ＭＲデバイス１４は、実際の画像形成装置１２に対して仮想用紙５０を表示するように表示部１４Ｆを制御し、画像形成開始を画像形成装置１２に通知することにより画像形成を開始する。 For example, when the MR device 14 detects a predetermined gesture operation that instructs the start of image formation, such as lifting the virtual paper 50 upward by hand, the MR device 14 performs a virtual gesture operation on the actual image forming apparatus 12. Image formation is started by controlling the display section 14F to display the paper 50 and notifying the image forming apparatus 12 of the start of image formation.
また、仮想用紙５０を手で掴む、或いははさみで切る等の予め定めた画像形成指示を削除するジェスチャ操作をＭＲデバイス１４が検出した場合には、受け付けた画像形成指示の削除を画像形成装置１２に通知して画像形成指示を削除する。 Further, when the MR device 14 detects a gesture operation for deleting a predetermined image forming instruction, such as grasping the virtual paper 50 by hand or cutting it with scissors, the image forming apparatus 12 deletes the received image forming instruction. to delete the image formation instruction.
また、画像形成が開始して、画像形成の動作中に、仮想用紙５０を手で掴む、或いははさみで切る等の画像形成を停止する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合には、画像形成の停止を画像形成装置１２に通知して画像形成を停止する。ここで、画像形成指示を削除するジェスチャ操作と、画像形成を停止するジェスチャ操作は、ジェスチャ自体は同じでもよい。同じジェスチャを用いる場合には、検出するタイミングや、他の条件等で区別すればよい。 Further, when image formation has started and the MR device 14 detects a predetermined gesture operation to stop image formation, such as grasping the virtual paper 50 by hand or cutting it with scissors, during the image formation operation, , the image forming apparatus 12 is notified of the stop of image formation, and the image formation is stopped. Here, the gesture operation for deleting the image formation instruction and the gesture operation for stopping image formation may be the same gesture itself. When using the same gesture, the gestures may be differentiated based on the timing of detection or other conditions.
なお、画像形成中の仮想用紙５０の表示は、実際の用紙と同じように、通紙経路に沿って仮想用紙５０が移動するように表示する。 Note that the virtual paper 50 during image formation is displayed so that the virtual paper 50 moves along the paper passing path in the same way as the actual paper.
ここで、ＭＲデバイス１４を用いて画像形成装置１２に画像形成を開始させる具体的な手順について説明する。 Here, a specific procedure for causing the image forming apparatus 12 to start forming an image using the MR device 14 will be described.
ユーザがクライアントコンピュータ１５等を操作して画像形成装置１２に対して画像形成指示を行い、画像形成装置１２の前まで行って認証操作を行う。認証は、例えば、ＩＣ（Integrated Circuit）カード等を用いて行う。 A user operates the client computer 15 or the like to instruct the image forming apparatus 12 to form an image, goes to the front of the image forming apparatus 12, and performs an authentication operation. Authentication is performed using, for example, an IC (Integrated Circuit) card.
画像形成装置１２は、認証によりユーザを特定して、ＭＲデバイス１４に画像形成指示の有無の情報を送信する。 The image forming apparatus 12 identifies the user through authentication, and transmits information on the presence or absence of an image forming instruction to the MR device 14.
ＭＲデバイス１４は、ユーザの画像形成指示が存在する場合、図５に示すように、実際の画像形成装置１２の用紙の搬送開始位置である用紙を供給する部分に仮想用紙５０を重畳して表示する。 When there is an image forming instruction from the user, the MR device 14 displays the virtual paper 50 superimposed on the paper supplying portion, which is the paper conveyance start position of the actual image forming apparatus 12, as shown in FIG. do.
そして、ＭＲデバイス１４は、撮影部１４Ｈによって撮影された撮影画像に基づいて、仮想用紙５０に対するジェスチャ操作として、図５に示すように、画像形成開始を指示する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合に、画像形成装置１２に画像形成開始の指示を通知して、画像形成を開始させる。 Then, the MR device 14 performs a predetermined gesture operation to instruct the start of image formation as a gesture operation on the virtual paper 50, as shown in FIG. If detected, an instruction to start image formation is notified to the image forming apparatus 12, and the image forming apparatus 12 is started.
次に、ＭＲデバイス１４を用いて画像形成装置１２の画像形成指示を削除する具体的な手順について説明する。 Next, a specific procedure for deleting an image forming instruction of the image forming apparatus 12 using the MR device 14 will be described.
ユーザがクライアントコンピュータ１５等を操作して画像形成装置１２に対して画像形成指示を行い、画像形成装置１２の前まで行って認証操作を行う。認証は、例えば、ＩＣ（Integrated Circuit）カード等を用いて行う。 A user operates the client computer 15 or the like to instruct the image forming apparatus 12 to form an image, goes to the front of the image forming apparatus 12, and performs an authentication operation. Authentication is performed using, for example, an IC (Integrated Circuit) card.
画像形成装置１２は、認証によりユーザを特定して、ＭＲデバイス１４に画像形成指示の有無の情報を送信する。 The image forming apparatus 12 identifies the user through authentication, and transmits information on the presence or absence of an image forming instruction to the MR device 14.
ＭＲデバイス１４は、ユーザの画像形成指示が存在する場合、図６に示すように、実際の画像形成装置１２の用紙の搬送開始位置である用紙を供給する部分に仮想用紙５０を重畳して表示する。 When there is an image formation instruction from the user, the MR device 14 displays the virtual paper 50 superimposed on the paper supplying portion, which is the paper transport start position of the actual image forming apparatus 12, as shown in FIG. do.
そして、ＭＲデバイス１４は、撮影部１４Ｈによって撮影された撮影画像に基づいて、仮想用紙５０に対するジェスチャ操作として、図６に示すように、画像形成指示を削除する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合に、画像形成装置１２に画像形成指示の削除を通知して、画像形成指示を削除する。 Then, the MR device 14 performs a predetermined gesture operation for deleting the image forming instruction as a gesture operation on the virtual paper 50, as shown in FIG. If detected, the image forming apparatus 12 is notified of deletion of the image forming instruction, and the image forming instruction is deleted.
次に、ＭＲデバイス１４を用いて画像形成装置１２の画像形成を停止する具体的な手順について説明する。 Next, a specific procedure for stopping image formation by the image forming apparatus 12 using the MR device 14 will be described.
上述のように、画像形成指示が行われて画像形成動作が行われている間に、仮想用紙５０に対するジェスチャ操作として、ユーザが画像形成を停止する予め定めたジェスチャ操作を行う。これにより、ＭＲデバイス１４は、撮影部１４Ｈによって撮影された撮影画像に基づいて、画像形成を停止するジェスチャ操作をＭＲデバイス１４が検出し、画像形成装置１２に画像形成の停止を通知して、画像形成を停止させる。 As described above, while an image forming instruction is given and an image forming operation is being performed, the user performs a predetermined gesture operation to stop image formation as a gesture operation on the virtual paper 50. Thereby, the MR device 14 detects a gesture operation to stop image formation based on the photographed image taken by the photographing section 14H, and notifies the image forming apparatus 12 of stopping image formation. Stop image formation.
実際には、画像形成を停止可能な期間は決まっているので、画像形成装置１２と通信して情報を取得する。仮想用紙５０の表示は、図７に示すように、画像形成を停止可能な期間と停止不可の期間とで異なる形態で表示する。例えば、画像形成を停止可能な期間外は、赤く表示、点線、または、点滅表示等で異なる表示形態として表示し、停止不可であることをユーザに報知する。なお、画像形成を停止可能な期間としては、例えば、図８に示すように、未処理中の場合と、処理中の対象情報を受信してから画像形成するまでの間の期間であり、未処理中の画像形成が開始されてから排出されるまでの期間は画像形成の停止が不可の期間である。 Actually, since the period during which image formation can be stopped is determined, information is acquired by communicating with the image forming apparatus 12. As shown in FIG. 7, the virtual paper 50 is displayed in different formats depending on the period in which image formation can be stopped and the period in which it cannot be stopped. For example, outside the period in which image formation can be stopped, a different display format such as a red display, a dotted line, or a blinking display is displayed to notify the user that it cannot be stopped. Note that the period during which image formation can be stopped is, for example, as shown in FIG. The period from the start of the image formation being processed until the discharge is a period in which the image formation cannot be stopped.
具体的には、画像形成装置１２は、ＭＲデバイス１４に対して、画像形成の対象ページが画像形成の停止が可能か否かの情報を送信する。 Specifically, the image forming apparatus 12 transmits to the MR device 14 information as to whether or not image formation can be stopped for the target page of image formation.
ＭＲデバイス１４は、画像形成の停止が可能か否かの情報に応じて、仮想用紙の表示形態を変更する。また、停止不可の場合は停止ジェスチャ操作を受け付けない。 The MR device 14 changes the display form of the virtual paper depending on the information as to whether or not image formation can be stopped. Furthermore, if stopping is not possible, no stop gesture operation is accepted.
ＭＲデバイス１４は、停止ジェスチャを検知した場合、画像形成装置１２に対して画像形成停止命令を送信し、画像形成装置１２は、画像形成停止命令を受信した場合に、画像形成を停止する。 When the MR device 14 detects a stop gesture, it transmits an image formation stop command to the image forming apparatus 12, and when the image forming apparatus 12 receives the image formation stop command, it stops image formation.
続いて、上述のように構成された本実施形態に係る情報処理システム１０で行われる具体的な処理について説明する。 Next, specific processing performed in the information processing system 10 according to the present embodiment configured as described above will be described.
まず、ＭＲデバイス１４で行われる処理について説明する。図９は、本実施形態に係る情報処理システム１０におけるＭＲデバイス１４で行われる処理の流れの一例を示すフローチャートである。なお、図９の処理は、ユーザがクライアントコンピュータ１５等を操作して画像形成装置１２に対して画像形成指示を行い、画像形成装置１２の前まで行って認証操作を行って認証が許可された場合に開始する。 First, the processing performed by the MR device 14 will be explained. FIG. 9 is a flowchart showing an example of the flow of processing performed by the MR device 14 in the information processing system 10 according to the present embodiment. Note that in the process of FIG. 9, the user operates the client computer 15 or the like to instruct the image forming apparatus 12 to form an image, goes to the front of the image forming apparatus 12, performs an authentication operation, and is granted authentication. Start in case.
ステップ１００では、ＣＰＵ１４Ａが、画像形成指示をプリントサーバ１６から取得してステップ１０２へ移行する。すなわち、ＭＲデバイス１４は、画像形成指示を画像形成の実行状況として取得する。 In step 100, the CPU 14A obtains an image forming instruction from the print server 16, and proceeds to step 102. That is, the MR device 14 acquires the image formation instruction as the execution status of image formation.
ステップ１０２では、ＣＰＵ１４Ａが、仮想用紙５０を描画してステップ１０４へ移行する。すなわち、図４に示すように、実際の画像形成装置１２の用紙の搬送開始位置である用紙を供給する部分に仮想用紙５０を重畳して表示する。具体的には、画像形成指示に含まれる用紙情報に対応する用紙が格納された位置に仮想用紙５０を表示する。例えば、先行技術文献等の周知技術のように、図４に示すように、撮影部１４Ｈの撮影によって得られた画像情報から特定のマーク５２等を用いて画像形成装置１２を認識し、用紙情報に対応する位置に仮想用紙５０を表示する。 In step 102, the CPU 14A draws the virtual paper 50 and proceeds to step 104. That is, as shown in FIG. 4, the virtual paper 50 is displayed in a superimposed manner on the paper feeding portion, which is the paper transport start position of the actual image forming apparatus 12. Specifically, the virtual paper 50 is displayed at the position where the paper corresponding to the paper information included in the image formation instruction is stored. For example, as shown in FIG. 4, the image forming apparatus 12 is recognized using a specific mark 52 or the like from image information obtained by photographing by the photographing unit 14H, and the paper information is The virtual paper 50 is displayed at a position corresponding to .
ステップ１０４では、ＣＰＵ１４Ａが、開始又は削除のジェスチャを検知したか否か判定する。該判定は、撮影部１４Ｈの撮影によって得られた画像情報に対して画像処理を行うことにより、開始又は停止の予め定めたジェスチャ操作が行われたか否かを判定する。該判定が肯定されるまで待機してステップ１０６へ移行する。 In step 104, the CPU 14A determines whether a start or deletion gesture is detected. This determination is made by performing image processing on image information obtained by photographing by the photographing unit 14H to determine whether a predetermined gesture operation to start or stop has been performed. The process waits until the determination is affirmative and moves to step 106.
ステップ１０６では、ＣＰＵ１４Ａが、検知したジェスチャ操作が開始ジェスチャ操作であるか否かを判定する。停止ジェスチャ操作が検知されて判定が否定された場合にはステップ１０８へ移行し、判定が肯定された場合にはステップ１１０へ移行する。 In step 106, the CPU 14A determines whether the detected gesture operation is a start gesture operation. If the stop gesture operation is detected and the determination is negative, the process moves to step 108, and if the determination is affirmative, the process moves to step 110.
ステップ１０８では、ＣＰＵ１４Ａが、画像形成指示の削除を画像形成装置１２に通知して一連の処理を終了する。すなわち、ＭＲデバイス１４から画像形成装置１２に対して画像形成指示を削除する指示が行われる。これにより、画像形成装置１２では、後述の処理により、画像形成指示が削除される。 In step 108, the CPU 14A notifies the image forming apparatus 12 of the deletion of the image forming instruction and ends the series of processing. That is, the MR device 14 issues an instruction to the image forming apparatus 12 to delete the image forming instruction. As a result, the image forming instruction is deleted in the image forming apparatus 12 through a process that will be described later.
一方、ステップ１１０では、ＣＰＵ１４Ａが、画像形成の開始を画像形成装置１２に通知してステップ１１２へ移行する。すなわち、ＭＲデバイス１４から画像形成装置１２に対して画像形成を開始する指示が行われる。これにより、画像形成装置１２では、後述の処理により、画像形成が開始される。 On the other hand, in step 110, the CPU 14A notifies the image forming apparatus 12 of the start of image formation, and proceeds to step 112. That is, the MR device 14 issues an instruction to the image forming apparatus 12 to start image formation. As a result, the image forming apparatus 12 starts forming an image through a process that will be described later.
ステップ１１２では、ＣＰＵ１４Ａが、仮想用紙５０の搬送を描画してステップ１１４へ移行する。すなわち、画像形成装置１２内の用紙の搬送と同じように、通紙経路に沿って仮想用紙５０が搬送されるように表示される。 In step 112, the CPU 14A draws the transportation of the virtual paper 50, and proceeds to step 114. That is, the virtual paper 50 is displayed as being transported along the paper passing path in the same way as the paper is transported within the image forming apparatus 12 .
ステップ１１４では、ＣＰＵ１４Ａが、画像形成の停止が可能か否かの情報を画像形成装置１２から取得してステップ１１６へ移行する。すなわち、ＭＲデバイス１４は、画像形成の停止が可能か否かの情報を画像形成の実行状況として取得する。 In step 114, the CPU 14A obtains information on whether or not image formation can be stopped from the image forming apparatus 12, and proceeds to step 116. That is, the MR device 14 acquires information as to whether or not image formation can be stopped as the execution status of image formation.
ステップ１１６では、ＣＰＵ１４Ａが、取得した情報に基づいて、画像形成の停止が可能であるか否かを判定する。該判定が否定された場合にはステップ１１８へ移行し、肯定された場合にはステップ１２４へ移行する。 In step 116, the CPU 14A determines whether image formation can be stopped based on the acquired information. If the determination is negative, the process moves to step 118, and if the determination is affirmative, the process moves to step 124.
ステップ１１８では、ＣＰＵ１４Ａが、仮想用紙５０の描画色を更新してステップ１２０へ移行する。例えば、画像形成の停止が不可を表す赤色等の色に仮想用紙５０の色を変更する。 In step 118, the CPU 14A updates the drawing color of the virtual paper 50, and proceeds to step 120. For example, the color of the virtual paper 50 is changed to red, which indicates that image formation cannot be stopped.
ステップ１２０では、ＣＰＵ１４Ａが、画像形成の実行状態を画像形成装置１２から取得してステップ１２２へ移行する。 In step 120, the CPU 14A obtains the execution state of image formation from the image forming apparatus 12, and proceeds to step 122.
ステップ１２２では、ＣＰＵ１４Ａが、取得した画像形成状態に基づいて、画像形成が終了したか否か判定する。該判定が否定された場合にはステップ１１２に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ１２８へ移行する。 In step 122, the CPU 14A determines whether image formation has been completed based on the acquired image formation state. If the determination is negative, the process returns to step 112 and repeats the above-described process, and if the determination is affirmative, the process moves to step 128.
一方、ステップ１２４では、ＣＰＵ１４Ａが、停止のジェスチャ操作を検知したか否か判定する。該判定は、撮影部１４Ｈの撮影によって得られた画像情報に対して画像処理を行うことにより、停止ジェスチャ操作が行われたか否かを判定する。該判定が否定された場合にはステップ１２０へ移行し、肯定された場合にはステップ１２６へ移行する。 On the other hand, in step 124, the CPU 14A determines whether a stop gesture operation has been detected. This determination is made by performing image processing on image information obtained by photographing by the photographing unit 14H to determine whether a stop gesture operation has been performed. If the determination is negative, the process moves to step 120, and if the determination is affirmative, the process moves to step 126.
ステップ１２６では、ＣＰＵ１４Ａが、画像形成の停止を画像形成装置１２に通知してステップ１２８へ移行する。すなわち、ＭＲデバイス１４から画像形成装置１２に対して画像形成を停止する指示が行われる。これにより、画像形成装置１２では、後述の処理により、画像形成が停止される。 In step 126, the CPU 14A notifies the image forming apparatus 12 of stopping image formation, and proceeds to step 128. That is, the MR device 14 issues an instruction to the image forming apparatus 12 to stop image formation. As a result, image forming is stopped in the image forming apparatus 12 through a process that will be described later.
ステップ１２８では、ＣＰＵ１４Ａが、仮想用紙５０の描画を終了して一連の処理を終了する。 In step 128, the CPU 14A finishes drawing on the virtual paper 50 and ends the series of processes.
続いて、画像形成装置１２で行われる処理について説明する。図１０は、本実施形態に係る情報処理システム１０における画像形成装置１２で行われる処理の流れの一例を示すフローチャートである。なお、図１０の処理は、ユーザがクライアントコンピュータ１５等を操作して画像形成装置１２に対して画像形成指示を行い、画像形成装置１２の前まで行って認証操作を行って認証が許可された後に、ＭＲデバイス１４から情報を受信した場合に開始する。 Next, the processing performed by the image forming apparatus 12 will be explained. FIG. 10 is a flowchart showing an example of the flow of processing performed by the image forming apparatus 12 in the information processing system 10 according to the present embodiment. Note that in the process of FIG. 10, the user operates the client computer 15 or the like to instruct the image forming apparatus 12 to form an image, goes to the front of the image forming apparatus 12, performs an authentication operation, and is granted authentication. It starts later when information is received from the MR device 14.
ステップ２００では、ＣＰＵ２０Ａが、ＭＲデバイス１４から画像形成の開始の通知を受信したか否かを判定する。該判定は、上述のステップ１１０によって画像形成の開始が通知されたか否かを判定する。該判定が肯定された場合にはステップ２０２へ移行し、否定された場合にはステップ２０４へ移行する。 In step 200, the CPU 20A determines whether or not a notification of the start of image formation has been received from the MR device 14. This determination determines whether or not the start of image formation has been notified in step 110 described above. If the determination is affirmative, the process moves to step 202; if the determination is negative, the process moves to step 204.
ステップ２０２では、ＣＰＵ２０Ａが、画像形成制御部３４を介して画像形成部２４及び搬送部２５を制御することで、画像形成を開始して一連の処理を終了する。 In step 202, the CPU 20A controls the image forming section 24 and the conveying section 25 via the image forming control section 34 to start image formation and end the series of processing.
一方、ステップ２０４では、ＣＰＵ２０Ａが、ＭＲデバイス１４から画像形成の削除指示の通知を受信したか否かを判定する。該判定は、上述のステップ１０８によって画像形成指示の削除が通知されたか否かを判定する。該判定が肯定された場合にはステップ２０６へ移行し、否定された場合にはステップ２０８へ移行する。 On the other hand, in step 204, the CPU 20A determines whether or not a notification of an instruction to delete image formation has been received from the MR device 14. This determination is made by determining whether deletion of the image forming instruction has been notified in step 108 described above. If the determination is affirmative, the process moves to step 206; if the determination is negative, the process moves to step 208.
ステップ２０６では、ＣＰＵ２０Ａが、画像形成指示を削除して一連の処理を終了する。すなわち、クライアントコンピュータ１５から指示された画像形成指示を削除する。 In step 206, the CPU 20A deletes the image formation instruction and ends the series of processing. That is, the image forming instruction given by the client computer 15 is deleted.
一方、ステップ２０８では、ＣＰＵ２０Ａが、ＭＲデバイス１４から画像形成の停止の通知を受信したか否かを判定する。該判定は、上述のステップ１２６によって画像形成の停止が通知されたか否かを判定する。該判定が肯定された場合にはステップ２１０へ移行し、否定された場合には一連の処理を終了する。 On the other hand, in step 208, the CPU 20A determines whether or not a notification of stopping image formation has been received from the MR device 14. This determination is made by determining whether or not the stop of image formation has been notified in step 126 described above. If the determination is affirmative, the process moves to step 210, and if the determination is negative, the series of processing ends.
ステップ２１０では、ＣＰＵ２０Ａが、画像形成制御部３４を介して画像形成部２４及び搬送部２５を制御することで、画像形成を停止して一連の処理を終了する。 In step 210, the CPU 20A controls the image forming section 24 and the transport section 25 via the image forming control section 34 to stop image formation and end the series of processing.
このように、ＭＲデバイス１４が、実際の画像形成装置１２に仮想用紙５０を表示し、仮想用紙５０に対するジェスチャ操作を検知した場合に、ジェスチャ操作に対応して予め定めた操作指示を画像形成装置１２に対して行うことで画像形成装置１２が操作される。これにより、ユーザインタフェースによる操作指示よりも直感的な操作指示が行われる。 In this manner, when the MR device 14 displays the virtual paper 50 on the actual image forming apparatus 12 and detects a gesture operation on the virtual paper 50, the MR device 14 issues a predetermined operation instruction to the image forming apparatus in response to the gesture operation. 12, the image forming apparatus 12 is operated. This provides more intuitive operation instructions than those provided through a user interface.
ところで、用紙に穴を開けるパンチ処理や、用紙を綴じるステープル処理、用紙を二つ折りにする二つ折り処理、用紙を観音開き折りする観音開き折り処理等の予め定めた後処理を行う後処理装置６０を画像形成装置１２に備える場合がある。この場合、画像形成装置１２の本体と、後処理装置６０のどちらから用紙が出力されるかが分からないことがある。そこで、ＭＲデバイス１４が、画像形成指示に含まれる後処理情報を用いて、後処理の排出位置に合わせて仮想用紙５０の移動経路を表示してもよい。例えば、図１１の矢印で示すように、用紙の搬送を仮想的に見えるように、仮想用紙５０の移動経路を実際の画像形成装置１２に重畳して表示し、移動経路の表示によって用紙の出力先が分かるように表示する。 By the way, the image shows the post-processing device 60 that performs predetermined post-processing such as punching to make holes in paper, stapling to bind paper, double-folding to fold paper in half, double-folding to double-folding to double-folding, and so on. The forming device 12 may be provided with the forming device 12 in some cases. In this case, it may not be known whether the paper is output from the main body of the image forming apparatus 12 or from the post-processing device 60. Therefore, the MR device 14 may use the post-processing information included in the image forming instruction to display the movement path of the virtual paper 50 in accordance with the post-processing discharge position. For example, as shown by the arrow in FIG. 11, the movement path of the virtual paper 50 is displayed superimposed on the actual image forming apparatus 12 so that the conveyance of the paper can be seen virtually, and the paper is output by displaying the movement path. Display so that you can see the destination.
なお、上記の実施形態において、ＭＲデバイス１４と画像形成装置１２との間の情報の授受は、通信回線１８及びプリントサーバ１６を介して行ってもよいが、ＭＲデバイス１４と画像形成装置１２間で、各種無線通信等により情報の授受を直接行ってもよい。 Note that in the above embodiment, information may be exchanged between the MR device 14 and the image forming apparatus 12 via the communication line 18 and the print server 16; Information may also be directly exchanged through various wireless communications.
また、上記の実施形態では、ＭＲデバイス１４を用いた例を一例として説明したが、ＭＲデバイス１４に限るものではない。例えば、ＭＲデバイス１４の代わりに、仮想現実空間（ＶＲ：Virtual Reality）または拡張現実空間（ＡＲ：Augmented Reality）の画像を表示するデバイスを適用してもよい。 Further, in the above embodiment, an example using the MR device 14 has been described, but the present invention is not limited to the MR device 14. For example, instead of the MR device 14, a device that displays images in virtual reality (VR) or augmented reality (AR) space may be used.
また、上記の実施形態において、ＣＰＵをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。 Furthermore, in the above embodiments, the CPU has been described as an example of a processor, but the processor refers to a processor in a broad sense, and includes a general-purpose processor (e.g., CPU), a dedicated processor (e.g., GPU: Graphics Processing Unit, ASIC: Application Specific Integrated Circuit, FPGA: Field Programmable Gate Array, programmable logic device, etc.).
また、上記の実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。 Furthermore, the operations of the processor in the above embodiments may be performed not only by one processor, but also by the cooperation of a plurality of processors located at physically separate locations. Further, the order of each operation of the processor is not limited to the order described in each of the above embodiments, and may be changed as appropriate.
また、上記の実施形態に係る情報処理システム１０の各部で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、情報処理システム１０の各部で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。 Further, the processing performed in each part of the information processing system 10 according to the above embodiment may be performed by software, processing by hardware, or a combination of both. . Further, the processing performed by each part of the information processing system 10 may be stored as a program in a storage medium and distributed.
また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。 Further, the present invention is not limited to the above, and it goes without saying that various modifications can be made in addition to the above without departing from the spirit thereof.
１０ 情報処理システム
１２ 画像形成装置
１４ ＭＲデバイス
１５ クライアントコンピュータ
１６ プリントサーバ
１４Ａ ＣＰＵ
１４Ｆ 表示部
10 Information processing system 12 Image forming apparatus 14 MR device 15 Client computer 16 Print server 14A CPU
14F Display section
Claims (12)
画像形成指示に対する実行状況を取得し、
仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、
前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、
前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行う情報処理装置。 a processor, the processor comprising:
Obtain the execution status of image formation instructions,
Displaying virtual paper at a position corresponding to the execution status on a paper passing path of an image forming apparatus in a virtual reality space, an augmented reality space, or a mixed reality space;
When a predetermined gesture operation on the virtual sheet is detected, issuing a predetermined operation instruction to the image forming apparatus in response to the gesture operation;
If a predetermined stop gesture operation on the virtual paper is detected, an instruction to stop image formation is issued to the image forming apparatus, and the stop gesture operation on the virtual paper in a predetermined stopable area is detected. If so, the information processing apparatus instructs the image forming apparatus to stop image formation .
画像形成指示に対する実行状況を取得し、
仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、
前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、
前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止不可区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成の停止が不可であることを報知する情報処理装置。 a processor, the processor comprising:
Obtain the execution status of image formation instructions,
Displaying virtual paper at a position corresponding to the execution status on a paper passing path of an image forming apparatus in a virtual reality space, an augmented reality space, or a mixed reality space;
When a predetermined gesture operation on the virtual sheet is detected, issuing a predetermined operation instruction to the image forming apparatus in response to the gesture operation;
If a predetermined stop gesture operation on the virtual paper is detected, an instruction to stop image formation is issued to the image forming apparatus, and the stop gesture operation on the virtual paper in a predetermined stop-unable area is detected. If so, the information processing device notifies that image formation cannot be stopped .
画像形成指示に対する実行状況を取得し、
仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、
前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、
前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙と、予め定めた停止不可区間の前記仮想用紙とを異なる形態で表示する情報処理装置。 a processor, the processor comprising:
Obtain the execution status of image formation instructions,
Displaying virtual paper at a position corresponding to the execution status on a paper passing path of an image forming apparatus in a virtual reality space, an augmented reality space, or a mixed reality space;
When a predetermined gesture operation on the virtual sheet is detected, issuing a predetermined operation instruction to the image forming apparatus in response to the gesture operation;
When a predetermined stop gesture operation on the virtual paper is detected, an instruction to stop image formation is given to the image forming apparatus, and the virtual paper is in a predetermined stoppable area and in a predetermined stoppable area. An information processing apparatus that displays the virtual paper in a different form .
前記仮想用紙に対する予め定めた開始ジェスチャ操作を検知した場合に、画像形成を開始する指示を前記画像形成装置に対して行う請求項１～３の何れか１項に記載の情報処理装置。 The processor displays the virtual paper at a conveyance start position on a paper passing path of the image forming apparatus when an image forming instruction is obtained;
The information processing apparatus according to any one of claims 1 to 3, wherein an instruction to start image formation is given to the image forming apparatus when a predetermined start gesture operation on the virtual paper is detected .
画像形成指示を受け付けて画像形成を行い、かつ前記操作指示に対応する処理を行う画像形成装置と、
を含む情報処理システム。 The information processing device according to any one of claims 1 to 10,
an image forming apparatus that receives an image formation instruction, forms an image, and performs processing corresponding to the operation instruction;
Information processing system including .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019207269A JP7363399B2 (en) | 2019-11-15 | 2019-11-15 | Information processing device, information processing system, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019207269A JP7363399B2 (en) | 2019-11-15 | 2019-11-15 | Information processing device, information processing system, and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021081868A JP2021081868A (en) | 2021-05-27 |
| JP7363399B2 true JP7363399B2 (en) | 2023-10-18 |
Family
ID=75965163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019207269A Active JP7363399B2 (en) | 2019-11-15 | 2019-11-15 | Information processing device, information processing system, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7363399B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003125125A (en) | 2001-10-11 | 2003-04-25 | Fuji Xerox Co Ltd | Display device for image processing apparatus |
| JP2012205134A (en) | 2011-03-25 | 2012-10-22 | Fuji Xerox Co Ltd | Video display device, mobile terminal, and program |
| US20140126018A1 (en) | 2012-11-06 | 2014-05-08 | Konica Minolta, Inc. | Guidance information display device |
| JP2014194725A (en) | 2013-03-29 | 2014-10-09 | Konica Minolta Inc | Job information display device |
| US20160217617A1 (en) | 2013-08-30 | 2016-07-28 | Hewlett-Packard Development Company, L.P. | Augmented reality device interfacing |
| JP2016207048A (en) | 2015-04-25 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | Augmented reality operation system and augmented reality operation program |
| US20170006172A1 (en) | 2015-06-30 | 2017-01-05 | Kyocera Document Solutions Inc. | Information processing apparatus, setting condition specification method for image forming apparatus |
| WO2019012940A1 (en) | 2017-07-14 | 2019-01-17 | 京セラドキュメントソリューションズ株式会社 | Display device and display system |
| JP2019149066A (en) | 2018-02-28 | 2019-09-05 | 富士ゼロックス株式会社 | Information processing apparatus and program |
-
2019
- 2019-11-15 JP JP2019207269A patent/JP7363399B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003125125A (en) | 2001-10-11 | 2003-04-25 | Fuji Xerox Co Ltd | Display device for image processing apparatus |
| JP2012205134A (en) | 2011-03-25 | 2012-10-22 | Fuji Xerox Co Ltd | Video display device, mobile terminal, and program |
| US20140126018A1 (en) | 2012-11-06 | 2014-05-08 | Konica Minolta, Inc. | Guidance information display device |
| JP2014194725A (en) | 2013-03-29 | 2014-10-09 | Konica Minolta Inc | Job information display device |
| US20160217617A1 (en) | 2013-08-30 | 2016-07-28 | Hewlett-Packard Development Company, L.P. | Augmented reality device interfacing |
| JP2016207048A (en) | 2015-04-25 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | Augmented reality operation system and augmented reality operation program |
| US20170006172A1 (en) | 2015-06-30 | 2017-01-05 | Kyocera Document Solutions Inc. | Information processing apparatus, setting condition specification method for image forming apparatus |
| JP2017017507A (en) | 2015-06-30 | 2017-01-19 | 京セラドキュメントソリューションズ株式会社 | Information processing apparatus, and method of designating setting condition of image forming apparatus |
| WO2019012940A1 (en) | 2017-07-14 | 2019-01-17 | 京セラドキュメントソリューションズ株式会社 | Display device and display system |
| JP2019149066A (en) | 2018-02-28 | 2019-09-05 | 富士ゼロックス株式会社 | Information processing apparatus and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021081868A (en) | 2021-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2750364B1 (en) | Mobile terminal device, and method and computer readable medium for the same | |
| US9304728B2 (en) | Generating a map of image forming devices on a mobile device | |
| US9098223B2 (en) | Job information display device | |
| JP6222440B2 (en) | AR display system, AR display device, information processing device, and program | |
| US9671983B2 (en) | Technique for information processing device and printer which are capable of changing status information in server | |
| US10785380B2 (en) | Non-transitory computer-readable medium and terminal apparatus | |
| US9280310B2 (en) | Information processing device and computer-readable recording medium providing first and second display screens with different background images | |
| US8472062B2 (en) | Information processing apparatus and method of controlling the same | |
| US20150103367A1 (en) | Printing system, mobile terminal, printing apparatus, mobile terminal control method, printing apparatus control method, and storage medium | |
| JP6844474B2 (en) | Printer driver and information processing device | |
| US20160350039A1 (en) | Information processing apparatus, control method, and storage medium | |
| US20150156370A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
| JP6242094B2 (en) | Print control apparatus, print control method, and program | |
| JP7363399B2 (en) | Information processing device, information processing system, and information processing program | |
| US9875072B2 (en) | Information processing system, terminal device, information processing apparatus and non-transitory computer readable medium | |
| CN113934381A (en) | Image forming system, user terminal, image forming apparatus, and computer readable medium | |
| CN109788154B (en) | Display device and method | |
| US9036194B2 (en) | Operation input apparatus, image forming system, and storage medium for operation input program | |
| US10027824B2 (en) | Image forming system | |
| US20150277828A1 (en) | Image Forming System, Portable Terminal, and Recording Medium That Ensure Intuitive Setting of Page Orientation from Portable Terminal | |
| US20170091600A1 (en) | Information processing apparatus, image forming system, non-transitory computer readable medium, and information processing method | |
| US10990337B1 (en) | Print server providing print-ready jobs to printers in anticipation of user printer selection | |
| US10831414B2 (en) | Image forming apparatus, image forming system, and image forming method for printing a data file determined to be printed | |
| US20210158842A1 (en) | Method for controlling video editing device, video editing device, and program | |
| US20220027107A1 (en) | Image forming apparatus changing printing orders according to strength of a wireless communication signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221020 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7363399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |