JP5900468B2

JP5900468B2 - Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム

Info

Publication number: JP5900468B2
Application number: JP2013241222A
Authority: JP
Inventors: 泰明杉本
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2013-11-21
Filing date: 2013-11-21
Publication date: 2016-04-06
Anticipated expiration: 2033-11-21
Also published as: US20150138232A1; JP2015102909A; EP2879365A1; CN104660859A; CN104660859B

Description

本発明は、所定の物体に対して所定の装置で施す処理内容の設定操作をユーザから受けるＡＲ表示装置、処理内容設定装置、処理内容設定方法およびプログラムに関する。

原稿をコピーする場合に、「極秘」などの文字をウォータマークとして合成したり、印刷後の用紙に、折り、綴じ、穴あけなどの後処理を施したりすることがある。このような付加処理を施す場合、ユーザは、その設定を、通常、印刷装置の操作パネルから行うが、自己の行った設定に従って作成される印刷物の仕上がり状態を印刷前にユーザ自身で正しくイメージすることは難しい。たとえば、ステイプルやパンチ穴と印刷される文字や画像との重なりの有無や位置関係を正しく認識することは難しい。

そこで、原稿をスキャナで読み取り、その読み取り画像が印刷された用紙にパンチ穴などの後処理を施した仕上がり状態のプレビュー画像を作成して操作パネルに表示する画像形成装置が提案されている（たとえば、特許文献１参照）。

また、サーバに登録された所定の画像を指定するＡＲ(Augmented Reality）タグを基本原稿に付加した印刷物を出力する画像形成装置と、この印刷物を撮像する携帯端末を含み、該印刷物を撮像した携帯端末が、該印刷物に付加されているＡＲタグに関連付けされている画像（たとえば：地図など）をサーバから取得し、その画像を、撮像画像中のＡＲタグの付近に重畳してＡＲ表示するシステムがある（たとえば、特許文献２参照。）

特開２００８−７０８３５号公報特開２０１３−０２６９２２号公報

上記の特許文献１に開示の画像形成装置では、仕上がり状態をプレビュー表示するためには、原稿をスキャナで読み取る必要があり、手間がかかる。また、操作パネルの小さい画面上では、正確な仕上がり状態を確認し難い。

また、プレビュー表示された仕上がり状態に問題があって設定内容を変更する場合、設定画面に移行して変更操作を行った後、再度、プレビュー表示に切り換えて、変更後の内容を確認しなければならず、変更が適切か否かを仕上がり状態で確認するのに手間がかかる。

特許文献２に開示の技術では、ＡＲタグに関連付けされている画像を撮像画像中のＡＲタグの付近に重畳してＡＲ表示するだけなので、この技術を応用して、仕上がり状態の画像を用紙に重畳してＡＲ表示したとしても、設定内容を変更する場合には、設定画面に移行して変更操作を行った後、再度、ＡＲ表示を行って、変更後の内容を確認しなければならず、変更が適切か否かを仕上がり状態で確認するのに手間がかかる。

なお、印刷装置で用紙に印刷する場合に限らず、所定の物体に所定の装置で何らかの処理を施す場合には同様の問題が生じる。

本発明は、上記の問題を解決しようとするものであり、所定の物体に所定の装置で施す処理の処理結果をイメージで確認しながら処理内容の設定変更を行うことのできるＡＲ表示装置、処理内容設定装置、処理内容設定方法およびプログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］現実空間に画像を合成した拡張現実空間を表示するＡＲ表示装置であって、
現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ＡＲ表示部が表示する前記拡張現実空間に対応した現実空間に関する情報を取得する取得部と、
前記取得部が取得した現実空間の情報に対応する現実空間において所定の物体を検出する物体検出部と、
前記所定の物体に対して、前記ＡＲ表示装置とは別の所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、前記物体検出部によって検出された前記所定の物体に前記模擬画像を重ね合わせた拡張現実空間を前記ＡＲ表示部に表示させるＡＲ表示制御部と、
前記ＡＲ表示部に表示された前記拡張現実空間内の前記模擬画像に対してユーザが行った操作を検出する操作検出部と、
前記模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を前記所定の装置に出力する設定情報出力部と、
を備え、
前記ＡＲ表示制御部は、前記操作検出部によって検出された前記操作に応じて前記模擬画像を変更し、
前記設定情報出力部は、前記変更後の模擬画像に対応した設定情報を前記所定の装置に出力する
ことを特徴とするＡＲ表示装置。

上記発明および下記［１３］、［２５］に記載の発明では、所定の物体に対して、ＡＲ表示装置とは別の所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、現実空間の物体にその模擬画像を重ね合わせた拡張現実空間をＡＲ表示する。そして、ユーザからＡＲ表示している模擬画像に対してドラッグやピンチアウトなどの操作により移動や拡大などの指示を受けると、該操作に応じて模擬画像を変更し、変更後の模擬画像に対応した処理結果を所定の装置で得るための設定情報を出力する。これにより、ユーザは所定の装置で物体に施す処理内容の設定をＡＲ表示にてその処理結果を確認しながら変更できると共に、変更後の処理内容に対応する設定情報が出力されるので、これを利用して、模擬画像に対応した処理結果を実際の装置で得ることができる。
［２］前記設定情報出力部は、前記所定の装置において、所定の第１設定情報を、前記変更後の模擬画像に対応した前記設定情報に変更させる
ことを特徴とする［１］に記載のＡＲ表示装置。
［３］前記ＡＲ表示制御部は、前記模擬画像を用紙の姿勢に合わせて補正し、当該補正後の模擬画像を用紙に重ね合わせた拡張現実空間を前記ＡＲ表示部に表示させる
ことを特徴とする［１］または［２］に記載のＡＲ表示装置。
［４］前記取得部は、前記現実空間を撮影するカメラである
ことを特徴とする［１］乃至［３］のいずれか１つに記載のＡＲ表示装置。

［５］前記設定情報出力部は、前記変更後の模擬画像に対応した設定情報を前記所定の装置へ出力し、前記設定情報が示す設定内容を前記所定の装置に反映させる
ことを特徴とする［１］乃至［４］のいずれか１つに記載のＡＲ表示装置。

上記発明および下記［１７］、［２６］に記載の発明では、変更後の模擬画像に対応する設定情報を所定の装置へ出力してこの設定情報が示す設定内容を所定の装置に反映させるので、拡張現実空間で確認した変更後の処理結果を現実の装置において容易に得ることができる。

［６］前記操作検出部は、前記物体にユーザの指などの指示体が触れた状態あるいは前記指示体が前記物体に近接している状態で前記ユーザが行ったあるいは開始した、前記指示体による前記模擬画像に対する操作を検出する
ことを特徴とする［１］乃至［５］のいずれか１つに記載のＡＲ表示装置。

上記発明および下記［１８］、［２７］に記載の発明では、模擬画像に対する操作は、ユーザの指などの指示体が物体に触れた状態、あるいは指示体が物体に近接した状態で開始された操作に限定される。これにより、物体から離れた意図しない動作を模擬画像に対する操作と誤認することが防止される。指示体は、手や指など模擬画像に対して操作を行うものであり、ペンや棒状の物体などでもよい。

［７］前記模擬画像に対する操作は、前記模擬画像の、移動、サイズ調整、濃淡調整、消去のうちの少なくとも１つを指示する操作である
ことを特徴とする［１］乃至［６］のいずれか１つに記載のＡＲ表示装置。

［８］前記ＡＲ表示制御部は、前記操作によって前記模擬画像が前記所定の物体に重ならない位置に移動された場合は、前記模擬画像を消去する
ことを特徴とする［１］乃至［７］のいずれか１つに記載のＡＲ表示装置。

上記発明および下記［２０］に記載の発明では、模擬画像を消去することにより、その消去した模擬画像に対応する設定は削除（キャンセル）される。

［９］前記所定の物体に対して前記所定の装置が施す処理内容を示す設定情報である設定情報を外部装置から取得する設定情報取得部を備え、
前記ＡＲ表示制御部は、前記設定情報取得部によって取得した前記設定情報に従って前記模擬画像を生成する
ことを特徴とする［１］乃至［８］のいずれか１つに記載のＡＲ表示装置。

上記発明および下記［２１］に記載の発明では、外部装置から取得した設定情報に基づいて、初期の模擬画像を生成して、拡張現実空間を表示する。

［１０］前記物体検出部は、前記取得部が取得した現実空間の情報に対応する現実空間に存在する前記所定の物体をその姿勢を含めて検出し、
前記ＡＲ表示制御部は、前記所定の物体の姿勢に合わせて補正した前記模擬画像を、前記所定の物体に重ね合わせた拡張現実空間を前記表示部に表示させる
ことを特徴とする［１］乃至［９］のいずれか１つに記載のＡＲ表示装置。

上記発明および下記［２２］に記載の発明では、現実空間の物体の姿勢を検出し、模擬画像を現実空間の物体の姿勢に合わせて補正し、補正後の模擬画像を現実空間に存在する用紙に重ね合わせた拡張現実空間をＡＲ表示する。

［１１］前記所定の装置は、印刷装置であり、
前記所定の物体は、用紙である
ことを特徴とする［１］乃至［１０］のいずれか１つに記載のＡＲ表示装置。

［１２］前記所定の処理は、印刷対象の画像にスタンプ画像を付加する処理、本を見開いてコピーしたときに中央に生じる影を消去するセンター消去処理、印刷範囲を調整する処理、地紋画像を合成する処理、綴じ穴をあける処理、ステイプルで綴じる処理のうちの少なくとも１つを含む
ことを特徴とする［１１］に記載のＡＲ表示装置。

［１３］現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間に関する情報を取得する取得部とを備えたＡＲ表示装置の前記取得部が取得した現実空間の情報に対応する現実空間において所定の物体を検出する物体検出部と、
前記所定の物体に対して、前記ＡＲ表示装置とは別の所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、前記物体検出部によって検出された前記所定の物体に前記模擬画像を重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる表示制御部と、
前記ＡＲ表示装置に表示された前記拡張現実空間内の前記模擬画像に対してユーザが行った操作を検出する操作検出部と、
前記模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を前記所定の装置に出力する設定情報出力部と、
を備え、
前記表示制御部は、前記操作検出部によって検出された前記操作に応じて前記模擬画像を変更し、
前記設定情報出力部は、前記変更後の模擬画像に対応した設定情報を前記所定の装置に出力する
ことを特徴とする処理内容設定装置。
［１４］前記設定情報出力部は、前記所定の装置において、所定の第１設定情報を、前記変更後の模擬画像に対応した前記設定情報に変更させる
ことを特徴とする［１３］に記載の処理内容設定装置。
［１５］前記表示制御部は、前記模擬画像を用紙の姿勢に合わせて補正し、当該補正後の模擬画像を用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とする［１３］または［１４］に記載の処理内容設定装置。
［１６］前記取得部は、前記現実空間を撮影するカメラである
ことを特徴とする［１３］乃至［１５］のいずれか１つに記載の処理内容設定装置。

［１７］前記設定情報出力部は、前記変更後の模擬画像に対応した前記設定情報を前記所定の装置へ出力し、前記設定情報が示す設定内容を前記所定の装置に反映させる
ことを特徴とする［１３］乃至［１５］のいずれか１つに記載の処理内容設定装置。

［１８］前記操作検出部は、前記物体にユーザの指などの指示体が触れた状態あるいは前記指示体が前記物体に近接している状態で前記ユーザが行ったあるいは開始した、前記指示体による前記模擬画像に対する操作を検出する
ことを特徴とする［１３］乃至［１７］のいずれか１つに記載の処理内容設定装置。

［１９］前記模擬画像に対する操作は、前記模擬画像の、移動、サイズ調整、濃淡調整、消去のうちの少なくとも１つを指示する操作である
ことを特徴とする［１３］乃至［１８］のいずれか１つに記載の処理内容設定装置。

［２０］前記表示制御部は、前記操作によって前記模擬画像が前記所定の物体に重ならない位置に移動された場合は、前記模擬画像を消去する
ことを特徴とする［１３］乃至［１９］のいずれか１つに記載の処理内容設定装置。

［２１］前記所定の物体に対して前記所定の装置が施す処理内容を示す設定情報である設定情報を外部装置から取得する設定情報取得部を備え、
前記表示制御部は、前記設定情報取得部によって取得した前記設定情報に従って前記模擬画像を生成する
ことを特徴とする［１３］乃至［２０］のいずれか１つに記載の処理内容設定装置。

［２２］前記物体検出部は、前記取得部が取得した現実空間の情報に対応する現実空間に存在する前記所定の物体をその姿勢を含めて検出し、
前記表示制御部は、前記所定の物体の姿勢に合わせて補正した前記模擬画像を、前記所定の物体に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とする［１３］乃至［２１］のいずれか１つに記載の処理内容設定装置。

［２３］前記所定の装置は、印刷装置であり、
前記所定の物体は、用紙である
ことを特徴とする［１３］乃至［２２］のいずれか１つに記載の処理内容設定装置。

［２４］前記所定の処理は、印刷対象の画像にスタンプ画像を付加する処理、本を見開いてコピーしたときに中央に生じる影を消去するセンター消去処理、印刷範囲を調整する処理、地紋画像を合成する処理、綴じ穴をあける処理、ステイプルで綴じる処理のうちの少なくとも１つを含む
ことを特徴とする［２３］に記載の処理内容設定装置。

［２５］現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間に関する情報を取得する取得部とを備えたＡＲ表示装置にて、所定の物体に、前記ＡＲ表示装置とは別の所定の装置が施す処理内容の設定を受ける処理内容設定方法であって、
前記取得部が取得した現実空間の情報に対応する現実空間において所定の物体を検出するステップと、
前記所定の物体に対して前記所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、前記検出された前記所定の物体に前記模擬画像を重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させるステップと、
前記ＡＲ表示装置に表示された前記拡張現実空間内の前記模擬画像に対してユーザが行った操作を検出するステップと、
前記検出された前記操作に応じて前記模擬画像を変更するステップと、
前記変更後の模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を前記所定の装置に出力するステップと
を有する
ことを特徴とする処理内容設定方法。
［２６］前記出力するステップでは、前記所定の装置において、所定の第１設定情報を、前記変更後の模擬画像に対応した前記設定情報に変更させる
ことを特徴とする［２５］に記載の処理内容設定方法。
［２７］前記表示させるステップでは、前記模擬画像を用紙の姿勢に合わせて補正し、当該補正後の模擬画像を用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とする［２５］または［２６］に記載の処理内容設定方法。
［２８］前記取得部は、前記現実空間を撮影するカメラである
ことを特徴とする［２５］乃至［２７］のいずれか１つに記載の処理内容設定方法。

［２９］前記変更後の模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を出力するステップにおいて、前記設定情報を前記所定の装置へ出力し、前記設定情報が示す設定内容を前記所定の装置に反映させる
ことを特徴とする［２５］乃至［２８］のいずれか１つに記載の処理内容設定方法。

［３０］前記検出するステップでは、前記物体にユーザの指などの指示体が触れた状態あるいは前記指示体が前記物体に近接している状態で前記ユーザが行ったあるいは開始した、前記指示体による前記模擬画像に対する操作を検出する
ことを特徴とする［２５］乃至［２９］のいずれか１つに記載の処理内容設定方法。

［３１］情報処理装置を、
［１］乃至［１２］のいずれか１つに記載のＡＲ表示装置もしくは［１３］乃至［２４］のいずれか１つに記載の処理内容設定装置として機能させる
ことを特徴とするプログラム。

本発明に係るＡＲ表示装置、処理内容設定装置、処理内容設定方法およびプログラムによれば、所定の物体に所定の装置で施す処理の処理結果を拡張現実空間内のイメージで確認しながら、処理内容の設定変更を行うことができる。

本発明の実施の形態に係る印刷システムの構成を示す図である。本発明の実施の形態に係る印刷システムに含まれる画像形成装置の概略構成を示すブロック図である。本発明の実施の形態に係る印刷システムに含まれるＡＲ表示装置としてのヘッドマウントディスプレイ装置の外観を示す図である。本発明の実施の形態に係る印刷システムに含まれるＡＲ表示装置としてのヘッドマウントディスプレイ装置の構成を示すブロック図である。本発明の実施の形態に係る印刷システムに含まれるＡＲ表示装置としての携帯端末の概略構成を示すブロック図である。ヘッドマウントディスプレイ装置を用いて、ウォータマーク等のスタンプの位置を調整する例を示す図である。ヘッドマウントディスプレイ装置を用いて、ウォータマーク等のスタンプのサイズを調整する例を示す図である。ヘッドマウントディスプレイ装置を用いて、センター消去の設定を調整する例を示す図である。図８の続きを示す図である。スタンプを付加する出力設定をキャンセルする操作を示す図である。ヘッドマウントディスプレイ装置を用いて、画像欠け範囲（印刷範囲）の設定を調整する例を示す図である。ヘッドマウントディスプレイ装置を用いて、地紋画像の濃度を調整する例を示す図である。ヘッドマウントディスプレイ装置を用いて、地紋画像に潜像として埋め込まれている文字の位置を調整する例を示す図である。ヘッドマウントディスプレイ装置を用いて、ステイプルの位置を調整する例を示す図である。ヘッドマウントディスプレイ装置を用いて、パンチ穴の位置を調整する例を示す図である。ヘッドマウントディスプレイ装置が行う処理の全体を示す流れ図である。図１６の続きを示す流れ図である。用紙サイズの管理テーブルを示す図である。出力イメージ画像を作成する処理を示す流れ図である。出力イメージ画像の調整処理を示す流れ図である。ヘッドマウントディスプレイ装置から設定情報を受信した外部装置が行う処理を示す流れ図である。本発明の実施の形態に係る印刷システムに含まれる処理内容設定装置の概略構成を示すブロック図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る印刷システム３の構成を示している。印刷システム３は、画像形成装置１０と、ＡＲ(Augmented Reality）表示装置としてのヘッドマウントディスプレイ（ＨＭＤ）装置３０と、同じくＡＲ表示装置としての携帯端末６０と、処理内容設定装置１３０をＬＡＮ（Local Area Network）などのネットワーク２に接続して構成される。ヘッドマウントディスプレイ装置３０および携帯端末６０は、無線でネットワーク２と接続される。ＡＲ表示装置はヘッドマウントディスプレイ装置３０と携帯端末６０のいずれか一方でもかまわない。

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク２を通じて送信したりするスキャン機能、外部のＰＣ（Personal Computer）などからネットワーク２を通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。画像形成装置１０は、少なくとも用紙に画像を印刷するコピー機能（印刷装置としての機能）を備えていればよい。

画像形成装置１０は、画像や用紙に対して各種の付加処理を施す機能を備えている。たとえば、画像に対する付加処理には、印刷対象の画像にウォータマーク等のスタンプの画像を付加する処理や地紋画像を付加する処理、本などを見開いてコピーしたときに中央に生じる影を消去するセンター消去処理、原稿の周囲（たとえば、プラテンカバーを開いて原稿をコピーした場合に原稿の周囲に生じる黒い部分）を消去する枠消し処理、コピー時に用紙の周縁で画像の欠ける範囲を設定された画像欠け範囲にする処理などがある。

また、用紙に対する付加処理（所謂、後処理）としては、複数枚の用紙をステイプルで綴じる処理、パンチで穴を開ける処理、用紙に折り目を付ける処理などがある。このような画像や用紙に対する付加処理に関する設定を、以後、出力設定と呼ぶこととする。

ＡＲ表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）は、画像形成装置１０に対する出力設定の内容を示す設定情報を画像形成装置１０等から取得する。そして、ＡＲ表示装置は、該設定情報が示す付加処理を画像形成装置１０で実施した場合の処理結果を模擬的に示す模擬画像である出力イメージ画像を作成し、これを現実空間の用紙に重ね合わせた拡張現実空間を表示する機能を備えている。

たとえば、画像形成装置１０に対して二つ折りの出力設定が成されている状態で、ヘッドマウントディスプレイ装置３０を装着したユーザが現実空間の用紙（たとえば、ユーザが手に持っている用紙）を見たとき、ヘッドマウントディスプレイ装置３０は、二つ折りの折り目に相当する出力イメージ画像を現実空間の用紙に重ね合わせた拡張現実空間を表示する。ヘッドマウントディスプレイ装置３０を装着したユーザはこの拡張現実空間を見る。

また、ＡＲ表示装置は、拡張現実空間内の出力イメージ画像に対してユーザが行った操作を検出し、検出された操作に応じて出力イメージ画像を変更する。たとえば、ウォータマーク等のスタンプの出力イメージ画像に対して、その位置を用紙上で移動させて調整する操作や、スタンプの大きさを変更して調整する操作などをユーザから受けると、その操作に応じて出力イメージ画像を、移動させたり拡大したりして変更する。そして、変更後の出力イメージ画像に対応する処理結果を画像形成装置１０で得るための設定情報を外部（たとえば、画像形成装置１０など）へ出力する、あるいは設定情報を画像形成装置１０へ出力し該設定情報が示す設定内容を画像形成装置に反映させる機能を備えている。

これにより、ユーザは、拡張現実空間において、変更後の状態を確認しながら出力イメージ画像に対する操作を行って設定内容を変更することができる。また、変更後の出力イメージ画像に対応する設定情報が外部へ出力されるので、この設定情報を画像形成装置１０などに反映させることで、拡張現実空間で確認した変更後の処理結果を現実の画像形成装置１０等において容易に得ることができる。

ここでは、ＡＲ表示装置は、出力イメージ画像に対する操作が、ユーザの手や指などの指示体が現実空間の用紙に触れた状態、あるいは用紙に近接した状態で行われた場合にのみ、その操作を有効な操作として認識する。一方、たとえば、手や指などの指示体が用紙から一定以上離れた空中で行われた動作やジェスチャーは検出の対象にしない。なお、指示体は、手や指など出力イメージ画像に対して操作を行うものであり、ペンや棒状などの物体でもよい。

ところで、現実空間の用紙は、ユーザが手で持っている等の場合には、移動したり傾いたりする。また、現実空間の用紙は曲げられたりすることもある。そこで、本実施の形態に係るＡＲ表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）は、現実空間にある用紙の位置および姿勢（向き、形状など）を検出し、傾いたり曲げられたりしている用紙に合わせて出力イメージ画像を補正し、該補正後の出力イメージ画像を現実空間の用紙に重ね合わせた拡張現実空間を表示する。

これにより、ユーザは、用紙の位置や姿勢にかかわらず、設定した付加処理が実際に施された用紙があたかも現実空間に存在するような拡張現実空間をＡＲ表示装置で見ることができる。また、ＡＲ表示装置は、上記の検出と補正を繰り返し行うので、ユーザが用紙を動かしても、その動きに追従して補正された出力イメージ画像が、現実空間の用紙に重畳して表示される。

なお、画像形成装置１０に対する出力設定は、画像形成装置１０の操作パネルで行うほか、外部端末や携帯端末で行われる構成でもよく、この場合、ＡＲ表示装置は、出力設定の行われた外部端末や携帯端末から初期の設定情報を取得し、該設定情報に基づいて作成した出力イメージ画像を含む拡張現実空間を表示し、その後、ユーザから出力イメージ画像に対する変更の操作を受け付ける。

なお、ＡＲ表示装置である携帯端末６０で最初から出力設定を行う構成でもかまわない。たとえば、デフォルトの設定内容に対応する模擬画像が初期表示され、この初期表示された模擬画像に対して操作を加えて設定内容を変更するような構成でもよい。

図２は、画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、認証部１７、操作部２０、表示部２１、ネットワーク通信部２２、画像読取部２３、画像処理部２４、プリンタ部２５、ファクシミリ通信部２６などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。

画像読取部２３は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部２３は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部２３の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。また、原稿の表裏を自動的に反転させる機能を有し、これにより原稿の両面自動読み取りを可能にする。画像読取部２３は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１６によって搬送される原稿を順次読み取る機能を備えている。

認証部１７は、画像形成装置１０を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈など任意でよい。

操作部２０と表示部２１はユーザからジョブの投入などの操作を受ける操作パネルを構成する。画像形成装置１０は操作パネルにて前述した出力設定（付加処理に係る設定）をユーザから受け付ける。表示部２１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部２０は、スタートボタンなどの各種操作スイッチと、表示部２１の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部２１の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。

ネットワーク通信部２２は、ＬＡＮなどのネットワーク２を通じてヘッドマウントディスプレイ装置３０や携帯端末６０などのＡＲ表示装置のほか、ＰＣやサーバなどの外部装置と通信する機能を果たす。

画像処理部２４は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。プリンタ部２５は、さらに、印刷後の用紙をステイプルで綴じる、パンチ穴を開ける、折るなどの後処理を施す機能を備えている。

ファクシミリ通信部２６は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

図３は、ヘッドマウントディスプレイ装置３０の概略構成を示している。ヘッドマウントディスプレイ装置３０は、眼鏡に類似した形を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ装置３０は、外の様子にハーフミラーで画像を重ね合わせる方式（所謂、光透過型）を採用している。

ヘッドマウントディスプレイ装置３０は、装着時に装着者の左右の目の前にそれぞれ配置される表示部３１と、左右の表示部３１をそれらの間で繋ぐブリッジ３２と、ブリッジ３２で連結された左右の表示部３１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル３３などを備えている。

また、表示部３１の両脇には、制御回路、投影部４６、カメラ部４７などを含む基幹部３４が設けられている。また各表示部３１の前方に位置するようにハーフミラー３５が、左右の基幹部３４から延びる支持腕に支持されている。

ハーフミラー３５は前方から表示部３１に向けて入射する光Ｌ１に対して４５度の角度で傾斜して設けてあり、基幹部３４の投影部４６は、画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。ハーフミラー３５は透明基板（ガラス基板）に、反射膜（金属膜と誘電体膜）をコーティングして構成されている。ハーフミラー３５は、たとえば、透過と反射の光量比が１：１になっている。

ヘッドマウントディスプレイ装置３０の装着者の目は、外光Ｌ１と画像光Ｌ２とが１：１の割合で合成された光が表示部３１を通じて入射する。すなわち、ヘッドマウントディスプレイ装置３０の装着者は、外の様子と投影部４６が投影した画像とを半々の透過率で重ね合わせた様子を見る。

図４は、ヘッドマウントディスプレイ装置３０の構成を示すブロック図である。ヘッドマウントディスプレイ装置３０は、制御部としてのＣＰＵ４１にバスを介してＲＯＭ４２、ＲＡＭ４３、不揮発メモリ４４、方位センサー部４５、投影部４６、カメラ部４７、操作部４８、表示部３１、ネットワーク通信部５１、画像処理部５２、視線検出部５３、距離センサ５４、音声出力部５５などを接続して構成される。

ＣＰＵ４１はＲＯＭ４２や不揮発メモリ４４に格納されているプログラムに従ってヘッドマウントディスプレイ装置３０の動作を制御する。ＲＯＭ４２にはプログラムや固定データが記憶されている。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４４には、各種の設定情報やアプリケーションプログラムなどが記憶される。

方位センサー部４５は、ヘッドマウントディスプレイ装置３０の向きや姿勢およびその変化を検出する。方位センサー部４５は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部４５は、ヘッドマウントディスプレイ装置３０の装着者の姿勢や装着者が向いている方向や角度（これらは、カメラ部４７が撮影している方向や向きと一致）を検出したり、ヘッドマウントディスプレイ装置３０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４１へ通知する。ＣＰＵ４１は、方位センサー部４５からの通知に基づいて、ヘッドマウントディスプレイ装置３０の装着者の姿勢、角度、傾けられたりした動作の向きや速さを認識する。

投影部４６は前述したように、投影対象の画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。

カメラ部４７は、ヘッドマウントディスプレイ装置３０の前方を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部４７は、左右の基幹部３４にそれぞれ設けられてもよいし、いずれか一方のみに設けられてもよい。カメラ部４７は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。

操作部４８は基幹部３４等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。

ネットワーク通信部５１は、無線ＬＡＮを含むネットワーク２を通じて画像形成装置１０などの外部装置と通信する機能を果たす。

画像処理部５２は、投影部４６からハーフミラー３５を介して表示部３１へ投影する画像（前述した出力イメージ画像など）の作成、該画像の補正（拡大・縮小、変形）などを行うもしくは補助する。

視線検出部５３は、ヘッドマウントディスプレイ装置３０を装着しているユーザの視線（どこを見ているか）を検出する。視線の検出方法は任意でよい。たとえば、装着者の目を撮影するカメラを設け、このカメラが撮影した画像を解析し、目や瞳の位置、向きなどから装着者の視線を検出する。ヘッドマウントディスプレイ装置３０は、視線検出部５３で装着者の視線を検出することにより、当該ヘッドマウントディスプレイ装置３０の装着者が見ている箇所を認識する。

距離センサ５４は、ヘッドマウントディスプレイ装置３０からカメラ部４７の撮影範囲にある各種物体までの距離やヘッドマウントディスプレイ装置３０の装着者が見ている物体までの距離を計測する。また、距離センサ５４は、ヘッドマウントディスプレイ装置３０の装着者が操作を行っている手や指までの距離を計測する。距離センサ５４は、たとえば、超音波センサで構成される。

音声出力部５５は、警告を音声として出力する場合などに使用される。

図５は、携帯端末６０の概略構成を示している。携帯端末６０は、ＣＰＵ６１にバスを介してＲＯＭ６２、ＲＡＭ６３、不揮発メモリ６４、方位センサー部６５、カメラ部６６、認証部６７、操作部６８、表示部６９、ネットワーク通信部７０、画像処理部７１、視線検出部７２、距離センサ７３、音声出力部７４などを接続して構成される。

ＣＰＵ６１はＲＯＭ６２や不揮発メモリ６４に格納されているプログラムに従って携帯端末６０の動作を制御する。ＲＯＭ６２にはプログラムや固定データが記憶されている。ＲＡＭ６３はＣＰＵ６１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ６４には、各種の設定情報やアプリケーションプログラムが記憶される。

方位センサー部６５は、携帯端末６０の向きや姿勢、およびそれらの変化を検出する。方位センサー部６５はヘッドマウントディスプレイ装置３０の方位センサー部４５と同様の構成である。カメラ部６６は携帯端末６０の裏面側に設けられて携帯端末６０の裏面が臨む方向を撮影する。カメラ部６６は動画を撮影でき、たとえば、毎秒３０フレームの画像を取り込む。

認証部６７は、当該携帯端末６０の使用者を認証する。認証方法は、パスワード、指紋、静脈など任意でよい。

表示部６９は液晶ディスプレイなどで構成される。操作部６８は表示部６９の物理的画面上に設けられたタッチパネルなどで構成される。

ネットワーク通信部７０は、無線ＬＡＮを含むネットワーク２を通じて画像形成装置１０などの外部装置と通信する機能を果たす。

画像処理部７１は、カメラ部６６の撮影映像に合成する画像（前述した出力イメージ画像など）の作成、該画像の補正（拡大・縮小、変形）などを行うもしくは補助する。

視線検出部７２は、携帯端末６０のユーザの視線（どこを見ているか）を検出する。視線の検出方法は任意でよい。たとえば、使用者の顔や目を撮影するカメラを設け、このカメラが撮影した画像を解析し、顔、目や瞳の位置、向きなどからユーザの視線を検出する。携帯端末６０は、視線検出部７２でユーザの視線を検出することにより、当該携帯端末６０の使用者がどこを見ているかを認識する。

距離センサ７３は、携帯端末６０からカメラ部６６の撮影範囲にある各種物体までの距離や携帯端末６０のユーザが見ている物体までの距離を計測する。また、距離センサ７３は、携帯端末６０のユーザが操作を行っている手や指までの距離を計測する。距離センサ７３は、ヘッドマウントディスプレイ装置３０の距離センサ５４と同様に、超音波センサなどで構成される。

音声出力部７４は、警告を音声として出力する場合などに使用される。

なお、ヘッドマウントディスプレイ装置３０では現実空間からの情報に出力イメージ画像を重ねて表示するが、携帯端末６０の場合には、カメラ部６６が撮影している画像内の用紙に出力イメージ画像を重ねあわせた画像を表示部６９に表示する。使用者は携帯端末６０の表示部６９に表示された拡張現実空間を見ることになる。

ＡＲ表示装置（ヘッドマウントディスプレイ装置３０、携帯端末６０）は、カメラ部４７、６６の撮影映像を解析して該撮影映像の中に存在する用紙をその位置と姿勢を含めて検出する。また、検出した用紙までの距離を距離センサ５４、７３で計測し、計測結果の距離と撮影映像中の用紙の大きさとから、現実の用紙のサイズを認識する。さらに、距離センサ５４、７３用紙の各部までの距離を計測してこれらを集計・解析することで、ヘッドマウントディスプレイ装置３０や携帯端末６０側から見た用紙の三次元形状（傾き、曲がり、折れなど）も認識する。たとえば、三次元形状の認識は、特開２００８−２６２４３号公報などに開示されている公知技術を利用することができる。なお、カメラ部４７、６６をステレオカメラとし、用紙の姿勢やヘッドマウントディスプレイ装置３０、携帯端末６０側から見た三次元形状を該ステレオカメラの映像を解析して認識してもよい。

また、ＡＲ表示装置（ヘッドマウントディスプレイ装置３０および携帯端末６０）は、カメラ部４７、６６の撮影映像を解析して、ユーザが用紙上の出力イメージ画像に対して行った操作を検出する。より詳細には、用紙までの距離と、操作を行っている指示体（ユーザの手や指）までの距離とを計測して比較し、これらの差が所定の許容範囲にあれば、用紙上の出力イメージ画像に対して行われた操作であると判定し、上記の差が所定の許容範囲に無ければ、用紙上の出力イメージ画像に対する操作ではないと判定する。

次に、ＡＲ表示装置の動作を説明する。

ここでは、ヘッドマウントディスプレイ装置３０を例に説明する。

以下の図６〜図１５では、現実空間の用紙（出力設定前の用紙とする）と、現実空間の用紙に出力イメージ画像が重畳された拡張現実空間の用紙（出力設定後の用紙（調整前）とする）と、出力イメージ画像に対してユーザが操作を行う様子と、操作に対応して出力イメージ画像が変更された後の拡張現実空間の用紙（出力設定後の用紙（調整後）とする）とを対比して示す。出力設定後の用紙（調整前）、操作を行う様子、出力設定後の用紙（調整後）はいずれもヘッドマウントディスプレイ装置３０を装着したユーザに見える状態を示している。

図６は、ヘッドマウントディスプレイ装置３０を用いて、ウォータマーク等のスタンプの位置を調整する例を示している。同図（ａ）は出力設定前の用紙８１を、同図（ｂ）はウォータマーク等のスタンプを付加する出力設定が行われている場合の出力設定後の用紙（調整前）８２を示している。同図（ｂ）に示す出力設定後の用紙（調整前）８２では、用紙に対して、出力設定で指定された種類・大きさのスタンプに対応する出力イメージ画像８３が出力設定で指定された位置に重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙８１に既に印字されている内容（文字や画像）と出力設定に従って付加されるスタンプとの位置関係や濃度の関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙（調整前）８２を見て事前（印刷前）に確認することができる。

同図（ｃ）は、ユーザがスタンプに対応する出力イメージ画像８３を指で操作して移動させる様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指が接触あるいは近接した状態で行われた操作である。ここでは、スタンプに対応する出力イメージ画像８３を目的の位置へ移動させるためにドラッグ操作が行われている。

ヘッドマウントディスプレイ装置３０は、スタンプに対応する出力イメージ画像８３に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像８３の表示位置を移動させる。同図（ｄ）は、移動後の状態（出力設定後の用紙（調整後）８４）を示している。ヘッドマウントディスプレイ装置３０は、位置調整後の出力イメージ画像８３に対応した処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示されたスタンプの出力イメージ画像８３に対して直接的に移動の操作を行うことで、移動後の位置をＡＲ表示で確認しながら、スタンプの付加処理に係る出力設定の内容を変更することができる。

図７は、ヘッドマウントディスプレイ装置３０を用いて、ウォータマーク等のスタンプのサイズを調整する例を示している。同図（ａ）は出力設定前の用紙８１を、同図（ｂ）はウォータマーク等のスタンプを付加する出力設定が行われている場合の出力設定後の用紙８２を示している。

同図（ｃ）は、ユーザがスタンプに対応する出力イメージ画像８３を指で操作してサイズを変更する様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指が接触あるいは近接した状態で行われた操作である。ここでは、出力イメージ画像８３を大きくするために該出力イメージ画像８３に対してピンチアウトの操作が行われている。

ヘッドマウントディスプレイ装置３０は、出力イメージ画像８３に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像８３のサイズを変更する。同図（ｄ）は、拡大後の状態（出力設定後の用紙（調整後）８６）を示している。ヘッドマウントディスプレイ装置３０は、サイズ変更後の出力イメージ画像８３に対応した処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示されたスタンプの出力イメージ画像８３に対して直接的にサイズ変更の操作（ピンチアウトやピンチイン）を行うことで、変更後のサイズをＡＲ表示で確認しながら、スタンプの付加処理に係る出力設定の内容を変更することができる。

図８、図９は、ヘッドマウントディスプレイ装置３０を用いて、センター消去の設定を調整する例を示している。図８（ａ）は出力設定前の用紙９１を、同図（ｂ）はセンター消去の出力設定が行われている場合の出力設定後の用紙（調整前）９２を示している。出力設定後の用紙（調整前）９２では、出力設定前の用紙９１に、その中央部分の影Ｓを消去（白あるいは用紙の地の色でマスク）する出力イメージ画像９３が重畳されている。

ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙９１にセンター消去処理が施された場合の出力結果をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙９２を見て事前に確認することができる。たとえば、センター消去処理により影Ｓが完全に消去されるか否かを確認することができる。

図８（ｂ）では、センター消去処理の設定が適切でなく、影Ｓが完全に消えていない。図９（ａ）は、ユーザがセンター消去処理に対応する出力イメージ画像９３を指で操作して消去範囲（幅や長さ）を変更する様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指が接触あるいは近接した状態で行われた操作である。ここでは、縦の白帯状の出力イメージ画像９３の幅を広げるために、該出力イメージ画像９３に対してピンチアウトの操作が行われている。

ヘッドマウントディスプレイ装置３０は、出力イメージ画像９３に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像９３の幅や長さを変更する。同図（ｂ）は、上記の操作に応じて変更後の出力イメージ画像９３ｂが重畳された出力設定後の用紙（調整後）９４を示している。同図（ｂ）では、出力イメージ画像９３の外周縁を一点破線で示してある。ヘッドマウントディスプレイ装置３０は、変更後の出力イメージ画像９３ｂに対応したセンター消去処理の処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示された出力イメージ画像９３に対して直接的に操作（ピンチアウトやピンチインなど）を行うことで、消去される範囲を確認しながら、センター消去処理に関する出力設定の内容を変更することができる。

次に、出力設定を削除（キャンセル）するための操作について説明する。

ここでは、選択した出力イメージ画像がドラッグ操作によって、用紙と重ならない位置（用紙の外）へ移動されると、ＡＲ表示装置は、出力イメージ画像を拡張現実空間から削除すると共に、その削除した出力イメージ画像に対応する付加処理の出力設定が削除（キャンセル）された設定情報を出力する。

図１０は、スタンプを付加する出力設定をキャンセルする操作を示している。同図（ａ）は出力設定前の用紙８１を、同図（ｂ）はウォータマーク等のスタンプを付加する出力設定が行われている場合の出力設定後の用紙（調整前）８２を示している。

同図（ｃ）は、ユーザがスタンプに対応する出力イメージ画像８３を指で操作して、用紙の外へ移動させる様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指が接触あるいは近接した状態で行われた操作である。ここでは、スタンプに対応する出力イメージ画像８３を用紙の外へ移動させるドラッグ操作が行われている。

ヘッドマウントディスプレイ装置３０は、出力イメージ画像８３に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像８３の表示位置を移動させ、用紙の外でドラッグ操作が完了すると、同図（ｄ）に示すように、出力イメージ画像８３を消去した用紙（出力設定後の用紙（調整後）８８）を拡張現実空間に表示する。ヘッドマウントディスプレイ装置３０は、出力イメージ画像８３に対応したスタンプの付加処理の設定が削除（キャンセル）された内容の設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示された出力イメージ画像を用紙の外に移動させる操作を行うことで、その出力イメージ画像に対応する付加処理の設定をキャンセルすることができる。

図１１は、ヘッドマウントディスプレイ装置３０を用いて、画像欠け範囲（印刷範囲）の設定を調整する例を示している。同図（ａ）は出力設定前の用紙８１を、同図（ｂ）は、画像欠け範囲の出力設定が行われている場合の出力設定後の用紙（調整前）１０１を示している。同図（ｂ）に示す出力設定後の用紙（調整前）１０１では、用紙に対して、用紙の周縁の画像欠け範囲とその内側の領域との境界を示す境界線の出力イメージ画像１０２が出力設定で指定された位置に重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、コピーにより画像が欠ける範囲を原稿用紙上で事前（印刷前）に確認することができる。

同図（ｂ）では、用紙上の文字や画像が、画像欠け範囲の中に存在するので、そのことをユーザに警告するために、境界線の出力イメージ画像１０２を、たとえば、赤色で示してある。警告メッセージなどを表示してもよい。

同図（ｃ）は、ユーザが画像欠け範囲の境界線の出力イメージ画像１０２を指で操作して移動させる様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指が接触あるいは近接した状態で行われる。ここでは、境界線の出力イメージ画像１０２をそれぞれ外側へ少しずつ移動させるためにドラッグ操作が行われている。

ヘッドマウントディスプレイ装置３０は、画像欠け範囲を示す境界線の出力イメージ画像１０２に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像１０２の表示位置を移動させる。同図（ｄ）は、移動後の状態（出力設定後の用紙（調整後）１０３）を示している。移動後の状態では、画像欠け範囲に用紙上の文字や画像が含まれなくなったので、境界線の出力イメージ画像１０２を青色で示してある。同図（ｂ）にて警告メッセージを表示していた場合にはその表示を消去する。

ヘッドマウントディスプレイ装置３０は、位置調整後の出力イメージ画像１０３に対応した処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示された画像欠け範囲を示す境界線の出力イメージ画像１０２に対して直接的に移動の操作を行うことで、移動後の境界線の位置をＡＲ表示で確認しながら、画像欠け範囲に係る出力設定の内容を変更することができる。

図１２は、ヘッドマウントディスプレイ装置３０を用いて、地紋画像の濃度を調整する例を示している。同図（ａ）は出力設定前の用紙１０５を、同図（ｂ）は、地紋画像を付加する出力設定が行われている場合の出力設定後の用紙（調整前）１０６を示している。地紋画像を付加する出力設定では、地紋のパターンと、埋め込む文字や画像およびその埋め込み位置、地紋画像の濃度などが設定される。同図（ｂ）に示す出力設定後の用紙（調整前）１０６では、用紙に対して、地紋画像に対応する出力イメージ画像１０７（図中、グレーの背景）が重畳されている。これにより、ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１０５に既に印字されている内容（文字や画像）と出力設定に従って施される地紋画像とのコントラストなどをヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１０６を見て事前（印刷前）に確認することができる。

同図（ｃ）は、ユーザが地紋画像の出力イメージ画像１０７に対して指や手で操作して地紋画像の濃度を調整する様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指や手が近接した状態で行われる。該操作は、まず、ユーザが手や指を地紋画像に対応する出力イメージ画像１０７に一旦触れた後、所定距離まで遠ざけて所定時間（たとえば、１秒）静止させる。その後、ユーザがその手や指を用紙から遠ざけると地紋画像の濃度を薄くする指示となり、手や指を用紙に近づけると濃度を濃くする指示となる。図の例では、地紋画増の濃度を濃くする操作が行われている。

ヘッドマウントディスプレイ装置３０は、地紋画像の出力イメージ画像１０７に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像１０７の濃度を変化させる。同図（ｄ）は、濃度を濃くした後の状態（出力設定後の用紙（調整後）１０８）を示している。ヘッドマウントディスプレイ装置３０は、濃度調整後の出力イメージ画像１０７に対応した処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示された地紋画像の出力イメージ画像１０７に対して所定の操作を行うことで、変更後の地紋画像の濃度をＡＲ表示で確認しながら、地紋画像に係る出力設定の内容を変更することができる。

図１３は、ヘッドマウントディスプレイ装置３０を用いて、地紋画像に潜像として埋め込まれている文字の位置を調整する例を示している。同図（ａ）は出力設定前の用紙１１０を、同図（ｂ）は、地紋画像を付加する出力設定が行われている場合の出力設定後の用紙（調整前）１１１を示している。同図（ｂ）に示す出力設定後の用紙（調整前）１１１では、用紙に対して、地紋画像に対応する出力イメージ画像１１２（図中、グレーの背景と白抜きの文字）が重畳されている。これにより、ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１１０に既に印字されている内容（文字や画像）と出力設定に従って施される地紋画像の文字の位置などをヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１１１を見て事前（印刷前）に確認することができる。

同図（ｃ）は、ユーザが地紋画像の出力イメージ画像１１２の中に潜像として含まれる文字に対して指や手で操作してその文字の位置を調整する様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指や手を触れた状態もしくは近接させた状態で行われる。ここでは、文字の位置を下方に移動させるようにドラッグ操作が行われている。

ヘッドマウントディスプレイ装置３０は、地紋画像の文字に対して上記の操作を検出すると、その検出した操作に応じて出力イメージ画像１１２を変更して、地紋画像に潜像として含まれる文字の位置を移動させる。同図（ｄ）は、移動後の状態（出力設定後の用紙（調整後）１１３）を示している。ヘッドマウントディスプレイ装置３０は、位置調整後の出力イメージ画像１１２に対応した処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示された地紋画像の出力イメージ画像１１２に含まれる文字に対して移動の操作を行うことで、移動後の文字の位置をＡＲ表示で確認しながら、地紋画像に係る出力設定の内容を変更することができる。

図１４は、ヘッドマウントディスプレイ装置３０を用いて、ステイプルの位置を調整する例を示している。同図（ａ）は出力設定前の用紙１２０を、同図（ｂ）はステイプルを打つ出力設定が行われている場合の出力設定後の用紙（調整前）１２１を示している。同図（ｂ）に示す出力設定後の用紙（調整前）１２１では、用紙に対して、出力設定で指定された位置にステイプルに対応する出力イメージ画像１２２が重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１２０に既に印字されている内容（文字や画像）と出力設定に従って付加されるステイプルとの位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙（調整前）１２１を見て事前（印刷前）に確認することができる。

同図（ｃ）は、ユーザがステイプルに対応する出力イメージ画像１２２を指で操作して、該ステイプルを打つ位置を移動させる様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指が接触あるいは近接した状態で行われた操作である。ここでは、ステイプルに対応する出力イメージ画像１２２を目的の位置へ移動させるためにドラッグ操作が行われている。

ヘッドマウントディスプレイ装置３０は、ステイプルに対応する出力イメージ画像１２２に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像１２２の表示位置を移動させる。同図（ｄ）は、移動後の状態（出力設定後の用紙（調整後）１２３）を示している。ヘッドマウントディスプレイ装置３０は、位置調整後の出力イメージ画像１２２に対応した処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示されたステイプルの出力イメージ画像１２２に対して直接的に移動の操作を行うことで、移動後の位置をＡＲ表示で確認しながら、ステイプルの付加処理に係る出力設定の内容を変更することができる。

図１５は、ヘッドマウントディスプレイ装置３０を用いて、パンチ穴の位置を調整する例を示している。同図（ａ）は出力設定前の用紙１２５を、同図（ｂ）はパンチ穴を開ける出力設定が行われている場合の出力設定後の用紙（調整前）１２６を示している。同図（ｂ）に示す出力設定後の用紙（調整前）１２６では、用紙に対して、出力設定で指定された位置にパンチ穴に対応する出力イメージ画像１２７が重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１２５に既に印字されている内容（文字や画像）と出力設定に従って付加されるパンチ穴との位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙（調整前）１２６１を見て事前（印刷前）に確認することができる。

図１５（ｂ）の例では、第１のパンチ穴に対応する出力イメージ画像１２７ａは既存印字領域（既に印字されている文字や画像が存在する領域）と重なっており、第２のパンチ穴に対応する出力イメージ画像１２７ｂは既存印字領域と重なっていない。そこで、第１のパンチ穴に対応する出力イメージ画像１２７ａは赤色で表示し、第２のパンチ穴に対応する出力イメージ画像１２７ｂは青色で表示して、これらの表示形態を相違させてある。

同図（ｃ）は、ユーザがパンチ穴に対応する出力イメージ画像１２７を指で操作して、該パンチ穴を打つ位置を移動させる様子を示している。該操作は、現実空間の用紙（拡張現実空間の用紙上の出力イメージ画像）にユーザの指が接触あるいは近接した状態で行われた操作である。ここでは、パンチ穴に対応する出力イメージ画像１２７を目的の位置へ移動させるためにドラッグ操作が行われている。なお、いずれか一方のパンチ穴１２７を移動させると、２つのパンチ穴１２７（１２７ａ、１２７ｂ）が同時に同じように移動する。

ヘッドマウントディスプレイ装置３０は、パンチ穴に対応する出力イメージ画像１２７に対する上記の操作を検出すると、その検出した操作に応じて出力イメージ画像１２７の表示位置を移動させる。同図（ｄ）は、移動後の状態（出力設定後の用紙（調整後）１２８）を示している。移動後の位置では、パンチ穴１２７は既存印字領域と重ならないので、２つのパンチ穴に対応する出力イメージ画像１２７ａ、１２７ｂは共に青色で表示されている。

ヘッドマウントディスプレイ装置３０は、位置調整後の出力イメージ画像１２７に対応した処理結果を画像形成装置１０で得るための設定情報を外部装置へ出力する、あるいは該出力した設定情報が示す設定内容を外部装置の設定に反映させる。

このように、ヘッドマウントディスプレイ装置３０の装着者は、ヘッドマウントディスプレイ装置３０にＡＲ表示されたパンチ穴の出力イメージ画像１２７に対して直接的に移動の操作を行うことで、移動後の位置をＡＲ表示で確認しながら、パンチ穴の付加処理に係る出力設定の内容を変更することができる。

図６〜図１５に示す例は一例であり、ＡＲ表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）は、折りなど他の付加処理についても同様に、出力イメージ画像に対する操作によって付加処理の内容を変更でき、変更後の設定情報を画像形成装置１０などの外部装置に出力したり、設定情報が示す設定内容を外部装置に反映させたりすることができる。

次に、ＡＲ表示装置としてのヘッドマウントディスプレイ装置３０が行う処理を流れ図に沿って説明する。なお、ＡＲ表示装置である携帯端末６０についても同様の動作となるのでその説明は省略する。

図１６、図１７は、ヘッドマウントディスプレイ装置３０が行う処理の全体を示す流れ図である。ヘッドマウントディスプレイ装置３０は、外部装置（たとえば、画像形成装置１０）から画像形成装置１０に対する出力設定の内容を示す設定情報を受信する（ステップＳ００１）。なお、画像形成装置１０に対して実際に設定されている出力設定のほか、これから設定する予定の出力設定に係る設定情報を携帯端末等から受信してもよい。

設定情報を受信したら（ステップＳ００１；Ｙｅｓ）、カメラ部４７が撮像している現実空間から、出力設定に対応する用紙を検出する処理を開始する（ステップＳ００２）。具体的には、カメラ部４７の出力映像を解析して用紙を検出すると共に、検出された用紙までの距離を距離センサ５４で計測する。

ユーザから用紙検出を中止する指示を受けた場合は（ステップＳ００３；Ｙｅｓ）、カメラ部４７による撮像および用紙検出を中止して（ステップＳ００４）、本処理を終了する。

ユーザから用紙検出を中止する指示を受けなければ（ステップＳ００３；Ｎｏ）、用紙検出により、所定の距離内に用紙を検出できたか否かを判断する（ステップＳ００５）。なお、ここでは、用紙までの距離と映像内の用紙の大きさとから、その用紙の現実のサイズを求め、このサイズと、予め不揮発メモリ４４などに記憶してある管理テーブル（図１８参照）に登録されている規定の用紙サイズとを比較して、該用紙のサイズを特定する。そして、この特定した用紙のサイズとＳ００１で受信した設定情報が対象としている用紙のサイズとが一致した場合に、該設定情報に対応する用紙を検出したと判定する。

未検出であれば（ステップＳ００５；Ｎｏ）、「現在の撮影範囲では、用紙を検出できないので、用紙を検出できるように、カメラ部４７の近くに用紙を近づけてください」といったメッセージを表示部３１に表示する（ステップＳ００６）。そして、ステップＳ００２に戻って処理を継続する。

用紙を検出できた場合は（ステップＳ００５；Ｙｅｓ）、ステップＳ００１で受信した設定情報が示す出力設定に従って付加処理を画像形成装置１０で実施した場合の処理結果を模擬的に示した出力イメージ画像を作成する（ステップＳ００７）。

次に、検出した用紙の位置および姿勢（カメラ部４７から見た向きや三次元形状）を解析する（ステップＳ００８）。そして、ステップＳ００８の解析結果が示す用紙の位置や姿勢に適合するように出力イメージ画像を補正する（ステップＳ００９）。

次に、ステップＳ００９またはステップＳ０２０で補正した出力イメージ画像を、ステップＳ００５で検出した用紙に重ね合わせてＡＲ表示する（ステップＳ０１０）。これにより、ヘッドマウントディスプレイ装置３０の装着者には、用紙上に出力イメージ画像が重ねあわされた拡張現実空間が見える。

この状態で、ユーザの手や指などの指示体が用紙上の出力イメージ画像に向けられたか否かを判断し（ステップＳ０１１）、向けられている場合は（ステップＳ０１１；Ｙｅｓ）、出力イメージ画像の調整処理を行って（ステップＳ０１２）、ステップＳ０１３に移行する。ユーザの手や指が用紙上の出力イメージ画像に向けられていない場合は（ステップＳ０１１；Ｎ）、ステップＳ０１３に移行する。

ステップＳ０１２では、ユーザが出力イメージ画像に対して操作を行ったか否かを判定し、操作を受けた場合は、その操作の内容に応じて出力イメージ画像を変更し、変更後の出力イメージ画像に対応した設定情報を外部へ出力する処理が行われる。ステップＳ０１２の詳細については後述する。

ステップＳ０１３では、ユーザから、ＡＲ表示をキャンセルする指示を受けたか否かを判断し、ＡＲ表示をキャンセルする指示を受けた場合は（ステップＳ０１３；Ｙｅｓ）、表示部３１の表示をクリアして（ステップＳ０１４）、本処理を終了する。

上記キャンセルの指示を受けない場合は（ステップＳ０１３；Ｎｏ）、用紙を撮像してから所定時間が経過したか否かを調べる（ステップＳ０１５）。所定時間はたとえば０．１秒などであり、任意に定めればよい。所定時間は用紙の動きに追従して出力イメージ画像を表示し得る時間が好ましく、０．２秒以下、より好ましくは０．１秒以下、処理速度が許せばさらに短時間とすることが望ましい。

所定時間が経過したら（ステップＳ０１５；Ｙｅｓ）、カメラ部４７が撮像している現実空間から用紙を検出する処理を再び行う（ステップＳ０１６）。そして、検出した用紙の位置および姿勢（カメラ部４７から見た向きや三次元形状）を解析し（ステップＳ０１７）、前回の解析結果が示す用紙の位置および姿勢と今回の解析結果が示す用紙の位置および姿勢を比較する（ステップＳ０１８）。

比較した結果、前回の解析結果が示す用紙の位置および姿勢と今回の解析結果が示す用紙の位置および姿勢が同一ならば（ステップＳ０１９；Ｙｅｓ）、ステップＳ０１０に戻って処理を継続する。

比較した結果、前回の解析結果が示す用紙の位置および姿勢と今回の解析結果が示す用紙の位置および姿勢が相違する場合は（ステップＳ０１９；Ｎｏ）、最新の解析結果（前回のステップＳ０１７での解析結果）が示す用紙の位置および姿勢に適合するように出力イメージ画像を補正し（ステップＳ０２０）、ステップＳ０１０に戻って処理を継続する。

これにより、ユーザが用紙を手で持っていて、用紙が移動したり変形したりする場合でも、用紙の該移動や変形に追従して、出力イメージ画像が用紙上に重ねて表示される。

図１９は、図１６のステップＳ００７の詳細を示している。ヘッドマウントディスプレイ装置３０のＣＰＵ４１は、ステップＳ００１で外部装置から受信した設定情報に基づいて、この設定情報が示す出力設定に従って付加処理を実施した場合の処理結果の用紙上の位置を算出する（ステップＳ０３１）。たとえば、パンチ穴を開ける出力設定が成されている場合、そのパンチ穴の用紙上の位置を算出する。

次に、設定情報が示す各付加処理をステップＳ０３１で算出した位置に施した場合の処理結果を示す出力イメージ画像を作成して（ステップＳ０３２）本処理を終了する。

図２０は、出力イメージ画像の調整処理（図１７のステップＳ０１２）の詳細を示している。出力イメージ画像にまだ指や手が向けられているか否かを判定し（ステップＳ０４１）。向けられていなければ（ステップＳ０４１；Ｎｏ）、本処理を終了する。

出力イメージ画像にまだ指や手が向けられている場合は（ステップＳ０４１；Ｙｅｓ）、該指や手により、出力イメージ画像に対して何らかの操作が行われたか否かを判定する（ステップＳ０４２）。ここでは、指や手が現実空間の用紙に触れた状態あるいは用紙に近接した（たとえば、５ｃｍ以内）状態で行われた（あるいは開始された）操作であれば、出力イメージ画像に対する操作であると判定し、用紙から離れた位置で行われた（あるいは開始された）操作は出力イメージ画像に対する操作でないと判定する。これにより、用紙から離れた位置でユーザが行う各種の動きを出力イメージ画像に対する操作と誤認することが回避される。

操作は、指や手が現実空間の用紙に触れたあるいは近接した状態で行われた操作、もしくは少なくとも用紙に触れたあるいは近接した状態で開始された操作であればよい。開始時のみ接触あるいは近接すればよいか否かは操作の種類に依存する。たとえば、ドラッグやピンチイン、ピンチアウトなどの操作は、操作の開始から終了まで指や手が用紙に接触あるいは近接した状態で行われることを要する。一方、手や指を用紙に近づけたり、遠ざけたりする操作では、操作の開始時のみ手や指が用紙に接触あるいは近接していればよい。

たとえば、スタンプの濃度を調整する操作は、以下のような操作とすることができる。まず、ユーザが手や指をスタンプに対応する出力イメージ画像に一旦触れた後、所定距離まで遠ざけて所定時間（たとえば、１秒）静止させる。その後、ユーザがその手や指を用紙から遠ざけるとスタンプ濃度を薄くする指示となり、手や指を用紙に近づけると濃度を濃くする指示となる。

出力イメージ画像に対して何らかの操作が行われたことを検出した場合は（ステップＳ０４２；Ｙｅｓ）、その検出した操作の種別を解析する（ステップＳ０４３）。すなわち、ドラッグ、ピンチアウト、ピンチインなど操作の種別を特定し、位置調整、サイズ調整、長さや幅の調整、濃淡調整など、その操作が指示する調整の内容を特定する。

そして、操作が指示する内容に応じて、出力イメージ画像の位置、サイズ等を調整する。ここでは、操作を行う手や指の動きに連動して、出力イメージ画像をリアルタイムに変更する（ステップＳ０４４）。

出力イメージ画像に対する操作が完了したか否かを判断し（ステップＳ０４５）、操作が継続中であれば（ステップＳ０４５；Ｎｏ）、ステップＳ０４３に戻る。操作が完了した場合は（ステップＳ０４５；Ｙｅｓ）、調整（変更）後の出力イメージ画像に対応する処理結果を画像形成装置１０で得るための出力設定の内容を示す設定情報を作成し、該設定情報を外部装置（たとえば、Ｓ００１で受信した設定情報の送信元の装置）に送信し、その設定情報が示す設定内容を外部装置の設定内容に反映させて（ステップＳ０４６）、本処理を終了する。なお、設定情報が示す設定内容を外部装置の設定内容に反映させる処理として、たとえば、出力イメージ画像の調整により変更された設定内容に対応する設定画面であって変更後の設定内容が反映された設定画面を外部装置の操作パネルに表示させるようにしてもよい。

たとえば、スタンプの位置を調整する操作が行われた場合、ステップＳ００１で受信した設定情報が示すスタンプの位置情報を、調整後の出力イメージ画像の位置に対応する値に変更した設定情報を外部装置に対して送信し、その設定を外部装置に反映させる。

図２１は、図２０のステップＳ０４６でヘッドマウントディスプレイ装置３０から出力された設定情報を受信した外部装置（画像形成装置１０など）が行う処理の流れを示している。

画像形成装置１０などの外部装置は、ヘッドマウントディスプレイ装置３０から上記の設定情報が送られてくるのを待機している（ステップＳ０５１；Ｎｏ）。そして、設定情報を受信すると（ステップＳ０５１；Ｙｅｓ）、その受信した設定情報が示す設定内容を自装置に反映して、自装置の設定状態を変更する（ステップＳ０５２）。

このように、本実施の形態に係るＡＲ表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）では、画像形成装置１０に対する設定情報を画像形成装置１０等から取得し、該設定情報が示す付加処理を画像形成装置１０で実施した場合の処理結果を模擬的に示す出力イメージ画像を生成し、これを現実空間の用紙に重ね合わせた拡張現実空間を表示する。これにより、ユーザは、出力設定に対応した処理結果を、実際の印刷を行うことなく、事前に確認することができる。

そして、ユーザは、処理結果が適切でないことをＡＲ表示で確認した場合には、ＡＲ表示されている出力イメージ画像に対して移動やサイズ変更などの操作を行うことで、出力設定の設定内容を容易に変更することができる。これにより、変更後の処理結果をＡＲ表示で確認しながら設定内容を変更することができる。さらに、変更後の出力イメージ画像に対応する設定情報が生成されて外部へ出力されるので、この設定情報を反映させて画像形成装置１０などの外部装置を動作させれば、ＡＲ表示で調整後の処理結果を現実の外部装置で容易に得ることができる。

また、現実空間の用紙に出力イメージ画像を重ねたＡＲ表示によって出力設定に対応する処理結果を確認できるので、たとえば、原稿をスキャナで読み取るなどの手間が不要となり、ユーザは出力設定に対応する処理結果の確認を迅速かつ容易に行うことができる。

また、ユーザが用紙を動かしても、拡張現実空間内の出力イメージ画像が用紙の動きに追従して変化するので、用紙を固定する必要がない。また、用紙を意図的に動かして、仕上がり状態を各種の方向から確認することもできる。

さらに、現実の用紙に出力イメージ画像を重畳した拡張現実空間を表示するので、現実の用紙に既に印刷されている文字や画像と出力設定に対応する付加処理の処理結果との位置関係や重なり具合などを確認しながら、設定内容を調整することができる。

なお、上記の例では、ヘッドマウントディスプレイ装置３０や携帯端末６０が出力イメージ画像の生成、補正、用紙への重畳、出力イメージ画像に対する操作の受け付け、操作に応じた出力イメージ画像の変更、設定情報の出力などすべての処理を行う例を示したが、これらの処理をヘッドマウントディスプレイ装置３０や携帯端末６０とは別の処理内容設定装置１３０（図１参照）で行い、該処理内容設定装置１３０からの指示に従ってヘッドマウントディスプレイ装置３０や携帯端末６０が出力イメージ画像に基づく拡張現実空間を表示するように構成されてもよい。

図２２は、処理内容設定装置１３０の概略構成を示すブロック図である。処理内容設定装置１３０は、当該処理内容設定装置１３０の動作を統括的に制御するＣＰＵ１３１を備え、該ＣＰＵ１３１にはバスを通じてＲＯＭ１３２、ＲＡＭ１３３、不揮発メモリ１３４、ハードディスク装置１３５、操作表示装置１３６、画像処理部１３７、通信部１３８、認証部１３９などが接続されている。ＣＰＵ１３１がＲＯＭ１３２に格納されているプログラムを実行することで処理内容設定装置１３０としての機能が実現される。

処理内容設定装置１３０は、画像形成装置１０などから通信部１３８を通じて出力設定情報を取得する。また、ヘッドマウントディスプレイ装置３０や携帯端末６０などのＡＲ表示装置からカメラの撮影映像や距離センサで検出した距離情報などを取得し、これらに基づいて、ＡＲ表示装置のカメラが撮影している現実空間に存在する用紙をその姿勢を含めて検出する。そして、画像形成装置１０などから取得した出力設定情報に従って画像形成装置１０等で付加処理を実施した場合の処理結果を模擬的に示す出力イメージ画像を作成し、これを現実空間に存在する用紙の姿勢に合わせて補正し、該補正した出力イメージ画像を現実空間に存在する用紙に重ね合わせた拡張現実空間をＡＲ表示装置に表示させる。

たとえば、補正後の出力イメージ画像とその重畳位置を示す情報を作成してヘッドマウントディスプレイ装置３０に送信して、上記の拡張現実空間をヘッドマウントディスプレイ装置３０にＡＲ表示させる。

また、処理内容設定装置１３０は、拡張現実空間内の出力イメージ画像に対してユーザが行った操作を検出し、検出された操作に応じて出力イメージ画像を変更する。たとえば、ＡＲ表示装置からカメラの撮影映像や距離センサで検出した距離情報などを取得し、これらからユーザが模擬画像に対して行った操作を検出する。そして、模擬画像の位置や大きさを調整等する操作などユーザから受けると、その操作に応じて出力イメージ画像を、移動させたり拡大したりして変更し、変更後の模擬画像の情報をＡＲ表示装置に送信して表示させる。変更操作が完了すると、変更後の出力イメージ画像に対応する処理結果を画像形成装置１０で得るための設定情報を外部（たとえば、画像形成装置１０など）へ出力し、設定内容を反映させる。

処理内容設定装置１３０は、図１に示すような携帯端末として構成されるほか、ＰＣやサーバなどで構成されてもよい。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態に示した付加処理は一例であり、画像形成装置１０が施す処理であって出力物にその処理結果が現れる処理であれば任意の処理でよい。

さらに、本発明においては、模擬画像が重畳される物体を用紙とし、物体に対して処理を施す装置を画像形成装置１０とし、処理内容を付加処理としたが、物体、装置、処理内容はこれに限定されるものではない。たとえば、物体を衣服、装置を衣服に柄をプリントする装置、処理を衣服に柄をプリントする処理、としたり、物体を石や岩、装置を石や岩を削って整形する装置、処理を石や岩を削って整形する処理、としてもよい。

すなわち、本発明に係るＡＲ表示装置は、カメラの撮影する現実空間において所定の物体を検出し、所定の物体に対して所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、検出された所定の物体に模擬画像を重ね合わせた拡張現実空間をＡＲ表示装置に表示させ、該ＡＲ表示装置に表示された拡張現実空間内の模擬画像に対してユーザが行った操作を検出し、検出された操作に応じて模擬画像を変更し、変更後の模擬画像に対応する処理結果を所定の装置で得るための設定情報を出力するものであれは、対象の物体、装置、処理は任意でよい。

たとえば、石を削る装置に対して、その削りかたを指定する出力イメージ画像を現実空間の石に投影した拡張現実空間を表示し、出力イメージ画像に対する変更の操作を受け付け、変更後の出力イメージ画像に対応して石を削り出すための設定情報を出力する、といった場合も本発明に含まれる。

実施の形態では、用紙の位置や姿勢をカメラ部４７の画像解析と距離センサ５４による各部までの距離の測定によって検出したが、検出方法はこれに限定されるものではない。

また、用紙に手や指などの指示体が触れているか否かを、用紙までの距離と手や指までの距離との差が許容範囲内か否かによって判定したが、判定方法はこれに限定されない。たとえば、ステレオカメラで撮影した映像を解析して判定してもよい。

実施の形態で示した出力設定前の用紙はコピーされる原稿でもよいし、印刷データに基づいて印刷された出力物でもよい。コピー原稿の場合、ユーザは本実施の形態に関わるヘッドマウントディスプレイ装置３０や携帯端末６０を使用して、コピーする前に出力設定に対応した仕上がり状態をＡＲ表示で確認して調整することができる。印刷データの場合には、次にその印刷データによる印刷に、出力設定に対応する付加処理を施した場合の処理結果をＡＲ表示で確認して調整することができる。

実施の形態では、外の様子にハーフミラー３５で画像を重ね合わせる方式のヘッドマウントディスプレイ装置３０を例示したが、装着すると外の様子を見ることができず、映し出される画像のみが見える、ＶＲ（Virtual Reality）型のヘッドマウントディスプレイ装置であってもよい。この場合は携帯端末６０と同様にカメラ画像に出力イメージ画像を合成した画像を表示すればよい。

２…ネットワーク
３…印刷システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…自動原稿搬送部
１７…認証部
２０…操作部
２１…表示部
２２…ネットワーク通信部
２３…画像読取部
２４…画像処理部
２５…プリンタ部
２６…ファクシミリ通信部
３０…ヘッドマウントディスプレイ装置
３１…表示部
３２…ブリッジ
３３…ツル
３４…基幹部
３５…ハーフミラー
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…方位センサー部
４６…投影部
４７…カメラ部
４８…操作部
５１…ネットワーク通信部
５２…画像処理部
５３…視線検出部
５４…距離センサ
５５…音声出力部
６０…携帯端末
６１…ＣＰＵ
６２…ＲＯＭ
６３…ＲＡＭ
６４…不揮発メモリ
６５…方位センサー部
６６…カメラ部
６７…認証部
６８…操作部
６９…表示部
７０…ネットワーク通信部
７１…画像処理部
７２…視線検出部
７３…距離センサ
７４…音声出力部
８１…出力設定前の用紙
８２…スタンプに係る出力設定後の用紙（調整前）
８３…スタンプに対応する出力イメージ画像
８４…スタンプに係る出力設定後の用紙（調整後）
８６…スタンプに係る出力設定後の用紙（調整後）
８８…設定をキャンセルした後の用紙（調整後）
９１…出力設定前の用紙
９２…センター消去処理に係る出力設定後の用紙（調整前）
９３…センター消去処理に対応する出力イメージ画像（調整前）
９３ｂ…センター消去処理に対応する出力イメージ画像（調整後）
９４…センター消去処理に係る出力設定後の用紙（調整後）
１０１…画像欠け範囲に係る出力設定後の用紙（調整前）
１０２…画像欠け範囲に係わる境界線の出力イメージ画像
１０３…画像欠け範囲に係る出力設定後の用紙（調整後）
１０５…地紋画像に係わる出力設定前の用紙
１０６…地紋画像に係わる出力設定後の用紙（調整前）
１０７…地紋画像に係わる出力イメージ画像
１０８…濃度調整後の地紋画像に係わる出力設定後の用紙（調整後）
１１０…地紋画像に係わる出力設定前の用紙
１１１…地紋画像に係わる出力設定後の用紙（調整前）
１１２…地紋画像に係わる出力イメージ画像
１１３…位置調整後の地紋画像に係わる出力設定後の用紙（調整後）
１２０…出力設定前の用紙
１２１…ステイプルに係る出力設定後の用紙（調整前）
１２２…ステイプルに対応する出力イメージ画像
１２３…ステイプルに係る出力設定後の用紙（調整後）
１２５…出力設定前の用紙
１２６…パンチ穴に係る出力設定後の用紙（調整前）
１２７…パンチ穴にステイプルに対応する出力イメージ画像
１２７ａ…上側のパンチ穴を示す出力イメージ画像
１２７ｂ…下側のパンチ穴を示す出力イメージ画像
１２８…パンチ穴に係る出力設定後の用紙（調整後）
１３０…処理内容設定装置
１３１…ＣＰＵ
１３２…ＲＯＭ
１３３…ＲＡＭ
１３４…不揮発メモリ
１３５…ハードディスク装置
１３６…操作表示装置
１３７…画像処理部
１３８…通信部
１３９…認証部
Ｌ１…外光
Ｌ２…画像光
Ｓ…中央部分の影

Claims

現実空間に画像を合成した拡張現実空間を表示するＡＲ表示装置であって、
現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ＡＲ表示部が表示する前記拡張現実空間に対応した現実空間に関する情報を取得する取得部と、
前記取得部が取得した現実空間の情報に対応する現実空間において所定の物体を検出する物体検出部と、
前記所定の物体に対して、前記ＡＲ表示装置とは別の所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、前記物体検出部によって検出された前記所定の物体に前記模擬画像を重ね合わせた拡張現実空間を前記ＡＲ表示部に表示させるＡＲ表示制御部と、
前記ＡＲ表示部に表示された前記拡張現実空間内の前記模擬画像に対してユーザが行った操作を検出する操作検出部と、
前記模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を前記所定の装置に出力する設定情報出力部と、
を備え、
前記ＡＲ表示制御部は、前記操作検出部によって検出された前記操作に応じて前記模擬画像を変更し、
前記設定情報出力部は、前記変更後の模擬画像に対応した設定情報を前記所定の装置に出力する
ことを特徴とするＡＲ表示装置。
前記設定情報出力部は、前記所定の装置において、所定の第１設定情報を、前記変更後の模擬画像に対応した前記設定情報に変更させる
ことを特徴とする請求項１に記載のＡＲ表示装置。
前記ＡＲ表示制御部は、前記模擬画像を用紙の姿勢に合わせて補正し、当該補正後の模擬画像を用紙に重ね合わせた拡張現実空間を前記ＡＲ表示部に表示させる
ことを特徴とする請求項１または２に記載のＡＲ表示装置。
前記取得部は、前記現実空間を撮影するカメラである
ことを特徴とする請求項１乃至３のいずれか１つに記載のＡＲ表示装置。
前記設定情報出力部は、前記変更後の模擬画像に対応した設定情報を前記所定の装置へ出力し、前記設定情報が示す設定内容を前記所定の装置に反映させる
ことを特徴とする請求項１乃至４のいずれか１つに記載のＡＲ表示装置。
前記操作検出部は、前記物体にユーザの指などの指示体が触れた状態あるいは前記指示体が前記物体に近接している状態で前記ユーザが行ったあるいは開始した、前記指示体による前記模擬画像に対する操作を検出する
ことを特徴とする請求項１乃至５のいずれか１つに記載のＡＲ表示装置。
前記模擬画像に対する操作は、前記模擬画像の、移動、サイズ調整、濃淡調整、消去のうちの少なくとも１つを指示する操作である
ことを特徴とする請求項１乃至６のいずれか１つに記載のＡＲ表示装置。
前記ＡＲ表示制御部は、前記操作によって前記模擬画像が前記所定の物体に重ならない位置に移動された場合は、前記模擬画像を消去する
ことを特徴とする請求項１乃至７のいずれか１つに記載のＡＲ表示装置。
前記所定の物体に対して前記所定の装置が施す処理内容を示す設定情報である設定情報を外部装置から取得する設定情報取得部を備え、
前記ＡＲ表示制御部は、前記設定情報取得部によって取得した前記設定情報に従って前記模擬画像を生成する
ことを特徴とする請求項１乃至８のいずれか１つに記載のＡＲ表示装置。
前記物体検出部は、前記取得部が取得した現実空間の情報に対応する現実空間に存在する前記所定の物体をその姿勢を含めて検出し、
前記ＡＲ表示制御部は、前記所定の物体の姿勢に合わせて補正した前記模擬画像を、前記所定の物体に重ね合わせた拡張現実空間を前記表示部に表示させる
ことを特徴とする請求項１乃至９のいずれか１つに記載のＡＲ表示装置。
前記所定の装置は、印刷装置であり、
前記所定の物体は、用紙である
ことを特徴とする請求項１乃至１０のいずれか１つに記載のＡＲ表示装置。
前記所定の処理は、印刷対象の画像にスタンプ画像を付加する処理、本を見開いてコピーしたときに中央に生じる影を消去するセンター消去処理、印刷範囲を調整する処理、地紋画像を合成する処理、綴じ穴をあける処理、ステイプルで綴じる処理のうちの少なくとも１つを含む
ことを特徴とする請求項１１に記載のＡＲ表示装置。
現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間に関する情報を取得する取得部とを備えたＡＲ表示装置の前記取得部が取得した現実空間の情報に対応する現実空間において所定の物体を検出する物体検出部と、
前記所定の物体に対して、前記ＡＲ表示装置とは別の所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、前記物体検出部によって検出された前記所定の物体に前記模擬画像を重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる表示制御部と、
前記ＡＲ表示装置に表示された前記拡張現実空間内の前記模擬画像に対してユーザが行った操作を検出する操作検出部と、
前記模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を前記所定の装置に出力する設定情報出力部と、
を備え、
前記表示制御部は、前記操作検出部によって検出された前記操作に応じて前記模擬画像を変更し、
前記設定情報出力部は、前記変更後の模擬画像に対応した設定情報を前記所定の装置に出力する
ことを特徴とする処理内容設定装置。
前記設定情報出力部は、前記所定の装置において、所定の第１設定情報を、前記変更後の模擬画像に対応した前記設定情報に変更させる
ことを特徴とする請求項１３に記載の処理内容設定装置。
前記表示制御部は、前記模擬画像を用紙の姿勢に合わせて補正し、当該補正後の模擬画像を用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とする請求項１３または１４に記載の処理内容設定装置。
前記取得部は、前記現実空間を撮影するカメラである
ことを特徴とする請求項１３乃至１５のいずれか１つに記載の処理内容設定装置。
前記設定情報出力部は、前記変更後の模擬画像に対応した設定情報を前記所定の装置へ出力し、前記設定情報が示す設定内容を前記所定の装置に反映させる
ことを特徴とする請求項１３乃至１６のいずれか１つに記載の処理内容設定装置。
前記操作検出部は、前記物体にユーザの指などの指示体が触れた状態あるいは前記指示体が前記物体に近接している状態で前記ユーザが行ったあるいは開始した、前記指示体による前記模擬画像に対する操作を検出する
ことを特徴とする請求項１３乃至１７のいずれか１つに記載の処理内容設定装置。
前記模擬画像に対する操作は、前記模擬画像の、移動、サイズ調整、濃淡調整、消去のうちの少なくとも１つを指示する操作である
ことを特徴とする請求項１３乃至１８のいずれか１つに記載の処理内容設定装置。
前記表示制御部は、前記操作によって前記模擬画像が前記所定の物体に重ならない位置に移動された場合は、前記模擬画像を消去する
ことを特徴とする請求項１３乃至１９のいずれか１つに記載の処理内容設定装置。
前記所定の物体に対して前記所定の装置が施す処理内容を示す設定情報である設定情報を外部装置から取得する設定情報取得部を備え、
前記表示制御部は、前記設定情報取得部によって取得した前記設定情報に従って前記模擬画像を生成する
ことを特徴とする請求項１３乃至２０のいずれか１つに記載の処理内容設定装置。
前記物体検出部は、前記取得部が取得した現実空間の情報に対応する現実空間に存在する前記所定の物体をその姿勢を含めて検出し、
前記表示制御部は、前記所定の物体の姿勢に合わせて補正した前記模擬画像を、前記所定の物体に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とする請求項１３乃至２１のいずれか１つに記載の処理内容設定装置。
前記所定の装置は、印刷装置であり、
前記所定の物体は、用紙である
ことを特徴とする請求項１３乃至２２のいずれか１つに記載の処理内容設定装置。
前記所定の処理は、印刷対象の画像にスタンプ画像を付加する処理、本を見開いてコピーしたときに中央に生じる影を消去するセンター消去処理、印刷範囲を調整する処理、地紋画像を合成する処理、綴じ穴をあける処理、ステイプルで綴じる処理のうちの少なくとも１つを含む
ことを特徴とする請求項２３に記載の処理内容設定装置。
現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間に関する情報を取得する取得部とを備えたＡＲ表示装置にて、所定の物体に、前記ＡＲ表示装置とは別の所定の装置が施す処理内容の設定を受ける処理内容設定方法であって、
前記取得部が取得した現実空間の情報に対応する現実空間において所定の物体を検出するステップと、
前記所定の物体に対して前記所定の装置が所定の処理を施した場合の処理結果を模擬的に示した模擬画像を生成し、前記検出された前記所定の物体に前記模擬画像を重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させるステップと、
前記ＡＲ表示装置に表示された前記拡張現実空間内の前記模擬画像に対してユーザが行った操作を検出するステップと、
前記検出された前記操作に応じて前記模擬画像を変更するステップと、
前記変更後の模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を前記所定の装置に出力するステップと
を有する
ことを特徴とする処理内容設定方法。
前記出力するステップでは、前記所定の装置において、所定の第１設定情報を、前記変更後の模擬画像に対応した前記設定情報に変更させる
ことを特徴とする請求項２５に記載の処理内容設定方法。
前記表示させるステップでは、前記模擬画像を用紙の姿勢に合わせて補正し、当該補正後の模擬画像を用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とする請求項２５または２６に記載の処理内容設定方法。
前記取得部は、前記現実空間を撮影するカメラである
ことを特徴とする請求項２５乃至２７のいずれか１つに記載の処理内容設定方法。
前記変更後の模擬画像に対応する処理結果を前記所定の装置で得るための設定情報を出力するステップにおいて、前記設定情報を前記所定の装置へ出力し、前記設定情報が示す設定内容を前記所定の装置に反映させる
ことを特徴とする請求項２５乃至２８のいずれか１つに記載の処理内容設定方法。
前記検出するステップでは、前記物体にユーザの指などの指示体が触れた状態あるいは前記指示体が前記物体に近接している状態で前記ユーザが行ったあるいは開始した、前記指示体による前記模擬画像に対する操作を検出する
ことを特徴とする請求項２５乃至２９のいずれか１つに記載の処理内容設定方法。
情報処理装置を、
請求項１乃至１２のいずれか１つに記載のＡＲ表示装置もしくは請求項１３乃至２４のいずれか１つに記載の処理内容設定装置として機能させる
ことを特徴とするプログラム。