JP6888435B2 - 印刷システム、表示装置、表示装置の制御方法及びプログラム - Google Patents

Description

本発明は、印刷システム、表示装置、表示装置の制御方法及びプログラムに関する。

従来より、印刷画像データに基づいて用紙に画像を形成し、画像が形成された用紙を印刷物として出力する画像形成装置が知られている。画像形成装置を用いることにより、ユーザーは希望とする印刷物を簡易にかつ迅速に得ることができる。この類の画像形成装置は、印刷物を出力する機能のみならず、画像形成装置において再現される色調、すなわち、画像形成に係る色調を調整する機能も備えている。

なお、例えば特許文献１には、仮想物体を現実世界の映像の中に重畳させる表示装置が開示されている。この表示装置は、マーカーの色彩情報と、カメラで取得したマーカー色を比較して、変換式を作成し、表示する仮想物体の色彩を変換している。

特開２０１０−１７０３１６号公報

ところで、印刷物を設置場所（現実環境）に設置した場合には、照明の当たり方や影の付き方といった設置場所の環境によって、ユーザーが意図した見え方（色調）とは異なる色調で印刷物が見えてしまうことがある。この場合、設置場所の環境に合った印刷物の色調を得るために、画像形成装置において再現される色調を調整した上で印刷物を改めて出力し、設置場所において印刷物の色調を確認する必要がある。そのため、所望とする印刷物を得るために手間がかかるという不都合がある。また、色調を調整して印刷物を出力しても、意図した見え方になっていない場合は、調整（印刷）と設置場所での色調の確認とを何度も繰り返す必要がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、様々な設置環境にあっても、ユーザーが意図する色調の印刷物を簡単に得ることができる印刷システム、表示装置、表示装置の制御方法及びプログラムを提供することである。

かかる課題を解決するために、第１の発明は、画像形成装置と、現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置と、を有する印刷システムを提供する。この場合、画像形成装置は、印刷物を出力するプリンター部と、プリンター部を制御する印刷制御部と、を有し、印刷制御部は、印刷物を出力するための印刷画像データに基づいてマーカーを印刷出力するマーカー出力処理と、印刷調整値に応じてプリンター部において表現される色調を調整する調整処理と、を実行する。また、表示装置は、表示部と、所定の撮像範囲を撮像し、撮像画像を出力する撮像部と、印刷物を設置する設置場所に配置されたマーカーを撮像部により撮像したマーカー撮像画像においてマーカーの位置を検出するマーカー検出部と、マーカー撮像画像におけるマーカーの色データと、印刷画像データにおけるマーカーの色データとの色差を演算する色差演算部と、印刷画像データを再現した仮想オブジェクトを、マーカーの位置に基づいて表示部に表示するオブジェクト表示部と、色差演算部において演算された色差に基づいて、表示部に表示される仮想オブジェクトの色調を調整するオブジェクト調整値を設定するオブジェクト調整部と、オブジェクト調整部において設定されたオブジェクト調整値に基づいて、画像形成装置において利用される印刷調整値を演算する印刷調整部と、を有している。

ここで、第１の発明において、印刷調整部は、ユーザーの操作を通じて確定指令が入力された場合に、印刷調整値を画像形成装置に出力することが好ましい。

また、第１の発明において、オブジェクト調整部は、設置場所の環境による色調の変動を吸収するようにオブジェクト調整値を設定することが好ましい。

また、第１の発明において、オブジェクト調整部は、ユーザーの操作を通じて入力された入力値に応じてオブジェクト調整値を設定することが好ましい。

また、第１の発明において、マーカー出力処理は、印刷画像データ全体のなかの一部分の領域であるマーカー領域に基づいてマーカーを印刷出力する処理であり、仮想オブジェクトは、印刷画像データ全体のうちマーカー領域を除いた残部の領域を再現したオブジェクトであることが好ましい。

また、第１の発明において、マーカー領域は、印刷画像データ全体を一定のサイズで分割した複数の部分領域の中から選択された１つの領域であり、表示装置は、部分領域毎に、代表色を特定し、当該特定した代表色を部分領域に関連付ける関連付け処理と、マーカー領域の代表色に対して、所定の閾値よりも色差が大きい代表色が関連付けられた部分領域をマーカー領域として追加するマーカー設定処理と、を実行するマーカー処理部をさらに有することが好ましい。

また、第１の発明において、表示装置は、印刷画像データにおいて画像を構成する構成要素を認識する認識処理と、認識処理により識別された一つ以上の構成要素毎に、当該構成要素についての代表色を特定し、当該特定した代表色を構成要素に関連付ける関連付け処理と、マーカー領域の代表色に対して、所定の閾値よりも色差が大きい代表色が関連付けられた構成要素をマーカー領域として追加するマーカー設定処理と、を実行するマーカー処理部をさらに有することが好ましい。

この場合、代表色は、領域における再頻出の色データ、又は領域における平均色データであることが好ましい。

また、第１の発明において、表示装置は、印刷物を設置する設置場所を撮像部で撮影した撮像画像に基づいて、印刷物の設置範囲を一定のサイズで分割した複数の部分領域を設定し、当該部分領域同士で明度差を計算し、所定の閾値よりも明度差が大きい部分領域の組み合わせが検出された場合に、組み合わせに係る部分領域のそれぞれをマーカー領域として設定するマーカー処理部をさらに有することが好ましい。

また、第１の発明において、オブジェクト調整部は、マーカー領域が複数存在する場合、各マーカー領域について演算されたオブジェクト調整値に、各マーカー領域から部分領域までの距離に応じた重み付けを行って、オブジェクト調整値を設定することが好ましい。

また、第２の発明は、現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置を提供する。この表示装置は、表示部と、印刷物を出力するための印刷画像データに基づいて画像形成装置が印刷出力したマーカーを、印刷物を設置する設置場所に配置した状態で撮像を行い、マーカー撮像画像を出力する撮像部と、撮像部により撮像したマーカー撮像画像においてマーカーの位置を検出するマーカー検出部と、マーカー撮像画像におけるマーカーの色データと、印刷画像データにおけるマーカーの色データとの色差を演算する色差演算部と、印刷画像データを再現した仮想オブジェクトを、マーカーの位置に基づいて表示部に表示するオブジェクト表示部と、色差演算部において演算された色差に基づいて、表示部に表示される仮想オブジェクトの色調を調整するオブジェクト調整値を設定するオブジェクト調整部と、オブジェクト調整部において設定されたオブジェクト調整値に基づいて、画像形成装置において表現される色調を調整するための印刷調整値を演算する印刷調整部と、を有している。

また、第３の発明は、現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置の制御方法を提供する。この制御方法は、表示装置が、印刷物を出力するための印刷画像データに基づいて画像形成装置が印刷出力したマーカーを、印刷物を設置する設置場所に配置した状態で撮像を行ったマーカー撮像画像を取得する工程と、マーカー撮像画像においてマーカーの位置を検出する工程と、マーカー撮像画像におけるマーカーの色データと、印刷画像データにおけるマーカーの色データとの色差を演算する工程と、印刷画像データを再現した仮想オブジェクトを、マーカーの位置に基づいて表示部に表示する工程と、演算された色差に基づいて、表示部に表示される仮想オブジェクトの色調を調整するオブジェクト調整値を設定する工程と、設定されたオブジェクト調整値に基づいて、画像形成装置において表現される色調を調整するための印刷調整値を演算する工程と、を実行する。

また、第４の発明は、現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置に、印刷物を出力するための印刷画像データに基づいて画像形成装置が印刷出力したマーカーを、印刷物を設置する設置場所に配置した状態で撮像を行ったマーカー撮像画像を取得する工程と、マーカー撮像画像においてマーカーの位置を検出する工程と、マーカー撮像画像におけるマーカーの色データと、印刷画像データにおけるマーカーの色データとの色差を演算する工程と、印刷画像データを再現した仮想オブジェクトを、マーカーの位置に基づいて表示部に表示する工程と、演算された色差に基づいて、表示部に表示される仮想オブジェクトの色調を調整するオブジェクト調整値を設定する工程と、設定されたオブジェクト調整値に基づいて、画像形成装置において表現される色調を調整するための印刷調整値を演算する工程と、を実行させることを特徴とするプログラムを提供する。

本発明によれば、様々な設置環境にあっても、ユーザーが意図する色調の印刷物を簡単に得ることができる。

第１の実施形態に係る印刷システムの構成を模式的に示す説明図 第１の実施形態に係る画像形成装置の構成を示すブロック図 マーカーを説明する説明図 第１の実施形態に係る表示装置の構成を示すブロック図 表示制御部の機能を示すブロック図 色調調整処理における表示装置の動作を示すフローチャート 仮想オブジェクトの説明図 仮想オブジェクトの説明図 第２の実施形態に係る表示制御部の構成を示すブロック図 第２の実施形態に係る表示装置の動作を示すフローチャート オブジェクト調整値の決定処理の概念を示す説明図 マーカー領域の設定処理の概念を示す説明図 マーカー領域の設定処理の概念を示す説明図

（第１の実施形態）
図１は、本実施形態に係る印刷システム１の構成を模式的に示す説明図である。本実施形態に係る印刷システム１は、画像形成装置１０と、表示装置５０とで構成されている。画像形成装置１０と表示装置５０とは、無線通信又は有線無線などの通信手法により、互いに通信可能に構成されている。

画像形成装置１０は、用紙に画像を形成し、画像が形成された用紙を印刷物として出力する。この画像形成装置１０は、原稿を光学的に読み取って、読み取った画像データに応じた印刷物を出力するコピージョブ、読み取った画像データをファイルにして保存したり外部装置へ送信したりするスキャンジョブ、外部装置から送信された印刷データ（画像データ）に応じた印刷物を出力するプリントジョブなどのジョブを実行する機能を備えている。

表示装置５０は、拡張現実（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ））を利用した表示装置であり、現実環境に配置されたマーカーを基準に仮想オブジェクトＶＯ（後述する図７参照）を表示する。本実施形態に係る表示装置５０は、グラス型のウェアラブルデバイスであり、ユーザーの頭部に装着され、ユーザーの視界に仮想オブジェクトＶＯを表示する。

印刷システム１において、ユーザーは、画像形成装置１０を用いて希望とする印刷物を出力することができる。また、ユーザーは、表示装置５０を利用することで、画像形成装置１０を用いて印刷物を実際に出力することなく、その印刷物が設置場所においてどのように見えるのかをシミュレートすることができる。

図２は、本実施形態に係る画像形成装置１０の構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１を有している。ＣＰＵ１１には、バスを通じて、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、不揮発性メモリ１３、ハードディスク装置１４、画像処理部１６、画像読取部１７、自動原稿搬送部１８、プリンター部１９、ファクシミリ通信部２０、有線通信部２１、無線通信部２２、操作パネル２３などが接続されている。

ＣＰＵ１１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）をベースとし、その上で、各種のプログラムなどを実行する。不揮発性メモリ１３には、画像形成装置１０を起動するためのプログラムが格納されており、このプログラムに従って起動する。その後、ＣＰＵ１１は、ハードディスク装置１４に格納されているプログラムをＲＡＭ１２にロードし、そのロードされたプログラムに従って各種の処理を実行することで画像形成装置１０が備える種々の機能を実現する（プロセッサ）。

ＲＡＭ１２は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納する作業用の記憶領域である。

不揮発性メモリ１３は、電源がオフにされても記憶が保持できる、書き換え可能なメモリである。不揮発性メモリ１３は、ＣＰＵ１１が実行する各種プログラムを、当該ＣＰＵ１１が読み取り可能なプログラムコードの形態で格納する。また、不揮発性メモリ１３は、プログラムの実行や画像形成装置１０の管理に必要となるデータを記憶する。このデータには、メンテナンスにおいて必要となるカウンター値や、操作パネル２３を通じてユーザーにより設定されるユーザー設定情報などが含まれている。また、不揮発性メモリ１３は、コピー、プリント又はスキャンにおける画像データのバッファメモリとしても機能する。

ハードディスク装置１４は、大容量不揮発の記憶装置であり、ＯＳプログラムや各種アプリケーションプログラム、各種のジョブ履歴、後述するマーカーデータ等が保存される。また、ハードディスク装置１４には、画像形成装置１０の一連の制御をＣＰＵ１１が実行するためのプログラム（自装置でのジョブ処理の動作を制御するためのプログラム等）が格納されている。

画像処理部１６は、画像読取部１７から出力される画像データに対して所定の処理、例えば画像の拡大縮小、回転などの処理を行う。また、画像処理部１６は、印刷データを画像データに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

画像読取部１７は、原稿台上に載置された原稿、又は自動原稿搬送部１８により搬送された原稿を光学的に読み取って画像データを取得する。画像読取部１７は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えている。

プリンター部１９は、画像データに応じた画像を用紙に形成し、画像が形成された用紙を印刷物として出力する。本実施形態に係るプリンター部１９は、例えば電子写真プロセスを用いる構成であり、用紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有している。もっとも、プリンター部１９は、他の方式を用いる構成であってもよい。

ファクシミリ通信部２０は、ファクシミリ（ＦＡＸ（Ｆａｃｓｉｍｉｌｅ））機能を備えた外部装置と公衆回線を通じて画像データを送受信する機能を果たす。

有線通信部２１は、ケーブルで接続される各種の外部装置と直接通信したり、ケーブルで接続されるネットワークを介して各種の外部装置と通信したりするモジュールである。

無線通信部２２は、無線で接続される各種の外部装置と直接通信したり、無線で接続されるネットワークを介して各種の外部装置と通信したりするモジュールである。例えば無線通信部２２は、近距離無線通信を用いて外部装置と直接通信する。本実施形態において、無線通信部２２は、表示装置５０との通信に利用される。

操作パネル２３は、ユーザーの操作を受け付ける入力部であり、例えば、ディスプレイ及び当該ディスプレイ上に表示される情報に従い情報の入力を行うことが可能なタッチパネル、各種のスイッチ及びボタンを含む。操作パネル２３から入力された情報は、ＣＰＵ１１によって取得される。ユーザーは、操作パネル２３に対する操作を介して、印刷ジョブを発行することができる。また、操作パネル２３は、ＣＰＵ１１に制御されることにより、ユーザーに種々の情報を表示する表示部としても機能する。

この画像形成装置１０において、ＣＰＵ１１を含むプロセッサと、ＲＡＭ１２、不揮発性メモリ１３などを含むメモリとにより印刷制御部２４が構成され、当該印刷制御部２４により、マーカー出力処理、調整処理などの各種の処理が実行される。これらの処理は、ＣＰＵ１１がプログラムを実行して各ハードウェアを動作させることで実現される。なお、印刷制御部２４が実行する各処理は、回路等を含むハードウェアにより実現されてもよい。

マーカー出力処理は、印刷物を出力するための画像データ（以下「印刷画像データ」という）、具体的には、後述するマーカー画像データに基づいて、マーカーを印刷出力する。マーカーは、表示装置５０において仮想オブジェクトＶＯを表示するための目印として機能するものであり、ユーザーが印刷物を設置する設置場所（現実環境）に配置して利用される。

図３は、マーカーを説明する説明図である。ハードディスク装置１４は、マーカーに関する情報を規定したマーカーデータを格納している。マーカーは、印刷画像データ全体Ｒｗｈのなかの一部分の領域であるマーカー領域Ｒｍｋに基づいて印刷出力される。本実施形態では、マーカー領域Ｒｍｋは、印刷画像データ全体Ｒｗｈを一定のサイズで分割した複数の部分領域のうち、１つの部分領域に相当する。例えば複数の部分領域は、印刷画像データ全体Ｒｗｈをマトリクス状に分割した９つの部分領域Ｒ０１〜Ｒ０９から構成されている。マーカー領域Ｒｍｋは、中央に位置する部分領域Ｒ０５が設定されている。マーカーデータには、印刷画像データ全体Ｒｗｈ、マーカー領域Ｒｍｋに関する印刷画像データ（以下「マーカー画像データ」という）、印刷画像データ全体Ｒｗｈにおけるマーカー領域Ｒｍｋの位置情報などが含まれている。

調整処理は、印刷調整値に応じて、プリンター部１９において表現される色調（主に明度をいう（以下同じ））を調整する処理である。調整処理により、プリンター部１９から出力される印刷物の色調を変更することができる。印刷調整値は、表示装置５０から出力される。

図４は、本実施形態に係る表示装置５０の構成を示すブロック図である。表示装置５０は、当該表示装置５０の動作を統括的に制御するＣＰＵ５１を有している。ＣＰＵ５１には、バスを通じて、ＲＡＭ５２、不揮発性メモリ５３、撮像部５４、表示部５５、操作部５６、無線通信部５７などが接続されている。

ＣＰＵ５１は、ＯＳをベースとし、その上で、各種のプログラムなどを実行する。不揮発性メモリ５３には、表示装置５０を起動するためのプログラムが格納されており、このプログラムに従って起動する。その後、ＣＰＵ５１は、不揮発性メモリ５３に格納されているプログラムをＲＡＭ５２にロードし、そのロードされたプログラムに従ってＣＰＵ５１が各種処理を実行することで表示装置５０としての各機能が実現される。

ＲＡＭ５２は、ＣＰＵ５１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納する作業用の記憶領域である。

不揮発性メモリ５３は、電源がオフにされても記憶が保持できる書き換え可能なメモリである。不揮発性メモリ５３は、ＣＰＵ５１が実行する各種プログラムを、当該ＣＰＵ５１が読み取り可能なプログラムコードの形態で格納する。また、不揮発性メモリ５３は、プログラムの実行や表示装置５０の管理に必要となるデータを記憶する。

撮像部５４は、所定の撮像範囲を撮像し、撮像画像を出力する。撮像部５４は、いわゆるデジタルカメラであり、レンズで集められた光を撮像素子上に結像させ、光を電気信号へと変換する。撮像素子としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子を用いることができる。撮像部５４における撮像範囲は、表示装置５０を頭部に装着したユーザーの視界、或いは、当該視界のうち前方付近の範囲と対応している。

表示部５５は、ユーザーの片方の眼に対応して設けられている。表示部５５は、画像（仮想オブジェクトＶＯ）を表示するディスプレイと、眼の前方に配置され、外界の景色とともにディスプレイに表示される画像をユーザーの眼に導くレンズ部材とで構成されている。

表示部５５に表示される画像はユーザーの眼に導かれ、ユーザーは拡張現実としての画像（仮想オブジェクトＶＯ）を視認する。ユーザーは、視界のうち画像が表示された部分については、画像を見ることができる。また、視界のうち画像が表示されていない部分については、外界（現実環境）を見ることができる。

なお、表示部５５は、ディスプレイのみで構成し、撮像部５４が撮像した撮像画像に仮想オブジェクトＶＯを重畳的に表示するものであってもよい。すなわち、外界を透過的に視認するのではなく、撮像画像を通じて視認するようなものであってもよい。

操作部５６は、ユーザーによって操作される操作デバイスである。操作部５６としては、ボタン、スイッチ、タッチパネルなどの種々の形態を用いることができる。ユーザーは操作部５６を介して、所定の指令などを入力することができる。

無線通信部５７は、無線で接続される各種の外部装置と直接通信したり、無線で接続されるネットワークを介して各種の外部装置と通信したりするモジュールである。例えば無線通信部５７は、近距離無線通信を用いて外部装置と直接通信する。

表示装置５０において、ＣＰＵ５１を含むプロセッサと、ＲＡＭ５２、不揮発性メモリ５３などを含むメモリとにより表示制御部５８が構成され、当該表示制御部５８により各種の処理が実行される。これらの処理は、ＣＰＵ５１がプログラムを実行して各ハードウェアを動作させることで実現される。

図５は、表示制御部５８の機能を示すブロック図である。表示制御部５８は、これを機能的に捉えた場合、マーカー検出部５９と、色差演算部６０と、オブジェクト表示部６１と、オブジェクト調整部６２と、印刷調整部６３と、を有している。表示制御部５８が実行する各種の処理は、これらの各機能により実現される。なお、表示制御部５８が備える各機能は、回路等を含むハードウェアにより実現されてもよい。

マーカー検出部５９は、撮像部５４により撮像した撮像画像においてマーカーの位置を検出する。

色差演算部６０は、マーカーを撮像部５４により撮像したマーカー撮像画像に含まれるマーカーの色データと、印刷画像データから特定されるマーカーの色データとの色差（すなわち、明度差）を演算する。

オブジェクト表示部６１は、印刷画像データを再現した仮想オブジェクトＶＯを、マーカーの位置に基づいて表示部５５に表示する。本実施形態において、仮想オブジェクトＶＯは、印刷画像データ全体Ｒｗｈのうちマーカー領域Ｒｍｋを除いた残部の部分領域Ｒ０１〜Ｒ０４，Ｒ０６〜Ｒ０９から構成されている。

オブジェクト調整部６２は、表示部５５に表示される仮想オブジェクトＶＯの色調を調整するオブジェクト調整値を設定する。表示部５５に表示される仮想オブジェクトＶＯは、オブジェクト調整部６２において設定されるオブジェクト調整値に従った色調となる。

印刷調整部６３は、オブジェクト調整値に基づいて、プリンター部１９において表現される色調を調整するための印刷調整値を演算する。

以下、本実施形態に係る印刷システム１の動作、すなわち、印刷物の色調調整処理について説明する。この印刷システム１は、所定の設置場所に設置する印刷物を、画像形成装置１０により出力するユーザーによって利用される。画像形成装置１０には、ユーザーが印刷を希望する印刷物の画像データ、すなわち、印刷画像データが入力されている。また、ハードディスク装置１４には、印刷画像データに応じたマーカーデータ（マーカー画像データなどを含む）が格納されている。

まず、ユーザーは、画像形成装置１０の操作パネル２３への操作を通じて、マーカーを出力するための指令を入力する。この指令を受けて、印刷制御部２４は、マーカー画像データに基づいてマーカーを印刷出力する。画像形成装置１０からマーカーが出力されると、ユーザーは、印刷物の設置場所にマーカーを設置する。

つぎに、ユーザーは、表示装置５０を利用して、設置場所の環境に拘わらず本来の色調で印刷物が視認されるように、当該印刷物を出力する画像形成装置１０の色調を調整する。ここで、図６は、色調調整処理における表示装置５０の動作を示すフローチャートである。表示装置５０は、当該処理を行うにあたり、画像形成装置１０と通信を行い、マーカーデータを参照することができる。

まず、ステップ１０（Ｓ１０）において、マーカー撮像画像が取得される。マーカー撮像画像は、マーカー及びその周囲を含む範囲を撮像部５４により撮像することで取得される。

ステップ１１（Ｓ１１）において、マーカー検出部５９は、マーカー撮像画像においてマーカーの位置を検出する。

ステップ１２（Ｓ１２）において、色差演算部６０は、マーカー撮像画像に含まれるマーカーの色データと、印刷画像データから特定されるマーカーの色データとを比較し、両者の色差を演算する。

また、ステップ１２において色差が演算されると、オブジェクト調整部６２は、演算された色差に基づいて、オブジェクト調整値を第１次的に設定する。具体的には、オブジェクト調整部６２は、印刷画像データを基準とする仮想オブジェクトＶＯの色調が、マーカー撮像画像に含まれるマーカーの色調と一致するように、オブジェクト調整値を設定する。これにより、仮想オブジェクトＶＯには、設置場所に実際に設置された状態での印刷物の色調が表現される。

ステップ１３（Ｓ１３）において、オブジェクト表示部６１は、仮想オブジェクトＶＯを、マーカーの位置に基づいて表示部５５に表示する。ユーザーは、表示部５５を通じて、設置場所（現実環境）にあるマーカーＭと、その周囲に存在するように表示された仮想オブジェクトＶＯとを視認することができる（図７参照）。

この際、表示部５５に表示された仮想オブジェクトＶＯは、マーカーを基準に設定されたオブジェクト調整値（第１次的に設定されたオブジェクト調整値）に従って表示される。具体的には、部分領域Ｒ０１〜Ｒ０４，Ｒ０６〜Ｒ０９に対応する仮想オブジェクトＶＯ毎に、当該仮想オブジェクトＶＯの色調がオブジェクト調整値に従って変更される。これにより、仮想オブジェクトＶＯの色調は、印刷画像データを基準とする色調ではなく、設置場所にあるマーカーＭの色調に合わせたものとなる。したがって、ユーザーは、マーカーのみを設置場所に設置することで、印刷物の全部を設置場所に設置することなく、当該設置場所に設置された状態の印刷物の見え方を把握することができる。

ステップ１４（Ｓ１４）において、オブジェクト調整部６２は、オブジェクト調整値を自動的に設定する自動調整が選択されているかを判断する。調整モードの選択は、操作部５６への操作を通じてユーザーが行うことができる。自動調整が選択されている場合には、ステップ１４において肯定判定され、ステップ１５（Ｓ１５）に進む。一方、自動調整が選択されていない場合、すなわち、オブジェクト調整値を手動で設定する手動調整が選択されている場合には、ステップ１４において否定判定され、ステップ１６（Ｓ１６）に進む。

ステップ１５において、オブジェクト調整部６２は、色差演算部６０において演算された色差に基づいて、オブジェクト調整値を第２次的に設定する。具体的には、オブジェクト調整部６２は、第１次的に設定されたオブジェクト調整値に従った仮想オブジェクトＶＯの色調が、印刷画像データを基準とする仮想オブジェクトＶＯの色調と一致するように、オブジェクト調整値を演算し、設定する。すなわち、第１次的に設定されるオブジェクト調整値と、第２次的に設定されるオブジェクト調整値とでは、色調の調整方向が真逆となる。したがって、第２次的に設定されるオブジェクト調整値は、設置場所の環境による印刷物の色調の変動を吸収する働きを持っている。

ステップ１６において、オブジェクト調整部６２は、操作部５６を通じて入力された入力値をオブジェクト調整値として取得し、この入力値に応じてオブジェクト調整値を第２次的に設定する。

ステップ１７（Ｓ１７）において、印刷調整部６３は、第２次的に設定されたオブジェクト調整値に基づいて、画像形成装置１０（プリンター部１９）において表現される色調を調整するための印刷調整値を演算する。ステップ１７において演算される印刷調整値は、第２次的なオブジェクト調整値による仮想オブジェクトＶＯの色調の調整量に応じた調整量を備えている。

ステップ１８（Ｓ１８）において、オブジェクト表示部６１は、仮想オブジェクトＶＯを表示部５５に再表示する。ユーザーは、表示部５５を通じて、設置場所（現実環境）にあるマーカーＭと、その周囲に存在するように表示された仮想オブジェクトＶＯとを視認することができる（図８参照）。

この際、表示部５５に表示された仮想オブジェクトＶＯは、マーカーを基準に設定されたオブジェクト調整値（第２次的に設定されたオブジェクト調整値）に従って表示される。具体的には、各部分領域Ｒ０１〜Ｒ０４，Ｒ０６〜Ｒ０９に対応する仮想オブジェクトＶＯ毎に、当該仮想オブジェクトＶＯの色調がオブジェクト調整値に従って変更される。これにより、ユーザーは、表示部５５に表示される仮想オブジェクトＶＯの色調を通じて、印刷物の色調がユーザーの希望する色調と合致しているかどうかを判断することができる。

ステップ１９（Ｓ１９）において、オブジェクト調整部６２は、色調調整の終了が選択されているか否かを判断する。色調調整の終了の選択は、操作部５６への操作を通じてユーザーが行うことができる。色調調整の終了が選択されている場合には、ステップ１９において肯定判定され、ステップ２０（Ｓ２０）に進む。一方、色調調整の終了が選択されていない場合、すなわち、色調調整の継続が選択されている場合には、ステップ１９において否定判定され、ステップ１４に戻る。

ステップ２０（Ｓ２０）において、印刷調整部６３は、ステップ１９において色調調整の終了が選択されたことをもって、印刷調整値の確定指令が入力されたものと判断する。そして、印刷調整部６３は、ステップ１７において演算された印刷調整値を、画像形成装置１０へと出力する。

印刷調整値を取得した印刷制御部２４は、当該印刷調整値に基づいて、プリンター部１９において表現される色調（明るさ）を調整する。このように色調が調整されたプリンター部１９において印刷物を出力し、当該印刷物を設置場所に設置すると、その設置場所の環境に左右されることなく、ユーザーが希望する本来の色調で印刷物を視認することができる。

このように本実施形態において、印刷システム１を構成する表示装置５０は、表示部５５と、撮像部５４と、マーカー検出部５９と、色差演算部６０と、オブジェクト表示部６１と、オブジェクト調整部６２と、印刷調整部６３と、を有している。

この構成によれば、色差演算部６０において演算された色差に基づいて、表示部５５に表示される仮想オブジェクトＶＯの色調を調整することができる。これにより、印刷物が設置場所に設置された場合にどのように見えるかをシミュレートしたり、画像形成装置の色調を調整した場合に印刷物がユーザーの意図していた見え方になっているかをシミュレートしたりすることができる。これにより、調整（印刷）と設置場所での色調の確認とを何度も繰り返すといった必要がない。その結果、様々な設置環境にあっても、ユーザーが意図する色調の印刷物を簡単に得ることができる。

また、本実施形態の表示装置５０によれば、画像形成装置１０固有の色調特性を吸収することができる。これにより、本印刷システム１が適用される画像形成装置１０により印刷物を出力するケースでは、画像形成装置１０固有の色調特性に拘わらず、ユーザーが意図する色調の印刷物を簡単に得ることができる。

また、本実施形態では、ユーザーの操作を通じて確定指令が入力された場合に、印刷調整値を画像形成装置１０に出力している。

これにより、ユーザーの意思を調整プロセスに適切に反映することができる。

また、本実施形態では、オブジェクト調整部６２は、設置場所の環境による色調の変動を吸収するように前記オブジェクト調整値を設定している（自動調整）。

この構成によれば、本来の印刷物が有する色調を自動的に得ることができる。これにより、ユーザーにかかる操作負担を軽減することができる。

また、本実施形態では、オブジェクト調整部６２は、ユーザーの操作を通じて入力された入力値に応じてオブジェクト調整値を設定している（手動調整）。

この構成によれば、ユーザーの希望に沿った色調を得ることができるので、ユーザーのニーズに即した印刷物を得ることができる。

また、本実施形態において、マーカー出力処理は、印刷画像データ全体Ｒｗｈのなかの一部分の領域であるマーカー領域Ｒｍｋに基づいてマーカーを印刷出力する処理である。そして、仮想オブジェクトＶＯは、印刷画像データ全体Ｒｍｋのうちマーカー領域Ｒｍｋを除いた残部の領域を再現したオブジェクトである。

この構成によれば、印刷物の一部をマーカーとして利用することができるので、印刷物の全部を設置場所に設置して調整を行うといった煩わしさがない。これにより、ポスターといった大型の印刷物についても容易に色調の調整を行うことができる。

（第２の実施形態）
以下、第２の実施形態に係る印刷システム１について説明する。この第２の実施形態に係る印刷システム１が、第１の実施形態のそれと相違する点は、複数のマーカーを利用して色調調整を行うことである。以下、第１の実施形態と重複する構成、動作については説明を省略することとし、以下、相違点を中心に説明を行う。

図９は、本実施形態に係る表示制御部５８の構成を示すブロック図である。本実施形態に係る表示制御部５８は、第１の実施形態に示す構成に加え、マーカー処理部６４を備えている。

マーカー処理部６４は、関連付け処理と、マーカー設定処理とを行う。関連付け処理は、部分領域Ｒ０１〜Ｒ０９毎に、代表色を特定し、当該特定した代表色を部分領域Ｒ０１〜Ｒ０９に関連付ける処理である。一方、マーカー設定処理は、マーカー領域Ｒｍｋ（部分領域Ｒ０５）の代表色に対して、所定の閾値よりも色差が大きい代表色が関連付けられた部分領域Ｒ０１〜Ｒ０４，Ｒ０６〜Ｒ０９をマーカーとして設定する処理である。マーカー処理部６４において処理される代表色は、領域における再頻出の色データ、又は領域における平均色データを利用することができる。

図１０は、本実施形態に係る表示装置５０の動作を示すフローチャートである。このフローチャートに示す処理は、第１の実施形態に示す調整処理に先立ち、前処理として実行される。

まず、ステップ３０（Ｓ３０）において、マーカー処理部６４は、マーカー領域Ｒｍｋの代表色を演算する。

ステップ３１（Ｓ３１）において、マーカー処理部６４は、８つの部分領域Ｒ０１〜０４，Ｒ０６〜Ｒ０９のうち１つの部分領域Ｒｎを選択する（ｎ＝０１〜０９（０５は除く）のいずれか１つ）。

ステップ３２（Ｓ３２）において、マーカー処理部６４は、選択された部分領域Ｒｎの代表色を演算する。

ステップ３３（Ｓ３３）において、マーカー処理部６４は、マーカー領域Ｒｍｋの代表色と部分領域Ｒｎの代表色とを比較し、両者の色差（明度差）を演算する。

ステップ３４（Ｓ３４）において、マーカー処理部６４は、ステップ３３において演算された色差が閾値よりも大きいか否かを判断する。本処理に用いられる閾値は、同一の印刷物内に色調が大きく異なる領域が存在するかどうかを判断するための値であり、実験やシミュレーションを通じて予め設定されている。

ステップ３４において肯定判定された場合、すなわち、ステップ３３において演算された色差が閾値よりも大きい場合には、ステップ３５（Ｓ３５）に進む。一方、ステップ３３において演算された色差が閾値以下の場合には、ステップ３５をスキップして、ステップ３６（Ｓ３６）に進む。

ステップ３５において、マーカー処理部６４は、部分領域Ｒｎをマーカーとして設定する。これ以降、部分領域Ｒｎは、新たなマーカー領域Ｒｍｋとして認識される。また、マーカー処理部６４は、新たなマーカー領域Ｒｍｋが設定されたことを画像形成装置１０に通知する。画像形成装置１０では、通知されたマーカー領域Ｒｍｋがマーカーデータとして追加される。

ステップ３６において、マーカー処理部６４は、代表色の演算が行われていない未処理の部分領域Ｒ０１〜０４，Ｒ０６〜Ｒ０９があるか否かを判断する。未処理の部分領域Ｒ０１〜０４，Ｒ０６〜Ｒ０９がある場合には、ステップ３６で肯定判定され、ステップ３１に戻る。そして、マーカー処理部６４は、未処理の部分領域Ｒ０１〜０４，Ｒ０６〜Ｒ０９を対象として、ステップ３１以降の処理を行う。一方、未処理の部分領域Ｒ０１〜０４，Ｒ０６〜Ｒ０９がない場合には、ステップ３６で否定判定され、本処理を終了する（ＥＮＤ）。

つぎに、複数のマーカー領域Ｒｍｋが設定された際の、色調調整処理におけるオブジェクト調整値の決定方法について説明する。以下、図１１を参照して、２５分割された部分領域毎に、各仮想オブジェクトの色調を調整する手法を例示する。この場合、「Ｒｍｋ１」、「Ｒｍｋ２」は２つのマーカー領域を示し、「ＶＯ」は色調を調整する、部分領域Ｒ０２に対応する仮想オブジェクトを示している。

オブジェクト調整部６２は、２つのマーカー領域Ｒｍｋ１，Ｒｍｋ２に基づいて、オブジェクト調整値を演算する。具体的には、第１のマーカー領域Ｒｍｋ１を基準に、第１のオブジェクト調整値ａが設定される。同様に、第２のマーカー領域Ｒｍｋ２を基準に、第２のオブジェクト調整値ｂが設定される。この場合、オブジェクト調整部６２は、各マーカー領域Ｒｍｋ１，Ｒｍｋ２について演算されたオブジェクト調整値に重み付けを行って、部分領域Ｒ０２に対応する仮想オブジェクトＶＯのオブジェクト調整値を設定する。一般に、マーカーとの距離が近い程、マーカーと調和した色調となることから、重み付けは、マーカー領域Ｒｍｋ１，Ｒｍｋ２までの距離Ｌａ，Ｌｂに応じた係数ｆ（Ｌａ），ｆ（Ｌｂ）とされている。
（数式１）
オブジェクト調整値＝ｆ（Ｌａ）×ａ＋ｆ（Ｌｂ）×ｂ

このように本実施形態によれば、色差が大きい複数のマーカー領域を用いて印刷物の色調調整処理を行うことができる。これにより、設置環境における印刷物の見え方をリアルに再現することができるので、より精度よく印刷物の色調を調整することができる。

なお、本実施形態では、一定のサイズで区切られた部分領域を対象として、マーカーを設定している。しかしながら、マーカーの設定手法は、この手法に限定されない。

図１２は、マーカー領域の設定処理の概念を示す説明図である。この変形例にあっては、マーカー処理部６４は、認識処理と、関連付け処理と、マーカー設定処理とを行う。

認識処理は、印刷画像データ全体Ｒｗｈのうちマーカー領域Ｒｍｋを除く領域において、画像を構成する構成要素、具体的には、色が類似する構成要素を認識する。図１２に示す例では、木の葉や、木の幹が構成要素Ｒｂ１〜Ｒｂ４として認識されている。認識処理は、周知の画像処理により行うことができる。関連付け処理は、認識処理により認識された一つ以上の構成要素Ｒｂ１〜Ｒｂ４毎に、当該構成要素Ｒｂ１〜Ｒｂ４についての代表色を特定し、当該特定した代表色を構成要素Ｒｂ１〜Ｒｂ４に関連付ける。また、マーカー設定処理は、マーカー領域Ｒｍｋの代表色に対して、所定の閾値よりも色差が大きい代表色が関連付けられた特徴領域Ｒｂをマーカー領域Ｒｍｋとして設定する。

この方法によれば、画像を構成する構成要素Ｒｂ１〜Ｒｂ４をマーカー領域Ｒｍｋとして用いて印刷物の色調調整処理を行うことができる。これにより、設置環境における印刷物の見え方をリアルに再現することができるので、より精度よく印刷物の色調を調整することができる。

また、マーカーの設定方法は、以下に示す方法としてもよい。図１３は、マーカー領域の設定処理の概念を示す説明図である。具体的には、マーカー処理部６４は、印刷物を設置する設置場所を撮像部５４で撮影した撮像画像を取得する。マーカー処理部６４は、この撮像画像のうち印刷物の設置範囲Ｒｐを、一定のサイズで分割した複数の部分領域を設定する。そして、マーカー処理部６４は、複数の部分領域のなかから選択される一組の部分領域同士で明度差を計算する。マーカー処理部６４は、所定の閾値よりも明度差が大きい部分領域の組み合わせが検出された場合、当該検出された部分領域Ｒｃ１，Ｒｃ２のそれぞれをマーカー領域Ｒｍｋとして指定する。

この方法によれば、設置場所の明るさに応じたマーカー領域Ｒｍｋを用いて印刷物の色調調整処理を行うことができる。これにより、設置環境における印刷物の見え方をリアルに再現することができるので、より精度よく印刷物の色調を調整することができる。

また、本実施形態では、前処理として予め複数のマーカーを設定した上で、複数のマーカーに基づいて印刷物の色調調整処理を行うことを念頭においている。しかしながら、マーカー領域を１つのみ設定した状態で印刷物の調整処理を行い、印刷物について所望の色調を得ることができないとユーザーが判断した場合（例えば、第１の実施形態に示すステップ１９の否定判定の場合）に、上述のマーカー領域Ｒｍｋを設定する処理を行ってもよい。

以上、本発明の実施形態に係る印刷システムについて説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。また、印刷システムのみならず、印刷システムを構成する表示装置、表示装置の制御方法、及び表示装置において実行されるプログラムそれ自体も本発明の一部として機能する。

また、マーカー処理部は、表示装置に代えて、或いは、表示装置とともに画像形成装置がその構成を備えるものであってもよい。

１ 印刷システム
１０ 画像形成装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ 不揮発性メモリ
１４ ハードディスク装置
１６ 画像処理部
１７ 画像読取部
１８ 自動原稿搬送部
１９ プリンター部
２０ ファクシミリ通信部
２１ 有線通信部
２２ 無線通信部
２３ 操作パネル
２４ 印刷制御部
５０ 表示装置
５１ ＣＰＵ
５２ ＲＡＭ
５３ 不揮発性メモリ
５４ 撮像部
５５ 表示部
５６ 操作部
５７ 無線通信部
５８ 表示制御部
５９ マーカー検出部
６０ 色差演算部
６１ オブジェクト表示部
６２ オブジェクト調整部
６３ 印刷調整部
６４ マーカー処理部

Claims (13)

1. 画像形成装置と、
   現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置と、を有し、
   前記画像形成装置は、
   印刷物を出力するプリンター部と、
   前記プリンター部を制御する印刷制御部と、を有し、
   前記印刷制御部は、
   前記印刷物を出力するための印刷画像データに基づいてマーカーを印刷出力するマーカー出力処理と、
   印刷調整値に応じて前記プリンター部において表現される色調を調整する調整処理と、を実行し、
   前記表示装置は、
   表示部と、
   所定の撮像範囲を撮像し、撮像画像を出力する撮像部と、
   前記印刷物を設置する設置場所に配置された前記マーカーを前記撮像部により撮像したマーカー撮像画像において前記マーカーの位置を検出するマーカー検出部と、
   前記マーカー撮像画像における前記マーカーの色データと、前記印刷画像データにおける前記マーカーの色データとの色差を演算する色差演算部と、
   前記印刷画像データを再現した仮想オブジェクトを、前記マーカーの位置に基づいて前記表示部に表示するオブジェクト表示部と、
   前記色差演算部において演算された前記色差に基づいて、前記表示部に表示される前記仮想オブジェクトの色調を調整するオブジェクト調整値を設定するオブジェクト調整部と、
   前記オブジェクト調整部において設定された前記オブジェクト調整値に基づいて、前記画像形成装置において利用される前記印刷調整値を演算する印刷調整部と、
   を有することを特徴とする印刷システム。
2. 前記印刷調整部は、ユーザーの操作を通じて確定指令が入力された場合に、前記印刷調整値を前記画像形成装置に出力することを特徴とする請求項１に記載された印刷システム。
3. 前記オブジェクト調整部は、設置場所の環境による色調の変動を吸収するように前記オブジェクト調整値を設定することを特徴とする請求項１又は２に記載された印刷システム。
4. 前記オブジェクト調整部は、ユーザーの操作を通じて入力された入力値に応じて前記オブジェクト調整値を設定することを特徴とする請求項１又は２に記載された印刷システム。
5. 前記マーカー出力処理は、前記印刷画像データ全体のなかの一部分の領域であるマーカー領域に基づいて前記マーカーを印刷出力する処理であり、
   前記仮想オブジェクトは、前記印刷画像データ全体のうち前記マーカー領域を除いた残部の領域を再現したオブジェクトであることを特徴とする請求項１から４のいずれかに記載された印刷システム。
6. 前記マーカー領域は、前記印刷画像データ全体を一定のサイズで分割した複数の部分領域の中から選択された１つの領域であり、
   前記表示装置は、
   前記部分領域毎に、代表色を特定し、当該特定した代表色を前記部分領域に関連付ける関連付け処理と、
   前記マーカー領域の代表色に対して、所定の閾値よりも色差が大きい代表色が関連付けられた前記部分領域を前記マーカー領域として追加するマーカー設定処理と、
   を実行するマーカー処理部をさらに有することを特徴とする請求項５に記載された印刷システム。
7. 前記表示装置は、
   前記印刷画像データにおいて画像を構成する構成要素を認識する認識処理と、
   前記認識処理により識別された一つ以上の構成要素毎に、当該構成要素についての代表色を特定し、当該特定した代表色を前記構成要素に関連付ける関連付け処理と、
   前記マーカー領域の代表色に対して、所定の閾値よりも色差が大きい代表色が関連付けられた前記構成要素を前記マーカー領域として追加するマーカー設定処理と、
   を実行するマーカー処理部をさらに有することを特徴とする請求項５に記載された印刷システム。
8. 前記代表色は、領域における再頻出の色データ、又は領域における平均色データであることを特徴とする請求項６又は７に記載された印刷システム。
9. 前記表示装置は、
   前記印刷物を設置する設置場所を前記撮像部で撮影した撮像画像に基づいて、印刷物の設置範囲を一定のサイズで分割した複数の部分領域を設定し、当該部分領域同士で明度差を計算し、所定の閾値よりも明度差が大きい部分領域の組み合わせが検出された場合に、組み合わせに係る部分領域のそれぞれを前記マーカー領域として設定するマーカー処理部をさらに有することを特徴とする請求項５に記載された印刷システム。
10. 前記オブジェクト調整部は、前記マーカー領域が複数存在する場合、各マーカー領域について演算されたオブジェクト調整値に、各マーカー領域から前記部分領域までの距離に応じた重み付けを行って、前記オブジェクト調整値を設定することを特徴とする請求項６から９のいずれかに記載された印刷システム。
11. 現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置において、
    表示部と、
    印刷物を出力するための印刷画像データに基づいて画像形成装置が印刷出力したマーカーを、前記印刷物を設置する設置場所に配置した状態で撮像を行い、マーカー撮像画像を出力する撮像部と、
    前記撮像部により撮像したマーカー撮像画像において前記マーカーの位置を検出するマーカー検出部と、
    前記マーカー撮像画像における前記マーカーの色データと、前記印刷画像データにおける前記マーカーの色データとの色差を演算する色差演算部と、
    前記印刷画像データを再現した仮想オブジェクトを、前記マーカーの位置に基づいて前記表示部に表示するオブジェクト表示部と、
    前記色差演算部において演算された前記色差に基づいて、前記表示部に表示される前記仮想オブジェクトの色調を調整するオブジェクト調整値を設定するオブジェクト調整部と、
    前記オブジェクト調整部において設定された前記オブジェクト調整値に基づいて、前記画像形成装置において表現される色調を調整するための印刷調整値を演算する印刷調整部と、
    を有することを特徴とする表示装置。
12. 現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置の制御方法において、
    前記表示装置が、
    印刷物を出力するための印刷画像データに基づいて画像形成装置が印刷出力したマーカーを、前記印刷物を設置する設置場所に配置した状態で撮像を行ったマーカー撮像画像を取得する工程と、
    前記マーカー撮像画像において前記マーカーの位置を検出する工程と、
    前記マーカー撮像画像における前記マーカーの色データと、前記印刷画像データにおける前記マーカーの色データとの色差を演算する工程と、
    前記印刷画像データを再現した仮想オブジェクトを、前記マーカーの位置に基づいて表示部に表示する工程と、
    演算された前記色差に基づいて、前記表示部に表示される前記仮想オブジェクトの色調を調整するオブジェクト調整値を設定する工程と、
    設定された前記オブジェクト調整値に基づいて、前記画像形成装置において表現される色調を調整するための印刷調整値を演算する工程と、
    を実行することを特徴とする表示装置の制御方法。
13. 現実環境に配置されたマーカーを基準に仮想オブジェクトを表示する表示装置に、
    印刷物を出力するための印刷画像データに基づいて画像形成装置が印刷出力したマーカーを、前記印刷物を設置する設置場所に配置した状態で撮像を行ったマーカー撮像画像を取得する工程と、
    前記マーカー撮像画像において前記マーカーの位置を検出する工程と、
    前記マーカー撮像画像における前記マーカーの色データと、前記印刷画像データにおける前記マーカーの色データとの色差を演算する工程と、
    前記印刷画像データを再現した仮想オブジェクトを、前記マーカーの位置に基づいて表示部に表示する工程と、
    演算された前記色差に基づいて、前記表示部に表示される前記仮想オブジェクトの色調を調整するオブジェクト調整値を設定する工程と、
    設定された前記オブジェクト調整値に基づいて、前記画像形成装置において表現される色調を調整するための印刷調整値を演算する工程と、
    を実行させることを特徴とするプログラム。

Images