JP7395856B2 - 印刷制御装置、印刷制御プログラム、及び、印刷物生産方法 - Google Patents

Description

本発明は、印刷装置に印刷を実行させる印刷制御装置、印刷制御プログラム、及び、印刷物生産方法に関する。

紙搬送システムを有していない手動走査型のプリンターが提案されている。特許文献１に開示された情報処理装置は、ハンドヘルドプリンターが印刷媒体上の位置を検知することができるように、ハンドヘルドプリンターと印刷媒体を同時に撮像する。当該情報処理装置は、ハンドヘルドプリンターと印刷媒体が撮像されている撮像データからハンドヘルドプリンターと印刷媒体を検出し、印刷媒体に対するハンドヘルドプリンターの位置を決定し、ハンドヘルドプリンターの位置をハンドヘルドプリンターに送信する。
上述の情報処理装置は、印刷される画像が印刷媒体よりも大きい場合、画像を印刷媒体の範囲内に縮小する。

特開２０１７－０１０２７１号公報

上述した情報処理装置は、印刷媒体と画像とが相似形でない限り、印刷媒体に印刷される画像の周辺に印刷されない領域が残る。そこで、印刷媒体の全面に画像を印刷する等、より思い通りの印刷を実現させることが望まれる。

本発明の印刷制御装置は、印刷装置に印刷を実行させる印刷制御装置であって、
撮影センサーが撮影した撮影画像から印刷対象を特定する特定部と、
元印刷データのプレビュー画像を前記印刷対象に合わせてトリミングしたトリミング画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示部と、
前記印刷対象に対する前記プレビュー画像の相対位置の設定を受け付ける設定受付部と、
前記相対位置における印刷指示を受け付ける印刷指示受付部と、
前記印刷指示に応じて、前記元印刷データと前記相対位置とに合わせた印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる制御部と、
を備えた、態様を有する。

また、本発明は、上述した印刷制御装置の各部に対応する機能をコンピューターに実現させる印刷制御プログラムの態様を有する。
さらに、本発明は、上述した印刷制御装置の各部に対応する工程を含む印刷物生産方法の態様を有する。

印刷システムの構成例を模式的に示す斜視図。 印刷装置の底面の例、及び、マスク情報の例を模式的に示す図。 印刷装置の構成例を模式的に示すブロック図。 印刷制御装置の構成例を模式的に示すブロック図。 印刷制御プログラムがコンピューターに実現させる複数の機能の例を模式的に示すブロック図。 印刷制御装置が行う印刷制御処理の例を模式的に示すフローチャート。 印刷制御装置が行う印刷制御処理の例を模式的に示すフローチャート。 印刷制御装置が行う印刷対象候補抽出処理の例を模式的に示すフローチャート。 印刷対象候補の例を模式的に示す図。 仮の印刷対象候補の領域の例を模式的に示す図。 被写体が撮影センサーに正対する向きからずれている例を模式的に示す図。 三次元座標を変換する例を模式的に示す図。 被写体のサイズを求める例を模式的に説明する図。 図１４Ａ，１４Ｂは仮の印刷対象候補の大きさの例を模式的に示す図。 印刷対象候補を含む撮影画像を表示している印刷制御装置の例を模式的に示す図。 元画像選択画面を表示している印刷制御装置の例を模式的に示す図。 図１７Ａは印刷対象を含むように元印刷データを変形する例を模式的に示す図、図１７Ｂは印刷対象に対するプレビュー画像の相対位置の設定を受け付ける例を模式的に示す図。 印刷対象に対するプレビュー画像の相対位置の設定を受け付ける画面の例を模式的に示す図。 プレビュー画像を印刷対象に合わせてトリミングする例を模式的に示す図。 トリミング画像を撮影画像に重畳した画面を表示している印刷制御装置の例を模式的に示す図。 印刷装置と印刷対象を含む撮影画像にトリミング画像を重畳した画面を表示している印刷制御装置の例を模式的に示す図。 印刷制御装置が行う印刷対象候補抽出処理の別の例を模式的に示すフローチャート。 印刷対象候補の例を模式的に示す図。 撮影画像群から印刷対象候補を抽出する例を模式的に示す図。

以下、本発明の実施形態を説明する。むろん、以下の実施形態は本発明を例示するものに過ぎず、実施形態に示す特徴の全てが発明の解決手段に必須になるとは限らない。

（１）本発明に含まれる技術の概要：
まず、図１～２４に示される例を参照して本発明に含まれる技術の概要を説明する。後述する複数の態様には、請求項に対応していない態様が含まれる。尚、本願の図は模式的に例を示す図であり、これらの図に示される各方向の拡大率は異なることがあり、各図は整合していないことがある。むろん、本技術の各要素は、符号で示される具体例に限定されない。「本発明に含まれる技術の概要」において、括弧内は直前の語の補足説明を意味する。

態様１：
本技術の一態様に係る印刷制御装置（例えば図１に示す携帯型ホスト装置１０）は、印刷装置（例えば図１に示す手動走査型プリンター１００）に印刷を実行させる印刷制御装置（１０）であって、特定部Ｕ１、表示部Ｕ２、設定受付部Ｕ３、印刷指示受付部Ｕ４、及び、制御部Ｕ６を備える。前記特定部Ｕ１は、撮影センサー２１が撮影した撮影画像ＩＭ０から印刷対象ＭＥ０を特定する。前記表示部Ｕ２は、図１９，２０に例示するように、元印刷データＤＡ０のプレビュー画像ＩＰ０を前記印刷対象ＭＥ０に合わせてトリミングしたトリミング画像ＩＴ０を前記撮影画像ＩＭ０に重畳した画面をディスプレイ１６に表示させる。前記設定受付部Ｕ３は、図１７Ｂに例示するように、前記印刷対象ＭＥ０に対する前記プレビュー画像ＩＰ０の相対位置の設定を受け付ける。前記印刷指示受付部Ｕ４は、前記相対位置における印刷指示を受け付ける。前記制御部Ｕ６は、前記印刷指示に応じて、前記元印刷データＤＡ０と前記相対位置とに基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させる。

上記態様１では、元印刷データＤＡ０のプレビュー画像ＩＰ０を印刷対象ＭＥ０に合わせてトリミングしたトリミング画像ＩＴ０を撮影画像ＩＭ０に重畳した画面が表示される。ユーザーは、印刷対象ＭＥ０に対するプレビュー画像ＩＰ０の相対位置を設定することができ、設定した相対位置の印刷を指示することができる。印刷指示に応じて、印刷装置（１００）は、元印刷データＤＡ０と相対位置とに基づいて印刷対象ＭＥ０に印刷する。本態様は、印刷対象ＭＥ０よりも大きい元印刷データＤＡ０を扱うことができ、印刷対象ＭＥ０からはみ出した部分にはプレビュー画像ＩＰ０が重ならないので、予想される印刷結果を容易に確認することができる。従って、本態様は、より思い通りの印刷結果を得ることが可能な印刷制御装置を提供することができる。

態様２：
前記特定部Ｕ１は、前記印刷対象ＭＥ０を三次元座標において特定してもよい。図１９，２０に例示するように、前記表示部Ｕ２は、前記三次元座標において前記プレビュー画像ＩＰ０を前記印刷対象ＭＥ０に合わせてトリミングした前記トリミング画像ＩＴ０を前記撮影画像ＩＭ０に重畳した前記画面を前記ディスプレイ１６に表示させてもよい。本態様は、予想される印刷結果を三次元的に確認したうえで印刷対象ＭＥ０に印刷することができるので、さらに思い通りの印刷結果を得ることができる。

態様３：
前記設定受付部Ｕ３は、前記三次元座標において前記相対位置の設定を受け付けてもよい。前記制御部Ｕ６は、前記三次元座標において前記印刷対象ＭＥ０に対して前記相対位置に合わせた前記元印刷データＤＡ０を前記印刷対象ＭＥ０の形状に合わせて切り出すことにより前記印刷データＤＡ１を生成してもよく、該印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させてもよい。本態様は、印刷対象ＭＥ０の形状に合わせて印刷が行われるので、さらに思い通りの印刷結果を得ることができる。

態様４：
図１７Ｂに例示するように、前記設定受付部Ｕ３は、前記相対位置として、前記プレビュー画像ＩＰ０の大きさと回転角度の少なくとも一方の設定を受け付けてもよい。本態様は、大きさと回転角度の少なくとも一方を変更した予想印刷結果を確認したうえで印刷対象ＭＥ０に印刷することができるので、さらに思い通りの印刷結果を得ることができる。

態様５：
図１７Ａ，１８に例示するように、前記表示部Ｕ２は、前記印刷対象ＭＥ０を含むように前記プレビュー画像ＩＰ０を変形してもよく、変形した前記プレビュー画像ＩＰ０を前記印刷対象ＭＥ０に合わせてトリミングした前記トリミング画像ＩＴ０を前記撮影画像ＩＭ０に重畳した前記画面を前記ディスプレイ１６に表示させてもよい。前記制御部Ｕ６は、前記プレビュー画像ＩＰ０に合わせて前記元印刷データＤＡ０を変形することにより得られる印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させてもよい。本態様は、印刷対象ＭＥ０の全面にプレビュー画像ＩＰ０が自動的に重ねられ、プレビュー画像ＩＰ０の変形に合わせられた印刷データＤＡ１に基づく印刷が行われるので、さらに思い通りの印刷結果を得ることができる。

態様６：
本印刷制御装置（１０）は、前記撮影画像ＩＭ０に含まれる前記印刷装置（１００）と、前記印刷対象ＭＥ０と、の相対位置関係を特定する相対位置特定部Ｕ５をさらに備えていてもよい。前記制御部Ｕ６は、前記相対位置関係に基づいて前記印刷データＤＡ１を生成してもよく、該印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させてもよい。本態様は、自動的に印刷装置（１００）と印刷対象ＭＥ０との位置合わせが行われるので、印刷装置の使い勝手を向上させることができる。

態様７：
前記印刷装置（１００）は、手動走査型のプリンター、又は、自走型のプリンターでもよい。この態様は、手動走査型又は自走型のプリンターの使い勝手を向上させることができる。

態様８：
図１５に例示するように、前記表示部Ｕ２は、前記撮影画像ＩＭ０の平面部分にドット群４００を付けた前記画面を前記ディスプレイ１６に表示させてもよい。この態様は、撮影画像ＩＭ０の平面部分が分かるので、利便性を向上させることができる。

態様９：
また、上記態様１に対応する印刷制御プログラムＰＲ１は、図５に例示するように、特定部Ｕ１に対応する特定機能ＦＵ１、表示部Ｕ２に対応する表示機能ＦＵ２、設定受付部Ｕ３に対応する設定受付機能ＦＵ３、印刷指示受付部Ｕ４に対応する印刷指示受付機能ＦＵ４、及び、制御部Ｕ６に対応する制御機能ＦＵ６をコンピューターに実現させる。本態様は、より思い通りの印刷結果を得ることが可能な印刷制御プログラムを提供することができる。本印刷制御プログラムＰＲ１は、相対位置特定部Ｕ５に対応する相対位置特定機能ＦＵ５をコンピューターに実現させてもよい。

態様１０：
さらに、上記態様１に対応する印刷物生産方法は、図５に例示するように、特定部Ｕ１に対応する特定工程ＳＴ１、表示部Ｕ２に対応する表示工程ＳＴ２、設定受付部Ｕ３に対応する設定受付工程ＳＴ３、印刷指示受付部Ｕ４に対応する印刷指示受付工程ＳＴ４、及び、制御部Ｕ６に対応する印刷工程ＳＴ６を含む。本態様は、より思い通りの印刷結果を得ることが可能な印刷物生産方法を提供することができる。本印刷物生産方法は、相対位置特定部Ｕ５に対応する相対位置特定工程ＳＴ５を含んでいてもよい。

態様１１：
ところで、本技術の別の態様に係る印刷制御装置（１０）は、印刷装置（１００）に印刷を実行させる印刷制御装置（１０）であって、特定部Ｕ１、及び、制御部Ｕ６を備える。前記特定部Ｕ１は、図１０等に例示するように、撮影センサー２１が撮影した撮影画像ＩＭ０と、該撮影画像ＩＭ０の各画素の被写体距離と、に基づいて、所定範囲の色において連続している領域を印刷対象ＭＥ０として特定する。前記制御部Ｕ６は、特定された前記印刷対象ＭＥ０に対応する印刷データＤＡ１を生成し、該印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させる。

上記態様１１では、撮影センサー２１が撮影した撮影画像ＩＭ０と、該撮影画像ＩＭ０の各画素の被写体距離と、に基づいた、所定範囲の色において連続している領域が印刷対象ＭＥ０として特定されるので、奥行き方向への不連続箇所等、印刷に不向きな領域が印刷対象ＭＥ０から除外される。従って、本態様は、使い勝手を向上させることが可能な印刷制御装置を提供することができる。

態様１２：
前記特定部Ｕ１は、前記所定範囲の色において連続している前記領域を印刷対象候補Ａ０として抽出する抽出部Ｕ１１を含んでいてもよく、前記印刷対象候補Ａ０から前記印刷対象ＭＥ０を特定する操作を受け付ける印刷対象受付部Ｕ１２を含んでいてもよい。本態様は、ユーザーが印刷対象候補Ａ０から印刷対象ＭＥ０を決めることができるので、印刷制御装置の使い勝手をさらに向上させることができる。

態様１３：
図１４Ａ，１４Ｂに例示するように、前記抽出部Ｕ１１は、所定の大きさ以上となるように前記所定範囲の色において連続している前記領域を前記印刷対象候補Ａ０として抽出してもよい。この態様は、印刷に好適な大きさを有する印刷対象候補Ａ０が抽出されるので、印刷制御装置の使い勝手をさらに向上させることができる。

態様１４：
前記制御部Ｕ６は、図１９に例示するように前記印刷対象ＭＥ０に対応付けられている元印刷データＤＡ０を前記印刷対象ＭＥ０の形状に合わせて切り出すことにより前記印刷データＤＡ１を生成してもよく、該印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させてもよい。本態様は、印刷対象ＭＥ０の形状に合わせて印刷が行われるので、印刷装置の使い勝手を向上させることができる。

態様１５：
前記制御部Ｕ６は、前記撮影画像群Ｇ１に含まれる撮影画像ＩＭ０の画角θ１（図１３参照）に基づいて、前記印刷対象ＭＥ０に正対した場合の前記印刷対象ＭＥ０の正対形状（図１２参照）を求めてもよく、前記元印刷データＤＡ０を前記正対形状に合わせて切り出すことにより前記印刷データＤＡ１を生成してもよく、該印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させてもよい。本態様は、印刷対象の形状に合わせて印刷を行う好適な例を提供することができる。

態様１６：
前記制御部Ｕ６は、前記印刷対象ＭＥ０に対応付けられている元印刷データＤＡ０を、前記印刷対象ＭＥ０を含むように変形することにより前記印刷データＤＡ１を生成してもよく、該印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させてもよい。本態様は、印刷対象の全面に印刷を行うことができる。

態様１７：
前記制御部Ｕ６は、前記印刷対象ＭＥ０と前記撮影センサー２１との間の被写体距離Ｌと、前記撮影画像群Ｇ１における前記印刷対象ＭＥ０の大きさと、に基づいて前記印刷対象ＭＥ０のサイズを決定してもよく（図１３参照）、前記印刷対象ＭＥ０に対応付けられている元印刷データＤＡ０を前記サイズに基づいて変形することにより前記印刷データＤＡ１を生成してもよく、該印刷データＤＡ１に基づく前記印刷対象ＭＥ０への印刷を前記印刷装置（１００）に実行させてもよい。本態様は、印刷対象のサイズに合わせて印刷を行うことができる。

態様１８：
前記制御部Ｕ６は、前記相対位置関係を表す情報含めて前記印刷データＤＡ１を生成してもよく、該印刷データＤＡ１を前記印刷装置（１００）に送信してもよい。本態様は、自動的に印刷装置と印刷対象との位置合わせを行う好適な例を提供することができる。

態様１９：
ところで、上記態様１１に対応する印刷制御プログラムＰＲ１は、図５に例示するように、特定部Ｕ１に対応する特定機能ＦＵ１、及び、制御部Ｕ６に対応する制御機能ＦＵ６をコンピューターに実現させる。本態様は、使い勝手を向上させることが可能な印刷制御プログラムを提供することができる。本印刷制御プログラムＰＲ１は、抽出部Ｕ１１に対応する抽出機能ＦＵ１１、印刷対象受付部Ｕ１２に対応する印刷対象受付機能ＦＵ１２、及び、相対位置特定部Ｕ５に対応する相対位置特定機能ＦＵ５をコンピューターに実現させてもよい。

態様２０：
また、上記態様１１に対応する印刷物生産方法は、図５に例示するように、特定部Ｕ１に対応する特定工程ＳＴ１、及び、制御部Ｕ６に対応する印刷工程ＳＴ６を含む。本態様は、使い勝手を向上させることが可能な印刷物生産方法を提供することができる。本印刷物生産方法は、抽出部Ｕ１１に対応する抽出工程ＳＴ１１、印刷対象受付部Ｕ１２に対応する印刷対象受付工程ＳＴ１２、及び、相対位置特定部Ｕ５に対応する相対位置特定工程ＳＴ５を含んでいてもよい。

さらに、本技術は、印刷制御装置と印刷装置を含む印刷システム、印刷制御装置の制御方法、印刷システムの制御方法、印刷制御プログラムを記録したコンピューター読み取り可能な媒体、印刷システムの制御プログラム、該制御プログラムを記録したコンピューター読み取り可能な媒体、等に適用可能である。前述のいずれかの装置は、分散した複数の部分で構成されてもよい。

（２）印刷システムの具体例：
図１は、印刷システムの構成例を模式的に示している。図１に示す印刷システムＳＹ１は、印刷装置の例である手動走査型の手持ちプリンター１００と、印刷制御装置の例である携帯型ホスト装置１０と、を含んでいる。プリンター１００は、ユーザーが手で把持することができる大きさの筐体１０１を有している。ユーザーは、プリンター１００を手で把持し、印刷対象ＭＥ０の表面に沿ってプリンター１００をスライドさせることにより、印刷対象ＭＥ０に画像を印刷させることができる。尚、プリンター１００は、移動用のモーターを有する自走型プリンターでもよい。プリンター１００の上面には、印刷対象ＭＥ０とプリンター１００との相対位置関係を特定するためのマーカーＭＡ１と、ホスト装置１０に印刷要求を送信するため等のボタン１４０と、が配置されている。プリンター１００とホスト装置１０とは、無線により接続されているが、有線により接続されてもよい。ホスト装置１０は、ユーザーが印刷したい画像を撮影画像に重畳する拡張現実（Augmented Reality）表示装置として機能し、使い勝手が良好であり、思い通りの印刷画像ＩＭｐをプリンター１００に出力させることができる。撮影画像に複数の印刷対象候補Ａ０が含まれる場合、ユーザーは、画像を印刷させる印刷対象ＭＥ０を選択可能である。

図２は、プリンター１００の底面、及び、マスク情報ＩＮ１を模式的に例示している。
プリンター１００の底面には、複数の移動量検出センサー１３０、及び、記録ヘッド１５０が配置されている。各移動量検出センサー１３０は、発光ダイオード又はレーザーといった光源と、反射光を検出する光学センサーと、を備え、自らの移動方向及び移動距離を検出する。図２には、一つの移動量検出センサー１３０が記録ヘッド１５０からノズル並び方向Ｄ１に向かった位置にあり、残りの移動量検出センサー１３０が記録ヘッド１５０からノズル並び方向Ｄ１とは反対方向へ向かった位置にあることが示されている。むろん、各移動量検出センサー１３０の配置は、図２に示す配置に限定されない。プリンター１００に複数の移動量検出センサー１３０があることにより、プリンター１００の向きも把握される。記録ヘッド１５０は、シアンインク吐出用のノズル列１５０Ｃ、マゼンタインク吐出用のノズル列１５０Ｍ、イエローインク吐出用のノズル列１５０Ｙ、及び、ブラックインク吐出用のノズル列１５０Ｋを含んでいる。各ノズル列１５０Ｃ，１５０Ｍ，１５０Ｙ，１５０Ｋは、ノズル並び方向Ｄ１へ並べられた複数のノズル１５１を有している。各ノズル１５１は、インク滴を吐出することによりドットを印刷対象ＭＥ０に形成する。ノズル列１５０Ｃ，１５０Ｍ，１５０Ｙ，１５０Ｋは、ノズル並び方向Ｄ１と交差する方向、図２ではノズル並び方向Ｄ１と直交する方向へ並べられている。

マスク情報ＩＮ１は、既に印刷した箇所を画素単位で示す情報であり、Ｃで示されるシアンのマスク情報、Ｍで示されるシアンのマスク情報、Ｙで示されるシアンのマスク情報、及び、Ｋで示されるシアンのマスク情報を含んでいる。図２には、マスク情報ＩＮ１における複数の画素ＰＸのうち印刷済みの画素に印刷済みフラグＦＬ１が格納されていることが示されている。マスク情報ＩＮ１は、ホスト装置１０に格納されていてもよいし、プリンター１００に格納されていてもよいし、ホスト装置１０とプリンター１００の両方に格納されていてもよい。

図３は、プリンター１００の構成を模式的に例示している。図３に示すプリンター１００は、コントローラー１１０、通信Ｉ／Ｆ１２０、１以上の移動量検出センサー１３０、１以上のボタン１４０、記録ヘッド１５０、及び、電源１９０を備えている。ここで、Ｉ／Ｆは、インターフェイスの略称である。電源１９０は、プリンター１００の各部に電力を供給する。電源１９０には、充電池を含む電池、太陽電池、給電ケーブルからの受電回路、等を用いることができる。

コントローラー１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、記憶装置１１４、等を含んでいる。これらの要素１１１～１１４等は、電気的に接続されていることにより互いに情報を入出力可能である。すなわち、プリンター１００は、コンピューターの一種でもある。記憶装置１１４は、コンピューターをプリンター１００として機能させるファームウェアＦＷ１等を記憶している。記憶装置１１４には、フラッシュメモリーといった不揮発性半導体メモリー等を用いることができる。
通信Ｉ／Ｆ１２０は、図４に示すホスト装置１０の通信Ｉ／Ｆ１７と無線通信可能であり、移動量検出センサー１３０の検出結果に基づく相対位置情報をホスト装置１０に送信したり、印刷データＤＡ１をホスト装置１０から受信したりすることが可能である。通信Ｉ／Ｆ１２０，１７には、無線ＬＡＮ、Ｗｉ－Ｆｉダイレクト通信、近距離無線通信、ＬＴＥ通信、赤外線通信、といった規格に従った通信Ｉ／Ｆを用いることができる。ここで、ＬＡＮはLocal Area Networkの略称であり、ＬＴＥはLong Term Evolutionの略称である。

記録ヘッド１５０は、各ノズル１５１からインク滴を噴射させる駆動回路１５２を備えている。駆動回路１５２には、各ノズル１５１に連通する圧力室の液体に圧力を加える圧電素子を駆動する回路、各圧力室の液体に対して熱により気泡を発生させるサーマル素子を駆動する回路、等を用いることができる。印刷対象にインク滴が着弾することにより、ホスト装置１０からの印刷データＤＡ１に対応する印刷画像ＩＭｐが印刷対象に形成される。

図４は、ホスト装置１０の構成を模式的に例示している。図４に示すホスト装置１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、記憶装置１４、入力装置１５、ディスプレイ１６、通信Ｉ／Ｆ１７、カメラ２０、等を備えている。これらの要素１１～１７，２０等は、電気的に接続されていることにより互いに情報を入出力可能である。ホスト装置１０は、不図示の電源も備えている。ホスト装置１０には、スマートフォンやタブレット端末といった携帯端末、デジタルスチルカメラやデジタルビデオカメラといったデジタルカメラ、パーソナルコンピューター、等を用いることができる。
記憶装置１４は、コンピューターを印刷制御装置として機能させる印刷制御プログラムＰＲ１等を記憶している。記憶装置１４には、フラッシュメモリーといった不揮発性半導体メモリー等を用いることができる。

入力装置１５には、ディスプレイ１６の表面に貼り付けられたタッチパネル、ポインティングデバイス、キーボードを含むハードキー、等を用いることができる。ディスプレイ１６には、液晶パネルといった表示パネル等を用いることができる。通信Ｉ／Ｆ１７は、プリンター１００の通信Ｉ／Ｆ１２０と無線通信可能であり、移動量検出センサー１３０の検出結果に基づく相対位置情報をプリンター１００から受信したり、印刷データＤＡ１をプリンター１００に送信したりすることが可能である。

カメラ２０は、撮影センサー２１とフォーカスコントローラー２５を備え、ズーム倍率を変更可能なズーム機能を有している。
撮影センサー２１は、多数の撮像素子２２、不図示の光学レンズ系、不図示のオートゲインコントローラ、不図示のアナログデジタル変換器、等を備え、撮影により撮影画像ＩＭ０を生成し、ＲＡＭ１３に格納する。複数の撮影画像ＩＭ０が所定の時間間隔で生成されると、撮影画像群が生成される。撮像素子２２には、ＣＣＤイメージセンサー等を用いることができる。ここで、ＣＣＤは、Charge-Coupled Deviceの略称である。

フォーカスコントローラー２５は、被写体距離Ｌを測定する測距部２６、ピントが合う距離ｆを制御するピント制御部２７、及び、ＡＦ部２８を備えている。ここで、ＡＦは、オートフォーカスの略称である。測距部２６には、アクティブ方式、パッシブ方式のいずれか又は併用により被写体距離Ｌを測定する手段を用いることができる。ここで、アクティブ方式の測距部は、例えば、被写体に赤外線又は超音波を照射し、反射波を方向とともに検出することにより、被写体距離Ｌを測定する。パッシブ方式の測距部は、赤外線等を使わず、被写体からの光を方向とともに検出することにより、被写体距離Ｌを測定する。ピント制御部２７は、所定の範囲内でピントが合う距離ｆを変える制御を行う。ＡＦ部２８は、測距部２６により得られた被写体距離Ｌに基づいてピントが合う距離ｆを決定し、該距離ｆにする指示をピント制御部２７に出す。
むろん、上述したフォーカスコントローラー２５の構成は一例に過ぎず、フォーカスコントローラーには様々な構成を採用可能である。

図５は、印刷制御プログラムＰＲ１がホスト装置１０に実現させる複数の機能を模式的に例示している。図５に示す印刷制御プログラムＰＲ１は、抽出機能ＦＵ１１と印刷対象受付機能ＦＵ１２を含む特定機能ＦＵ１、表示機能ＦＵ２、設定受付機能ＦＵ３、印刷指示受付機能ＦＵ４、相対位置特定機能ＦＵ５、及び、制御機能ＦＵ６をホスト装置１０に実現させる。
ホスト装置１０のＣＰＵ１１は、記憶装置１４に記憶されている情報を適宜、ＲＡＭ１３に読み出し、読み出したプログラムを実行することにより各種処理を行う。ＣＰＵ１１は、ＲＡＭ１３に読み出された印刷制御プログラムＰＲ１を実行することにより、上述した機能ＦＵ１～ＦＵ６に対応する処理を行う。印刷制御プログラムＰＲ１は、コンピューターであるホスト装置１０を、抽出部Ｕ１１と印刷対象受付部Ｕ１２を含む特定部Ｕ１、表示部Ｕ２、設定受付部Ｕ３、印刷指示受付部Ｕ４、相対位置特定部Ｕ５、及び、制御部Ｕ６として機能させる。また、印刷制御プログラムＰＲ１を実行するホスト装置１０は、抽出工程ＳＴ１１と印刷対象受付工程ＳＴ１２を含む特定工程ＳＴ１、表示工程ＳＴ２、設定受付工程ＳＴ３、印刷指示受付工程ＳＴ４、相対位置特定工程ＳＴ５、及び、印刷工程ＳＴ６を実施する。印刷制御プログラムＰＲ１を記憶したコンピューター読み取り可能な媒体は、ホスト装置内の記憶装置に限定されず、ホスト装置外の記録媒体でもよい。

（３）印刷システムの処理の具体例：
図６，７は、ホスト装置１０が行う印刷制御処理を模式的に例示している。図８は、図６のステップＳ１０２で行われる印刷対象候補抽出処理を模式的に例示している。ホスト装置１０は、マルチタスクにより複数の処理を並列して実行している。ここで、図８のステップＳ２０２～Ｓ２１６と図６のステップＳ１０４～Ｓ１１０は、特定部Ｕ１、特定機能ＦＵ１、及び、特定工程ＳＴ１に対応している。図８のステップＳ２０２～Ｓ２１６は、抽出部Ｕ１１、抽出機能ＦＵ１１、及び、抽出工程ＳＴ１１に対応している。図６のステップＳ１１０は、印刷対象受付部Ｕ１２、印刷対象受付機能ＦＵ１２、及び、印刷対象受付工程ＳＴ１２に対応している。図８のステップＳ２１８と図６のステップＳ１１２～Ｓ１１４，Ｓ１１８は、表示部Ｕ２、表示機能ＦＵ２、及び、表示工程ＳＴ２に対応している。図６のステップＳ１１６は、印刷指示受付部Ｕ４、印刷指示受付機能ＦＵ４、及び、印刷指示受付工程ＳＴ４に対応している。図６のステップＳ１２０は、相対位置特定部Ｕ５、相対位置特定機能ＦＵ５、及び、相対位置特定工程ＳＴ５に対応している。図７のステップＳ１３２は、相対位置特定部Ｕ５、相対位置特定機能ＦＵ５、及び、相対位置特定工程ＳＴ５に対応している。図７のステップＳ１３４～Ｓ１４０は、制御部Ｕ６、制御機能ＦＵ６、及び、印刷工程ＳＴ６に対応している。以下、「ステップ」の記載を省略し、括弧内に各ステップの符号を示す。

ユーザーが印刷制御プログラムＰＲ１を実行させる操作をホスト装置１０に行うと、印刷制御処理が開始する。例えば、ホスト装置１０がスマートフォンであって印刷制御プログラムＰＲ１が手持ちプリンターアプリである場合、ユーザーは、手持ちプリンターアプリを起動させる操作をスマートフォンに行えばよい。印刷制御処理が開始すると、ホスト装置１０は、図８に例示する印刷対象候補抽出処理を行う（Ｓ１０２）。

図８に示す印刷対象候補抽出処理が開始すると、ホスト装置１０は、カメラ２０が動作していない場合にカメラ２０を起動させ、パンフォーカスで撮影を行なわせ、撮影画像ＩＭ０を取得する（Ｓ２０２）。被写体の想定は、図９に例示するような印刷対象候補Ａ１，Ａ２である。図９には、テーブルといった台Ｂ１の上に印刷対象候補Ａ１，Ａ２が置かれていることが示されている。尚、印刷対象候補を総称する場合には符号Ａ０を使用し、印刷対象候補を個別に説明する場合には符号Ａ１，Ａ２を使用する。

その後、ホスト装置１０は、測距部２６を用いて撮影画像ＩＭ０中の各画素の被写体距離を測定する（Ｓ２０４）。

撮影画像ＩＭ０の取得後、ホスト装置１０は、撮影画像ＩＭ０から印刷対象の候補となる仮の印刷対象候補を取得する処理を行う。図１０は、仮の印刷対象候補ＴＡの領域を模式的に例示している。「仮の印刷対象候補」と呼んでいるのは、後の処理で所定の大きさ未満の「仮の印刷対象候補」を印刷対象候補から外すためである。
仮の印刷対象候補ＴＡは、例えば、ほぼ同一の薄い色が連続する領域である。具体的には、薄い色に相当する範囲に含まれる画素を基準画素ＰＸ０とし、基準画素ＰＸ０の隣接画素のうち測距部２６を用いて測定した距離が同じ又は近傍であり、基準画素との色との所定の色空間上の距離が閾値以下である画素を基準画素ＰＸ０と同一の領域に含まれるとして扱う。

まず、ホスト装置１０は、撮影画像ＩＭ０の全画素から順に基準画素ＰＸ０を設定する（Ｓ２０６）。図１０には、測距部２６により測定された基準画素ＰＸ０の被写体距離がＬｐ０と示されている。

基準画素ＰＸ０の設定後、ホスト装置１０は、基準画素ＰＸ０を基準として撮影画像ＩＭ０から仮の印刷対象候補ＴＡを取得する（Ｓ２０８）。例えば、ホスト装置１０は、まず、基準画素ＰＸ０に対して縦横に隣接している隣接画素の内、測距部２６を用いて測定した距離が同じ又は近傍であり、基準画素ＰＸ０との色との所定の色空間上の距離が閾値以下である隣接画素ＰＸ１を取得する。この隣接画素ＰＸ１は、基準画素ＰＸ０と同じ仮の印刷対象候補ＴＡ内の画素となる。図１０には、測距部２６により測定された隣接画素ＰＸ１の距離がＬｐ１と示されている。同じ仮の印刷対象候補ＴＡ内であることは、例えば、｜Ｌｐ１－Ｌｐ０｜が所定の閾値以下であることを意味する。
尚、色については、所定の色空間上の距離ではなく、色の各成分値の全てが基準画素を中心とした所定の大きさの範囲に含まれる画素を同一の領域に含まれるとして扱っても良い。

ホスト装置１０は、撮影画像ＩＭ０から基準画素ＰＸ０を全て設定するまで、Ｓ２０６～Ｓ２０８の処理を繰り返す（Ｓ２１０）。Ｓ２０６～Ｓ２１０の処理後、ホスト装置１０は、撮影画像ＩＭ０の内、基準画素ＰＸ０と隣接画素ＰＸ１とが隣接している箇所を繋ぎ、薄い色の領域を選択することにより、仮の印刷対象候補ＴＡを取得する（Ｓ２１２）。薄い色とは、例えば、画素値で示される輝度や明度が所定値以上の色を意味する。画素値がＲＧＢ値で表現されている場合、輝度には、Ｒ値とＧ値とＢ値の相加平均、重み付けを異ならせたＲ値とＧ値とＢ値の平均、等を用いることができる。ここで、Ｒは赤を意味し、Ｇは緑を意味し、Ｂは青を意味する。

次いで、ホスト装置１０は、仮の印刷対象候補ＴＡが所定の大きさ以上あるか否かに応じて処理を分岐させる（Ｓ２１４）。仮の印刷対象候補ＴＡが所定の大きさ未満である場合、ホスト装置１０は、仮の印刷対象候補ＴＡを印刷対象候補にしないで処理をＳ２１８に進める。仮の印刷対象候補ＴＡが所定の大きさ以上ある場合、ホスト装置１０は、仮の印刷対象候補ＴＡを印刷対象候補Ａ０に設定し（Ｓ２１６）、処理をＳ２１８に進める。

撮影画像ＩＭ０に含まれる被写体は、撮影センサー２１に正対しているとは限らず、多くの場合、正対する向きからずれている。図１１は、被写体Ｏｂが撮影センサー２１に正対する向きから角度θ２ずれている様子を模式的に例示している。図１１には、撮影センサー２１から被写体Ｏｂまでの距離Ｌｐ１１，Ｌｐ１２，Ｌｐ１３，Ｌｐ１４，Ｌｐ１５が順に長くなっている様子が示されている。そこで、図１２に例示するように、ホスト装置１０の撮影センサー２１を基準にした三次元のカメラ座標系３００と、プリンター１００のマーカーＭＡ１を基準にした三次元のプリンター座標系３１０と、を設定し、座標系３００，３１０を適宜、変換することにしている。撮影画像ＩＭ０にプリンター１００が含まれていない場合、仮の印刷対象候補ＴＡ、印刷対象候補Ａ０、又は、印刷対象ＭＥ０をＸｐ－Ｙｐ平面に合わせたプリンター座標系３１０を設定すればよい。

図１２に示すカメラ座標系３００は、Ｘｃ－Ｙｃ平面にディスプレイ１６の撮影画像ＩＭ０を合わせ、Ｚｃ軸を撮影センサー２１から被写体Ｏｂに向かう方向に合わせている。Ｘｃ軸とＹｃ軸とＺｃ軸とは、互いに直交している。被写体ＯｂのＺｃ座標は、被写体距離Ｌである。
図１２に示すプリンター座標系３１０は、Ｘｐ－Ｙｐ平面にプリンター１００の上面を合わせ、Ｚｐ軸をマーカーＭＡ１から印刷対象ＭＥ０に向かう方向に合わせている。Ｘｐ軸とＹｐ軸とＺｐ軸とは、互いに直交している。プリンター１００の底面、仮の印刷対象候補ＴＡ、印刷対象候補Ａ０、及び、印刷対象ＭＥ０は、Ｘｐ－Ｙｐ平面に沿った向きとなる。プリンター１００の角といった特徴部をマーカーＭＡ１としてプリンター座標系３１０を設定することも可能である。

撮影画像ＩＭ０に含まれる被写体Ｏｂの正対位置からの傾きが分かれば、三次元の係数行列を用いた行列式によりカメラ座標系３００の座標値（Ｘｃ，Ｙｃ，Ｚｃ）をプリンター座標系３１０の座標値（Ｘｐ，Ｙｐ，Ｚｐ）に変換することができる。また、前述の係数行列の逆行列を用いた行列式により、プリンター座標系３１０の座標値（Ｘｐ，Ｙｐ，Ｚｐ）をカメラ座標系３００の座標値（Ｘｃ，Ｙｃ，Ｚｃ）に変換することができる。撮影画像ＩＭ０に含まれる被写体Ｏｂの正対位置からの傾きは、測距部２６が測定した撮影画像ＩＭ０中の各画素の被写体距離をＺｃ座標にした被写体Ｏｂの三次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）から計算することができる。

図１３は、被写体Ｏｂのサイズを求める例を模式的に説明するための図である。まず、被写体Ｏｂが撮影センサー２１に正対する向きであると仮定した説明をする。図１３中、サイズＳＺ０は或る撮影画像ＩＭ０が撮影された時の被写体Ｏｂにおける或る向きの長さ、例えば、メートル単位であり、サイズＳＺ１は前述の撮影画像ＩＭ０が撮影された時の撮影範囲３５０における前述の向きの長さ、例えば、メートル単位であり、画素数ＮＵ０は撮影画像ＩＭ０中における被写体Ｏｂにおける前述の向きの画素数であり、画素数ＮＵ１は撮影画像ＩＭ０における前述の向きの画素数である。前述の向きにおける撮影範囲３５０の画角θ１を用いると、簡単な計算例として、撮影範囲３５０のサイズＳＺ１は、
ＳＺ１＝２Ｌｔａｎ（θ１／２）
の計算式により算出される。また、被写体ＯｂのサイズＳＺ０は、
ＳＺ０＝（ＮＵ０／ＮＵ１）ＳＺ１
の計算式により算出される。
実際には、被写体Ｏｂが撮影センサー２１に正対していないことが多い。被写体Ｏｂが撮影センサー２１に正対する向きから角度θ２ずれている場合、簡単な計算例として、被写体ＯｂのサイズＳＺ２は、
ＳＺ２＝ＳＺ０／ｃｏｓθ２
の計算式により算出される。
以上より、被写体距離Ｌと、撮影画像ＩＭ０における被写体Ｏｂの大きさと、に基づいて被写体ＯｂのサイズＳＺ０が決定される。また、画角θ１はズーム倍率に応じて変わるので、被写体ＯｂのサイズＳＺ０は画角θ１に応じて変わる。

仮の印刷対象候補ＴＡは、プリンター座標系３１０のＸｐ－Ｙｐ平面上に変換されたうえで、大きさが判断される。Ｘｐ－Ｙｐ平面上における仮の印刷対象候補ＴＡは、撮影画像ＩＭ０の画角θ１に基づいて求められる正対形状である。仮の印刷対象候補ＴＡの大きさは、図１４Ａに例示するように面積に基づいて判断されてもよいし、図１４Ｂに例示するようにＹｐ軸方向における長さである高さに基づいて判断されてもよい。

図１４Ａに示すように、接続処理後に、面積の閾値ＴＳよりも大きい面積Ｓ１の仮の印刷対象候補ＴＡ、及び、閾値ＴＳよりも小さい面積Ｓ２の仮の印刷対象候補ＴＡが抽出されたとする。閾値ＴＳは、例えば、図２に示すノズル列１５０Ｃ，１５０Ｍ，１５０Ｙ，１５０Ｋのノズル並び方向Ｄ１における長さの２乗程度にすることができるが、限定されない。Ｓ１＞ＴＳの仮の印刷対象候補ＴＡは、印刷に適切な印刷対象候補Ａ１に設定される。Ｓ２＜ＴＳの仮の印刷対象候補ＴＡは、印刷に不向きな領域Ａ９である。

図１４Ｂに示すように、接続処理後に、高さの閾値ＴＨよりも高い高さＨ１の仮の印刷対象候補ＴＡ、及び、閾値ＴＨよりも低い高さＨ２の仮の印刷対象候補ＴＡが抽出されたとする。閾値ＴＨは、例えば、図２に示すノズル列１５０Ｃ，１５０Ｍ，１５０Ｙ，１５０Ｋのノズル並び方向Ｄ１における長さ程度にすることができるが、限定されない。Ｈ１＞ＴＨの仮の印刷対象候補ＴＡは、印刷に適切な印刷対象候補Ａ１に設定される。Ｈ２＜ＴＨの仮の印刷対象候補ＴＡは、印刷に不向きな領域Ａ９である。

印刷対象候補Ａ０の設定後、ホスト装置１０は、図１５に例示するように、表示している撮影画像ＩＭ０の平面部分にドット群４００を付け、印刷対象候補Ａ０に所定の色を付け（Ｓ２１８）、印刷対象候補抽出処理を終了させる。ホスト装置１０は、印刷対象候補Ａ０の背景にある滑らかな面のプリンター座標系３１０の三次元座標値を取得し、該三次元座標値に基づいて撮影画像ＩＭ０の平面部分を抽出し、該平面部分にドット群４００を付ける。ディスプレイ１６に表示されている撮影画像ＩＭ０は、Ｓ２０２においてフォーカスが合っている時のピントが合う距離ｆにおける静止画であるものとするが、限定されない。図１５は、撮影画像ＩＭ０から印刷対象候補Ａ１，Ａ２が抽出された例を示している。図１５に示すドット群４００は、撮影画像中の平面部分を明瞭に示すため、白点の集まりとされている。撮影画像ＩＭ０の平面部分にドット群４００が付されることにより、ユーザーは、撮影画像ＩＭ０の平面部分が分かり、ホスト装置１０が撮影画像ＩＭ０の平面部分を正しく認識していない不具合があることも分かる。図１５に示す印刷対象候補Ａ１，Ａ２は、撮影画像ＩＭ０の中で目立たせるため、白ではないが明るい色が付されている。

印刷対象候補抽出処理の終了後、ホスト装置１０は、撮影画像ＩＭ０に印刷対象候補Ａ０が有るか否かに応じて処理を分岐させる（図６のＳ１０４）。撮影画像ＩＭ０に印刷対象候補Ａ０が無い場合、ホスト装置１０は、印刷対象候補無しを通知する表示をディスプレイ１６に出し（Ｓ１０６）、Ｓ１０２に戻る。ユーザーがホスト装置１０を動かすことで、撮影画像に１以上の印刷対象候補Ａ０が含まれるようになるまで繰り返し、印刷対象候補抽出処理を繰り返すことになる。

撮影画像ＩＭ０に１以上の印刷対象候補Ａ０が有る場合、ホスト装置１０は、１以上の印刷対象候補Ａ０から印刷対象を選択する操作を受け付ける（Ｓ１１０）。例えば、撮影画像ＩＭ０中の印刷対象候補Ａ０について、各印刷対象候補Ａ０をそれぞれ区別可能にディスプレイ１６に表示し、どの印刷対象候補Ａ０を印刷対象にするのか選択を行なうようにユーザーに促す。ユーザーがこれを受けて、１つの印刷対象候補Ａ０を選択すると、ホスト装置１０は選択された印刷対象候補Ａ０を印刷対象として選択する。印刷対象が選択されるまではＳ１０２に戻り印刷対象候補抽出処理を繰り返す。これによって、ユーザーは、１つの印刷対象候補Ａ０を選択するまでにホスト装置１０を動かすことで、ユーザーが印刷を行ないたいと考えている媒体を選択することが可能になる。なお、ユーザーは印刷対象ＭＥ０としたい印刷対象候補Ａ０の表示をタップすることで、印刷対象候補Ａ０を選択できるようにしても良い。以下では、図１５の表示において、印刷対象候補Ａ１がタップされて印刷対象候補Ａ１が印刷対象ＭＥ０として選択された場合を例として説明を行なう。

印刷対象ＭＥ０の特定後、ホスト装置１０は、印刷対象ＭＥ０への印刷に使用する元印刷データを指定する操作を受け付ける（Ｓ１１２）。

図１６は、ディスプレイ１６に元画像選択画面を表示しているホスト装置１０を模式的に例示している。元画像選択画面は、印刷対象ＭＥ０への印刷に使用可能な１以上の元画像ＯＲ０を含んでいる。各元画像ＯＲ０には、元印刷データのサムネイル画像を用いることができる。例えば、ホスト装置１０は、元画像ＯＲ０のサムネイル画像をディスプレイ１６に並べて表示し、表示されている１以上のサムネイル画像からいずれか一つのサムネイル画像の選択操作を入力装置１５により受け付ける処理を行えばよい。例えば、あるサムネイル画像をユーザーがタップすると、タップされたサムネイル画像に対応する元印刷データＤＡ０が印刷対象ＭＥ０への印刷用として指定される。図１６には、タップされたサムネイル画像としての元画像ＯＲ１が示されている。

元印刷データＤＡ０の指定後、ホスト装置１０は、三次元座標系において元画像ＯＲ０のプレビュー画像ＩＰ０を撮影画像ＩＭ０に重畳するMixed Reality表示をディスプレイ１６において行う（Ｓ１１４）。以下、Mixed Reality表示をＭＲ表示と呼ぶことにする。
図１７Ａ，１７Ｂは、撮影画像ＩＭ０を基にプレビュー画像ＩＰ０のＭＲ表示を図１２に示す三次元のカメラ座標系３００において行う様子を模式的に例示している。図１７Ａ，１７Ｂにおいて、プレビュー画像ＩＰ０が実線で示され、印刷対象ＭＥ０が二点鎖線で示されている。便宜上、図１７Ａ，１７Ｂに示す各場面に符号５０１，５０２，５１１～５１４を付している。

元印刷データＤＡ０は、図１２に示すプリンター座標系３１０のＸｐ－Ｙｐ平面上のデータとして用意されている。まず、ホスト装置１０は、図１７Ａに示す場面５０２のように、Ｘｐ－Ｙｐ平面上に、印刷対象ＭＥ０の正対形状と、元印刷データＤＡ０と、を配置する。本実施例では、ホスト装置１０は、場面５０２のように、印刷対象ＭＥ０に外接するようにプレビュー画像ＩＰ０を配置して、印刷対象ＭＥ０の形状に合わせてトリミングをする。初期状態では、場面５０１ではなく場面５０２のように印刷対象ＭＥ０の一部が元印刷データＤＡ０からはみ出すことが無いようにしている。

プレビュー画像ＩＰ０の変形後、ホスト装置１０は、図１７Ｂに示す場面５１１のように、Ｘｐ－Ｙｐ平面上の元印刷データＤＡ０をカメラ座標系３００に変換することにより、Ｘｃ－Ｙｃ平面に合わせたプレビュー画像ＩＰ０を生成する。ホスト装置１０は、このプレビュー画像ＩＰ０を撮影画像ＩＭ０に重畳するＭＲ表示をディスプレイ１６において行えばよい。撮影画像ＩＭ０を基にしたプレビュー画像ＩＰ０のＭＲ表示は、拡張現実表示といえる。

プレビュー画像ＩＰ０のＭＲ表示後、ホスト装置１０は、三次元座標において印刷対象ＭＥ０に対するプレビュー画像ＩＰ０のレイアウトの設定を受け付ける（Ｓ１１６）。図１８は、印刷対象ＭＥ０に対するプレビュー画像ＩＰ０のレイアウトの設定を受け付ける画面を模式的に例示している。例えば、ホスト装置１０は、ディスプレイ１６に表示されているプレビュー画像ＩＰ０をスライドさせる接触操作、プレビュー画像ＩＰ０の大きさを変更する接触操作、Ｘｐ－Ｙｐ平面上におけるプレビュー画像ＩＰ０の回転角度を変更する接触操作、の少なくとも一つを入力装置１５により受け付ける処理を行えばよい。
例えば、ユーザーが場面５１１のプレビュー画像ＩＰ０を上へスライドさせる操作を行うと、場面５１２のようにＸｐ－Ｙｐ平面を基準としてプレビュー画像ＩＰ０が上へスライドする。この時、ホスト装置１０は、三次元のプレビュー画像ＩＰ０をプリンター座標系３１０に変換し、Ｘｐ－Ｙｐ平面上においてプレビュー画像ＩＰ０をスライドさせてから、スライド後のプレビュー画像ＩＰ０をカメラ座標系３００に変換し、座標変換後のプレビュー画像ＩＰ０を撮影画像ＩＭ０に重畳すればよい。プレビュー画像ＩＰ０が上以外、例えば、下、左、又は、右にスライドする場合も、ホスト装置１０は類似する処理を行えばよい。

ユーザーが場面５１１のプレビュー画像ＩＰ０の回転角度を変える操作を行うと、場面５１３のようにＸｐ－Ｙｐ平面を基準としてプレビュー画像ＩＰ０の回転角度が変わる。この時、ホスト装置１０は、三次元のプレビュー画像ＩＰ０をプリンター座標系３１０に変換し、Ｘｐ－Ｙｐ平面上においてプレビュー画像ＩＰ０の回転角度を変更してから、変更後のプレビュー画像ＩＰ０をカメラ座標系３００に変換し、座標変換後のプレビュー画像ＩＰ０を撮影画像ＩＭ０に重畳すればよい。回転角度を変える操作は、プレビュー画像ＩＰ０を右回りに変える操作でもよいし、プレビュー画像ＩＰ０を左回りに変える操作でもよい。
ユーザーが場面５１１のプレビュー画像ＩＰ０の大きさを変える操作を行うと、場面５１４のようにＸｐ－Ｙｐ平面を基準としてプレビュー画像ＩＰ０の大きさが変わる。この時、ホスト装置１０は、三次元のプレビュー画像ＩＰ０をプリンター座標系３１０に変換し、Ｘｐ－Ｙｐ平面上においてプレビュー画像ＩＰ０の大きさを変更してから、変更後のプレビュー画像ＩＰ０をカメラ座標系３００に変換し、座標変換後のプレビュー画像ＩＰ０を撮影画像ＩＭ０に重畳すればよい。大きさを変える操作は、プレビュー画像ＩＰ０を等倍又は変倍において拡大する操作でもよいし、プレビュー画像ＩＰ０を等倍又は変倍において縮小する操作でもよい。

以上のようにして、三次元座標において印刷対象ＭＥ０に対するプレビュー画像ＩＰ０の相対位置が設定される。尚、ホスト装置１０は、何らかの方法でプレビュー画像ＩＰ０の相対位置の設定を受け付けることができればよい。このため、プレビュー画像ＩＰ０の回転角度を変更することができなくてもよく、プレビュー画像ＩＰ０の大きさを変更することができなくてもよく、プレビュー画像ＩＰ０をスライドさせることができなくてもよい。
尚、ユーザーがホスト装置１０を動かすと、既に撮影された画像から変わることになる。そこで、ホスト装置１０は、自らの移動に応じて、又は、定期的に図６のＳ１０２，Ｓ１１４，Ｓ１１６の処理を行い、新たな撮影画像ＩＭ０にプレビュー画像ＩＰ０を重畳した画面をディスプレイ１６に表示させることにしている。
プレビュー画像ＩＰ０の相対位置の設定後、ホスト装置１０は、図１９に例示するように、必要に応じて変形されたプレビュー画像ＩＰ０を印刷対象ＭＥ０に合わせてトリミングしたトリミング画像ＩＴ０を撮影画像ＩＭ０に重畳したＭＲ表示をディスプレイ１６において行う（Ｓ１１８）。図１９において、プレビュー画像ＩＰ０、元印刷データＤＡ０、印刷データＤＡ１、及び、トリミング画像ＩＴ０が実線で示され、印刷対象ＭＥ０が二点鎖線で示されている。便宜上、図１９に示す各場面に符号５２１～５２４を付している。

図１９の場面５２１は、カメラ座標系３００のＸｃ－Ｙｃ平面において印刷対象ＭＥ０に対するプレビュー画像ＩＰ０の相対位置の例を示している。ホスト装置１０は、まず、場面５２２に示すように、Ｘｃ－Ｙｃ平面におけるプレビュー画像ＩＰ０の相対位置に合わせてプリンター座標系３１０のＸｐ－Ｙｐ平面上に元印刷データＤＡ０を配置する。次に、ホスト装置１０は、場面５２３に示すように、Ｘｐ－Ｙｐ平面において印刷対象ＭＥ０の正対形状に合わせて元印刷データＤＡ０をトリミングすることにより、仮の印刷データＤＡ２を生成する。「仮の」が付されているのは、場面５２１に示す状態でプレビュー画像ＩＰ０の相対位置が確定し、且つ、プリンター１００と印刷対象ＭＥ０との相対位置関係が特定された場合、トリミングされた元印刷データＤＡ０は前述の相対位置関係が付加されると印刷データＤＡ１として流用可能であるためである。最後に、ホスト装置１０は、場面５２４に示すように、Ｘｐ－Ｙｐ平面上の仮の印刷データＤＡ２をカメラ座標系３００に変換することによりトリミング画像ＩＴ０を生成し、該トリミング画像ＩＴ０を撮影画像ＩＭ０に重畳する。これにより、図２０に例示するように、三次元座標においてプレビュー画像ＩＰ０を印刷対象ＭＥ０に合わせてトリミングしたトリミング画像ＩＴ０を撮影画像ＩＭ０に重畳したＭＲ表示がディスプレイ１６において行われる。ここでも、ホスト装置１０は、自らの移動に応じて、又は、定期的に図６のＳ１０２，Ｓ１１８の処理を行い、新たな撮影画像ＩＭ０にトリミング画像ＩＴ０を重畳した画面をディスプレイ１６に表示させることにしている。
尚、プレビュー画像ＩＰ０が印刷対象ＭＥ０からはみ出ていない場合、プレビュー画像ＩＰ０をトリミングする必要が無いので、Ｓ１１８の処理をスキップすればよい。

トリミング画像ＩＴ０のＭＲ表示後、ホスト装置１０は、設定された相対位置における印刷データＤＡ１の印刷指示を受け付けたか否かに応じて処理を分岐させる（Ｓ１２０）。ホスト装置１０は、印刷指示を受け付けていない場合にＳ１１６～Ｓ１２０の処理を繰り返し、印刷指示を受け付けた場合に処理を図７のＳ１３２に進める。例えば、ホスト装置１０は、ディスプレイ１６に不図示の決定ボタンを表示し、この決定ボタンへの接触操作を入力装置１５により受け付けると、印刷指示を受け付けたとして処理をＳ１３２に進めてもよい。ユーザーは、決定ボタンをタップしなければ、プレビュー画像ＩＰ０のレイアウトを何回でも変更することができる。また、ホスト装置１０は、印刷対象ＭＥ０とともにプリンター１００を撮影する操作を受け付けたことを、印刷指示を受け付けたこととして、処理をＳ１３２に進めてもよい。

印刷指示の受け付け後、ホスト装置１０は、印刷対象ＭＥ０とプリンター１００の両方が認識されると両者を撮影し、得られる撮影画像ＩＭ０に含まれるプリンター１００と、印刷対象ＭＥ０と、の相対位置関係を特定する（Ｓ１３２）。
図２１は、プリンター１００と印刷対象ＭＥ０を含む撮影画像ＩＭ０をディスプレイ１６において表示しているホスト装置１０を模式的に例示している。図２１に示す撮影画像ＩＭ０には、印刷対象ＭＥ０に合わせてトリミング画像ＩＴ０が重畳されている。ホスト装置１０は、まず、三次元のカメラ座標系３００において、印刷対象ＭＥ０とプリンター１００の座標を求める。プリンター１００の座標には、マーカーＭＡ１の座標も含まれる。ここでも、ホスト装置１０は、撮影センサー２１が撮影した撮影画像ＩＭ０と、測距部２６が測定した撮影画像ＩＭ０中の各画素の被写体距離と、に基づいて、印刷対象ＭＥ０と、プリンター１００の上面と、のＺｃ軸座標を求めることができる。次に、ホスト装置１０は、カメラ座標系３００における印刷対象ＭＥ０及びプリンター１００の三次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）をプリンター座標系３１０における三次元座標値（Ｘｐ，Ｙｐ，Ｚｐ）に変換する。すると、ホスト装置１０は、プリンター座標系３１０のＸｐ－Ｙｐ平面上において、マーカーＭＡ１を基準としてプリンター１００と印刷対象ＭＥ０との相対位置関係を特定することができる。例えば、Ｘｐ－Ｙｐ平面上において、マーカーＭＡ１を原点にすると、図２に示すプリンター１００の各ノズル１５１の座標が決まり、印刷対象ＭＥ０に設定される各画素の座標が決まる。これにより、プリンター１００と印刷対象ＭＥ０との相対位置関係が特定される。

ディスプレイ１６において印刷対象ＭＥ０に重畳されるトリミング画像ＩＴ０のＭＲ表示は、図６のＳ１１８に類似する処理により実現することができる。図１９の場面５２２のように、プリンター座標系３１０のＸｐ－Ｙｐ平面上において印刷対象ＭＥ０に対する元印刷データＤＡ０の相対位置が設定されている。そこで、ホスト装置１０は、場面５２３に示すようにＸｐ－Ｙｐ平面において印刷対象ＭＥ０の正対形状に合わせて元印刷データＤＡ０をトリミングし、場面５２４に示すようにＸｐ－Ｙｐ平面上の仮の印刷データＤＡ２をカメラ座標系３００に変換し、得られるトリミング画像ＩＴ０を撮影画像ＩＭ０に重畳すればよい。

尚、プリンター１００と印刷対象ＭＥ０との相対位置関係は、マーカーを使用しなくても特定可能である。例えば、プリンター１００には、複数の角、ボタン１４０、といった複数の特徴点が存在し得る。そこで、ホスト装置１０は、撮影画像ＩＭ０からカメラ座標系３００における１以上の特徴点の三次元座標値を求め、いずれかの特徴点を原点としてプリンター座標系３１０においてプリンター１００と印刷対象ＭＥ０との相対位置関係を特定してもよい。また、略直方体の筐体１０１を有するプリンター１００の８箇所の角のうち４箇所以上の角を一つの撮影画像ＩＭ０から抽出すると、抽出結果に基づいて、印刷対象ＭＥ０と、プリンター１００の上面と、のＺｃ軸座標を求めることができる。そこで、ホスト装置１０は、抽出した特徴点の内、いずれかの特徴点を原点としてプリンター座標系３１０においてプリンター１００と印刷対象ＭＥ０との相対位置関係を特定してもよい。

相対位置関係の特定後、ホスト装置１０は、印刷対象ＭＥ０に対して設定されたレイアウトに合わせた元印刷データＤＡ０を三次元のプリンター座標系３１０において印刷対象ＭＥ０の正対形状に合わせて切り出すことにより、印刷データＤＡ１を生成する（Ｓ１３４）。印刷データＤＡ１は、プリンター１００と印刷対象ＭＥ０との相対位置関係を含み、例えば、プリンター座標系３１０のＸｐ－Ｙｐ平面上においてマーカーＭＡ１を原点とした座標値（Ｘｐ，Ｙｐ）に各画素のドットの形成状態を表すドットデータとすることができる。ドットデータは、例えば、各画素について、シアンインクのドットの有無、マゼンタインクのドットの有無、イエローインクのドットの有無、及び、ブラックインクのドットの有無を表すデータとすることができる。ホスト装置１０は、Ｓ１３２の処理においてプリンター座標系３１０のＸｐ－Ｙｐ平面において印刷対象ＭＥ０の正対形状に合わせて元印刷データＤＡ０をトリミングすることにより仮の印刷データＤＡ２を生成した場合、仮の印刷データＤＡ２に相対位置関係を表す情報を付加することにより印刷データＤＡ１を生成してもよい。

印刷データＤＡ１の生成後、ホスト装置１０は、プリンター１００から印刷要求が有るまで待機する（Ｓ１３６）。例えば、ユーザーが手持ちプリンター１００を印刷したい場所にスライドさせて押さえ付けたりボタン１４０を押したりする等すると、対応する印刷位置の印刷を開始させる印刷トリガーとしての印刷要求をプリンター１００がホスト装置１０に送信すればよい。図２に示すプリンター１００は、各移動量検出センサー１３０により検出した移動方向及び移動距離に基づいて、プリンター座標系３１０のＸｐ－Ｙｐ平面上における自らの座標値及び向きを計算している。そこで、プリンター１００は、印刷要求と合わせて、自らの座標値及び向きをホスト装置１０に送信すればよい。

印刷要求を受信したホスト装置１０は、用意した印刷データＤＡ１の内、印刷位置に対応する部分のデータをプリンター１００に送信する（Ｓ１３８）。ホスト装置１０は、プリンター１００の座標値及び向きを受信すると、プリンター１００の向きを考慮して各ノズル１５１に割り当てた部分的なドットデータを生成し、該部分的なドットデータをプリンター１００に送信する。また、ホスト装置１０は、図２に示すマスク情報を図４に示すＲＡＭ１３に格納しており、印刷済みフラグＦＬ１が格納されている画素にはドット無しを割り当てる。部分的なドットデータを受信したプリンター１００は、ユーザーの操作によりスライドすると、部分的なドットデータに従って記録ヘッド１５０からインク滴を印刷対象ＭＥ０に吐出する。

ホスト装置１０は、印刷を終了するまでＳ１３６～Ｓ１３８の処理を繰り返し（Ｓ１４０）、印刷を終了すると印刷制御処理を終了させる。Ｓ１３６～Ｓ１４０の処理が繰り返されることにより、図１に示すように、印刷対象ＭＥ０のうちユーザーがプリンター１００をスライドさせた部分に印刷画像ＩＭｐが形成され、印刷物が形成される。
以上のようにして、ホスト装置１０は、プレビュー画像ＩＰ０に合わせた変更を元印刷データＤＡ０に行うことにより、特定された印刷対象ＭＥ０に対応する印刷データＤＡ１を生成し、該印刷データＤＡ１に基づく印刷対象ＭＥ０への印刷をプリンター１００に実行させる。また、ホスト装置１０は、印刷対象ＭＥ０を含むように元印刷データＤＡ０を印刷対象ＭＥ０に対して設定された相対位置に合わせて変形し、変形後の元印刷データＤＡ０を印刷対象ＭＥ０の正対形状に合わせてトリミングした印刷データＤＡ１に基づく印刷対象ＭＥ０への印刷をプリンター１００に実行させる。

以上説明したように、図８で示した印刷対象候補抽出処理が行われることにより、撮影センサー２１が撮影した撮影画像ＩＭ０と、測距部２６が測定した撮影画像ＩＭ０中の各画素の被写体距離と、に基づいて、所定範囲の色において連続している領域が印刷対象候補Ａ０として特定され、該印刷対象候補Ａ０のいずれか一つが印刷対象ＭＥ０として特定される。これにより、奥行き方向への不連続箇所等、印刷に不向きな領域が印刷対象ＭＥ０から除外される。従って、本具体例は、使い勝手を向上させることができる。
また、図６で示したＳ１１２～Ｓ１１８におけるトリミング画像ＩＴ０のＭＲ表示処理が行われることにより、印刷対象ＭＥ０よりも大きい元印刷データＤＡ０が扱われ、印刷対象ＭＥ０からはみ出した部分にはプレビュー画像ＩＰ０が重ならない。これにより、ユーザーは、予想される印刷結果を三次元的に容易に確認することができる。従って、本具体例は、より思い通りの印刷結果を得ることができる。

（４）変形例：
本発明は、種々の変形例が考えられる。
例えば、印刷対象に画像を形成するインクの種類は、シアン、マゼンタ、イエロー、及び、ブラックに加えて、シアンよりも低濃度のライトシアン、マゼンタよりも低濃度のライトマゼンタ、白色のホワイト、光沢を与えるクリア等を含んでいてもよい。また、シアン、マゼンタ、イエロー、及び、ブラックの一部のインクを使用しない場合も、本技術を適用可能である。
上述した処理は、順番を入れ替える等、適宜、変更可能である。例えば、図８に示すＳ２１４の処理を無くし、大きさにかかわらず仮の印刷対象候補ＴＡを印刷対象候補Ａ０に設定することが可能である。また、仮の印刷対象候補ＴＡを印刷対象候補Ａ０ではなく、直接、印刷対象ＭＥ０に設定することも可能である。

図７は手持ちプリンター１００を印刷対象ＭＥ０にかざした範囲に対する印刷要求をホスト装置１０が受けてプリンター１００に印刷データＤＡ１を複数に分けて送信する例を示しているが、ホスト装置１０は事前に全ての印刷データＤＡ１をプリンター１００に送信してもよい。全ての印刷データＤＡ１を受信したプリンター１００は、印刷データＤＡ１のうち印刷位置に対応する部分のデータを各ノズル１５１に割り当てた部分的なドットデータを逐次生成し、該部分的なドットデータに従って記録ヘッド１５０からインク滴を印刷対象ＭＥ０に吐出してもよい。

図８のＳ２０２～Ｓ２１６は撮影センサー２１が撮影した撮影画像ＩＭ０と、測距部２６が測定した撮影画像ＩＭ０中の各画素の被写体距離と、に基づいて印刷対象候補Ａ０を設定する例を示しているが、上述した態様１１を実施しない場合、別の方法で印刷対象候補Ａ０が設定されてもよい。
例えば、ホスト装置１０は、被写界深度と複数フォーカスを用いることにより撮影画像ＩＭ０から印刷対象候補Ａ０、テーブル、ホワイトボード、等の滑らかな面を抽出してもよいし、人工知能による画像認識により撮影画像ＩＭ０から印刷対象候補Ａ０等の滑らかな面を抽出してもよい。また、ホスト装置１０が深度カメラを備えている場合、ホスト装置１０は、深度カメラからカメラ座標系３００のＺｃ座標値を取得することにより撮影画像ＩＭ０から印刷対象候補Ａ０等を抽出してもよい。さらに、ホスト装置１０は、撮影画像ＩＭ０の複数の画素値からヒストグラムを生成し、該ヒストグラムに基づいて撮影画像ＩＭ０から印刷対象候補Ａ０等を抽出してもよい。さらに、ホスト装置１０は、撮影画像ＩＭ０に対してフィルター又はマスクを適用することにより撮影画像ＩＭ０から印刷対象候補Ａ０等を抽出してもよい。これらの場合、印刷対象候補Ａ０等を抽出するための撮影画像ＩＭ０は、１枚でもよい。

図２１はプリンター１００と印刷対象ＭＥ０の両方を撮影することにより両者の相対位置関係を特定する例を示しているが、プリンター１００を撮影しなくてもプリンター１００と印刷対象ＭＥ０との相対位置関係を特定することが可能である。例えば、ホスト装置１０は、印刷対象ＭＥ０を含む撮影画像ＩＭ０に原点を示す原点画像を重畳した画面をディスプレイ１６に表示させてもよい。この場合、ディスプレイ１６の画面を見たユーザーは、原点画像の位置にプリンター１００を置いてからスライドさせる操作を行えばよい。すると、印刷データＤＡ１が印刷対象ＭＥ０に印刷される。

ところで、図６のＳ１０２の印刷対象候補抽出処理は、図８で示した印刷対象候補抽出処理に限定されず、様々な処理が可能である。
図２２は、図６のＳ１０２で実行可能な印刷対象候補抽出処理を模式的に例示している。ここで、Ｓ３０２～Ｓ３１６は、抽出部Ｕ１１、抽出機能ＦＵ１１、及び、抽出工程ＳＴ１１に対応している。Ｓ３１８は、図６のＳ１１２～Ｓ１１４，Ｓ１１８とともに、表示部Ｕ２、表示機能ＦＵ２、及び、表示工程ＳＴ２に対応している。図２３は、撮影画像群Ｇ１から印刷対象候補Ａ０を抽出する様子を模式的に例示している。尚、図４に示す測距部２６は、撮影範囲から合焦している合焦位置２００を検出するものとする。合焦位置２００は、ピントが合っている位置を意味する。カメラ２０は、撮影画像ＩＭ０が生成されると、合焦位置２００を示す情報を撮影画像ＩＭ０に対応付けてＲＡＭ１３に格納する。

図２２に示す印刷対象候補抽出処理が開始すると、ホスト装置１０は、カメラ２０が動作していない場合にカメラ２０を起動させ、被写体にフォーカスが合っていない場合にフォーカスが合うまで待機する（Ｓ３０２）。被写体の想定は、図９に例示するような印刷対象候補Ａ１，Ａ２である。被写体にフォーカスが合うと、ピントが合う距離ｆが定まり、被写体距離Ｌが定まる。
被写体にフォーカスが合っていることが確認された後、ホスト装置１０は、ピント制御部２７によりピントが合う距離ｆを変えながら撮影センサー２１により被写体を撮影し、撮像画像群Ｇ１を取得する（Ｓ３０４）。各距離ｆにおいて、測距部２６は、被写体距離Ｌを測定し、合焦位置２００を検出する。ホスト装置１０は、Ｓ３０２で定まったピントが合う距離ｆを所定距離分小さくしてから徐々に増加させながら被写体を撮影してもよいし、Ｓ３０２で定まったピントが合う距離ｆを所定距離分大きくしてから徐々に減少させながら被写体を撮影してもよい。

図２３は、撮影画像群Ｇ１から印刷対象候補Ａ０を抽出する様子を模式的に例示している。図２３に示す撮影画像群Ｇ１は、ピントが合う距離ｆをｆ１からｆ６まで徐々に増加させながら撮影した静止画である撮影画像ＩＭ１～ＩＭ６を含んでいる。撮影画像ＩＭ１～ＩＭ６は、所定範囲の第一の色である印刷対象候補Ａ１と、所定範囲の第二の色である印刷対象候補Ａ２と、を含んでいる。ただし、印刷対象候補Ａ１，Ａ２は、撮影画像ＩＭ１～ＩＭ６から抽出される領域であり、印刷対象候補の抽出処理を行う前は印刷対象候補であるか否かは分かっていない。各撮影画像ＩＭ１～ＩＭ６には、各距離ｆ１～ｆ６において合焦している合焦位置２００が対応付けられている。説明の都合上、図２３には、第一の色の合焦位置２００のみハッチングを付している。図２２に示すＳ３０４の処理では、図２３に示すような撮影画像群Ｇ１が取得される。

撮影画像群Ｇ１の取得後、ホスト装置１０は、各撮影画像ＩＭ０から合焦位置２００の領域を取得する（Ｓ３０６）。ここで、合焦位置２００の領域を合焦領域と呼ぶことにする。合焦領域は、例えば、図２３に示す探索色領域ＡＳ１～ＡＳ６であり、図示していないが印刷対象候補Ａ２となる部分にも存在する。

合焦領域の取得後、ホスト装置１０は、合焦領域から所定範囲の探索色を設定する（Ｓ３０８）。合焦領域に互いに異なる第一の色及び第二の色がある場合、第一の色と第二の色が順に探索色に設定される。図２３には、ピントが合う距離ｆ１の撮影画像ＩＭ１において、第一の色である探索色の合焦領域が探索色領域ＡＳ１として示されている。
印刷対象候補Ａ０は、ほぼ同一の薄い色であることを前提としているが、厳密に同一の色であるとは限らない。そこで、探索色領域ＡＳ１の色を基準として所定範囲内の色であれば探索色領域ＡＳ２～ＡＳ６も第一の色であると判断することにしている。同一の色とする所定範囲は、例えば、探索色領域ＡＳ１の色を基準として所定の色差の範囲としてもよいし、探索色領域ＡＳ１の輝度を基準として所定の輝度差の範囲としてもよいし、ＲＧＢ色空間において探索色領域ＡＳ１のＲＧＢ値を基準として所定の直方体に入る範囲としてもよい。撮影画像ＩＭ０が画素毎のＲＧＢ値で表現されている場合、輝度には、Ｒ値とＧ値とＢ値の相加平均、重み付けを異ならせたＲ値とＧ値とＢ値の平均、等を用いることができる。

探索色の設定後、ホスト装置１０は、ピントが合う距離ｆの順に連続している探索色領域を接続する処理を行う（Ｓ３１０）。図２３に示すように、ピントが合う距離ｆ２の撮影画像ＩＭ２に含まれる第一の色の合焦位置２００である探索色領域ＡＳ２が探索されたとする。図２３において撮影画像ＩＭ２の右に示すように、ホスト装置１０は、探索色領域ＡＳ１，ＡＳ２を同じ平面上に並べる処理を行えばよい。探索色領域ＡＳ１，ＡＳ２が繋がっている場合、探索色領域ＡＳ１，ＡＳ２は、第一の色において連続している合焦領域である。尚、探索色領域ＡＳ１，ＡＳ２が繋がっていることには、同じ平面上で探索色領域ＡＳ１と探索色領域ＡＳ２とが一部重複する場合と、同じ平面上で探索色領域ＡＳ１と探索色領域ＡＳ２とが重複していないが探索色領域ＡＳ１と探索色領域ＡＳ２と間に隙間が無い場合と、の両方が含まれる。
以下、ピントが合う距離ｆ３の撮影画像ＩＭ３に含まれる探索色領域ＡＳ３、ピントが合う距離ｆ４の撮影画像ＩＭ４に含まれる探索色領域ＡＳ４、ピントが合う距離ｆ５の撮影画像ＩＭ５に含まれる探索色領域ＡＳ５、及び、ピントが合う距離ｆ６の撮影画像ＩＭ６に含まれる探索色領域ＡＳ６も上述の平面上に並べられる。繋がっている探索色領域ＡＳ１～ＡＳ６は、接続される。接続された探索色領域ＡＳ１～ＡＳ６は、撮影画像群Ｇ１からピントが合う距離ｆの順に合焦位置２００が所定範囲の第一の色において連続している滑らかな面の領域である。図示していないが、撮影画像群Ｇ１からピントが合う距離ｆの順に合焦位置２００が所定範囲の第二の色において連続している複数の探索色領域も接続される。

被写体には、均一色の領域に段差といった奥行き方向への不連続箇所がある。図２４は、被写体に段差がある場合に撮影画像群Ｇ１から探索色領域を抽出する様子を模式的に例示している。図２４において、撮影画像ＩＭ１，ＩＭ２から第一の色の探索色領域ＡＳ１，ＡＳ２が抽出されることは、図２３で示した例と同じである。ここで、探索色領域ＡＳ２の先に段差がある場合、次の撮影画像ＩＭ３に第一の色の探索色領域が現れない。従って、その次の撮影画像ＩＭ４に第一の色の探索色領域ＡＳ４が現れても、探索色領域ＡＳ２，ＡＳ４はピントが合う距離ｆの順に合焦位置２００が所定範囲の第一の色において連続しているとは言えない。

探索色領域の接続処理後、ホスト装置１０は、処理後の探索色領域が所定の大きさ以上あるか否かに応じて処理を分岐させる（Ｓ３１２）。処理後の探索色領域が所定の大きさ未満である場合、ホスト装置１０は、処理後の探索色領域を印刷対象候補にしないで処理をＳ３１６に進める。処理後の探索色領域が所定の大きさ以上ある場合、ホスト装置１０は、処理後の探索色領域のうち薄い探索色領域を印刷対象候補Ａ０に設定し（Ｓ３１４）、処理をＳ３１６に進める。印刷対象候補Ａ０は薄い色であることを前提としているので、ホスト装置１０は、例えば、処理後の探索色領域のうち所定の輝度以上の探索色領域を印刷対象候補Ａ０として設定すればよい。処理後に所定の大きさ以上の探索色領域のうち印刷対象候補Ａ０でない領域は、印刷対象候補Ａ０の背景にある滑らかな面に設定される。

接続処理後の探索色領域は、プリンター座標系３１０のＸｐ－Ｙｐ平面上に変換されたうえで、大きさが判断される。Ｘｐ－Ｙｐ平面上における処理後の探索色領域は、撮影画像群Ｇ１に含まれる撮影画像ＩＭ０の画角θ１に基づいて求められる正対形状である。ホスト装置１０は、所定の大きさ以上となるようにピントが合う距離ｆの順に合焦位置２００が所定範囲の色において連続している滑らかな面の領域を印刷対象候補Ａ０として抽出する。処理後の探索色領域の大きさは、図１４Ａに例示するように面積に基づいて判断されてもよいし、図１４Ｂに例示するようにＹｐ軸方向における長さである高さに基づいて判断されてもよい。

図１４Ａに示すように、接続処理後に、面積の閾値ＴＳよりも大きい面積Ｓ１の探索色領域、及び、閾値ＴＳよりも小さい面積Ｓ２の探索色領域が抽出されたとする。Ｓ１＞ＴＳの探索色領域は、印刷に適切な印刷対象候補Ａ１に設定される。Ｓ２＜ＴＳの探索色領域は、印刷に不向きな領域Ａ９である。
図１４Ｂに示すように、接続処理後に、高さの閾値ＴＨよりも高い高さＨ１の探索色領域、及び、閾値ＴＨよりも低い高さＨ２の探索色領域が抽出されたとする。Ｈ１＞ＴＨの探索色領域は、印刷に適切な印刷対象候補Ａ１に設定される。Ｈ２＜ＴＨの探索色領域は、印刷に不向きな領域Ａ９である。

ホスト装置１０は、上述したＳ３０８～Ｓ３１４の処理を設定する探索色が無くなるまで繰り返す（Ｓ３１６）。これにより、撮影画像群Ｇ１からピントが合う距離ｆの順に合焦位置２００が所定範囲の色において連続している所定の大きさ以上の印刷対象候補Ａ０が抽出される。

印刷対象候補Ａ０の抽出後、ホスト装置１０は、図１５に例示するように、表示している撮影画像ＩＭ０の平面部分にドット群４００を付け、印刷対象候補Ａ０に所定の色を付け（Ｓ３１８）、印刷対象候補抽出処理を終了させる。

以上説明したように、図２２で示した印刷対象候補抽出処理が行われることにより、撮影画像群Ｇ１からピントが合う距離ｆの順に合焦位置２００が所定範囲の色において連続している領域が印刷対象候補Ａ０として特定され、該印刷対象候補Ａ０のいずれか一つが印刷対象ＭＥ０として特定される。これにより、奥行き方向への不連続箇所等、印刷に不向きな領域が印刷対象ＭＥ０から除外される。従って、本変形例は、使い勝手を向上させることができる。

（５）結び：
以上説明したように、本発明によると、種々の態様により、より思い通りの印刷結果を得ることが可能な技術、印刷制御処理の使い勝手を向上させる技術、等を提供することができる。むろん、独立請求項に係る構成要件のみからなる技術でも、上述した基本的な作用、効果が得られる。
また、上述した例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術及び上述した例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も実施可能である。本発明は、これらの構成等も含まれる。

１０…ホスト装置（印刷制御装置の例）、１５…入力装置、１６…ディスプレイ、２０…カメラ、２１…撮影センサー、２２…撮像素子、２５…フォーカスコントローラー、２６…測距部、２７…ピント制御部、２８…ＡＦ部、１００…プリンター（印刷装置の例）、１１０…コントローラー、１３０…移動量検出センサー、１４０…ボタン、１５０…記録ヘッド、１５０Ｃ，１５０Ｍ，１５０Ｙ，１５０Ｋ…ノズル列、１５１…ノズル、２００…合焦位置、３００…カメラ座標系、３１０…プリンター座標系、３５０…撮影範囲、４００…ドット群、Ａ０，Ａ１，Ａ２…印刷対象候補、ＡＳ１～ＡＳ６…探索色領域、ＤＡ０…元印刷データ、ＤＡ１…印刷データ、ＤＡ２…仮の印刷データ、Ｇ１…撮影画像群、ＩＭ０…撮影画像、ＩＭｐ…印刷画像、ＩＮ１…マスク情報、ＩＰ０…プレビュー画像、ＩＴ０…トリミング画像、ＭＡ１…マーカー、ＭＥ０…印刷対象、Ｏｂ…被写体、ＯＲ０，ＯＲ１…元画像、ＰＲ１…印刷制御プログラム、ＳＹ１…印刷システム、Ｕ１…特定部、Ｕ２…表示部、Ｕ３…設定受付部、Ｕ４…印刷指示受付部、Ｕ５…相対位置特定部、Ｕ６…制御部、Ｕ１１…抽出部、Ｕ１２…印刷対象受付部。

Claims (9)

1. 印刷装置に印刷を実行させる印刷制御装置であって、
   撮影センサーが撮影した撮影画像の合焦位置に基づいて奥行き方向への距離を測定する測距部と、
   前記撮影センサーが撮影した撮影画像から該撮影画像の各画素の奥行き方向への距離に基づいて印刷対象を特定する特定部と、
   元印刷データに基づくプレビュー画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示部と、
   印刷指示を受け付ける印刷指示受付部と、
   前記印刷指示に応じて、前記元印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる制御部と、
   を備えた印刷制御装置。
2. 前記特定部は、前記印刷対象を三次元座標において特定し、
   前記表示部は、前記三次元座標において前記プレビュー画像を前記印刷対象に合わせてトリミングしたトリミング画像を前記撮影画像に重畳した前記画面を前記ディスプレイに表示させる、請求項１に記載の印刷制御装置。
3. 前記三次元座標において前記印刷対象に対する前記プレビュー画像の相対位置の設定を受け付ける設定受付部を備え、
   前記制御部は、前記三次元座標において前記印刷対象に対して前記相対位置に合わせた前記元印刷データを前記印刷対象の形状に合わせて切り出すことにより印刷データを生成し、該印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる、請求項２に記載の印刷制御装置。
4. 前記表示部は、前記印刷対象を含むように前記プレビュー画像を変形し、変形した前記プレビュー画像を前記印刷対象に合わせてトリミングしたトリミング画像を前記撮影画像に重畳した前記画面を前記ディスプレイに表示させ、
   前記制御部は、前記プレビュー画像に合わせて前記元印刷データを変形することにより得られる印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる、請求項１～請求項３のいずれか一項に記載の印刷制御装置。
5. 前記撮影画像に含まれる前記印刷装置と、前記印刷対象と、の相対位置関係を特定する相対位置特定部をさらに備え、
   前記制御部は、前記相対位置関係に基づいて印刷データを生成し、該印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる、請求項１～請求項４のいずれか一項に記載の印刷制御装置。
6. 前記印刷装置は、手動走査型のプリンター、又は、自走型のプリンターである、請求項１～請求項５のいずれか一項に記載の印刷制御装置。
7. 前記表示部は、前記撮影画像の平面部分にドット群を付けた前記画面を前記ディスプレイに表示させる、請求項１～請求項６のいずれか一項に記載の印刷制御装置。
8. 印刷装置に印刷を実行させるための印刷制御プログラムであって、
   撮影センサーが撮影した撮影画像の合焦位置に基づいて奥行き方向への距離を測定する測距機能と、
   前記撮影センサーが撮影した撮影画像から該撮影画像の各画素の奥行き方向への距離に基づいて印刷対象を特定する特定機能と、
   元印刷データに基づくプレビュー画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示機能と、
   印刷指示を受け付ける印刷指示受付機能と、
   前記印刷指示に応じて、前記元印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる制御機能と、
   をコンピューターに実現させる印刷制御プログラム。
9. 印刷装置により印刷物を生産する印刷物生産方法であって、
   撮影センサーが撮影した撮影画像の合焦位置に基づいて奥行き方向への距離を測定する測距工程と、
   前記撮影センサーが撮影した撮影画像から該撮影画像の各画素の奥行き方向への距離に基づいて印刷対象を特定する特定工程と、
   元印刷データに基づくプレビュー画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示工程と、
   印刷指示を受け付ける印刷指示受付工程と、
   前記印刷指示に応じて、前記元印刷データに基づいて前記印刷装置により前記印刷物を形成する印刷工程と、
   を含む印刷物生産方法。

Images