JP6207211B2 - 情報処理装置及びその制御方法 - Google Patents

Description

本発明は、プリンタやプロジェクタ等の出力機器に通知する印刷設定情報を設定する情報処理装置に関する。

近年、立体物の表面へ、直接的または間接的に印刷画像を載せる技術が知られている。
例えば、立体物へ貼りつけるラベルなどを作成する際に、ラベルに印刷されるレイアウトが適切であるかを確認しながら編集するための技術が知られている。
特許文献１では、予め設定された印刷物の貼付対象物の外観と貼り付け対象領域の情報を、編集時にディスプレイ上で背景として描画する。
特許文献２では、印刷物の貼付対象物の面の数及び面の大きさに基づいて所定の情報が角部に位置しないように全体のレイアウトを自動編集する。

特開２００２−０１４７９９号公報 特開２００３−０１８３９１号公報

特許文献１は、印刷物を貼付対象物に貼り付けたときの状況を編集時にディスプレイ上で確認することを可能にしている。しかしながら、特許文献１に記載されている方法では、貼付対象領域があらかじめ決められており、変更することについて考慮されていなかった。また、予め設定された情報は、実際の物体の状況とは異なる可能性があった。

特許文献２は、印刷物を貼付対象物に貼り付けたときに角部に位置しないように自動編集することを可能にしている。しかしながら、特許文献２に記載されている方法では、貼付対象物の面の数やそれぞれの面の大きさをユーザが数値で入力しなければならなかった。

本発明では、このような事情を鑑みてなされたものであり、物体に貼り付けるための印刷物など、物体の表面に載せられる候補画像を編集する操作の操作性を向上させることを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、所定の空間に存在する物体を検出する検出手段と、前記検出手段が検出した物体の形状情報を取得する取得手段と、前記検出手段が検出した物体に、該物体の表面に載せられる候補画像を投影させる投影制御手段と、前記物体に投影されている候補画像を変形させる指示として、ユーザが行うジェスチャ操作を認識する認識手段と、前記認識手段が認識した指示によって変形された候補画像、及び前記物体の形状情報とに基づいて、前記候補画像を所定の印刷装置に印刷させるための印刷設定情報を決定する決定手段と、を備えることを特徴とする。

本発明によれば、物体に貼り付けるための印刷物など、物体の表面に載せられる候補画像を編集する操作の操作性が向上する。

情報処理装置のハードウェア構成と外観の一例を示すブロック図 情報処理装置の機能構成の一例を示す図 情報処理装置が実行する印刷設定情報を設定する処理の一例を示すフローチャート 情報処理装置が対象物と印刷画像に基づいて印刷設定情報を設定する様子を示す概要図 印刷装置に出力する場合に実行される処理の一例を示すフローチャート 情報処理装置が実行する、ジェスチャ操作で指示された変形を記憶する処理の一例を示すフローチャート 情報処理装置が実行する、印刷物を対象物に貼付する作業のガイドを提示する処理の一例を示すフローチャート 対応付けられた重畳画像と対象物画像と印刷データの例を示す図 第１の実施形態の変形例２を実行する情報処理装置の操作例を示す図 ガイドの一例としてマーカーを投影する様子を示す図

以下、図面を参照しながら本発明の好適な実施例について説明していく。

（第１の実施形態）
本実施形態では、ユーザが物体に貼付する為の印刷物を生成する際に、貼付する対象の物体の大きさに合わせて当該物体に直接投影されたプレビュー画像に対し、ジェスチャ操作を行うことで、印刷物の大きさを設定する例を説明する。

図１（ａ）は、本実施形態における情報処理装置のハードウェア構成の一例であるブロック図である。同図において、ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０７に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。カメラ１０４は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。距離画像センサ１０５は、例えば赤外線センサであり、距離画像センサ１０５からの距離情報を検知する。プロジェクタ１０６は、作業空間に電子データやユーザインタフェース部品を含む映像を投影する。ここで作業空間とは、プロジェクタ１０６から、後述する読み取り台１１１の上面までの空間である。システムバス１０７は、装置内の各要素を接続し、各要素間における信号の送受信を行う。記憶装置２１１は本実施形態では外付けのハードディスクであって、本実施形態に係る各種データやプログラムを記憶する。

図１（ｂ）は、本実施形態における情報処理装置の外観の一例を示す図である。本実施形態では、読み取り台１１１に対し、上部に設置された筐体の中に、カメラ１０４、距離画像センサ１０５、プロジェクタ１０６が配置される。カメラ１０４は、読み取り台１１１を俯瞰する状態で撮影する。以下では、カメラ１０４の画角に含まれる空間（図２（ｂ）の破線で囲まれた空間）を、作業空間１１３という。プロジェクタ１０６は、下向きに投影光を照射することで作業空間１１３に向けて投影を行う。また、距離画像センサ１０５も、撮影方向が下を向くよう設置され、作業空間１１３に存在する物体（例えばユーザの手や貼付対象部１１２）あるいは読み取り台と、距離画像センサ１０５との間の距離情報を検知する。

次に図２（ａ）は、第１の実施形態に係る情報処理装置１００の機能ブロック図である。

撮像部２０１は、カメラ１０４に相当し、作業空間を撮像する。特に、読み取り台の置かれた対象物の上向きの面、およびジェスチャ操作に用いられるユーザの手を撮像する。撮像部２０１は、作業空間を周期的に撮像し続けている。撮像された複数の画像を時系列に従って比較することで、被写体の動きが検出できる。また、本実施形態では、撮像した画像に基づいて、対象物の読み取り対象面（上向きにされた面）のデータを得ることを、対象物を読み取るという。例えば、紙文書が上向きに置かれた読み取り台を撮像した画像から、紙文書部分を切り出したデータを得ることを、紙文書を読み取るという。読み取りを行うための撮像は、読み取り用に別途行われるが、周期的に繰り返されている撮像のうちの１回であってもよく、複数回の撮像から得られた複数の画像に基づいて取得してもよい。カメラ１０４の撮像可能な範囲を読み取りエリアとするが、ここでは、読み取り台上面のサイズと、読み取りエリアのサイズが等しいものとする。

なお、本実施形態では、読み取りとジェスチャ操作の検出に、同じ撮像部２０１から得られた画像を用いるが、これに限られない。例えば、ジェスチャ操作の検出には、カメラ１０４とは別に設けられた赤外線カメラなどから構成される検出手段を用いても良い。

検出部２０２は、ＣＰＵ１０１等から構成され、ＲＯＭ１０３に記憶されたプログラムやデータをＲＡＭ１０２に読み出して実行し、撮像部２０１が撮像した画像に基づいて、作業空間に存在する検出対象物（例えば、貼付対象物やユーザの指等）を検出する。そして、検出対象物の読み取り台上における位置情報（座標）を取得し、保持部２０４に保持する。

認識部２０３は、ＣＰＵ１０１等から構成され、ＲＯＭ１０３に記憶されたプログラムやデータをＲＡＭ１０２に読み出して実行することで、検出部２０２が検出対象物として検出したユーザの指の動きに基づいて、ユーザのジェスチャ操作を認識する。本実施形態において、ジェスチャ操作によって指示されるのは、投影画像に対する変形である。認識部２０３は、ユーザの指の動きに基づいて画像を変形させるためのパラメータの変更値を導出し、後述する投影制御部２０５に通知して投影部２０６によって投影される画像に変形を反映させる。

保持部２０４は、ＲＡＭ１０２に相当し、各機能部が処理する情報を保持する手段である。保持される情報には、読み取り対象物を撮像部２０１で読み取った読み取りデータや、奥行き情報取得部２０７で取得した距離情報、記憶装置２１１から読み出された印刷データ（物体の表面に載せられる候補画像を印刷するための画像データ）の情報が含まれる。保持部２０４は、上記情報の他に、対象物に関する情報や検出した手に関する情報、ジェスチャ操作によって指示された印刷倍率等、印刷設定情報等も保持する。

投影制御部２０５は、ＣＰＵ１０１等から構成され、ＲＯＭ１０３に記憶されたプログラムやデータをＲＡＭ１０２に読み出して実行することで、投影部２０６によって作業空間に向けて投影される投影画像を生成する。本実施形態では、保持部２０４に読み出されている印刷データを含む投影画像を生成し、投影部２０６に出力する。この際、認識部２０３によって、投影画像中の印刷データに対する変形指示が認識されている場合には、認識部２０３が導出したパラメータを反映した投影画像を生成し、投影部２０６に投影させる。

投影部２０６は、プロジェクタ１０６に相当する投影手段であって、投影制御部２０５によって生成された投影画像を、作業空間に向けて投影する。なお、通常投影部２０６は読み取り台上にフォーカスを合わせた状態で画像の投影を行うが、作業空間上に配置された立体物に対して投影を行う場合には、奥行き情報取得部２０７から、立体物の表面までの距離情報を取得し、フォーカス位置を自動調整する。

奥行き情報取得部２０７は、距離画像センサ１０５等によって、読み取り台上に置かれた対象物の奥行き情報（距離画像センサ１０５の設置位置から対象物上面までの距離を示す情報）を取得する。また、奥行き情報取得部２０７は、得られた奥行き情報に基づいて、対象物上面の形状（サイズ、形、曲率等）を取得することができる。

設定部２０８は、ＣＰＵ１０１等から構成され、ＲＯＭ１０３に記憶されたプログラムやデータをＲＡＭ１０２に読み出して実行し、印刷装置２１２に通知する印刷設定情報を設定する。本実施形態では、認識部２０３が認識したジェスチャ操作に基づいて、印刷対象の画像データを印刷装置２１２で印刷出力する際の印刷設定情報を設定する。本実施形態では、印刷対象の画像データとは、紙やシール台紙等の記録媒体に印刷されることで、貼付対象物に貼付されるラベル等となる画像データである。ただし、記録媒体を貼付するのではなく、直接物体に印刷されるための画像データであっても構わない。また、本実施形態において印刷設定情報とは、例えば、倍率、色調、コントラストや余白の分量などである。

記憶装置２１１は、ＨＤＤ２０８に相当し、保持部２０４に保持されたデータを、保存データとして保持する。保存データは、外部で生成された印刷用の画像データ、情報処理装置１００で読み取った読み取りデータと、各種データの対応関係を示す情報、印刷設定情報等である。

印刷装置２１２は、プリンタ１０９に相当し、保持部２０４保持された、あるいは記憶装置２１１に記憶された印刷データの印刷を行う。この際、当該印刷データに対し、設定部２０８が設定した印刷設定情報がある場合には、印刷設定を反映した印刷出力を実行する。

尚、撮像部２０１、投影部２０６、奥行き情報取得部２０７は、情報処理装置１００の装置内にある例を示すが、外部装置であってもよい。また、記憶装置２１１、印刷装置２１２は、外部装置である例を示すが、情報処理装置１００の装置内にあってもよい。

図３は、第１の実施形態における情報処理装置１００が実行する、印刷設定情報を設定する処理を示すフローチャートである。本実施形態では、例えばパーソナルコンピュータなどにおいて、生成された１以上の印刷用の画像データ（以下、印刷データ）が、物体の表面に載せられる候補画像として予め保持部２０４保持されている。記憶装置２１１に記憶されている印刷データを候補画像とする場合には、記憶装置２１１から保持部２０４に画像の情報が読みだされる。情報処理装置１００では、貼付対象物に貼付するための画像を印刷する印刷モードやアプリケーションにおいて、貼付対象となる印刷データが指定されたことに応じて、図３のフローチャートが起動される。

ステップＳ３０１において、投影制御部２０５が、指定された印刷データを保持部２０４から読み込み、印刷データを含む投影画像を生成する。そして、投影部２０６が、生成された投影画像を読み取り台に投影する。このとき、投影のフォーカス位置は初期設定に従って、読み取り台上に合わせられている。また、投影画像に含まれる印刷データの大きさは、読み取り台の表面に投影された状態で、実物大となるように調整される。例えば、パーソナルコンピュータにおいてＡ４サイズに合わせて生成された画像データを投影する場合には、読み取り台表面での投影サイズがＡ４サイズとなるように調整される。

ステップＳ３０２において、撮像部２０１が作業空間を撮像する。これ以降、周期的に撮像が繰り返される。なお、一般的に、動画の撮影は、所定のフレームレートで各フレームに相当する複数の静止画を得ることに相当するので、ステップＳ３０２の周期的に撮像には動画の撮像が含まれる。

ステップＳ３０３において、検出部２０２が、撮像された画像に基づいて、作業空間内に存在する対象物を検出し、さらに検出した対象物が静止しているかどうかを判別する。なお、ここで検出する対象物とは、ユーザが印刷物を貼付する対象として認識している物体である。本実施形態では、ユーザが読み取り台に載置した物体を、対象物であるとして以下に続く処理を行う。対象物が静止している場合は（ステップＳ３０３にてＹＥＳ）、ステップＳ３０４に進む。対象物がない、または対象物が動いている場合は（ステップＳ３０３にてＮＯ）、ステップＳ３０２に戻る。対象物があるかないか、また、静止しているかどうかは、連続的に撮像された複数の画像の差分を比較することにより判別できる。

ステップＳ３０４において、奥行き情報取得部２０７が対象物の奥行き情報、を取得する。また、物体表面の形状情報を取得する。ここで物体表面とは、読み取り台に載置されている物体の、上を向いている面である。奥行き情報取得部２０７が取得する形状情報には、物体表面の形とサイズの情報が含まれる。

ステップＳ３０５において、投影部２０６は、取得された対象物の奥行き情報に基づいてフォーカスを調整し、印刷データを含む投影画像を、対象物に投影する。これをプレビュー画像の投影という。本実施形態では、投影されるプレビュー画像の大きさは、読み取り台に載置されている物体表面のサイズに合わせて調整されている。例えば、投影されている印刷データがＡ４サイズ（２１０ｍｍ×２９７ｍｍ）の原稿であって、ステップＳ５２１で取得した物体表面の形状がＡ５サイズ（１４８ｍｍ×２１０ｍｍ）相当だった場合には、７１％の縮小を加えられた状態で投影される。読み取り台に載置される物体が、箱などの立体物であったり、規定外のサイズの紙であったりする場合にも、原稿が物体表面に収まるうちで最大の倍率で投影が行われる。なお、計算方法は、投影されている印刷データの原稿サイズと、ステップＳ５２１で取得したサイズ情報との比較に基づく方法を用いることができる。または、物体表面と印刷データが同時に写っている撮像画像と、奥行き情報取得部２０７が取得する奥行き情報に基づいて、画像解析的に求められても良い。

また、ここで投影される印刷データの位置は、ユーザによって調整される前であるため、厳密に位置決めをして対象物に重畳させなくても良い。本実施形態では、ユーザが印刷データあるいは貼付対象物自体を移動させる距離を短距離に抑えつつ、任意に移動や変形を加えられる自由度を持つように、対象物と少なくとも一部が重なる位置に投影させる。

ここで図４（ｂ）は、図３（ａ）に示す印刷データ４００を含む投影画像４０１を、対象物４０２に投影した様子を上から見た図である。図４（ｃ）は、同様の様子を側面から見た図である。このとき、投影部２０６は、対象物の上面にフォーカスが合うように調整する。尚、投影部２０６がレーザープロジェクタのようにフォーカス調整の必要がないプロジェクタの場合は、必ずしも奥行き情報を取得する必要はない。ただし、奥行き情報は、貼付対象物の形状（表面の曲率や凹凸の状態）を考慮した投影を行うためにも利用することができる。なお、図４（ｃ）では、投影画像４０１として印刷データ４００に対応する部分を示しているが、投影画像自体の大きさは、印刷データ４００の大きさに限定されない。投影部２０６が、常に読み取り台上面のサイズの投影画像を出力する場合には、印刷データ４００の他に余白を含む投影画像４０１が出力される。投影部２０６が、投影画像の大きさを制御可能な場合には、投影画像４０１は印刷データ４００のみを含むものであって構わない。

ステップＳ３０６において、設定部２０８は、プリンタ１０９及びプロジェクタ１０６などの出力機器に通知する印刷設定情報を設定する。

ここで、図５（ａ）はステップＳ３０６において実行される、プリンタ１０９（印刷装置）に通知する印刷設定情報を設定するために、ジェスチャ操作で指示された変形を記憶する処理の詳細を示すフローチャートである。

本実施形態では、情報処理装置１００は、貼付対象物に投影されている印刷データに対して、ユーザが指を使って行うジェスチャ操作を認識する。そして、当該ジェスチャ操作によって指示される大きさで、記録媒体（例えば、紙やシール台紙等）に印刷データが印刷出力されるように、印刷装置に通知する印刷設定情報を設定する。ユーザが印刷データの大きさ（倍率）を指示するために行うジェスチャ操作の例として、本実施形態では以下の２つのジェスチャ操作を採用する。１つは、投影されている印刷データの輪郭部分のうちの１点を指で示した状態（タッチまたは指さし等）で、当該指を移動させることで、示されている１点の位置が移動するように印刷データの変形を指示する操作である。これをドラッグ操作と呼ぶ。また、もう１つは、投影されている印刷データ上の任意の２点を指で示した状態で、当該２点間の距離を拡大、あるいは縮小するように指を動かすことで、当該２点間の距離の拡大／縮小率での、印刷データの拡大あるいは縮小を指示する操作である。これをピンチ操作と呼ぶ。ただし、ドラッグ操作、ピンチ操作に限らず、本実施形態の情報処理装置１００は、種種のジェスチャパターンを印刷データの大きさを指示する操作として採用することが可能である。なお、大きさの調整を行うに当たって、ユーザが印刷データと貼付対象物の位置関係を任意に調整可能なように、情報処理装置１００は、別途印刷データを移動させるためのジェスチャ操作を認識する。例えば、投影されている印刷データ以外の部分に対するドラッグ操作などに応じて、移動させる。ユーザは、貼付対象物自体を移動させることによっても、印刷データと貼付対象物の位置関係を微調整することが可能である。

ステップＳ５０１において、認識部２０３は、所定時間の経過に従って、時刻Ｔ＝Ｔ＋１とカウントする。尚、時刻Ｔは前段のステップＳ３０５にて画像を投影した時刻を初期値の０とする。

ステップＳ５０２において、撮像部２０１が、時刻Ｔにおける作業空間を撮像する。

ステップＳ５０３において、撮像された画像に基づいて、投影されている印刷データ付近にユーザの指があるかどうかを判別する。ユーザの指があるかどうかは既存の技術を用い、例えば肌色を判定して検出する方法や形状を識別して指であることを検出する方法等が挙げられる。本実施形態では、投影されている印刷データ付近にユーザの指がある場合、プレビュー画像に対するさらなる変形が行われるとみなし、ユーザのジェスチャ操作を認識する処理を行う。投影されている印刷データ付近にユーザの指がない場合、さらなる変形の必要はないとみなし、その時点でのプレビュー画像の状態を、印刷物に反映するための処理に進む。そこで、投影されている印刷データ付近内に指があると判定すると（ステップＳ５０３にてＹＥＳ）、ステップＳ５０４に進む。尚、このときの指先の位置をＰ［Ｔ］とする。位置Ｐ［Ｔ］は、読み取り台に定義された座標空間における座標で示される。投影されている印刷データ付近に指がない場合は（ステップＳ５０３にてＮＯ）、ステップＳ５０７に進む。

ステップＳ５０４において、認識部２０３は、指の移動ベクトルＶ［Ｔ］を算出して保持部２０４に保持する。指の移動ベクトルＶ［Ｔ］は、Ｐ［Ｔ］とＰ［Ｔ−１］から求められる。ここで、Ｖ［１］はゼロベクトルであるものとする。

ステップＳ５０５において、認識部２０３は、指の移動ベクトルＶ［Ｔ］に基づいて、投影画像内の印刷データの表示位置と、大きさ（倍率）の変更値を導出する。検出された指が１本の指の場合、移動ベクトルの方向（指先の移動方向）と、長さ（指先の移動距離）に応じて、投影画像に含まれる印刷データに変形を加え、印刷データの表示位置や倍率を変更する変更値を求める。検出された指が２本の指の場合、２つの移動ベクトルの方向の差や、２本の指先の間隔の変化量等に応じて、投影画像に含まれる印刷データに変形を加え、印刷データの表示位置や倍率を変更する変更値を導出する。

ステップＳ５０６において、投影制御部２０５は、前記表示位置と倍率の変更値に基づいて投影画像を再生成し、投影部２０６が該画像を投影する。従ってユーザは、これまでのジェスチャ操作によって指示した変形を確認しながらさらに操作を続けることができる。再投影された印刷データを見て、変形がこれ以上必要ないと判断した場合、ユーザは指を印刷データから離せばよい。

一方、ステップＳ５０３において、認識部２０３により、投影されている印刷データ付近で指がないと判断された場合、本実施形態では、貼付対象物に対する印刷データの大きさを調整する必要が無い、あるいは調整が終了したと判断する。

ステップＳ５０７において、設定部２０８は、ステップＳ５０５で認識部２０３が導出した変更値に基づいて、印刷データを印刷出力するために印刷装置２１２に送る印刷倍率を決定する。そして、印刷設定情報として記憶装置２１１に記憶して、終了する。

ここで、情報処理装置１００が記憶する情報には、ユーザがジェスチャ操作で指示する変形の情報の他に、例えば貼付対象物の表面の凹凸や曲率等に合わせた印刷を行うための変形の情報等が含まれる。情報処理装置１００は、Ｓ３０４において奥行き情報取得部２０７が取得した奥行き情報に基づいて判断される貼付対象物の形状等に応じて、印刷装置２１２に通知すべき情報を決定する。

なお、本実施形態は、印刷データに対する変形を指示する操作は、ユーザが指で行うジェスチャ操作であるものとした。これにより、ユーザは貼付対象物の実物に対する直感的な操作で、貼付したい画像の編集を行うことができる。ただし、指示の仕方はジェスチャ操作に限られない。例えば、物理ボタンや投影部２０６によって投影されたユーザインタフェースに対する操作によっても構わない。 第１の実施形態において、印刷装置２１２が実行するフローチャートを図５（ｂ）に示す。

ステップＳ５１１において、印刷装置２１２は、記憶装置２１１に記憶された印刷画像の印刷倍率と、印刷データの情報を読み出し、該倍率に基づいて印刷イメージを生成する。

ステップＳ５１２において、印刷装置２１２は、該印刷イメージを印刷して終了する。本実施形態では、印刷装置２１２は、物体の表面に載せられる候補画像を、例えば紙やシール台紙などの記録媒体に印刷することで、物体に貼付されるラベル等を生成ものとする。ただし、印刷装置２１２が、物体の表面に直接候補画像を印刷するものであっても構わない。この場合には、印刷装置２１２に通知される印刷設定情報にも、必要に応じて物体の形状や材質等の情報が含まれる。

なお、本実施形態では、印刷装置２１２が記憶装置２１１に記憶された情報を参照することで、情報処理装置１００から印刷装置２１２に印刷設定情報が通知されるものとしたが、情報処理装置１００が印刷装置２１２に直接印刷設定情報を送信しても構わない。

以上、説明したように、第１の実施形態の情報処理装置１００では、ユーザが印刷物を貼付する対象物に、直接、印刷データのプレビュー画像を重畳させるように投影する。ユーザは、投影されたプレビュー画像の大きさを、ジェスチャ操作によって対象物の実寸大に合わせ調整することによって、所望とする任意の印刷倍率を容易に設定することが可能になる。なお、第１の実施形態は、ユーザがジェスチャ操作によって指定する情報として、印刷データの倍率を例に挙げて説明したが、もちろんこれに限らない。例えば印刷データの投影部分を、引き延ばす、所定の回数連続してタッチする、こするといったような動きを、当該印刷データに対する任意の量の余白の付加や、印刷データの色調やコントラストの調整を指示するジェスチャ操作として認識可能としてもよい。このように、第１の実施形態によれば、ユーザが、実際に対象物に貼付する印刷物に反映させたい情報を、当該印刷物の実物大のプレビュー画像に対するジェスチャ操作により、容易に設定することを可能とする。

（第１の実施形態の変形例）
第１の実施形態では、印刷データの倍率を投影画像に対するジェスチャ操作に基づいて設定し、印刷物を得る処理を説明した。ここで変形例として、第１の実施形態に加えて、ユーザが実際に印刷物を貼付対象物に貼付する際に、当該印刷物を貼付する前記貼付対象物上の位置を示すガイドを提示する例を説明する。

変形例に係る情報処理装置１００のハードウェア構成、外観は、第１の実施形態で説明した図１と同様であるため、説明を省略する。

図２（ｂ）は、変形例に係る情報処理装置１００の機能構成の一例を示す図である。図２（ａ）と同じ番号が付与された機能部は、第１の実施形態と同様の処理を行うため、詳細な説明を省略し、第１の実施形態と異なる点を説明する。

対応付け部２０９は、ＣＰＵ１０１等から構成され、ＲＯＭ１０３に記憶されたプログラムやデータをＲＡＭ１０２に読み出して実行し、撮像部２０１が異なる条件において撮像した複数の撮像画像を対応付け、記憶装置２１１に記憶する。その際、検出部２０２が検出した物体の情報に基づいて、撮像画像の一部をトリミングしたり、関連情報を付与したりする処理を行う。

特定部２１０は、ＣＰＵ１０１等から構成され、ＲＯＭ１０３に記憶されたプログラムやデータをＲＡＭ１０２に読み出して実行し、作業空間に存在する物体を撮像した画像に類似する画像を、記憶装置２１１に記憶されている画像の中から検索し、特定する。

変形例においても、印刷設定情報を設定する処理は、図３のフローチャートに従って実行される。ただし、ステップＳ３０６において、ジェスチャ操作で指示された変形を記憶する処理は、図６のフローチャートに従って実行される。以下、図６を参照して、変形例において実行される処理を説明する。ただし、図５（ａ）と共通する処理については同じの番号を付し、説明を省略する。

変形例では、ステップＳ５０７において、印刷倍率情報を記憶した後、ステップＳ６０１に進む。

ステップＳ６０１において、撮像部２０１が、作業空間を撮像して、撮像画像を保持部２０４に保持する。このときの撮像画像には、貼付対象物に印刷データが重畳するように投影された様子が記録されている。このときの撮像画像を重畳画像と呼ぶ。

ステップＳ６０２において、投影部２０６が投影を停止する。

ステップＳ６０３において、撮像部２０１は作業空間を撮像して、このときの撮像画像を保持部２０４に保持する。このときの撮像画像には貼付対象物が記録されている。このときの撮像画像を対象物画像と呼ぶ。

ステップＳ６０４において、対応付け部２０９は、ステップＳ６０１で撮像した重畳画像と、ステップＳ６０３で撮像した対象物画像と、印刷データを対応付けて記憶装置２１１に記憶し、処理を終了する。

ここで、図８は、対応付けられた重畳画像と対象物画像と印刷データの例を示す。ステップＳ６０１で取得された重畳画像では、印刷データの一部が立体物に重畳している。重畳画像とは、読み取り台を俯瞰撮影した画像のうち、対象物の上を向けられた面と、投影された印刷データとが撮像されている領域をトリミングした画像であることが好ましい。あるいは、当該領域を注目領域として示すことが可能なように、領域を特定する位置情報を重畳画像に関連付けて記憶する。また、ステップＳ６０３で対象物画像に対しても、貼付対象物の、上に向けられている面、すなわち貼付作業の対象面の大きさ、形状、表面の色や模様等が、関連付けられて記憶される。これらの情報は、後に画像の特徴に基づいて対象物画像を検索する際に用いられる情報となる。また、奥行き情報取得部２０７が取得した奥行き情報を用いて、対象物画像を撮像した時の撮像部２０１と対象面との距離を関連付けておく。この情報は、後述するように重畳画像を、貼付対象物に投影する際に、位置合わせを行うのに用いられる。印刷データにも同様に、後に検索処理に用いるための情報を関連付けられる。なお、記憶される情報は、これらに限定されるものではない。例えば、対象物画像、及び印刷データには関連情報を付与せずに記憶し、後述する検索が行われる度に、画像特徴量の抽出を行っても構わない。ただし、記憶時に関連情報を付与しておくことで、検索処理に係る負荷を低減することができる場合がある。

このように、本実施形態では、印刷データと貼付対象物が重畳した状態を示す画像と、対象物の貼付対象面を識別する為の情報と、当該貼付対象面に貼付されるべき印刷データとを対応付けて記憶することで、後から重畳画像を検索することを可能とする。

図７は、変形例において、情報処理装置１００が印刷物を対象物に貼付する作業のガイドを提示する処理の一例を示すフローチャートである。印刷データの貼付モードやガイド用のアプリケーションが指定されたことに応じて、図７のフローチャートが起動される。つまり、以下の処理の実行中において、ユーザは、印刷装置２１２から出力された印刷物を既に得て、それを貼付する作業をしようとしていることを前提とする。

ステップＳ７０１において、撮像部２０１が作業空間を撮像する。これ以降、周期的に撮像が繰り返される。

ステップＳ７０２において、検出部２０２が、撮像された画像に基づいて、作業空間内に存在する対象物を検出し、さらに検出した対象物が静止しているかどうかを判別する。なお、ここでの対象物とは、ユーザが印刷物を貼付する対象として認識している物体、あるいは対象物に貼付しようとしている印刷物そのものである。本実施形態では、ユーザが手で作業空間に挿入した物体を、対象物であるとして以下に続く処理を行う。対象物が静止している場合は（ステップＳ７０２にてＹＥＳ）、ステップＳ３０４に進む。対象物がない、または対象物が動いている場合は（ステップＳ７０２にてＮＯ）、ステップＳ７０１に戻る。対象物があるかないか、また、静止しているかどうかは、連続的に撮像された複数の画像の差分を比較することにより判別できる。

ステップＳ７０３において、検出部２０２が、撮像部２０１によって撮像された画像に基づいて、クエリ画像を取得し保持部２０４に保持する。ここでクエリ画像は、記憶部２１１に記憶された対象物画像、あるいは印刷データを検索するためのクエリとなる画像である。クエリ画像は、撮像部２０１によって周期的に撮像されている撮像画像のうちの１つであってもよいし、クエリ画像用に別途撮像された画像でもよい。また、連続して撮像された複数の撮像画像に処理を施して、対象物の特徴を抽出しやすく加工された画像、対象物部分だけをトリミングした画像等であってもよい。

ステップＳ７０４において、特定部２１０は、記憶装置２１１に記憶した対応付け情報に基づいて、保持されているクエリ画像と類似する対象物画像、あるいは印刷データを特定する。具体的には、クエリ画像を解析し、クエリ画像の特徴量を、記憶部２１１に記憶された対象物画像の特徴量、あるいは印刷データの特徴と比較分析することで、類似度が高い対象物画像、あるいは印刷データを検索する。そして、類似度が最も高い対象物画像、あるいは印刷データを特定する。または、類似度が所定の値を越える対象物画像、あるいは印刷データを特定し、ユーザに選択肢として提示しても良い。

ステップＳ７０５において、特定部２１０が、検索処理の結果、クエリ画像と類似する対象物画像、あるいは印刷データがあったか否かを判定する。類似するものがあった場合は（ステップＳ７０５にてＹＥＳ）、当該対象物画像、あるいは印刷データを特定し、ステップＳ７０６に進む。類似するものがなかった場合は（ステップＳ７０５にてＮＯ）、処理を終了する。この際、「ガイドができない」、「画像の登録がない」などの通知をユーザに提示してから終了することもできる。

ステップＳ７０６において、投影制御部２０５は、特定された対象物画像、あるいは印刷データに対応付けられた重畳画像を記憶装置２１１から取得する。そして、取得した重畳画像を、位置を合わせて投影するための投影画像を生成し、プロジェクタ１０６に出力する。投影される重畳画像には、ユーザがプレビュー画像を用いて調整した印刷データの位置が示されるため、重畳画像を貼付対象物に重ねて投影することにより、貼付作業のガイドの役割を果たす。ただし、重畳画像を投影する位置は、貼付対象物に正確に重なっていなくても構わない。例えば、貼付対象物の表面の色等によっては、対象物に重ねて投影する方法では視認性が低下する場合がある。そのような場合には、例えば読み取り台上の、所定の位置に投影する方法であっても、重畳画像には、ユーザがプレビュー画像を用いて調整した印刷データの位置が示されるため、貼付作業のガイドの役割を果たす。

ここで図９は、変形例を実行する情報処理装置の操作例を示す図である。図９（ａ）では、貼付対象物４０２が読み取り台１１１上に載置されている。そして、貼付対象物４０２の上面を撮像したクエリ画像に基づく検索処理により、図９（ｂ）の対象物画像９００が特定されたとする。情報処理装置１００は、記憶部２１１に記憶された対応付け情報より、対象物画像９００に対応する重畳画像９０１を取得し、投影部２０６によって投影させる。図９（ｃ）は読み取り台１１１上に載置された貼付対象物４０２に、重畳画像９０１が投影された状態を示している。このとき、投影制御部２０５によって、重畳画像９０１は、貼付対象物４０２の上面に投影サイズと投影位置が合うように調整されている。従って、ユーザは、印刷データが投影されている位置に、実際の印刷物９０４を貼付することで、プレビュー画像を用いて調整した貼付状態を再現することができる。

一方、図９（ｄ）では、作業空間内、印刷物９０４が存在している。これは例えば、ユーザが印刷物９０４を手に持って作業空間に差し入れている状態である。そして、印刷物９０４を撮像したクエリ画像に基づく検索処理により、図９（ｅ）の印刷データ９０２が特定されたとする。情報処理装置１００は、記憶部２１１に記憶された対応付け情報より、印刷データ９０２に対応する重畳画像９０３を取得し、投影部２０６によって投影させる。図９（ｆ）は読み取り台１１１上に、重畳画像９０３が投影された状態を示している。ここで、クエリ画像が貼付対象物４０２であった図９（ｃ）の場合とは異なり、重畳画像の投影位置の位置合わせは、印刷部９０４の位置ではなく、重畳画像を取得した際に貼付対象物４０２が存在した読み取り台上の位置を基準に行われる。このようにすることで、ユーザは、印刷物９０４を貼付対象物４０２の上に貼付する作業の効率を効率的に行うことができる。例えば、印刷物９０４が貼付対象物４０２より先に読み取り台１１１上に載っていると、印刷物９０４を再び取り上げる手間が発生する。また、印刷物９０４が静止していることを条件に重畳画像の投影を行うと、貼付する作業時に、印刷物を動かすと、ガイドを参照することができなくなる。本変形例では、このような状況を発生させず、ユーザが貼付する作業を行いやすい環境を提供することができる。

このように、プレビュー画像を用いて貼付対象物と印刷データとの関係を調整した貼付状態を撮像した重畳画像を、ユーザに提示することで、ユーザは貼付状態を再現しやすくなる。なお、ここまで重畳画像と、対象物画像と、印刷データの３つを対応付けて記憶しておくことにより、貼付対象物と印刷物の両方に基づく検索が可能である例を説明した。しかし、変形例を実現する情報処理装置は、重畳画像を利用したガイドをユーザに提示できる情報処理装置であれば同様の効果を得ることができる。従って、重畳画像と対象物画像の２つを対応付けて記憶し、貼付対象物に基づく検索のみを可能とするものであっても良いし、重畳画像と印刷データの２つを対応付けて記憶し、貼付対象物に基づく検索のみを可能とするものであっても良い。

以上説明したように、本変形例では、貼付対象物、あるいは第１の実施形態で説明した処理により得られた印刷物を用いた類似画像検索を利用して、ユーザがプレビュー画像を用いて調整した印刷データの貼付状態を提示できる。これにより、図９（ｃ）や図９（ｆ）のように、事前に貼付する位置を確認したときの状態を示す重畳画像が、貼付作業を行うその位置に表示され、ユーザは、重畳画像をガイドとして確認しながら貼付することができる。本実施形態では、公知の類似画像検索を用いる。これにより、例えば同一形態の複数の貼付対象物に対して、同じ位置にラベルを貼付するような作業を行う場合、全ての貼付対象物に対して有効なガイドを行うことができる。

なお、上述した例では、印刷物を撮像した画像がクエリとなる場合にも、類似画像検索を行うものとしたが、印刷時に、検索に用いるための情報を付与しておくこともできる。例えば、電子透かし技術を用いて印刷物に重畳画像の情報を埋め込んでおき、その情報を読み取ることによって重畳画像を表示してもよい。この場合、印刷設定情報を設定する処理において、重畳画像を取得した後に、印刷データに重畳画像を示す情報を埋め込む処理を行い、印刷装置に出力する。

また、重畳画像をそのまま表示するのではなく、物体上の貼付位置を示す位置合わせ用のマーカーを作成し、投影してもよい。例えば、図１０のように、重畳画像１００１を解析することによって位置合わせのためのマーカー１００３を作成し、同図（ｂ）のように貼付対象物１００２上と印刷物１００４に重畳するように投影してもよい。位置合わせのためのマーカーは、既存の画像処理技術を用いて、印刷物の輪郭と角に相当する位置を抽出することにより作成できる。この場合、貼付対象物１００２及び印刷物１００４が移動された場合には、追従してマーカー１００３を投影させても良いが、例えば、静止している間だけ投影させるなどの処理により、ユーザが認識するマーカーの位置の正確性が向上する。

このように、貼付対象物や印刷物を認識することによって、貼付作業を行う時のガイドとなる画像を表示することが可能である。ただし、対象物画像として撮像された貼付対象物の面と、クエリ画像として検索処理に用いられるために撮像された貼付対象物の面は一致している必要がある。この場合、貼付する可能性のある面毎に図６のフローを行い、面毎に印刷データと重畳画像との対応付けを行っておけばよい。

上述した変形例において、図７のフローチャートは、ユーザがモードやアプリケーションを指定したことに応じて起動したが、例えば、図６のフローチャートの処理の終了に応じて起動されても構わない。この場合、それまで処理対象とされていた印刷データを実際に対象物に貼付する作業が行われる可能性が高いため、当該印刷データに関連付けた重畳画像を取得し、投影することで、処理を簡略化した上で、ガイド機能を実現できる。

＜その他の実施形態＞
以上本発明にかかる実施形態を説明したが、先に説明したように、情報処理装置は、通常のパーソナルコンピュータ等の汎用情報処理装置であって、それ上で動作するコンピュータプログラムで実現できるものである。よって、本発明はコンピュータプログラムをその範疇とすることは明らかである。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納されており、それをコンピュータの対応するドライブにセットしてシステムにコピーやインストール処理することで実行可能となる。よって、本発明は当然にそのようなコンピュータ可読記憶媒体をもその範疇とすることも明らかである。

Claims (16)

1. 所定の空間に存在する物体を検出する検出手段と、
   前記検出手段が検出した物体の形状情報を取得する取得手段と、
   前記検出手段が検出した物体に、該物体の表面に載せられる候補画像を投影させる投影制御手段と、
   前記物体に投影されている候補画像を変形させる指示として、ユーザが行うジェスチャ操作を認識する認識手段と、
   前記認識手段が認識した指示によって変形された候補画像、及び前記物体の形状情報とに基づいて、前記候補画像を所定の印刷装置に印刷させるための印刷設定情報を決定する決定手段と、
   を備えることを特徴とする情報処理装置。
2. 所定の空間に存在する物体を検出する検出手段と、
   前記検出手段が検出した物体の形状情報を取得する取得手段と、
   前記検出手段が検出した物体に、該物体の表面に載せられる候補画像を投影させる投影制御手段と、
   前記候補画像を、前記物体の形状情報に応じた状態で所定の印刷装置に印刷させるための印刷設定情報を決定する決定手段と、
   を備え、前記検出手段が検出する物体は、前記候補画像が印刷された印刷物が貼付される物体であることを特徴とする情報処理装置。
3. 所定の空間に存在する物体を検出する検出手段と、
   前記検出手段が検出した物体の形状情報を取得する取得手段と、
   前記検出手段が検出した物体に、該物体の表面に載せられる候補画像を投影させる投影制御手段と、
   前記候補画像を、前記物体の形状情報に応じた状態で所定の印刷装置に印刷させるための印刷設定情報を決定する決定手段と、
   前記印刷設定情報を前記所定の印刷装置へ出力する出力手段と、
   を備えることを特徴とする情報処理装置。
   さらに、
4. 前記投影制御手段は、前記検出手段が検出した物体に投影させる画像に、前記認識手段が認識した指示による変形を反映することを特徴とする請求項１に記載の情報処理装置。
5. 前記投影制御手段は、
   前記所定の印刷装置において、前記印刷設定情報に従って印刷された印刷物を貼付する前記物体上の位置を示す画像をさらに投影することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記所定の空間内を撮像する撮像手段を更に備え、
   前記投影制御手段は、
   前記撮像手段が、前記決定手段が前記印刷設定情報を決定したときの、前記物体及び前記物体に投影された画像を撮像した画像を、
   前記検出手段が検出した前記物体に投影させることで、前記印刷物を貼付する前記物体上の位置を示すことを特徴とする請求項５に記載の情報処理装置。
7. 前記撮像手段が、異なる複数の物体のそれぞれが前記所定の空間に存在し、かつ、該物体に基づいて前記決定手段が前記印刷設定情報を決定した状況で、該物体及び該物体に投影された画像を撮像した複数の第１の画像と、
   前記撮像手段が、前記異なる複数の物体のそれぞれが前記所定の空間に存在し、かつ、該物体に画像が投影されていない状況で、該物体を撮像した複数の第２の画像とを対応付けて記憶部に記憶する対応付け手段と、
   前記記憶部に記憶された複数の第２の画像のうち、前記撮像手段が新たに撮像した前記所定の空間内に存在する物体の画像である第３の画像と類似する第２の画像を特定する特定手段とを更に備え、
   前記投影制御手段は、前記複数の第１の画像のうち、前記特定手段に特定された第２の画像に対応付けて記憶されている第１の画像を、前記所定の空間内に存在する物体に投影させることを特徴とする請求項６に記載の情報処理装置。
8. 前記対応付け手段はさらに、前記第１の画像のそれぞれと、該第１の画像が撮影された時に前記物体に投影されている前記候補画像とを対応付けて前記記憶部に記憶し、前記特定手段は、前記記憶部に記憶された複数の前記第１の画像のいずれかに対応づけられた前記候補画像のうち、前記撮像手段が新たに撮像した画像に写る前記所定の空間内に存在する印刷物と類似する候補画像を特定し、
   前記投影制御手段は、前記特定手段に特定された前記候補画像に対応付けて記憶されている第１の画像を、前記物体に投影させることを特徴とする請求項７に記載の情報処理装置。
9. 異なる複数の物体のそれぞれが前記所定の空間に存在し、かつ、該物体に基づいて前記決定手段が前記印刷設定情報を決定した状況で、
   該物体に投影されている前記候補画像と、前記撮像手段が該物体及び該物体に投影された前記候補画像とを撮像した第１の画像とを対応付けて記憶部に記憶する対応付け手段と、
   前記記憶部に記憶された前記候補画像のうち、前記撮像手段が新たに撮像した画像に写る前記所定の空間内に存在する印刷物と類似する候補画像を特定する特定手段とを更に備え、
   前記投影制御手段は、前記特定手段に特定された候補画像に対応付けて記憶されている第１の画像を、前記物体に投影させることを特徴とする請求項６に記載の情報処理装置。
10. 前記対応付け手段はさらに、前記第１の画像と、
    前記撮像手段が、前記異なる複数の物体のそれぞれが前記所定の空間に存在し、かつ、該物体に画像が投影されていない状況で、該物体を撮像した複数の第２の画像とを対応付けて前記記憶部に記憶し、
    前記特定手段は、前記記憶部に記憶された複数の第２の画像のうち、前記撮像手段が新たに撮像した前記所定の空間内に存在する物体の画像と類似する第２の画像を特定し、前記投影制御手段は、前記特定手段に特定された第２の画像に対応付けて記憶されている第１の画像を、前記物体に投影させることを特徴とする請求項９に記載の情報処理装置。
11. 前記所定の印刷装置は、前記物体の表面に候補画像を印刷することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
12. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至１１のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
13. 請求項１２に記載されたプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
14. 検出手段により、所定の空間に存在する物体を検出する検出工程と、
    取得手段により、前記検出工程で検出した物体の形状情報を取得する取得工程と、
    投影制御手段により、前記検出工程で検出した物体に、該物体の表面に乗せられる候補画像を投影させる投影制御工程と、
    前記物体に投影されている候補画像を変形させる指示として、ユーザが行うジェスチャ操作を認識する認識工程と、
    決定手段により、前記認識工程で認識した指示によって変形された候補画像、及び前記物体の形状情報とに基づいて、前記候補画像を所定の印刷装置に印刷させるための印刷設定情報を決定する決定工程と、
    を備えることを特徴とする情報処理装置の制御方法。
15. 検出手段により、所定の空間に存在する物体を検出する検出工程と、
    取得手段により、前記検出工程で検出した物体の形状情報を取得する取得工程と、投影制御手段により、前記検出工程で検出した物体に、該物体の表面に乗せられる候補画像を投影させる投影制御工程と、
    決定手段により、前記候補画像を、前記物体の形状情報に応じた状態で所定の印刷装置に印刷させるための印刷設定情報を決定する決定工程と、
    を備え、前記検出工程で検出する物体は、前記候補画像が印刷された印刷物が貼付される物体であることを特徴とする情報処理装置の制御方法。
16. 検出手段により、所定の空間に存在する物体を検出する検出工程と、
    取得手段により、前記検出工程で検出した物体の形状情報を取得する取得工程と、投影制御手段により、前記検出工程で検出した物体に、該物体の表面に乗せられる候補画像を投影させる投影制御工程と、
    決定手段により、前記候補画像を、前記物体の形状情報に応じた状態で所定の印刷装置に印刷させるための印刷設定情報を決定する決定工程と、
    前記印刷設定情報を所定の印刷装置へ出力する出力工程と、
    を備えることを特徴とする情報処理装置の制御方法。

Images