JP7608869B2 - 表示方法およびプログラム - Google Patents

Description

本発明は、表示方法およびプログラムに関する。

例えば下記特許文献１には、入力画像から被写体を検出する被写体検出方法が開示されている。特許文献１の被写体検出方法は、入力画像から特徴量を取得し、特徴量に基づいて被写体の存在確率を示す確率分布画像を生成し、確率分布画像をあらかじめ記憶された閾値と比較することによって被写体を検出する。

特開２０１２－９９０７０号公報

上述した特許文献１では、被写体の検出にあらかじめ記憶された閾値を用いるので、ユーザーが真に検出したい領域が検出されない可能性がある。したがって、従来の技術では、ユーザーの感性に合わせて、領域を簡単に調整できなかった。

本発明の一態様に係る表示方法は、閾値の入力を受け付けることと、前記閾値を用いることによって、第１画像のうち入力画像を表示する領域であるマスク領域、または前記第１画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第２画像を生成することと、前記第２画像を前記入力画像に重畳した投射用画像を表示させることと、を含む。

本発明の一態様に係るプログラムは、コンピューターに、閾値の入力を受け付けることと、前記閾値を用いることによって、第１画像のうち入力画像を表示する領域であるマスク領域、または前記第１画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第２画像を生成することと、前記第２画像を前記入力画像に重畳した投射用画像を表示させることと、を実行させる。

実施形態に係る投射システムの一例を示す概略図である。 処理装置の機能的構成を示すブロック図である。 領域選択受付部による領域選択の受付態様の一例を示す図である。 領域選択受付部による領域選択の受付態様の一例を示す図である。 確率算出部が生成する確率分布画像の一例を示す図である。 閾値受付部による閾値入力の受付態様の一例を示す図である。 表示制御部による投射用画像の表示態様の一例である。 表示制御部による投射用画像の表示態様の一例である。 情報処理装置の処理装置がプログラムに従って実行する表示方法の流れを示すフローチャートである。

以下、添付図面を参照しながら本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。

１．第１実施形態
図１は、実施形態に係る投射システム１の一例を示す概略図である。図１に示すように投射システム１は、プロジェクター１０と、撮像装置２０と、情報処理装置３０と、を含む。図１に示す投射システム１は、３次元形状を有する物体４０に画像を投射するためのシステムである。本実施形態では、物体４０は、所定の厚さを有する板状の部材を「Ｅ」の文字の形状に切り出すことにより形成されている。物体４０は、壁面４２と接する図示しない接着面と、接着面と反対側の面である表面４００と、接着面と表面４００とを接続する側面４０２とを有する。本実施形態では、物体４０の表面４００が画像の投射領域に設定される。プロジェクター１０からの画像の投射領域が、後述するマスク領域に対応する。

プロジェクター１０は、後述する投射用画像５６，５８を投射するための液晶ライトバルブ、投射射レンズ、および液晶駆動部を備える。また、プロジェクター１０は、光源として超高圧水銀ランプまたはメタルハライドランプを備える。プロジェクター１０は、例えばケーブルによって情報処理装置３０と通信可能に接続される。プロジェクター１０は、ケーブルを介した通信により情報処理装置３０から投射用画像データを取得する。プロジェクター１０は、取得した投射用画像データが示す投射用画像５６，５８をマスク領域に投射する。以下では、マスク領域は、後述する入力画像５６２，５８２が表示される領域であり、マスク領域以外の領域は、入力画像５６２，５８２が表示されない、すなわちマスクされない領域である。本実施形態では、プロジェクター１０と情報処理装置３０との間の通信は、例えば、イーサネットやＵＳＢ(Universal Serial Bus)等の規格に準拠した有線通信である。しかし、プロジェクター１０と情報処理装置３０との間の通信は、Ｗｉ－Ｆｉ等の規格に準拠した無線通信であってもよい。なお、Ｗｉ－Ｆｉおよびイーサネットは登録商標である。

撮像装置２０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ(Charge Coupled Device)またはＣＭＯＳ(Complementary Metal Oxide Semiconductor)等を備えたカメラである。以下では、説明を簡略化するため、撮像装置２０は、静止画像を撮像するものとする。なお、撮像装置２０は、静止画像を撮像することに代えて、動画像を撮像してもよい。撮像装置２０は、物体４０を含む撮像領域４４の画像を撮像する。本実施形態では、撮像領域４４には、物体４０と壁面４２とが含まれる。なお、本実施形態では、撮像装置２０での撮像時にはプロジェクター１０からの投射は行わないものとする。すなわち、撮像装置２０で撮像された撮像画像５０は、プロジェクター１０からの投射が行われていない状態で撮像領域４４を撮像した画像である。撮像画像５０は、図３に例示される。撮像装置２０は、プロジェクター１０と同様に、例えばケーブルによって情報処理装置３０と通信可能に接続される。撮像装置２０は、撮像した画像を表す撮像画像データを情報処理装置３０へ送信する。本実施形態では、撮像装置２０と情報処理装置３０との間の通信は、例えばイーサネットやＵＳＢ等の規格に準拠した有線通信であるが、Ｗｉ－Ｆｉ等の規格に準拠した無線通信であってもよい。また、本実施形態では、撮像装置２０は情報処理装置３０およびプロジェクター１０とは別体であるが、撮像装置２０は情報処理装置３０およびプロジェクター１０のいずれかに搭載されていてもよい。

情報処理装置３０は、電子機器の一例であり、例えばパーソナルコンピューターである。図１に示すように、情報処理装置３０は、通信装置３００、タッチパネル３１０、記憶装置３２０、および処理装置３３０を有する。通信装置３００には、ケーブルを介してプロジェクター１０が接続される。また、通信装置３００には、ケーブルを介して撮像装置２０が接続される。通信装置３００は、撮像装置２０から送信される撮像画像データを受信する。また、通信装置３００は、処理装置３３０による制御の下、物体４０に投射する画像を表す投射用画像データをプロジェクター１０へ送信する。

タッチパネル３１０は、各種情報を表示する表示装置と、ユーザーにより情報が入力される入力装置とが、一体化された装置である。入力装置は、例えば透明なシート状の接触センサーである。入力装置は、表示装置の表示面を覆うように設けられる。入力装置は、当該入力装置に接触する物体と当該入力装置とによって特定される静電容量を用いてタッチ位置を検出する。入力装置は、検出したタッチ位置を示すデータを処理装置３３０へ出力する。これにより、タッチパネル３１０に対するユーザーの操作内容が処理装置３３０へ伝達される。本実施形態では、タッチパネル３１０が表示装置と入力装置とを兼ねるものとするが、表示装置と入力装置とが別個に設けられていてもよい。具体的には、例えば情報処理装置３０が、表示装置としてディスプレイを備えるとともに、入力装置としてキーボードとマウスとを備えていてもよい。

記憶装置３２０は、処理装置３３０が読み取り可能な記録媒体である。記憶装置３２０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ(Read Only Memory)、ＥＰＲＯＭ(Erasable Programmable Read Only Memory)またはＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、ＲＡＭ(Random Access Memory)である。

記憶装置３２０の不揮発性メモリーには、処理装置３３０によって実行されるプログラム３２２が予め記憶される。記憶装置３２０の揮発性メモリーはプログラム３２２を実行する際のワークエリアとして処理装置３３０によって利用される。プログラム３２２は、「アプリケーションプログラム」、「アプリケーションソフトウェア」または「アプリ」とも称され得る。プログラム３２２は、例えば、通信装置３００を介して不図示のサーバー等から取得され、その後、記憶装置３２０に記憶される。

処理装置３３０は、例えばＣＰＵ(Central Processing Unit)等のプロセッサー、即ちコンピューターを含んで構成される。処理装置３３０は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置３３０は、プログラム３２２の実行開始を指示する操作が入力装置に対してなされたことを契機としてプログラム３２２を不揮発性メモリーから揮発性メモリーに読み出す。処理装置３３０は、揮発性メモリーに読み出したプログラム３２２を実行する。

図２は、処理装置３３０の機能的構成を示すブロック図である。プログラム３２２に従って作動中の処理装置３３０は、図２に示す撮像画像取得部３３１、領域選択受付部３３２、確率算出部３３３、閾値受付部３３４、マスク画像生成部３３５、および表示制御部３３６として機能する。図２に示す撮像画像取得部３３１、領域選択受付部３３２、確率算出部３３３、閾値受付部３３４、マスク画像生成部３３５、および表示制御部３３６は、処理装置３３０をプログラム３２２に従って動作させることで実現されるソフトウェアモジュールである。

撮像画像取得部３３１は、物体４０を含む撮像領域４４を撮像した撮像画像５０を撮像装置２０から取得する。撮像画像５０は、第１画像に対応する。本実施形態では、撮像画像取得部３３１は、通信装置３００を介して撮像装置２０から撮像画像データを受信する。撮像画像５０は、撮像装置２０が撮像した画像そのものであってもよいし、構造化光投影法等を用いて撮像装置２０が撮像した画像をプロジェクター１０からの視点で撮像した画像に座標変換した画像であってもよい。

領域選択受付部３３２は、撮像画像取得部３３１が取得した撮像画像５０をタッチパネル３１０に表示させるとともに、撮像画像５０を用いてマスク領域を選択する情報の入力を受け付ける。本実施形態では、領域選択受付部３３２は、撮像画像５０に対する描画入力をユーザーから受け付ける。この描画入力は、撮像画像５０上でマスク領域の一部または非マスク領域の一部を指定するものである。

図３および図４は、領域選択受付部３３２による領域選択の受付態様の一例を示す図である。図３では、タッチパネル３１０に撮像画像５０が表示されている。撮像画像５０は、図１に示す物体４０を含む撮像領域４４を撮像した画像であり、物体４０の表面４００に対応する第１領域５００、物体４０の側面４０２に対応する第２領域５０２、および壁面４２に対応する第３領域５０４を含む。

また、タッチパネル３１０には、撮像画像５０とともに、描画ボタン６０、取り消しボタン６２、完了ボタン６４が表示される。ユーザーが描画ボタン６０に触れると、領域選択受付部３３２は、図４に示されるように今回の描画がマスク領域と非マスク領域のいずれを指定するものかを指定する領域種別指定部６６を表示させる。領域種別指定部６６は、選択項目としてマスク領域指定部６６０と非マスク領域指定部６６２とを含んでいる。ユーザーは、マスク領域の指定時にはマスク領域指定部６６０を選択し、非マスク領域の指定時には非マスク領域指定部６６２を選択する。図４では、マスク領域指定部６６０が選択されている。この状態でユーザーが撮像画像５０に触れると、領域選択受付部３３２は、その軌跡をペンで描画したように表示させる。領域選択受付部３３２は、撮像画像５０のうち、軌跡が表示された画素がマスク領域に含まれる画素であるものとして、描画入力によって指定された任意の画素の情報を受け付ける。また、非マスク領域指定部６６２が選択された状態でユーザーが撮像画像５０に触れた場合にも同様に、領域選択受付部３３２は、その軌跡をペンで描画したように表示させる。この場合、領域選択受付部３３２は、撮像画像５０のうち、軌跡が表示された画素が非マスク領域に含まれる画素であるものとして受け付ける。

本実施形態では、物体４０の表面４００をマスク領域とするので、ユーザーは、マスク領域指定部６６０を選択した場合には、撮像画像５０のうち第１領域５００に対して描画を行うことになる。この時、ユーザーは、例えば軌跡Ｌ１のように第１領域５００の全体をなぞるように描画してもよいし、軌跡Ｌ２のように第１領域５００の１点のみ、または複数点をタッチして描画してもよい。また、軌跡Ｌ１のような線の描画と、軌跡Ｌ２のような点の描画を組み合わせてもよい。また、ユーザーが非マスク領域を選択する場合には、領域種別指定部６６で非マスク領域指定部６６２を選択し、撮像画像５０のうち第２領域５０２または第３領域５０４の少なくともいずれかに対して描画を行う。ユーザーは、撮像画像５０のうち、少なくとも１画素を指定し、これがマスク領域に含まれるのか、または非マスク領域に含まれるのかを指定すればよい。

なお、ユーザーがマスク領域指定部６６０を指定して描画した後、非マスク領域指定部６６２を指定して更に描画するなどにより、マスク領域指定部６６０と非マスク領域指定部６６２の両方を指定できるようにしてもよい。この時、マスク領域指定部６６０を選択した際の軌跡の色と、非マスク領域指定部６６２を選択した際の軌跡の色とを変えれば、ユーザーは自身が選択した箇所の領域種別を認識しやすくなり、操作性が向上する。

取り消しボタン６２は、描画入力を取り消すことに用いられる。例えば軌跡が第１領域５００からはみ出た場合など、描画を取り消したい場合、ユーザーは、取り消しボタン６２に触れた上で、軌跡のうち取り消したい部分をなぞる。すると、領域選択受付部３３２は、当該部分の軌跡を消去し、対応する画素のマスク領域または非マスク領域としての指定を解除する。なお、なぞった部分が描画入力の全部であれば全部が、一部であれば一部が、取り消される。

描画ボタン６０の下部には、スライダーバー６００が表示されている。スライダーバー６００は、描画ボタン６０をタッチして描画を行う際の軌跡の太さを調整するインターフェースである。スライダーバー６００は、所定方向に延びるバー６０２と、バー６０２上を移動可能なスライダー６０４とを備える。図４の例では、バー６０２はタッチパネル３１０の画面左右方向に延びている。バー６０２の左右方向の中心位置が、スライダー６０４の基準位置であり、この時の軌跡の幅を基準幅とする。ユーザーがスライダー６０４を基準位置より右方向に移動させると、領域選択受付部３３２は、軌跡の幅を基準幅より大きくする。これにより、スライダー６０４が基準位置にある時と同じ描画動作を行っても、マスク領域または非マスク領域として指定される画素が多くなる。また、ユーザーがスライダー６０４を基準位置より左方向に移動させると、領域選択受付部３３２は、軌跡の幅を基準幅より小さくする。これにより、スライダー６０４が基準位置にある時と同じ描画動作を行っても、マスク領域または非マスク領域として指定される画素が少なくなる。

取り消しボタン６２の下部にも同様に、スライダーバー６２０が表示されている。スライダーバー６２０は、取り消しボタン６２をタッチして描画の取り消しを行う際の取り消し領域の幅を調整するインターフェースである。スライダーバー６２０は、所定方向に延びるバー６２２と、バー６２２上を移動可能なスライダー６２４とを備える。図４の例では、バー６２２はタッチパネル３１０の画面左右方向に延びている。バー６２２の左右方向の中心位置が、スライダー６２４の基準位置であり、この時の取り消し領域の幅を基準幅とする。ユーザーがスライダー６２４を基準位置より右方向に移動させると、領域選択受付部３３２は、取り消し領域の幅を基準幅より大きくする。これにより、スライダー６２４が基準位置にある時と同じ取り消し動作を行っても、取り消される軌跡の画素が多くなる。また、ユーザーがスライダー６２４を基準位置より左方向に移動させると、領域選択受付部３３２は、取り消し領域の幅を基準幅より小さくする。これにより、スライダー６０４が基準位置にある時と同じ描画動作を行っても、取り消される軌跡の画素が少なくなる。

ユーザーは、マスク領域または非マスク領域への描画を終了すると、完了ボタン６４を押下する。領域選択受付部３３２は、完了ボタン６４が押下された時点における描画内容に基づいて、ユーザーがマスク領域または非マスク領域として選択する画素を受け付ける。

すなわち、領域選択受付部３３２は、撮像画像５０を表示させるとともに、撮像画像５０を用いてマスク領域を選択する情報の入力を受け付ける。領域選択受付部３３２でマスク領域を選択する情報の入力を受け付けることは、撮像画像５０の任意の画素が、マスク領域を構成する画素である、または非マスク領域を構成する画素である、ことを指定することを含む。また、領域選択受付部３３２でマスク領域を選択する情報の入力を受け付けることは、撮像画像５０に対する描画入力を受け付けることを含む。さらに領域選択受付部３３２でマスク領域を選択する情報の入力を受け付けることは、取り消しボタン６２を用いて描画入力の少なくとも一部を取り消すことを含む。

なお、本実施形態では、領域選択受付部３３２は、マスク領域または非マスク領域に対する描画を受け付けることによりマスク領域または非マスク領域の選択を受け付けたが、選択の方法はこれに限られない。例えば、各画素がナンバリングされた撮像画像５０を用いて、マスク領域に含まれる画素の番号または非マスク領域に含まれる画素の番号をユーザーが指定してもよい。なお、ナンバリングは全ての画素に行っても、一部の画素に行ってもよい。

図２に示される確率算出部３３３は、撮像画像５０の各画素がマスク領域を構成する画素である確率を算出する。画像上の任意の画素が特定の領域に含まれる確率を算出する方法は、Ｇｒｏｗｃｕｔ法など様々なものが知られている。一例を挙げると、例えば領域選択受付部３３２でマスク領域として選択された画素は、マスク領域である確率を１００％とする。それ以外の画素は、マスク領域として選択された画素との類似度によってマスク領域である確率を算出する。画素間の類似度は、例えば画素の色、深度、マスク領域として選択された画素からの距離などのパラメーターを用いて算出することができる。以下、マスク領域として選択された画素を「マスク領域画素」、確率を算出する画素を「対象画素」という。

例えば色を用いて確率を算出する場合、対象画素のＲＧＢ値［Ｒｘ，Ｇｘ，Ｂｘ］とマスク領域画素のＲＧＢ値［Ｒ０，Ｇ０，Ｂ０］とを用いて、対象画素がマスク領域画素である確率Ｐ１を下記式（１）で算出することができる。Ｐ１は、０から１の間の値をとり、値が大きいほど対象画素がマスク領域画素である確率が高い。なお、下記式（１）の分母の「２５５」は、階調が８ｂｉｔで表現される、すなわち、Ｒｘ，Ｇｘ，Ｂｘ，Ｒ０，Ｇ０，Ｂ０の各値が０から２５５の整数で表される場合の値である。階調が８ｂｉｔでない場合には、下記式（１）の「２５５」に対応する値は、階調数から１を減じた値とする。

例えば距離を用いて確率を算出する場合、対象画素の距離［Ｄｘ］と、マスク領域画素の距離［Ｄ０］とを用いて、対象画素がマスク領域画素である確率Ｐ２を下記式（２）で算出することができる。Ｐ２は、０から１の間の値をとり、値が大きいほど対象画素がマスク領域画素である確率が高い。なお、下記式（２）において、距離ＤｘおよびＤ０は、上記式（１）とスケールを合わせるために、０から２５５の値にスケーリングされている。

例えば色と距離を用いて確率を算出する場合、対象画素のＲＧＢ値［Ｒｘ，Ｇｘ，Ｂｘ］とマスク領域画素のＲＧＢ値［Ｒ０，Ｇ０，Ｂ０］と、対象画素の距離［Ｄｘ］と、マスク領域画素の距離［Ｄ０］とを用いて、対象画素がマスク領域画素である確率Ｐ３を下記式（３）で算出することができる。Ｐ３は、０から１の間の値をとり、値が大きいほど対象画素がマスク領域画素である確率が高い。下記式（３）では、色の階調は８ｂｉｔ、すなわち０から２５５の整数で表現されている。また、画素の距離についても０から２５５の値にスケーリングされている。αは色の重み、βは距離の重みであり、どちらのパラメーターを重視するかによって、任意に設定することができる。重みα、βは設定しなくてもよい。すなわち、αおよびβを１としてもよい。

深度などを用いる場合も、同様の方法で対象画像がマスク領域画素である確率を求めることができる。複数のパラメーターを用いて確率を求める場合には、上記式（３）で例示したように、例えば各パラメーターを用いて求めた確率に対して重みづけを設定した上で、これらを足し合わせばよい。また、マスク領域画素が複数選択されている場合、確率算出部３３３は、例えば全てのマスク領域画素における確率算出用のパラメーターの値の平均値を用いて確率を算出してもよいし、対象画素と最も近い位置にあるマスク領域画素のパラメーターの値を用いて確率を算出してもよい。

また、確率算出部３３３は、撮像装置２０とプロジェクター１０との座標変換テーブルを用いて、撮像画像５０の各画素がマスク領域を構成する画素である確率を算出してもよい。構造化光投影法で求めた座標変換テーブルでは、隣接する座標が同一平面にある時は値が連続的に変化するのに対して、隣接する座標に高さ方向の変化がある場合には値が不連続的に変化する。これを用いて、確率算出部３３３は、平面と立体物の境界部分の位置を推定可能となる。本実施形態では、確率算出部３３３は、物体４０と壁面４２の境界の位置や物体４０の表面４００と側面４０２の境界の位置を推定することによって、撮像画像５０の各画素が表面４００である確率を算出することができる。

また、確率算出部３３３は、領域選択受付部３３２で非マスク領域が選択された場合には、対象画像が非マスク領域を構成する画素である確率を算出してもよい。

図５は、確率算出部３３３が生成する確率分布画像５２の一例を示す図である。図５では各画素がマスク領域である確率を５種類の網掛けで分類している。ここで、α１～α４を１以下かつ０を超える正の数とし、α１＞α２＞α３＞α４であるものとする。網掛けのパターン１は、例えばマスク領域である確率がα１以上の領域である。網掛けのパターン２は、マスク領域である確率がα１未満かつα２以上の領域である。網掛けのパターン３は、マスク領域である確率がα２未満かつα３以上の領域である。網掛けのパターン４は、マスク領域である確率がα３未満かつα４以上の領域である。網掛けのパターン５は、マスク領域である確率がα４未満の領域である。

なお、確率算出部３３３は、撮像画像５０のそれぞれの画素についてマスク領域である確率または非マスク領域である確率を算出すればよく、図５のような確率分布画像５２は必ずしも生成しなくてよい。撮像画像５０の各画素がマスク領域である確率または非マスク領域である確率を示す情報を、確率分布情報という。また、本実施形態では、情報処理装置３０が確率分布情報を生成するものとするが、これに限らず、例えば他の情報処理装置で生成した確率分布情報を情報処理装置３０が通信等で取得してもよい。また、例えば過去に確率算出部３３３が生成した確率分布情報を記憶装置３２０に記憶しておき、処理装置３３０がこれを読みだしてもよい。

図２に示される閾値受付部３３４は、ユーザーから閾値の入力を受け付ける。この閾値は、後述するマスク画像生成部３３５が撮像画像５０の各画素がマスク領域を構成する画素であるか否か判定する際に用いる値である。より詳細には、閾値は、撮像画像５０の各画素がマスク領域を構成する画素である確率を示す値である。後述するマスク画像生成部３３５は、マスク領域である確率が、閾値受付部３３４で受け付けた閾値以上である画素が、マスク領域を構成する画素であるものとしてマスク画像５６０，５８０を生成する。

図６は、閾値受付部３３４による閾値入力の受付態様の一例を示す図である。本実施形態では、後述する表示制御部３３６が、タッチパネル３１０に仮マスク画像５４０を含む仮投射用画像５４を表示させると同時に、タッチパネル３１０に閾値入力を受け付けるユーザーインターフェースであるスライダーバー７０を表示させる。閾値受付部３３４は、スライダーバー７０への操作を閾値入力として受け付ける。

まず、仮投射用画像５４について説明する。本実施形態では、仮投射用画像５４は、仮マスク画像５４０と、入力画像５４２と、背景画像５４４とを含んでいる。仮マスク画像５４０は、後述するマスク画像生成部３３５により生成される。仮マスク画像５４０は、図５に示される確率分布画像５２のうち、マスク領域である確率が所定の仮閾値以上の画素をマスク領域とした画像である。図６では、仮閾値はα２に設定されている。すなわち、図６の仮マスク画像５４０は、図５に示される確率分布画像５２のうち、マスク領域である確率がα２以上である画素、すなわちパターン１およびパターン２で示される領域をマスク領域としている。仮閾値は、プログラム３２２に予め設定された固定値であってもよいし、ユーザーにより指定された値であってもよい。仮マスク画像５４０は、マスク領域のエッジを示す線で構成される。線で囲まれた領域がマスク領域である。入力画像５４２は、マスク領域内に投射される画像である。入力画像５４２は、処理装置３３０に対して外部から入力された画像であってもよいし、処理装置３３０の内部で単色の入力画像５４２を生成してもよい。背景画像５４４は、仮マスク画像５４０の背景となる画像であり、図６の例では撮像装置２０により撮像された物体４０を含む画像、すなわち撮像画像５０を用いている。このような撮像画像５０を用いた背景画像５４４に仮マスク画像５４０および入力画像５４２を重畳させることにより、実際にプロジェクター１０による投射を行った際のイメージをユーザーがより詳細に把握することができる。背景画像５４４は、マスク領域の外において入力画像５４２が非表示となっている状態を示す画像と言うこともできる。

表示制御部３３６は、図６のように情報処理装置３０のタッチパネル３１０に仮投射用画像５４を表示させる他、例えばプロジェクター１０から物体４０に対して実際に仮投射用画像５４を投射させるようにしてもよい。仮投射用画像５４が物体４０に対して実際に投射されることによって、例えば物体４０とマスク領域との位置関係や色味のバランス等を、ユーザーがより正確かつ詳細に把握することができる。プロジェクター１０から物体４０に対して仮投射用画像５４が投射される場合には、一般的には仮投射用画像５４は仮マスク画像５４０と入力画像５４２とからなると考えられるが、更に背景画像５４４を含んでいてもよい。

つぎに、スライダーバー７０について説明する。スライダーバー７０は、所定方向に延びるバー７００と、バー７００上を移動可能なスライダー７０２とを備える。図６の例では、バー７００はタッチパネル３１０の画面左右方向に延びている。バー７００の左右方向の中心位置が、スライダー７０２の基準位置である。ユーザーがスライダー７０２を基準位置より右方向に移動させると、閾値受付部３３４は、仮閾値よりも大きい値が閾値として指定されたものとして受け付ける。この場合、ユーザーは、マスク領域である確率が仮閾値よりも高い画素に絞ってマスク領域を設定するよう指示していることになる。また、ユーザーがスライダー７０２を基準位置より左方向に移動させると、閾値受付部３３４は、仮閾値よりも小さい値が閾値として指定されたものとして受け付ける。この場合、ユーザーは、マスク領域である確率が仮閾値よりも低い画素も含めてマスク領域を設定するよう指示していることになる。

仮投射用画像５４がプロジェクター１０から物体４０に対して実際に投射される場合には、例えばタッチパネル３１０にはスライダーバー７０のみが表示されてもよい。または、スライダーバー７０とともに、プロジェクター１０から仮投射用画像５４の投射を受ける物体４０を撮像装置２０で撮像した画像が表示されてもよい。または、図６のような画面表示がプロジェクター１０からの投射と同時に行われてもよい。

図２に示されるマスク画像生成部３３５は、プロジェクター１０からの画像の投射領域、すなわちマスク領域を特定するためのマスク画像５６０，５８０を生成する。マスク画像５６０，５８０は、図７および図８に例示される。より詳細には、マスク画像生成部３３５は、閾値受付部３３４に入力された閾値を用いることによって、撮像画像５０のうち入力画像５４２を表示する領域であるマスク領域、または撮像画像５０のうち入力画像５４２を表示しない領域である非マスク領域を示す、マスク画像５６０，５８０を生成する。このマスク画像５６０，５８０が、第２画像に対応する。マスク領域は、撮像領域４４の投射領域に対応する撮像画像５０の領域と言うこともできる。上述のようにマスク画像生成部３３５は、マスク領域である確率が、確率算出部３３３で生成した確率分布画像５２のうち閾値受付部３３４で受け付けた閾値以上である画素が、マスク領域を構成する画素であるものとしてマスク画像５６０，５８０を生成する。閾値受付部３３４に対して閾値の変更が入力される都度、マスク画像生成部３３５で生成されるマスク画像５６０，５８０も変化する。

表示制御部３３６は、マスク画像５６０，５８０を入力画像５６２，５８２に重畳した投射用画像５６，５８を表示させる。

図７および図８は、表示制御部３３６による投射用画像５６，５８の表示態様の一例を示す図である。図７は、図６に示す仮投射用画像５４に対して、閾値を大きくする操作入力が行われた場合、すなわち、スライダー７０２が基準位置より右側に移動された場合の表示例である。図７および図８のスライダー７０２は、表示されているマスク画像５６０，５８０に設定された閾値に対応する位置に表示されている。図７では、スライダーバー７０の操作により、閾値がα１に指定されているものとする。図７において、投射用画像５６は、マスク画像５６０と、入力画像５６２と、物体４０を含む撮像画像５０である背景画像５６４とを含み、タッチパネル３１０に表示されている。マスク画像５６０では、図５に示される確率分布画像５２のうち、マスク領域である確率がα１以上である画素、すなわちパターン１で示される領域がマスク領域となっている。すなわち、マスク画像５６０は、図６に示す仮投射用画像５４における仮マスク画像５４０よりも面積が小さい。

図８は、図６に示す仮投射用画像５４に対して、閾値を小さくする操作入力が行われた場合、すなわち、スライダー７０２が基準位置より左側に移動された場合の表示例である。図８では、スライダーバー７０の操作により、閾値がα３に指定されているものとする。図８において、投射用画像５８は、マスク画像５８０と、入力画像５８２と、物体４０を含む撮像画像５０である背景画像５８４とを含み、タッチパネル３１０に表示されている。図８のマスク画像５８０は、図５に示される確率分布画像５２のうち、マスク領域である確率がα３以上である画素、すなわちパターン１～３で示される領域がマスク領域となっている。すなわち、マスク画像５８０は、図６に示す仮投射用画像５４における仮マスク画像５４０よりも面積が大きい。

表示制御部３３６は、図７や図８のように情報処理装置３０のタッチパネル３１０に投射用画像５６，５８を表示させる他、例えばプロジェクター１０から物体４０に対して、実際に投射用画像５６，５８を投射させるようにしてもよい。物体４０に対して実際に投射用画像５６，５８を投射させることによって、例えば物体４０と閾値調整後のマスク領域との位置関係や色味のバランス等を、ユーザーがより正確かつ詳細に把握することができる。プロジェクター１０から物体４０に対して投射用画像５６，５８を投射させる場合には、一般的には投射用画像５６，５８はマスク画像５６０，５８０と入力画像５６２，５８２とからなると考えられるが、更に背景画像５６４，５８４を含んでいてもよい。

また、図７および図８では、タッチパネル３１０に、ユーザーから閾値の入力を受け付けるスライダーバー７０が表示されている。スライダーバー７０の構成および機能は、図６を用いて説明したものと同様である。マスク画像５６０，５８０を含んだ投射用画像５６，５８を表示中にユーザーがスライダーバー７０に対して操作を行った場合、マスク画像生成部３３５は、スライダーバー７０の操作量に応じてマスク領域に含める画素を変更する。そして、表示制御部３３６は、変更後のマスク画像５６０，５８０を含む投射用画像５６，５８をタッチパネル３１０に表示させる。

図９は、情報処理装置３０の処理装置３３０がプログラム３２２に従って実行する表示方法の流れを示すフローチャートである。図９では、投射用画像５６，５８の表示先は、タッチパネル３１０であるものとする。処理装置３３０は、撮像画像取得部３３１として機能することにより、物体４０を含む領域を撮像した撮像画像５０を撮像装置２０から取得する（ステップＳ２００）。

処理装置３３０は、領域選択受付部３３２として機能することにより、マスク領域を構成する画素の指定をユーザーから受け付ける（ステップＳ２０２）。すなわち、処理装置３３０は、ステップＳ２００で取得した撮像画像５０をタッチパネル３１０に表示させるとともに、撮像画像５０に対する描画入力をユーザーから受け付ける。ユーザーは、撮像画像５０のうちマスク領域に対応する箇所に触れて描画する。なお、ステップＳ２０２において、処理装置３３０は、非マスク領域を構成する画素の指定を受け付けてもよい。

処理装置３３０は、確率算出部３３３として機能することにより、撮像画像５０の各画素がマスク領域である確率を算出する（ステップＳ２０４）。この時、処理装置３３０は、例えば撮像画像５０の各画素とステップＳ２０２で指定されたマスク領域を構成する画素との類似度に基づいて確率を算出する。

処理装置３３０は、表示制御部３３６として機能することにより、タッチパネル３１０に仮マスク画像５４０を含む仮投射用画像５４を表示させる（ステップＳ２０６）。仮マスク画像５４０は、ステップＳ２０４で算出した確率が所定の仮閾値以上の画素をマスク領域とした画像である。また、処理装置３３０は、図６に示すように、仮投射用画像５４とともに閾値調整用のスライダーバー７０をタッチパネル３１０に表示させる。

処理装置３３０は、閾値受付部３３４として機能することにより、ユーザーから閾値設定操作を受け付ける（ステップＳ２０８）。上述のように、閾値は、マスク領域に含める画素を決定するための値である。処理装置３３０は、スライダーバー７０に対する操作を閾値の入力として受け付ける。

処理装置３３０は、マスク画像生成部３３５として機能し、ステップＳ２０８で設定された閾値に基づくマスク画像５６０，５８０を生成する（ステップＳ２１０）。すなわち、処理装置３３０は、マスク領域である確率がステップＳ２０８で算出された閾値以上の画素をマスク領域としたマスク画像５６０，５８０を生成する。

処理装置３３０は、表示制御部３３６として機能することにより、ステップＳ２１０で生成されたマスク画像５６０，５８０を含む投射用画像５６，５８をタッチパネル３１０に表示させる（ステップＳ２１２）。この時、処理装置３３０は、投射用画像５６，５８とともに、閾値の再設定用のスライダーバー７０も表示させる。

ユーザーは、タッチパネル３１０に表示された投射用画像５６，５８を見て、物体４０に投射される画像がイメージ通りか、更に調整が必要かを判断する。処理装置３３０は、例えば、ステップＳ２０８またはステップＳ２１２において、調整を完了するか否かの入力を受け付けるボタンをタッチパネル３１０に表示し、ユーザーの操作に基づいて、調整を完了するか否かを判定してもよい（ステップＳ２１４）。表示の例としては、少なくとも、完了する場合に選択するボタンを表示する。調整を継続する場合は、継続する場合に選択するボタンを表示してもよく、ボタンを表示せずに、スライダーバー７０に対する操作があった場合に、調整を継続すると判定してもよい。ユーザーによる調整が完了するまでは（ステップＳ２１４：ＮＯ）、処理装置３３０は、ステップＳ２０８に戻り以降の処理を繰り返す。完了することを指示するボタンが押下され、ユーザーによる調整が完了したと判定すると（ステップＳ２１４：ＹＥＳ）、処理装置３３０は、本フローチャートの処理を終了する。

以上説明したように、実施形態に係る情報処理装置３０の処理装置３３０は、プログラム３２２を実行することにより、撮像画像取得部３３１、領域選択受付部３３２、確率算出部３３３、閾値受付部３３４、マスク画像生成部３３５、および表示制御部３３６として機能する。閾値受付部３３４は、閾値の入力を受け付ける。マスク画像生成部３３５は、閾値を用いることによって、撮像画像５０のうち入力画像５６２，５８２を表示する領域であるマスク領域、または撮像画像５０のうち入力画像５６２，５８２を表示しない領域である非マスク領域を示す、マスク画像５６０，５８０を生成する。表示制御部３３６は、マスク画像５６０，５８０を入力画像５６２，５８２に重畳した投射用画像５６，５８を表示させる。マスク画像５６０，５８０は、入力された閾値に基づいて生成されるので、閾値を固定値とする場合と比較して、生成可能なマスク画像５６０，５８０の数が多くなる。よって、ユーザーは、その感性に合わせたマスク領域の調整を簡単に行うことができる。

また、閾値は、撮像画像５０の各画素がマスク領域を構成する画素であるか否かを判定することに用いる値である。よって、マスク領域に含まれる画素の範囲をユーザーが容易に設定することができる。

また、閾値は、撮像画像５０の各画素がマスク領域を構成する画素である確率を示す値である。よって、ユーザーは、マスク領域に含まれる画素の範囲を、各画素がマスク領域を構成する画素である確率に基づいて設定することができる。

また、マスク領域は、撮像画像５０に映る物体４０に対応するマスク画像５６０，５８０の所定の部分、または所定の部分以外のマスク画像５６０，５８０の部分のいずれかである。これにより、処理装置３３０は、マスク領域とその他の領域との選別を精度よく行うことができる。また、ユーザーは、物体４０の形状に合わせて容易にマスク領域を設定することができる。

また、領域選択受付部３３２は、撮像画像５０を表示させた上で撮像画像５０を用いてマスク領域を選択する情報の入力を受け付ける。また、マスク画像生成部３３５は、マスク画像５６０，５８０を生成する際に、閾値と、マスク領域を選択する情報とに基づいてマスク領域を抽出する。これにより、ユーザーはマスク領域に含めたい領域を撮像画像５０上で直接指定することができ、より正確にユーザーの意図を反映したマスク画像５６０，５８０を生成することができる。

また、領域選択受付部３３２でマスク領域を選択する情報の入力を受け付けることは、撮像画像５０に対する描画入力を受け付けることを含み、マスク領域を選択する情報は、描画入力で指定された画素の情報を含む。これにより、ユーザーは、撮像画像５０中でマスク領域に含めたい箇所を容易かつ直感的に指定することができ、ユーザーの利便性を向上させることができる。

また、領域選択受付部３３２でマスク領域を選択する情報の入力を受け付けることは、描画入力の少なくとも一部を取り消すことを含む。これにより、ユーザーは、描画入力を誤った場合にも容易にその描画入力を取り消すことができ、ユーザーが描画入力を行う際の利便性を向上させることができる。

また、領域選択受付部３３２でマスク領域を選択する情報の入力を受け付けることは、撮像画像５０の任意の画素がマスク領域を構成する画素であること、または、撮像画像５０の任意の画素が非マスク領域を構成する画素である、ことを指定することを含む。これにより、マスク領域のみならず非マスク領域の画素を指定してもマスク画像５６０，５８０が生成可能となり、ユーザーの利便性を向上させることができる。

２．変形例
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
表示制御装置４０のユーザーは、表示様態が変更された第１格子点１４７ａを視認することで、第１格子点１４７ａが所望の格子点１４７であるか否かを確認することができる。第１格子点１４７ａが所望の格子点１４７であると確認することによって、ユーザーは、カーソル２００が所望の位置に位置していることを確認することができる。

本実施形態では、処理装置３３０は、ユーザーから閾値の指定を受け付けるインターフェースとしてスライダーバー７０を表示させるものとしたが、インターフェースはこれに限られない。例えば一方が閾値の増加、他方が閾値の減少に対応付けられた２つのボタンがインターフェースであってもよい。この場合、処理装置３３０は、ユーザーが閾値の増加に対応付けられたボタンを１回押す毎に、所定の値閾値を増加させる。また、処理装置３３０は、ユーザーが閾値の減少に対応付けられたボタンを１回押す毎に、所定の値閾値を減少させる。２つのボタンは、例えば三角形など、相反する方向を指し示すマークが付されていたり、ボタンそのものが相反する方向を指し示す形状であってもよい。これにより、ユーザーは直感的に操作しやすくなる。また、例えばユーザーが数値を入力可能なフォームがインターフェースであってもよい。この場合、ユーザーは、例えば閾値を指定する数値を入力する。また、例えば音声入力により閾値の指定を受け付けるインターフェースが設けられてもよい。

また、本実施形態では、物体４０の表面４００をマスク領域とすることを目的とし、撮像装置２０で撮像された撮像画像５０から表面４００に対応する確率が閾値以上の部分を抽出することによりマスク領域を設定した。すなわち、マスク領域は、撮像画像５０に映る物体４０によって特定される所定の部分であった。しかしながら、例えば撮像画像５０に映る物体４０によって特定される所定の部分以外の領域、例えば物体４０が取り付けられた壁面４２をマスク領域として指定してもよい。この場合、ユーザーは、図４に示す領域種別指定部６６のマスク領域指定部６６０を選択した上で撮像画像５０の壁面４２に対応する箇所に描画を行ってもよいし、非マスク領域指定部６６２を選択した上で撮像画像５０の表面４００に対応する箇所に描画を行ってもよい。

１…投射システム、１０…プロジェクター、２０…撮像装置、３０…情報処理装置、４０…物体、４２…壁面、４４…撮像領域、３００…通信装置、３１０…タッチパネル、３２０…記憶装置、３２２…プログラム、３３０…処理装置、３３１…撮像画像取得部、３３２…領域選択受付部、３３３…確率算出部、３３４…閾値受付部、３３５…マスク画像生成部、３３６…表示制御部。

Claims (10)

1. 閾値の入力を受け付けることと、
   前記閾値を用いることによって、第１画像のうち入力画像を表示する領域であるマスク領域、または前記第１画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第２画像を生成することと、
   前記第２画像を前記入力画像に重畳した投射用画像を表示させることと、
   を含み、
   前記閾値は、前記第１画像の各画素が前記マスク領域を構成する画素であるか否かを判定することに用いる値であり、前記第１画像の各画素が前記マスク領域を構成する画素である確率を示す値である、
   表示方法。
2. 前記マスク領域は、前記第１画像に映る物体に対応する前記第２画像の所定の部分、または前記所定の部分以外の前記第２画像の部分のいずれかである、
   請求項１記載の表示方法。
3. 前記第１画像を表示することと、
   前記第１画像を用いて、前記マスク領域を選択する情報の入力を受け付けることと、を更に含み、
   前記第２画像を生成することは、
   前記閾値と、前記マスク領域を選択する情報とに基づいて前記マスク領域を抽出すること、を含む、
   請求項１から２のいずれか１項記載の表示方法。
4. 前記マスク領域を選択する情報の入力を受け付けることは、
   前記第１画像に対する描画入力を受け付けることを含み、
   前記マスク領域を選択する情報は、前記描画入力によって指定された画素の情報を含む、
   請求項３記載の表示方法。
5. 前記マスク領域を選択する情報の入力を受け付けることは、
   前記描画入力の少なくとも一部を取り消すことを含む、
   請求項４記載の表示方法。
6. 前記マスク領域を選択する情報の入力を受け付けることは、
   前記第１画像の任意の画素が前記マスク領域を構成する画素であること、または、前記第１画像の任意の画素が前記非マスク領域を構成する画素であること、を指定することを含む、
   請求項３から５のいずれか１項記載の表示方法。
7. 閾値の入力を受け付けることと、
   前記閾値を用いることによって、第１画像のうち入力画像を表示する領域であるマスク領域、または前記第１画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第２画像を生成することと、
   前記第２画像を前記入力画像に重畳した投射用画像を表示させることと、
   前記第１画像を表示することと、
   前記第１画像を用いて、前記マスク領域を選択する情報の入力を受け付けることと、
   を含み、
   前記第２画像を生成することは、
   前記閾値と、前記マスク領域を選択する情報とに基づいて前記マスク領域を抽出すること、を含み、
   前記マスク領域を選択する情報の入力を受け付けることは、
   前記第１画像に映る物体に対応する画素、または、前記第１画像に映る物体以外の部分に対応する画素を指定することを含む、
   表示方法。
8. 閾値の入力を受け付けることと、
   前記閾値を用いることによって、第１画像のうち入力画像を表示する領域であるマスク領域、または前記第１画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第２画像を生成することと、
   前記第２画像を前記入力画像に重畳した投射用画像を表示させることと、
   前記第１画像を表示することと、
   前記第１画像を用いて、前記マスク領域を選択する情報の入力を受け付けることと、
   を含み、
   前記第２画像を生成することは、
   前記閾値と、前記マスク領域を選択する情報とに基づいて前記マスク領域を抽出すること、を含み、
   前記マスク領域を選択する情報の入力を受け付けることは、
   前記第１画像に対する描画入力を受け付けることを含み、
   前記マスク領域を選択する情報は、前記描画入力によって指定された画素の情報を含む、
   表示方法。
9. コンピューターに、
   閾値の入力を受け付けることと、
   前記閾値を用いることによって、第１画像のうち入力画像を表示する領域であるマスク領域、または前記第１画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第２画像を生成することと、
   前記第２画像を前記入力画像に重畳した投射用画像を表示させることと、
   を実行させ、
   前記閾値は、前記第１画像の各画素が前記マスク領域を構成する画素であるか否かを判定することに用いる値であり、前記第１画像の各画素が前記マスク領域を構成する画素である確率を示す値である、
   プログラム。
10. コンピューターに、
    閾値の入力を受け付けることと、
    前記閾値を用いることによって、第１画像のうち入力画像を表示する領域であるマスク領域、または前記第１画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第２画像を生成することと、
    前記第２画像を前記入力画像に重畳した投射用画像を表示させることと、
    前記第１画像を表示することと、
    前記第１画像を用いて、前記マスク領域を選択する情報の入力を受け付けることと、
    を実行させ、
    前記第２画像を生成することは、
    前記閾値と、前記マスク領域を選択する情報とに基づいて前記マスク領域を抽出すること、を含み、
    前記マスク領域を選択する情報の入力を受け付けることは、
    前記第１画像に対する描画入力を受け付けることを含み、
    前記マスク領域を選択する情報は、前記描画入力によって指定された画素の情報を含む、
    プログラム。

Images