JP7342137B2 - 投射制御装置及び投射システム - Google Patents

Description

本発明は、投射制御装置及び投射システムに関する。

特許文献１は、スクリーンの近くに位置する障害物への画像の投射を禁止可能な技術を開示する。この技術では、スクリーンからの距離が閾値（３０ｃｍ）以上である物体が、障害物として検出される。

特開２０１３－３３２０６号公報

特許文献１に記載の技術では、スクリーンからの距離が閾値未満である物体には、画像が投射される。このため、例えば、ユーザが手に持っている本等の物体とスクリーンとの距離が閾値未満である場合、当該物体に画像が投射され、当該物体の視認性に問題が生じる。

本発明の目的は、ユーザが手に持っている物体の視認性について投射画像に起因する問題が生じることを抑制可能な技術を提供することである。

本発明の一態様に係る投射制御装置は、手によって持たれている物体である被把持体が、投射部によって投射される投射画像の投射先を撮像することによって生成される撮像データが表す撮像画像に写っているか否かを判定する判定部と、前記被把持体が前記撮像画像に写っていると前記判定部が判定する場合、前記投射先に含まれる前記被把持体への前記投射画像の投射を禁止する投射制御部と、を含む。

本発明の一態様によれば、ユーザが手に持っている物体の視認性について投射画像に起因する問題が生じることを抑制できる。

第１実施形態に係る投射システム１を示す図である。 判定部３１０の一例を示す図である。 投射システム１の動作の一例を説明するための図である。 仮想オブジェクトＶ１の投射例を示す図である。 仮想オブジェクトＶ１の投射を抑制する例を示す図である。 第１変形例を示す図である。 第４変形例を説明するための図である。

＜Ａ．第１実施形態＞
＜Ａ１．投射システム１＞
図１は、第１実施形態に係る投射システム１を示す図である。投射システム１は、投射装置１０、撮像装置２０及び投射制御装置３０を含む。本明細書において、投射装置、撮像装置、投射制御装置、後述する測定装置、後述する記憶装置、後述する処理装置、後述する周辺装置、後述する演算装置、及び、後述する中央処理装置における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。

投射装置１０は、例えば、プロジェクタである。投射装置１０は、投射制御装置３０から画像情報を受信する。投射装置１０は、画像情報に基づく投射画像を投射する。投射装置１０と投射制御装置３０との通信は、有線通信でもよいし、無線通信でもよい。投射装置１０は、投射部の一例である。

投射装置１０は、拡張現実（Augmented Reality）を実現する仮想オブジェクトＶ１の画像を含む投射画像を、投射面Ｐにおける領域Ｒ１に投射する。仮想オブジェクトＶ１の画像は、領域Ｒ１の一部である投射領域Ｒ２に投射される。投射面Ｐは、例えばテーブルである。投射面Ｐは、テーブルに限らず、例えば、机、床、壁又はスクリーンでもよい。

以下、仮想オブジェクトＶ１の画像（仮想オブジェクトＶ１の投射画像）を、単に「仮想オブジェクトＶ１」と称する。図１では、仮想オブジェクトＶ１の一例として、時計の画像が示されている。

仮想オブジェクトＶ１は、時計の画像に限らない。例えば、仮想オブジェクトＶ１は、時計とは異なる物体の画像、又は、文字の画像でもよい。１つの仮想オブジェクトＶ１の代わりに、２つ以上の仮想オブジェクトＶ１が用いられてもよい。投射装置１０が領域Ｒ１に投射する画像のうち仮想オブジェクトＶ１が占める割合は、図１に示す割合に限らず、図１に示す割合よりも高くても低くてもよい。投射装置１０が投射する投射画像は、仮想オブジェクトＶ１を含む画像に限らない。例えば、投射装置１０が投射する投射画像は、拡張現実を実現しない画像、例えば、映画の画像でもよい。

撮像装置２０は、投射画像の投射先（例えば、領域Ｒ１）を撮像するカメラである。撮像装置２０は、撮像部の一例である。撮像装置２０は、レンズ等の光学系と、光学系によって集光される光を電気信号に変換する撮像素子と、を含む。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子は、ＣＣＤイメージセンサに限らず、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサでもよい。撮像装置２０は、投射装置１０に設けられてもよく、投射装置１０から独立した構成でもよい。

撮像装置２０は、投射画像の投射先（例えば、投射領域Ｒ２を含む領域Ｒ１）を撮像することによって撮像データを生成する。すなわち、撮像装置２０は、例えば投射領域Ｒ２を撮像する。なお、「投射領域Ｒ２を撮像する」とは、「少なくとも投射領域Ｒ２を撮像する」ことを意味する。撮像装置２０は、撮像データを投射制御装置３０に送信する。撮像装置２０と投射制御装置３０との通信は、有線通信でもよいし、無線通信でもよい。

投射装置１０から投射領域Ｒ２に向けて投射される仮想オブジェクトＶ１の少なくとも一部を遮る物体が存在する場合、撮像データが示す撮像画像に、当該物体が写っている可能性が高い。

投射制御装置３０は、撮像データに基づいて投射装置１０を制御する。投射制御装置３０は、記憶装置３００及び処理装置３０２を含む。投射制御装置３０の各要素は、１又は２以上のバスによって相互に接続される。投射制御装置３０の各要素は、１又は２以上の機器によって構成される。

記憶装置３００は、処理装置３０２が読み取り可能な記録媒体である。記憶装置３００は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）及びＲＡＭ（Random Access Memory）等の記録媒体の少なくとも１つによって構成される。記憶装置３００は、処理装置３０２によって実行される制御プログラムを含む複数のプログラム、及び、処理装置３０２によって使用される各種のデータ等を記憶する。

処理装置３０２は、投射制御装置３０を制御する１又は２以上のプロセッサを含む。処理装置３０２は、例えば、１又は２以上のチップによって構成される。一例を挙げると、処理装置３０２は、周辺装置と通信するためのインタフェース、及び、中央処理装置（ＣＰＵ：Central Processing Unit）によって構成される。中央処理装置は、演算装置及びレジスタ等を含む。処理装置３０２の機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。処理装置３０２は、各種の処理を並列的又は逐次的に実行する。

処理装置３０２は、記憶装置３００から制御プログラムを読み取り、当該制御プログラムを実行することによって、判定部３１０及び投射制御部３２０として機能する。判定部３１０及び投射制御部３２０の各々は、処理装置３０２の機能ブロックの一例である。判定部３１０及び投射制御部３２０の各々は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等の回路によって構成されてもよい。

判定部３１０は、手によって持たれている物体である被把持体が撮像画像に写っているか否かを判定する。手とは、人間の手を意味する。判定部３１０は、出力部３１１、認識部３１２及び物体判定部３１３を含む。出力部３１１、認識部３１２及び物体判定部３１３の各々は、処理装置３０２の機能ブロックの一例である。出力部３１１、認識部３１２及び物体判定部３１３の各々は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等の回路によって構成されてもよい。

出力部３１１は、物体を持っている手である把持手が撮像画像に写っているか否かの判定結果である第１判定結果を、認識部３１２及び物体判定部３１３に出力する。
把持手が撮像画像に写っていると判定される場合、出力部３１１は、把持手が撮像画像に写っていることを示す第１判定結果を、認識部３１２及び物体判定部３１３に出力する。一方、把持手が撮像画像に写っていないと判定される場合、出力部３１１は、把持手が撮像画像に写っていないことを示す第１判定結果を、認識部３１２及び物体判定部３１３に出力する。

なお、把持手が撮像画像に写っているか否かの判定処理は、出力部３１１によって実行されてもよいし、出力部３１１とは異なる要素（例えば、学習済みモデル）によって実行されてもよい。学習済みモデルについては後述する。
把持手が撮像画像に写っているか否かの判定処理を出力部３１１が実行する例としては、出力部３１１が、把持手が撮像画像に写っているか否かの判定処理をルールベースによって実行する例が挙げられる。

把持手が撮像画像に写っている場合、出力部３１１は、撮像画像において把持手が写っている領域の推定結果である第１推定結果を、物体判定部３１３及び投射制御部３２０に出力する。
なお、出力部３１１は、第１推定結果を、出力部３１１とは異なる要素（例えば、学習済みモデル）から取得する。出力部３１１は、第１推定結果を生成する処理をルールベースによって実行してもよい。

出力部３１１は、物体を持っていない手である非把持手が撮像画像に写っているか否かの判定結果である第２判定結果を、出力部３１１とは異なる要素（例えば、学習済みモデル）から取得する。なお、出力部３１１は、非把持手が撮像画像に写っているか否かの判定処理をルールベースで実行してもよい。

非把持手が撮像画像に写っている場合、出力部３１１は、撮像画像において非把持手が写っている領域の推定結果である第２推定結果を、物体判定部３１３および投射制御部３２０に出力する。
なお、出力部３１１は、第２推定結果を、出力部３１１とは異なる要素（例えば、学習済みモデル）から取得する。出力部３１１は、第２推定結果を生成する処理をルールベースによって実行してもよい。

出力部３１１は、人体が撮像画像に写っているか否かの判定結果である第３判定結果を、出力部３１１とは異なる要素（例えば、学習済みモデル）から取得する。なお、出力部３１１は、人体が撮像画像に写っているか否かの判定処理をルールベースによって実行してもよい。人体は、人間の体のうち手を含まない部分を意味してもよい。以下、人体は、人間の体のうち手を含まない部分を意味するとする。

人体が撮像画像に写っている場合、出力部３１１は、撮像画像において人体が写っている領域の推定結果である第３推定結果を、物体判定部３１３および投射制御部３２０に出力する。
なお、出力部３１１は、第３推定結果を、出力部３１１とは異なる要素（例えば、学習済みモデル）から取得する。出力部３１１は、第３推定結果を生成する処理をルールベースによって実行してもよい。

認識部３１２は、把持手が撮像画像に写っていることを第１判定結果が示す場合、撮像データを用いて、手とは異なる物体である１以上の認識対象物を認識する。１以上の認識対象物は、手とは異なる複数種類の物体の各々である。例えば、認識対象物は、本、スマートフォン、ペン、消しゴム、カレンダー等である。なお、認識対象物は、予め定められている。
認識部３１２は、出力部３１１とは異なる要素（例えば、学習済みモデル）を用いて、認識対象物を認識する。なお、認識部３１２は、画像認識手法を用いて認識対象物を認識してもよい。認識対象物は、被把持体の候補である。

認識部３１２は、撮像画像において１以上の認識対象物が写っている領域の推定結果である第４推定結果を、物体判定部３１３に出力する。
なお、認識部３１２は、第４推定結果を、認識部３１２とは異なる要素（例えば、学習済みモデル）から取得する。認識部３１２は、第４推定結果を生成する処理をルールベースによって実行してもよい。

物体判定部３１３は、把持手が撮像画像に写っていることを第１判定結果が示す場合、認識部３１２によって認識された１以上の認識対象物の中で把持手までの距離が最も短い物体を、被把持体として判定する。

認識対象物と把持手との距離は、例えば、撮像画像における、認識対象物と把持手との距離である。撮像画像における、認識対象物と把持手との距離は、例えば、撮像画像における認識対象物の重心位置と、撮像画像における把持手の重心位置と、の距離である。

物体判定部３１３は、撮像画像において把持手が写っている領域を示す第１推定結果を用いて、撮像画像における把持手の重心位置を特定する。また、物体判定部３１３は、撮像画像において認識対象物が写っている領域の推定結果である第４推定結果を用いて、撮像画像における認識対象物の重心位置を特定する。なお、撮像画像における、認識対象物と把持手との距離は、撮像画像における認識対象物の任意の一点と、撮像画像における把持手の任意の一点と、の距離でもよい。

物体判定部３１３は、被把持体を判定すると、被把持体が撮像画像に写っていると判定する。物体判定部３１３は、把持手が撮像画像に写っていることを第１判定結果が示す場合に、被把持体が撮像画像に写っていると判定してもよい。物体判定部３１３は、把持手が撮像画像に写っていないことを第１判定結果が示す場合、被把持体が撮像画像に写っていないと判定する。物体判定部３１３は、撮像画像において被把持体が写っている領域の推定結果である第５推定結果を投射制御部３２０に出力する。

投射制御部３２０は、投射装置１０への画像情報の提供を制御する。例えば、投射制御部３２０は、被把持体が撮像画像に写っていると判定部３１０が判定する場合、投射先に含まれる被把持体への仮想オブジェクトＶ１の投射を禁止する。

一例を挙げると、仮想オブジェクトＶ１が投射される領域が、被把持体が存在する領域の少なくとも一部と重なる場合、投射制御部３２０は、投射装置１０への画像情報の提供を停止する。このため、被把持体への仮想オブジェクトＶ１の投射が抑制される。

なお、仮想オブジェクトＶ１が投射される領域が、被把持体が存在する領域の一部とも重ならない場合、投射制御部３２０は、仮想オブジェクトＶ１が投射される領域が、被把持体が存在する領域の一部とも重ならない状況を維持する。このため、被把持体への仮想オブジェクトＶ１の投射が抑制される。

なお、投射制御部３２０は、仮想オブジェクトＶ１が投射される領域を、投射画像の元になる画像情報を用いて特定する。投射制御部３２０は、撮像画像において被把持体が写っている領域の推定結果である第５推定結果を用いて、被把持体が存在する領域を特定する。

＜Ａ２．学習済みモデルを有する判定部３１０＞
図２は、出力部３１１が使用する学習済みモデルと、認識部３１２が使用する学習済みモデルとを、判定部３１０が含む構成の一例を示す図である。

なお、判定部３１０は、図２に示す構成に限定されない。例えば、図２に示す学習済みモデルが、判定部３１０とは異なる要素、さらに言えば、投射システム１に含まれない要素に存在してもよい。
しかし、図２に示す学習済みモデルが、投射システム１に含まれる構成、例えば、判定部３１０に含まれる場合、ユーザの個人情報として扱われる可能性がある撮像データが、投射システム１の外部に出ない。このため、ユーザの個人情報を保護することが可能である。

図２に例示される判定部３１０は、出力部３１１、認識部３１２及び物体判定部３１３に加えて、学習済みモデルＭ１～Ｍ３、セグメンテーション部ＳＧ１、学習済みモデルＴ１～ＴＮ、及び、セグメンテーション部ＳＧ２を含む。Ｎは２以上の整数である。学習済むモデルＭ１～Ｍ３、セグメンテーション部ＳＧ１、学習済みモデルＴ１～ＴＮ、及び、セグメンテーション部ＳＧ２の各々は、処理装置３０２の機能ブロックの一例である。

＜Ａ３．学習済みモデルＭ１＞
学習済みモデルＭ１は、画像データと、画像データによって示される画像に把持手が写っているか否かを示す判定データと、の相関関係を学習した学習済みモデルである。学習済みモデルＭ１は、複数の教師データＴＭ１を利用した機械学習によって特定される複数の係数Ｋ１によって規定される。

教師データＴＭ１は、画像データと、当該画像データが示す画像に把持手が写っているか否かを示す判定データ（ラベル）と、の組合せである。教師データＴＭ１の一例は、把持手が写っている画像を示す画像データと、画像データが示す画像に把持手が写っていることを示す判定データと、の組合せである。教師データＴＭ１の他の例は、把持手が写っていない画像を示す画像データと、画像データが示す画像に把持手が写っていないことを示す判定データと、の組合せである。

学習済みモデルＭ１としては、例えば、ニューラルネットワーク、典型的には、ディープニューラルネットワークが利用される。学習済みモデルＭ１は、出力部３１１から入力される撮像データに基づいて、撮像データによって示される撮像画像に把持手が写っているか否かを示す出力データを生成する。

次に、学習済みモデルＭ１について観点を変えて説明する。
学習済みモデルＭ１は、処理装置（コンピュータの例示）３０２によって実現される統計的モデル（例えば、ニューラルネットワーク）、さらに言えば、機能ブロックであり、入力Ａに応じた出力Ｂを生成する。

学習済みモデルＭ１は、入力Ａから出力Ｂを特定する演算を処理装置３０２に実行させるプログラム（例えば、人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋ１と、の組合せによって、処理装置３０２において実現される。当該プログラムと複数の係数Ｋ１とは、記憶装置３００に記憶される。

複数の係数Ｋ１は、入力Ａと出力Ｂとを対応させた複数の教師データＴＭ１を利用した事前の機械学習（深層学習）によって最適化されている。すなわち、学習済みモデルＭ１は、上述の通り、入力Ａと出力Ｂとの相関関係を学習した統計的モデルである。

処理装置３０２は、複数の係数Ｋ１と所定の応答関数とを適用した演算を未知の入力Ａに対して実行することによって、複数の教師データＴＭ１から抽出される傾向（入力Ａと出力Ｂとの相関関係）に基づいて、入力Ａに対して妥当な出力Ｂを生成する。

学習済みモデルＭ１は、入力Ａとして「撮像データ」を用い、出力Ｂとして「撮像データによって示される撮像画像に把持手が写っているか否かを示すデータ」を用いる。

なお、学習済みモデルＭ１は、例えば、Tensor Processing Unit（テンソルプロセッシングユニット）及びNeural Engine（ニューラルエンジン）等のニューラルネットワーク用のプロセッサによって実現されてもよい。

出力部３１１は、学習済みモデルＭ１に撮像データを入力する。出力部３１１は、学習済みモデルＭ１の出力データを受け取る。出力部３１１は、学習済みモデルＭ１の出力データを第１判定結果として使用する。

＜Ａ４．学習済みモデルＭ２＞
学習済みモデルＭ２は、画像データと、画像データによって示される画像に非把持手が写っているか否かを示す判定データと、の相関関係を学習した学習済みモデルである。学習済みモデルＭ２は、複数の教師データＴＭ２を利用した機械学習によって特定される複数の係数Ｋ２によって規定される。教師データＴＭ２は、画像データと、当該画像データが示す画像に非把持手が写っているか否かを示す判定データ（ラベル）と、の組合せである。

学習済みモデルＭ２と学習済みモデルＭ１との相違点は、学習済みモデルＭ２が教師データＴＭ２を用いる点と、学習済みモデルＭ２が、入力Ａとして「撮像データ」を用い、出力Ｂとして「撮像画像に非把持手が写っているか否かを示すデータ」を用いる点である。

出力部３１１は、学習済みモデルＭ２に撮像データを入力する。出力部３１１は、学習済みモデルＭ２の出力データを、第２判定結果として受け取る。

＜Ａ５．学習済みモデルＭ３＞
学習済みモデルＭ３は、画像データと、画像データによって示される画像に人体が写っているか否かを示す判定結果と、の相関関係を学習した学習済みモデルである。学習済みモデルＭ３は、複数の教師データＴＭ３を利用した機械学習によって特定される複数の係数Ｋ３によって規定される。教師データＴＭ３は、画像データと、当該画像データが示す画像に人体が写っているか否かを示す判定結果（ラベル）と、の組合せである。

学習済みモデルＭ３と学習済みモデルＭ１との相違点は、学習済みモデルＭ３が教師データＴＭ３を用いる点と、学習済みモデルＭ３が、入力Ａとして「撮像データ」を用い、出力Ｂとして「撮像画像に人体が写っているか否かを示すデータ」を用いる点である。

出力部３１１は、学習済みモデルＭ３に撮像データを入力する。出力部３１１は、学習済みモデルＭ３の出力データを、第３判定結果として受け取る。

＜Ａ６．セグメンテーション部ＳＧ１＞
セグメンテーション部ＳＧ１は、セマンティックセグメンテーション等のセグメンテーション手法を用いて、撮像画像において把持手が写っている領域と、撮像画像において非把持手が写っている領域と、撮像画像において人体が写っている領域と、を推定する。

セマンティックセグメンテーション手法は、例えば、学習済みモデル（例えば、ニューラルネットワーク）によって実現される。セマンティックセグメンテーション手法を実現する学習済みモデルは、画像データを入力として用い、検出対象の物体（例えば、把持手）の識別情報と、画像データが示す画像において検出対象の物体が存在する領域を示すマスク領域と、の組合せを、出力として用いる。この場合、教師データは、画像データとラベルとの組合せである。当該ラベルは、検出対象の物体が存在する領域を示すマスク領域と、検出対象の物体の識別情報と、のペアである。

セグメンテーション部ＳＧ１は、把持手を検出対象の物体として用いる学習済みモデルと、非把持手を検出対象の物体として用いる学習済みモデルと、人体を検出対象の物体として用いる学習済みモデルと、を有する。

出力部３１１は、セグメンテーション部ＳＧ１の学習済みモデルに撮像データを入力する。出力部３１１は、セグメンテーション部ＳＧ１の学習済みモデルの出力データを受け取る。出力部３１１は、把持手を検出対象の物体として用いる学習済みモデルの出力データを、第１推定結果として受け取る。出力部３１１は、非把持手を検出対象の物体として用いる学習済みモデルの出力データを、第２推定結果として受け取る。出力部３１１は、人体を検出対象の物体として用いる学習済みモデルの出力データを、第３推定結果として受け取る。

＜Ａ７．学習済みモデルＴ１～ＴＮ＞
以下、複数の学習済みモデルＴ１～ＴＮのうち任意の学習済みモデルを「学習済みモデルＴｍ」と称する。

＜Ａ８．学習済みモデルＴｍ＞
学習済みモデルＴｍは、画像データと、画像データによって示される画像に手とは異なる物体である認識対象体が写っているか否かを示す判定データと、の相関関係を学習した学習済みモデルである。

学習済みモデルＴｍにおける認識対象物は、学習済みモデルＴ１～ＴＮのうち学習済みモデルＴｍ以外の学習済みモデルにおける認識対象物と異なる。例えば、学習済みモデルＴ１～ＴＮが、学習済みモデルＴ１及びＴ２によって構成される場合、学習済みモデルＴ１における認識対象物は、学習済みモデルＴ２における認識対象物と異なる。一例を挙げると、学習済みモデルＴ１における認識対象物が「本」であり、学習済みモデルＴ２での認識対象物が「スマートフォン」である。

学習済みモデルＴｍは、複数の教師データＴＴｍを利用した機械学習によって特定される複数の係数Ｋによって規定される。教師データＴＴｍは、画像データと、当該画像データが示す画像に学習済みモデルＴｍにおける認識対象物が写っているか否かを示す判定データ（ラベル）と、の組合せである。

学習済みモデルＴｍと学習済みモデルＭ１との相違点は、学習済みモデルＴｍが教師データＴＴｍを用いる点と、学習済みモデルＴｍが、入力Ａとして「撮像データ」を用い、出力Ｂとして「学習済みモデルＴｍにおける認識対象物が撮像画像に写っているか否かを示すデータ」を用いる点である。

認識部３１２は、学習済みモデルＴｍに撮像データを入力する。認識部３１２は、学習済みモデルＴｍの出力データを受け取る。認識部３１２は、学習済みモデルＴｍの出力データが、学習済みモデルＴｍにおける認識対象物が撮像画像に写っていることを示す場合、当該認識対象物を認識する。一方、認識部３１２は、学習済みモデルＴｍの出力データが、学習済みモデルＴｍにおける認識対象物が撮像画像に写っていないことを示す場合、当該認識対象物を認識しない。

＜Ａ９．セグメンテーション部ＳＧ２＞
セグメンテーション部ＳＧ２は、セマンティックセグメンテーション等のセグメンテーション手法を用いて、認識対象物の種類ごとに、撮像画像において認識対象物が写っている領域を推定する。認識対象物の種類とは、例えば、「本」、「スマートフォン」である。セグメンテーション部ＳＧ２は、セマンティックセグメンテーション手法を実現する学習済みモデルを、認識対象物の種類ごとに有する。

認識部３１２は、セグメンテーション部ＳＧ２の学習済みモデルに撮像データを入力する。認識部３１２は、セグメンテーション部ＳＧ２の学習済みモデルの出力データを、第４推定結果として受け取る。

＜Ａ１０．投射システム１の動作＞
図３は、投射システム１の動作の一例を説明するための図である。図３に示す動作の開始時点において、投射制御部３２０は、画像情報を投射装置１０に提供し、投射装置１０は、画像情報に基づいて、仮想オブジェクトＶ１を投射領域Ｒ２に投射しているとする。また、図２に示す判定部３１０が用いられるとする。

撮像装置２０は、領域Ｒ１を撮像することによって、撮像データを生成する（ステップＳ１００）。撮像装置２０は、撮像データを、処理装置３０２、具体的には出力部３１１及び認識部３１２に送信する。

出力部３１１は、撮像データを学習済みモデルＭ３に入力する。学習済みモデルＭ３は、撮像データに基づいて、人体が撮像画像に写っているか否かを判定する（ステップＳ１０２）。学習済みモデルＭ３は、人体が撮像画像に写っているか否かを示す出力データを、出力部３１１に提供する。

続いて、出力部３１１は、撮像データを学習済みモデルＭ２に入力する。学習済みモデルＭ２は、撮像データに基づいて、物体を持っていない手である非把持手が撮像画像に写っているか否かを判定する（ステップＳ１０４）。学習済みモデルＭ２は、非把持手が撮像画像に写っているか否かを示す出力データを、出力部３１１に提供する。

続いて、出力部３１１は、撮像データを学習済みモデルＭ１に入力する。学習済みモデルＭ１は、撮像データに基づいて、物を持っている手である把持手が撮像画像に写っているか否かを判定する（ステップＳ１０６）。学習済みモデルＭ１は、把持手が撮像画像に写っているか否かを示す出力データを、出力部３１１に提供する。

なお、ステップＳ１０２～Ｓ１０６の順序は適宜変更可能である。さらに言えば、ステップＳ１０２は、後述のステップＳ１０８よりも前に実行されていればよい。ステップＳ１０４は、後述のステップＳ１１２よりも前に実行されていればよい。ステップＳ１０６は、後述のステップＳ１１６よりも前に実行されていればよい。

学習済みモデルＭ３の出力データが、人体が撮像画像に写っていることを示す場合（ステップＳ１０８：ＹＥＳ）、出力部３１１は、セグメンテーション部ＳＧ１（具体的には、人体を検出対象の物体として用いる学習済みモデル）に撮像データを入力する。セグメンテーション部ＳＧ１は、撮像データに基づいて、撮像画像において人体が写っている領域を推定する（ステップＳ１１０）。セグメンテーション部ＳＧ１は、撮像画像において人体が写っている領域を示す第３推定結果を、出力部３１１に提供する。出力部３１１は、第３推定結果を投射制御部３２０に出力する。

なお、学習済みモデルＭ３の出力データが、人体が撮像画像に写っていないことを示す場合（ステップＳ１０８：ＮＯ）、ステップＳ１１０はスキップされる。よって、人体が撮像画像に写っていない場合に撮像画像において人体が写っている領域を推定するという無駄な処理が発生することを回避可能である。

続いて、学習済みモデルＭ２の出力データが、非把持手が撮像画像に写っていることを示す場合（ステップＳ１１２：ＹＥＳ）、出力部３１１は、セグメンテーション部ＳＧ１（具体的には、非把持手を検出対象の物体として用いる学習済みモデル）に撮像データを入力する。セグメンテーション部ＳＧ１は、撮像データに基づいて、撮像画像において非把持手が写っている領域を推定する（ステップＳ１１４）。セグメンテーション部ＳＧ１は、撮像画像において非把持手が写っている領域を示す第２推定結果を、出力部３１１に提供する。出力部３１１は、第２推定結果を投射制御部３２０に出力する。

なお、学習済みモデルＭ２の出力データが、非把持手が撮像画像に写っていないことを示す場合（ステップＳ１１２：ＮＯ）、ステップＳ１１４はスキップされる。よって、非把持手が撮像画像に写っていない場合に撮像画像において非把持手が写っている領域を推定するという無駄な処理が発生することを回避可能である。

続いて、学習済みモデルＭ１の出力データが、把持手が撮像画像に写っていることを示す場合（ステップＳ１１６：ＹＥＳ）、出力部３１１は、セグメンテーション部ＳＧ１（具体的には、把持手を検出対象の物体として用いる学習済みモデル）に撮像データを入力する。セグメンテーション部ＳＧ１は、撮像データに基づいて、撮像画像において把持手が写っている領域を推定する（ステップＳ１１８）。セグメンテーション部ＳＧ１は、撮像画像において把持手が写っている領域を示す第１推定結果を、出力部３１１に提供する。出力部３１１は、第１推定結果を物体判定部３１３及び投射制御部３２０に出力する。

続いて、認識部３１２は、画像データを用いて、手とは異なる物である認識対象物を認識する（ステップＳ１２０）。
ステップＳ１２０では、認識部３１２は、まず、学習済みモデルＴ１～ＴＮの各々に撮像データを入力する。学習済みモデルＴ１～ＴＮの各々は、撮像データに基づいて、認識対象物が撮像画像に写っているか否かを判定する。学習済みモデルＴ１～ＴＮの各々は、認識対象物が撮像画像に写っているか否かを示す出力データを、認識部３１２に提供する。認識部３１２は、学習済みモデルＴ１～ＴＮの出力データに基づいて、認識対象物を認識する。例えば、学習済みモデルＴ１～ＴＮの出力データによって、本とスマートフォンが撮像画像に写っていることが特定される場合、認識部３１２は、認識対象物として、本とスマートフォンとを認識する。本とスマートフォンは、複数の認識対象物の一例である。複数の認識対象物は、本とスマートフォンに限らず、適宜変更可能である。

以下、認識部３１２は、認識対象物として本とスマートフォンとを認識したとする。この場合、本とスマートフォンのいずれかが、手によって持たれている物体である被把持体に該当する。

続いて、認識部３１２は、セグメンテーション部ＳＧ２の学習済みモデルのうち、認識部３１２が認識した認識対象物に対応する学習済みモデルに撮像データを入力する。具体的には、認識部３１２は、セグメンテーション部ＳＧ２の学習済みモデルのうち、本に対応する学習済みモデルと、スマートフォンに対応する学習済みモデルと、の各々に、撮像データを入力する。

セグメンテーション部ＳＧ２は、撮像データに基づいて、撮像画像において認識対象物（本とスマートフォン）が写っている領域を推定する（ステップＳ１２２）。セグメンテーション部ＳＧ２は、推定結果を示す出力データを認識部３１２に提供する。認識部３１２は、セグメンテーション部ＳＧ２の出力データを、第４推定結果として受け取る。認識部３１２は、第４推定結果を物体判定部３１３に出力する。

続いて、物体判定部３１３は、認識対象物のうち、把持手までの距離が最も短い物体を、被把持体として判定する（ステップＳ１２４）。例えば、物体判定部３１３は、複数の認識対象物のうち、撮像画像において把持手までの距離が最も短い認識対象物を、被把持体として判定する。

一例を挙げると、物体判定部３１３は、まず、第１推定結果を用いて、撮像画像における把持手の領域を特定する。さらに、物体判定部３１３は、第４推定結果を用いて、撮像画像における各認識対象物の領域を特定する。続いて、物体判定部３１３は、撮像画像における把持手の領域に基づいて、撮像画像における把持手の重心位置を特定する。さらに 物体判定部３１３は、撮像画像における各認識対象物の領域に基づいて、撮像画像における各認識対象物の重心位置を特定する。続いて、物体判定部３１３は、複数の認識対象物のうち、撮像画像における認識対象物の重心位置と、撮像画像における把持手の重心位置と、の距離が最も短い認識対象物を、被把持体として判定する。

続いて、物体判定部３１３は、被把持体が撮像画像に写っていると判定する（ステップＳ１２６）。なお、把持手が撮像画像に写っていない場合（ステップＳ１１６：ＮＯ）、物体判定部３１３は、被把持体が撮像画像に写っていないと判定する（ステップＳ１２８）。

物体判定部３１３は、被把持体が撮像画像に写っていると判定すると、撮像画像において被把持体が写っている領域を推定する（ステップＳ１３０）。例えば、物体判定部３１３は、被把持体として判定された認識対象物について第４推定結果が示す領域を、撮像画像において被把持体が写っている領域として用いる。物体判定部３１３は、撮像画像において被把持体が写っている領域を示すデータを第５推定結果として、投射制御部３２０に出力する。

なお、ステップＳ１１６において把持手が撮像画像に写っていない場合（ステップＳ１１６：ＮＯ）、ステップＳ１１８～Ｓ１２６及びステップＳ１３０は実行されない。よって、把持手が撮像画像に写っていない場合に、撮像画像において把持手が写っている領域を推定するという無駄な処理、及び、撮像画像において被把持体が写っている領域を推定するという無駄な処理が発生することを回避可能である。

続いて、投射制御部３２０は、仮想オブジェクトＶ１の投射領域Ｒ２が、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、及び、被把持体が存在する領域の少なくとも１つと重なるか否かを判断する（ステップＳ１３２）。

図１に示すように、投射装置１０は、投射制御部３２０から提供される画像情報に従って、仮想オブジェクトＶ１を含む画像を領域Ｒ１に投射する。撮像装置２０は、領域Ｒ１を撮像することによって、撮像画像を示す撮像データを生成する。このため、画像情報は、領域Ｒ１に投射される画像を示し、撮像データは、領域Ｒ１を撮像することによって生成される撮像画像を示す。よって、画像情報が示す画像と、撮像データが示す撮像画像とは、互いに領域Ｒ１の状態を示す。

このため、投射制御部３２０は、仮想オブジェクトＶ１の投射領域Ｒ２として、画像情報が示す画像における仮想オブジェクトＶ１の領域を用い、把持手が存在する領域、非把持手が存在する領域、人体が存在する領域、被把持体が存在する領域として、それぞれ、第１推定結果、第２推定結果、第３推定結果、第５推定結果が示す領域を用いる。

投射制御部３２０は、第１推定結果、第２推定結果、第３推定結果及び第５推定結果のうち少なくともいずれか１つを受け取っていない場合、受け取っていない推定結果に示される領域の大きさは無い（ゼロ）と判定する。

仮想オブジェクトＶ１の投射領域Ｒ２が、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、及び、被把持体が存在する領域の少なくとも１つと重なる場合、投射制御部３２０は、投射装置１０への画像情報の提供を停止する。すなわち、投射制御部３２０は、仮想オブジェクトＶ１の投射を禁止する（ステップＳ１３４）。

一方、仮想オブジェクトＶ１の投射領域Ｒ２が、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、及び、被把持体が存在する領域のいずれとも重ならない場合、投射制御部３２０は、投射装置１０への画像情報の提供を継続する。このため、投射装置１０は、仮想オブジェクトＶ１を投射領域Ｒ２に投射する（ステップＳ１３６）。

このため、図４に示すように仮想オブジェクトＶ１が投射されている状況において、図５に示すように、投射領域Ｒ２に、手Ｆ１によって持たれている本Ｆ２が現れると、仮想オブジェクトＶ１の投射が禁止される。

なお、ステップＳ１０２とステップＳ１０８とステップＳ１１０は、ステップＳ１００とステップＳ１３２との間に実行されれば、図３に示す順序とは異なる順序で実行されてもよい。ステップＳ１０４とステップＳ１１２とステップＳ１１４は、ステップＳ１００とステップＳ１３２との間に実行されれば、図３に示す順序とは異なる順序で実行されてもよい。ステップＳ１０６とステップＳ１１６～Ｓ１３０は、ステップＳ１００とステップＳ１３２との間に実行されれば、図３に示す順序とは異なる順序で実行されてもよい。

＜Ａ１１．第１実施形態のまとめ＞
第１実施形態においては、判定部３１０は、被把持体が撮像画像に写っているか否かを判定する。投射制御部３２０は、被把持体が撮像画像に写っていると判定部３１０が判定する場合、投射先に含まれる被把持体への仮想オブジェクトＶ１の投射を禁止する。
このため、ユーザが手に持っている本等の物体の視認性において投射画像に起因する問題が生じることを抑制できる。例えば、ユーザがスマートフォンを手に持っている場合、スマートフォンに仮想オブジェクトＶ１が投射されない。このため、スマートフォンの画面の視認性が仮想オブジェクトＶ１によって悪化することを抑制可能である。また、ユーザがカラーペンを手に持っている場合、カラーペンに仮想オブジェクトＶ１が投射されない。このため、カラーペンに仮想オブジェクトＶ１が投射されるために、ユーザがカラーペンの色を認識し難くなることを抑制可能である。

出力部３１１は、把持手が撮像画像に写っているか否かの第１判定結果を出力する。認識部３１２は、撮像データを用いて、認識対象物を認識する。物体判定部３１３は、把持手が撮像画像に写っていることを第１判定結果が示す場合、認識対象物の中で把持手までの距離が最も短い物体を、被把持体として判定する。
被把持体は、把持手によって持たれている。このため、認識対象物の中で把持手までの距離が最も短い物体が、被把持体である可能性が高い。よって、本形態によれば、被把持体を高い精度で判定することが可能である。

出力部３１１は、画像データと、当該画像データによって示される画像に把持手が写っているか否かを示す判定データと、の相関関係を学習した学習済みモデルＭ１に、撮像データを入力し、学習済みモデルＭ１の出力データを第１判定結果として使用する。このため、把持手が存在するか否かの判定を高い精度で実行可能になる。

投射装置１０は、拡張現実を実現する仮想オブジェクトＶ１を含む画像を投射する。例えば、特定位置に投射されるべき仮想オブジェクトＶ１が被把持体に投射されると、特定位置に仮想オブジェクトＶ１が存在するという拡張現実についてのユーザの認識が崩れる。よって、ユーザの拡張現実への没頭感が下がる。本態様によれば、仮想オブジェクトＶ１が被把持体に投射されることが抑制されるため、拡張現実についてのユーザの認識が崩れることを抑制可能である。

＜Ｂ．変形例＞
以上に例示した態様に関する具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

＜Ｂ１．第１変形例＞
図６は、第１変形例を示す図である。第１変形例では、投射システム１は、測定装置４０をさらに含む。なお、図６に示す判定部３１０として、図２に示す判定部３１０が用いられてもよい。

測定装置４０は、測定装置４０から把持手までの距離と、測定装置４０から認識対象物までの距離と、を測定する。測定装置４０は、測定部の一例である。測定装置４０が距離を測定する手法は、距離を測定する周知の任意の手法である。例えば、測定装置４０が距離を測定する手法は、２つのカメラの視差に基づいて距離を測定する手法、又は、測定装置４０が赤外光などを測定対象物に照射してから測定装置４０が測定対象物によって反射された光を受けるまでの時間を測定する手法である。なお、把持手の位置は、第１推定結果に基づいて特定される。認識対象物の位置は、第４推定結果に基づいて特定される。

物体判定部３１３は、測定装置４０の測定結果と撮像データとに基づいて、認識対象物の中で把持手までの距離が最も短い物体を、被把持体として判定する。

例えば、認識対象物のうち、撮像画像上での把持手までの距離が最も短い２つ以上の物体が存在する場合、物体判定部３１３は、以下のように被把持体を判定する。
物体判定部３１３は、まず、当該２つ以上の物体の各々について測定装置４０が測定した距離のうち、測定装置４０によって測定された把持手までの距離との差が最も小さい距離を、該当距離として特定する。続いて、物体判定部３１３は、当該２つ以上の物体のうち、測定装置４０によって測定された距離が該当距離と等しい物体を、被把持体として判定する。

第１変形例によれば、認識対象物の中から被把持体を判定するために撮像データのみを用いる場合には被把持体を１つに特定できないときでも、被把持体を１つに特定することが可能である。よって、認識対象物の中から被把持体を判定するために撮像データのみを用いる構成に比べて、被把持体を特定する精度が向上する。

第１変形例において、物体判定部３１３は、撮像画像上での把持手までの距離が最も短い２つ以上の認識対象物が存在する場合にのみ、測定装置４０を動作させることが望ましい。この場合、測定装置４０の測定結果が必要なときにのみ、測定装置４０を動作させることが可能である。よって、測定装置４０の不必要な動作を抑制することが可能である。

＜Ｂ２．第２変形例＞
例えば、ユーザが、手に持っているスマートフォンの画面と、投射面Ｐに置かれた本とを見比べる状況では、スマートフォンと本との両方の視認性を確保するために、スマートフォンと本とのいずれにも仮想オブジェクトＶ１を投射しないことが望ましい。第２変形例は、上述の状況において、スマートフォンと本のいずれにも仮想オブジェクトＶ１を投射させないことを可能にする構成である。

第２変形例では、物体判定部３１３は、さらに、複数の認識対象物のうち被把持体以外の物体である１以上の残余物体の中から、被把持体までの距離が最も短い最近物体を特定する。投射制御部３２０は、投射装置１０が最近物体へ仮想オブジェクトＶ１を投射することをさらに抑制する。

例えば、物体判定部３１３は、１以上の残余物体の中から、撮像画像上での被把持体までの距離が最も短い物体を、最近物体として特定する。撮像画像上での残余物体から被把持体までの距離は、例えば、撮像画像における残余物体の重心位置と、撮像画像における被把持体の重心位置と、の距離である。なお、撮像画像における、残余物体と被把持体との距離は、撮像画像における残余物体物の任意の一点と、撮像画像における被把持体の任意の一点と、の距離でもよい。

続いて、物体判定部３１３は、最近物体の存在する領域を特定する。物体判定部３１３が最近物体の存在する領域を特定する手法は、物体判定部３１３が被把持体の存在する領域を特定する手法と同様である。

投射制御部３２０は、仮想オブジェクトＶ１の投射領域Ｒ２が、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、被把持体が存在する領域、及び、最近物体の存在する領域の少なくとも１つと重なる場合、仮想オブジェクトＶ１の投射を禁止する。なお、投射制御部３２０は、最近物体の存在する領域を、物体判定部３１３から入手する。

残余物体のうち、被把持体までの距離が最も短い物体は、ユーザによって視認されている可能性がある。したがって、第２変形例によれば、ユーザによって視認されている可能性がある物体への仮想オブジェクトＶ１の投射を抑制できる。よって、ユーザによって視認されている可能性がある物体について、仮想オブジェクトＶ１の投射に起因する視認性の問題が生じることを抑制できる。

＜Ｂ３．第３変形例＞
第２変形例では、残余物体のうち、撮像画像上での被把持体までの距離が最も短い物体に対して、仮想オブジェクトＶ１が投射されることが抑制される。
しかしながら、残余物体のうち、被把持体までの距離が最も短い物体であっても、被把持体までの距離が所定距離以上である場合、被把持体と共にユーザによって視認されている可能性は低い。
そこで、第３変形例では、１以上の残余物体のうち、被把持体との距離が閾値以下である対象物体に対してのみ、仮想オブジェクトＶ１が投射されることが抑制される。

具体的には、物体判定部３１３は、１以上の残余物体の中から、被把持体との距離が閾値以下である物体である対象物体を特定する。投射制御部３２０は、対象物体への仮想オブジェクトＶ１の投射をさらに禁止する。

例えば、物体判定部３１３は、１以上の残余物体のうち、撮像画像上での被把持体までの距離が閾値以下である物体を、対象物体として特定する。続いて、物体判定部３１３は、対象物体の存在する領域を特定する。物体判定部３１３が対象物体の存在する領域を特定する手法は、物体判定部３１３が被把持体の存在する領域を特定する手法と同様である。

投射制御部３２０は、投射領域Ｒ２が、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、被把持体が存在する領域、及び、対象物体の存在する領域の少なくとも１つと重なる場合、仮想オブジェクトＶ１の投射を禁止する。なお、投射制御部３２０は、対象物体の存在する領域を、物体判定部３１３から入手する。

第３変形例によれば、被把持体と共にユーザによって視認されている可能性が高い物体に対する仮想オブジェクトＶ１の投射を抑制できる。よって、被把持体と共にユーザによって視認されている可能性が高い物体において仮想オブジェクトＶ１の投射に起因する視認性の問題が生じることを抑制できる。

なお、閾値は、調整可能であることが望ましい。この場合、ユーザは、投射システム１の使用態様に応じて、閾値を調整できる。一例を挙げると、ユーザは、デフォルトの閾値（以下「基準値」と称する）を、投射システム１の使用態様に応じて変更する。

物体判定部３１３は、認識部３１２の認識結果に基づいて、被把持体の種類を判定してもよい。この場合、物体判定部３１３は、被把持体の種類に応じて、閾値を設定してもよい。

例えば、被把持体がスマートフォンである場合、ユーザは、手で持っているスマートフォンのみを視認している可能性が高い。このため、残余物体の視認性が悪くても、ユーザにとって問題が生じる可能性が小さい。したがって、被把持体がスマートフォンである場合、物体判定部３１３は、閾値を基準値より小さくする。閾値が基準値よりも小さくなると、残余物体が対象物体として特定される可能性が低くなる。

一方、被把持体がペンである場合、ユーザは、ペンでカレンダーに文字等を書くために、手で持っているペンに加えて、ペンの近くのカレンダーを見ている可能性がある。このため、残余物体のうちペンと共に視認されている物体（例えばカレンダー）において視認性が悪くなると、ユーザにとって問題が生じる可能性が高い。したがって、被把持体がペンである場合、物体判定部３１３は、閾値を基準値より大きくする。閾値が基準値よりも大きくなると、残余物体が対象物体として特定される可能性が高くなる。

このように、物体判定部３１３が、被把持体の種類に応じて閾値を設定する場合、必要に応じて、仮想オブジェクトＶ１の投射を制御できる。

＜Ｂ４．第４変形例＞
第１実施形態では、投射領域Ｒ２が、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、及び、被把持体が存在する領域の少なくとも１つと重なる場合、投射制御部３２０は、投射装置１０への画像情報の提供を停止した。このため、ユーザの手及び腕等に仮想オブジェクトＶ１が投射されることによって、ユーザが違和感を覚えることを抑制可能である。

しかしながら、被把持体の視認性における問題を解決することを主に鑑みる場合には、投射領域Ｒ２が、被把持体が存在する領域の少なくとも一部と重なる場合にのみ、投射制御部３２０は、投射装置１０への画像情報の提供を停止してもよい。この場合、人体と非把持手の各々について撮像画像に写っているか否かを判定する処理を省略でき、人体が存在する領域、及び、非把持手が存在する領域の各々を推定する処理を省略することが可能である。

なお、人体と非把持手との一方のみについて撮像画像に写っているか否かを判定する処理が省略され、当該一方のみについて撮像画像に写っている領域を推定する処理が省略されてもよい。

＜Ｂ５．第５変形例＞
第１実施形態では、投射制御部３２０は、投射装置１０が被把持体へ仮想オブジェクトＶ１を投射することを抑制する態様として、投射装置１０が仮想オブジェクトＶ１を投射することを禁止する態様を実行する。

しかしながら、投射制御部３２０は、仮想オブジェクトＶ１の投射領域Ｒ２を、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、及び、被把持体が存在する領域のいずれとも重ならない領域に変更してもよい。

例えば、投射制御部３２０は、人体が存在する領域、非把持手が存在する領域、把持手が存在する領域、及び、被把持体が存在する領域のいずれとも重ならない領域に仮想オブジェクトＶ１の投射領域Ｒ２を位置させる画像情報を、投射装置１０に提供する。

一例を挙げると、図４に示すように仮想オブジェクトＶ１が投射されている状況において、図７に示すように仮想オブジェクトＶ１の投射領域Ｒ２に本Ｆ２を持つ手Ｆ１が現れると、仮想オブジェクトＶ１の投射領域Ｒ２が移動される。

＜Ｃ．その他＞
（１）第１実施形態及び第１変形例～第４変形例の各々においては、記憶装置３００は、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体を含んでもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

（２）第１実施形態及び第１変形例～第４変形例の各々において説明した情報などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。なお、本明細書において説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

（３）第１実施形態及び第１変形例～第４変形例の各々において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルによって管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（４）第１実施形態及び第１変形例～第４変形例の各々において、判定は、１ビットによって表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（５）第１実施形態及び第１変形例～第４変形例の各々において例示した処理手順、シーケンス、フローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序によって様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（６）図１、図２及び図６に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体にて構成された２個以上の装置によって実現されてもよい。

（７）第１実施形態及び第１変形例～第４変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

（８）第１実施形態及び第１変形例～第４変形例の各々において、「システム」及び「ネットワーク」という用語は、互換的に使用される。

（９）第１実施形態及び第１変形例～第４変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（１０）本明細書において使用する「第１」及び「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること又は何らかの形において第１要素が第２要素に先行しなければならないことを意味しない。

（１１）第１実施形態及び第１変形例～第４変形例の各々において「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲において使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

（１２）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。

（１３）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。

１…投射システム、１０…投射装置、２０…撮像装置、３０…投射制御装置、３００…記憶装置、３０２…処理装置、３１０…判定部、３１１…出力部、３１２…認識部、３１３…物体判定部、３２０…投射制御部、Ｍ１～Ｍ３，Ｔ１～ＴＮ…学習済みモデル、ＳＧ１，ＳＧ２…セグメンテーション部、４０…測定装置。

Claims (8)

1. 手によって持たれている物体である被把持体が、投射部によって投射される投射画像の投射先を撮像することによって生成される撮像データが表す撮像画像に写っているか否かを判定する判定部と、
   前記被把持体が前記撮像画像に写っていると前記判定部が判定する場合、前記投射先に含まれる前記被把持体への前記投射画像の投射を禁止する投射制御部と、
   を含み、
   前記判定部は、
   物体を持っている手である把持手が前記撮像画像に写っているか否かの判定結果を出力する出力部と、
   前記撮像データを用いて、前記手とは異なる物体である１以上の認識対象物を認識する認識部と、
   前記把持手が前記撮像画像に写っていることを前記判定結果が示す場合、前記1以上の認識対象物の中で前記把持手までの距離が最も短い物体を、前記被把持体として判定する物体判定部と、
   を含む投射制御装置。
2. 前記物体判定部は、前記把持手までの距離を示す測定結果と、前記1以上の認識対象物までの距離を示す測定結果と、前記撮像データとに基づいて、前記1以上の認識対象物の中で前記把持手までの距離が最も短い物体を、前記被把持体として判定する
   請求項１に記載の投射制御装置。
3. 前記１以上の認識対象物が、手とは異なる物体である複数の認識対象物である場合、前記物体判定部は、さらに、前記複数の認識対象物のうちの前記被把持体以外の物体である１以上の残余物体の中から、前記被把持体までの距離が最も短い最近物体を特定し、
   前記投射制御部は、さらに、前記投射先に含まれる前記最近物体への前記投射画像の投射を禁止する
   請求項１または２に記載の投射制御装置。
4. 前記１以上の認識対象物が、手とは異なる物体である複数の認識対象物である場合、前記物体判定部は、さらに、前記複数の認識対象物のうちの前記被把持体以外の物体である１以上の残余物体の中から、前記被把持体との距離が閾値以下である物体である対象物体を特定し、
   前記投射制御部は、さらに、前記投射先に含まれる前記対象物体への前記投射画像の投射を禁止する、
   請求項１または２に記載の投射制御装置。
5. 前記物体判定部は、
   前記被把持体の種類を判定し、
   前記被把持体の種類に応じて、前記閾値を設定する、
   請求項４に記載の投射制御装置。
6. 前記出力部は、
   画像データと、当該画像データによって示される画像に前記把持手が写っているか否かを示す判定データと、の相関関係を学習した学習済みモデルに、前記撮像データを入力し、前記学習済みモデルの出力データを、前記判定結果として使用する、
   請求項１から５のいずれか１項に記載の投射制御装置。
7. 前記投射画像は、拡張現実を実現する仮想オブジェクトを示す、
   請求項１から６のいずれか１項に記載の投射制御装置。
8. 投射先に投射画像を投射する投射部と、
   前記投射先を撮像することによって撮像データを生成する撮像部と、
   手によって持たれている物体である被把持体が、前記撮像データが示す撮像画像に写っているか否かを判定する判定部と、
   前記被把持体が前記撮像画像に写っていると前記判定部が判定する場合、前記投射先に含まれる前記被把持体への前記投射画像の投射を禁止する投射制御部と、
   を含み、
   前記判定部は、
   物体を持っている手である把持手が前記撮像画像に写っているか否かの判定結果を出力する出力部と、
   前記撮像データを用いて、前記手とは異なる物体である１以上の認識対象物を認識する認識部と、
   前記把持手が前記撮像画像に写っていることを前記判定結果が示す場合、前記1以上の認識対象物の中で前記把持手までの距離が最も短い物体を、前記被把持体として判定する物体判定部と、
   を含む投射システム。

Images