JP6812203B2 - 情報処理システム、情報処理方法、携帯投影端末 - Google Patents

Description

本発明は、監視カメラなどで撮像した領域において注目したい注目領域を設定する際のユーザインタフェース技術に関する。

オフィス空間に存在する物体を監視カメラで監視する場合、監視したい領域をモニタ画面で確認しながら設定する必要がある。しかし、モニタ画面で確認しながらの領域設定は、監視カメラの画角やズーム率等をその都度変更し、確認するという反復作業となる。そのため、ユーザにかかる負担が大きい。また、置き去り検知、持ち去り検知といった用途では、設定された３次元空間の領域中に、特に注目したい領域を新たに設定する必要がある。そのため、２次元の撮像画像を表示するモニタ画面を確認しながら領域設定するユーザの負担はさらに大きくなる。このような課題を解決するため、特許文献１、２に開示された監視装置では、監視する空間の３次元形状モデルを作成し、３次元形状モデルを基に座標変換した２次元モデルを監視カメラで撮像した画像に重畳表示している。このようにして、監視したい領域を設定する際のユーザの負荷を低減させている。

特開２０１１−９７２８４号公報 特開２０１２−１２４８３９号公報

特許文献１、２に開示された技術による領域設定は、モニタ画面を見ながら行う作業であり、物体が存在する実際の現実空間（実空間）において領域設定するという視点はない。実空間で直接に領域設定を行うことができれば、ユーザの負担はより軽減されることが期待される。本発明は、注目したい領域を任意に設定できるようにしてユーザの負担を軽減する情報処理システムを提供することを主たる課題とする。

本発明の一適用例となる情報処理システムは、実空間の所定領域をそれぞれ同時期に異なる位置で撮像することにより得られる複数の撮像画像を取得する取得手段と、前記複数の撮像画像に共通に映る共通領域を前記実空間に投影表示する投影手段と、前記共通領域の一部または全部を指定領域として指定する指定手段と、前記指定領域を前記所定領域において注目する注目領域に設定する設定手段と、を有することを特徴とする。

本発明によれば、実空間に投影表示された共通領域を通じて注目する注目領域を指定し、かつ、設定されるので、領域設定を直観的に行うことができる。

第１実施形態に係る情報処理システムの全体構成図。 （ａ）〜（ｃ）は携帯投影端末、監視カメラ、サーバのハードウェア構成図。 （ａ）〜（ｃ）は携帯投影端末、監視カメラ、サーバの機能構成図。 （ａ）〜（ｃ）は第１実施形態で行う領域設定操作の概要説明図。 第１実施形態における情報処理システムのシーケンス図。 （ａ）は３次元形状の復元処理、（ｂ）は位置合わせ処理のフローチャート。 （ａ）〜（ｃ）は第２実施形態で行う領域設定操作の概要説明図。 （ａ）〜（ｆ）は第３実施形態で行う領域設定操作の概要説明図。 第３実施形態における領域指定操作の手順を示すフローチャート。

［第１実施形態］
以下、本発明を、実空間の変動を検出する情報処理システムに適用した場合の実施の形態例を説明する。「実空間」とは物体が配置されている現実空間をいう。この実空間の変動の検出は、例えば物体の置き去り検知の機能である。「置き去り検知」とは、任意の物体が一定時間以上同じ場所に留まっていることを検知することをいう。例えば、実空間の所定領域に不審物が置かれたことを検知することなどがこれに該当する。

本実施形態の情報処理システムは、実空間の所定領域をそれぞれ同時期に異なる位置で撮像することにより得られる複数の撮像画像に共通に映る領域（共通領域）を用いて置き去り検知を行う。撮像画像は、２つの撮像手段を用いて撮像する。第１撮像手段は、所定領域を実空間の固定位置で撮像する据置型のカメラ端末である。便宜上、このカメラ端末を「監視カメラ」と称する。第２撮像手段は、実空間を移動しながら撮像可能な撮像センサを有する情報処理端末である。便宜上、この情報処理端末を「携帯投影端末」と称する。監視カメラと携帯投影端末は、中継装置を介して接続される。この中継装置を便宜上「サーバ」と称する。

＜全体構成＞
図１は、本実施形態の情報処理システムの全体構成例を示す図である。この情報処理システムは、携帯投影端末１００、監視カメラ１０１、サーバ１０２を備え、これらをネットワーク１０３で接続して構成される。ネットワーク１０３は、例えば高速無線回線を用いた無線通信回線である。
携帯投影端末１００は、照明機能、撮像機能、投影機能、領域指定機能、位置および姿勢の検知機能などを備えた情報処理端末である。この携帯投影端末１００は、照明モード、空間スキャンモードおよび領域指定モードを、ボタン操作などによって選択的に切替可能な端末であり、ユーザである巡回警備員が所持する。ユーザは、移動しながら実空間の床などを照らす。その際、投影する情報がないか、投影の必要がない場合、すなわち照明モードのときは、懐中電灯のように白色光だけを照射する。図１は、携帯投影端末１００が光を照らしている領域を示す。ユーザは、その領域付近の３次元画像を撮像した後（空間スキャンモード）、指定可能な領域を投影表示し、その領域内でユーザが特に注目したい領域を指定する（領域指定モード）。指定される領域を「指定領域」と呼ぶ。「注目領域」は、この指定領域の一部又は全部の領域となる。

監視カメラ１０１は実空間の所定領域を撮像する。所定領域は、監視カメラ１０１の設置位置及び画角で定まる領域をいう。所定領域を「監視領域」と呼ぶ場合がある。図１の例では、パーソナルコンピュータ（ＰＣ）１０６が置かれた机１０５周辺の領域が監視領域となる。サーバ１０２は、ネットワーク１０３を用いた通信により携帯投影端末１００と監視カメラ１０１とを中継するとともに、これらのリモート制御を行う。

＜ハードウエア構成＞
図２（ａ）は、携帯投影端末１００のハードウェア構成例を示す図である。携帯投影端末１００は、バス２０３に接続されたＣＰＵ２００、ＲＡＭ２０１、ＲＯＭ２０２を主要部品として含むコンピュータを有する。ＣＰＵ（Central Processing Unit、以下同じ）２００は、バス２０３を介して接続される各種デバイスを統括的に制御する。オペレーティングシステム（ＯＳ）をはじめ、後述するフローチャートで示す各処理手順を実現するためのコンピュータプログラム、デバイスドライバ等はＲＯＭ（Read Only Memory、以下同じ）２０２に記憶されている。これらのプログラム等は、ＲＡＭ（Random Access Memory、以下同じ）２０１に一時記憶され、ＣＰＵ２００によって適宜実行される。ＲＡＭ２０１は、高速にアクセス可能なＣＰＵ２００の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、ＯＳやコンピュータプログラム等は、ストレージ２１１に記憶されていてもよい。この場合は、電源投入時に必要な情報がＲＡＭ２０１に適宜読み込まれる。

携帯投影端末１００は、プロジェクタ２０５、ＲＧＢ−Ｄセンサ２０７、ＧＰＳ（Global Positioning System）センサ２０８、慣性計測装置（ＩＭＵ）２０９を有する。プロジェクタ２０５は、照明モードおよび空間スキャンモードのときは照明手段として機能し、領域指定モードのときは共通領域などの各種情報を投影表示する投影手段として機能する。ＧＰＳセンサ２０８は、位置センサであり、スマートフォンやタブレット端末に搭載されているＧＰＳセンサと同等のものである。但し、屋内のユースケースではＧＰＳの電波を受信できない可能性もある。その場合は、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ、音波、光を用いた公知の屋内位置測位技術で代用することが可能である。慣性計測装置（ＩＭＵ）２０９は、姿勢センサであり、携帯投影端末１００に加わる角速度と加速度とを検出する。ＲＧＢ−Ｄセンサ２０７は撮像センサであり、ＲＧＢ画像と距離画像とを同時に撮像する。本明細書では、ＲＧＢ−Ｄセンサ２０７を通して観測できる座標系を「カメラ座標系」、実空間の座標系を「世界座標系」として説明する。携帯投影端末１００は、さらにストレージ２１１を有する。ストレージ２１１には、携帯投影端末１００が出力する各種情報やＵＩ（User Interface）の部品となる画像、携帯投影端末１００の内部で起動するプログラムなどが格納されている。ストレージ２１１には、ディスクデバイス、フラッシュメモリ、ネットワークドライブやＵＳＢドライブなどの大容量記憶装置を使用することができる。また、複数の記憶装置を並列に接続して構成されていてもよいし、ネットワーク１０３に接続されたサーバ１０２に含まれるストレージ、あるいはクラウドであっても構わない。

携帯投影端末１００は、また、上記各種デバイスをバス２０３に接続するためのインタフェース（以下、Ｉ／Ｆと略す）を備える。ディスプレイＩ／Ｆ２０４は、携帯投影端末１００で生成された情報をプロジェクタ２０５で出力可能な情報に変換する。入力Ｉ／Ｆ２０６は、ＲＧＢ−Ｄセンサ２０７で撮像したＲＧＢ画像および距離画像を携帯投影端末１００（ＣＰＵ２００）が処理可能な形式に変換する。ストレージＩ／Ｆ２１０は、ストレージ２１１との間でデータの入出力を行う。ネットワークＩ／Ｆ２１２は、ネットワーク１０３上の監視カメラ１０１およびサーバ１０２との間でリモート通信を行う。

図２（ｂ）は、監視カメラ１０１のハードウェア構成例を示す図である。監視カメラ１０１は、バス２２３に接続されたＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２を主要部品として含むコンピュータを有している。これらの動作は、携帯投影端末１００のものと同様である。監視カメラ１０１のバス２２３には、入力Ｉ／Ｆ２２５を介してＲＧＢセンサ２２４が接続される。ＲＧＢセンサ２２４は、撮像手段として機能する。携帯投影端末１００と同様のＲＧＢ−Ｄセンサを用いることが可能である。但し、赤外線カメラ（ＩＲカメラ）を備え、赤外画像を撮像するように構成してもよい。入力Ｉ／Ｆ２２５は、ＲＧＢセンサ２２４で撮像したＲＧＢ画像を監視カメラ１０１（ＣＰＵ２２０）が処理可能な形式に変換する。ネットワークＩ／Ｆ２２６は、ネットワーク上の携帯投影端末１００およびサーバ１０２との間でリモート通信を行う。

図２（ｃ）は、サーバ１０２のハードウェア構成例を示す図である。サーバ１０２は、バス２３３に接続されたＣＰＵ２３０、ＲＡＭ２３１、ＲＯＭ２３２を主要部品として含むコンピュータを有している。これらの動作は携帯投影端末１００のものと同様である。ネットワークＩ／Ｆ２３６は、ネットワーク上の携帯投影端末１００および監視カメラ１０１との間でリモート通信を行う。ストレージＩ／Ｆ２３５は、ストレージ２３４へのデータの入出力を行う。ストレージ２３４は、情報処理システムの記録手段として機能する。本実施形態では、監視カメラ１０１の実空間における設置位置、方位・姿勢を表す姿勢情報、監視カメラ１０１の撮像画像（ＲＧＢ画像および距離画像）、サーバ１０２が内部で起動実行するプログラムなどが格納されている。ストレージ２３４にはまた、携帯投影端末１００から取得した実空間の物体もしくは床などの３次元形状を表す３次元情報、携帯投影端末１００に投影表示させるための各種情報が格納されていてもよい。ストレージ２３４に格納された各種情報は、ネットワーク１０３経由で携帯投影端末１００が随時取得することができる。

＜機能構成＞
図３（ａ）は、携帯投影端末１００の機能構成例を示す図である。携帯投影端末１００は、通信部３００、位置情報取得部３０１、姿勢取得部３０２、記憶部３０３、撮像部３０４の機能ブロックを備える。携帯投影端末１００は、また、特徴点抽出部３０５、特徴点マッチング部３０６、カメラパラメータ算出部３０７、３次元形状復元部３０８、投影制御部３０９、投影部３１０の機能ブロックを備える。これら各機能ブロックは、ＣＰＵ２００が、ＲＯＭ２０２に格納されたプログラムをＲＡＭ２０１に展開し、実行することで実現される。

通信部３００は、バス２０３、入力Ｉ／Ｆ２０６、ストレージＩ／Ｆ２１０を介して各種センサ出力の取得あるいはストレージ２１１との間でデータの入出力を行う。通信部３００は、また、ネットワークＩ／Ｆ２１２を介して、ネットワーク１０３上の監視カメラ１０１、サーバ１０２、もしくは他の携帯投影端末との間で各種情報の受け渡しを行う。つまり、通信部３００は、各種センサ、撮像画像その他の情報の取得手段および外部への情報の送出手段として機能する。位置情報取得部３０１は、ＧＰＳセンサ２０８を通じて、携帯投影端末１００が存在する実空間の位置情報を取得する。取得した位置情報は記憶部３０３に保存される。姿勢取得部３０２は、慣性計測装置（ＩＭＵ）２０９で検出される角速度と加速度を取得し、取得したデータから携帯投影端末１００の大まかな方位・姿勢を表す姿勢情報を算出する。算出した姿勢情報は記憶部３０３に保存される。

記憶部３０３は、ＲＡＭ２０１およびストレージ２１１への各種情報の保存（記録、格納）および読み出しを行う。前述した通り、ストレージ２１１には携帯投影端末１００がサーバ１０２などへ出力する各種情報やＵＩの部品となる画像、携帯投影端末１００が内部で起動するコンピュータプログラムなどが格納されている。携帯投影端末１００で過去に撮像もしくは投影した場所の情報や行動履歴、操作履歴などを撮像画像と関連付けて保存することも可能である。以後、各種情報を携帯投影端末１００へ「保存する」という場合、記憶部３０３を介したＲＡＭ２０１又はストレージ２１１への保存（記録、格納）をいうものとする。

撮像部３０４は、ＲＧＢ−Ｄセンサ２０７で撮像される撮像画像（ＲＧＢ画像および距離画像）を所定時間毎に取得する。そして、取得した撮像画像を随時保存する。ＲＧＢ画像とは、画像中の任意の１点（画素）の色を、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）の三原色で表わしたものである。ＲＧＢ画像は、画像中の画素ごとに赤・緑・青の画素値を持つ。距離画像は、画素値に距離情報を持つ画像であり、ＲＧＢ−Ｄセンサ２０７から撮像対象物までの距離情報を持つ。保存されたＲＧＢ画像および距離画像は、携帯投影端末１００の各機能ブロックにおいて順次処理される。
なお、本実施形態において、撮像部３０４が画像を撮像する周期は、ＲＧＢ−Ｄセンサ２０７が撮像する画像のフレームレートに一致するものとする。ただし、フレームレートよらない所定の時間を撮像の周期として設定することもできる。

特徴点抽出部３０５は、ＲＡＭ２０１に保持されているＲＧＢ画像を画像処理することによって特徴点を抽出し、抽出した特徴点を保存する。特徴点マッチング部３０６は、保存されているＲＧＢ画像、距離画像、特徴点を利用して、フレーム間での特徴点マッチングを行い、マッチングに成功した特徴点を保存する。詳細は後述する。カメラパラメータ算出部３０７は、ＲＡＭ２０１に保持されているマッチングに成功した特徴点の集合を利用して各フレームにおけるＲＧＢ−Ｄセンサ２０７の位置と姿勢の変化（カメラパラメータ）を算出し、保存する。３次元形状復元部３０８は、ＲＧＢ−Ｄセンサ２０７が撮像した撮像画像の各画素を、カメラパラメータを用いて実空間にマッピングすることにより、実空間の３次元形状を復元する。復元された３次元形状の情報（３次元情報）は随時保存される。投影制御部３０９は、保存されている３次元情報と携帯投影端末１００の姿勢情報を利用して、実空間に存在する物体（本実施形態の場合は机や床面）の形状に合わせた投影画像を生成する。そして、この投影画像を投影部３１０に出力する。投影部３１０は、投影制御部３０９による制御のもとで、光又は投影画像を実空間に投影表示させる。投影表示される画像は、あたかもそれがその場に存在するかのように実空間の物体の表面に重畳して投影される。領域指定部３１１は、投影部３１０が実空間上へ投影した領域すなわち投影領域の全領域もしくはユーザにより選択された一部の領域を注目領域として指定する。

次に、監視カメラ１０１の機能構成について説明する。図３（ｂ）は、監視カメラ１０１の機能構成例を示す図である。監視カメラ１０１は、通信部３２０、撮像部３２１、領域設定部３２２の機能ブロックを備える。これら各機能ブロックは、ＣＰＵ２２０が、ＲＯＭ２２２に格納されたプログラムをＲＡＭ２２１に展開して、実行することで実現される。

通信部３２０は、ネットワークＩ／Ｆ２２６を介して、ネットワーク１０３上の携帯投影端末１００およびサーバ１０２との間でリモート通信を行う。通信でやり取りされる具体的な情報については後述する。撮像部３２１は、ＲＧＢセンサ２２４で撮像されるＲＧＢ画像を所定時間毎に取得し、ＲＡＭ２２１に保存する。保存されているＲＧＢ画像は、通信部３２０、ネットワークを介してサーバ１０２へ送信される。領域設定部３２２は、ネットワーク上のサーバ１０２から送信されてくる指定領域の情報に基づいて、監視カメラ１０１の監視領域の一部の領域を注目領域として設定する。

次に、サーバ１０２の機能構成について説明する。図３（ｃ）は、サーバ１０２の機能構成例を示す図である。サーバ１０２は、通信部３３０、記憶部３３１、位置合わせ処理部３３２、座標変換部３３３の機能ブロックを備える。これら各機能ブロックは、ＣＰＵ２３０が、ＲＯＭ２３２に格納されたプログラムをＲＡＭ２３１に展開し、実行することで実現される。

通信部３３０は、ネットワークＩ／Ｆ２３６を介して、ネットワーク１０３上の携帯投影端末１００、監視カメラ１０１との間で通信を行う。本実施形態では、携帯投影端末１００からは、復元された実空間の３次元情報を取得する。監視カメラ１０１からは、撮像画像を撮影時情報と共に取得する。記憶部３３１は、ストレージ２３４への各種情報の記録および読み出し行う。つまり、各種情報の記録手段として機能する。位置合わせ処理部３３２は、携帯投影端末１００から取得した３次元情報と監視カメラ１０１から取得した撮像画像および撮影時情報を利用して、監視カメラ１０１から取得した撮像画像に映っている実空間の物体の３次元形状の位置合わせを行う。その詳細は後述する。座標変換部３３３は、位置合わせ処理部３３２によって位置合わせされた３次元形状の座標を監視カメラ１０１で撮像される座標系に変換して保存する。

なお、ＣＰＵ２００，２２０，２３０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能ブロックの処理に対応させた演算部や回路を構成すればよい。

＜運用形態例＞
次に、本実施形態における情報処理システムの運用形態例を説明する。図４（ａ）〜図４（ｃ）は、注目領域の設定手順を示す模式図である。図５は、連携して動作する携帯投影端末１００、監視カメラ１０１およびサーバ１０２が実行する処理の流れを示すシーケンス図である。図５を参照し、監視カメラ１０１は、所定のフレーム間隔で実空間の監視領域を撮像する（Ｓ１００）。そして、撮像したＲＧＢ画像を撮像位置、撮像姿勢（基準方位に対する相対方位および仰角）、撮像時刻などを含む撮像時情報と共にサーバ１０２に送信する（Ｓ１０１）。
サーバ１０２は、監視カメラ１０１から受信した撮像画像および撮像時情報を、監視カメラ１０１の設置位置、撮像方位、撮像時間、画角と共に記録する（Ｓ１０２）。サーバ１０２には監視カメラ１０１の実空間での位置座標（世界座標系での座標）、方位・姿勢を表す姿勢情報が設置時に記録されている。そのため、これらの情報から監視カメラ１０１の設置位置（撮像位置）および撮像姿勢を算出する。設置位置および撮像姿勢は、設置時にサーバ１０２に記録しておいてもよい。ただし、監視カメラ１０１がＧＰＳセンサや慣性計測装置（ＩＭＵ）を備えている場合は、必要に応じてサーバ１０２にこれらの情報を送信するようにしても構わない。この場合、監視カメラ１０１は、設置位置や撮像姿勢が変更されたタイミングで、これらの情報をサーバ１０２に送信する。

携帯投影端末１００は、起動時は照明モードで動作する。照明モードでは、実空間の物体や床などに照明光を照射する（Ｓ１０３）。携帯投影端末１００は、起動後、ＧＰＳセンサ２０８より取得した位置情報を定期的にサーバ１０２に送信する（Ｓ１０４）。
位置情報を受信したサーバ１０２は、携帯投影端末１００が存在する位置付近に監視カメラ１０１が存在するかどうかを判定する。存在する場合は、監視カメラ１０１の設置位置および撮像姿勢を携帯投影端末１００に向けて送信する（Ｓ１０５）。これらの情報を受信した携帯投影端末１００は、動作モードを照明モードから空間スキャンモードに切り替える。動作モードの切り替えは、サーバ１０２からの情報受信を契機に自動的に行ってもよいが、所定のメッセージに従ってユーザがボタン操作することで行うようにしてもよい。
動作モードが空間スキャンモードに切り替わると、携帯投影端末１００は、実空間の所定領域付近、すなわち監視領域付近をＲＧＢ−Ｄセンサ２０７で撮像する。ユーザは、携帯投影端末１００を動かしながら、監視領域にある机１０５とその周りの空間を様々な位置・方向・角度からスキャンする。つまり、携帯投影端末１００は、様々な位置・方向・角度の撮像画像（ＲＧＢ画像、距離画像）を撮像して実空間の任意の領域を撮像することができる。その後、撮像画像に基づいて実空間における３次元形状の復元処理を実行する（Ｓ１０６）。復元処理については後で詳細に説明する。

携帯投影端末１００は、撮像画像から３次元形状を一部でも復元すると、復元できた部分の３次元形状の情報を順次サーバ１０２に送信する（Ｓ１０７）。サーバ１０２は、監視カメラ１０１より受信した撮像画像と携帯投影端末１００より取得した３次元情報とを用いて３次元形状の位置合わせ処理を実行する（Ｓ１０８）。位置合わせの処理については後で詳細に説明する。ここでは、図４（ｂ）に示した監視カメラ画像４００に映っている実空間の物体と携帯投影端末１００からの３次元形状の位置合わせが完了したものとして、以降説明を続ける。

位置合わせ処理が完了すると、サーバ１０２は、位置合わせの処理完了した旨を表す位置合わせ完了イベントを生成し、これを携帯投影端末１００へ送信する（Ｓ１０９）。このとき、サーバ１０２は、位置合わせ完了イベントと共に、監視カメラ１０１から見えない死角領域の情報もあわせて携帯投影端末１００へ送信する。死角領域の位置等は、監視カメラ画像４００の映っている物体と携帯投影端末１００で復元した３次元形状の位置合わせを行った結果から特定が可能である。

位置合わせ完了イベントを受信した携帯投影端末１００は、動作モードを空間スキャンモードから領域指定モードに切り替え、注目領域の指定処理を実行する（Ｓ１１０）。この処理は、最も単純な例では、ユーザが指定したい領域を携帯投影端末１００で一定時間以上継続して照射ないし投影したことを検知したことをもって、その領域を指定領域に決定する。具体的には、携帯投影端末１００による投影領域をＲＧＢ−Ｄセンサ２０７の撮像画像から検出し、検出した投影領域の座標をカメラ座標系から世界座標系に変換することにより、指定領域の位置を特定する。そして、特定した指定領域の位置を保存する。携帯投影端末１００は、その後、投影制御部３０９、投影部３１０において、指定領域を実空間に重畳表示する（Ｓ１１１）。携帯投影端末１００は、また、指定領域の位置情報をサーバ１０２へ送信する（Ｓ１１２）。

指定領域の位置情報を受信したサーバ１０２は、Ｓ１０８で実行した位置合わせ処理の結果を利用し、指定領域の位置を監視カメラ１０１の座標系に変換する。そして、その結果を記録する（Ｓ１１３）。サーバ１０２は、また、監視カメラ座標系に変換された座標を監視カメラ１０１に送信する（Ｓ１１４）。監視カメラ１０１は、サーバ１０２から監視カメラ座標系に変換された座標を受信すると、領域設定部３２２が、指定領域の座標に基づいて、監視領域に注目領域を設定する（Ｓ１１５）。
このようにして設定された注目領域に基づいて、監視カメラ１０１で例えば背景差分処理などを行うことで、物体の変動の有無を検出する。これにより、任意の物体が一定時間以上同じ場所に留まっているか否かを識別することができる。すなわち、注目領域の近傍に不審物が置かれたこと（置き去り）を検知することができる。なお、背景差分処理は、サーバ１０２あるいは携帯投影端末１００が行ってもよい。

図４（ａ）は、上述したＳ１０３において携帯投影端末１００が復元処理の実行状況に応じた投影領域１０４ｂへの表示例を示す。図示の例では、携帯投影端末１００が３次元形状の復元処理が実行中であることを示すメッシュパターンが投影領域１０４ｂに投影されている。そのため、メッシュパターンの有無を通じて復元処理の実行状況をユーザに視覚的に認識させることができる。

なお、監視カメラ１０１においてＳ１１５の注目領域の設定機能を実現するためには、ユーザが、その実空間上で、監視カメラ１０１に映っている監視領域を確認することが必要となる。注目領域は、監視カメラ１０１の監視領域に設定する必要があるからである。そのため、携帯投影端末１００は、先にサーバ１０２から受信した監視カメラ１０１の座標、撮像方位、画角といった撮像時情報を利用して監視カメラ１０１の監視領域を推定し、推定した領域を実空間に重畳投影する機能を備えていてもよい。その結果、ユーザは実空間で重畳投影された監視領域、つまり携帯投影端末１００および監視領域１０１で撮像された２つ以上の撮像画像に基づいて識別された共通領域を目で確認しつつ、確実にその共通領域内で注目領域を指定することができる。

但し、監視カメラ１０１の監視領域を投影しなくとも、指定したい注目領域が監視領域から外れていることをユーザに通知する方法は幾つか考えられる。例えば、監視カメラ１０１の監視領域と携帯投影端末１００が照射する投影領域１０４ａ（または１０４ｂ）が実空間上で重なり合うか否かを判定する。そして、重なり合っていなければ音や振動で通知することも可能である。また、単に監視カメラ１０１の監視領域外で携帯投影端末１００が「空間スキャンモード」に変更された場合に音や振動で通知することもできる。その場合は、携帯投影端末１００に振動や音を出力するためのデバイスを設ければよい。

図４（ｂ）は、携帯投影端末１００が投影領域１０４ｂを投影しているときの監視カメラ１０１の撮像画像例を示す。この撮像画像４００には、机１０５、ＰＣ１０６のほか、注目領域を設定しようとしている携帯投影端末１００と投影領域１０４ｂが映っている。サーバ１０２は、Ｓ１０８において、携帯投影端末１００から受信した３次元情報とサーバ１０２のストレージ２３４に記録されている監視カメラ１０１の撮像画像および各種情報を取得する。そして、監視カメラ１０１の撮像画像と携帯投影端末１００で復元された３次元形状の位置合わせ処理を実行することになる。

図４（ｃ）は、Ｓ１１５において設定された注目領域の一例を示す。図４（ｃ）の例では、机１０５の側面に位置する床面上に、メッシュパターンと異なる表示態様で投影領域５００が形成されている。この投影領域５００の中には、監視カメラ１０１から見えない死角領域５０１が他の領域（共通領域）と異なる態様で投影される。この場合、携帯投影端末１００が照らしている投影領域５００は、複数の部分領域から構成されることになるが、注目領域として指定され、実際に設定されるのは、投影領域５００の中心位置が含まれる部分領域となる。このように、本実施形態では、指定領域ないし注目領域となり得る投影領域５００の中に死角領域５０１を実空間にリアルに重畳表示される。そのため、ユーザは、どの部分が監視カメラ１０１から見えない部分なのかを把握しつつ、その場で、携帯投影端末１００を用いて注目領域を直観的に指定することができる。指定領域は、投影領域５００が投影表示された状態で携帯投影端末１００に搭載されている所定ボタンを押下することで、死角領域５０１を除く部分が自動的に確定される。但し、所定ボタンの押下に限らず、例えば、注目領域の指定後、さらに一定時間経過したら指定領域を確定しても良いし、携帯投影端末１００自体を回転させるといったジェスチャ操作を検出することによって、指定領域を確定しても構わない。

本実施形態では、また、投影領域の表示態様を図１の投影領域１０４ａ（単なる照明）から図４（ａ）の投影領域１０４ｂ（復元処理実行中）に変更し、さらに図４（ｃ）の投影領域５００（領域指定完了）と切り替える投影制御を行う。そのため、携帯投影端末１００が現在どういった動作を行っているのかをユーザにフィードバックすることができ、使い勝手を向上させることができる。

＜３次元形状の復元処理＞
次に、携帯投影端末１００が実行する３次元形状の復元処理（Ｓ１０６）について詳しく説明する。図６（ａ）は、復元処理の手順説明図である。復元処理は、例えば携帯投影端末１００に搭載されている所定ボタンを押下し、携帯投影端末１００の動作モードが空間スキャンモードに変わることで開始される。空間スキャンモードになると、携帯投影端末１００の撮像部３０４は、既定のフレームレートでＲＧＢ画像と距離画像を撮像し、撮像した各画像を保存する（Ｓ３００）。特徴点抽出部３０５は、保存されているＲＧＢ画像から、濃淡の変化が大きい局所特徴量を特徴点として抽出し、これを保存する（Ｓ３０１）。また、特徴点マッチング部３０６は、保存されている特徴点をフレーム間でトラッキングし、距離画像から求められる距離情報と組み合わせて、カメラ座標系において特徴点がどのように移動したのかを求める（Ｓ３０２）。このような処理を「マッチング」と呼ぶ。マッチングに成功した特徴点を保存する（特徴点によってはマッチングできない場合もある）。その後、カメラパラメータ算出部３０７は、保存されているマッチングに成功した特徴点の集合から、ＲＧＢ−Ｄセンサ２０７のフレーム毎の位置と向きの変化（カメラパラメータ）を算出し、これらを保存する（Ｓ３０３）。

ＲＧＢ−Ｄセンサ２０７が撮像する距離画像は、カメラ座標系における３次元点群として扱うことができる。そのため、本実施形態では、３次元形状復元部３０８が、保存されているフレーム毎のカメラパラメータを用いて、これら３次元点群を世界座標系にマッピング（座標変換）する（Ｓ３０４）。このような処理をフレーム毎に行うことで、撮像した実空間の３次元形状を復元することができる。復元された３次元形状の情報は、随時保存される。

携帯投影端末１００は、３次元形状の復元状況を監視する（Ｓ３０５）。復元された３次元形状が一つでも有る場合（Ｓ３０５：Ｙ）、携帯投影端末１００は、復元された３次元形状の情報をサーバ１０２へ送信する（Ｓ３０６）。このとき、現在時刻も合せて一緒に送信する。復元された３次元形状が存在しない場合（Ｓ３０５：Ｎ）、あるいは復元された３次元形状をサーバ１０２へ送信した後、携帯投影端末１００は、携帯投影端末１００は、現在の状態が空間スキャンモードか否かを判断する（Ｓ３０７）。空間スキャンモードである場合（Ｓ３０７：Ｙ）、Ｓ３００に処理が戻る。空間スキャンモードでない場合（Ｓ３０７：Ｎ）、携帯投影端末１００は、復元処理を終了する。前述したように、本実施形態では、図５に示す位置合わせ処理（Ｓ１０８）がサーバ１０２で完了し、携帯投影端末１００が位置合わせ完了イベントを受信する（Ｓ１０９）と、状態が空間スキャンモードから領域指定モードに変化する。

次に、サーバ１０２が実行する監視カメラ１０１の撮像画像と３次元形状との位置合わせ処理（Ｓ１０８）について詳しく説明する。図６（ｂ）は、この処理の手順説明図であり、復元された物体の３次元形状と現在時刻を携帯投影端末１００から受信することで開始される。まず、サーバ１０２は、記憶部３３１に記録されている複数の撮像画像から現在時刻に基づいて位置合わせの対象となる撮像画像を検索する（Ｓ４００）。図４（ｂ）に示した撮像画像４００は、検索された撮像画像の一例である。

撮像画像が特定されると、座標変換部３３３は、記憶部３３１に記録されている当該撮像画像を撮像したときの監視カメラ１０１の位置情報および姿勢情報と、携帯投影端末１００から受信した３次元情報とに基づいて２次元画像を生成する（Ｓ４０１）。具体的には、監視カメラ１０１の位置、視点から観察されるであろう２次元座標を予測し、座標変換することにより２次元画像を生成する。２次元画像が生成されると、位置合わせ処理部３３２は、Ｓ４００で検索した撮像画像とＳ４０１で生成した２次元画像との位置合わせを行う。位置合わせの具体的な方法としては、それぞれの画像から局所特徴量を特徴点として抽出し、それらのマッチングによって位置合わせを行う。あるいは、各画像から輪郭形状を検出し、パターンマッチングして位置合わせを行っても構わない。位置合わせが完了すると、監視カメラ１０１の撮像画像に映っている物体の実空間における３次元的な位置関係を把握できたことになる。

サーバ１０２は、位置合わせができたか否かを判断する（Ｓ４０３）。位置合わせができなかった場合（Ｓ４０３：Ｎ）、位置合わせ処理Ｓ１０８を終了する。位置合わせが完了した場合（Ｓ４０３：Ｙ）、通信部３３０は、位置合わせ完了イベントとともに、監視カメラ１０１から見えない死角領域の情報もあわせて携帯投影端末１００へ送信する（Ｓ４０４）。その後、位置合わせ処理（Ｓ１０８）を終了する。

このように、本実施形態の情報処理システムでは、ユーザが、携帯投影端末１００を用いて実空間の任意の領域を「照らす」という操作を行うことによって、直観的に注目領域を設定できる。また、実空間に監視カメラ１０１の監視領域や指定領域、死角領域などを重畳して投影するので、ユーザは、どの部分が監視カメラ１０１から見えない部分なのかを把握しつつ、注目領域を指定することができる。

なお、本実施形態では、監視領域全体の３次元形状の情報が予め作成されていない前提で説明したが、監視領域が固定されている場合は、実空間の３次元形状を予め作成しておき、それを利用しても構わない。その場合は、図５における３次元形状の復元処理（Ｓ１０６）が省略可能となる。但し、監視を行う実空間に置かれる物体は、レイアウト変更や移動などで日々位置が変わることが容易に予想される。物体の位置が変わってしまうと、位置合わせ処理（Ｓ１０８）ができなくなるおそれがある。そのため、予め監視領域の３次元形状を準備する場合は、これら物体の位置変更が行われる度に、監視領域の３次元形状を更新する必要がある。本実施形態で示したように、携帯投影端末１００において３次元形状の復元処理（Ｓ１０６）を行えば、監視領域の３次元形状を予め作成しておく必要がなくなる。
また、仮に監視領域の３次元形状を予め作成しておいたとしても、実空間の物体の位置変化を携帯投影端末１００の３次元形状の復元処理で補完できれば、予め作成しておいた実空間の３次元形状を修正（メンテナンス）する処理を追加することが可能である。

また、本実施形態では、監視カメラ１０１とサーバ１０２を別々の構成要素として説明したが、これらが一体であってもよい。同様に、携帯投影端末１００のハードウェアリソースを増やすことができれば、携帯投影端末１００とサーバ１０２の機能を合せて一体とすることも可能である。また、本実施形態では図５の復元処理（Ｓ１０６）を携帯投影端末１００上で実行する例を示したが、ＲＧＢ−Ｄセンサ２０７で撮像した画像をサーバ１０２に送信し、サーバ１０２上で実行することも可能である。

また、図１で示すオフィス空間に新たに監視カメラが設置され、かつ監視カメラの監視領域中に既存の監視カメラ１０１で設定した注目領域が含まれる場合、新たに設置する監視カメラにも同じ注目領域を設定しても構わない。このような利用方法は、複数台の監視カメラを利用して新たに監視システムを構築する際に、監視カメラ毎に注目領域を設定しなくて済むため、初期設置時のユーザ負荷を低減することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。第１実施形態で説明した内容と共通するものについては同番号を付し、適宜説明を省略する。情報処理システムのハードウェア構成、および機能構成は第１実施形態に準じる。
第２実施形態では、持ち去り検知する物体の領域を指定する例について説明する。「持ち去り検知」とは、監視カメラ１０１が監視する領域に存在した物体が無くなって一定時間以上が経過したか否か、つまり当該物体が持ち去られたことを検知することである。第１実施形態との相違は、図５のＳ１１０において携帯投影端末１００の領域指定部３１１が行う処理である。第１実施形態では、置き去り検知を行うための注目領域を指定する必要があった。そのため、領域指定部３１１では平面的な部分領域を優先的に指定領域とする処理を行ったが、第２実施形態では、注目領域を、監視カメラ１０１に映っている実空間の物体が存在する領域とする例を説明する。

図７は、持ち去り検知する領域を指定する例を示す模式図である。図７（ａ）は、机１０５に置かれたＰＣ１０６を持ち去り検知の対象に指定するために、携帯投影端末１００を用いてＰＣ１０６近辺の空間をスキャンしている状態を示す。図７（ａ）において、ＰＣ１０６は、携帯投影端末１００が照らしている投影領域１０４ｃ内に存在する。図７（ｂ）は、監視カメラ１０１で撮像される撮像画像４００の例示図である。図７（ｂ）で示すように、撮像画像６００には、オフィス空間に存在する机１０５、ＰＣ１０６、携帯投影端末１００および投影領域１０４ｃが、携帯投影端末１００と異なる視点で映っている。

第２実施形態では、図５のＳ１１０の処理において、領域指定部３１１が、携帯投影端末１００の投影領域１０４ｃに含まれる部分領域を検出する。また、検出した部分領域の位置関係およびＲＧＢ−Ｄセンサ２０７で撮像したＲＧＢ画像の色情報を利用して、検出した部分領域を統合する。その結果、図７（ｃ）に示されるようにＰＣ１０６を構成する統合領域７００を持ち去り検知領域（注目領域）として指定する。このような処理を行うことにより、実空間上の任意の物体を「照らす」という操作を行うことによって、持ち去り検知対象となる物体が存在する領域を直感的に設定することができる。

［第３実施形態］
次に、第３実施形態に係る情報処理システムについて説明する。第３実施形態では、指定領域をユーザ操作の内容に応じて変形させる例を説明する。ユーザ操作は、例えばジェスチャ操作とする。情報処理システムのハードウェア構成および機能構成は第１実施形態に準じる。第１実施形態および第２実施形態との相違は、領域指定部３１１の機能と処理の内容である。第３実施形態における領域指定部３１１は、ユーザの手又は足の属性（形状、サイズ、色など）と投影領域に対するユーザ操作を検出する操作検出手段を備える。また、投影制御部３０９が、投影領域の形状を検出されたユーザ操作の内容に応じて変形させる投影制御手段として機能する。領域指定部３１１は、変形された形状の投影領域の一部又は全部を指定領域として指定する。

図８および図９を参照し、第３実施形態における注目領域の指定手順を説明する。図８（ａ）、（ｂ）は、ジェスチャ操作によって指定領域を変形する様子を示す。図９は、その場合の処理手順説明図である。図８（ａ）は、携帯投影端末１００により形成された投影領域８００ａが初期領域として形成されている。図９の領域指定処理は、この状態から開始される。領域指定処理が開始されると、領域指定部３１１は、保存されているＲＧＢ画像から肌色領域を検出し、検出結果を保存する（Ｓ９００）。次に、領域指定部３１１は、ＲＧＢ画像中に肌色領域が存在するか否かを判断する（Ｓ９０１）。肌色領域が存在しない場合（Ｓ９０１：Ｎ）、Ｓ９００に処理を戻す。肌色領域が存在する場合（Ｓ９０１：Ｙ）、領域指定部３１１は、肌色領域から手形状を検出する（Ｓ９０２）。そして、検出した手形状の領域をラベリングして保存する。

第３実施形態において検出する手形状は、例えば、図８（ｃ）で示す手刀形状と、図８（ｄ）で示すパー形状（手を開いた状態の形状）とする。第３実施形態では、手形状を検出するために、図８（ｃ）、（ｄ）に示される手形状８０１、８０２を囲んだ凸領域９０１、９０２を利用する。例えば、図８（ｃ）、（ｄ）をそれぞれ識別するために、凸領域９０１、９０２全体に占める肌色領域の割合を算出し、それぞれ閾値を設けることで各形状を識別する。但し、手形状の検出方法は、図８（ｃ）、（ｄ）の例に限定されない。例えば、検出したい手形状の画像を予めテンプレートとして用意し、撮像したＲＧＢ画像とマッチングして手形状を検出してもよい。もしくは、肌色領域の形状から既定の特徴量を抽出し、機械学習することによって手形状を検出することも可能である。

Ｓ９０２において手形状が検出されると、領域指定部３１１は、検出した形状が投影領域８００ａを変形させるための所定操作を表す手形状かどうか、例えば図８（ｃ）に示す手刀形状か否かを判断する（Ｓ９０３）。手刀形状でない場合（Ｓ９０３：Ｎ）、領域指定部３１１は、処理をＳ９０７へ移す。手形状が手刀形状である場合（Ｓ９０３：Ｙ）、領域指定部３１１は、保存されている手刀形状のラベリング情報を利用して、手刀形状領域の主軸を算出する。つまり、領域の２次モーメントを算出する（Ｓ９０４）。図８（ａ）の直線８０３は、手刀形状の主軸の一例である。領域指定部３１１は、求めた手刀形状の主軸を保存する。続いて、領域指定部３１１は、手刀形状の前フレームからの移動量を算出する（Ｓ９０５）。ここで算出する移動量は、Ｓ９０４で求めた手刀形状の主軸が、携帯投影端末１００が投影する領域８００ａの境界と交わる点（図８の点９０３）からの移動量である。つまり、図８（ａ）の点９０３から矢印８０４方向の移行量を求め、求めた移動量を保存する。図８（ａ）の例では、主軸８０３を矢印８０４の方向へ、一点鎖線８０５で示す位置まで手刀形状が移動する場合を示している。

所定操作の検出を契機に、投影制御部３０９は、プロジェクタ２０５によって実空間に重畳表示されている投影領域の形状を変形させる。すなわち、図８（ａ）の投影領域８００ａを図８（ｂ）の投影領域８００ｂに変形させる（Ｓ９０６）。つまり、手刀形状の動きに応じて指定領域を微調整されたことをユーザ（ユーザ）にフィードバックする。
領域指定部３１１は、Ｓ９０２で検出した手形状の形状変化を監視しており、パー形状であるか否かを判断する（Ｓ９０７）。手形状がパー形状でない場合（Ｓ９０７：Ｎ）、処理をＳ９００に移す。手形状がパー形状である場合（Ｓ９０７：Ｙ）、領域指定部３１１は、形状変化の操作があったと認識して指定領域を確定させる（Ｓ９０８）。

なお、形状変化だけでなく、図８（ｂ）に矢印で示されるように、形状変化後に領域境界線をまたぐ操作があったことをもって指定領域を確定させるようにしてもよい。
このように、第３実施形態では、手刀形状で指定領域を任意の形状に変形させる。また、手形状が他の所定形状、例えば手刀形状からパー形状に形状変化することによって指定領域を確定させる。

このように、第３実施形態によれば、指定領域をジェスチャ操作で直観的に微調整することが可能となる。なお、第３実施形態では、手を用いて投影領域の変形および確定を行う例を示したが、この限りでない。例えば図８の（ｅ）、（ｆ）で示すように、携帯投影端末１００を利用しているユーザの足（靴）の動きジェスチャ操作を検出することによって投影領域の変形および確定を行うようにしてもよい。このときの投影領域の変形の手順は、図９で示した手を利用した場合と同様である。違いはＲＧＢ画像から検出する領域が足８０７の領域であることである。また手を利用した場合と比較すると、指定領域を確定する方法が異なる。足８０７の動きジェスチャを利用する場合は、図８（ｆ）の矢印８１１の方向に足８０７を前後する操作を検出すると、指定領域を確定したと判断する。その結果、図８（ｅ）の投影領域８０６ａは図８（ｆ）の投影領域８０６ｂに変形される。

本発明は、以下の処理を実行することによっても実施が可能である。すなわち、上述した各実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する。

Claims (14)

1. 実空間の所定領域をそれぞれ同時期に異なる位置で撮像することにより得られる複数の撮像画像を取得する取得手段と、
   前記複数の撮像画像に共通に映る共通領域を前記実空間に投影表示する投影手段と、
   前記共通領域の一部または全部を指定領域として指定する指定手段と、
   前記指定領域を前記所定領域において注目する注目領域に設定する設定手段と、を有することを特徴とする、情報処理システム。
2. 前記所定領域を前記実空間の固定位置で撮像する第１撮像手段と、
   前記実空間を移動しながら撮像可能な第２撮像手段と、
   前記第１撮像手段および前記第２撮像手段により撮像された撮像画像を各々の撮像位置および撮像姿勢を含む撮影時情報と共に記録し、さらに前記所定領域付近の３次元形状を記録する記録手段とを備えており、
   前記共通領域は、記録されている前記撮影時情報に基づいて前記３次元形状と前記撮像画像との位置合わせを行うことにより特定される領域であることを特徴とする、
   請求項１に記載の情報処理システム。
3. 前記第２撮像手段は、前記実空間の任意の位置で光を照らすことにより形成される投影領域の画像を撮像することを特徴とする、
   請求項２に記載の情報処理システム。
4. 前記投影手段は、前記第１撮像手段には映らない死角領域の情報を取得し、該死角領域の情報を前記共通領域の情報と共に投影表示することを特徴とする、
   請求項２に記載の情報処理システム。
5. 前記指定手段は、前記投影表示により前記実空間に形成される投影領域の一部又は全部を前記指定領域として指定することを特徴とする、
   請求項３又は４に記載の情報処理システム。
6. 前記指定手段は、前記投影領域に複数の部分領域が存在する場合は、当該投影領域の中心位置を含む部分領域を前記指定領域として指定することを特徴とする、
   請求項５に記載の情報処理システム。
7. 前記指定手段は、前記投影領域に複数の部分領域が存在する場合は、各部分領域の色情報および位置関係を検出し、検出結果に基づいて各部分領域を統合した上で、当該統合された領域を前記指定領域として指定することを特徴とする、
   請求項５に記載の情報処理システム。
8. 前記指定手段は、前記投影領域に対するユーザ操作を検出する操作検出手段と、前記投影領域の形状を前記操作検出手段で検出されたユーザ操作の内容に応じて変形させる投影制御手段とを備えており、変形された形状の投影領域の一部又は全部を前記指定領域として指定することを特徴とする、
   請求項５に記載の情報処理システム。
9. 前記操作検出手段は、前記投影領域に存在するユーザの手又は足の形状を検出するとともに、検出した形状が表す所定操作を検出し、
   前記投影制御手段は、前記所定操作の検出を契機に前記投影領域の形状を変形させ、あるいは確定させることを特徴とする、
   請求項８に記載の情報処理システム。
10. 前記所定操作は、前記投影領域に存在するユーザの手又は足の形状が当該投影領域の境界をまたぐ操作であることを特徴とする、
    請求項９に記載の情報処理システム。
11. 前記所定操作は、ユーザの手又は足の形状が第１形状から第２形状への形状変化を伴う操作であることを特徴とする、
    請求項９に記載の情報処理システム。
12. 前記設定手段は、前記位置合わせの実行状況を出力する出力手段を備えており、
    前記投影手段は、出力された前記実行状況に応じて前記投影領域における投影表示の態様を変更させる投影制御手段を備えることを特徴とする、
    請求項３、５乃至１１のいずれか一項に記載の情報処理システム。
13. 実空間の所定領域をそれぞれ同時期に異なる位置で撮像することにより得られる複数の撮像画像を取得する取得工程と、
    前記複数の撮像画像に共通に映る共通領域を前記実空間に投影表示させる投影工程と、
    前記共通領域の一部または全部を指定領域として指定する指定工程と、
    前記指定領域を前記所定領域において注目する注目領域に設定する設定工程と、を有することを特徴とする、情報処理方法。
14. 実空間の所定領域を撮像する撮像装置との間で直接又は中継装置を介して通信する通信手段と、
    前記所定領域を前記撮像装置と異なる位置で撮像可能な撮像センサと、
    前記撮像装置で撮像された撮像画像および前記撮像センサで撮像された撮像画像、並びに、当該撮像装置の撮像位置および撮像姿勢を含む撮像時情報に基づいて生成された共通領域の情報を前記所定領域に向けて投影表示する投影手段と、
    前記投影表示により形成される投影領域の一部又は全部を指定領域として指定する領域指定手段とを備え、
    前記指定領域を前記撮像装置において注目する注目領域に設定させることを特徴とする、
    携帯投影端末。