JP6065499B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。

近年、様々な用途に撮像装置が用いられている。例えば監視カメラのように、撮像装置は、設置されて、ある場所を継続的に撮像するために用いられる。

ある場所を継続的に撮像するために、距離画像を生成する撮像装置（例えば、距離画像センサ）が用いられることもある。そして、このような撮像装置により生成される距離画像を用いて、所望の対象を検出する技術が提案されている。

例えば、特許文献１には、壁、天井等に設置された撮像装置により生成された距離画像と予め用意された背景画像との差分を演算し、当該差分の画像と予め登録されたテンプレート画像とのマッチングを行うことにより、人を検出する技術が、開示されている。また、特許文献２には、ロボットに設置された撮像装置により生成された距離画像から、床面、階段等の平面を検出する技術が、開示されている。

特開２００９−１０９５０８号公報 特開２００５−９２８２０号公報

しかし、特許文献１及び２の技術では、距離画像を生成する撮像装置の設置状態（例えば、高さ、方向、等）が既知であることが前提であるので、撮像装置の設置状態が事前に測られる必要がある。そのため、撮像装置を設置する度に、設置状態を測る作業が発生してしまう。また、地震による振動、物体の衝突等により、撮像装置の設置状態が変わってしまった場合に、設置状態が再び測られる必要がある

そこで、距離画像を生成する撮像装置の設置状態を自動で把握することを可能にする仕組みが提供されることが望ましい。

本発明によれば、撮像装置により生成される距離画像を取得する取得部と、上記距離画像から、１つ以上の平面を検出する平面検出部と、上記距離画像であって、床面上にあるべき物体が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出する物体検出部と、上記位置情報に基づいて、上記１つ以上の平面のうちの、床面に対応する平面を決定する決定部と、床面に対応する上記平面に基づいて、上記撮像装置の設置状態を示す設置情報を生成する生成部と、を備え、前記取得部は、前記撮像装置により生成される複数の距離画像であって、前記物体が撮像された当該複数の距離画像を取得し、前記物体検出部は、前記複数の距離画像から、当該物体の３次元座標の中心位置をそれぞれ示す複数の位置情報を検出し、前記決定部は、前記複数の位置情報に基づいて、前記１つ以上の平面のうちのいずれの平面上に前記物体があるかを判定することにより、床面に対応する前記平面を決定する、情報処理装置が提供される。

また、上記決定部は、上記位置情報に基づいて、上記１つ以上の平面のうちの個々の平面上に上記物体がある場合の当該物体の形状を示す第２の形状情報を取得し、当該第２の形状情報が示す上記形状と上記第１の形状情報が示す上記形状とを比較することにより、上記１つ以上の平面のうちのいずれの平面上に上記物体があるかを判定してもよい。

また、上記決定部は、上記複数の位置情報が示す上記物体の複数の位置に対応する平面を推定し、推定された当該平面に基づいて、上記１つ以上の平面のうちのいずれの平面上に上記物体があるかを判定してもよい。

また、上記決定部は、上記１つ以上の平面のうちの、推定された上記平面と略平行な平面に、上記物体があると判定してもよい。

また、上記複数の距離画像は、距離動画像に含まれる複数のフレームであってもよい。

また、上記物体は、上記撮像装置の撮像対象として定められた物体であってもよい。

また、上記物体は、人を含んでもよい。

また、本発明によれば、コンピュータを、撮像装置により生成される距離画像を取得する取得部と、上記距離画像から、１つ以上の平面を検出する平面検出部と、上記距離画像であって、床面上にあるべき物体が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出する物体検出部と、上記位置情報に基づいて、上記１つ以上の平面のうちの、床面に対応する平面を決定する決定部と、床面に対応する上記平面に基づいて、上記撮像装置の設定状態を示す設置情報を生成する生成部と、を備え、前記取得部は、前記撮像装置により生成される複数の距離画像であって、前記物体が撮像された当該複数の距離画像を取得し、前記物体検出部は、前記複数の距離画像から、当該物体の３次元座標の中心位置をそれぞれ示す複数の位置情報を検出し、前記決定部は、前記複数の位置情報に基づいて、前記１つ以上の平面のうちのいずれの平面上に前記物体があるかを判定することにより、床面に対応する前記平面を決定する、情報処理装置として機能させるためのプログラムが提供される。

また、本発明によれば、撮像装置により生成される距離画像を取得するステップと、上記距離画像から、１つ以上の平面を検出するステップと、上記距離画像であって、床面上にあるべき物体が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出するステップと、上記位置情報に基づいて、上記１つ以上の平面のうちの、床面に対応する平面を決定するステップと、床面に対応する上記平面に基づいて、上記撮像装置の設置状態を示す設置情報を生成するステップと、を含み、前記取得するステップは、前記撮像装置により生成される複数の距離画像であって、前記物体が撮像された当該複数の距離画像を取得するステップ、をさらに含み、前記検出するステップは、前記複数の距離画像から、当該物体の３次元座標の中心位置をそれぞれ示す複数の位置情報を検出するステップ、をさらに含み、前記決定するステップは、前記複数の位置情報に基づいて、前記１つ以上の平面のうちのいずれの平面上に前記物体があるかを判定することにより、床面に対応する前記平面を決定するステップ、をさらに含む、情報処理方法が提供される。

以上説明したように本発明によれば、距離画像を生成する撮像装置の設置状態を自動で把握することが可能となる。

本発明の第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 取得される距離画像の一例を説明するための説明図である。 図２に示される距離画像が生成される場合の撮像装置の設置状態の例を説明するための説明図である。 取得される距離画像であって、人が撮像された当該距離画像の一例を説明するための説明図である。 対象物体と撮像装置との位置関係（方向）の例を説明するための説明図である。 対象物体と撮像装置との位置関係（方向）に応じた対象物体の形状の例を説明するための説明図である。 対象物体と撮像装置との位置関係（距離）の例を説明するための説明図である。 対象物体と撮像装置との位置関係（距離）に応じた対象物体の形状の例を説明するための説明図である。 図４に示される距離画像が取得された場合の比較形状情報の例を説明するための説明図である。 床面に対する撮像装置の設置状態を示す設置情報の生成手法の一例を説明するための説明図である。 第１の実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。 第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 取得される距離画像の一例を説明するための説明図である。 取得される複数の距離画像の一例を説明するための説明図である。 複数の距離画像から検出される複数の位置情報の一例を説明するための説明図である。 複数の位置情報が示す対象物体の複数の位置に対応する平面の一例を説明するための説明図である。 第２の実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである

以下に添付の図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以降、＜＜１．第１の実施形態＞＞、＜＜２．第２の実施形態＞＞という順序で本発明の実施形態を説明する。

＜＜１．第１の実施形態＞＞
まず、本発明の第１の実施形態を説明する。本発明の第１の実施形態によれば、床面上にあるべき物体が撮像された距離画像から、当該物体の位置及び形状が検出される。そして、当該物体の位置及び形状に基づいて、床面に対応する平面が決定される。その後、床面に対応する当該平面に基づいて、撮像装置の設置状態を示す情報が生成される。

以降、第１の実施形態を＜１．１．情報処理装置の構成＞、＜１．２．処理の流れ＞という順序で説明する。

＜１．１．情報処理装置の構成＞
図１〜図８を参照して、第１の実施形態に係る情報処理装置１００−１の構成の一例を説明する。なお、当該情報処理装置１００−１は、例えば、距離画像を生成する撮像装置と通信する装置（例えば、サーバ）である。

図１は、第１の実施形態に係る情報処理装置１００−１の構成の一例を示すブロック図である。図１を参照すると、情報処理装置１００−１は、距離画像取得部１１０、平面検出部１２０、物体検出部１３０、床面決定部１４０及び設置情報生成部１５０を備える。

（距離画像取得部１１０）
距離画像取得部１１０は、撮像装置により生成される距離画像を取得する。当該撮像装置は、例えば、ＴＯＦ（Time of Flight）方式の距離画像センサである。また、上記距離画像の各画素は、例えば、撮像装置から撮像対象までの距離、又は撮像装置の位置が原点である場合の撮像対象の３次元座標を示す。

例えば、撮像装置は、距離画像を生成すると、当該距離画像を情報処理装置１００−１に送信する。そして、情報処理装置１００−１の通信部（図示せず）は、当該距離画像を受信する。その後、情報処理装置１００−１の距離画像取得部１１０は、受信された距離画像を取得する。以下、図２を参照して、取得される距離画像の具体例を説明する。

図２は、取得される距離画像の一例を説明するための説明図である。図２を参照すると、距離画像２０ａが示されている。距離画像２０ａは、第１の平面が撮像された部分２１ａ、及び第２の平面が撮像された部分２１ｂを含む。例えばこのように、距離画像は、平面が撮像された部分２１を含み得る。このような部分２１を含む距離画像が生成される場合の撮像装置の設置状態として、いくつかの設置状態が考えられる。以下、図３を参照して、図２に示される距離画像が生成される場合の撮像装置の設置状態の具体例を説明する。

図３は、図２に示される距離画像が生成される場合の撮像装置の設置状態の例を説明するための説明図である。図３を参照すると、例えば、第１のケースでは、距離画像の部分２１ａに対応する第１の平面３１ａが、床面であり、距離画像の部分２１ｂに対応する第２の平面３１ｂが、壁面である。このような第１のケースでは、撮像装置４０は、壁面である第２の平面３１ｂに対して角度αだけ傾いた状態で設置されていることになる。一方、例えば、第２のケースでは、距離画像の部分２１ａに対応する第１の平面３１ａが、壁面であり、距離画像の部分２１ｂに対応する第２の平面３１ｂが、床面である。このような第２のケースでは、撮像装置４０は、床面である第２の平面３１ｂに対して角度αだけ傾いた状態で設置されていることになる。

また、距離画像取得部１１０は、撮像装置により生成される距離画像であって、床面上にあるべき物体（以下、「対象物体」と呼ぶ）が撮像された当該距離画像を取得する。例えば、当該対象物体は、撮像装置の撮像対象として定められた物体である。さらに具体的には、例えば、当該対象物体は、人である。以下、図４を参照して、取得される距離画像の具体例を説明する。

図４は、取得される距離画像であって、対象物体が撮像された当該距離画像の一例を説明するための説明図である。図４を参照すると、距離画像２０ｂが示されている。図２に示された距離画像２０ａと同様に、距離画像２０ｂは、第１の平面が撮像された部分２１ａ、及び第２の平面が撮像された部分２１ｂを含む。また、距離画像２０ｂは、対象物体が撮像された部分２３も含む。例えばこのように、距離画像は、平面が撮像された部分２１、及び対象物体が撮像された部分２３を含み得る。

なお、例えば、距離画像取得部１１０は、取得された距離画像を平面検出部１２０へ出力する。また、距離画像取得部１１０は、取得された距離画像であって、対象物体が撮像された当該距離画像を、物体検出部１３０へ出力する。

（平面検出部１２０）
平面検出部１２０は、距離画像から１つ以上の平面を検出する。例えば、平面検出部１２０は、図２に示される距離画像２０ａから、部分２１ａに対応する第１の平面、及び部分２１ｂに対応する第２の平面を検出する。

具体的な手法として、平面検出部１２０は、距離画像の各画素に対応する３次元座標を用いてＨｏｕｇｈ変換を行うことにより、平面を検出する。即ち、平面検出部１２０は、投票空間のピークに対応する平面パラメータを検出する。以下のように平面が表される場合には、以下のパラメータａ、ｂ、ｃが、上記平面パラメータに該当する。

なお、別の手法として、平面検出部１２０は、距離画像を複数の小領域に分割し、各小領域について最小二乗法で平面パラメータを算出し、距離画像の各画素に対応する３次元座標を用いて、算出された上記平面パラメータの投票を行なってもよい。そして、平面検出部１２０は、投票空間のピークに対応する平面パラメータを検出してもよい。

（物体検出部１３０）
物体検出部１３０は、距離画像であって、床面上にあるべき物体（即ち、対象物体）が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出する。とりわけ第１の実施形態では、物体検出部１３０は、距離画像であって、対象物体が撮像された当該距離画像から、当該対象物体の位置を示す位置情報と、当該対象物体の形状を示す第１の形状情報（以下、「対象形状情報」と呼ぶ）とを検出する。上記位置は、例えば３次元座標である。

具体的には、例えば、物体検出部１３０は、対象物体（例えば、人）が撮像された上記距離画像（例えば、図４に示される距離画像２０ｂ）と、予め用意された背景画像（例えば、図２に示される距離画像２０ａ）との差分を演算する。そして、物体検出部１３０は、対象物体が撮像された上記距離画像のうちの上記差分に対応する部分（例えば、図４に示される部分２３）を、対象形状情報として検出する。

また、例えば、物体検出部１３０は、対象物体が撮像された上記距離画像のうちの対象物体の部分（例えば、図４に示される部分２３）の画素に対応する３次元座標から、対象物体の位置（例えば、複数の３次元座標の中心）を算出することにより、対象物体の位置を示す位置情報を検出する。

（床面決定部１４０）
床面決定部１４０は、検出される上記位置情報に基づいて、検出される上記１つ以上の平面のうちの、床面に対応する平面を決定する。より具体的には、床面決定部１４０は、上記位置情報に基づいて、上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定することにより、床面に対応する平面を決定する。

とりわけ第１の実施形態では、床面決定部１４０は、上記位置情報及び上記対象形状情報に基づいて、上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定する。

床面決定部１４０は、比較形状取得部１４１、形状比較部１４３及び判定部１４５を備える。

（比較形状取得部１４１）
比較形状取得部１４１は、上記位置情報に基づいて、上記１つ以上の平面のうちの個々の平面上に対象物体がある場合の対象物体の形状を示す第２の形状情報（以下、「比較形状情報」と呼ぶ）を取得する。

より具体的には、例えば、比較形状取得部１４１は、上記１つ以上の平面のうちの個々の平面について、対象物体が当該個々の平面上にあり且つ上記位置情報が示す位置にある場合に撮像装置と対象物体とがどのような位置関係にあるかを、特定する。例えば、比較形状取得部１４１は、上記位置関係として、撮像装置から対象物体への方向、及び撮像装置と対象物体との間の距離を特定する。そして、比較形状取得部１４１は、撮像装置と対象物体との位置関係に基づいて、対象物体が撮像装置により撮像された場合の形状を示す情報を、上記比較形状情報として取得する。例えば、当該比較形状情報は、対象物体（例えば、人）の形状を含む画像である。

具体的な手法として、例えば、上記比較形状情報は、予め作成された対象物体（例えば、人）の３Ｄモデルの投影変換により生成される。即ち、撮像装置と対象物体との位置関係に基づいて、仮想的な３次元空間に、対象物体の３Ｄモデル及びカメラが配置される。そして、投影変換により、対象物体が撮像装置により撮像された場合の対象物体の形状を含む画像が、生成される。

上記位置関係に応じて、比較形状情報が示す対象物体の形状が変わる。以下、この点について図５Ａ〜図６Ｂを参照してより具体的に説明する。

図５Ａは、対象物体と撮像装置との位置関係（方向）の例を説明するための説明図である。図５Ａを参照すると、平面３１上にある対象物体３３と撮像装置４０との３つの位置関係が示されている。即ち、対象物体３３の真上に撮像装置４０があるという第１の位置関係、対象物体３３の斜めに撮像装置４０があるという第２の位置関係、及び対象物体３３の真横に撮像装置４０があるという第３の位置関係が、示されている。

図５Ｂは、対象物体と撮像装置との位置関係（方向）に応じた対象物体の形状の例を説明するための説明図である。図５Ｂを参照すると、図５Ａに示された各位置関係に応じた対象物体３３の形状４３が示されている。即ち、対象物体３３の真上に撮像装置４０があるという第１の位置関係の場合には、撮像装置４０により撮像された場合の対象物体３３の形状は、形状４３ａのようになる。また、対象物体３３の斜めに撮像装置４０があるという第２の位置関係の場合には、撮像装置４０により撮像された場合の対象物体３３の形状は、形状４３ｂのようになる。また、対象物体３３の真横に撮像装置４０があるという第３の位置関係の場合には、撮像装置４０により撮像された場合の対象物体３３の形状は、形状４３ｃのようになる。

このように、対象物体３３と撮像装置４０との位置関係によって、より具体的には撮像装置４０から対象物体３３への方向によって、比較形状情報が示す対象物体の形状が変わる。

図６Ａは、対象物体と撮像装置との位置関係（距離）の例を説明するための説明図である。図６Ａを参照すると、平面３１上にある対象物体３３と撮像装置４０との２つの位置関係が示されている。即ち、対象物体３３と撮像装置４０との距離がより近いという第４の位置関係、及び対象物体３３と撮像装置４０との距離がより遠いという第５の位置関係が、示されている。

図６Ｂは、対象物体と撮像装置との位置関係（距離）に応じた対象物体の形状の例を説明するための説明図である。図６Ｂを参照すると、図６Ａに示された各位置関係に応じた対象物体３３の形状４３が示されている。即ち、対象物体３３と撮像装置４０との距離がより近いという第４の位置関係の場合には、撮像装置４０により撮像された場合の対象物体３３の形状は、形状４３ｄのようになる。また、対象物体３３と撮像装置４０との距離がより遠いという第５の位置関係の場合には、撮像装置４０により撮像された場合の対象物体３３の形状は、形状４３ｅのようになる。

このように、対象物体３３と撮像装置４０との位置関係によって、より具体的には対象物体３３と撮像装置４０との距離によって、比較形状情報が示す対象物体の形状が変わる。

次に、図４に示される距離画像２０ｂが取得された場合の比較形状情報の例を、図７を参照して説明する。

図７は、図４に示される距離画像２０ｂが取得された場合の比較形状情報の例を説明するための説明図である。図７を参照すると、図４に示される距離画像２０ｂの部分２１ａに対応する平面に対象物体３３がある場合の比較形状情報の形状４３ｆが示されている。また、距離画像２０ｂの部分２１ｂに対応する平面に対象物体３３がある場合の比較形状情報の形状４３ｇが示されている。図４に示される距離画像２０ｂが取得されると、このような形状４３を示す比較形状情報が生成される。

（形状比較部１４３）
形状比較部１４３は、比較形状情報が示す形状と対象形状情報が示す形状とを比較する。具体的には、例えば、図４に示される距離画像２０ｂが取得された場合に、形状比較部１４３は、対象形状情報である距離画像２０ｂの部分２３が示す形状と、図７に示される比較形状情報の形状４３の各々とを比較する。そして、形状比較部１４３は、例えば、当該比較の結果として、形状４３の各々と部分２３により示される形状との類似度を出力する。なお、上記比較は、画像を比較するための任意の手法により行われ得る。

（判定部１４５）
判定部１４５は、検出される上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定する。そして、判定部１４５は、対象物体がある平面を、床面に対応する平面として決定する。

例えば、判定部１４５は、形状比較分１４３による上記比較の結果から、いずれの平面上に対象物があるかを判定する。具体的には、判定部１４５は、検出された１つ以上の平面のうちの個々の平面について、比較形状情報が示す形状（例えば、形状４３）と対象形状情報が示す形状（例えば、部分２３により示される形状）との類似度が所定の閾値を超える場合に、上記個々の平面上に対象物体があると判定する。例えば、判定部１４５は、図４に示される部分２１ａに対応する平面上に対象物体がないと判定し、図４に示される部分２１ｂに対応する平面上に対象物体があると判定する。そして、判定部１４５は、部分２１ｂに対応する平面を、床面に対応する平面として決定する。

（設置情報生成部１５０）
設置情報生成部１５０は、床面に対応する上記平面に基づいて、撮像装置の設置状態を示す設置情報を生成する。例えば、当該設置情報は、設置状態として、床面に対する撮像装置の高さと、床面に対する撮像装置の方向を示す。以下、設置情報の生成手法の一例を、図８を参照して説明する。

図８は、床面に対する撮像装置の設置状態を示す設置情報の生成手法の一例を説明するための説明図である。図８を参照すると、床面に対応する平面を表すｘｙ平面、及び撮像装置の方向を示すＸ軸、Ｙ軸及びＺ軸が示されている。一例として、Ｚ軸は、撮像方向に該当する軸であり、ＸＹ平面は、Ｚ軸と直交する平面である。そして、Ｘ軸は、撮像装置の横方向に対応する軸であり、Ｙ軸は、撮像装置の縦方向に対応する軸である。また、座標Ｐは、撮像装置の位置を示し、座標Ｑは、座標Ｐを通るｘｙ平面の垂線の足である。

この場合に、設置情報生成部１５０は、床面に対する撮像装置の高さとして、線分ＰＱの長さＤを算出する。また、設置情報生成部１５０は、床面に対する撮像装置の方向として、Ｚ軸とｘｙ平面のなす角度θと、Ｙ軸と線分ＰＱとのなす角度ωとを算出する。このように、設置情報生成部１５０は、床面に対する撮像装置の高さＤと、床面に対する撮像装置の方向（θ，ω）とを含む設置情報を生成する。

以上、第１の実施形態に係る情報処理装置１００−１の構成の一例を説明した。当該情報処理装置１００−１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、記憶装置（磁気記憶媒体、不揮発性メモリ、等）及び通信インターフェース等のハードウェアと、ソフトウェアとの組合せにより実装され得る。

＜１．２．処理の流れ＞
次に、図９を参照して、第１の実施形態に係る情報処理の一例を説明する。図９は、第１の実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。

ステップＳ３０１で、距離画像取得部１１０は、撮像装置により生成された距離画像を取得する。

ステップＳ３０３で、平面検出部１２０は、距離画像から１つ以上の平面を検出する。

ステップＳ３０５で、距離画像取得部１１０は、撮像装置により生成される距離画像であって、床面上にあるべき物体（即ち、対象物体）が撮像された当該距離画像を取得する。

ステップＳ３０７で、物体検出部１３０は、対象物体が撮像された上記距離画像から、当該対象物体の形状を示す形状情報（即ち、対象形状情報）を検出する。また、ステップＳ３０９で、物体検出部１３０は、対象物体が撮像された上記距離画像から、当該物体の位置を示す位置情報を検出する。

ステップＳ３１１で、比較形状取得部１４１は、上記位置情報に基づいて、上記１つ以上の平面のうちの個々の平面上に対象物体がある場合の対象物体の形状を示す形状情報（即ち、比較形状情報）を取得する。

ステップＳ３１３で、形状比較部１４３は、比較形状情報が示す形状と対象形状情報が示す形状とを比較する。

ステップＳ３１５で、判定部１４５は、検出された上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定する。そして、ステップＳ３１７で、判定部１４５は、対象物体がある平面を、床面に対応する平面として決定する。

ステップＳ３１９で、設置情報生成部１５０は、床面に対応する上記平面に基づいて、撮像装置の設置状態を示す設置情報を生成する。

以上、本発明の第１の実施形態を説明した。当該第１の実施形態によれば、距離画像から検出される対象物体（即ち、床面にあるべき物体）の位置及び形状に基づいて、いずれの平面に対象物体があるかが判定される。対象物体がいずれの平面にあるかによって、距離画像の中の対象物体の形状が異なるので、距離画像の中の対象物体の形状から、いずれの平面に対象物体があるかを判定することができる。そして、対象物体がある平面が床面として決定される。その後、床面に基づいて、撮像装置の設置状態を示す情報が生成される。これにより、距離画像を生成する撮像装置の設置状態を自動で把握することが可能となる。

また、上記対象物体（例えば、人）は、例えば、撮像装置の撮像対象として定められた物体である。対象物体が撮像装置の撮像対象であれば、対象物体は撮像装置の前に頻繁に現れるので、対象物体を必要に応じて容易に撮像することが可能である。よって、対象物体が撮像された距離画像を容易に取得することが可能になる。また、撮像対象が実際に移動する平面に対する設置状態が把握されるので、例えば、距離画像から撮像対象を認識すべき条件（例えば、撮像装置と撮像対象との間の距離、等）をより容易に設定することが可能になる。

＜＜２．第２の実施形態＞＞
続いて、本発明の第２の実施形態を説明する。本発明の第２の実施形態によれば、床面上にあるべき物体が撮像された複数の距離画像から、当該物体の複数の位置が検出され、当該物体の複数の位置に基づいて、床面に対応する平面が決定される。そして、床面に対応する当該平面に基づいて、撮像装置の設置状態を示す情報が生成される。

以降、第２の実施形態を＜２．１．情報処理装置の構成＞、＜２．２．処理の流れ＞という順序で説明する。

＜２．１．情報処理装置の構成＞
図１０〜図１４を参照して、第２の実施形態に係る情報処理装置１００−２の構成の一例を説明する。なお、当該情報処理装置１００−２は、例えば、距離画像を生成する撮像装置と通信する装置（例えば、サーバ）である。

図１０は、第２の実施形態に係る情報処理装置１００−２の構成の一例を示すブロック図である。図１０を参照すると、情報処理装置１００−２は、距離画像取得部１１１、平面検出部１２０、物体検出部１３１、床面決定部１６０及び設置情報生成部１５０を備える。

ここで、平面検出部１２０及び設置情報生成部１５０については、第１の実施形態と第２の実施形態との間に差異はない。よって、ここでは、距離画像取得部１１１、物体検出部１３１及び床面決定部１６０を説明する。

（距離画像取得部１１１）
距離画像取得部１１１は、撮像装置により生成される距離画像を取得する。この点について、距離画像取得部１１１は、第１の実施形態の距離画像取得部１１０と同様である。以下、図１１を参照して、取得される距離画像の具体例を説明する。

図１１は、取得される距離画像の一例を説明するための説明図である。図１１を参照すると、距離画像２０ｃが示されている。距離画像２０ｃは、第３の平面が撮像された部分２１ｃ、及び第４の平面が撮像された部分２１ｄを含む。例えばこのように、距離画像は、平面が撮像された部分２１を含み得る。

とりわけ第２の実施形態では、距離画像取得部１１１は、撮像装置により生成される複数の距離画像であって、対象物体が撮像された当該複数の距離画像を取得する。例えば、上記複数の距離画像は、距離動画像に含まれる複数のフレームである。また、例えば、当該対象物体は、撮像装置の撮像対象として定められた物体である。さらに具体的には、例えば、当該対象物体は、人である。以下、図１２を参照して、取得される複数の距離画像の具体例を説明する。

図１２は、取得される複数の距離画像の一例を説明するための説明図である。図１２を参照すると、複数の距離画像２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈが示されている。当該複数の距離画像２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈは、それぞれ、図１１に示される距離画像２０ｃと同様に、第３の平面が撮像された部分２１ｃ、及び第４の平面が撮像された部分２１ｄを含む。また、当該複数の距離画像２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈは、それぞれ、対象物体が撮像された部分２３を含む。

なお、例えば、距離画像取得部１１１は、取得された距離画像を平面検出部へ出力する。また、距離画像取得部１１１は、取得された複数の距離画像であって、対象物体が撮像された当該複数の距離画像を、物体検出部１３１へ出力する。

（物体検出部１３１）
物体検出部１３１は、距離画像であって、床面上にあるべき物体（即ち、対象物体）が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出する。とりわけ第２の実施形態では、物体検出部１３１は、対象物体が撮像された上記複数の距離画像から、当該対象物体の位置をそれぞれ示す複数の位置情報を検出する。

例えば、物体検出部１３１は、対象物体（例えば、人）が撮像された上記複数の距離画像（例えば、図１２に示される距離画像２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ）の個々の距離画像について、対象物体の位置を示す位置情報を以下のように検出する。物体検出部１３１は、対象物体（例えば、人）が撮像された個々の距離画像（例えば、図１２に示される距離画像２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ）と、予め用意された背景画像（例えば、図１１に示される距離画像２０ｃ）との差分を演算する。そして、物体検出部１３１は、上記個々の距離画像のうちの上記差分に対応する部分（例えば、図１２に示される部分２３）を検出する。その後、物体検出部１３１は、上記個々の距離画像のうちの検出された上記部分の画素に対応する３次元座標から、対象物体の位置（例えば、これらの３次元座標の中心）を算出することにより、対象物体の位置を示す位置情報を検出する。以下、このように検出される複数の位置情報の具体例を、図１３を参照して説明する。

図１３は、複数の距離画像から検出される複数の位置情報の一例を説明するための説明図である。図１３を参照すると、図１２に示される複数の距離画像２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈの部分２１ｃに対応する第３の平面３１ｃ、及び部分２１ｄに対応する第４の平面３１ｄが、示されている。また、当該複数の距離画像２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈの各々の部分２３に対応する対象物体の位置５１ｄ、５１ｅ、５１ｆ、５１ｇ、５１ｈが、示されている。例えば、このような位置５１ｄ、５１ｅ、５１ｆ、５１ｇ、５１ｈをそれぞれ示す複数の位置情報が、検出される。

（床面決定部１６０）
床面決定部１６０は、検出される上記位置情報に基づいて、検出される上記１つ以上の平面のうちの、床面に対応する平面を決定する。より具体的には、床面決定部１６０は、上記位置情報に基づいて、上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定することにより、床面に対応する平面を決定する。

とりわけ第１の実施形態では、床面決定部１６０は、上記複数の位置情報に基づいて、上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定する。

床面決定部１６０は、平面推定部１６１、平面比較部１６３及び判定部１６５を備える。

（平面推定部１６１）
平面推定部１６１は、上記複数の位置情報が示す対象物体の複数の位置に対応する平面を推定する。より具体的には、平面推定部１６１は、当該複数の位置（例えば、３次元座標）の集合を近似する平面を推定する。例えば、平面推定部１６１は、最小二乗法、Ｈｏｕｇｈ変換等の任意の手法を用いて、上記集合を近似する平面を推定する。以下、このように推定される平面の具体例を、図１４を参照して説明する。

図１４は、複数の位置情報が示す対象物体の複数の位置に対応する平面の一例を説明するための説明図である。図１４を参照すると、図１３と同様に、第３の平面３１ｃ及び第４の平面３１ｄが示されている。また、図１３と同様に、対象物体の位置５１ｄ、５１ｅ、５１ｆ、５１ｇ、５１ｈが示されている。このような複数の位置５１ｄ、５１ｅ、５１ｆ、５１ｇ、５１ｈの集合を近似する平面として、例えば、平面５３が推定される。

（平面比較部１６３）
平面比較部１６３は、検出される１つ以上の平面の各々と推定される平面とを比較する。一例として、平面比較部１６３は、検出される１つ以上の平面の各々の法線ベクトルと推定される平面の法線ベクトルとのなす角度を算出することにより、比較を行う。

具体的には、例えば、平面比較部１６３は、図１４に示される検出された平面３１ｃの法線ベクトルと、図１４に示される推定された平面５３の法線ベクトルとのなす角度を算出する。また、平面比較部１６３は、図１４に示される検出された平面３１ｄの法線ベクトルと、図１４に示される推定された平面５３の法線ベクトルとのなす角度を算出する。そして、平面比較部１６３は、比較の結果として、算出されたなす角度を出力する。

（判定部１６５）
判定部１６５は、検出される上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定する。例えば、判定部１６５は、上記１つ以上の平面のうちの、推定された上記平面と略平行な平面に、対象物体があると判定する。そして、判定部１４５は、対象物体がある平面を、床面に対応する平面として決定する。

例えば、判定部１６５は、平面比較部１６３による上記比較の結果から、いずれの平面上に対象物があるかを判定する。具体的には、判定部１６５は、検出された１つ以上の平面のうちの個々の平面（例えば、平面３１ｃ、３１ｄ）の法線ベクトルと、推定された平面（例えば、平面５３）との法線ベクトルとのなす角度が所定の角度未満である場合に、上記個々の平面上に対象物体があると判定する。例えば、判定部１６５は、図１４に示される平面３１ｃ（図１１及び図１２に示される部分２１ｃに対応）上には対象物体がないと判定し、図１４に示される平面３１ｄ（図１１及び図１２に示される部分２１ｄに対応）上には対象物体があると判定する。そして、判定部１６５は、部分２１ｄに対応する平面３１ｄを、床面に対応する平面として決定する。

以上、第２の実施形態に係る情報処理装置１００−２の構成の一例を説明した。当該情報処理装置１００−２も、第１の実施形態に係る情報処理装置１００−１と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置及び通信インターフェース等のハードウェアと、ソフトウェアとの組合せにより実装され得る。

＜２．２．処理の流れ＞
次に、図１５を参照して、第２の実施形態に係る情報処理の一例を説明する。図１５は、第２の実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。

ステップＳ４０１で、距離画像取得部１１１は、撮像装置により生成された距離画像を取得する。

ステップＳ４０３で、平面検出部１２０は、距離画像から１つ以上の平面を検出する。

ステップＳ４０５で、距離画像取得部１１１は、撮像装置により生成された複数の距離画像であって、対象物体が撮像された当該複数の距離画像を取得する。

ステップＳ４０７で、物体検出部１３１は、対象物体が撮像された上記複数の距離画像から、当該対象物体の位置をそれぞれ示す複数の位置情報を検出する。

ステップＳ４０９で、平面推定部１６１は、上記複数の位置情報が示す対象物体の複数の位置に対応する平面を推定する。

ステップＳ４１１で、平面比較部１６３は、検出された１つ以上の平面の各々と推定された平面とを比較する。

ステップＳ４１３で、判定部１６５は、検出された上記１つ以上の平面のうちのいずれの平面上に対象物体があるかを判定する。例えば、判定部１６５は、上記１つ以上の平面のうちの、推定された上記平面と略平行な平面に、対象物体があると判定する。そして、ステップＳ４１５で、判定部１４５は、対象物体がある平面を、床面に対応する平面として決定する。

ステップＳ４１７で、設置情報生成部１５０は、床面に対応する上記平面に基づいて、撮像装置の設置状態を示す設置情報を生成する。

以上、本発明の第２の実施形態を説明したが、当該第２の実施形態によれば、距離画像から検出される対象物体（即ち、床面にあるべき物体）の複数の位置に基づいて、いずれの平面に対象物体があるかが判定される。対象物体がある平面を移動する場合には、当該平面と、対象物体の位置の集合に対応する平面とは、ほぼ平行になるので、対象物体の複数の位置から、いずれの平面に対象物体があるかを判定することができる。そして、対象物体がある平面が床面として決定される。その後、床面に基づいて、撮像装置の設置状態を示す情報が生成される。これにより、距離画像を生成する撮像装置の設置状態を自動で把握することが可能となる。また、第２の実施形態では、第１の実施形態のように比較形状情報を取得する必要がないので、より単純な処理で実現され得る。

また、第１の実施形態と同様に、上記対象物体（例えば、人）は、例えば、撮像装置の撮像対象として定められた物体である。対象物体が撮像装置の撮像対象であれば、対象物体は撮像装置の前に頻繁に現れるので、対象物体を必要に応じて容易に撮像することが可能である。よって、対象物体が撮像された距離画像を容易に取得することが可能になる。また、撮像対象が実際に移動する平面に対する設置状態が把握されるので、例えば、距離画像から撮像対象を認識すべき条件（例えば、撮像装置と撮像対象との間の距離、等）をより容易に設定することが可能になる。

以上、添付図面を参照しながら本発明の好適な実施形態を説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、本発明に係る情報処理装置は、距離画像を生成する撮像装置と通信する装置に限られない。上記情報処理装置は、例えば、上記撮像装置と通信しない装置であってもよい。この場合に、上記情報処理装置は、当該撮像装置により生成された距離画像を、当該撮像装置との通信以外の手法で受信してもよい。また、上記情報処理装置が、距離画像を生成する撮像装置自体であってもよい。

また、例えば、本発明に係る第１の実施形態において検出される形状情報は、画像に限られない。当該形状情報は、形状の特徴を表す別の情報（例えば、形状の特徴量）であってもよい。

また、例えば、床面にあるべき物体（即ち、対象物体）は、人に限られない。例えば、対象物体は、自動車のような乗り物、動物等であってもよい。また、床面にあるべき物体は、撮像装置の撮像対象として定められた物体に限られない。例えば、対象物体は、専用のマーカであってもよい。

また、例えば、１つ以上の平面を検出するための距離画像と位置情報（及び形状情報）を検出するための距離画像とが異なる場合を説明したが、本発明はこれに限られない。
１つ以上の平面を検出するための距離画像と位置情報（及び形状情報）を検出するための距離画像とは、同一の距離画像であってもよい。

また、本明細書の情報処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、情報処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。

また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。

２０ 距離画像
２１ 平面が撮像された部分
２３ 対象物体が撮像された部分
３１ 平面
３３ 対象物体
４０ 撮像装置
４３ 形状
５１ 位置
５３ 平面
１００ 情報処理装置
１１０、１１１ 距離画像取得部
１２０ 平面検出部
１３０、１３１ 物体検出部
１４０ 床面決定部
１４１ 比較形状取得部
１４３ 形状比較部
１４５ 判定部
１５０ 設置情報生成部
１６０ 床面決定部
１６１ 平面推定部
１６３ 平面比較部
１６５ 判定部

Claims (8)

1. 撮像装置により生成される距離画像を取得する取得部と、
   前記距離画像から、１つ以上の平面を検出する平面検出部と、
   前記距離画像であって、床面上にあるべき物体が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出する物体検出部と、
   前記位置情報に基づいて、前記１つ以上の平面のうちの、床面に対応する平面を決定する決定部と、
   床面に対応する前記平面に基づいて、前記撮像装置の設置状態を示す設置情報を生成する生成部と、
   を備え、
   前記取得部は、前記撮像装置により生成される複数の距離画像であって、前記物体が撮像された当該複数の距離画像を取得し、
   前記物体検出部は、前記複数の距離画像から、当該物体の３次元座標の中心位置をそれぞれ示す複数の位置情報を検出し、
   前記決定部は、前記複数の位置情報に基づいて、前記１つ以上の平面のうちのいずれの平面上に前記物体があるかを判定することにより、床面に対応する前記平面を決定する、
   情報処理装置。
2. 前記決定部は、前記複数の位置情報が示す前記物体の複数の位置に対応する平面を推定し、推定された当該平面に基づいて、前記１つ以上の平面のうちのいずれの平面上に前記物体があるかを判定する、請求項１に記載の情報処理装置。
3. 前記決定部は、前記１つ以上の平面のうちの、推定された前記平面と略平行な平面に、前記物体があると判定する、請求項２に記載の情報処理装置。
4. 前記複数の距離画像は、距離動画像に含まれる複数のフレームである、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記物体は、前記撮像装置の撮像対象として定められた物体である、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記物体は、人を含む、請求項５に記載の情報処理装置。
7. コンピュータを、
   撮像装置により生成される距離画像を取得する取得部と、
   前記距離画像から、１つ以上の平面を検出する平面検出部と、
   前記距離画像であって、床面上にあるべき物体が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出する物体検出部と、
   前記位置情報に基づいて、前記１つ以上の平面のうちの、床面に対応する平面を決定する決定部と、
   床面に対応する前記平面に基づいて、前記撮像装置の設定状態を示す設置情報を生成する生成部と、
   を備え、
   前記取得部は、前記撮像装置により生成される複数の距離画像であって、前記物体が撮像された当該複数の距離画像を取得し、
   前記物体検出部は、前記複数の距離画像から、当該物体の３次元座標の中心位置をそれぞれ示す複数の位置情報を検出し、
   前記決定部は、前記複数の位置情報に基づいて、前記１つ以上の平面のうちのいずれの平面上に前記物体があるかを判定することにより、床面に対応する前記平面を決定する、
   情報処理装置として機能させるためのプログラム。
8. 撮像装置により生成される距離画像を取得するステップと、
   前記距離画像から、１つ以上の平面を検出するステップと、
   前記距離画像であって、床面上にあるべき物体が撮像された当該距離画像から、当該物体の位置を示す位置情報を検出するステップと、
   前記位置情報に基づいて、前記１つ以上の平面のうちの、床面に対応する平面を決定するステップと、
   床面に対応する前記平面に基づいて、前記撮像装置の設置状態を示す設置情報を生成するステップと、
   を含み、
   前記取得するステップは、前記撮像装置により生成される複数の距離画像であって、前記物体が撮像された当該複数の距離画像を取得するステップ、をさらに含み、
   前記検出するステップは、前記複数の距離画像から、当該物体の３次元座標の中心位置をそれぞれ示す複数の位置情報を検出するステップ、をさらに含み、
   前記決定するステップは、前記複数の位置情報に基づいて、前記１つ以上の平面のうちのいずれの平面上に前記物体があるかを判定することにより、床面に対応する前記平面を決定するステップ、をさらに含む、
   情報処理方法。
   

Images