WO2022009489A1

WO2022009489A1 - 行動認識装置、行動認識方法、及びプログラム

Info

Publication number: WO2022009489A1
Application number: PCT/JP2021/014244
Authority: WO
Inventors: 信彦若井; 和紀小塚; 恵大飯田; 洋平中田; 由美子篠原
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2020-07-10
Filing date: 2021-04-01
Publication date: 2022-01-13
Anticipated expiration: 2023-01-10
Also published as: JP7741074B2; CN115803790A; JPWO2022009489A1; US20230127086A1

Abstract

行動認識装置は、画像センサの位置情報と間取り情報とに基づいて対象行動の中から認識候補となる候補行動を選択し、画像センサが検出した画像データを取得し、候補行動に応じた１以上の認識器を決定し、１以上の認識器を用いて画像データの特徴量を算出し、特徴量に基づいて候補行動を認識する。

Description

行動認識装置、行動認識方法、及びプログラム

　本開示は建物におけるユーザの行動を認識する技術に関するものである。

　近年、動画像から人の行動を認識する研究が進められている。例えば、特許文献１には、動画像から人を含む人領域を検出し、前記領域に映る人の姿勢と周辺の物体との組み合わせから人の行動を認識する技術が開示されている。

　例えば、特許文献２には、動画像から人の関節に基づくスケルトン情報を時系列で抽出し、スケルトン情報の囲み領域を抽出し、抽出した囲み領域から人の行動を認識する技術が開示されている。

　しかしながら、特許文献１及び特許文献２の技術によれば、建物の間取り情報が考慮されていないため、建物内の空間に依存する人の行動を精度よく認識するためには改善の必要があった。

２０１８－２０６３２１号公報２０１９－１４４８３０号公報

　本開示の一態様に係る行動認識装置は、建物における人の行動を認識する行動認識装置であって、予め定められた認識対象となる１以上の対象行動を含む対象行動情報と、前記建物の間取り情報と、前記建物に設置された画像センサの位置情報とを取得する第１取得部と、前記画像センサの位置情報と前記間取り情報とに基づいて前記対象行動情報に含まれる前記１以上の対象行動の中から認識候補となる候補行動を選択する行動選択部と、前記画像センサが検出した画像データを取得する第２取得部と、前記候補行動に応じた１以上の認識器を決定し、前記１以上の認識器を用いて前記画像データの特徴量を算出する第１行動認識部と、前記特徴量に基づいて前記候補行動を認識する第２行動認識部と、前記第２行動認識部による認識結果を出力する出力部とを備える。

　本開示によれば、建物内の空間に依存する人の行動を精度よく認識することができる。

実施の形態に係る行動認識装置の構成の一例を示すブロック図である。認識器を構成するＣＮＮの説明図である。第１行動認識部の構成の一例を示す図である。行動選択テーブルの構成の一例を示す図である。認識器選択テーブルの構成の一例を示す図である。結合器が特徴量に対して重み係数を設定する際に参照される重みテーブルの一例を示す図である。実施の形態に係る行動認識装置におけるリスト情報の生成処理の一例を示すフローチャートである。図７のステップＳ１０６の処理の詳細を示すフローチャートである。行動認識装置における行動認識処理の一例を示すフローチャートである。認識器に関する情報を纏めた事前知識テーブルのデータ構成を示す図である。既存の認識器を個別に実行した場合の１フレームあたりの処理時間を纏めたテーブルである。入力画像データを纏めた表である。行動認識装置の認識精度を評価するために行われたシミュレーションの結果を纏めた表である。本開示の変形例に係る行動認識装置の構成の一例を示すブロック図である。本開示の変形例（３）に係る行動認識装置の構成の一例を示すブロック図である。玄関に画像センサが設置されるシーンを示す図である。玄関に画像センサが設置されるシーンにおいてユーザと表示端末とのインタラクションの一例を示す図である。図１７に続くインタラクションを示す図である。アノテーション画像が重畳された設定画面の一例を示す図である。キッチンに画像センサが設置されるシーンを示す図である。キッチンに画像センサが設置されるシーンにおいてユーザと表示端末とのインタラクションの一例を示す図である。図２１に続くインタラクションを示す図である。アノテーション画像が重畳された設定画面の一例を示す図である。画像センサの設置後にアノテーション画像を修正する際のユーザと表示端末とのインタラクションの一例を示す図である。アノテーション画像が重畳表示された設定画面の一例を示す図である。

　（本開示に至る知見）
　従来、センサデータである動画像または静止画像から人の行動を推定する方法が提案されている。このような方法においては、認識すべき対象の行動に対して予めラベルが付与され、センサデータがどのラベルに該当するかを判定することが行われる。センサデータが動画像または静止画像である場合、畳み込み層及びプーリング層を用いたディープニューラルネットワーク（ＤＮＮ）を使用することで高い認識精度が実現可能である。しかしながら、現状のＤＮＮを使用した方法では、認識対象とする行動が人の歩行のような動作する空間に依存しない行動が認識対象とされている。そのため、空間に依存する行動を認識対象とするためには空間に関する情報を考慮に入れてＤＮＮを一から学習させることが要求され、手間及びコストがかかる。

　上述の特許文献１では、人の姿勢と人の周辺の物体との組み合わせを考慮して人の行動が認識されているが、人の周囲に、人の行動とは無関係な物体が映り込んでいる場合、その物体は人の行動を推定するに際して有用な情報にはならない。そのため、特許文献１では、空間に依存する人の行動を認識するにはさらなる改善が必要である。

　上述の特許文献２では、スケルトン情報の囲み領域から人の行動が推定されていることからも明らかなように、認識対象の行動として背景に依存しない行動が想定されている。そのため、特許文献２では、例えばキッチンで行う調理行動のように、空間に強く依存する行動を推定するにはさらなる改善が必要である。

　そこで、本発明者は、建物の間取り情報を考慮すれば、建物内の空間に依存する人の行動を精度よく認識できるとの知見を得て、以下に示す本開示の各態様を想到するに至った。

　本構成によれば、画像センサの位置情報と建物の間取り情報とに基づいて対象行動の中から認識対象となる候補行動が選択され、候補行動に対する認識結果が算出されている。そのため、建物内の空間に依存する人の行動を精度よく認識することが可能となる。

　さらに、本構成によれば、第１行動認識部が候補行動に応じた認識器を決定し、決定した認識器を用いて画像データの特徴量を算出し、算出された特徴量から第２行動認識器が候補行動を認識している。そのため、認識器として既存の認識器を利用することが可能となり、行動認識装置の構築が容易になる。さらに、候補行動に応じた１以上の認識器を用いて特徴量が算出されているため、候補行動の認識に適した特徴量を算出することが可能となり、対象行動の認識精度を高めることが可能となる。

　上記行動認識装置において、前記第１行動認識部は、前記候補行動が所定の行動である場合、複数の認識器を決定し、前記第２行動認識部は、前記複数の認識器がそれぞれ算出した特徴量を結合し、結合した特徴量に基づいて前記候補行動を認識してもよい。

　本構成によれば、対象行動が所定の行動である場合、複数の認識器が決定されているため、例えば所定の行動が人の周囲にある物体に依存するような場合において、人の特徴量を算出する認識器と、物体の特徴量を算出する認識器とを用いて特徴量を算出することが可能となり、候補行動の認識精度を高めることが可能となる。

　さらに、本構成によれば、各認識器が算出した特徴量が結合され、結合された特徴量に基づいて対象行動が認識されている。そのため、複数の認識器により複数の特徴量が算出された場合において、１つの特徴量に結合して第２行動認識部に入力することが可能となり、行動認識装置の構成を簡素化することが可能となる。

　上記行動認識装置において、前記所定の行動は、掃除、歯磨き、料理、洗濯、コンピュータの使用、読書、又は食事であってもよい。

　本構成によれば、掃除又は歯磨きといった人の行動が人の周囲の物体に依存するような行動の特徴量を画像データから精度よく算出することができる。

　上記行動認識装置において、各認識器は、コンボリューションニューラルネットワーク（以下、ＣＮＮと呼ぶ。）で構成され、前記第２行動認識部は、ロジスティクス回帰、サポートベクターマシン、決定木、ランダムフォレスト、ｋ近傍法、ガウシアンナイーブベイズ、パーセプトロン、及び確率的降下法のいずれか１つを用いた分類器を用いて前記候補行動を認識してもよい。

　本構成によれば、各認識器はＣＮＮで構成され、第２行動認識器はロジスティック回帰等を用いた分類器により構成されているため、第１行動認識部に対して処理コストが低い分類器で第２行動認識器を構成することが可能となる。

　上記行動認識装置において、前記第２行動認識部は、前記特徴量を説明変数とし、前記対象行動を目的変数として機械学習された分類器を用いて前記候補行動を認識してもよい。

　本構成によれば、各認識器が算出した特徴量を説明変数とし、その特徴量に対応する候補行動を目的変数とする機械学習により生成された分類器を用いて第２行動認識部を構成することができる。例えば、分類器を上述したロジスティック回帰等のＣＮＮに比べて処理負荷が小さい分類器で構成すれば、短時間で分類器を学習させることができる。さらに、第１行動認識部をＣＮＮで構成された既存の認識器で構成することにより、第２行動認識部のみ機械学習させ、第１行動認識部を機械学習させることなく行動認識装置を構成できる。

　上記行動認識装置において、前記第２行動認識部は、前記候補行動に応じて予め定められた重み係数を用いて各特徴量に重み付けをし、重み付け後の各特徴量に基づいて前記候補行動を認識してもよい。

　本構成によれば、対象行動に応じて各特徴量に重み付けが行われ、重み付けされた各特徴量に基づいて候補行動が認識されるため、候補行動を正確に認識できる。

　上記行動認識装置において、前記間取り情報から、前記建物に設置された１以上の物体を抽出し、前記１以上の物体を、移動可能な第１物体、水回り設備である第２物体、及び前記建物の構造物である第３物体のいずれかに分類し、前記１以上の物体のそれぞれについて、分類結果を示す分類情報と設置位置とが対応付けられた間取り特徴量を抽出し、前記間取り特徴量に基づいて、行動選択テーブルを生成し、前記行動選択テーブルは、前記建物の１以上の空間と、各空間に対応する前記対象行動とが対応付けられたテーブルであり、前記第１取得部は、前記行動選択テーブルを前記対象行動情報として取得してもよい。

　本構成によれば、間取り情報に基づいて、建物に設置された各物体について、分類情報と設置位置とが対応付けられた間取り特徴量が抽出される。そのため、建物内の各空間においてどのような物体が設置されているかが把握することが可能となり、行動選択テーブルを作成する上で有用な情報を抽出することができる。そして、間取り特徴量に基づいて、建物の各空間と、各空間に対応する対象行動とが対応付けられた行動選択テーブルが生成され、その行動選択テーブルが対象行動情報として取得される。そのため、各空間と対象行動との関係性を速やかに把握することができ、候補行動を容易に選択することができる。

　上記行動認識装置において、前記行動認識装置は表示端末と通信可能に接続され、前記画像センサが設置される前記建物の空間の名称を前記表示端末を介して取得し、前記空間に関連する特定機器又は特定設備が前記画像センサの視野内に含まれるように前記画像センサを設置する設置ガイダンスを表示端末に出力する設置支援部をさらに備えてもよい。

　本構成によれば、空間に関連する特定機器又は特定設備が画像センサの視野内に含まれるように前記画像センサを設置する設置ガイダンスが表示端末に出力されるため、ユーザは画像センサを適切に設置できる。さらに、建物の空間の名称が表示端末を介して取得されているため、画像センサと画像センサが設置された空間とを対応付けることができる。その結果、画像センサの設置位置と行動選択テーブルとを参照して、候補行動を容易に選択できる。

　上記行動認識装置において、前記設置支援部は、前記画像センサが撮影した画像データを取得し、前記画像データに含まれる前記特定機器又は前記特定設備を検出し、前記特定機器又は前記特定設備の検出結果を示すアノテーション画像を、前記画像データが示す画像に重畳表示させてもよい。

　本構成によれば、画像データが示す画像に、画像データから検出された特定機器又は特定設備の検出結果であるアノテーション画像が重畳表示されている。そのため、画像データから特定機器又は特定設備が正しく検出されているかを容易に確認することができる。

　上記行動認識装置において、前記設置支援部は、前記アノテーション画像の修正指示を前記表示端末を介して取得し、修正された前記アノテーション画像が示すアノテーション情報をメモリに記憶してもよい。

　本構成によれば、アノテーション情報の修正指示が表示端末を介して取得されるため、例えば認識器が特定機器又は特定設備を正しく検出できなかった場合、特定機器又は特定設備の位置を正確に示すようにアノテーション情報を修正できる。さらに、認識器に対して対象行動を認識する上で重要となる特定機器又は特定設備の画像上の位置を把握させることができる。

　本開示は、このような行動認識装置に含まれる特徴的な各構成をコンピュータが実行する行動認識方法及び特徴的な各構成をコンピュータに実行させる行動認識プログラムとして実現することもできる。また、このような行動認識プログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体或いはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

　（実施の形態）
　コンピュータを用いた人の行動の認識手法は、人と人の居る空間との関係で３つのタイプに分類される。第１のタイプは、人が居る空間と無関係な行動を認識する手法である。例えば、歩く又は立つ等の行動は着目する人の動きのみで表現され、人の居る空間とは無関係である。第２のタイプは、人の居る空間に存在する物体又は人の近くに位置する物体と関与する行動を認識する手法である。例えば、自転車に乗っているという行動は、人の姿勢検出と物体検出とを組み合わせることで認識可能である。屋外等で物体に関与する人の行動を認識する場合、建物の構造又は道路の状態等、予め把握することが困難である。そのため、このような行動は、人と人の周辺にある物体とを利用した認識処理を行うことで、認識可能となる。第３のタイプは、人と人の居る空間との両方を把握することによって行動を認識する手法である。例えば、キッチンで料理を開始する行動は、人がキッチンに存在し、電子レンジの方向を向くことにより認識できる。

　このように、人の居る空間の情報を利用しない場合に認識が困難となる「料理を開始する」といった行動は、従来の認識手法である第１のタイプ及び第２のタイプでは認識できない。本実施の形態では、人と人がいる空間の情報である間取り情報とを用いて、人の行動を認識する手法を開示する。以下、本実施の形態について、図面を参照しながら説明する。本実施の形態が認識対象とする人の行動は、例えば、料理を開始する、掃除をするといった動きを伴う行動のほか、例えば、テレビを寝ながら見るといった動きを伴わない行動も含む。

　図１は、実施の形態に係る行動認識装置１の構成の一例を示すブロック図である。行動認識装置１は、ユーザの宅内（建物の一例）においてユーザの行動を認識する装置である。

　行動認識装置１は、例えば、プロセッサ、メモリ、インタフェース回路などからなるコンピュータで構成されている。行動認識装置１は、単一のコンピュータで実現される必要はなく、端末装置とサーバとを含む分散処理システム（不図示）によって実現されてもよい。例えば、行動認識装置１は、画像データ２０４を格納するメモリを宅内の端末装置に設け、プロセッサ１００を構成する一部又は全部のブロックをサーバに設けて構成されてもよい。この形態については、後述する変形例で説明する。

　行動認識装置１は、プロセッサ１００、及びメモリ２００を含む。メモリ２００は、ＳＳＤ又はＨＨＤ等の不揮発性の記憶装置で構成され、対象行動情報２０１、間取り情報２０２、位置情報２０３、画像データ２０４、及びリスト情報２０５を記憶する。メモリ２００は、第２取得部１０３が所定のフレームレートで画像センサ２から取得した画像データ２０４のうち現在から過去に遡って一定時間（例えば１分）の画像データ２０４を保存すればよい。

　画像センサ２は、例えば宅内に設置されたカメラで構成されている。画像センサ２は、所定のフレームレートで宅内の空間を撮影することで、画像データ２０４を取得し、第２取得部１０３に入力する。画像センサ２は複数であってもよい。画像データ２０４は、例えば、カラーの画像データであってもよいし、モノクロの画像データであってもよい。

　プロセッサ１００は、ＣＰＵ等の電気回路で構成されている。プロセッサ１００は、第１取得部１０１、行動選択部１０２、第２取得部１０３、第１行動認識部１０４、第２行動認識部１０５、及び出力部１０６を含む。これらの各ブロックは、プロセッサ１００が例えば行動認識プログラムを実行することで実現される。但し、これは一例であり、これらの各ブロックはＡＳＩＣ等の専用のハードウェア回路で実現されてもよい。

　第１取得部１０１は、予め定められた認識対象となる対象行動を示す対象行動情報２０１を取得し、メモリ２００に格納する。例えば、第１取得部１０１は、図略の入力装置を用いた登録作業を通じて入力された対象行動情報２０１を取得すればよい。入力装置は例えばキーボード、及びマウス等で構成される。但し、これは一例であり、対象行動情報２０１は予めメモリ２００に記憶されていてもよい。対象行動は例えば図４に示す行動選択テーブルＴ１に登録された拭き掃除、掃き掃除等の各種行動である。対象行動情報２０１は事前にメモリ２００に格納されていてもよい。行動選択テーブルＴ１は対象行動情報２０１の一例である。

　さらに、第１取得部１０１は、宅内の間取り情報２０２を取得し、メモリ２００に格納する。間取り情報２０２は、リビング、ダイニング、キッチンといった部屋の構成要素と、各部屋の形状及び位置関係とを表現した２次元又は３次元の情報である。間取り情報２０２は、例えば間取りを記載する２次元の図面データ、住宅設計に使用される３次元設計データ（ＣＡＤデータ）、３次元レーザースキャナで計測された宅内の３次元点群情報（ポイントクラウド）、掃除ロボット等の宅内を移動する機器の軌跡情報、校正済みのカメラで撮影された宅内の映像データ、又は設置された部屋の情報を有する機器から取得された情報で構成される。

　さらに、第１取得部１０１は、宅内に設置された画像センサ２の位置情報２０３を取得し、メモリ２００に格納する。位置情報２０３は、例えば間取り情報２０２に含まれる２軸又は３軸の座標空間の座標系で表される座標データで構成される。第１取得部１０１は、例えば図略の入力装置を用いた登録作業によって入力された位置情報２０３を取得する。

　行動選択部１０２は、画像センサ２の位置情報２０３と間取り情報２０２とに基づいて対象行動の中から認識候補となる候補行動を選択する。例えば、行動選択部１０２は、位置情報２０３と間取り情報２０２とから画像センサ２が設置された宅内の空間を特定し、特定した空間においてユーザが行動することが推定される予め定められた行動を選択する。具体的には、行動選択部１０２は、特定した空間に対応する行動を図４に示す行動選択テーブルＴ１を参照することで決定すればよい。空間は、例えば部屋、玄関、キッチン等の宅内を構成する空間である。

　第２取得部１０３は、画像センサ２が所定のフレームレートで撮影した画像データ２０４を取得し、メモリ２００に格納する。

　第１行動認識部１０４は、行動選択部１０２が選択した候補行動に応じた１以上の認識器を決定し、決定した認識器を用いて画像データ２０４の特徴量を算出する。第１行動認識部１０４は、認識器選択部１１０、Ｎ（Ｎは１以上の整数）個の認識器１１１＿１、１１１＿２、・・・１１１＿Ｎを含む。以下、認識器１１１＿１、１１１＿２、・・・１１１＿Ｎを総称する場合、認識器１１１と表す。

　認識器選択部１１０は、行動選択部１０２が選択した候補行動の認識に用いられる認識器１１１を選択する。例えば認識器選択部１１０は、後述するリスト情報２０５の生成時には図５に示す認識器選択テーブルＴ２を参照することで、候補行動に対応する認識器１１１を選択し、認識処理の実行時には後述のリスト情報２０５を参照することで、候補行動に対する認識器１１１を選択すればよい。

　認識器１１１は、例えばＣＮＮで構成された認識器である。本実施の形態では、第１行動認識部１０４は、図５に示すように、姿勢推定、物体検出、顔検出、頭向き推定、年齢性別推定、個人推定、及びトラッキングのそれぞれを個別に認識する認識器１１１を含む。これらの認識器１１１は、ソースコードが公開された既存の認識器を流用又は一部改変したものである。

　特徴量は認識器１１１に応じて異なる。姿勢推定の認識器１１１が算出する特徴量には、例えば骨格情報を構成する複数の特徴点（例えば、右肩、右肘のような１７点）のそれぞれを表す２次元の座標データが含まれる。

　物体検出の認識器１１１が算出する特徴量には、例えば物体を取り囲む外接矩形の座標データ及び認識した物体のラベルが含まれる。物体検出で検出される物体は所与であり、例えば８０種類の宅内の物体（電子レンジ及び冷蔵庫等）が検出される。顔検出の認識器１１１が算出する特徴量には、例えば顔を外接矩形で取り囲んだ顔領域の画像データが含まれる。ここで、各認識器１１１が算出する特徴量は、ＤＮＮの中間層から出力されるような人間が理解できないデータ（例えば、テンソル）ではない。

　第１行動認識部１０４は、候補行動に応じて他の認識器１１１に依存する認識器１１１を含む。依存する認識器１１１とは、他の認識器１１１が算出した特徴量が入力され、その特徴量を利用して特徴量を算出する認識器１１１である。例えば、頭向き推定の認識器１１１は、顔検出の認識器１１１が算出した特徴量（顔領域の画像データ）を用いて頭の向きを示す特徴量を算出する。

　第２行動認識部１０５は、各認識器１１１が算出した特徴量に基づいて行動選択部１０２が選択した各候補行動を認識する。第２行動認識部１０５は、結合器１２１及び分類器１２２を含む。結合器１２１は、各結合器１２１が算出した特徴量を結合し、結合した特徴量を分類器１２２に入力する。ここで、結合器１２１は、候補行動に応じて予め定められた重み係数を用いて各特徴量に重み付けをし、重み付け後の各特徴量を連結して分類器１２２に入力してもよい。

　分類器１２２は、結合器１２１から入力された特徴量に基づいて候補行動に対する尤度を算出することによって候補行動を認識する。分類器１２２は、クラス分類を行う分類器で構成されている。分類器１２２は、例えばロジスティクス回帰、サポートベクターマシン、決定木、ランダムフォレスト、ｋ近傍法、ガウシアンナイーブベイズ、パーセプトロン、及び確率的降下法のいずれか１つを用いた分類器で構成されている。候補行動が複数の場合、分類器１２２は、各候補行動に対する尤度をそれぞれ算出する。

　分類器１２２は、認識器１１１から出力される特徴量を説明変数とし、対象行動を目的変数として機械学習されたものである。この機械学習は、各対象行動に対して個別に行われる。例えば、対象行動が「料理を開始する」の場合、この対象行動に使用される各認識器１１１から出力される特徴量の結合結果が説明変数とされ、「料理を開始する」が目的変数とされて機械学習が行われる。

　出力部１０６は、第２行動認識部１０５の認識結果を出力する。具体的には、出力部１０６は、分類器１２２が算出した尤度に基づいて人の行動に対する認識結果を出力する。例えば、候補行動が複数の場合、分類器１２２は、尤度が最大のラベルを認識結果として出力すればよい。

　認識結果は、例えば通信回路を介して外部機器（図略）に出力される。外部機器は、例えば宅内に設置され、認識結果に基づいた制御を実行する家電機器で構成されてもよい。この家電機器は、例えば宅内に設置され、認識結果を表示する表示装置であってもよい。

　図２は、認識器１１１を構成するＣＮＮの説明図である。ＣＮＮは、畳み込み層及び全結合層を含む。この例では、ＣＮＮは畳み込み層が９層、全結合層が２層で構成されている。図２において、各種記号の添え字は入力画像データＤ１の入力層を第０層、畳み込み層を第１層～第９層、全結合層を第１０層～第１１、出力層を第１２層としたときの層番号を示している。入力画像データＤ１は、Ｈ０×Ｗ０×Ｃ０で表される。ここで、Ｈは各層におけるデータの高さ、Ｗは各層におけるデータの幅、Ｃは各層におけるチャンネル数を示している。入力画像データＤ１がカラーの画像データの場合、Ｃ０＝３となる。畳み込み層では、畳み込み演算により各層のデータの特徴量が算出される。例えば、第５層から出力されるデータのサイズ、すなわち、Ｈ５×Ｗ５×Ｃ５は、６４×６４×２５６＝１０４８５７６で表される。

　全結合層では、畳み込み層から出力されるデータがまとめられ、出力データが生成される。例えば、Ｍ点の骨格情報を最大Ｐ人検出する姿勢推定のＣＮＮの場合、全結合層からはＰ×Ｍ×２（ｘ,ｙ）個のデータが出力データとして出力される。

　ＣＮＮは画像データに対する認識精度が非常に高い。しかし、ＣＮＮは畳み込み層及び全結合層というように数多くの層で構成されているため、処理負荷が高く学習には多大な時間がかかる。これに対して、分類器１２２は、ＣＮＮに比べて処理負荷が大幅に低いサポートベクターマシン等の分類器である。そこで、本実施の形態では、ＣＮＮから構成される認識器１１１として既存の認識器を利用し、処理負荷の低い分類器１２２に対象行動を学習させている。これにより、学習時間の短縮が図られ、行動認識装置１を容易に構築することが可能となる。

　図３は、第１行動認識部１０４の構成の一例を示す図である。この例では、第１行動認識部１０４は、姿勢推定を行う認識器１１１＿１、物体検出を行う認識器１１１＿２、顔検出を行う認識器１１１＿３、及び頭向き推定を行う認識器１１１＿４を含む。認識器１１１＿１～１１１＿３のそれぞれには入力画像データＤ１が入力されている。入力画像データＤ１は画像センサ２により撮影された宅内の画像データである。

　以下、対象行動が「料理を開始する」の場合を例に挙げて説明する。例えば、入力画像データＤ１は、キッチンで人が冷蔵庫の方を向いて立っているシーンを含む。認識器１１１＿１は、人が起立している入力画像データＤ１が入力された場合、その起立した姿勢の骨格情報を構成する座標データを特徴量として出力する。認識器１１１＿２は、入力画像データＤ１から所与の物体を検出し、検出した物体を囲む外接矩形の頂点の座標データと検出した物体のラベルとを特徴量として出力する。ここでは、物体として冷蔵庫が検出される。

　認識器１１１＿３は、入力画像データＤ１から人の顔を検出し、検出した顔を外接矩形で囲む顔領域の画像データを特徴量として出力する。認識器１１１＿４は、認識器１１１＿３から出力される顔領域の画像データから人の頭向きを推定する。頭向きは、例えば顔領域の重心を起点とする方向ベクトルで表される。

　第２行動認識部１０５は、例えば方向ベクトルの方向に冷蔵庫を囲む外接矩形の重心がある場合、人が冷蔵庫を向いていると判定する。例えば、第２行動認識部１０５は、画像上において方向ベクトルを起点からプラスマイナス閾値角度（例えば、プラスマイナス３０度）の範囲で回転させ、前記冷蔵庫の重心を前記方向ベクトルの延長線が通過する場合、人は冷蔵庫を向くと判定する。

　これらの人の姿勢、物体位置、及び頭向きの情報を組み合わせることで、第２行動認識部１０５は、「料理を開始する」という行動を判定することができる。なお、認識器１１１＿４は、頭向きの代わりに、視線の方向、鼻の方向、胴体の法線方向を検出してもよい。

　図４は、行動選択テーブルＴ１の構成の一例を示す図である。行動選択テーブルＴ１は、複数の空間と、各空間のそれぞれについて認識対象となる対象行動とを対応付けて記憶する。対象行動としては、拭き掃除、掃き掃除、歯磨き、料理を開始する、コーヒーを淹れる、ノートパソコン（ノートＰＣ）の使用、洗濯、読書、食事、及び歩くが採用されている。空間としては、玄関、キッチン、リビング、ダイニング、ベッドルーム、バスルーム、及び洗面所が採用されている。但し、これらは一例であり、他の空間及び対象行動が採用されてもよい。例えば、ソファーで横になりテレビを見ているといった対象行動がリビングに対して割り当てられてもよい。

　行動選択テーブルＴ１において、〇マークは該当する空間に対して該当する対象行動が認識対象とされることが示されている。×マークは該当する空間に対して該当する対象行動が認識対象とされていないことを示している。

　例えば、１行目に示す拭き掃除は、玄関、キッチン、リビング、ダイニング、バスルーム、及び洗面所において認識対象となる。

　拭き掃除は全空間で行われる可能性が高いため、全空間において認識対象とされている。掃き掃除はバスルームで行われる可能性が低いため、バスルーム以外の空間で認識対象とされている。歯磨きは水回りの空間で行われる行動であるため、キッチン、バスルーム、及び洗面所において認識対象とされている。

　料理を開始するは、キッチン以外では行われないため、キッチンのみが対象空間とされている。コーヒーを淹れるは、コーヒーメーカがキッチンのみならずダイニングにも置かれる可能性があるため、キッチン及びダイニングが認識対象とされている。

　ノートＰＣの使用は、ノートＰＣがダイニング、リビング、及びベッドルームで使用される可能性があるため、これらの空間において認識対象とされている。

　洗濯は洗濯機が洗面所に設置されることを想定して、洗面所において認識対象とされている。読書は人が座る空間において行われる可能性が高いため、リビング、ダイニング、及びベッドルームにおいて認識対象とされている。食事はダイニングのみならずリビングで行われる可能性もあるため、リビング及びダイニングにおいて認識対象とされている。歩くは全空間で行われるため、全空間において認識対象とされている。

　行動選択部１０２は、このような行動選択テーブルＴ１を参照することで空間に対応する対象行動を選択できるため、空間に対して適切な対象行動を容易に選択することができる。

　図５は、認識器選択テーブルＴ２の構成の一例を示す図である。認識器選択テーブルＴ２は、複数の対象行動と、各対象行動を認識する際に使用される認識器１１１とを対応付けて記憶する。認識器選択テーブルＴ２において、〇マークは該当する対象行動に対して使用される認識器１１１を示し、×マークは該当する対象行動に対して使用されない認識器を示している。対象行動は、図４に示す対象行動と同じである。姿勢推定、物体検出、顔検出、頭向き推定、年齢性別推定、個人推定、及びトラッキングのそれぞれは、対応する認識器１１１により個別に実行される。

　例えば、拭き掃除は、個人を特定する必要がないため、顔検出、頭向き推定、年齢性別判定、及び個人推定の認識器１１１は使用されず、姿勢推定、物体検出、及びトラッキングの認識器１１１が使用される。

　掃き掃除は拭き掃除と同様の理由により、姿勢推定、物体検出、及びトラッキングの認識器１１１が使用される。歯磨きは、個人の特定及び移動が重要でないため、年齢性別推定、個人推定、及びトラッキング以外の認識器１１１が使用される。

　料理を開始するは、全ての認識器１１１が使用される。例えば、料理は母がする場合が多いことが想定されるため、料理を開始するでは、母か否かを推定するために年齢性別推定及び個人推定の認識器１１１が使用される。

　コーヒーを淹れるは、料理を開始するとは異なり父又は子供が淹れることも想定され、移動は重要ではないので、年齢性別推定、個人推定、及びトラッキング以外の認識器１１１が使用される。

　ノートＰＣの使用は、ＰＣを使用しながら人が動くことは稀であるため、トラッキング以外の認識器１１１が使用される。洗濯は、洗濯機が設置されている場所が固定されているため、トラッキング以外の認識器１１１が使用される。読書は、個人の特定が不要であり、動きもないため、年齢性別推定、個人推定、及びトラッキング以外の認識器１１１が使用される。

　食事は、誰でも行い、頭向きは重要でなく、移動も想定されないため、姿勢推定及び物体検出の認識器１１１が使用される。歩くは、物体が関与せず、頭向き、及び個人の特定は重要ではないため、姿勢推定及びトラッキングの認識器１１１が使用される。上記以外の未知の行動を検出する場合、全ての認識器１１１が使用される。

　次に、各対象行動の認識に使用される認識器１１１の有効性について説明する。

　姿勢推定は、対象行動に応じた姿勢を検出することが可能であるため、全ての対象行動の認識に有効である。また、頭向き推定のためには、顔検出が必要である。つまり、頭向き検出は顔検出に依存する。

　拭き掃除では、掃除機等の掃除道具の検出に物体検出が有効であり、複数の箇所を移動しながら掃除が行われるため、トラッキングが有効である。

　掃き掃除では、拭き掃除と同様、物体検出及びトラッキングが有効である。

　歯磨きでは、歯ブラシ及び鏡の検出に物体検出が有効であり、頭の向きが鏡の方向を向く傾向があるため、頭向き推定が有効である。

　料理を開始するでは、調理器具及び食材の検出に物体検出が有効であり、頭の向きがキッチン又はシンクを向く傾向があるため頭向き推定が有効である。また、料理を開始するは、母が良く料理をするというように料理頻度が高い個人を特定するために年齢性別推定及び個人推定が有効であり、キッチンでシンクからコンロまで移動することがあるためトラッキングが有効である。

　コーヒーを淹れるでは、コーヒーメーカ及びコーヒーカップを検出するために物体検出が有効であり、頭の向きがコーヒーメーカの方を向いているか否かを検出するために頭向き推定が有効である。

　ノートＰＣの使用ではノートＰＣの検出に物体検出が有効であり、頭の向きがノートＰＣの方を向いているか否かの検出に頭向き推定が有効であり、ノートＰＣは仕事で使用することもあるため年齢性別及び個人推定が有効である。

　洗濯では、洗濯器の検出に物体検出が有効であり、頭の向きが洗濯器の方を向いているか否かの検出に頭向き推定が有効であり、母が良く洗濯をするというような個人を特定するために年齢性別推定及び個人推定が有効である。

　読書では、本の検出に物体検出が有効であり、頭の向きが本の方を向いているか否かの検出に頭向き推定が有効である。

　食事では、料理の検出に物体推定が有効である。

　歩くでは、連続した移動を捉えるためにトラッキングが有効である。

　これらの対象行動以外においては、有効か否かは不明なため、全ての認識器１１１が選択される。

　行動認識装置１が認識対象とする対象行動は空間と関連している。例えば、「料理を開始する」は、キッチンという空間に強く関連しており、この空間の情報が行動認識に有用である。つまり、対象行動に対し、特定の物体又は頭向き等に対して重み付けをすれば、対象行動の検出精度がさらに向上する。そこで、本実施形態において、結合器１２１は、対象行動に応じた重み係数を特徴量に設定する。

　図６は、結合器１２１が特徴量に対して重み係数を設定する際に参照する重みテーブルＴ３の一例を示す図である。重みテーブルＴ３は、複数の対象行動と各対象行動に対するクラスインデックス、ラベル、空間情報、物体情報、頭向き情報、空間情報の重み係数Ｗｒ、物体情報の重み係数Ｗｅ、及び重み付けの内容とを対応付けて記憶する。ここでは、対象行動として、図４で例示した料理を開始するに加えて拭き掃除が例示されている。ここでは、図示を省略しているが、実際には、図４で例示した各対象行動に関するレコードも重みテーブルＴ３には登録されている。

　クラスインデックスは、各対象行動に対して一意に付与されたインデックスである。ここでは、クラスインデックスは連番で付与されている。ラベルは、出力部１０６が出力する対象行動のラベルである。ここでは、ラベルとして、「料理を開始する」及び「拭き掃除」が例示されている。ここでは、図示は省略しているが、重みテーブルＴ３には、図４で例示した各対象行動のラベルが登録されている。空間情報は対象行動が行われる空間の情報である。ここでは、「料理を開始する」に対してはキッチンというように、行動選択テーブルＴ１で規定された対象行動に対する空間が登録されている。

　物体情報は該当する対象行動に関連する物体を示す情報である。例えば、「料理を開始する」に対する物体情報は、冷蔵庫、電子レンジ、ガスコンロ、及びオーブンの少なくとも１つが該当する。頭向き情報は物体情報で記載した物体と頭向きとの関係を示す情報である。例えば、「料理を開始する」に対する頭向き情報は、冷蔵庫、電子レンジ、ガスコンロ、及びオーブンの少なくとも一つに頭が向くことである。これらの物体に対して頭が向いているか否かの判定は、上述した方向ベクトルと、物体の重心との関係に基づいて行われる。

　空間情報の重み係数Ｗｒは、対象行動が行われる空間に対する重み係数である。ここでは、行動選択テーブルＴ１において〇マークが付された空間に対しては重み係数が「１」、×マークが付された空間に対しては重み係数が「０」に設定される。例えば、「料理を開始する」は、行動選択テーブルＴ１においてキッチンに〇マークが付されているため、キッチンに対する重み係数Ｗｒは「１」、それ以外の空間に対する重み係数Ｗｒは「０」になる。

　物体情報の重み係数Ｗｅは、検出された物体に対する重み係数であり、該当する物体が検出された場合に「１」、それ以外の場合は「０」になる。一つの物体に対して複数の特徴量が抽出されている場合は、複数の特徴量のそれぞれに対して１または０が設定される。重み付けの内容は、検出された物体と頭向きとの関係に応じて設定される重み係数の内容を示す。

　以下、図４で示す、姿勢推定、物体検出、及び頭向き推定の３つの認識器１１１から出力される特徴量を例に挙げて、結合器１２１による重み付けについて説明する。ここでは、結合器１２１が最終的に出力するベクトルをＶｏとする。また、各認識器１１１が出力する特徴量もベクトルであるとする。なお、出力ベクトルＶｏは一次元ベクトルに限らず、多次元のテンソルでも良い。重み付けをしない場合、出力ベクトルＶｏは式（１）で表される。

　姿勢推定の認識器１１１、物体検出の認識器１１１、頭向き推定の認識器１１１が出力する特徴量をそれぞれ、Ｖｐ、Ｖｏｂ、Ｖｈとする。重み付けがない場合の出力ベクトルＶｏは、特徴量Ｖｐ、Ｖｏｂ、Ｖｈを連結すればよい。出力ベクトルＶｏの要素数は特徴量Ｖｐ、Ｖｏｂ、Ｖｈの要素数の総和となる。記号＜＞は＜＞内のベクトルを、連結後もベクトルの方向に連結することを表す。

　これに対して、重み付けをする場合、出力ベクトルＶｏは式（２）で示される。重み付けをする場合、重み付けをしない場合と同様に、出力ベクトルＶｏ´は、各認識器１１１のベクトルを連結することで生成される。この際、各認識器１１１の特徴量に対して重み付けが行われる。したがって、出力ベクトルＶｏ´の要素数は重み付けがない場合と同じである。

　式（２）において、〇の中に「・」が付された記号はブロードキャスト演算を示し、〇の中に×が付された記号はアダマール積を示す。

　Ｗｒ、Ｗｐ、Ｗｏｂ、Ｗｈはそれぞれ部屋の重み係数、姿勢推定の重み係数、物体検出の重み係数、及び頭向き推定の重み係数である。重み係数Ｗｐは特徴量Ｖｐに対してブロードキャスト演算され、重み係数Ｗｏｂは重み係数Ｗｅと特徴量Ｖｏｂとのアダマール積に対してブロードキャスト演算され、重み係数Ｗｈは特徴量Ｖｈに対してブロードキャスト演算される。ブロードキャスト演算は、重み係数（スカラ値）とベクトルの各要素との積を取る演算である。重み係数Ｗｅは物体の重み係数であり、特徴量Ｖｏｂと同じ要素数を持つ。

　例えば、対象行動が料理を開始するであり、入力画像データＤ１がキッチンで撮影された画像データであり、特徴量Ｖｏｂに冷蔵庫のラベルが含まれ、特徴量Ｖｈに冷蔵庫を向く方向ベクトルが含まれていたとする。この場合、結合器１２１は、重みテーブルＴ３を参照し、重み係数Ｗｒを「１」、重み係数Ｗｅを「１」、重み係数Ｗｈを「５」、及び重み係数Ｗｏｂを「１」に設定する。

　ここでは、説明を簡単にするため、対象行動が一つの場合を例に挙げて、式（２）の重み付けを説明した。対象行動が２つ以上の場合、結合器１２１は各対象行動に対して式（２）の重み付けを行い、重み付け後の特徴量を分類器１２２に入力すればよい。分類器１２２は、各対象行動に対して個別に尤度を算出すればよい。例えば、「料理を開始する」と「拭き掃除」との２つの行動を認識する場合、結合器１２１は、式（２）の各重み係数を「料理を開始する」に対応する値に設定し、次に、式（２）の重み係数を「拭き掃除」に対応する値に設定すればよい。

　対象行動が２つ以上の場合の別法として、例えば「料理を開始する」と「掃き掃除」のそれぞれの場合における重み係数の算術平均、算術和、又は論理和をとることで重み係数を統合する方法が採用可能である。

　図７は、実施の形態に係る行動認識装置１におけるリスト情報２０５の生成処理の一例を示すフローチャートである。リスト情報２０５の詳細は後述する。なお、図７のフローチャートは、例えば行動認識装置１が宅内に設置されたときに実行される。また、図７のフローチャートは、例えば間取り情報２０２又は位置情報２０３が変更されたときに実行されてもよい。

　まず、第１取得部１０１は行動選択テーブルＴ１（対象行動情報２０１）を取得してメモリ２００に格納する（ステップＳ１０１）。次に、第１取得部１０１は間取り情報２０２を取得し、メモリ２００に格納する（ステップＳ１０２）。

　次に、第２取得部１０３は、画像センサ２の位置情報２０３を取得し、メモリ２００に格納する（ステップＳ１０３）。画像センサ２が複数ある場合、第２取得部１０３は各画像センサ２の位置情報２０３を取得すればよい。

　次に、行動選択部１０２は、位置情報２０３と間取り情報２０２とを用いて画像センサ２が設置された空間を特定する（ステップＳ１０４）。例えば、行動選択部１０２は、間取り情報２０２に含まれる複数の空間のうち、位置情報２０３が示す座標データがどの空間に位置するかを調べることによって、空間を特定すればよい。また、複数の画像センサ２に対する位置情報２０３が取得された場合、行動選択部１０２は、各位置情報２０３に対応する空間を特定すればよい。

　次に、行動選択部１０２は、行動選択テーブルＴ１を参照し、特定した空間に対応する対象行動である候補行動を選択する（ステップＳ１０５）。ここで、複数の空間が特定された場合は各空間に対応する１又は複数の候補行動が選択される。また、選択された候補行動が複数の場合、各候補行動に対応する認識器１１１が選択される。

　次に、認識器選択部１１０は、選択した候補行動に対応する認識器１１１を選択する（ステップＳ１０６）。この処理の詳細は図８を用いて後述する。

　次に、認識器選択部１１０は、各画像センサ２の識別子と、各画像センサ２が撮影した画像データ２０４から認識される候補行動と、候補行動の認識に使用される認識器１１１とを対応付けたリスト情報２０５を生成し、メモリ２００に格納する（ステップＳ１０７）。以上によりリスト情報２０５が生成される。

　図８は、図７のステップＳ１０６の処理の詳細を示すフローチャートである。まず、認識器選択部１１０は、ステップＳ１０１で取得された対象行動のラベルを取得する（ステップＳ２０１）。次に、認識器選択部１１０は、認識器選択テーブルＴ２を参照し、対象行動の認識に使用される認識器１１１を選択する（ステップＳ２０２）。ここで、対象行動が複数の場合、対象行動毎に認識に使用される認識器１１１が選択される。次に、認識器選択部１１０は、依存する認識器１１１を選択する（ステップＳ２０３）。ここで、どの認識器１１１がどの認識器１１１に依存するかは、後述する事前知識テーブルＴ４の認識器の依存関係の項目を参照することで決定される。

　図９は、行動認識装置１における行動認識処理の一例を示すフローチャートである。図９は、ある１つの画像センサ２から１フレームの画像データ２０４が撮影されたときの処理が示されている。したがって、画像センサ２が複数の場合、図９の処理は各画像センサ２よって撮影された画像データ２０４に対して並列的に実行される。また、図９の処理は、１フレームの画像データ２０４が撮影される都度、実行されてもよいし、複数フレームの画像データ２０４が撮影される都度、実行されてもよい。

　まず、第２取得部１０３は、画像センサ２が撮影した画像データ２０４を取得し、メモリ２００に格納する（ステップＳ３０１）。

　次に、認識器選択部１１０は、リスト情報２０５を参照し、画像データ２０４を撮影した画像センサ２の識別子に対応付けられた候補行動のうち、１の候補行動を選択する（ステップＳ３０２）。これにより、空間に対応する候補行動が選択されることになる。

　次に、認識器選択部１１０は、リスト情報２０５を参照し、１の候補行動の認識に使用される認識器１１１に画像データ２０４を入力し、認識器１１１に特徴量を算出させる（ステップＳ３０３）。算出された特徴量は結合器１２１に入力される。

　次に、結合器１２１は、１の候補行動に対応する重み係数で入力された特徴量を重み付ける（ステップＳ３０４）。

　次に、結合器１２１は、重み付け後の特徴量を連結する（ステップＳ３０５）。連結された特徴量は、分類器１２２に入力される。次に、分類器１２２は、入力された特徴量の尤度を算出する（ステップＳ３０６）。

　次に、認識器選択部１１０は、全候補行動が選択済みか否かを判定する（ステップＳ３０７）。全候補行動が選択済みでなければ（ステップＳ３０７でＮＯ）、処理はステップＳ３０２に戻り、次に選択された１の候補行動に対する尤度が算出される。

　一方、全候補行動が選択済みの場合（ステップＳ３０７でＹＥＳ）、出力部１０６は、各候補行動に対して算出された尤度のうち、最大の尤度を持つ候補行動のラベルを認識結果として出力する（ステップＳ３０８）。なお、ステップＳ３０８では、尤度が最大の候補行動のラベルのみならず、尤度の降順にｋ個の候補行動のラベルを出力してもよい。例えば、ｋが５であれば、上位５クラスの出力となる。

　このように、本実施の形態によれば、画像センサ２の位置情報２０３と間取り情報２０２とに基づいて対象行動の中から認識対象となる候補行動が選択され、候補行動に対する認識結果が算出されている。そのため、空間に依存する人の行動を精度よく認識することが可能となる。

　（認識器の選定）
　次に、認識器の選定方法について説明する。従来のＤＮＮによる行動認識方法は、大きく分けて２種類のアプローチがある。

　第一のアプローチは、汎用的な特徴抽出層である、畳み込み層及びプーリング層を複数用いて、入力データから行動の特徴量を抽出する行動認識方法である。この行動認識方法では、抽出した特徴量から、所与の行動の尤度が算出される。しかしながら、この行動認識方法は、計算コスト及び認識精度との両方において優れたアプローチではない。

　第二のアプローチは、認識すべき行動に寄与する特徴量をヒューリスティックに設計し、第一のアプローチと同様に、抽出した特徴量から、所与の行動の尤度を算出する行動認識方法である。このヒューリスティックな設計の詳細な説明を以下、説明する。

　画像処理分野において、人の表現として骨格情報（肩及び膝のような関節間を直線で結んだ表現）が使用され、物体の位置表現として外接矩形（バウンディングボックス）が広く使用さている。このため、前述の骨格情報又は外接矩形を利用したヒューリスティックな行動認識方法が提案されている。しかしながら、骨格情報と外接矩形との表現はともに、行動認識の特徴量として考案されたものではない。したがって、ヒューリスティックな試行錯誤の結果に基づいて、行動認識方法が決定される。また、ＤＮＮの学習及び評価に多大な時間が必要なため、試行される条件は限定的である。このようなヒューリスティックな試行錯誤が実施される背景として、認識すべき行動が従来の認識対象と同じか類似しており、従来の認識で使用されていた特徴量を参考にできるためである。特に、公開データセットを学習に使用する場合、認識すべき行動はデータセットで規定されたクラスとなる。

　さらに、従来のＤＮＮによる行動認識方法は、認識すべき行動が従来の認識対象に含まれない場合においても、効果的なアプローチではない。したがって、認識すべき行動に即した特徴の抽出が、効率的な行動認識において必要である。そのためには、認識すべき行動の学習データが与えられた時に、特徴量の抽出方法を決定できる構成が必要となる。

　ＤＮＮによる行動認識は、センサデータをＤＮＮで処理することで、所与の行動の尤度を算出する。単一行動のラベルを取得する場合、尤度が最大となる行動のラベルを選択する。複数のＤＮＮ又は特徴抽出器から各行動の尤度を算出する場合、特徴量のデータ量が大きい程、認識精度が高くなる保証はない。これは、特徴量の中に、認識精度に貢献せずに、ノイズのように振る舞う成分が含まれる可能性が高くなるからである。同様に、使用するＤＮＮ又は特徴抽出器の個数が増加した場合も、必ずしも精度が向上するとは限らない。つまり、ＤＮＮ又は特徴抽出器の個数を認識すべき行動に適した情報が得られる個数に設定することが重要となる。

　計算コストを考慮する場合、所望の認識精度を実現する構成の中から、最も計算コストが少ない構成を選択することが重要である。但し、典型的なＤＮＮ又は特徴抽出器は、内部処理に非線形変換を含むため、認識精度を解析的に算出することはできない。換言すれば、ある構成における認識精度を得るためには、データセットを用意し、実際に認識処理を実行する以外の方法はない。このような認識精度を得るための計算コストは大きく、限られた条件数しか試すことはできない。

　上記で述べたように、計算コストの大きいＤＮＮを用いた行動認識をリアルタイム処理に使用するには、使用するＤＮＮ又は特徴抽出器の構成が重要となる。

　畳み込みの処理をするＤＮＮの層（畳み込み層）の計算コストを以下に説明する。数学における畳み込み処理と同様に、畳み込み層は所与のカーネルを入力画像データに対し適用することで出力を得る。畳み込み層は１フレームの二次元の画像データに対して適用する二次元畳み込みと、Ｎフレーム（Ｎはフレーム数）の二次元の画像データに対して適用する三次元畳み込みが存在する。畳み込みの重み係数のパラメータ数Ｗｃは、カーネルサイズをｋ、畳み込み次元数をｄ（２次元畳み込みの場合は２、３次元畳み込みの場合は３）、入力のチャンネル数をＣｉ、出力のチャンネル数をＣｏとすると、式（３）で表せる。

　畳み込み計算に必要な乗算数Ｕｃは、カーネルの移動量であるストライド数をｓとすると、式（４）で表せる。説明を簡単にするため、画像の縦方向と横方向の処理は同一とする。

　一方、全結合層の重み係数の個数Ｗｆｃは、式（５）で示すように入力チャンネル数Ｃｉと出力チャンネル数Ｃｏとの積になる。

　全結合層の計算に必要な乗算数Ｕｆｃは、式（６）に示すように重み係数の個数Ｗｆｃと等しい。

　重み係数の個数Ｗｆｃは実行に必要なメモリ数に相当し、乗算数は実行に必要な演算数に相当する。式（５）に示すように、畳み込みの演算数は、カーネルに起因する乗算により全結合より大きくなる。３次元畳み込みの場合、重み係数の個数、乗算数がともに増大する。したがって、図２で示すような多層からなる畳み込み層を中心としたＤＮＮの計算コストは大きくなり、デスクトップ型の計算機にグラフィックスプロセスユニット（ＧＰＵ）を用いた場合においても、リアルタイム処理とみなせる２４ｆｐｓ（一般的な映画相当）の処理が困難な場合もある。認識精度向上のために、ＤＮＮを複数使用した場合、リアルタイム処理はさらに困難になる。

　従来のＤＮＮの計算コストが大きい理由は、ネットワークを構成する層を主に直列に並べ、その大半の層が畳み込み層からなる点にある。ネットワークの中間層においても、重み係数の個数が多く、乗算数も増加している。中間層の出力は人間による解釈が困難なテンソルとなっており、中間層の出力が必ずしも認識に最適な表現となっていない。換言すると、中間層に必要以上の重み係数が存在し、乗算数も増加している。すなわち、中間層において、人の行動或いは空間の状態を少ないパラメータで効果的に表現することにより、重み係数の個数の減少及び乗算数の減少を図ることが可能となる。

　人の行動を識別する場合を考えると、密なデータである入力画像ではなく、人の骨格情報からも行動を推定することは可能である。例えば、包丁で食材を切るという行動は、特徴的な手の上下移動の反復である。入力画像データの表現に必要なデータ数（バイト数）は、８ｂｉｔの画像データの場合、画像データの縦の長さと横の長さとチャンネル数との積となる。一方、二次元の骨格情報であれば、骨格の頂点（例えば、１７点）の個数と、骨格の頂点の座標データ（ｘ，ｙ）の成分数との積である３４で表現可能となる。

　上記を考慮し、以下、本発明の実施の形態における認識器１１１の選定方法を説明する。認識対象となる人の行動は例えば、歩く、走る、立つ、会話する、掃除する、料理を開始するといった動作の他、例えば、寝ている、横になっている、座っている、テレビを見ている等の静止した行動も含まれる。

　まず、認識器１１１の選択肢が多いことについて説明する。第１行動認識部１０４で使用する認識器１１１の個数は少なくとも一つである。第１行動認識部１０４がＮ個の認識器１１１を保持し、Ｍ個の認識器１１１を選択する場合の認識器１１１の組み合わせはＮの階乗オーダーとなる。Ｎの階乗オーダーは指数関数よりも発散が速い。学習時間を考慮すると、Ｎが５程度より大きくなると全ての認識器１１１の組み合わせを学習することが困難になる。

　次に、認識器１１１の組み合わせに関する問題を、数学的な問題として表現する。選択された認識器１１１の組み合わせ毎に、学習を行うことで認識精度と計算コストとが得られる。満たすべき認識精度（例えば、７０％）が与えられ、その認識精度を満たす中で、計算コストが最小となる組み合わせを探すことは、条件付きの組み合わせ最適化問題となる。このような組み合わせ最適化問題は、組み合わせの個数が全探索の困難な個数になると、解析的に解くことができなくなる。したがって、準最適解を探索することになる。なお、組み合わせ最適化問題に対する万能なアルゴリズムは存在しない。

　そこで、認識器１１１の選択を効率的に探索するために、事前知識と貪欲法とに基づき認識器１１１を選択する。

　まず、事前知識に関して説明する。図１０は、認識器１１１に関する情報を纏めた事前知識テーブルＴ４のデータ構成を示す図である。このテーブルはメモリ２００に記憶されている。事前知識テーブルＴ４は、認識器１１１の識別番号、認識内容、入力センサデータ、相対計算コスト、及び認識器の依存関係に関する項目を有する。各項目について説明する。識別番号は登録されている認識器１１１に対して重複のない番号（例えば、連番）が与えられ、組み合わせ探索におけるインデックスまたはハッシュとなる。認識内容は、認識器１１１が認識する内容である。入力センサデータは認識器１１１が推論をするために必要となるセンサデータであり、０個以上である。０を含むのは、依存する他の認識器１１１が算出した特徴量のみで推論する認識器１１１は、センサデータを必要としないためである。相対計算コストは、認識器１１１の計算コストの相対値である。相対計算コストは、基準となる計算機で実行されたベンチマーク結果を元に算出された相対値である。なお、相対計算コストは、複数の計算機のベンチマーク結果に基づいて算出されてもよいし、ベンチマーク結果そのものである絶対値が採用されてもよい。

　認識器の依存関係は、他の認識器１１１に依存するか否かを示す情報である。例えば、識別番号が４～６の認識器１１１は識別番号が３の認識器１１１に依存する。これは、頭向き推定、年齢性別推定、及び個人推定を行う場合、顔検出の結果が利用されるからである。

　なお、手又は足の検出する認識器１１１のように、人の特定領域を検出する認識器１１１が用いられてもよい。また、画像の範囲を示すマスクのような密なデータを出力する認識器１１１が用いられてもよい。

　次に、貪欲法について説明する。貪欲法とは、部分的な情報に基づき、最良な選択をする手法である。認識器１１１の選定では、まず、事前知識テーブルＴ４に含まれる各認識器１１１について、認識器１１１を一つのみ選択した時の認識精度を、学習データを用いて計算する。ある一つの認識器１１１のみ使用した場合の認識精度が高い場合、その認識器１１１を他の認識器１１１と組み合わせて使用した場合の認識精度も高いことが期待される。但し、その保証はない。貪欲法では、認識器１１１を一つのみ使用した場合の認識精度が高い場合、その認識器１１１を他の認識器１１１と組み合わせて使用した場合の認識精度も高いと仮定し、評価対象となる認識器１１１の組み合わせの優先順位が決定される。具体的には、認識器１１１を一つのみ使用した場合の認識精度の降順に認識器１１１をソートし、先頭の認識器１１１から優先的に評価する。例えば、先頭を１番目の認識器１１１とし、順にインデックスを振った場合、１と２、１と３、１～３、１～４、のように、先頭に近いインデックスを優先的に使用する。より詳細なインデックスの選択方法は、先頭からＸ番目のインデックスまで考慮するパラメータＸと、Ｙ個までのインデックスの選択を許容するパラメータＹで表現できる。このＸとＹのパラメータは推論を実行する計算機の性能に応じて決定され、一例として、Ｘ＝４、Ｙ＝３がある。図５に示す認識器選択テーブルＴ２は、例えば以上のような認識器１１１の選定結果に基づいて作成される。

　（分類器の選定）
　次に、分類器１２２の選定について説明する。第１行動認識部１０４が出力する特徴量は骨格情報のように、少ないパラメータをベクトル化したデータであるため、ＣＮＮを用いなくても識別可能である。分類器１２２はＣＮＮに比べて計算処理量が大幅に少ない。複数の分類器の候補に対して交差検証（クロスバリデーション）を行い、正確度（Ａｃｃｕｒａｃｙ）又はＦ１スコアが最大となる分類器１２２を選定すればよい。候補となる分類器１２２は、例えばロジスティクス回帰、サポートベクターマシン（ＳＶＭ）、決定木、ランダムフォレスト、ｋ近傍法、ガウシアンナイーブベイズ、パーセプトロン、又は確率的降下法を用いた分類器である。

　（分類器の学習）
　次に、分類器１２２の学習について説明する。分類器１２２は対象行動のラベルを含む学習データを用いて学習すれば良い。例えば、「料理を開始する」と「料理を開始していない」とのそれぞれのラベルに対して学習データとなる動画の画像データを用意する。用意した画像データを用いて、図９に示す行動認識処理を行動認識装置１に実行させ、得られたラベルと学習データの正解ラベルとを比較し、その誤差が最小になるように、分類器１２２の重みを更新する。

　（シミュレーション）
　次に、行動認識装置１が、既存の行動推定ＡＩより計算処理量が少ないことを確認するために行ったシミュレーションについて説明する。

　このシミュレーションでは、既存の認識器１１１としてＣＮＮが用いられた。具体的には、姿勢推定の認識器１１１として「１：ＰｏｓｅＮｅｔ」を用い、物体検出の認識器１１１として、「２：ＳＳＤ」を用い、顔検出の認識器１１１として「３：ＲｅｔｉｎａＦａｃｅ」を用い、頭向き推定の認識器１１１として「４：ＤｅｅｐＨｅａｄＰｏｓｅ」を用いた。分類器１２２としては確率的降下法の分類器が用いられた。一方、既存の行動推定ＡＩとして「５：ＲｅｐｒｅｓｅｎｔａｔｉｏｎＦｌｏｗＮｅｔ」が用いられた。

　入力画像データとしては、３名の人を含む１枚のカラーの画像データが用いられた。この画像データは、解像度が６４０×４８０、チャンネル数が３、分解能が８ｂｉｔであった。分類器１２２の計算コストは、識別するクラス数によらず、既存の認識器１１１に比べて十分小さいため無視した。

　計算機は、グラフィックスプロセスユニット（製品型番：Ｇｅｆｏｒｃｅ　ＧＴＸ　１０８０Ｔｉ）による計算補助を含むデスクトップ型のパーソナルコンピュータが使用された。

　図１１は、既存の認識器１１１を個別に実行した場合の１フレームあたりの処理時間を纏めたテーブルである。シミュレーションでは、図１１の処理Ａ（姿勢推定）、処理Ｂ（物体検出）、処理Ｃ（頭向き検出）のそれぞれの認識器１１１を実行したときの処理時間が計測された。処理Ｃの処理時間は頭向き推定と顔検出との処理時間が含まれる。処理Ａ、Ｂ、Ｃは互いに独立した処理のため、並列実行可能である。オーバーヘッドを無視した場合、処理Ａ、Ｂ、Ｃのうち処理時間の最大値は処理Ｃの０．０４５５秒であった。一方、処理Ａ、Ｂ、Ｃを逐次処理した場合の全体の処理時間は０．０７２５秒であった。

　これに対し、処理Ｄ（既存の行動推定ＡＩ）のの処理時間は０．１４２９秒であった。したがって、処理Ａ、Ｂ、Ｃを並列処理した場合の処理速度は、処理Ｄの３倍であった。処理Ａ、Ｂ、Ｃを逐次処理した場合の処理速度は処理Ｄの２倍であった。このように、複数の認識器１１１を用いた方が、既存の行動推定ＡＩよりも処理速度が大幅に速くなることが確認できた。

　次に、行動認識装置１の認識精度を評価するために行われたシミュレーションについて説明する。このシミュレーションでは、入力画像データとして図１２に示す５本の動画の画像データが用いられた。図１２は、入力画像データを纏めた表である。ビデオＩＤは５本の動画を識別するための識別子である。図１２では、各動画について「料理を開始する」のフレームと「料理を開始していない」のフレームとのそれぞれの総数が示されている。

　図１３は、行動認識装置１の認識精度を評価するために行われたシミュレーションの結果を纏めた表である。図１３において、例えば処理Ａ＋Ｂ＋Ｃは、第１行動認識部１０４を処理Ａの認識器１１１、処理Ｂの認識器１１１、処理Ｃの認識器１１１で構成した場合を示し、例えば処理Ａ＋Ｂは、第１行動認識部１０４を処理Ａの認識器１１１と処理Ｂの認識器１１１とで構成した場合を示している。このシミュレーションでは、図１３で示す処理Ａ～Ｃの組み合わせのそれぞれについて、８種類の分類器１２２のそれぞれの認識精度及び処理時間が計測された。８種類の分類器１２２は、ロジスティクス回帰、サポートベクターマシン、決定木、ランダムフォレスト、ｋ近傍法、ガウシアンナイーブベイズ、パーセプトロン、及び確率的降下法である。このシミュレーションでは、８種の分類器１２２のうち、確率的降下法の分類器１２２を採用した場合の処理時間が最も短く、認識精度も最大であった。

　また、確率的降下法の分類器１２２を用いた場合において、図１３に示す処理Ａ～Ｃの各組み合せのうち認識精度の平均値は８８．５％であった。この結果は、行動認識装置１の認識精度が「料理を開始する」と「料理を開始していない」との２クラス分類をランダムに推定した場合の認識精度の期待値である５０％より高いことを示す。したがって、このシミュレーション結果から行動認識装置１は、行動を認識できることが確認できた。

　図１３に示す各組み合わせのうち、認識精度が最良なのは、処理Ａ＋Ｃで８８．８％であった。しかし、処理Ａのみでも８８．７％の認識精度が得られた。仮に認識精度の閾値を８８．７％とすると、処理Ａのみ用いた場合、計算コストが最小になる。処理Ａ＋Ｂ＋Ｃが最良ではないのは、精度の向上に貢献しない認識器１１１があり、その認識器１１１がノイズ源のように振る舞ったからである。

　以上のシミュレーション結果は、一例であり、第１行動認識部１０４を構成する各認識器１１１は上述したものに限定されず、対象行動に応じて適宜最適な認識器１１１が採用される。また、分類器１２２も確率的降下法以外の分類器１２２が採用されてもよい。

　（変形例）

　（１）上記実施の形態では、行動認識装置１は、単体で構成されたが、本開示はこれに限定されず、複数の装置で構成されてもよい。図１４は、本開示の変形例に係る行動認識装置１Ａの構成の一例を示すブロック図である。行動認識装置１Ａは、サーバで構成されている。行動認識装置１Ａは、通信部５００をさらに備える。通信部５００は、出力部１０６が出力する認識結果をネットワークＮＴ及びゲートウェイ７００を介して家電機器６００に送信する。通信部５００は、宅内に設置された画像センサ３００が撮影した画像データを受信する。ネットワークＮＴは、例えばインターネット等の広域通信網である。ゲートウェイ７００は宅内に設置され、画像センサ３００及び家電機器６００をネットワークＮＴに接続する。家電機器６００は、洗濯機、電子レンジ、及びテレビ等である。家電機器６００は、行動認識装置１Ａから送信された行動の認識結果を利用した制御を実行したり、認識結果を表示したりする。このように、行動認識装置１Ａはサーバで構成された場合においても、宅内の人の行動を認識できる。

　（２）上記実施の形態では、入力データとして画像データが用いられたがこれに加えて、熱画像データ、奥行画像データ、音声データ、室温データ、湿度データ、照度データ、無線の電波のデータのうちの少なくとも１つが用いられてもよい。

　（３）宅内における人の行動を宅内に設置したカメラで認識する場合、カメラの設置位置及びアングルは、固定又は低い頻度で変更されることが想定される。また、カメラの視野角は広角レンズの場合で１１０°程度、狭角レンズの場合はそれ以下となり、あるカメラに映る範囲は設置された空間の一部となる。このため、認識したい行動の発生頻度が高い、或いは発生時の重要度が高い空間が撮影されるようにカメラは設置されることが想定される。これらの想定において、カメラが設置されている空間と、カメラに映る或いは映る可能性がある物体とを事前に知ることができれば、行動の認識精度が向上する。例えば、発生頻度が０の行動は、認識対象から除外することができる。また、移動頻度が低いソファーがカメラに映っている場合はそこに座るという行動が発生する頻度が高いことが想定される。また、移動可能な椅子が空間内に存在している場合、椅子に座るという行動の頻度が高いことが想定される。これにより、図６に示す重みテーブルＴ３の重み係数の値を決定することが可能となる。

　宅内における行動認識において、人と物体との直接的な接触或いは物体の近傍に人がいるという人と物体とのインタラクションが重要である。物体の移動、開閉、操作を伴う物体（後述の第１物体）の設置位置が既知の場合、人がその物体に対してどのような位置関係又は向きにいるかということが、行動認識の判断材料となる。これは人が行動の際に、物体の移動、開閉、及び操作を行うことが多いことに基づく。

　水回り設備に代表される宅内の移動できない設備（後述の第２物体）も行動認識において重要である。料理又は洗面といった水を使用する行動は通常、宅内に設置された設備を使用する。そのため、水回りの設備の位置と、人の位置関係とが行動認識の判断材料となる。これは人の生活において、水を必要とする行動の頻度が高いということに基づく。

　住居は一般的に４～１０個程度の部屋にドア又は固定若しくは可動式の壁で区切られる。また、多層式の住居は、階段等の昇降設備を備える。このため、住居は複数の空間及び多数のドアを含む物体（後述の第３物体）を有する。これらの空間の名称と、ドア又は昇降設備の位置と、人との位置関係が行動認識の判断材料となる。これは、調理又は入浴のように特定の部屋でのみ実施する行動があることに基づく。

　上述したように、物体又は設備がどこにあり、どのように空間が区切られているかという情報が行動認識において重要である。従来、リビングや寝室といった空間名を考慮に入れて行動認識を行う技術はあったが、同じ空間名であっても使われ方は多様であり、リビング又は寝室という空間名のみでは、行動認識の判断材料としては不十分である。そのため、どの空間でどのような人と物体とのインタラクションが起こり得るかを考慮することが重要である。これらのことを踏まえて、以下、本開示の変形例（３）について説明する。

　図１５は、本開示の変形例（３）に係る行動認識装置１Ｂの構成の一例を示すブロック図である。この変形例は、間取り情報２０２に基づいて、間取り特徴量を抽出し、抽出した間取り特徴量に基づいて行動選択テーブルＴ１を生成するものである。この変形例では間取り情報２０２は、建物内の空間の情報に加えて、各空間に設置された物体（設備及び機器）の情報（種別情報及び位置情報）も含んでいる。

　行動認識装置１Ｂは、表示端末４００と所定の通信路を介して通信可能に接続されている。所定の通信路としては、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）が採用できる。また、所定の通信路は、インターネットであってもよい。表示端末４００は、例えば、スマートフォン又はタブレット型コンピュータで構成される。表示端末４００は、例えばユーザにより所持される。ユーザは例えば、画像センサ２の施工者である。施工者は、例えば住居の居住者又は施工業者である。

　行動認識装置１Ｂのプロセッサ１００Ｂは、図１に対してさらに、設置支援部３０１及び間取り特徴量抽出部３０２を含む。間取り特徴量抽出部３０２は、間取り情報２０２に基づいて、建物に設置された物体を抽出し、抽出した物体を、移動可能な第１物体、水回り設備である第２物体、建物の構造物である第３物体のいずれかに分類し、分類した物体のそれぞれについて、設置位置と、分類結果を示す分類情報とが対応付けられた間取り特徴量を抽出する。間取り特徴量は、例えば２次元テーブルで構成される。

　第１物体は、例えば、家具及び電気製品等の移動可能な物体を含む。具体的には、第１物体は、掃除機、コーヒーメーカ、ノートパソコン、椅子、及びソファーなどである。

　第２物体は、例えばシンク及び洗面台等の移動不可能な水回り設備などである。

　第３物体は、玄関、キッチン、リビング、ダイニング、ベッドルーム、バスルーム、昇降設備、及び洗面所等の建物の構造物である。

　設置位置は、例えば建物の玄関を基準とする２次元又は３次元の座標データで構成される。なお、第３物体の設置位置は、第３物体が位置する領域を示す座標データで構成されてもよい。これにより、第１物体及び第２物体が建物内のどの空間に設置するかを判定できる。なお、第１物体及び第２物体の設置位置は、第１物体及び第２物体が位置する座標データに加えて、第１物体及び第２物体が位置する建物の空間の名称を含んでいてもよい。

　分類情報は、間取り情報２０２から抽出される物体が、第１物体～第３物体のいずれに該当するかを示す情報である。

　間取り特徴量抽出部３０２は、抽出した間取り特徴量に基づいて、行動選択テーブルＴ１を生成する。

　例えば、第１物体の設置位置は、ユーザが動作する位置を示す。例えば、コーヒーメーカの設置位置はコーヒーを淹れる行動に対応付けることができる。例えば、電子レンジの設置位置は、ユーザが料理を開始する行動に対応付けることができる。

　また、第２物体は水回り設備であるため、第２物体の設置位置は、水を使用する動作が行われる位置を示す。例えば、シンクの設置位置は、皿を洗う行動に対応付けることができる。

　第３物体の設置位置は、空間の名称と、ユーザの空間への出入りと、ユーザが移動可能な範囲を示す。例えば、浴室のドアの設置位置は入浴動作に対応付けることができる。

　間取り特徴量抽出部３０２は、抽出した間取り特徴量に基づいて、行動選択テーブルを生成する。行動選択テーブルＴ１は、図４に示すように建物内の１以上の空間と各空間においてユーザが行う可能性の高い対象行動とが対応付けられたテーブルである。

　ここで、間取り特徴量抽出部３０２は、間取り特徴量から、各空間にどのような機器又は設備が設置されているかを決定し、決定結果と分類情報とから予め定められたルールを参照することで、行動選択テーブルＴ１を生成すればよい。ルールとしては、例えば、第１物体である電子レンジに対して料理を温める、第１物体であるコーヒーメーカに対してコーヒーを淹れる、第２物体であるシンクに対して皿洗いというように、機器又は設備と機器又は設備で行われる可能性の高い対象行動とが対応付けられたルールが採用できる。

　例えば、キッチンに、電子レンジ、コーヒーメーカ、及びシンクが設置されているとする。この場合、間取り特徴量抽出部３０２は、キッチンについて、料理を開始する、コーヒーを淹れる、皿洗いをするといった対象行動が対応付けられた行動選択テーブルＴ１を生成すればよい。なお、間取り特徴量抽出部３０２は、建物内の他の空間についても同様にして対象行動を対応付ければよい。

　また、ルールは、機器又は設備のみならず、空間自体に対して行われる可能性の高い対象行動を含んでいてもよい。例えば、図４で説明したように、キッチンに対して料理を開始する、洗面所に対して洗濯、リビング、ダイニング、及びベッドルームに対して読書、リビング及びダイニングに対して食事といったルールが採用できる。

　さらに、間取り特徴量抽出部３０２は、抽出した間取り特徴量から図６に示す重みテーブルＴ３に記載された重み係数を設定してもよい。例えば、キッチンに、シンク、冷蔵庫、電子レンジ、及びガスコンロが設置されている場合、キッチンについての重み係数Ｗｅは、シンク、冷蔵庫、電子レンジ、及びガスコンロについて１、それ以外の機器については０に設定すればよい。

　間取り特徴量抽出部３０２は、キッチン以外の他の空間についてもキッチンと同様に重み係数Ｗｅを設定すればよい。

　なお、第１取得部１０１は、このようにして生成された行動選択テーブルＴ１を対象行動情報として取得すればよい。

　設置支援部３０１は、画像センサ２が設置される建物の空間の名称を表示端末４００を介して取得し、空間に関連する特定機器又は特定設備が画像センサ２の視野内に含まれるように画像センサ２を設置する設置ガイダンスを表示端末４００に出力する設置支援部をさらに備える。

　図１６は、玄関５０１に画像センサ２が設置されるシーンを示す図である。図１７は、玄関５０１に画像センサ２が設置されるシーンにおいてユーザと表示端末４００とのインタラクションの一例を示す図である。

　ステップＳＴ１において、表示端末４００は、設定画面を開く操作をユーザから受け付け、画像センサ２の設置が予定される空間を一覧表示する。ここでは、Ａ：玄関、Ｂ：キッチン、Ｃ：リビング、・・・というように画像センサ２が設置される空間の名称が一覧表示される。

　ステップＳＴ２において、表示端末４００は、一覧表示された空間の名称の中から画像センサ２が設置される空間の名称を選択するユーザの操作を受け付ける。表示端末４００は、選択された空間の名称を行動認識装置１Ｂに送信する。ここでは、画像センサ２は玄関５０１に設置されるため、「Ａ：玄関」が選択される。

　ステップＳＴ３において、表示端末４００は、「ドアが映る位置に設置して下さい。設置後、ＯＫを押して下さい。」というように、ユーザに画像センサ２の設置を促すメッセージを表示する。設定画面には、このメッセージに併せて、ユーザが画像センサ２の設置作業が完了したことを表示端末４００に知らせるためのＯＫボタンが表示されている。

　この設置作業により、図１６に示すように、玄関５０１に画像センサ２が設置される。

　ステップＳＴ４において、表示端末４００は、ＯＫボタンを押すユーザの操作を受け付ける。ＯＫボタンを押す操作を受け付けた表示端末４００は、ＯＫボタンが押されたことを示す情報を行動認識装置１Ｂに送信する。

　ＯＫボタンが押されたことを示す情報を取得した設置支援部３０１は、画像センサ２が撮影した画像データを取得し、取得した画像データからドア４０１を検出する処理を実行する。このとき、設置支援部３０１は、表示端末４００に、「ドアを自動検出しています。」というメッセージを表示させる（ステップＳＴ５）。ここで、設置支援部３０１は、所定の認識器を用いてドア４０１を検出すればよい。ドア４０１は玄関５０１における特定設備の一例である。特定設備は、画像センサ２が設置される空間に応じて予め定められている。所定の認識器としては、例えばドア４０１を検出するために予め準備された認識器が採用される。

　図１８は、図１７に続くインタラクションを示す図である。ステップＳＴ６において、表示端末４００は、ドア４０１の検出結果を示すアノテーション情報を設置支援部３０１から取得し、取得したアノテーション情報が示すアノテーション画像を、画像センサ２が撮影した画像に重畳表示する設定画面を表示する。この設定画面には、「自動検出された赤色ドアガイドの位置のドアに合わせるように調整し、ＯＫを押してください」というように、アノテーション画像の修正を促すメッセージが表示されている。アノテーション情報は、例えばアノテーション画像の座標データである。

　図１９は、アノテーション画像Ａ１が重畳された設定画面Ｇ１、Ｇ２の一例を示す図である。設定画面Ｇ１は修正前のアノテーション画像Ａ１を示し、設定画面Ｇ２は修正後のアノテーション画像Ａ１を表示する。アノテーション画像Ａ１は、四角形のバウンディングボックスで構成されている。アノテーション画像Ａ１は所定の色（ここでは、赤色）を有している。設定画面Ｇ１、Ｇ２には、アノテーション画像Ａ１の修正作業の完了を告げるＯＫボタン１９０１が表示されている。

　アノテーション画像Ａ１の左上の頂点には丸マークＰ１が表示され、アノテーション画像Ａ１の右下の頂点には丸マークＰ２が表示されている。

　表示端末４００は、丸マークＰ１、Ｐ２を移動する操作を受け付けると、受け付けた操作に連動させてアノテーション画像Ａ１のサイズを変更する。

　設定画面Ｇ１では認識器によるドア４０１の検出結果であるアノテーション画像Ａ１が表示されている。このアノテーション画像Ａ１は、ドア４０１よりも左斜め上側にずれており、ドア４０１が正しく認識できていないことが分かる。

　ユーザは、アノテーション画像Ａ１の形状がドア４０１の外接矩形となるように、丸マークＰ１、Ｐ２を移動する操作を入力する。これにより、設定画面Ｇ２が得られる。設定画面Ｇ２では、アノテーション画像Ａ１がドア４０１の外接矩形に位置決めされている。

　これにより、設定画面Ｇ１においてドア４０１からずれた位置に表示されていたアノテーション画像Ａ１が、設定画面Ｇ２に示すようにドア４０１の全域を取り囲むように修正される。その結果、認識器がドア４０１の画像上の位置を正確に認識できていない場合においても、認識器にドア４０１の画像上の正しい位置が得られる。

　ステップＳＴ７において、表示端末４００は、アノテーション画像Ａ１の調整が完了したユーザから、ＯＫボタン１９０１を押す操作を受け付ける。この操作を受け付けた表示端末４００は、修正されたアノテーション画像Ａ１の座標データを設置支援部３０１に送信する。この座標データを受信した設置支援部３０１は、修正されたアノテーション画像Ａ１の座標データを玄関５０１に設置された画像センサ２の位置情報２０３と対応付けてメモリ２００に記憶する。

　以後、玄関５０１に対応する対象行動を認識するための認識器１１１は、玄関５０１に設置された画像センサ２により撮影された画像データに対して、座標データが示すアノテーション画像Ａ１を基準にしてユーザの行動を認識する。これにより、認識器１１１は効率良くユーザの行動を認識することができる。

　ステップＳＴ８において、表示端末４００は、設置支援部３０１から座標データを保存したことを示す情報を受信したため、「設定を保存しました。」とのメッセージを表示する。

　ステップＳＴ９において、表示端末４００は、ユーザから設定画面を閉じる操作を受け付ける。これにより、表示端末４００は、設定画面を閉じる。

　図２０は、キッチン５０２に画像センサ２が設置されるシーンを示す図である。図２１は、キッチン５０２に画像センサ２が設置されるシーンにおいてユーザと表示端末４００とのインタラクションの一例を示す図である。

　ステップＳＴ１は、図１７のステップＳＴ１と同じである。ステップＳＴ２において、表示端末４００は、ユーザから画像センサ２の設置場所として「Ｂ：キッチン」を選択する操作を受け付ける。

　ステップＳＴ３は、図１７のステップＳＴ３と同じである。ステップＳＴ４において、表示端末４００は、ＯＫボタンを押すユーザの操作を受け付ける。ＯＫボタンを押す操作を受け付けた表示端末４００は、ＯＫボタンが押されたことを示す情報を行動認識装置１Ｂに送信する。

　ＯＫボタンが押されたことを示す情報を取得した設置支援部３０１は、画像センサ２が撮影した画像データを取得し、取得した画像データから冷蔵庫４０２を検出する処理を実行する。これにより、設置支援部３０１は、表示端末４００に、「冷蔵庫を自動検出しています。」というメッセージを表示させる（ステップＳＴ５）。ここで、設置支援部３０１は、所定の認識器を用いて冷蔵庫４０２を検出すればよい。冷蔵庫４０２はキッチン５０２における特定機器の一例である。特定機器は、画像センサ２が設置される空間に応じて予め定められている。所定の認識器としては、例えば冷蔵庫４０２を検出するために予め準備された認識器が採用される。

　図２２は、図２１に続くインタラクションを示す図である。ステップＳＴ６～ＳＴ９は図１８と同じである。図２３は、アノテーション画像Ａ１が重畳された設定画面Ｇ３、Ｇ４の一例を示す図である。設定画面Ｇ３は修正前のアノテーション画像Ａ１を表示し、設定画面Ｇ３は修正後のアノテーション画像Ａ１を表示する。設定画面Ｇ３では認識器による冷蔵庫４０２の検出結果であるアノテーション画像Ａ１が表示されている。このアノテーション画像Ａ１は、冷蔵庫４０２よりも上側にずれており、冷蔵庫４０２が正しく認識できていないことが分かる。ユーザは、アノテーション画像Ａ１の形状が冷蔵庫４０２の外接矩形となるように、丸マークＰ１、Ｐ２を移動する操作を入力する。これにより、設定画面Ｇ４が得られる。設定画面Ｇ４では、アノテーション画像Ａ１が冷蔵庫４０２の外接矩形に位置決めされている。

　これにより、設定画面Ｇ３において冷蔵庫４０２からずれた位置に表示されていたアノテーション画像Ａ１が、設定画面Ｇ４に示すように冷蔵庫４０２の全域を取り囲むように修正される。その結果、認識器が冷蔵庫４０２の画像上の位置を正確に認識できていない場合においても、冷蔵庫４０２の画像上の正しい位置が得られる。

　以後、冷蔵庫４０２に対応する対象行動を認識するための認識器１１１は、冷蔵庫４０２に設置された画像センサ２により撮影された画像データに対して、座標データが示すアノテーション画像Ａ１を基準にしてユーザの行動を認識する。これにより、認識器１１１は効率良くユーザの行動を認識することができる。

　図２４は、画像センサ２の設置後にアノテーション画像Ａ１を修正する際のユーザと表示端末４００とのインタラクションの一例を示す図である。画像センサ２は設置後に何らかの外力が加えられてアングルが変動することがある。この場合、設置時に設定されたアノテーション画像Ａ１が示す座標データは、特定機器又は特定設備の画像上の位置からずれてしまう。このずれを修正するために以下の修正作業が行われる。

　ステップＳＴ１において、表示端末４００は、設定画面を開く操作をユーザから受け付け、画像センサ２の位置ずれの確認を促すメッセージを表示する。ここでは、「カメラ位置がずれていないか確認してください。赤色ガイドが現在の設定です。水色ガイドが自動検出した位置です」とのメッセージが表示されている。

　図２５は、アノテーション画像Ａ１が重畳表示された設定画面Ｇ５、Ｇ６の一例を示す図である。設定画面Ｇ５は、修正前のアノテーション画像Ａ１を示し、設定画面Ｇ６は、修正後のアノテーション画像Ａ１を示している。アノテーション画像Ａ１は赤色ガイドに相当する。点線のアノテーション画像Ａ２は認識器による冷蔵庫４０２の検出結果であるアノテーション画像を示している。アノテーション画像Ａ２は水色ガイドに相当する。

　設定画面Ｇ５において、画像センサ２のアングルが設置時のアングルに対してずれたため、アノテーション画像Ａ１は、アノテーション画像Ａ２に対して上側にずれて表示されている。

　ステップＳＴ２において、ユーザは設定画面Ｇ５から画像センサ２のアングルのずれを確認し、画像センサ２のアングルの調整作業を行う。

　表示端末４００は、アノテーション画像Ａ１の位置がアノテーション画像Ａ２の位置と一致するか否かを画像処理により判定する。表示端末４００は、一致したと判定した場合、画像センサ２のアングルが設置時のアングルに戻ったことを示すメッセージを表示する。

　ステップＳＴ４において、表示端末４００は、ユーザから設定画面を閉じる操作を受け付ける。これにより、表示端末４００は、設定画面を閉じる。

　このような調整作業をユーザに行わせることで、設置後に画像センサ２のアングルが変動した場合であっても、画像センサ２のアングルを設置時のアングルに戻すことができる。これにより、認識器１１１はユーザの行動を正確に認識することができる。

　本発明の行動認識装置は、建物において人の行動を認識する際に有用である。

Claims

　建物における人の行動を認識する行動認識装置であって、
　予め定められた認識対象となる１以上の対象行動を含む対象行動情報と、前記建物の間取り情報と、前記建物に設置された画像センサの位置情報とを取得する第１取得部と、
　前記画像センサの位置情報と前記間取り情報とに基づいて前記対象行動情報に含まれる前記１以上の対象行動の中から認識候補となる候補行動を選択する行動選択部と、
　前記画像センサが検出した画像データを取得する第２取得部と、
　前記候補行動に応じた１以上の認識器を決定し、前記１以上の認識器を用いて前記画像データの特徴量を算出する第１行動認識部と、
　前記特徴量に基づいて前記候補行動を認識する第２行動認識部と、
　前記第２行動認識部による認識結果を出力する出力部とを備える、
　行動認識装置。
　前記第１行動認識部は、前記候補行動が所定の行動である場合、複数の認識器を決定し、
　前記第２行動認識部は、前記複数の認識器がそれぞれ算出した特徴量を結合し、結合した特徴量に基づいて前記候補行動を認識する、
　請求項１記載の行動認識装置。
　前記所定の行動は、掃除、歯磨き、料理、洗濯、コンピュータの使用、読書、又は食事である、
　請求項２記載の行動認識装置。
　各認識器は、コンボリューションニューラルネットワークで構成され、
　前記第２行動認識部は、ロジスティクス回帰、サポートベクターマシン、決定木、ランダムフォレスト、ｋ近傍法、ガウシアンナイーブベイズ、パーセプトロン、及び確率的降下法のいずれか１つを用いた分類器を用いて前記候補行動を認識する、
　請求項１～３のいずれかに記載の行動認識装置。
　前記第２行動認識部は、前記特徴量を説明変数とし、前記対象行動を目的変数として機械学習された分類器を用いて前記候補行動を認識する、
　請求項１～４のいずれかに記載の行動認識装置。
　前記第２行動認識部は、前記候補行動に応じて予め定められた重み係数を用いて各特徴量に重み付けをし、重み付け後の各特徴量に基づいて前記候補行動を認識する、
　請求項１～５のいずれかに記載の行動認識装置。
　前記間取り情報から、前記建物に設置された１以上の物体を抽出し、前記１以上の物体を、移動可能な第１物体、水回り設備である第２物体、及び前記建物の構造物である第３物体のいずれかに分類し、前記１以上の物体のそれぞれについて、分類結果を示す分類情報と設置位置とが対応付けられた間取り特徴量を抽出し、前記間取り特徴量に基づいて、行動選択テーブルを生成し、
　前記行動選択テーブルは、前記建物の１以上の空間と、各空間に対応する前記対象行動とが対応付けられたテーブルであり、
　前記第１取得部は、前記行動選択テーブルを前記対象行動情報として取得する、
　請求項１～６のいずれかに記載の行動認識装置。
　前記行動認識装置は表示端末と通信可能に接続され、
　前記画像センサが設置される前記建物の空間の名称を前記表示端末を介して取得し、前記空間に関連する特定機器又は特定設備が前記画像センサの視野内に含まれるように前記画像センサを設置する設置ガイダンスを前記表示端末に出力する設置支援部をさらに備える、
　請求項７記載の行動認識装置。
　前記設置支援部は、前記画像センサが撮影した画像データを取得し、前記画像データに含まれる前記特定機器又は前記特定設備を検出し、前記特定機器又は前記特定設備の検出結果を示すアノテーション画像を、前記画像データが示す画像に重畳表示させる、
　請求項８記載の行動認識装置。
　前記設置支援部は、前記アノテーション画像の修正指示を前記表示端末を介して取得し、修正された前記アノテーション画像が示すアノテーション情報をメモリに記憶する、
　請求項９記載の行動認識装置。
　建物におけるユーザの行動を認識する行動認識方法であって、
　コンピュータが、
　予め定められた認識対象となる１以上の対象行動を含む対象行動情報を取得し、
　前記建物の間取り情報を取得し、
　前記建物に設置された画像センサの位置情報を取得し、
　前記画像センサの位置情報と前記間取り情報とに基づいて前記対象行動情報に含まれる前記１以上の対象行動の中から認識候補となる候補行動を選択し、
　前記画像センサが検出した画像データを取得し、
　第１行動認識部が、前記候補行動に応じた１以上の認識器を決定し、前記１以上の認識器を用いて前記画像データの特徴量を算出し、
　第２行動認識部が、前記特徴量に基づいて前記候補行動を認識し、
　前記第２行動認識部による認識結果を出力する、
　行動認識方法。
　建物におけるユーザの行動を認識するためのプログラムであって、
　予め定められた認識対象となる１以上の対象行動を含む対象行動情報と、前記建物の間取り情報と、前記建物に設置された画像センサの位置情報とを取得する第１取得部と、
　前記画像センサの位置情報と前記間取り情報とに基づいて前記対象行動情報に含まれる前記１以上の対象行動の中から認識候補となる候補行動を選択する行動選択部と、
　前記画像センサが検出した画像データを取得する第２取得部と、
　前記候補行動に応じた１以上の認識器を決定し、決定した１以上の認識器を用いて前記画像データの特徴量を算出する第１行動認識部と、
　前記特徴量に基づいて前記候補行動を認識する第２行動認識部と、
　前記第２行動認識部による認識結果を出力する出力部としてコンピュータを機能させる、
　プログラム。