以下に添付図面を参照して、この発明に係る情報出力装置、検知装置、プログラム及び情報出力方法の実施形態を詳細に説明する。以下の実施形態では、この発明に係る情報出力装置、物体検知装置、プログラム及び方法を、オフィスビル等の建物内での物体検知に適用した例について説明する。
[第1の実施形態]
図1は、第1の実施形態に係る検知システムの構成を模式的に示す図である。同図に示すように、検知システムは、複数の情報出力装置10と、当該情報出力装置10とLAN(Local Area Network)等のネットワークNを介して接続された検知装置40とを有している。なお、ネットワークNに接続される情報出力装置10の個数は特に問わないものとする。
情報出力装置10は、後述する撮像部16(図2参照)を有し、所定の被写体を撮像した画像に関する情報をエビデンスとして検知装置40に出力する。以下、情報出力装置10について説明する。
図2は、第1の実施形態に係る情報出力装置10の構成を示すブロック図である。同図に示すように、情報出力装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、記憶部14、通信部15及び撮像部16を備える。また、CPU11、ROM12、RAM13、記憶部14、通信部15及び撮像部16の各部は、アドレスバスやデータバス等のバスライン17を介して相互に接続されている。
CPU11は、ROM12に記憶されたコンピュータ読み取り可能な各種プログラムを実行することにより、情報出力装置10の動作を統括的に制御する。また、CPU11は、ROM12及び記憶部14に記憶された所定のプログラムを実行することにより、後述する各機能部(図4参照)を実現する。
ROM12は、CPU11が実行する各種プログラムや各種データを記憶する。RAM13は、CPU11が実行する各種プログラムや各種データを一時的に記憶し、ワーキング画像エリアとして機能する。記憶部14は、例えばハードディスクドライブ装置、SSD(Solid State Drive)、フラッシュメモリ等の記憶媒体で構成されており、CPU11が実行するプログラム等の他、各種情報を記憶している。
通信部15は、ネットワークNを通じて接続される検知装置40とのデータ通信を制御する。撮像部16は、カラーCCD(Charge Coupled Device Image Sensor)や、カラーCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有した撮像装置である。撮像部16は、所定のフレームレート(例えば30fps)で順次撮像した画像をRAM13に保存する。
図3は、情報出力装置10の設置例を示す図である。同図において、室内20は、オフィス等の部屋(閉空間)であり、その壁面に、出入口E1及び明り取り用の窓W1、W2が備えられている。また、同図では、情報出力装置10を室内20の天井21に設置した例を示している。情報出力装置10が備える撮像部16の撮像方向及び撮像範囲は、室内20の全域を撮像できるよう予め設定されており、室内20の全域を被写体として撮像する。
なお、室内20に設置される情報出力装置10の個数は一つに限らず、複数個用いる形態としてもよい。この形態の場合には、各情報出力装置10の撮像範囲を組み合わせることで、室内20の全域を撮像できるよう設定してもよい。
次に、図4を参照し、情報出力装置10のCPU11が、ROM12及び記憶部14に記憶されたプログラムを実行することで実現される情報出力装置10の機能部について説明する。
図4は、情報出力装置10の機能構成を示すブロック図である。同図に示すように、情報出力装置10のCPU11は、ROM12及び記憶部14に記憶された所定のプログラムを実行することにより、画像取得部31と、画像エリア分割部32と、特徴量算出部33と、画像エリア検知部34と、除外エリア特定部35と、出力部36と、学習部37としての機能を備える。
画像取得部31は、撮像部16が撮像しRAM13に保存した画像を、時系列順に順次取得する。画像エリア分割部32は、画像取得部31が取得した画像毎に、当該画像を1又は複数の画像エリアに分割する。
図5−1、図5−2は、画像エリア分割部32による画像の分割例を示す図である。図5−1では、画像取得部31が取得した画像G11を、矩形状の画像エリアに分割した例を示している。また、図5−2では、画像取得部31が取得した画像G12を、当該画像G12の中心から同心円状に分割した例を示している。なお、分割する画像エリアの形状や分割数は、図5−1、図5−2の例に限らず、任意に設定することが可能であるとする。例えば、分割数を1とすることで画像全体を1つの画像エリアとしてもよい。
図4に戻り、特徴量算出部33は、画像エリア分割部32が分割した画像エリア毎に、当該画像エリアの画像の特徴を示した特徴量を算出する。ここで、算出された特徴量は、画像エリア検知部34及び除外エリア特定部35で使用される。なお、画像エリア検知部34及び除外エリア特定部35で用いる特徴量は、同一の指標で導出されたものとは限らず、異なる指標で導出されたものであってもよい。
例えば、特徴量算出部33は、画像取得部31が直近に取得した画像と、この画像の所定時間前(例えば1フレーム前)に画像取得部31が取得した画像と、の時系列的に連続する2画像間において、同一位置に存在する画像エリアの輝度値を画素単位で比較することで、輝度値の差分値を画素毎に算出する。そして、特徴量算出部33は、算出した差分値の絶対値が、所定の閾値(以下、第1閾値という)以上となった画素の数を、その画像エリアの特徴量として算出する。以下、この特徴量の算出方法について、図6−1、図6−2、図6−3を用いて説明する。
図6−1、図6−2、図6−3は、特徴量算出部33の動作の一例を説明するための図である。画像取得部31が時刻t1に取得した画像が、図6−1のG21であるとし、画像取得部31が直近の時刻t1+1に取得した画像が、図6−2のG22であるとすると、特徴量算出部33は、画像G21と画像G22との2画像間において、同一位置に存在する画像エリアの輝度値を画素単位で比較し、その差分を算出する。
ここで、画像G21及び画像G22中の人物H1が、時刻t1から時刻t1+1にかけて移動していたとすると、図6−3に示すように、画像中における人物H1の位置の相違により、人物H1を表示する画素の輝度値が時刻t1から時刻t1+1にかけて変化する。そこで、特徴量算出部33は、変化量を輝度値の差分として算出し、この差分値の絶対値が第1閾値以上となった画素の数を、この人物H1が存在する各画像エリア(図中黒枠参照)の特徴量とする。
特徴量の算出方法は上記の例に限らず、他の算出方法を用いてもよい。例えば、時系列的に連続する2つの画像の同一の画像エリア毎に、当該画像エリアを構成する各画素の輝度値の総和を算出し、この総和の差分値をその画像エリアの特徴量として取得してもよい。また、特徴量算出部33が直近に取得した画像の画像エリア毎に、当該画像エリアを構成する各画素の輝度値の総和を算出し、この総和値をその画像エリアの特徴量として取得してもよい。
また、上記例では、輝度値の差分を特徴量としたが、輝度値のヒストグラム、輝度分布、色情報等の他の要素を特徴量としてもよい。例えば、特徴量算出部33が直近に取得した画像の画像エリア毎に、当該画像エリア内の画像からパターンマッチング等で人体の識別を行い、この結果得られる人体らしさの値をその画像エリアの特徴量としてもよい。なお、第1閾値の値は、特徴量の算出方法、特徴量とする指標に応じて、変更するものとする。
図4に戻り、画像エリア検知部34は、算出された各画像エリアの特徴量に基づいて、当該特徴量に変化のある画像エリアを、人等の物体(動体)が存在する可能性のあるエリアとして検知する。具体的に、画像エリア検知部34は、特徴量算出部33で算出された各画像エリアの特徴量と、所定の閾値(以下、第2閾値という)とを比較し、特徴量が第2閾値以上の画像エリアを、人体等の物体(動体)が存在する可能性のある画像エリアとして検知する。例えば、上述した図6−3の状態の場合、黒枠で囲われた各画像エリアの特徴量が第2閾値以上であったとすると、画像エリア検知部34は、この黒枠で囲われた各画像エリアをそれぞれ検知する。
除外エリア特定部35は、画像全体を構成する各画像エリアから、被写体のおかれる環境に応じて定まる条件に該当する画像エリアを特定する。具体的に、除外エリア特定部35は、画像全体を構成する各画像エリアの特徴量と、所定の閾値(以下、第3閾値という)とを比較することで、特徴量が第3閾値以上の画像エリアを特定する。
なお、本実施形態において、上述した画像エリア検知部34が画像エリアの検知に用いる特徴量(以下、第1特徴量)と、除外エリア特定部35が第3閾値との比較に用いる特徴量(以下、第2特徴量)と、は独立した物理量として取り扱うことが可能である。そのため、第1特徴量と第2特徴量とを、異なる指標で求められた値(例えば、輝度値の差分と輝度値の総和値)としてもよいし、同一の指標で求められた値としてもよい。また、本実施形態では、除外エリア特定部35の処理の対象を画像全体としたが、これに限らず、画像エリア検知部34にて検知された画像エリアを処理の対象としてもよい。
出力部36は、画像エリア検知部34が検知した画像エリアから、除外エリア特定部35が特定した画像エリアを除外した残りの画像エリアに関する情報を、エビデンスとして検知装置40に出力する。
ここで、エビデンスとして出力する情報は、特に問わないものとする。例えば、画像エリア検知部34が検知した画像エリアから、除外エリア特定部35が特定した画像エリアを除外した残りの画像エリアを表す座標等をエビデンスとして出力してもよい。また、画像エリア検知部34が検知した画像エリアから、除外エリア特定部35が特定した画像エリアを除外した残りの画像エリアを表す画像(データ)をエビデンスとして出力してもよい。また、撮像部16が撮像した画像に除外結果の画像エリアを示す情報を重畳した画像をエビデンスとして出力してもよい。また、除外の結果、残りの画像エリアが空(null)となった場合であっても、その旨を示す情報をエビデンスとして出力してもよい。
以下、除外エリア特定部35の動作について、図7−1及び図7−2を用いて説明する。図7−1、図7−2は、除外エリア特定部35の動作の一例を説明するための図である。ここで、図7−1の画像G31が、画像取得部31が時刻t2に取得した画像であるとし、図7−2の画像G32が、画像取得部31が直近の時刻t2+1に取得した画像であるとする。画像G31及びG32では、時刻t2から時刻t2+1にかけて、室内の照明がオフからオンに切り替えられた状態を示している。
また、図7−1及び図7−2の例において、特徴量算出部33は、撮像時間の異なる二つの画像G31、G32の各々において、各画像エリアを構成する画素の輝度値の総和を算出し、対応する画像エリアでの総和の差分値を、その画像エリアの第2特徴量として算出したとする。例えば、画像G31の各画像エリアでの輝度値の総和が「5000」、画像G32の各画像エリアでの輝度値の総和が「30000」であったとすると、特徴量算出部33は、これら総和の差分値「25000」を、各画像エリアの第2特徴量として算出する。
このように、照明の点灯により被写体となる室内が照らされると、照らされた画像エリアの輝度値が変化することになる。そのため、例えば、画像エリア検知部34が、輝度値(第1特徴量)の変化に基づいて画像エリアを検知している場合には、点灯に伴う輝度値の変化を要因として、物体の存在しない画像G32中の全て又は一部の画像エリアを誤検知してしまう可能性がある。
そこで、例えば、被写体となる室内での照明のオン/オフ時の輝度値の差分に応じた値を第3閾値(例えば「20000」)として予め設定しておくことで、除外エリア特定部35は、第2特徴量が第3閾値以上となった画像エリアを画像中から特定する。これにより、出力部36は、画像エリア検知部34が検知した画像エリアから、除外エリア特定部35が特定した画像エリアを除外するため、画像エリア検知部34が検知した画像エリアのうち、第2特徴量が20000未満の画像エリアが残留することになる。したがって、第3閾値の値を適切に設定することで、照明のオン/オフに伴う輝度値の変化を要因とする誤検知の発生を低減することができる。
ところで、除外エリア特定部35でのパラメータとなる第3閾値は、被写体となる室内の構成や、第2特徴量とする指標、検知を行う時期(季節、日付、時刻)等によって異なってくる。そこで、学習部37は、特徴量算出部33、除外エリア特定部35での処理結果を入力とし、第3閾値を出力とする学習を行う。
例えば、学習部37は、特徴量とする要素の種別や、検知を行う時期毎に、複数の第3閾値と、この第3閾値を割り当てた場合での除外エリア特定部35の処理結果(又は出力部36の処理結果)とを対応付けて記憶部14に記憶しておく。そして、学習部37は、記憶部14に記憶した複数の第3閾値と処理結果とに基づいて、より適切な処理結果(検知結果)が得られる閾値セットを機械学習し、その第3閾値を除外エリア特定部35の第3閾値に反映する。
なお、学習部37での機械学習に係る技術や手法は、公知の技術・手法を用いるものとする。また、学習の対象となるパラメータを第3閾値としたが、これに限らず、第2閾値や第1閾値を学習の対象に含めてもよい。
図1に戻り、検知装置40は、情報出力装置10から入力されるエビデンスに基づいて、各情報出力装置10の被写体となった室内に人等の物体(動体)が存在するか否を判定するサーバ装置である。
図8は、第1の実施形態に係る検知装置40の構成を示すブロック図である。同図に示すように、検知装置40は、CPU41と、ROM42と、RAM43と、記憶部44と、操作部45と、表示部46と、通信部47とを備えている。また、CPU41、ROM42、RAM43、記憶部44、操作部45、表示部46及び通信部47の各部は、アドレスバスやデータバス等のバスライン48を介して相互に接続されている。
CPU41は、ROM42や記憶部44に記憶された所定のプログラムをRAM43に展開して実行することで、検知装置40の各部の動作を統括的に制御する。また、CPU41は、ROM42や記憶部44に記憶された所定のプログラムをRAM43に展開して実行することで、後述する機能部を実現する。
ROM42は、CPU41が実行する各種プログラムや設定情報を記憶している。RAM43は、主記憶装置であり、ワークメモリとして用いられる。
記憶部44は、HDD(Hard Disk Drive)等の補助記憶装置であって、CPU41が実行する各種プログラムや各種情報を記憶している。操作部45は、キーボードやマウス等の入力デバイスであって、操作者から受け付けた操作内容をCPU41に出力する。また、表示部46は、LCD(Liquid Crystal Display)等の表示デバイスであって、CPU41の制御に従い文字や画像等を表示する。
通信部47は、ネットワークNに接続可能なネットワークインタフェースであり、CPU41の制御の下、ネットワークNに接続された各情報出力装置10との間で情報の授受を行う。
図9は、検知装置40の機能構成を示すブロック図である。同図に示すように、検知装置40のCPU41は、ROM42及び記憶部44に記憶された所定のプログラムを実行することにより、エビデンス受信部51と、状態判定部52と、状態提示部53としての機能を備える。
エビデンス受信部51は、情報出力装置10の各々から送信(出力)されるエビデンスを、通信部47を介して受信する。なお、エビデンスには、情報出力装置10の各々を識別可能な識別子(例えばIPアドレス等)が含まれるものとする。
状態判定部52は、エビデンスに含まれた情報に基づいて、当該エビデンスを出力した情報出力装置10の管轄(撮像範囲)内に、人等の物体(動体)が存在するか否かを判定する。具体的に、状態判定部52は、特定の画像エリアを表す座標等の情報や画像自体がエビデンスに含まれる場合、このエビデンスを出力した情報出力装置10の管轄内での、画像エリアに対応する位置に、物体(動体)が存在すると判定する。また、状態判定部52は、画像エリアが空(null)である旨がエビデンスに含まれる場合、このエビデンスを出力した情報出力装置10の管轄内に物体(動体)が存在しないと判定する。
状態提示部53は、状態判定部52での判定結果を表示部46等に出力することで、当該表示結果を検知装置40のオペレータに提示する。なお、情報出力装置10から受信したエビデンスと、当該エビデンスに基づく状態判定部52での判定結果とを関連付けて、記憶部44に蓄積・管理する形態としてもよい。
次に、図10を参照して、本実施形態の情報出力装置10の動作について説明する。ここで、図10は、情報出力装置10の情報出力処理の手順を示すフローチャートである。
まず、画像取得部31は、撮像部16が撮像しRAM13に保存された画像を、時系列順に順次取得する(ステップS11)。画像エリア分割部32は、ステップS11で画像が取得される毎に、当該画像を1又は複数の画像エリアに分割する(ステップS12)。
特徴量算出部33は、ステップS11で直近に取得された画像について、ステップS12で分割された画像エリア毎に当該画像エリアの第1特徴量及び第2特徴量を算出する(ステップS13)。続いて、画像エリア検知部34は、ステップS13で算出された各画像エリアの第1特徴量と、第2閾値とを比較し、第1特徴量が第2閾値以上の画像エリアを検知する(ステップS14)。次いで、除外エリア特定部35は、ステップS13で算出された各画像エリアの第2特徴量と、第3閾値とを比較し、第2特徴量が第3閾値以上の画像エリアを特定する(ステップS15)。
続いて、出力部36は、ステップS14で検知された画像エリアから、ステップS15で検知された画像エリアを除外する(ステップS16)。そして、出力部36は、ステップS16での処理結果となる残りの画像エリアに関する情報をエビデンスとして、検知装置40に出力し(ステップS17)、ステップS11に再び戻る。
その結果、検知装置40では、上記情報出力装置10により出力されたエビデンスをエビデンス受信部51が受信し、このエビデンスに基づいて、状態判定部52が当該エビデンスを出力した情報出力装置10の管轄内に物体が存在するか否かを判定する。そして、状態提示部53が、状態判定部52での判定結果を提示する。
以上のように、第1の実施形態によれば、画像を構成する画像エリアの第2特徴量が、被写体となる室内(空間)の環境に応じて定めた第3閾値を逸脱する場合に、その画像エリアを特定し、画像エリア検知部34の検知結果から除外する。これにより、例えば、照明のオン/オフに伴う輝度値の変化を要因とする誤検知を低減することができるため、検知精度を向上させることができる。
ところで、情報出力装置10の構成は、種々の形態を採用することが可能である。例えば、第2特徴量の指標として画素の色情報を用いた場合、第3閾値として、白飛び付近(RGB成分それぞれの最大値の90%以上等)や、夕焼けの色(R成分が最大値の90%以上等)の範囲を設定することで、窓等から入射した光を要因とする誤検知の発生を低減することができる。また、上記例では、第2特徴量が第3閾値以上の画像エリアを、検知結果から除去する構成としたが、第2特徴量が予め設定した閾値範囲内(或いは範囲外)にある画像エリアを、検知結果から除去する構成としてもよい。
また、上記実施形態では、検知装置40が状態判定部52の機能を備える構成としたが、これに限らず、情報出力装置10が状態判定部52の機能を備える構成としてもよい。なお、この構成の場合には、状態判定部52での判定結果を、エビデンスに含めて出力する形態としてもよい。
[第2の実施形態]
次に、第2の実施形態に係る情報出力装置について説明する。なお、第1の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。
図11は、第2の実施形態に係る情報出力装置10aの構成を示すブロック図である。同図に示すように、情報出力装置10aは、CPU11、ROM12、RAM13、記憶部14a、通信部15及び撮像部16を備える。また、CPU11、ROM12、RAM13、記憶部14a、通信部15及び撮像部16の各部は、アドレスバスやデータバス等のバスライン17を介して相互に接続されている。
記憶部14aは、上述した記憶部14に対応し、CPU11が実行するプログラム等の他、各種情報を記憶している。また、記憶部14aは、各種情報の1つとして、検知対象から除外する画像エリアと、当該画像エリアを検知対象から除外する時期(日時等)とを関連付けた除外設定情報141を記憶している。
ここで、図12−1は、除外設定情報141の一例を模式的に示す図である。また、図12−2は、図12−1の除外設定情報141に設定された除外対象エリアを模式的に示す図である。
図12−1に示すように、除外設定情報141には、検知対象から除外する画像エリアが格納される除外対象エリア141aと、検知対象から除外する時刻が格納される除外時間141bと、をデータ項目として有している。以下、除外対象エリア141aに格納(設定)された画像エリアを、「除外対象エリア」と表記する。
除外対象エリア141aには、複数の画像エリアの座標等を纏めて格納することで、複数の画像エリアで構成される画像エリア群を、一つの除外対象エリアとして取り扱うことが可能となっている。例えば、図12−1の除外対象エリア141aに格納された除外対象エリアA11、A12、A13は、図12−2に示すA11、A12、A13(黒枠部分)の画像エリアに対応している。なお、複数の除外対象エリア同士で、一部又は全ての画像エリアを重複して設定する形態としてもよい。
除外時間141bには、検知対象からの除外を開始する時刻と、終了する時刻とが格納される。なお、時刻だけでなく、日付(月、日)や曜日等を用いて除外の開始/終了タイミングを指定する形態としてもよい。また、除外対象エリアA12に関連付けられた除外時間141bのように、除外時間141bを空欄(null)とすることで、検知対象からの除外を常時指定する形態としてもよい。また、同一の除外対象エリアに対し、互いに異なる複数の除外時間を設定する形態としてもよい。
ところで、上述した除外対象エリア141a及び除外時間141bには、被写体となる室内の環境に応じた値を設定することが好ましい。例えば、図12−2に示す画像エリアA11において、AM6時からAM8時までの間、朝日が入射するような環境の場合、この画像エリアA11を除外対象エリアとして設定するとともに、この除外対象エリアの除外時間に「06:00〜08:00」等を設定する。これにより、朝日の入射に伴い画像エリアA11の輝度値が変化した場合でも、画像エリアA11を検知対象から除外することができるため、人体等の物体が存在しない画像エリアが誤検知されてしまうことを低減することができる。
図13は、第2の実施形態に係る情報出力装置10aの機能構成を示すブロック図である。同図に示すように、情報出力装置10aのCPU11は、ROM12及び記憶部14aに記憶された所定のプログラムを実行することにより、画像取得部31と、画像エリア分割部32と、特徴量算出部33と、画像エリア検知部34と、除外エリア特定部35aと、出力部36と、学習部37aと、計時部38としての機能を備える。
計時部38は、情報出力装置10aに設けられたRTC(Real Time Clock)等の計時装置が計時する時刻に基づいて、現在日時を表す現在時刻情報を生成する。
除外エリア特定部35aは、除外設定情報141を参照し、計時部38が生成する現在時刻情報の現在日時に該当する除外対象エリアを特定する。
学習部37aは、上述した学習部37の機能を備えるとともに、除外エリア特定部35aでの処理結果を入力とし、除外対象エリア及び除外時間を出力とする学習を行う。
例えば、学習部37aは、室内に存在する誤検知要因(例えば窓等)の配置位置周辺に設定された除外対象エリアと、当該除外対象エリアに割り当てた各種の除外時間と、この条件での除外エリア特定部35aの処理結果(又は出力部36の処理結果)とを対応付けて記憶部14aに記憶しておく。そして、学習部37aは、記憶部14aに記憶された除外対象エリアと、除外時間と、処理結果との組に基づき、より適切な処理結果(検知結果)が得られる除外時間を機械学習し、その除外時間を除外設定情報141の除外時間141bに反映(格納)する。
なお、学習部37aでの機械学習に係る技術や手法は、公知の技術・手法を用いるものとする。また、学習の対象として、除外対象エリアを含めてもよい。
次に、図14を参照して、本実施形態の情報出力装置10aの動作について説明する。ここで、図14は、情報出力装置10aの情報出力処理の手順を示すフローチャートである。なお、ステップS21〜S24は、上述した第1の実施形態のステップS11〜S14と同様であるため説明を省略する。
ステップS25において、除外エリア特定部35aは、除外設定情報141を参照し、計時部38が生成する現在時刻情報の現在日時に該当する除外対象エリアを特定する(ステップS25)。
続いて、出力部36は、ステップS24で検知された画像エリアから、ステップS25で特定された除外対象エリアを除外する(ステップS26)。そして、出力部36は、ステップS26での処理結果となる残りの画像エリアに関する情報をエビデンスとして、検知装置40に出力し(ステップS27)、ステップS21に再び戻る。
その結果、検知装置40では、上記情報出力装置10aにより出力されたエビデンスをエビデンス受信部51が受信し、このエビデンスに基づいて、状態判定部52が当該エビデンスを出力した情報出力装置10の管轄内に物体が存在するか否かを判定する。そして、状態提示部53が、状態判定部52での判定結果を提示する。
以上のように、第2の実施形態によれば、画像が撮像された時期及び当該画像を構成する各画像エリアの位置が、被写体となる室内(空間)の環境に応じて定めた除外対象エリア及び除外時間の条件に該当した場合に、この条件に該当した除外対象エリアを特定し、画像エリア検知部34での検知結果から除外する。これにより、例えば、窓から入射する光や、窓に取り付けられたカーテンの揺れ等を要因とする誤検知を低減することができるため、検知精度を向上させることができる。また、被写体となる室内の使用環境(例えば営業日と休業日)に基づいて、除外対象エリアを有効/無効とすることができるため、室内の使用環境に柔軟に対応することができる。
ところで、情報出力装置10aでの除外設定情報141に係る構成は、種々の形態を採用することが可能である。例えば、上記第2の実施形態では、現在日時に該当する除外時間の除外対象エリアを特定することで、当該除外対象エリアを画像エリア検知部34での検知結果から除外する構成としたが、除外対象エリアの各々に対し、有効/無効を規定する設定情報(以下、有効/無効設定情報という)を別途設けることで、当該有効/無効設定情報に基づいて、除外対象エリアの除外を有効/無効化する構成としてもよい。
ここで、図15は、有効/無効設定情報142の一例を模式的に示す図である。図15に示すように、有効/無効設定情報142には、処理の対象となる除外対象エリアが格納される処理対象エリア142aと、有効/無効を規定するデータが格納される有効/無効設定142bとをデータ項目として有している。なお、有効/無効設定情報142は、記憶部14aに記憶されるものとする。
処理対象エリア142aには、除外設定情報141と同一の除外対象エリアが格納されることで、除外対象エリアをキーとして、除外設定情報141と有効/無効設定情報142とが関連付けられる。なお、除外対象エリア141aと処理対象エリア142aとを共通化することで、除外設定情報141と有効/無効設定情報142とを併合し、一つの設定情報とする形態としてもよい。
上記した有効/無効設定情報142を用いる場合、除外エリア特定部35aは、ステップS25の実行に先がけて、現在日時に該当する除外対象エリアに関連付けられた有効/無効設定情報142が有効か否かを判定する。そして、除外エリア特定部35aは、有効/無効設定情報142が「有効」の場合には上述したステップS25に移行し、現在日時に該当した除外対象エリアを特定する。また、有効/無効設定情報142が「無効」の場合には、除外エリア特定部35aは、現在日時に該当した除外対象エリアを特定することなく、ステップS26に移行する。
これにより、除外設定情報141に格納された除外対象エリアの単位で、除外エリア特定部35aの機能を有効/無効化することができるため、除外対象エリアの単位で当該除外対象エリアの除外を個別に制御することができる。
なお、除外対象エリアに対する有効/無効の設定は、除外設定情報141に定められているものとするが、これに限らず、画像エリア検知部34が画像エリアを検知した際に、この検知された画像エリアに対する有効/無効の設定を外部装置(例えば検知装置40)等から受け付け、この設定内容に基づいて、除外エリア特定部35aが除外対象エリアの特定を行う形態としてもよい。
[第3の実施形態]
次に、第3の実施形態に係る情報出力装置について説明する。なお、第1の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。
図16は、第3の実施形態に係る情報出力装置10bの機能構成を示すブロック図である。同図に示すように、情報出力装置10bのCPU11は、ROM12及び記憶部14に記憶された所定のプログラムを実行することにより、画像取得部31と、画像エリア分割部32と、特徴量算出部33と、画像エリア検知部34と、除外エリア特定部35bと、出力部36と、学習部37bとしての機能を備える。なお、情報出力装置10bのハードウェア構成は、第1の実施形態と同様であるとする。
除外エリア特定部35bは、撮影時間の異なる複数の画像(少なくとも3以上)の各画像エリアについて、当該画像エリアの第2特徴量を時系列順に比較し、当該第2特徴量が規則的に変化する画像エリアを特定する。
ところで、第2特徴量が規則的に変化する状態は、例えば、室内に設けられたPCモニタにスクリーンセーバー等の周期性な画像(映像)が表示されている場合や、扇風機のファンの回転等の規則的な動作を行う物体が画像中に含まれる場合に発生する。このような場合、画像エリア検知部34での検知結果をそのまま出力してしまうと、人体等の物体の存在しない画像エリアが検知結果として出力されることになる。そこで、本実施形態では、除外エリア特定部35bが、第2特徴量が規則的に変化する画像エリアを特定し、出力部36が、この特定された画像エリアを画像エリア検知部34での検知結果から除去することで、規則的な動作を行う事象が、物体として誤検知されてしまうことを低減する。
このように、除外エリア特定部35bは、撮影時間の異なる複数の画像間において、各画像エリアが有する第2特徴量の変化の規則性(パターン)に基づき、除外対象とする画像エリアを特定する。なお、規則的な変化の判定に係るパラメータは、任意に設定することが可能であるとする。規則的な変化の判定に係るパラメータとしては、例えば、第2特徴量とする指標、規則的と判定する周期、判定に用いる画像数、サンプリング間隔等の他、判定の対象とする画像エリアの位置(出入口E1、窓W1の周辺等)や、判定を実行する時刻(日時)等が挙げられる。
学習部37bは、上述した学習部37の機能を備えるとともに、除外エリア特定部35bでの処理結果を入力とし、規則的な変化の判定に係るパラメータを出力とする学習を行う。
例えば、学習部37bは、規則的変化の判定に係る各種のパラメータセットと、各パラメータセットでの除外エリア特定部35bの処理結果(又は出力部36の処理結果)とを対応付けて記憶部14に記憶しておく。そして、学習部37bは、記憶部14に記憶されたパラメータセットと、処理結果との組に基づき、より適切な処理結果(検知結果)が得られるパラメータセットを機械学習し、そのパラメータセットを除外エリア特定部35bに反映する。なお、学習部37bでの機械学習に係る技術や手法は、公知の技術・手法を用いるものとする。
次に、図17を参照して、本実施形態の情報出力装置10bの動作について説明する。ここで、図17は、情報出力装置10bの情報出力処理の手順を示すフローチャートである。なお、ステップS31〜S34は、上述した第1実施形態のステップS11〜S14と同様であるため説明を省略する。
ステップS35において、除外エリア特定部35bは、撮影時間の異なる複数の画像の各画像エリアについて、当該画像エリアの第2特徴量を時系列順に比較し、当該第2特徴量が規則的に変化する画像エリアを特定する(ステップS35)。
続いて、出力部36は、ステップS34で直近に検知された画像エリアから、ステップS35で特定された画像エリアを除外する(ステップS36)。そして、出力部36は、ステップS36での処理結果となる残りの画像エリアに関する情報をエビデンスとして、検知装置40に出力し(ステップS37)、ステップS31に再び戻る。
その結果、検知装置40では、上記情報出力装置10bにより出力されたエビデンスをエビデンス受信部51が受信し、このエビデンスに基づいて、状態判定部52が当該エビデンスを出力した情報出力装置10の管轄内に物体が存在するか否かを判定する。そして、状態提示部53が、状態判定部52での判定結果を提示する。
以上のように、第3の実施形態によれば、画像を構成する各画像エリアの第2特徴量が、被写体となる室内(空間)の環境に応じて定めた規則的な変化の条件に該当した場合に、この条件に該当した画像エリアを特定し、画像エリア検知部34の検知結果から除外する。これにより、例えば、室内に設けられたPCモニタに表示される周期的な画像や扇風機のファン等、規則的な動作を行う物体を要因とする誤検知を低減することができるため、検知精度を向上させることができる。
[第4の実施形態]
次に、第4の実施形態に係る情報出力装置について説明する。なお、第1の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。
図18は、第4の実施形態に係る情報出力装置10cの機能構成を示すブロック図である。同図に示すように、情報出力装置10cのCPU11は、ROM12及び記憶部14に記憶された所定のプログラムを実行することにより、画像取得部31と、画像エリア分割部32と、特徴量算出部33と、画像エリア検知部34と、除外エリア特定部35cと、出力部36と、学習部37cとしての機能を備える。なお、情報出力装置10cのハードウェア構成は、第1の実施形態と同様であるとする。
除外エリア特定部35cは、撮像時間が異なる複数の画像の各々について、画像エリア検知部34が検知した画像エリアの位置を時系列順に比較することで、当該位置の軌跡が連続的に移動しているか否かを判定し、連続的に移動している画像エリア以外の、非連続的な位置に存在する画像エリアを特定する。
図19−1、図19−2は、除外エリア特定部35cの動作の一例を説明するための図である。ここで、図19−1の画像G41が、画像取得部31が時刻t3に取得した画像であるとし、図19−2の画像G42が、画像取得部31が時刻t3+1に取得した画像であるとする。また、図中P11の位置にこの建物内への出入口E1が存在し、図中P12、P13の位置に窓W1、W2が存在するものとする(図3参照)。
上記の条件の下、時刻t3+1において、画像エリア検知部34が画像G42の各画像エリアから画像エリアA42(黒枠部分)を検知したとする。この場合、除外エリア特定部35cは、画像G41での画像エリアの位置を空(null)とし、画像G42から画像エリアA42の位置を特定する。そして、除外エリア特定部35cは、画像G41及び画像G42から特定した画像エリアの位置を時系列に沿って比較することで、時刻t3+1に画像エリアA42が突如検知されたと判断する。
上記画像G41及びG42の例の場合、例えば、時刻t3+1に、図中P12の窓W1から入射する光が変動したような状況が考えられる。この場合、画像エリア検知部34が検知した画像エリアA42は、人等の物体が存在しないため誤検知となる。そこで、除外エリア特定部35cは、撮像時間お異なる二つの画像G41、G42において、非連続的な位置に存在する、つまり突如現れた画像エリアA42を特定する。
また、図20−1、図20−2は、除外エリア特定部35cの他の動作例を説明するための図である。ここで、図20−1の画像G51が、画像取得部31が時刻t4に取得した画像であるとし、図20−2の画像G52が、画像取得部31が時刻t4+1に取得した画像であるとする。なお、図19−1と同様、図中P11の位置にこの建物内への出入口E1が存在し、図中P12、P13の位置に窓W1、W2が存在するものとする(図3参照)。
上記の条件の下、時刻t4において、画像エリア検知部34が、画像G51に示す各画像エリアから画像エリアA51(黒枠部分)を検知し、続く時刻t4+1において、画像G52に示す各画像エリアから画像エリアA52(黒枠部分)を検知したとする。この場合、除外エリア特定部35cは、画像G51から画像エリアA51の位置を特定し、画像G52から画像エリアA52の位置を特定する。そして、除外エリア特定部35cは、画像エリアA51、A52の位置を時系列順に比較し、画像エリアA51の位置近傍に画像エリアA52が存在することから、当該位置が連続的に移動していると判定する。
上記画像G51及びG52の例の場合、出入口E1から室内に進入した人が、時刻t4から時刻t4+1にかけて、画像エリアA51→画像エリアA52に移動した状況が考えられる。この場合、画像エリア検知部34が検知した画像エリアA52は、人等の物体が存在するため正常な検知となる。そのため、除外エリア特定部35cは、画像エリアA51及びA52の特定を行わず、画像エリア検知部34の検知結果として残存させる。
このように、除外エリア特定部35cは、撮影時間の異なる複数の画像間において、画像エリア検知部34が検知した画像エリアの位置の連続性に基づき、除外対象とする画像エリアを特定する。なお、連続性の判定に係るパラメータは任意に設定することが可能であるとする。連続性の判定に係るパラメータとしては、例えば、第2特徴量とする指標、連続性の判定に用いる画像数、連続と判定する画像エリア間の距離、サンプリング間隔等の他、判定の対象とする画像エリア位置(出入口E1、窓W1の周辺等)や、判定を実行する時刻(日時)等が挙げられる。
上記例のうち、連続と判定する画像エリア間の距離としては、例えば、格子状の画像エリアにおける4近傍や8近傍に位置する画像エリアを連続すると定義してもよいし、8近傍からさらに1画像エリア分拡大した画像エリアを連続すると定義してもよい。また、連続性の判定に用いる画像数も2に限らず、3以上の画像を用いて判定してもよい。
また、連続性の判定の対象とする画像エリア位置を定義した場合、建物の出入口(P11)及び窓(P12、P13)の存在位置等を設定情報として予め記憶しておき、画像エリア検知部34が検知した画像エリアが、出入口E1や窓W1、W2の付近に存在するか否かを加味して、連続性の判定を行う。例えば、出入口E1付近で画像エリアが検知された場合には、この画像エリアに対しては連続性の判定の対象から除外する形態としてもよい。
学習部37cは、上述した学習部37の機能を備えるとともに、除外エリア特定部35cでの処理結果を入力とし、連続性の判定に係るパラメータを出力とする学習を行う。
例えば、学習部37cは、連続性の判定に係る各種のパラメータセットと、各パラメータセットでの除外エリア特定部35cの処理結果(又は出力部36の処理結果)とを対応付けて記憶部14に記憶しておく。そして、学習部37cは、記憶部14に記憶されたパラメータセットと、処理結果との組に基づき、より適切な処理結果(検知結果)が得られるパラメータセットを機械学習し、そのパラメータセットを除外エリア特定部35cに反映する。なお、学習部37cでの機械学習に係る技術や手法は、公知の技術・手法を用いるものとする。
次に、図21を参照して、本実施形態の情報出力装置10cの動作について説明する。ここで、図21は、情報出力装置10cの情報出力処理の手順を示すフローチャートである。なお、ステップS41〜S44は、上述した第1の実施形態のステップS11〜S14と同様であるため説明を省略する。
ステップS45において、除外エリア特定部35cは、撮影時間の異なる複数の画像の各画像エリアについて、ステップS44で検知された画像エリアの位置を時系列順に比較し、非連続的な位置に存在する画像エリアを特定する(ステップS45)。
続いて、出力部36は、ステップS44で直近に検知された画像エリアから、ステップS45で特定された画像エリアを除外する(ステップS46)。そして、出力部36は、ステップS46での処理結果となる残りの画像エリアに関する情報をエビデンスとして、検知装置40に出力し(ステップS47)、ステップS41に再び戻る。
その結果、検知装置40では、上記情報出力装置10cにより出力されたエビデンスをエビデンス受信部51が受信し、このエビデンスに基づいて、状態判定部52が当該エビデンスを出力した情報出力装置10の管轄内に物体が存在するか否かを判定する。そして、状態提示部53が、状態判定部52での判定結果を提示する。
以上のように、第4の実施形態によれば、画像を構成する各画像エリアにおいて、画像エリア検知部34で検知された画像エリアの位置が、被写体となる室内(空間)の環境に応じて定めた連続性の判定条件に該当せず、非連続な位置となった場合に、その画像エリアを特定し、画像エリア検知部34の検知結果から除外する。これにより、例えば、窓から入射する光や、窓に取り付けられたカーテンの揺れ等を要因とする誤検知を低減することができるため、検知精度を向上させることができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせ、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、情報出力装置10(10a、10b、10c)が天井21に取り付けられた形態を説明したが、これに限らず、壁等の他の位置に設置する形態としてもよい。
また、上記実施形態では、情報出力装置10(10a、10b、10c)が撮像部16を内蔵する形態としたが、これに限らず、撮像部16を外付けとする形態としてもよい。この場合、撮像部16のみを天井21に取り付け、他の要素を例えば検知装置40等の情報処理装置で実現する形態としてもよい。
また、上記実施形態では、検知対象の空間を室内20等の閉空間としたが、これに限らず、例えば公園や路上等の開空間としてもよい。
また、上記実施形態では、情報出力装置10(10a、10b、10c)にて、画像エリアの特定に係るパラメータを学習する形態としたが、これに限らず、検知装置40等の外部装置が学習部37(37a、37b、37c)の機能を備え、学習により得られたパラメータを情報出力装置10(10a、10b、10c)に反映する形態としてもよい。
また、上記実施形態の情報出力装置10(10a、10b、10c)で実行されるプログラムは、各装置が備える記憶媒体(ROM12又は記憶部14)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の情報出力装置10(10a、10b、10c)で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。