JP2024008196A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】魚眼カメラで撮像された見下ろし画像で、人体の誤検出を低減することができる。【解決手段】情報処理装置は、人体の色情報を基準色情報として記憶する記憶部と、魚眼カメラによる撮像画像から人体候補を検出する検出部と、前記人体候補が検出された検出領域に対応する前記基準色情報を前記記憶部から取得し、取得した前記検出領域の前記基準色情報と、前記人体候補の色情報との類似度に基づいて、前記人体候補が人体であるか否かを判定する人体判定部と、を備える。【選択図】図１

Description

本発明は、情報処理装置および情報処理方法に関する。

近年、ファクトリーオートメーション（ＦＡ）市場では、魚眼見下ろしカメラにより人の動きを分析し、ライン生産方式およびセル生産方式などで工程の改善を図るためのアプリケーションが利用されている。人の動きを分析するためには、人体検出精度の向上が求められる。特許文献１は、撮像画像から抽出された顔候補領域の色相が肌色であるか否かを判定することにより、人物の顔として確からしい顔候補領域を顔領域として特定する技術を開示する。

特開２００９－１２３０８１号公報

天井等に設置された魚眼カメラで撮像された見下ろし画像では、画像内の位置によって人の見え方が変化し、検出対象の人物の色情報は、検出される位置によって異なる。したがって、魚眼カメラによる撮像画像では色情報を用いても、誤検出を低減することは困難な場合がある。

本発明は、一側面では、魚眼カメラで撮像された見下ろし画像で、人体の誤検出を低減する技術を提供することを目的とする。

本発明は、上記目的を達成するために、以下の構成を採用する。

本開示の第一側面は、人体の色情報を基準色情報として記憶する記憶部と、魚眼カメラによる撮像画像から人体候補を検出する検出部と、人体候補が検出された検出領域に対応する基準色情報を記憶部から取得し、取得した検出領域の基準色情報と、人体候補の色情報との類似度に基づいて、人体候補が人体であるか否かを判定する人体判定部と、を備える情報処理装置である。

情報処理装置は、人体候補が検出された位置（検出領域）に応じた基準色情報と比較することで、検出された人体候補が人体であるか否かを精度良く判定し、魚眼カメラで撮像された見下ろし画像での人体の誤検出を低減することができる。

記憶部は、魚眼カメラによる撮像画像を分割した複数の領域ごとに、領域で検出された人体の色情報を基準色情報として記憶してもよい。情報処理装置は、領域ごとの基準色情報を用意することで、領域内で検出された人体候補が人体であるか否かを精度良く判定することができる。

情報処理装置は、領域で検出された人体の色情報から、領域の基準色情報を生成して記憶部に記憶させる生成部をさらに備えてもよい。生成部を備えることで、情報処理装置は、人体検出処理をしながら基準色情報を生成したり、更新したりすることができる。情報処理装置は、基準色情報を継続的に更新することができ、背景および人物の特徴等の経時
的な変化に伴う人体検出の精度の低下を抑制することができる。

生成部は、複数の撮像画像の領域でそれぞれ検出された人体の色情報に基づいて、領域に対応する基準色情報を生成してもよい。情報処理装置は、複数の学習用の撮像画像から各領域に対応する基準色情報を生成することで、より平均的な色情報マップを作成することができる。

生成部は、領域で新たに検出された人体の色情報と、領域に対応する基準色情報との相関係数が第１閾値以上である場合には、領域で新たに検出された人体の色情報に基づいて領域の基準色情報を更新し、領域で新たに検出された人体の色情報と、領域の基準色情報との相関係数が第１閾値以下の第２閾値未満である場合には、領域で新たに検出された人体の色情報を領域の新たな基準色情報として記憶部に記憶させてもよい。情報処理装置は、学習用の撮像画像から、特徴の異なる色情報を、新たな基準色情報を記憶部に記憶させる。各領域が複数の基準色情報に対応づけられ、情報処理装置は、色の特徴が異なる人物を検出するような場合でも、精度良く人体を検出することができる。

基準色情報は、領域で検出された人体を囲む枠内での画素値に基づいて生成され、人体候補の色情報は、人体候補を囲む枠内での画素値に基づいて生成されてもよい。情報処理装置は、人体と人体候補との画素値の違いに基づいて、誤検出を抑制することができる。

基準色情報は、領域で検出された人体を囲む枠内から撮像画像の背景を除く部分での画素値に基づいて生成され、人体候補の色情報は、人体候補を囲む枠内から撮像画像の背景部分を除く部分での画素値に基づいて生成されてもよい。情報処理装置は、背景部分を除いて色情報を生成することで、実際の人体および人体候補の部分のみから、基本色情報および色情報を生成することができ、精度良く人体を検出することができる。

基準色情報は、領域で検出された人体を囲む枠内での画素値のヒストグラムであり、人体候補の色情報は、人体候補を囲む枠内での画素値のヒストグラムであってもよい。情報処理装置は、人体と人体候補との画素値の分布の違いに基づいて、誤検出を抑制することができる。

人体判定部は、人体候補の色情報のヒストグラムと、検出領域に対応する基準色情報のヒストグラムとの相関係数が所定の閾値以上の場合に、人体候補が人体であると判定してもよい。情報処理装置は、ヒストグラム間の相関係数（類似度）に応じて、人体候補が人体であるか否かを判定することができる。情報処理装置は、所定の閾値を変更することで、色の特徴の違いに対する検出精度を調整することができる。

画素値のヒストグラムは、ＲＧＢごとのヒストグラムであってもよい。また、人体判定部は、人体候補の色情報のＲＧＢごとのヒストグラムと、検出領域に対応する基準色情報のＲＧＢごとのヒストグラムとのそれぞれの相関係数の平均値、最大値または最小値に基づいて、人体候補が人体であるか否かを判定してもよい。情報処理装置は、人体と人体候補とで色の特徴が異なる場合の誤検出を抑制することができる。

基準色情報は、領域で検出された人体を囲む枠内の画素のＲＧＢの最頻値または平均値であり、人体候補の色情報は、人体候補を囲む枠内の画素のＲＧＢの最頻値または平均値であってもよい。情報処理装置は、人体候補の色情報と基準色情報とを簡易な計算で比較し、精度良く人体を検出することができる。

基準色情報は、複数の撮像画像において領域で検出された人体の色情報を平均化した情報であってもよい。また、基準色情報は、複数の撮像画像において領域で検出された人体
の色情報を教師データとして学習させ、入力された人体候補の色情報が、検出領域で検出される人体の色情報であるか否かを出力する学習済みモデルであってもよい。情報処理装置は、複数の学習用の撮像画像から各領域に対応する基準色情報を生成することで、より平均的な色情報マップを作成することができる。

領域は、複数の基準色情報に対応づけられてもよい。情報処理装置は、色の特徴が異なる人物を検出するような場合でも、精度良く人体を検出することができる。

情報処理装置は、人体判定部により、人体であると判定された人体候補を、人体の検出結果としてユーザに提示する出力部をさらに備えてもよい。情報処理装置は、色情報を考慮した人体の検出結果をユーザに提示することができる。

記憶部は、魚眼カメラによる撮像画像の中心位置からの距離に応じた基準色情報を記憶してもよい。情報処理装置は、撮像画像の中心位置からの距離に応じた基準色情報を用意することで、当該距離で検出された人体候補が人体であるか否かを精度良く判定することができる。

本発明の第二側面は、コンピュータが、魚眼カメラによる撮像画像を分割した複数の領域ごとに、領域で検出された人体の色情報を、領域の基準色情報として記憶部に記憶する記憶ステップと、撮像画像から人体候補を検出する検出ステップと、領域のうち人体候補が検出された検出領域に対応する基準色情報を記憶部から取得し、取得した検出領域の基準色情報と、人体候補の色情報とに基づいて、人体候補が人体であるか否かを判定する人体判定ステップと、を含む情報処理方法である。

本発明は、かかる方法をコンピュータによって実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、魚眼カメラで撮像された見下ろし画像で、人体の誤検出を低減することができる。

図１は、実施形態に係る情報処理装置の適用例を説明する図である。 図２は、情報処理装置のハードウェア構成を例示する図である。 図３は、情報処理装置の機能構成を例示する図である。 図４は、人体検出処理を例示するフローチャートである。 図５は、変形例１に係る色情報について説明する図である。 図６は、変形例２に係る色情報について説明する図である。 図７は、変形例３に係る色情報マップについて説明する図である。 図８は、変形例４に係る色情報マップについて説明する図である。

以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。

＜適用例＞
図１は、実施形態に係る情報処理装置の適用例を説明する図である。情報処理装置は、カメラで撮像されたカメラ画像（撮像画像）から、人体であると認識された被写体（以下、人体候補と称される）を検出し、色情報を用いて人体候補が人体であるか否かを判定する。

情報処理装置は、撮像画像を複数の領域に分割し、それぞれの領域で検出された人体の色情報を取得（生成）する。図１の例では、学習用の撮像画像１は、４×４の矩形の領域に分割されている。情報処理装置は、領域Ａ１で検出された人体を囲む枠内の画素について、ＲＧＢごとのヒストグラムを人体の色情報として生成する。生成された色情報は、人体候補が人体であるか否かを判定するための基準となる色情報（以下、基準色情報と称される）として記憶部に記憶される。基準色情報は、各領域で検出された人体の色情報であり、撮像画像を分割した複数の領域ごとに生成される。

情報処理装置は、検出対象の撮像画像では人体候補を検出し、人体候補の色情報を生成する。図１は、情報処理装置が、撮像画像２の領域Ａ１でパーソナルコンピュータ（ＰＣ）を人体候補として検出した例を示す。情報処理装置は、検出したＰＣを囲む枠内の画素について、ＲＧＢごとのヒストグラムを人体候補の色情報として生成する。

情報処理装置は、撮像画像２の領域Ａ１で検出されたＰＣの色情報を、領域Ａ１の基準色情報と比較し、これらの類似度に基づいて、人体候補として検出されたＰＣが人体であるか否かを判定する。情報処理装置は、例えば、人体候補（ＰＣ）の色情報のヒストグラムと基準色情報のヒストグラムとの相関係数を類似度として計算し、相関係数が所定の閾値以上である場合に、人体候補が人体であると判定することができる。

相関係数は、公知の各種方法により、例えば０以上１以下の値として計算される。図１の例では、情報処理装置は、ＲＧＢごとのヒストグラム間で相関係数を計算し、例えば、３つの相関係数の平均値を、人体であるか否かの判定するための相関係数として用いることができる。所定の閾値は、例えば、０．６以上０．９以下の値とすることができる。所定の閾値を上げることで、情報処理装置は、人体であるか否かをより精度よく判定することができる。

人体検出のための撮像に使用されるカメラは、広範囲の画像情報を取得することが可能な魚眼レンズを搭載した超広角のカメラである。魚眼レンズを搭載したカメラは、魚眼カメラ、全方位カメラ、全天球カメラなどとも呼ばれるが、本明細書では「魚眼カメラ」の語を用いる。

魚眼カメラで撮影した画像は、撮像画像内の位置によって撮影対象の見た目に歪みが生じる。例えば、魚眼カメラが天井から床面を見下ろすように配置された場合、撮影された人物の画像は、足元が中心を向き、頭頂部は外側を向いている。人体は、撮像画像の周辺では正面像、背面像または側面像となり、撮像画像の中央では上面像となる。

このため、同一人物または同じ制服を着用した人物であっても、検出される領域によって、生成される色情報は異なる。情報処理装置は、人体候補の色情報を、人体候補が検出された領域（検出領域）に対応する基準色情報と比較することで、人体候補が人体であるか否かを精度良く判定することができる。したがって、情報処理装置は、魚眼カメラで撮像された見下ろし画像での人体の誤検出を低減することができる。

なお、特定の場所に設置されたカメラの撮像画像から人体候補を検出する場合、情報処理装置は、主に撮像画像から背景画像を除いた背景差分から人体候補を検出する。この場合、背景差分に含まれる物体は、人体でない場合でも、人体候補として検出される可能性が高くなる。特に、特定の環境で人体を検出するように学習させたモデルを用いて人体を検出した場合、背景に含まれず色の異なる物体は、人体として検出されてしまう場合がある。情報処理装置は、色情報を用いて人体であるか否かを判定することで、背景差分からの物体の誤検出を低減することが可能となる。

＜実施形態＞
（ハードウェア構成）
図２を参照して、情報処理装置１０のハードウェア構成の一例について説明する。図２は、情報処理装置１０のハードウェア構成を例示する図である。情報処理装置１０は、プロセッサ１０１、主記憶部１０２、補助記憶部１０３、通信インタフェース（Ｉ／Ｆ）１０４、表示部１０５を備える。

プロセッサ１０１は、補助記憶部１０３に記憶されたプログラムを主記憶部１０２に読み出して実行することにより、図３で説明する各機能構成としての機能を実現する。主記憶部１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体メモリである。補助記憶部１０３は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の不揮発性のメモリである。

通信インタフェース１０４は、有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で通信を行うためのインタフェースである。表示部１０５は、人体の検出結果を表示するためのディスプレイ等である。

情報処理装置１０は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよく、オンボードコンピュータのように組み込み型のコンピュータでもよい。情報処理装置１０は、各機能部の処理の一部をクラウドサーバにより実現してもよい。また、情報処理装置１０の各機能部の処理の一部は、ＦＰＧＡまたはＡＳＩＣなどの専用のハードウェア装置によって実現されてもよい。

情報処理装置１０は、有線または無線でカメラ２０に接続され、カメラ２０で撮影された画像データ（撮像画像）を受信する。カメラ２０は、レンズを含む光学系および撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。

なお、情報処理装置１０の処理の一部は、カメラ２０で実行されてもよい。また、情報処理装置１０による人体検出の結果は、外部の装置に送信されユーザに提示されるようにしてもよい。さらに、情報処理装置１０は、カメラ２０と一体に構成されてもよい。

（機能構成）
図３を参照して、情報処理装置１０の機能構成の一例について説明する。図３は、情報処理装置１０の機能構成を例示する図である。情報処理装置１０は、色情報生成部１１、検出部１２、人体判定部１３、出力部１４および色情報データベース１５（色情報ＤＢ１５）を含む。

色情報生成部１１は、カメラ２０によって撮像された撮像画像を取得し、撮像画像を分割した複数の領域ごとに、当該領域で検出された人体の色情報から、当該領域の基準色情報を生成する。撮像画像を分割した各領域と対応づけられた基準色情報のデータは、色情報マップとも称される。

色情報は、検出された人体を囲む枠内での画素値に基づいて生成される。例えば、色情報生成部１１は、人体を囲む枠内の画素の画素値（輝度値）をヒストグラムとして表した情報を、人体が検出された領域の基準色情報として生成する。色情報生成部１１は、ＲＧＢごとのヒストグラムを基準色情報として生成してもよい。色情報生成部１１は、生成した基準色情報を、人体が検出された領域と対応づけて色情報データベース１５に記憶させる。

色情報生成部１１は、基準色情報と同様に、撮像画像から検出した人体候補の色情報も生成することができる。人体候補の色情報は、人体判定部１３により、人体候補が人体であるか否かを判定するために用いられる。色情報生成部１１は、「生成部」の一例である。

検出部１２は、カメラ２０によって撮像された撮像画像を取得し、撮像画像から人体候補を検出する。検出部１２は、一般的な物体認識のアルゴリズムを用いて、人体候補を検出することができる。例えば、検出部１２は、ＨｏＧまたはＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングとを組み合わせた識別器を用いて人体候補を検出することができる。また、検出部１２は、ディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）による人体認識のアルゴリズムを用いて人体候補を検出してもよい。

人体判定部１３は、検出部１２が検出した人体候補が、人体であるか否かを判定する。人体判定部１３は、撮像画像の複数の領域のうち人体候補が検出された検出領域に対応する基準色情報と、人体候補の色情報との類似度に基づいて、人体候補が人体であるか否かを判定する。検出領域は、例えば、人体候補を囲む矩形枠の中心位置が検出された領域とすることができる。

出力部１４は、人体判定部１３により人体であると判定された人体候補を、人体の検出結果として出力する。出力部１４は、例えば、検出された人体を囲む矩形を撮像画像上に重畳表示することにより、人体の検出結果をユーザに提示することができる。

色情報データベース１５は、あらかじめ色情報生成部１１が作成した色情報マップを記憶する。色情報マップは、撮像画像を分割した領域と、当該領域と対応づけられた基準色情報のデータを含む。色情報マップの基準色情報は、人体の検出処理を実行しながら更新されるようにしてもよい。色情報データベース１５は、「記憶部」の一例である。

（人体検出処理）
図４を参照して、人体検出処理の全体的な流れを説明する。図４は、人体検出処理を例示するフローチャートである。人体検出処理は、例えば、カメラ２０の電源が入り、情報処理装置１０がカメラ２０から撮像画像を受信することにより開始される。なお、図４に示す人体検出処理は、カメラ２０から受信する画像データの１フレーム（撮像画像）ごとに実行される処理である。また、色情報マップは、色情報生成部１１によってあらかじめ作成され、色情報データベース１５に記憶されているものとする。

ステップＳ１０１では、検出部１２は撮像画像を取得する。検出部１２は、通信インタフェース１０４を介して、カメラ２０から撮像画像を取得することができる。なお、情報処理装置１０がカメラ（撮像部）と一体に構成されている場合には、色情報生成部１１は、撮像部により撮像された撮像画像を取得する。

ステップＳ１０２では、検出部１２は、ステップＳ１０１で取得した撮像画像から人体候補を検出する。検出部１２は、ディープラーニング等の公知の技術を使用して人体候補を検出することができる。ステップＳ１０２で複数の人体候補が検出された場合、各人体候補に対してステップＳ１０３からステップＳ１０６の人体判定処理Ｌ１が繰り返される。

ステップＳ１０３では、人体判定部１３は、ステップＳ１０２で検出された人体候補が人体であるか否かを判定する。人体判定部１３は、まず、撮像画像を分割した複数の領域
のうち、人体候補が検出された検出領域に対応する基準色情報を色情報データベース１５から取得する。次に、人体判定部１３は、取得した当該検出領域の基準色情報と、検出された人体候補の色情報との類似度に基づいて、人体候補が人体であるか否かを判定する。人体候補の色情報は、色情報生成部１１により取得される。

色情報は、図１で例示したように、ＲＧＢごとのヒストグラムとする。この場合、人体判定部１３は、人体候補の色情報のＲＧＢごとのヒストグラムと、基準色情報のＲＧＢごとのヒストグラムとの相関係数をそれぞれ計算する。

ステップＳ１０４では、人体判定部１３は、ステップＳ１０３で計算した相関係数が所定の閾値以上であるか否かを判定する。人体判定部１３は、例えば、ＲＧＢのヒストグラムのそれぞれの相関係数の平均値、最大値または最小値が所定の閾値以上の場合に、人体候補が人体であると判定する。なお、人体判定部１３は、ＲＧＢのヒストグラムのそれぞれの相関係数が、いずれも所定の閾値以上の場合に、人体候補が人体であると判定してもよい。

相関係数が所定の閾値以上であり、人体候補が人体であるとされた場合（ステップＳ１０４：ＹＥＳ）、処理はステップＳ１０５に進む。相関係数が所定の閾値未満であり、人体候補が人体でないと判定された場合（ステップＳ１０４：ＮＯ）、処理はステップＳ１０６に進む。

ステップＳ１０５では、人体判定部１３は、判定対象の人体候補を人体の検出結果として採用し、補助記憶部１０３等に保持する。ステップＳ１０６では、人体判定部１３は、判定対象の人体候補を誤検出として除去する。

ステップＳ１０２で検出された各人体候補に対して、人体判定処理Ｌ１が実行されると、処理はステップＳ１０７に進む。ステップＳ１０７では、出力部１４は、ステップＳ１０５で検出結果として採用された人体の情報を出力する。出力部１４は、検出結果を表示部１０５に表示してもよい。出力部１４は、例えば、検出された人体を囲む矩形を撮像画像上に重畳表示することにより、人体の検出結果をユーザに提示することができる。出力部１４は、検出結果を外部装置に出力し、外部装置のディスプレイ等に表示させてもよい。

現在のフレーム（撮像画像）に対する人体検出処理が終了すると、次のフレームに対する人体検出処理が開始される。情報処理装置１０は、カメラ２０による撮像処理が停止されるまで図４の人体検出処理を繰り返し実行する。

上記の実施形態において、情報処理装置１０は、撮像画像から人体候補を検出し、人体候補が検出された検出領域に対応する基準色情報と、人体候補の色情報との類似度に基づいて、人体候補が人体であるか否かを判定する。魚眼カメラによる撮像画像では、撮像された位置によって見え方が異なるが、情報処理装置１０は、人体候補が検出された位置（検出領域）に応じた基準色情報と比較することで、検出された人体候補が人体であるか否かを精度良く判定することができる。したがって、情報処理装置１０は、魚眼カメラで撮像された見下ろし画像での人体の誤検出を低減することができる。

＜変形例１＞
上記の実施形態は、色情報が画素値のヒストグラムである例を示す。変形例１は、色情報を、人体または人体候補を囲む枠内の画素のＲＧＢの最頻値とする例である。なお、最頻値に限られず、色情報は、人体または人体候補を囲む枠内の画素のＲＧＢの平均値であってもよい。

図５は、変形例１に係る色情報について説明する図である。撮像画像１は、基準色情報を生成するための学習用の撮像画像であり、撮像画像２は、人体の検出対象である撮像画像である。

色情報生成部１１は、撮像画像１の領域Ａ１で検出された人体を囲む枠内の画素について、ＲＧＢの最頻値（ｒ_１，ｇ_１，ｂ_１）を取得し、領域Ａ１の基準色情報として色情報データベース１５に記憶させる。また、色情報生成部１１は、撮像画像２の領域Ａ１で検出されたＰＣ（人体候補）を囲む枠内の画素について、ＲＧＢの最頻値（ｒ_２，ｇ_２，ｂ_２）を人体候補の色情報として取得する。最頻値は、人体または人体候補を囲む枠内の画素のうち最も多く登場する画素値である。ｒ_１，ｇ_１，ｂ_１，ｒ_２，ｇ_２，ｂ_２は、０から２５５までの値で表される。

人体判定部１３は、基準色情報のＲＧＢ最頻値（ｒ_１，ｇ_１，ｂ_１）と人体候補の色情報のＲＧＢの最頻値（ｒ_２，ｇ_２，ｂ_２）との距離ｄを、以下の（式１）により計算する。

人体判定部１３は、距離ｄが所定の閾値以下の場合は、人体候補が人体であると判定し、距離ｄが所定の閾値より大きい場合は、人体候補が人体でないと判定することができる。なお、相関係数は、例えば、距離ｄが小さくなるにつれて大きくなるように換算式を定義して、算出されるようにしてもよい。この場合、人体判定部１３は、ヒストグラムの場合と同様に、相関係数を所定の閾値と比較することにより、人体候補が人体であるか否かを判定することができる。

変形例１によれば、情報処理装置１０は、人体候補の色情報と基準色情報とを簡易な計算で比較し、精度良く人体を検出することができる。

＜変形例２＞
変形例２は、人体または人体候補を囲む枠内から背景を除く部分での画素値に基づいて色情報を生成する例である。背景部分の画素を除外することで、色情報生成部１１は、人体または人体候補の色情報をより正確に生成することができる。

図６は、変形例２に係る色情報について説明する図である。図６では、検出対象の撮像画像６０から、検出された人体候補の色情報を生成する例について説明する。色情報生成部１１は、学習用の撮像画像から人体の基準色情報も同様に生成することができる。

検出部１２は、撮像画像６０から人体候補を検出する。人体候補を囲む矩形の枠６１は背景画像を含むため、枠６１内の画素値から色情報を生成した場合、生成される色情報は、人体候補以外の背景部分の色の情報を含んでしまう。そこで、色情報生成部１１は、撮像画像６０と背景画像６２との差分である背景差分６３を取得し、背景差分６３での人体候補６４から色情報を生成する。

変形例２によれば、情報処理装置１０は、背景部分を除いて色情報を生成することで、実際の人体および人体候補の部分のみから、基本色情報および色情報を生成することができ、精度良く人体を検出することができる。

＜変形例３＞
上記の実施形態は、各領域に対応する基準色情報を１つの学習用の撮像画像から生成する例を示す。変形例３は、複数の学習用の撮像画像から各領域に対応する基準色情報を生成し、色情報マップを作成する例である。

図７は、変形例３に係る色情報マップについて説明する図である。色情報生成部１１は、例えば、撮像画像７０および撮像画像７２の領域Ａ１で検出された人体の色情報７１および色情報７３を平均化することにより、領域Ａ１に対応する基準色情報７４を生成する。

色情報生成部１１は、撮像画像７０および撮像画像７２の２つに限られず、３つ以上の撮像画像から基準色情報を生成してもよい。また、色情報生成部１１は、複数の学習用の撮像画像において、領域Ａ１で検出された人体の色情報を教師データとして学習させた学習済みモデルを基準色情報として生成してもよい。この学習済みモデルは、入力された人体候補の色情報が、検出領域で検出される人体の色情報であるか否かを出力する。

変形例３によれば、情報処理装置１０は、複数の学習用の撮像画像から各領域に対応する基準色情報を生成することで、より平均的な色情報マップを作成することができる。

＜変形例４＞
変形例４は、変形例３と同様に、複数の学習用の撮像画像から各領域に対応する基準色情報を生成し、色情報マップを作成する例である。変形例３は、複数の学習用の撮像画像から１つの基準色情報を生成する例であるのに対し、変形例４は、複数の学習用の撮像画像から複数の基準色情報を生成する例である。変形例４では、学習用の撮像画像のいずれかの撮像画像から、現在の基準色情報と相関係数が所定の閾値未満の色情報が生成された場合、当該色情報は、新たな基準色情報として保持される。

図８は、変形例４に係る色情報マップについて説明する図である。色情報生成部１１は、まず、撮像画像８０で検出された人体の色情報８１を、領域Ａ１での基準色情報８１として採用する。

次に、色情報生成部１１は、撮像画像８２で新たに検出された人体の色情報８３を生成し、基準色情報８１との相関係数を計算する。相関係数が所定の閾値（第１閾値）以上である場合、色情報生成部１１は、色情報８３に基づいて基準色情報８１を更新する。色情報生成部１１は、例えば、基準色情報８１を色情報８３と平均化することにより、基準色情報８４に更新する。第１閾値は、例えば、０．６以上０．９以下の値とすることができる。

また、色情報生成部１１は、撮像画像８５で新たに検出された人体の色情報８６を生成し、基準色情報８４との相関係数を計算する。相関係数が所定の閾値（第２閾値）未満である場合、色情報生成部１１は、色情報８６を領域Ａ１での新たな基準色情報８６として採用し、色情報データベース１５に記憶させる。第２閾値は、第１閾値以下の値であり、例えば、０．３以上０．６以下の値とすることができる。

さらに他の学習用の撮像画像がある場合も同様に、色情報生成部１１は、新たに検出された人体の色情報と、基準色情報８４および基準色情報８６との相関係数をそれぞれ計算する。色情報生成部１１は、相関係数が第１閾値以上となれば、新たに検出された人体の色情報に基づいて、当該基準色情報を更新する。また、いずれの基準色情報に対しても相関係数が第２閾値未満となった場合、色情報生成部１１は、新たに検出された人体の色情報を、領域Ａ１での新たな基準色情報として採用し、色情報データベース１５に記憶させる。

変形例４によれば、情報処理装置１０は、学習用の撮像画像から、特徴の異なる色情報が生成された場合、新たな基準色情報として色情報データベース１５に記憶させる。各領域が複数の基準色情報に対応づけられることにより、情報処理装置１０は、制服の色が異なる人物を検出するような場合でも、精度良く人体を検出することができる。

また、各領域で複数の基準色情報を採用することにより、異なる特徴を有する人物が検出された頻度等の情報を取得することができ、これらの情報は、ファクトリーオートメーションにおける工程改善に有用な情報として用いることができる。

＜変形例５＞
上記の実施形態では、各領域に対する基準色情報を含む色情報マップは、あらかじめ用意されている例について説明したが、色情報マップは、人体検出処理をしながら生成、更新されてもよい。人体判定部１３は、図４に示す人体検出処理のステップＳ１０５で、人体候補が人体であると判定された場合、人体であると判定された人体候補の色情報を、現在の基準色情報と平均化することで、基準色情報を更新する。

変形例５によれば、情報処理装置１０は、基準色情報を継続的に更新することができるため、背景および人物の特徴等の経時的な変化に伴う人体検出の精度の低下を抑制することができる。

＜その他＞
上記の実施形態および各変形例は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の組み合わせおよび変形が可能である。

なお、上記の実施形態および各変形例では、撮像画像を４×４の矩形の領域に分割して人体検出処理を実行する例により説明したが、撮像画像の分割方法は、４×４の矩形領域に限られない。分割された領域の数は、４×４より多くても少なくてもよい。また分割された領域の形状は矩形に限られず、同心円状の領域としてもよい。また、情報処理装置１０は、分割された領域ごとに基準色情報を用意する場合に限られず、撮像画像の中心位置からの距離に応じた基準色情報を用意するようにしてもよい。

＜付記＞
（１）人体の色情報を基準色情報として記憶する記憶部（１５）と、
魚眼カメラによる撮像画像から人体候補を検出する検出部（１２）と、
前記人体候補が検出された検出領域に対応する前記基準色情報を前記記憶部から取得し、取得した前記検出領域の前記基準色情報と、前記人体候補の色情報との類似度に基づいて、前記人体候補が人体であるか否かを判定する人体判定部（１３）と、
を備える情報処理装置（１０）。

（２）コンピュータが、
人体の色情報を基準色情報として記憶部に記憶する記憶ステップと、
魚眼カメラによる撮像画像から人体候補を検出する検出ステップ（ステップＳ１０２）と、
前記人体候補が検出された検出領域に対応する前記基準色情報を前記記憶部から取得し、取得した前記検出領域の前記基準色情報と、前記人体候補の色情報との類似度に基づいて、前記人体候補が人体であるか否かを判定する人体判定ステップ（ステップＳ１０３～Ｓ１０６）と、
を含む情報処理方法。

１０：情報処理装置、１１：色情報生成部、１２：検出部、１３：人体判定部、１４：出力部、１５：色情報データベース、２０：カメラ
１０１：プロセッサ、１０２：主記憶部、１０３：補助記憶部、１０４：通信インタフェース、１０５：表示部

Claims (19)

1. 人体の色情報を基準色情報として記憶する記憶部と、
   魚眼カメラによる撮像画像から人体候補を検出する検出部と、
   前記人体候補が検出された検出領域に対応する前記基準色情報を前記記憶部から取得し、取得した前記検出領域の前記基準色情報と、前記人体候補の色情報との類似度に基づいて、前記人体候補が人体であるか否かを判定する人体判定部と、
   を備える情報処理装置。
2. 前記記憶部は、前記魚眼カメラによる撮像画像を分割した複数の領域ごとに、前記領域で検出された人体の色情報を前記基準色情報として記憶する、
   請求項１に記載の情報処理装置。
3. 前記領域で検出された人体の色情報から、前記領域の前記基準色情報を生成して前記記憶部に記憶させる生成部をさらに備える、
   請求項２に記載の情報処理装置。
4. 前記生成部は、複数の前記撮像画像の前記領域でそれぞれ検出された人体の色情報に基づいて、前記領域に対応する前記基準色情報を生成する、
   請求項３に記載の情報処理装置。
5. 前記生成部は、
   前記領域で新たに検出された人体の色情報と、前記領域に対応する前記基準色情報との相関係数が第１閾値以上である場合には、前記領域で新たに検出された人体の色情報に基づいて前記領域の前記基準色情報を更新し、
   前記領域で新たに検出された人体の色情報と、前記領域の前記基準色情報との相関係数が前記第１閾値以下の第２閾値未満である場合には、前記領域で新たに検出された人体の色情報を前記領域の新たな前記基準色情報として前記記憶部に記憶させる、
   請求項３に記載の情報処理装置。
6. 前記基準色情報は、前記領域で検出された人体を囲む枠内での画素値に基づいて生成され、
   前記人体候補の色情報は、前記人体候補を囲む枠内での画素値に基づいて生成される、請求項２から５のいずれか１項に記載の情報処理装置。
7. 前記基準色情報は、前記領域で検出された人体を囲む枠内から前記撮像画像の背景を除く部分での画素値に基づいて生成され、
   前記人体候補の色情報は、前記人体候補を囲む枠内から前記撮像画像の背景部分を除く部分での画素値に基づいて生成される、
   請求項６に記載の情報処理装置。
8. 前記基準色情報は、前記領域で検出された人体を囲む枠内での画素値のヒストグラムであり、
   前記人体候補の色情報は、前記人体候補を囲む枠内での画素値のヒストグラムである、請求項６に記載の情報処理装置。
9. 前記人体判定部は、前記人体候補の色情報のヒストグラムと、前記検出領域に対応する前記基準色情報のヒストグラムとの相関係数が所定の閾値以上の場合に、前記人体候補が人体であると判定する、
   請求項８に記載の情報処理装置。
10. 前記画素値のヒストグラムは、ＲＧＢごとのヒストグラムである、
    請求項８に記載の情報処理装置。
11. 前記人体判定部は、前記人体候補の色情報のＲＧＢごとのヒストグラムと、前記検出領域に対応する前記基準色情報のＲＧＢごとのヒストグラムとのそれぞれの相関係数の平均値、最大値または最小値に基づいて、前記人体候補が人体であるか否かを判定する、
    請求項１０に記載の情報処理装置。
12. 前記基準色情報は、前記領域で検出された人体を囲む枠内の画素のＲＧＢの最頻値または平均値であり、
    前記人体候補の色情報は、前記人体候補を囲む枠内の画素のＲＧＢの最頻値または平均値である、
    請求項６に記載の情報処理装置。
13. 前記基準色情報は、複数の前記撮像画像において前記領域で検出された人体の色情報を平均化した情報である、
    請求項２から５のいずれか１項に記載の情報処理装置。
14. 前記基準色情報は、複数の前記撮像画像において前記領域で検出された人体の色情報を教師データとして学習させ、入力された前記人体候補の色情報が、前記検出領域で検出される人体の色情報であるか否かを出力する学習済みモデルである、
    請求項２から５のいずれか１項に記載の情報処理装置。
15. 前記領域は、複数の前記基準色情報に対応づけられる、
    請求項２から５のいずれか１項に記載の情報処理装置。
16. 前記人体判定部により、人体であると判定された前記人体候補を、人体の検出結果としてユーザに提示する出力部をさらに備える、
    請求項１から５のいずれか１項に記載の情報処理装置。
17. 前記記憶部は、魚眼カメラによる撮像画像の中心位置からの距離に応じた前記基準色情報を記憶する、
    請求項１に記載の情報処理装置。
18. コンピュータが、
    人体の色情報を基準色情報として記憶部に記憶する記憶ステップと、
    魚眼カメラによる撮像画像から人体候補を検出する検出ステップと、
    前記人体候補が検出された検出領域に対応する前記基準色情報を前記記憶部から取得し、取得した前記検出領域の前記基準色情報と、前記人体候補の色情報との類似度に基づいて、前記人体候補が人体であるか否かを判定する人体判定ステップと、
    を含む情報処理方法。
19. コンピュータに、
    人体の色情報を基準色情報として記憶部に記憶する記憶ステップと、
    魚眼カメラによる撮像画像から人体候補を検出する検出ステップと、
    前記人体候補が検出された検出領域に対応する前記基準色情報を前記記憶部から取得し、取得した前記検出領域の前記基準色情報と、前記人体候補の色情報との類似度に基づいて、前記人体候補が人体であるか否かを判定する人体判定ステップと、
    を実行させるためのプログラム。

Images