JP7124760B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置、及び画像処理方法に関する。

カメラ等で撮影された画像に基づいて、撮像領域内に存在する動体の位置を検出する画像処理装置が知られている。この種の画像処理装置は、特に、工事現場や工場などの業務環境において、人や作業機（以下、「動体」と総称する）の位置を正確に把握し、当該動体の行動又は動作を解析したり、当該動体の行動又は動作を予測する用途（以下、「行動解析」と総称する）への適用が期待されている。

例えば、特許文献１には、解像能力の異なる２つのセンサを利用して動体認識を行い、状況に応じてどちらのセンサの動体認識結果を採用するかを切り替えることで、認識精度を向上させようとする技術が開示されている。

特開２０１４－１６７７０２号公報

ところで、この種の画像処理装置において、動体の行動解析の精度を高めるためには、画像内に映る動体の各部位がどの位置に存在するかを認識する必要がある。

しかしながら、実際には、必ずしも行動解析の対象となる動体の全体が、画像内に映るように撮像されるわけではなく、当該動体の一部が、画像からはみ出すようにして撮像されている場合もある。このような場合、典型的には、当該動体は、画像内において、当該動体の複数の部位が分離するようにして映ることになる（後述する図６Ａ、図６Ｂを参照）。

この際、従来技術に係る画像処理装置では、画像内に分離して映る一つの動体の複数の部位それぞれを、別個の動体と認識してしまうおそれがある。その結果、動体の数や姿勢、動体のトラッキングの認識の精度悪化を招くことになる。

本開示は、上記問題点に鑑みてなされたもので、画像端に映る動体の認識精度を向上し得る画像処理装置及び画像処理方法を提供することを目的とする。

前述した課題を解決する主たる本開示は、
第１領域を撮像する第１センサから第１画像に係る画像データを取得する第１画像取得部と、
前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得する第２画像取得部と、
前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成する第１解析部と、
前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成する第２解析部と、
前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正するデータ比較処理部と、
を備える画像処理装置である。

又、他の局面では、
第１領域を撮像する第１センサから第１画像に係る画像データを取得し、
前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得し、
前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成し、
前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成し、
前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する、
画像処理方法である。

本開示に係る画像処理装置によれば、画像端に映る動体の認識精度を向上することが可能である。

第１の実施形態に係る監視システムの一例を示す図 第１の実施形態に係る監視システムにおけるレーザーレーダーの視野（即ち、撮像範囲）とカメラの視野（即ち、撮像範囲）とを示す図 第１の実施形態に係る画像処理装置のハードウェア構成を示す図 第１の実施形態に係る画像処理装置の機能ブロックを示す図 第１解析部により生成される解析データの一例を示す図 第２解析部により生成される解析データの一例を示す図 第１解析部により生成される解析データを距離画像に重ね合わせて示した図 第２解析部により生成される解析データをカメラ画像に重ね合わせて示した図 データ出力部が生成する表示画像の一例を示す図 第１の実施形態に係る画像処理装置（データ比較処理部）が第１解析データと第２解析データとを比較する処理を示すフローチャート 第２の実施形態に係る図８のフローチャートの処理を模式的に説明する図 第２の実施形態に係る図８のフローチャートの処理を模式的に説明する図 第２の実施形態に係る図８のフローチャートの処理を模式的に説明する図 第２の実施形態に係る画像処理装置の構成を示す図 第３の実施形態に係る画像処理装置の構成を示す図

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
［監視システムの全体構成］
以下、図１～図４を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した画像処理装置の構成の概要について説明する。

図１は、本実施形態に係る監視システムＵの一例を示す図である。本実施形態に係る監視システムＵは、工事現場内に存在する動体（ここでは、作業機Ｍ１、作業機Ｍ２）の動きを解析する用途に適用されている。

本実施形態に係る監視システムＵは、画像処理装置１００、レーザーレーダー２００、及び、カメラ３００を備えている。

レーザーレーダー２００（本発明の「第１センサ」に相当）（Light Detection And Ranging:LiDARとも称される）は、レーザ光を打ち出し、当該レーザ光が動体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から動体の位置までの距離を求める。レーザーレーダー２００は、かかる処理を、監視対象領域が映る所定範囲内を走査しながら行うことにより、距離画像に係る画像データ（以下、「距離画像」と略称する）を生成する。尚、レーザーレーダー２００は、フレーム単位の距離画像を連続的に生成し、時系列に並んだ距離画像（即ち、動画像）を画像処理装置１００に対して出力する。

距離画像は、各走査位置を画素として、画素毎に、レーザーレーダー２００の測定データ（例えば、距離及び反射強度）が画素値として対応付けられた画像である（点群データとも称される）。距離画像は、監視対象領域内における動体の３次元（例えば、水平方向、鉛直方向、及び奥行方向）の位置を示すものであり、例えば、動体の存在位置を３次元の直交座標系（Ｘ、Ｙ、Ｚ）で表す。

カメラ３００（本発明の「第２センサ」に相当）は、例えば、可視カメラであり、自身の有する撮像素子（ＣＭＯＳセンサ又はＣＣＤセンサ）が生成した画像信号をＡＤ変換して、カメラ画像に係る画像データ（以下、「カメラ画像」と略称する）を生成する。尚、カメラ３００は、フレーム単位のカメラ画像を連続的に生成して、時系列に並んだカメラ画像（即ち、動画像）を画像処理装置１００に対して出力する。

カメラ画像は、例えば、画素毎に、ＲＧＢそれぞれについての輝度値（例えば、ＲＧＢそれぞれについての２５６階調の輝度値）が画素値として対応付けられた画像である。

図２は、本実施形態に係る監視システムＵにおけるレーザーレーダー２００の視野（即ち、撮像範囲）とカメラ３００の視野（即ち、撮像範囲）とを示す図である。尚、図２中では、Ｒ１領域がレーザーレーダー２００の視野を表し、Ｒ２領域がカメラ３００の視野を表す。

レーザーレーダー２００及びカメラ３００は、同一の監視対象領域を撮像するように、当該監視対象領域付近の適宜な位置に設置されている。即ち、レーザーレーダー２００の視野とカメラ３００の視野とは、注目視野が共通となるように設置されている。但し、レーザーレーダー２００の視野の一部は、カメラ３００の視野外の領域を含み、カメラ３００の視野の一部は、レーザーレーダー２００の視野外の領域を含む。

一般に、レーザーレーダー２００の視野は、図２のＲ１領域に示すように、横方向（ここでは、水平方向）に長く、縦方向（ここでは、垂直方向）に短い。一方、カメラ３００の視野は、図２のＲ２領域に示すように、レーザーレーダー２００の視野に比較して、正方形に近い。そのため、レーザーレーダー２００の視野（即ち、撮像対象領域）は、横方向については、カメラ３００の視野（即ち、撮像対象領域）よりも広く、縦方向については、カメラ３００の視野（即ち、撮像対象領域）よりも狭くなるケースが多い。そのため、レーザーレーダー２００の視野とカメラ３００の視野とは、一部が重複し、一部が他方の視野外の領域を含んでいる。

画像処理装置１００は、レーザーレーダー２００で生成された距離画像の画像データ、及び、カメラ３００で生成されたカメラ画像の画像データに基づいて、監視対象領域内に存在する動体（図１では、作業機Ｍ１、作業機Ｍ２）の動きをトラッキングし、そのトラッキング結果を出力する。

図３は、本実施形態に係る画像処理装置１００のハードウェア構成を示す図である。

画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インタフェイス１０５等を備えたコンピュータである。

画像処理装置１００の後述する各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データを参照することによって実現される。但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路（例えば、ＡＳＩＣ又はＦＰＧＡ）による処理によって実現されてもよい。

［画像処理装置の構成］
次に、図４～図７を参照して、本実施形態に係る画像処理装置１００の構成の一例について説明する。

図４は、本実施形態に係る画像処理装置１００の機能ブロックを示す図である。尚、図４中の矢印は、データの流れを表す。

図５Ａは、第１解析部３０により生成される解析データＤ１の一例を示す図であり、図５Ｂは、第２解析部４０により生成される解析データＤ２の一例を示す図である。尚、図５Ａ、図５Ｂは、各クレームにおける動体の位置を示しており、ＩＤ（本発明の「識別情報」に相当する）は各動体の識別番号を表し、ｔ＝０、ｔ＝１、ｔ＝２…はフレーム番号を表す。

図６Ａは、第１解析部３０により生成される解析データＤ１（即ち、動体の位置及び占有領域）を距離画像に重ね合わせて示した図であり、図６Ｂは、第２解析部４０により生成される解析データＤ２（即ち、動体の位置及び占有領域）をカメラ画像に重ね合わせて示した図である。

画像処理装置１００は、第１画像取得部１０、第２画像取得部２０、第１解析部３０、第２解析部４０、データ比較処理部５０、及び、データ出力部６０を備えている。

第１画像取得部１０は、レーザーレーダー２００が生成した距離画像（本発明の「第１画像」に相当）を取得する。尚、第１画像取得部１０は、レーザーレーダー２００から、時系列に並んだ距離画像を順次取得する。

第２画像取得部２０は、カメラ３００が生成したカメラ画像（本発明の「第２画像」に相当）を取得する。尚、第２画像取得部２０は、カメラ３００から、時系列に並んだカメラ画像を順次取得する。

第１解析部３０は、距離画像内に映る動体の位置及び占有領域を検出した解析データ（以下、「第１解析データ」と称する）Ｄ１を生成する。この際、第１解析部３０は、時系列に並んだ距離画像に基づいて、監視対象領域に存在する動体の位置を解析し、その結果を第１解析データＤ１として出力する。

具体的には、第１解析部３０は、時系列に並んだ距離画像の各フレームに映る動体を検出し、動体毎に、ＩＤを付与すると共に、その動体が存在する位置及び占有領域を、ＩＤと関連付けて記憶する。第１解析部３０は、例えば、注目フレームで検出された動体とその前フレームで検出された動体との関連度を算出し、当該関連度に基づいて、注目フレームで検出された動体と前フレームで検出された動体との同一性を判定する。そして、この際、第１解析部３０は、注目フレームで検出された動体と前フレームで検出された動体とが同一である場合には、注目フレームで検出された動体に対して、前フレームで検出された動体と同一のＩＤを付与し、注目フレームで検出された動体と前フレームで検出された動体とが同一でない場合には、注目フレームで検出された動体に対して、新規なＩＤを付与する。このようにして、第１解析部３０は、各フレームに映る動体を、各別に、トラッキングする。

第１解析部３０は、本実施形態では、人や作業機等、一体的な動体毎に、ＩＤを付与すると共に、その存在位置を特定する。但し、第１解析部３０は、人の腕、頭、又は脚等、一つの個体の各部位を各別の動体として認識し、当該個体の部位毎の位置を認識するものであってもよい。

尚、第１解析部３０が距離画像中から動体を検出する手法は、公知の任意の手法であってよい。第１解析部３０は、例えば、注目フレームと前フレームとの差分を取ることによって、動体を検出してもよい。又、第１解析部３０は、例えば、距離画像中の測距点のクラスタの特徴量（例えば、形状及びサイズ等）に基づいて、パターンマッチングにより、動体（例えば、人や車）を検出してもよい。

又、第１解析部３０が異なるフレーム間で各動体の同一性を判定する手法は、公知の任意の手法であってよい。第１解析部３０は、例えば、注目フレームで検出された動体と前フレームで検出された動体との間の距離、両者の間のサイズの類似性、両者の間の形状の類似性、両者の間の色の類似性、及び、両者の間の移動速度の類似性等に基づいて、両者の間の関連度を算出し、両者の間の関連度が閾値以上の場合には、注目フレームで検出された動体と前フレームで検出された動体とを同一の動体と認識する。

但し、より好適には、第１解析部３０（及び／又は第２解析部４０）は、機械学習により学習済みの識別器モデルを用いて、画像（ここでは、距離画像）中から動体を検出したり、異なるフレーム間で動体の同一性を判定する。これにより、動体の見え方の変化に対する、動体検出のロバスト性を高めることが可能である。例えば、画像中から動体を検出する手法としては、畳み込みニュートラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いるのが好適である。又、異なるフレーム間で各動体の同一性を判定する手法としては、例えば、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を用いるのが好適である。その際、識別器モデルに対しては、入力画像と正解値とが関連付けられて構成された学習データを用いた強化学習により、機械学習を実行すればよい。

第１解析データＤ１は、例えば、時系列に並んだ距離画像の各フレームにおける動体の位置（ここでは、三次元の座標位置）及び占有領域を示すデータである（図５Ａを参照）。第１解析データＤ１は、例えば、動体毎に、ＩＤと当該動体の位置及び占有領域の時間的変化に係る情報を含む。即ち、第１解析データＤ１は、各フレームに映る同一の動体には、一つのＩＤのみを付与して、当該動体を識別している。そして、監視対象領域内に複数の動体が存在する場合には、第１解析データＤ１は、複数の動体それぞれに各別のＩＤを付与して、当該動体の位置及び占有領域の時間的変化を関連付けて記録する。

第２解析部４０は、カメラ画像内に映る動体の位置及び占有領域を検出した解析データ（以下、「第２解析データ」と称する）を生成する。この際、第２解析部４０は、時系列に並んだカメラ画像に基づいて、監視対象領域に存在する動体の位置をトラッキングし、その結果を第２解析データＤ２として出力する。

第２解析部４０がカメラ画像中から動体を検出する手法、及び異なるフレーム間で各動体を同定する手法は、第１解析部３０と同様に、公知の任意の手法を用いることができる。尚、第２解析部４０は、これらの処理の際に、第１解析部３０と同様に、学習済みの識別器モデルを用いるのが望ましい。

第２解析データＤ２は、例えば、時系列に並んだカメラ画像の各フレームにおける動体の位置（ここでは、二次元の座標位置）及び占有領域を示すデータである（図５Ｂを参照）。第２解析データＤ２には、第１解析データＤ１と同様に、動体毎に、ＩＤと当該動体の位置及び占有領域の時間的変化とが関連付けて記録されている。

データ比較処理部５０は、第１解析データＤ１と第２解析データＤ２とを時間軸を揃えて比較し、第１解析データＤ１と第２解析データＤ２とに基づいて、距離画像又はカメラ画像の画像端からはみ出るようにして映る動体の識別情報（即ち、ＩＤ）を補間又は補正した上で、監視対象領域に存在する動体の位置、占有領域及びＩＤを確定した確定データＤ３を出力する。

まず、図６Ａ及び図６Ｂを参照して、データ比較処理部５０における、１フレーム分のデータ比較処理について、説明する。

図６Ａでは、距離画像において、動体Ｍ１の下方側の部位が下方側の画像端からはみ出し、当該動体Ｍ１の前部Ｍ１ａと後部Ｍ１ｂとが分離して映った状態を示している。又、図６Ａでは、距離画像内においては、動体Ｍ２の上方側の部位が上方側の画像端からはみ出し、当該動体Ｍ２の前部Ｍ２ａと後部Ｍ２ｂとが分離して映った状態を示している。このような場合、第１解析部３０は、動体Ｍ１の前部Ｍ１ａと後部Ｍ１ｂとを別個の動体として認識し、又、動体Ｍ２の前部Ｍ２ａと後部Ｍ２ｂとを別個の動体として認識してしまう。

一方、図６Ｂでは、カメラ画像において、動体Ｍ１のすべての部位、及び動体Ｍ２のすべての部位が、画像内に映った状態を示している。このような場合、第２解析部４０は、動体Ｍ１を一体的な一つの動体として認識し、同様に、動体Ｍ２を一体的な一つの動体として認識する。

データ比較処理部５０は、かかる観点から、距離画像から検出された動体の位置及び占有領域と、当該距離画像と同一時刻に生成されたカメラ画像から検出された動体の位置及び占有領域とを比較して、距離画像又はカメラ画像の一方の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する。

具体的には、データ比較処理部５０は、カメラ画像又は距離画像の一方から検出された一つの動体の占有領域内に、カメラ画像又は距離画像の他方から検出された動体が複数存在するか否かを判定し、一方から検出された一つの動体の占有領域内に、他方から検出された動体が複数存在する場合、他方から検出された複数の動体を一体的な一つの動体（即ち、単一の動体）と識別する。

図６Ａ、図６Ｂの例では、カメラ画像から検出された動体Ｍ１の占有領域内に、距離画像から検出された動体Ｍ１ａと動体Ｍ１ｂとが含まれているため、データ比較処理部５０は、距離画像から検出された動体Ｍ１ａと動体Ｍ１ｂとを同一の動体であると認識する。又、同様に、カメラ画像から検出された動体Ｍ２の占有領域内に、距離画像から検出された動体Ｍ２ａと動体Ｍ２ｂとが含まれているため、データ比較処理部５０は、距離画像から検出された動体Ｍ２ａと動体Ｍ２ｂとを同一の動体であると認識する。

そして、データ比較処理部５０は、この識別結果（例えば、距離画像内で検出された動体の位置及び占有領域と、カメラ画像内で検出された動体の位置及び占有領域とを関連付けたデータ）を、確定データＤ３として出力する。このように、データ比較処理部５０は、より広角な視野を有するカメラ３００で生成されたカメラ画像を利用して、距離画像からはみ出して映る動体の全体領域を把握する。これによって、距離画像及び／又はカメラ画像に映る動体の数、位置及び占有領域を、正確に認識することを可能とする。

尚、データ比較処理部５０にて当該処理を実行し得るように、距離画像が示す座標位置（即ち、第１解析データＤ１が示す座標位置）とカメラ画像が示す座標位置（即ち、第２解析データＤ２が示す座標位置）との対応関係を示すデータを、予め画像処理装置１００のＲＯＭ１０２等に記憶しておくのが望ましい。

データ比較処理部５０は、このようにして、第１解析データＤ１と第２解析データＤ２との比較処理を行い、１フレーム分の確定データＤ３を生成する。そして、データ比較処理部５０は、第１解析データＤ１及び第２解析データＤ２の各フレームについて、上記と同様の処理を行い、監視対象領域内に存在する動体の位置及び占有領域を、ＩＤと関連付けた時系列な情報を、確定データＤ３として生成する。

データ比較処理部５０が生成する確定データＤ３のデータ構成は、任意である。確定データＤ３は、例えば、第１解析データＤ１及び第２解析データＤ２と共に、距離画像又はカメラ画像の画像端からはみ出るようにして映る動体の識別情報を補間したデータを付帯させたものであってもよい。又、確定データＤ３は、例えば、第１解析データＤ１及び第２解析データＤ２の一方のＩＤを、上記した比較処理にて補正したデータであってもよい。

データ出力部６０は、確定データＤ３に基づいて、監視対象領域内に存在する動体の位置及び占有領域を特定する表示画像を生成し、当該表示画像をディスプレイ（図示せず）に表示させる。

図７は、データ出力部６０が生成する表示画像の一例を示す図である。尚、図７に示す表示画像は、距離画像上に、２つの動体Ｍ１、Ｍ２それぞれの位置及び占有領域をマークにより表したものである。

表示画像内では、動体Ｍ１、Ｍ２それぞれの位置及び占有領域は、実線で囲むようにマークされている。又、表示画像内では、一つの動体Ｍ１の部位Ｍ１ａ及びＭ１ｂそれぞれの位置及び占有領域は、動体Ｍ１の占有領域を示す実線の中で、点線で囲むようにマークされている。又、表示画像内では、他の動体Ｍ２の部位Ｍ２ａ及びＭ２ｂそれぞれの位置及び占有領域が、動体Ｍ２の占有領域を示す実線の中で、点線で囲むようにマークされている。

図７中では、動体Ｍ２は、当該動体Ｍ２の上端側の部位が距離画像の画像端からはみ出すように、画像内に映っているが、当該動体Ｍ２の位置及び占有領域は、確定データＤ３上では、カメラ画像から検出された動体Ｍ２の位置及び占有領域により、データ補間されている。

このようにして、ユーザは、表示画像から動体Ｍ１、Ｍ２それぞれの数や位置、及び占有領域を正確に把握することができる。そして、これによって、ユーザは、動体Ｍ１、Ｍ２それぞれの姿勢を推定したり、動体Ｍ１、Ｍ２それぞれの行動を予測したりすることができる。

［画像処理装置の動作フロー］
次に、図８、図９Ａ、図９Ｂ、図９Ｃを参照して、本実施形態に係る画像処理装置１００の動作の一例について説明する。

図８は、本実施形態に係る画像処理装置１００（データ比較処理部５０）が第１解析データＤ１と第２解析データＤ２とを比較する処理を示すフローチャートである。図８に示すフローチャートは、例えば、画像処理装置１００がコンピュータプログラムに従って、所定間隔（例えば、１００ｍｓ間隔）で実行するものである。

図９Ａ、図９Ｂ、図９Ｃは、図８のフローチャートの処理を模式的に説明する図である。

ステップＳ１～Ｓ４は、第１解析データＤ１と第２解析データＤ２とを比較する処理を行うための前処理工程である。この前処理工程では、まず、画像処理装置１００は、時系列の距離画像に基づいて、第１解析データＤ１を生成する（ステップＳ１）。次に、画像処理装置１００は、時系列のカメラ画像に基づいて、第２解析データＤ２を生成する（ステップＳ２）。次に、画像処理装置１００は、第１解析データＤ１と第２解析データＤ２とを比較する解析対象時刻（例えば、時刻Ｔ＝8:00:00）を設定する（ステップＳ３）。次に、画像処理装置１００は、解析対象の間隔（例えば、時間間隔ｄ＝１秒）を設定する（ステップＳ４）。

次に、画像処理装置１００は、第１解析データＤ１（ＩＤ、動体の位置、及び動体の占有領域を示すデータ）のうち、時刻Ｔのフレームのデータを、配列形式の記憶部である第１配列に設定する（図９Ａを参照）（ステップＳ５）。次に、画像処理装置１００は、時刻Ｔの第２解析データＤ２（ＩＤ、動体の位置、及び動体の占有領域を示すデータ）のうち、時刻Ｔのフレームのデータを、配列形式の記憶部である第２配列に記憶する（図９Ａを参照）（ステップＳ６）。次に、画像処理装置１００は、配列形式の記憶部である補間データ配列を作成（又は初期化）する（図９Ａを参照）（ステップＳ７）。

次に、画像処理装置１００は、第２解析データＤ２中の読み出し対象の変数ｎ（ここでは、第２解析データＤ２中のＩＤの要素を表す）を、まず、ｎ＝０に設定し（ステップＳ８）、ステップＳ８ａ～Ｓ８ｂまで、変数ｎを順番にインクリメントしていくループ処理を実行する。次に、画像処理装置１００は、第１解析データＤ１中の読み出し対象の変数ｉ（ここでは、第１解析データＤ１中のＩＤの要素を表す）を、まず、ｉ＝０に設定し（ステップＳ９）、ステップＳ９ａ～Ｓ９ｂまで、変数ｉを順番にインクリメントしていくループ処理を実行する。

このステップＳ９ａ～Ｓ９ｂのループ処理内では、画像処理装置１００は、第２解析データＤ２中の動体［ｎ］の占有領域内に、第１解析データＤ１中の動体［ｉ］の占有領域が閾値（例えば、８０％）以上含まれるか否かを判定する（ステップＳ１０）。そして、画像処理装置１００は、第２解析データＤ２中の動体［ｎ］の占有領域内に、第１解析データＤ１中の動体［ｉ］の占有領域が閾値（例えば、８０％）以上含まれる場合には（Ｓ１０：Ｙｅｓ）、補間データ配列に、第２解析データＤ２中の動体［ｎ］と第１解析データＤ１中の動体［ｉ］とを関連付けて記憶した上で（ステップＳ１１）（図９Ｂを参照）、変数ｉをインクリメントして（ｉ←ｉ＋１）、再度、ステップＳ１０の判定処理を実行する。一方、第２解析データＤ２中の動体［ｎ］の占有領域内に、第１解析データＤ１中の動体［ｉ］の占有領域が閾値（例えば、８０％）以上含まれない場合には（Ｓ１０：Ｎｏ）、画像処理装置１００は、特に処理を実行せず、変数ｉをインクリメントして（ｉ←ｉ＋１）、再度、ステップＳ１０の判定処理を実行する。

変数ｉに係るすべて要素について、ステップＳ９ａ～Ｓ９ｂの処理が終了した後、同様に、ステップＳ８ａ～Ｓ８ｂのループ処理に従って、変数ｎを順番にインクリメントし、補間データ配列に、第２解析データＤ２中の動体［ｎ］と第１解析データＤ１中の動体［ｉ］とを関連付けて記憶していく（図９Ｃを参照）。そして、画像処理装置１００は、すべての第２解析データＤ２中の動体［ｎ］と第１解析データＤ１中の動体［ｉ］との関係について判定する。

これにより、第２解析データＤ２の各動体と、第１解析データＤ１の各動体との対応関係が特定される。図９Ｂ、図９Ｃの例では、距離画像から生成された各動体Ｍ１ａ、Ｍ１ｂ、Ｍ２ａ、Ｍ２ｂと、カメラ画像から生成された各動体Ｍ１、Ｍ２との対応関係が特定され、第１解析データＤ１の動体Ｍ１ａ及び動体Ｍ１ｂは、第２解析データＤ２の動体Ｍ１と同一の動体であり、第１解析データＤ１の動体Ｍ２ａ及び動体Ｍ２ｂは、第２解析データＤ２の動体Ｍ２と同一の動体であることが、補間データ配列に記憶されている。

次に、画像処理装置１００は、すべての時刻のフレームについて、第１解析データＤ１と第２解析データＤ２との間の対応関係の判定処理が実行されたか否かを判定し（ステップＳ１２）、すべての時刻のフレームについて、第１解析データＤ１と第２解析データＤ２との間の対応関係の判定処理が実行されていない場合（Ｓ１２：Ｙｅｓ）、時刻を進めて（Ｔ←Ｔ＋ｄ）（ステップＳ１３）、ステップＳ５～Ｓ１２の処理を同様に実行する。そして、すべての時刻のフレームについて、第１解析データＤ１と第２解析データＤ２との間の対応関係の判定処理が実行された場合（Ｓ１２：Ｎｏ）、図８のフローチャートの処理を終了する。

［効果］
以上のように、本実施形態に係る画像処理装置１００は、データ比較部５０にて、第１解析データＤ１と第２解析データＤ２とに基づいて、第１画像（例えば、距離画像）又は第２画像（例えば、カメラ画像）の画像端からはみ出るようにして映る動体の識別情報（ＩＤ）を補間又は補正して、動体の位置及び占有領域を確定した確定データＤ３を生成する。

従って、本実施形態に係る画像処理装置１００によれば、第１画像（例えば、距離画像）又は第２画像（例えば、カメラ画像）から、はみ出るようにして映る動体を正確に識別することが可能である。

これによって、監視対象領域内に存在する動体の正確な数と位置を認識することが可能となる。加えて、これによって、監視対象領域内に存在する動体の姿勢をより正確に把握することも可能となるため、行動解析の精度向上にも資する。

（第２の実施形態）
次に、図１０を参照して、第２の実施形態に係る画像処理装置１００について説明する。図１０は、第２の実施形態に係る画像処理装置１００の構成を示す図である。

本実施形態に係る画像処理装置１００は、レーザーレーダー２００に内蔵されている点で、第１の実施形態と相違する。そして、画像処理装置１００の第１画像取得部１０は、レーザーレーダー２００の距離画像生成部２１０（即ち、距離画像を生成する撮像部）から直接画像データを取得する。

本実施形態に係る画像処理装置１００によれば、レーザーレーダー２００及びカメラ３００以外の別体のコンピュータを用意する必要性をなくすことが可能である。

（第３の実施形態）
次に、図１１を参照して、第３の実施形態に係る画像処理装置１００について説明する。図１１は、第３の実施形態に係る画像処理装置１００の構成を示す図である。

本実施形態に係る画像処理装置１００は、上記実施形態のカメラ３００（以下、「可視光カメラ」と称する）に代えて、サーマルカメラ４００からカメラ画像を取得する構成としている点で、第１の実施形態と相違する。

可視光カメラ３００により生成されたカメラ画像は、色情報を含むため、高い動体識別精度を実現することができる。一方、監視対象領域が霧に覆われている状況下や、夜間においては、カメラ画像を用いた動体識別精度は低下する。

この点、サーマルカメラ４００は、動体から放射される赤外光に基づいてカメラ画像を生成するため、夜間等の状況下においても、高い動体識別精度を実現することができる。そこで、本実施形態に係る画像処理装置１００（第２解析部４０）は、サーマルカメラ４００により生成されたカメラ画像を用いて、第２解析データＤ２を生成する。そして、本実施形態に係る画像処理装置１００（データ比較処理部５０）は、当該第２解析データＤ２を用いて、第１解析データＤ１のＩＤの誤りを補正する。

以上のように、本実施形態に係る画像処理装置１００によれば、監視対象領域が霧に覆われている状況下や、夜間においても、高精度に動体を認識することができる。

尚、画像処理装置１００は、可視光カメラ３００により生成されたカメラ画像、及びサーマルカメラ４００により生成されたカメラ画像の両方を用いてもよい。そして、第２解析データＤ２を生成する際には、可視光カメラ３００により生成されたカメラ画像、及びサーマルカメラ４００により生成されたカメラ画像の両方を用いてもよいし、選択的に使用するカメラ画像を切り替えるようにしてもよい。

（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

上記実施形態では、画像処理装置１００の構成の一例として、第１画像取得部１０、第２画像取得部２０、第１解析部３０、第２解析部４０、データ比較処理部５０、及び、データ出力部６０の機能が一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示に係る画像処理装置によれば、画像端に映る動体の認識精度を向上することが可能である。

Ｕ 監視システム
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ 通信インタフェイス
１０ 第１画像取得部
２０ 第２画像取得部
３０ 第１解析部
４０ 第２解析部
５０ データ比較処理部
６０ データ出力部
２００ レーザーレーダー
２１０ 距離画像生成部
３００ カメラ（可視光カメラ）
４００ サーマルカメラ
Ｄ１ 第１解析データ
Ｄ２ 第２解析データ
Ｄ３ 確定データ

Claims (9)

1. 第１領域を撮像する第１センサから第１画像に係る画像データを取得する第１画像取得部と、
   前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得する第２画像取得部と、
   前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成する第１解析部と、
   前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成する第２解析部と、
   前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正するデータ比較処理部と、
   を備える画像処理装置。
2. 前記データ比較処理部は、前記第１画像内で検出された一つの動体の占有領域内に、前記第２画像内で検出された動体が複数存在する場合、前記第２画像内で検出された複数の動体を単一の動体と識別する、
   請求項１に記載の画像処理装置。
3. 前記データ比較処理部は、前記第１解析データ又は前記第２解析データの少なくともいずれか一方の識別情報を補間又は補正したデータを、確定データとして出力する、
   請求項１又は２に記載の画像処理装置。
4. 前記第１センサは、レーザーレーダーであり、
   前記第２センサは、可視光カメラである、
   請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第１センサは、レーザーレーダーであり、
   前記第２センサは、サーマルカメラである、
   請求項１乃至３のいずれか一項に記載の画像処理装置。
6. 前記第１センサは、レーザーレーダーであり、
   前記第２センサは、可視光カメラ及びサーマルカメラである、
   請求項１乃至３のいずれか一項に記載の画像処理装置。
7. 前記第１解析部は、時系列に並ぶ前記第１画像に係る画像データに基づいて、前記第１画像に映る動体の位置及び占有領域を検出した前記第１解析データを生成し、
   前記第２解析部は、時系列に並ぶ前記第２画像に係る画像データに基づいて、前記第２画像に映る動体の位置及び占有領域を検出した前記第２解析データを生成し、
   前記データ比較処理部は、前記第１解析データと前記第２解析データとを時間軸を揃えて比較する、
   請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第１解析部及び／又は前記第２解析部は、機械学習により学習済みの識別器モデルを用いて、画像内に映る動体の位置及び占有領域を検出する、
   請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 第１領域を撮像する第１センサから第１画像に係る画像データを取得し、
   前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得し、
   前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成し、
   前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成し、
   前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する、
   画像処理方法。

Images