JP6769859B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

特許文献１には、「電子カルテの情報入力を容易にすることを可能にする医用情報処理システム、医用情報処理装置及び医用画像診断装置を提供する」、「医用情報処理システムは、取得手段と、抽出手段と、選択手段と、表示制御手段とを備える。取得手段は、動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する。抽出手段は、前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する。選択手段は、前記抽出手段によって抽出された患部に関連する関連情報を選択する。表示制御手段は、前記選択手段によって選択された関連情報を表示部にて表示させるように制御する。」と記載されている。

特許文献２には、「距離画像センサによって撮像された視野角内の人物の動作を高い精度で認識することができる画像認識装置及びこの画像認識装置を備えたエレベータ装置を提供する」、「身体の一部が視野角からはみ出た距離画像からはみ出し状態の動作特徴量を抽出すると共に、このはみ出し状態の動作特徴量と視野角からの身体のはみ出し量とから身体が視野角からはみ出さない状態の動作特徴量を推定する。距離画像の視野角から人物の身体の一部がはみ出たときでも人物の身体が距離画像の視野角からはみ出さない場合の動作特徴量に近づけることができ、画像認識の信頼性を向上することができる。」と記載されている。

特開２０１４−１３０５１９号公報 特開２０１４−２１８１６号公報

昨今、距離画像センサについて様々な分野への応用が進められている。距離画像センサはリアルタイムに３次元の位置情報を取得することが可能であり、人の行動解析への応用も試みられている。ここで距離画像を用いた人の行動解析においては、人がどのような場所にいてどのように移動したかといった被写体の全体的（俯瞰的）な動作に関する情報（全体感）と、人の手元や足下でどのような作業が行われているかといった被写体の一部の細かい動作に関する情報とを同時に把握することについてのニーズが存在するが、上記の特許文献１，２はいずれもこうしたニーズを考慮した構成について開示していない。

本発明は、被写体を撮影した距離画像を用いて、被写体の全体的な動作に関する情報と、被写体の一部の細かい動作に関する情報とを同時に把握することを可能にする、画像処理装置及び画像処理方法を提供することを目的としている。

本発明の一つは、画像処理装置であって、被写体の第１範囲を撮影した第１距離画像から、前記被写体の部位に関する情報である第１部位情報を取得する第１部位情報取得部と、前記被写体の前記第１範囲よりも狭い第２範囲を撮影した第２距離画像から、前記被写体の部位に関する情報である第２部位情報を取得する第２部位情報取得部と、前記第１部位情報及び前記第２部位情報に基づき、前記第１部位情報における第１座標系と前記第２
部位情報における第２座標系との間の座標変換を行う関数である変換関数を求める変換関数生成部と、前記変換関数に基づき、前記第１部位情報と前記第２部位情報とを同じ座標系で表した情報である合成部位情報を生成する合成部位情報生成部と、を備える。

その他、本願が開示する課題、及びその解決方法については、発明を実施するための形態の欄、及び図面により明らかにされる。

本発明によれば、被写体を撮影した距離画像を用いて、被写体の全体的な動作に関する情報と、被写体の一部の細かい動作に関する情報とを同時に把握することが可能になる。

第１実施形態の画像処理システムの構成を示す図である。 画像処理装置や判定装置を構成する情報処理装置の一例である。 第１部位情報を説明する図である。 第２部位情報を説明する図である。 変換関数の求め方を説明する図である。 合成部位情報を説明する図である。 第２実施形態の画像処理システムの構成を示す図である。 第３実施形態の画像処理システムの構成を示す図である。 第４実施形態の画像処理システムの構成を示す図である。

以下、実施形態について説明する。以下の説明において、同一の又は類似する構成について同一の符号を用いて重複した説明を省略することがある。

［第１実施形態］
図１に第１実施形態として示す画像処理システム１の概略的な構成を示している。同図に示すように、画像処理システム１は、第１距離画像取得装置１１、第２距離画像取得装置１２、及び画像処理装置１００を含む。尚、以下の説明において、第１距離画像取得装置１１や第２距離画像取得装置１２のことを「距離画像取得装置」と適宜総称する。

距離画像取得装置は、被写体（対象物）について３次元の位置情報（距離情報（Depth
情報）、距離信号等）を含むデータである距離画像（depth画像、range image data）を
取得する。距離画像は、例えば、画素（ピクセル（pixel））情報（階調や色調に関する
情報等）と各画素について取得される距離情報とを含む。距離画像取得装置の例として、タイムオブフライト（TOF: Time Of Flight）カメラ、ステレオカメラ、レーザレーダ（LIDAR: Laser Imaging Detection and Ranging）、ミリ波レーダ、赤外線深度センサ、超
音波センサ等がある。

距離画像取得装置は、画像処理装置１００と通信するための、有線又は無線の通信手段（ＬＡＮインタフェース（Local Area Network Interface）インタフェース、ＵＳＢインタフェース（Universal Serial Bus Interface）、無線通信モジュール等）を備える。距離画像取得装置は、上記通信手段を介して、圧縮形式や非圧縮形式とした距離画像を画像処理装置１００に送信する。

同図に示すように、第１距離画像取得装置１１は、被写体である人２の全身（全体）及びその背景を含む第１範囲の距離画像（以下、第１距離画像と称する。）を取得するように、その設置位置、撮影方向、撮影範囲等が設定されている。一方、第２距離画像取得装置１２は、第１範囲よりも狭い人２の一部分（第２範囲）についての距離画像（以下、第
２距離画像と称する。）を取得するように、その設置位置、撮影方向、撮影範囲等が設定されている。第２距離画像取得装置１２によって取得される第２距離画像は、人２の一部についての細かい情報を含む。第２距離画像取得装置１２は人２に近接した位置に設けられ、例えば、人２が身に付けている物（ヘルメット等）等に設けられる。

画像処理装置１００は情報処理装置を用いて構成され、距離画像取得装置から入力される距離画像についての各種画像処理、距離画像取得装置から送られてくる距離画像に含まれている、被写体の部位（骨格、関節、輪郭等）に関する情報（以下、部位情報と称する。）の取得、第１距離画像から取得した部位情報と第２距離画像から取得した部位情報とを合成した情報である合成部位情報の生成等を行う。

図２は画像処理装置１００を構成する情報処理装置の一例である。同図に示すように、情報処理装置５０は、プロセッサ５１、主記憶装置５２、補助記憶装置５３、入力装置５４、出力装置５５、及び通信装置５６を備える。これらはバス等の通信手段を介して互いに通信可能に接続されている。

プロセッサ５１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を用いて構成されている。プロセッサ５１が、主記憶装置５２に格納されているプログラムを読み出して実行することにより、画像処理装置１００の全部又は一部の機能が実現される。主記憶装置５２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性半導体メモリ（ＮＶＲＡＭ（Non Volatile RAM））等であり、プログラムやデータを記憶する。

補助記憶装置５３は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive
）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等）、ストレージシステム、ＩＣカード、ＳＤメモリカードや光学式記録媒体等の記録媒体の読取／書込装置等である。補助記憶装置５３に格納されているプログラムやデータは主記憶装置５２に随時ロードされる。補助記憶装置５３は、例えば、ネットワークストレージのように画像処理装置１００とは独立した構成としてもよい。

入力装置５４は、外部入力を受け付けるユーザインタフェースであり、例えば、キーボード、マウス、タッチパネル等である。出力装置５５は、処理経過や処理結果等の各種情報を外部に提供するユーザインタフェースであり、例えば、画面表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、印字装置等である。尚、例えば、画像処理装置１００が、外部入力を通信装置５６を介して受け付ける構成としてもよい。また例えば、画像処理装置１００が、処理経過や処理結果等の各種情報を通信装置５６を介して外部に提供する構成としてもよい。

通信装置５６は、他の装置や素子との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール等である。

図１に示すように、画像処理装置１００は、第１受信部１３、第１部位情報取得部１０１、第２受信部１４、第２部位情報取得部１０２、変換関数生成部１０３、及び合成部位情報生成部１０４の各機能を備える。これらの機能は、例えば、画像処理装置１００のプロセッサ５１が、主記憶装置５２や補助記憶装置５３に格納されているプログラムを読み出して実行することにより実現される。またこれらの機能は、例えば、画像処理装置１００が備えるハードウェア（ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等）によって実現される。尚、画像処理装置１
００は、これらの機能以外に、例えば、オペレーティングシステム、デバイスドライバ、ＤＢＭＳ（DataBase Management System）等を備えていてもよい。

上記機能のうち、第１受信部１３は、第１距離画像取得装置１１から送られてくる第１距離画像を受信する。また第２受信部１４は、第２距離画像取得装置１２から送られてくる第２距離画像を受信する。尚、第１受信部１３及び第２受信部１４は、画像処理装置１００とは独立した構成としてもよい。

第１部位情報取得部１０１は、第１距離画像取得装置１１によって取得された第１距離画像から人２の部位情報を取得し、取得した内容を含む第１部位情報を生成する。第１部位情報取得部１０１は、例えば、骨格検出（スケルトン検出）、輪郭検出、関節検出等により第１部位情報を取得する。第１部位情報は、第１座標系で表された、部位の位置を示す情報を含む。

図３は第１部位情報の一例（イメージ図）である。同図に示すように、この第１部位情報は人２の全体（全身）の骨格情報を含む。

第２部位情報取得部１０２は、第２距離画像取得装置１２によって取得された第２距離画像から人２の部位情報を取得し、取得した内容を含む第２部位情報を生成する。第２部位情報取得部１０２は、例えば、骨格検出（スケルトン検出）、輪郭検出、関節検出等により第２部位情報を取得する。第２部位情報は、第２座標系で表された、部位の位置を示す情報を含む。

図４は第２部位情報の一例（イメージ図）である。同図に示すように、例示した第２部位情報は人２の腕から手先までの骨格情報を含む。

変換関数生成部１０３は、第１部位情報と第２部位情報とに基づき、第１部位情報における３次元の第１座標系と第２部位情報における３次元の第２座標系との間の座標変換を行う関数である変換関数を求める。

より詳細には、変換関数生成部１０３は、まず第１部位情報に含まれている部位と第２部位情報に含まれている部位との対応を特定、即ち、第１部位情報に含まれている部位の一つと第２部位情報に含まれている部位の一つとが同一人の同一の部位であることを特定する。例えば、変換関数生成部１０３は、第１部位情報と第２部位情報とに基づき、図３の関節部位３０１〜３０４の夫々と、図４の関節部位４０１〜４０４の夫々との対応を特定、つまり同一人物の同一の関節部位であることを特定する。尚、上記特定の方法として、例えば、ＩＣＰ (Iterative Closest Point)による方法、特徴点を利用する方法等がある。そして変換関数生成部１０３は、特定した部位を基準として、第１座標系と第２座標系との間の座標変換を行う関数である変換関数を求める。

図５とともに変換関数の求め方について説明する。同図に示すように、第１距離画像取得装置１１によって取得された第１距離画像に含まれている部位は第１座標系（ｘ１，ｙ１，ｚ１）で表され、一方、第２距離画像取得装置１２によって取得された第２距離画像に含まれている部位は第２座標系（ｘ２，ｙ２，ｚ２）で表されているものとする。この場合、変換関数は、第２座標系（ｘ２，ｙ２，ｚ２）で表された位置座標を第１座標系（ｘ１，ｙ１，ｚ１）の位置座標に変換する関数である。ここで例えば、図３の関節部位３０１（ｘ１ａ，ｙ１ａ，ｚ１ａ）、関節部位３０２（ｘ１ｂ，ｙ１ｂ，ｚ１ｂ）、関節部位３０３（ｘ１ｃ，ｙ１ｃ，ｚ１ｃ）、関節部位３０４（ｘ１ｄ，ｙ１ｄ，ｚ１ｄ）、及び、図４の関節部位４０１（ｘ２ａ，ｙ２ａ，ｚ２ａ）、関節部位４０２（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）、関節部位４０３（ｘ２ｃ，ｙ２ｃ，ｚ２ｃ）、関節部位４０４（ｘ２ｄ，
ｙ２ｄ，ｚ２ｄ）について、関節部位３０１は関節部位４０１と、関節部位３０２は関節部位４０２と、関節部位３０３は関節部位４０３と、関節部位３０４は関節部位４０４と、夫々対応すると判定した場合、変換関数生成部１０３は、
（ｘ１ａ，ｙ１ａ，ｚ１ａ）＝Ｆ（ｘ２ａ，ｙ２ａ，ｚ２ａ）
（ｘ１ｂ，ｙ１ｂ，ｚ１ｂ）＝Ｆ（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）
（ｘ１ｃ，ｙ１ｃ，ｚ１ｃ）＝Ｆ（ｘ２ｃ，ｙ２ｃ，ｚ２ｃ）
（ｘ１ｄ，ｙ１ｄ，ｚ１ｄ）＝Ｆ（ｘ２ｄ，ｙ２ｄ，ｚ２ｄ）
を満たす関数Ｆ（ｘ，ｙ，ｚ）を変換関数として求める。

図１に戻り、合成部位情報生成部１０４は、変換関数生成部１０３が求めた変換関数を用いて第１部位情報と第２部位情報とを合成し、第１部位情報と第２部位情報とを同じ座標系で表した情報である合成部位情報を生成する。尚、上記の関数Ｆ（ｘ，ｙ，ｚ）は第２座標系を第１座標系に変換するものであるが、合成部位情報における座標系は第１座標系及び第２座標系のいずれとしてもよい。

図６は、図３に示す第１部位情報（人２の全体（全身）の骨格情報）と図４に示す第２部位情報（人２の腕から手先までの骨格情報）とを合成して得られる合成部位情報（イメージ図）である。合成部位情報生成部１０４は、図３の関節部位３０１及び関節部位３０２（第１部位情報）と図４の関節部位４０１及び関節部位４０２（第２部位情報）とを接続(ジョイント）し、また図３の関節部位３０３及び関節部位３０４（第１部位情報）と
図４の関節部位４０３及び関節部位４０４（第２部位情報）とを接続(ジョイント）する
ことにより、同図に示す合成部位情報を生成する。

画像処理装置１００は、例えば、第１距離画像取得装置１１及び第２距離画像取得装置１２の夫々から順次入力される、時系列の第１距離画像と時系列の第２距離画像とに基づき、人２の動作を示す情報を含んだ、時系列の合成部位情報を生成する。

尚、合成部位情報を生成（変換関数を生成）するのに十分な数、第１部位情報に含まれている部位と第２部位情報に含まれている部位との対応をとることができない場合は合成部位情報を生成することができないが、その場合は例えば、合成部位情報生成部１０４が、第１部位情報及び第２部位情報のうちのいずれかを合成部位情報として生成するようにする。そのようにすることで画像処理装置１００から合成部位情報が常に出力されるようにすることができる。尚、その場合、画像処理装置１００が、第１部位情報及び第２部位情報のうちのいずれか一方を優先して出力するようにしてもよい。

以上に説明したように、本実施形態の画像処理システム１によれば、第１距離画像取得装置１１により取得された第１距離画像に含まれている情報、及び、第２距離画像取得装置１２により取得された第２距離画像に含まれている情報、の双方を含む情報を一つの合成部位情報として生成することができる。これにより、例えば、人２の全体的な動作に関する３人称視点の骨格情報と人２の手先の細かい動作に関する１人称視点の骨格情報との双方を含む情報を、同じ座標系で表された一つのデータとして同時に提供することができる。このため、例えば、人２がどのような場所にいてどのように移動したかといった人２の全体的（俯瞰的）な動作に関する情報（全体感）と、人２の手元や足下でどのような作業が行われているかといった人２の一部の細かい動作に関する情報とを同時に把握することが可能になる。

また本実施形態の画像処理システム１では、個々の距離画像取得装置の役割が限定されている（第１距離画像取得装置１１については専ら人２の全体的な動作に関する情報を取得し、第２距離画像取得装置１２については専ら人２の手先の細かい動作に関する情報を取得する）ため、個々の距離画像取得装置として必ずしも高性能もの（高解像度のものや
画角の広いもの等）を用いる必要がなく、画像処理システム１を低コストで実現することができる。また個々の距離画像取得装置に高い解像度が要求されないことで画像処理システム１が取り扱う情報量が抑えられ、処理負荷の低減や処理の高速化を図ることができる。

尚、第１距離画像取得装置１１及び第２距離画像取得装置１２の設置態様（設置位置、撮影方向、撮影範囲）は必ずしも以上に示したものに限定されない。例えば、第１距離画像取得装置１１及び第２距離画像取得装置１２の双方又は一方が移動体に設置されるとしてもよい。また第１距離画像取得装置１１及び第２距離画像取得装置１２の夫々の役割が時間帯によって切り変わるとしてもよい。

また以上では、第２距離画像取得装置１２が人２の手元の細かい動作に関する情報を取得する場合を例としたが、第２距離画像取得装置１２が、例えば、足元等の人２の他の部分の細かい動作に関する情報を取得するようにしてもよく、本実施形態の画像処理システム１は様々な場面に広く適用することができる。

［第２実施形態］
図７に第２実施形態として示す画像処理システム１の構成を示している。第２実施形態の画像処理システム１は、第１実施形態の画像処理システム１と同様の構成を備えるとともに、画像処理装置１００が出力する合成部位情報に基づき人２の動作の特定や人２の動作が正常か否かを判定する判定装置２００を更に備える。判定装置２００は、例えば、図２に示した情報処理装置５０と同様のハードウェアを用いて構成される。尚、判定装置２００を画像処理装置１００の一部として構成してもよい。第２実施形態の画像処理システム１の他の構成については第１実施形態の画像処理システム１と同様である。

同図に示すように、判定装置２００は、動作分析部２０１及び動作モデル記憶部２０２の各機能を備える。これらの機能は、例えば、判定装置２００のプロセッサが、判定装置２００の主記憶装置や補助記憶装置に格納されているプログラムを読み出して実行することにより実現される。またこれらの機能は、例えば、判定装置２００が備えるハードウェア（ＦＰＧＡ、ＡＳＩＣ等）によって実現される。尚、判定装置２００は、これらの機能以外に、例えば、オペレーティングシステム、デバイスドライバ、ＤＢＭＳ等を備えていてもよい。

上記機能のうち、動作モデル記憶部２０２は、人が行う動作を時系列の部位情報として表した情報である動作モデルを記憶する。

動作分析部２０１には画像処理装置１００によって生成された合成部位情報が入力される。動作分析部２０１は、画像処理装置１００から入力される合成部位情報と動作モデル記憶部２０２が記憶する動作モデルとに基づき、人２の動作の特定や人２の動作が正常か否かの判定を行い、その結果を処理結果として出力する。

例えば、動作モデル記憶部２０２は、人が作業を行っている際の動作を時系列の骨格情報により表した動作モデルを記憶する。そして動作分析部２０１が、合成部位情報から取得される特徴量を動作モデルと比較することにより人２が行っている作業を特定し、特定した結果を処理結果として出力する。

また例えば、動作モデル記憶部２０２は、機械学習等によって生成された、人が正常に作業を行っている際の動作を時系列の骨格情報として表した動作モデル（以下、正常モデルと称する。）と、当該正常モデルによって人２が行っている作業が正常か否かの判定に用いる閾値とを記憶する。そして動作分析部２０１は、正常モデルと閾値とに基づき、合
成部位情報から取得される特徴量を正常モデルと比較することにより、人２が行っている作業が正常か否かを判定し、判定結果を処理結果として出力する。尚、人２が行っている作業が正常でないと判定したとき、判定装置２００が本人や周辺に存在する人等に警告を出力（警告表示、音声警報等）するようにしてもよい。

第２実施形態の画像処理システム１によれば、人２の全体的な動作に関する情報と人２の一部の細かい動作に関する情報とを含む合成部位情報に基づき、人２の動作の特定や人２の動作が正常か否かの判定を精度よく行うことができる。例えば、工場等において作業員が行っている作業（作業員がどの機材の前でどのような姿勢で作業しているか等）を精度よく特定することができる。また例えば、作業員が行っている作業が正常か否か（作業員が危険な行動をとっていないか等）を精度よく判定することができる。例えば、作業員が逸脱した動作をしているか、作業に遅れが生じているかといった情報を得ることができる。また例えば、介護施設や病院等において、被介護者や患者の動作を精度よく特定することができる。また例えば、被介護者や患者の動作（例えば、ベッドから起き上がる動作、食事しているときの動作等）が正常か否かを精度よく判定することができる。また例えば、顧客が出入りする店舗等において、顧客の動作を精度よく特定することができ、顧客の行動解析（どのような商品に興味を示しているか等）を詳細に行うことができる。また例えば、顧客の動作が正常か否か（不審な行動をとっていないか等）を精度よく判定することができる。

尚、以上では、距離画像取得装置が２つ（第１距離画像取得装置１１及び第２距離画像取得装置１２）である場合を示したが、より多くの距離画像取得装置を用いてもよい。例えば、人２を複数の方向（正面側、背面側等）から撮影するようにすればより高い精度で人２の動作を把握することができ、人２の動作が正常か否かをより高い精度で判定することができる。またこの場合、合成部位情報には、設置位置、撮影方向、撮影範囲等が異なる複数の距離画像処理装置から送られてくる距離画像から取得される情報が含まれているため、特徴量を多様な観点から細かく設定することができ、人２の動作の特定や人２の動作が正常か否かの判定を精度よく行うことができる。

［第３実施形態］
図８に第３実施形態として示す画像処理システム１の構成を示している。第３実施形態の画像処理システム１は、第２実施形態の画像処理システム１の構成を基本としている。第３実施形態の画像処理システム１の第１距離画像取得装置１１は、床面から所定の高さで立設された固定器具３の上端付近に固定されている。第３実施形態の画像処理装置１００は、第２実施形態の画像処理装置１００の構成に加えて、更に設置状態情報記憶部１０５を備える。また第３実施形態の画像処理装置１００の変換関数生成部１０３には、人２に取り付けられた３次元センサ１９から送られてくる計測値（又は計測信号）が入力される。３次元センサ１９は、例えば、傾斜センサ、加速度センサ、ジャイロセンサ、方位センサのうちの少なくともいずれかを含み、第２距離画像取得装置１２の撮影方向を示す情報（以下、第２設置状態情報と称する。）を取得して上記計測値を画像処理装置１００に送信する。３次元センサ１９は、第２距離画像取得装置１２の状態を計測可能なように、例えば、人２が直接装備（例えば、ヘルメットに装着）した状態で設置されている。尚、第３実施形態の画像処理システム１のその他の構成については第２実施形態の画像処理システム１と同様である。

設置状態情報記憶部１０５は、固定器具３に設置されている第１距離画像取得装置１１の設置状態（高さ、撮影方向、水平方向に対する角度等）を示す情報（以下、第１設置状態情報と称する。）を記憶する。

変換関数生成部１０３は、例えば、設置状態情報記憶部１０５が記憶する設置状態情報
と３次元センサ７０１から入力される情報とを比較することで、第１距離画像取得装置１１の撮影方向と第２距離画像取得装置１２の撮影方向との差を求め、求めた値（差）を用いて変換関数を算出する。

このように、第３実施形態の画像処理システム１は、距離画像取得部の設置状態を示す情報を予め記憶しているので変換関数を効率よく求めることができる。このため、合成部位情報を効率よく生成することができる。

尚、例えば、距離画像取得装置に広角レンズや望遠レンズを設けてもよい。これにより距離画像取得装置の設置の自由度が向上する。尚、この場合、変換関数生成部１０３がレンズ倍率差をパラメータの一つとして変換関数を生成するようにする。

以上では、第２距離画像取得装置１２を人２に装着するようにしたが、第２距離画像取得装置１２についても第１距離画像取得装置１１と同様に床面から所定の高さで立設された固定器具に固定するようにしてもよい。この場合、例えば、第１距離画像取得装置１１及び第２距離画像取得装置１２の相対角度を事前に測定して変換関数を予め求めておき、設置状態情報記憶部１０５がこれを記憶しておく。これにより変換関数生成部１０３による変換関数の算出処理を省略することができ、合成部位情報を効率よく生成することができる。

［第４実施形態］
図９に第４実施形態として示す画像処理システム１の構成を示している。第４実施形態の画像処理システム１においては、画像処理装置１００が、第１受信部１３、第２受信部１４、第１マーカ位置情報取得部１０６、第２マーカ位置情報取得部１０７、変換関数生成部１０３、合成距離画像生成部１０８、及び部位情報生成部１０９を備える。このうち第１受信部１３及び第２受信部１４の構成は第２実施形態と同様である。また第４実施形態の画像処理システム１の判定装置２００の構成も第２実施形態と同様である。また第３実施形態と同様、第１距離画像取得装置１１は床面から所定の高さで立設された固定器具３の上端付近に固定されている。第４実施形態として示す画像処理システム１は、人２の周囲の所定位置に固定設置された一つ以上のマーカ７を含む。

第１マーカ位置情報取得部１０６は、第１距離画像取得装置１１が取得した第１距離画像から、第１距離画像における３次元座標系でのマーカ７の位置を示す情報（以下、第１マーカ位置情報と称する。）を取得する。

第２マーカ位置情報取得部１０７は、第２距離画像取得装置１２が取得した第２距離画像から、第２距離画像における３次元座標系でのマーカ７の位置を示す情報（以下、第２マーカ位置情報と称する。）を取得する。

変換関数生成部１０３は、第１マーカ位置情報と第２マーカ位置情報とに基づき変換関数を求める。ここで第１実施形態では、第１距離画像に含まれている部位（関節部位）と第２距離画像に含まれている部位（関節部位）との対応を特定することにより変換関数を求めたが、第４実施形態においては、変換関数生成部１０３が、部位（関節部位）の位置情報の代わりに、第１距離画像及び第２距離画像の双方に共通に含まれているマーカ７の位置情報を基準として変換関数を求める。従って、第４実施形態では第１実施形態のように部位の対応を特定する必要がなく、変換関数生成部１０３は変換関数を効率よく求めることができる。

尚、第１実施形態では、人２の体の部位（関節部位）を基準として変換関数を求めているため、人２の動きが大きいと誤差が大きくなる。しかし第４実施形態の場合は設置位置
が変化しないマーカ７の位置を基準として変換関数を求めるため、人２の動きが大きくても精度よく変換関数を求めることができる。尚、例えば、設置するマーカ７の数を増やし、例えば、各マーカ７に基づき求めた変換関数のパラメータの平均を採用するようにすれば変換関数の精度を更に向上することができる。

合成距離画像生成部１０８は、求めた変換関数を用い、第１受信部１３から入力される第１距離画像と第２受信部１４から入力される第２距離画像とを同じ座標系（例えば、第１距離画像における３次元座標系又は第２距離画像における３次元座標系）で表されたデータとして合成した情報（以下、合成距離画像と称する。）を生成する。

尚、合成距離画像の生成に際し、例えば、合成距離画像生成部１０８が、第１距離画像と第２距離画像とを画素単位で比較し、分解能の高い（例えば、より近接した位置から撮影することにより取得された）画素を優先的に採用するようにしてもよい。これにより、例えば、第２距離画像取得装置１２に含まれている人２の詳細な情報と第１距離画像取得装置１１に含まれている人２の全体の情報との双方を含んだ合成距離画像を生成することができる。

また合成距離画像の生成に際し、例えば、第１距離画像及び第２距離画像のいずれか一方にのみマーカ７の情報が含まれている場合、マーカ７の情報が含まれている距離画像を採用するようにしてもよい。これにより例えば、人２がマーカ７から離れた位置に移動した場合でも画像処理装置１００は合成距離画像を出力し続けることができる。

部位情報生成部１０９は、合成距離画像について人２の部位の検出を行い、人２の部位に関する情報（以下、部位情報と称する。）を生成し、生成した部位情報を判定装置２００に入力する。尚、判定装置２００の構成及び機能は第２実施形態の判定装置２００と同様である。

以上に説明したように、第４実施形態の画像処理システム１によれば、マーカ７の位置を基準として変換関数を精度よく求めることができる。また画像処理装置１００（部位情報生成部１０９）は、１つの合成距離画像を対象として部位情報を検出するので効率よく部位情報を生成することができる。

以上、本発明のいくつかの実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また上記の各構成、機能部、処理部、処理手段等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩ
Ｃカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

また以上に説明した画像処理システム１の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、画像処理システム１が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。

また前述したデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。

また距離画像取得装置として、例えば、デジタルスチルカメラや監視カメラ等を用い、距離画像取得装置によって取得される画像について画像処理を行って被写体までの距離や骨格情報を推定する方法を用いてもよい。この場合は２次元の画像信号が対象となるので演算負荷を低く抑えることができる。

また以上では被写体が人２である場合について説明したが、被写体は、例えば、動物や無生物等であってもよい。

１ 画像処理システム、２ 人、３ 固定器具、７ マーカ、１１ 第１距離画像取得装置、１２ 第２距離画像取得装置、１３ 第１受信部、１４ 第２受信部、１５ ３次元センサ、５０ 情報処理装置、１００ 画像処理装置、１０１ 第１部位情報取得部、１０２ 第２部位情報取得部、１０３ 変換関数生成部、１０４ 合成部位情報生成部、１０５ 設置状態情報記憶部、１０６ 第１マーカ位置情報取得部、１０７ 第２マーカ位置情報取得部、１０８ 合成距離画像生成部、１０９ 部位情報生成部、２００ 判定装置、２０１ 動作分析部、２０２ 動作モデル記憶部、３０１〜３０４ 関節部位、４０１〜４０４ 関節部位、５０１〜５０２ 関節部位

Claims (11)

1. 被写体の第１範囲を撮影した第１距離画像から、前記被写体の部位に関する情報である第１部位情報を取得する第１部位情報取得部と、
   前記被写体の前記第１範囲よりも狭い第２範囲を撮影した第２距離画像から、前記被写体の部位に関する情報である第２部位情報を取得する第２部位情報取得部と、
   前記第１部位情報及び前記第２部位情報に基づき、前記第１部位情報における第１座標系と前記第２部位情報における第２座標系との間の座標変換を行う関数である変換関数を求める変換関数生成部と、
   前記変換関数に基づき、前記第１部位情報と前記第２部位情報とを同じ座標系で表した情報である合成部位情報を生成する合成部位情報生成部と、
   を備え、
   前記変換関数生成部は、前記第１距離画像を取得する距離画像取得装置の設置状態を示す第１設置状態情報、及び前記第２距離画像を取得する距離画像取得装置の設置状態を示す第２設置状態情報を取得し、前記第１設置状態情報及び前記第２設置状態情報に基づき、前記変換関数を求める、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記被写体は人であり、前記第１範囲は前記人の全身を含む範囲であり、前記第２範囲は前記人の一部を含む範囲である、
   画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記変換関数生成部は、前記第１部位情報に含まれている部位と前記第２部位情報に含まれている部位との対応を特定し、特定した部位を基準として前記変換関数を求める、
   画像処理装置。
4. 請求項１又は２に記載の画像処理装置であって、
   前記変換関数生成部は、前記被写体に設けられている３次元センサから前記第２設置状態情報を取得する、
   画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記第１設置状態情報及び前記第２設置状態情報のうちの少なくとも何れかを記憶する設置状態情報記憶部、
   を更に備える、画像処理装置。
6. 請求項１又は２に記載の画像処理装置であって、
   前記被写体が行う動作を時系列の部位情報として表した動作モデルを記憶する動作モデル記憶部と、
   前記合成部位情報を前記動作モデルと比較することにより、前記被写体の動作を特定する動作分析部と、
   を更に備える画像処理装置。
7. 請求項１又は２に記載の画像処理装置であって、
   前記被写体が行う正常な動作を時系列の部位情報として表した動作モデルである正常モデルを記憶する動作モデル記憶部と、
   前記合成部位情報を前記正常モデルと比較することにより、前記被写体の動作が正常か否かを判定する動作分析部と、
   を更に備える画像処理装置。
8. 請求項１又は２に記載の画像処理装置であって、
   第１距離画像取得装置から送られてくる前記第１距離画像を受信する第１受信部と、
   第２距離画像取得装置から送られてくる前記第２距離画像を受信する第２受信部と、
   を更に備える画像処理装置。
9. 情報処理装置が、
   被写体の第１範囲を撮影した第１距離画像から、前記被写体の部位に関する情報である第１部位情報を取得するステップ、
   前記被写体の前記第１範囲よりも狭い第２範囲を撮影した第２距離画像から、前記被写体の部位に関する情報である第２部位情報を取得するステップ、
   前記第１部位情報及び前記第２部位情報に基づき、前記第１部位情報における第１座標系と前記第２部位情報における第２座標系との間の座標変換を行う関数である変換関数を求めるステップ、
   前記変換関数に基づき、前記第１部位情報と前記第２部位情報とを同じ座標系で表した情報である合成部位情報を生成するステップ、及び、
   前記第１距離画像を取得する距離画像取得装置の設置状態を示す第１設置状態情報、及び前記第２距離画像を取得する距離画像取得装置の設置状態を示す第２設置状態情報を取得し、前記第１設置状態情報及び前記第２設置状態情報に基づき、前記変換関数を求めるステップ、
   を実行する、画像処理方法。
10. 請求項９に記載の画像処理方法であって、
    前記被写体は人であり、前記第１範囲は前記人の全身を含む範囲であり、前記第２範囲は前記人の一部を含む範囲である、
    画像処理方法。
11. 請求項９又は１０に記載の画像処理方法であって、
    前記情報処理装置が、前記第１部位情報に含まれている部位と前記第２部位情報に含まれている部位との対応を特定し、特定した部位を基準として前記変換関数を求めるステップ、
    を更に含む、画像処理方法。

Images