JP6216842B1 - 画像処理装置、画像処理方法、プログラム及びシステム - Google Patents

Abstract

【課題】撮影画像に含まれる画素の深度を、計算量を抑えて精度よく計算することができる画像処理装置等を提供する。【解決手段】画像処理装置Ａは可視光画像を撮影する第１撮影部２と、可視光画像と重複する領域を含む赤外画像を撮影する第２撮影部３及び赤外光照射部８を備える。第１深度決定部１２は重複領域に含まれる画素の深度を決定する。部分領域生成部１３は赤外画像における重複領域から複数の部分領域を生成する。クラスタリング部１５は複数の部分領域を複数のクラスタに分類する。関数決定部１６は第１深度決定部が決定した画素の深度に基づいて、複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定する。第２深度決定部１９は関数決定部が決定した関数を用いて第２撮影部が新たに撮影した赤外画像が含む画素の深度を決定する。【選択図】図２

Description

本発明は、撮影画像の深度を決定する画像処理装置、画像処理方法、プログラム及びシステムに関する。

従来、ステレオカメラを用いて撮影対象を撮影することによって視差画像を生成し、奥行きを感じさせる立体画像を表示する技術が知られている。特許文献１には、異なる周波数の光を物体に３つの方向から照射し、三次元物体の深度マップを生成する技術が開示されている。

特開２００９−８１８５３号公報

ところで、撮影した視差画像に基づいて撮影画像の深度を精度良く計算する場合、大きな計算能力を要する。そのため、視差画像に基づいて撮影動画の深度を精度良く計算するには、高性能なプロセッサが必要であり多大な費用がかかるという問題が生じていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、撮影画像に含まれる画素の深度を、計算量を抑えて精度よく計算することを目的とする。

本発明の第１の態様においては、画像を撮影する第１撮影部と、前記第１撮影部が撮影する領域と重複する重複領域を含む赤外画像を撮影する第２撮影部と、少なくとも前記重複領域を含む領域に赤外光を照射する赤外光照射部と、前記重複領域に含まれる画素の深度を決定する第１深度決定部と、前記赤外画像における前記重複領域から複数の部分領域を生成する部分領域生成部と、前記複数の部分領域を複数のクラスタに分類するクラスタリング部と、前記第１深度決定部が決定した画素の深度に基づいて、前記複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定する関数決定部と、前記関数を用いて前記第２撮影部が新たに撮影した赤外画像が含む画素の深度を決定する第２深度決定部と、を備える画像処理装置を提供する。

前記複数の部分領域の特徴量を算出する特徴量算出部を更に備え、前記クラスタリング部は、前記特徴量に更に基づいて前記複数の部分領域を前記複数のクラスタに分類してもよい。

前記関数決定部は前記関数を更新し、前記第２深度決定部は、前記関数決定部が前記関数を更新した場合、更新された新しい関数を用いて前記第２撮影部が撮影した赤外画像が含む画素の深度を決定してもよい。

前記部分領域生成部は、１つの部分領域と別の１つの部分領域とが同一の画素を含むように前記複数の部分領域を生成してもよい。

本発明の第２の態様においては、画像を撮影するステップと、前記撮影する領域と重複する重複領域を含む赤外画像を撮影するステップと、少なくとも前記重複領域を含む領域に赤外光を照射するステップと、前記重複領域に含まれる画素の深度を決定するステップと、前記赤外画像における前記重複領域から複数の部分領域を生成するステップと、前記複数の部分領域の各々に含まれる前記画素の深度と輝度とに少なくとも基づいて、前記複数の部分領域を複数のクラスタに分類するステップと、前記複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定するステップと、前記関数を用いて前記赤外画像が含む画素の深度を決定するステップと、を備える画像処理方法を提供する。

本発明の第３の態様においては、画像を撮影するステップと、前記撮影する領域と重複する重複領域を含む赤外画像を撮影するステップと、少なくとも前記重複領域を含む領域に赤外光を照射するステップと、前記重複領域に含まれる画素の深度を決定するステップと、前記赤外画像における前記重複領域から複数の部分領域を生成するステップと、前記複数の部分領域の各々に含まれる前記画素の深度と輝度とに少なくとも基づいて、前記複数の部分領域を複数のクラスタに分類するステップと、前記複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定するステップと、前記関数を用いて前記赤外画像が含む画素の深度を決定するステップと、を含むコンピュータが実行するプログラムを提供する。

本発明の第４の態様においては、前記画像処理装置を複数設置し、前記画像処理装置の各々が計測した撮影対象の深度データに基づいて前記撮影対象を３次元構築するシステムを提供する。

本発明によれば、撮影画像に含まれる画素の深度を、計算量を抑えて精度よく計算することができるという効果を奏する。

実施の形態に係る画像処理装置を備える撮像装置の正面図である。 実施の形態に係る画像処理装置の構成を示す図である。 可視光画像と赤外画像との重複領域について説明するための図である。 特徴量空間におけるクラスタの分類について説明するための図である。 部分領域に含まれる画素の輝度と深度とを示す点が複数プロットされた図である。 画像処理装置の処理のフローチャートである。 撮像装置を複数設置したシステムについて説明するための図である。

［概要］
従来、ステレオカメラで画像を撮影し、視差画像に基づいて撮影画像の各画素の深度を決定する技術がある。視差画像に基づいて撮影画像の各画素の深度を決定する場合、視差を求めるために２枚の画像において重複して写っている対象のパターンマッチングを行う。そのため、リアルタイムで撮影動画の深度を精度良く計算するには、高い計算能力を必要とする。

実施の形態に係る画像処理装置は、可視光カメラと赤外線カメラとで撮影対象を撮影する。画像処理装置は、撮影して得られた視差画像に基づいて赤外画像の各画素の深度を決定する。画像処理装置は、各画素の深度が決定された赤外画像を複数の部分領域に分割し、当該複数の分割領域をクラスタリングする。画像処理装置は、複数のクラスタの各々について赤外画像に含まれる画素の輝度と深度との関係を表す関数を決定することによって、以降に撮影される撮影画像については、赤外画像のみから画素の深度を決定する。画像処理装置は、例えば、１秒間に撮影する赤外画像の１０フレームの内、始めの１フレームのみ可視光画像を利用して深度マップを生成し、残りの９フレームについては、決定済みの関数を利用して深度マップを生成する。

上記のとおり、実施の形態に係る画像処理装置では、可視光画像と赤外画像とのパターンマッチングをする作業を大幅に減少することができるため、高い計算能力を必要とせずに、例えば、動画像の深度マップを生成することができる。以下に、図面を参照しながら実施の形態に係る画像処理装置について説明する。

［撮像装置の構成］
図１は、実施の形態に係る画像処理装置を備える撮像装置１の正面図である。撮像装置１の正面には、第１撮影部２、第２撮影部３、バンドパスフィルタ４、マイク５、スピーカ６、スリット７及び赤外光照射部８が配置されている。第１撮影部２は、例えば、可視光カメラである。第２撮影部３は、例えば、赤外線カメラである。赤外光照射部８は、例えば、スリット７内に平行に設けられ、撮影対象に赤外光がなるべく平行に照射されるように第２撮影部３のすぐ横に配置されている。バンドパスフィルタ４は、第２撮影部３のレンズと重なるように設けられ、例えば、波長９４０ｎｍ付近の赤外光のみを通過させる。第２撮影部３は、撮影対象の赤外画像を撮影する際は、赤外光照射部８を発光させ撮影対象に赤外光を照射させる。また、第２撮影部３が撮影する赤外画像の画素数は、例えば、５００万画素程度である。

撮像装置１の正面に配置された上記各モジュールは、画像処理装置が有する制御部によって制御される。撮像装置１は、マイク５を用いて録音することができる。また、撮像装置１は、スピーカ６を用いて音を出力することができる。また、撮像装置１は、第１撮影部２と第２撮影部３とを同期して撮影対象を撮影することができる。例えば、撮像装置１は、図示した正面の反対側がプラグ形状であり、天井に配置された電球のソケットに差込んで使用することができる。撮像装置１は、例えばRaspberry Pi（登録商標）等のコンピュータを用いて実現される。以下に、図２を参照しながら画像処理装置の構成について説明する。

［画像処理装置の構成］
図２は、実施の形態に係る画像処理装置Ａの構成を示す図である。画像処理装置Ａは、記憶部９、制御部１０、第１撮影部２、第２撮影部３及び赤外光照射部８を備える。図２は、実施の形態に係る画像処理装置Ａを実現するための機能構成を示しており、他の構成は省略している。図２の各部は、ハードウェア的には撮像装置１のＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。また、ソフトウェア的には、撮像装置１のメインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

記憶部９は、例えば、制御部１０が実行するプログラムが記録されたＲＯＭ（Read Only Memory）と一時的にデータを保存するＲＡＭ（Random Access Memory）とを備える。ＲＡＭには、第１撮影部２が撮影した可視光画像と第２撮影部３が撮影した赤外画像とが記録される。また、ＲＡＭには、可視光画像と赤外画像とに基づいて決定される深度マップが記録される。深度マップとは、可視光画像と赤外画像との重複領域の各画素と深度との対応が記録されたデータのことを称する。また、ＲＡＭには、赤外画像を部分領域に分割した際の、各部分領域に関する特徴量が記録される。ＲＡＭには、上記部分領域を分類するクラスタが記録される。ＲＡＭには、クラスタ毎に決定される輝度と深度との関数が記録される。

制御部１０は、記憶部９に記録されたプログラムを実行することによって、重複領域決定部１１、第１深度決定部１２、部分領域生成部１３、特徴量算出部１４、クラスタリング部１５、関数決定部１６、部分領域決定部１７、クラスタ決定部１８及び第２深度決定部１９としても機能する。また、制御部１０は、第１撮影部２及び第２撮影部３を制御して撮影対象の可視光画像及び赤外画像を撮影する。制御部１０は、例えば、第１撮影部２と第２撮影部３とを同期させて撮影し、撮影対象の視差画像を記憶部９に記録する。重複領域決定部１１は、可視光画像と赤外画像との重複領域を決定する。以下に、図３を参照して可視光画像と赤外画像との重複領域Ｒについて説明する。

図３は、可視光画像と赤外画像との重複領域Ｒについて説明するための図である。第１撮影部２と第２撮影部３とは、例えば、互いに２ｃｍ程度離れて設置されているため、撮影する領域が若干異なる。図３において、可視光画像と赤外画像との重複領域Ｒは、太線で囲まれた枠内となる。
図３においては、重複領域Ｒに長方形３１を付け加えた領域が第１撮影部２によって撮影された可視光画像であり、重複領域Ｒに長方形３２を付け加えた領域が第２撮影部３によって撮影された赤外画像である。重複領域決定部１１は、重複領域Ｒを決定した後、第１深度決定部１２及び部分領域生成部１３に通知する。以下に、図３を参照しながら第１深度決定部１２が重複領域Ｒに含まれる画素の深度を決定する方法を説明する。

第１深度決定部１２は、重複領域Ｒに含まれる画素の深度を決定する。図３において、重複領域Ｒの中央付近には被写体が写っている。可視光画像においては、被写体は中央より右寄りに位置し、赤外画像においては、被写体は中央より左寄りに位置する。第１深度決定部１２は、第１撮影部２及び第２撮影部３の距離と、可視光画像及び赤外画像における被写体の位置のずれと、に基づいて重複領域Ｒに含まれる画素の深度を決定することができる。第１深度決定部１２は、既知の技術を用いて重複領域Ｒに含まれる画素の深度を決定してもよい。なお、第１深度決定部１２が重複領域Ｒの深度を決定する際は、例えば、重複領域Ｒを３２０ピクセル×２４０ピクセルの解像度に落としてもよい。これにより、第１深度決定部１２は重複領域Ｒの深度の計算量を減らすことができる。

部分領域生成部１３は、赤外画像における上記重複領域Ｒから複数の部分領域を生成する。部分領域とは、画像処理装置Ａが赤外画像のみから画素の深度を決定する際の処理の単位であり、例えば、上記重複領域Ｒに含まれる画素数が９×９の矩形領域である。部分領域生成部１３は、１つの部分領域と別の１つの部分領域とが同一の画素を含むように複数の部分領域を生成してもよい。即ち、異なる２つの部分領域は、上記重複領域Ｒにおいて重なっていてもよい。こうすると、重複領域Ｒから生成しうる部分領域の数が増え、画像処理装置Ａはより滑らかな深度マップを作成することができる。部分領域は、例えば、６００００から７００００程度生成し、生成した複数の部分領域から１００００をランダムに注出する。

特徴量算出部１４は、上記複数の部分領域の特徴量を算出する。部分領域の特徴量は、例えば、輝度情報及びエッジ情報等に基づいて既知の手法によって算出する。

クラスタリング部１５は、上記複数の部分領域を複数のクラスタに分類する。具体的には、クラスタリング部１５は、例えば、特徴量算出部１４が算出した上記特徴量に更に基づいて複数の部分領域を複数のクラスタに分類する。以下に、図４を参照しながらクラスタリング部１５が複数の部分領域を複数のクラスタに分類する方法について説明する。

図４は、特徴量空間におけるクラスタの分類について説明するための図である。図４においては、複数の部分領域Ｒ１、Ｒ２及びＲ３が、それぞれ、特徴量空間において複数のクラスタＣ１、Ｃ２及びＣ３に分類された様子が示されている。特徴量空間は、輝度の次元を表すＩ軸と、重複領域Ｒにおける部分領域の位置を示すｐ軸と、その他の特徴量の次元を表すｆ軸とを有する。特徴量空間は、輝度と中心座標も特徴量の一つである多次元空間である。また、重複領域Ｒにおける部分領域の位置とは、例えば、部分領域の中心に位置する画素の座標である。クラスタリング部１５は、例えば、ｋ−ｍｅａｎｓ法によって複数の部分領域をＮ個の複数のクラスタ（例えばＮ＝３２）に分類する。クラスタリング部１５は、分類したクラスタの情報を記憶部９に記録する。クラスタリング部１５は、例えば、特徴量空間におけるクラスタの重心座標を記憶部９に記録する。

関数決定部１６は、第１深度決定部１２が決定した画素の深度に基づいて、上記複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定する。以下に、図５を参照しながら関数決定部１６が決定する関数について説明する。

図５は、あるクラスタに含まれる部分領域に含まれる画素の輝度と深度とを示す点が複数プロットされた図である。図５に示されているとおり、画素の深度は、概ね輝度の平方根に反比例する。関数決定部１６は、クラスタに属する部分領域に含まれる各画素の輝度と深度との統計情報に基づいて、例えば、回帰分析によって関数を決定する。関数決定部１６は、決定した各クラスタの関数を記憶部９に記録する。

具体的には、画素の輝度Ｉと画素の深度ｄとの関係を示す関数は、例えば、未知の定数Ａｃを用いてｄ＝Ａｃ／√Ｉと表せる。ここでＡｃ（ｃ＝１，・・・，Ｎ）であり、クラスタ毎に定まる定数である。関数決定部１６は、複数のクラスタそれぞれについて、最小二乗法に関する既知の反復解法を用いることによってＡｃを求める。これにより、関数決定部１６は、クラスタ毎に画素の輝度Ｉと画素の深度ｄとの関係を示す関数を決定することができる。なお、画素の輝度Ｉと画素の深度ｄとの関係を示す関数の形は上記に限られない。この他にも、深度ｄを輝度Ｉの多項式で表したり、他の輝度Ｉに関する線形又は非線形の関数の組み合わせによって上記の関数を表現してもよい。

部分領域決定部１７は、第２撮影部３が撮影した赤外画像に含まれる各画素に対応する部分領域を決定する。部分領域決定部１７は、例えば、赤外画像の各画素に当該画素を中心とする画素数９×９の矩形領域を部分領域として決定する。なお、画素数９×９の矩形領域が赤外画像において決定できない画素については、部分領域を決定する画素の対象としない。

クラスタ決定部１８は、第２撮影部３が撮影した赤外画像から生成された部分領域が、クラスタリング部１５が分類したどのクラスタに属するかを決定する。具体的には、クラスタ決定部１８は、記憶部９に記録された特徴量空間における各クラスタの重心座標を取得し、部分領域がどのクラスタの座標と最も近いかを計算し、部分領域が属するクラスタを決定する。

第２深度決定部１９は、記憶部９に記録された関数を用いて第２撮影部３が新たに撮影した赤外画像に含まれる画素の深度を決定する。具体的には、第２深度決定部１９は、部分領域が属するクラスタに対応する関数を取得し、部分領域に含まれる画素の輝度情報から当該画素の深度を決定する。これにより、画像処理装置Ａは少ない計算量で撮影画像に含まれる画素の深度を決定できる。

［画像処理装置Ａの処理フロー］
上で説明したとおり、画像処理装置Ａは、赤外画像から生成される複数の部分領域を複数のクラスタに分類し、関数を決定した後は、以降に撮影される赤外画像に含まれる画素の深度を可視光画像とのパターンマッチングをすることなく決定することができる。画像処理装置Ａは、例えば１秒間に１０フレームの赤外画像を撮影し、１秒間は同一の関数を用いて、赤外画像に含まれる画素の深度を決定する。画像処理装置Ａは、例えば、新しく撮影された可視光画像と赤外画像とを用いて、クラスタと関数とを１秒毎に更新する。以下に、図６を参照しながら、画像処理装置Ａの処理フローについて説明する。

図６は、画像処理装置Ａの処理のフローチャートである。先ず、第１撮影部２及び第２撮影部３が一対の視差画像を撮影するところから開始する（Ｓ６０１）。続いて、重複領域決定部１１が視差画像の重複領域Ｒを決定する（Ｓ６０２）。続いて、第１深度決定部１２が重複領域Ｒに含まれる画素の深度を決定する（Ｓ６０３）。続いて、部分領域生成部１３が赤外画像の部分領域を生成する（Ｓ６０４）。続いて、特徴量算出部１４が部分領域の特徴量を算出する（Ｓ６０５）。続いて、クラスタリング部１５が、輝度及び深度を少なくとも含む特徴量に基づいて部分領域をクラスタに分類する（Ｓ６０６）。続いて、関数決定部１６がクラスタ毎に輝度と深度との関数を決定する（Ｓ６０７）。

続いて、第２撮影部３が再度赤外画像を撮影する（Ｓ６０８）。部分領域決定部１７は赤外画像に含まれる画素毎に部分領域を決定し、クラスタ決定部１８は当該部分領域が属するクラスタを決定する。画素が属するクラスタに対応する関数を決定した後、クラスタ決定部１８は赤外画像の画素の輝度情報から当該画素の深度を決定する（Ｓ６０９）。クラスタ及び関数を再度学習する場合（Ｓ６１０においてＹＥＳ）、即ち、可視光画像と赤外画像とからクラスタ及び関数の決定をする場合、Ｓ６０１に戻る。

クラスタ及び関数を再度学習しない場合（Ｓ６１０においてＮＯ）、画像処理装置Ａは処理を終了するかどうか決める（Ｓ６１１）。画像処理装置Ａは処理を終了しない場合（Ｓ６１１においてＮＯ）、Ｓ６０８に戻る。画像処理装置Ａは、処理を終了する場合（Ｓ６１１においてＹＥＳ）、処理を終了する。

［画像処理装置Ａが奏する効果］
上記のとおり、実施の形態に係る画像処理装置Ａは、可視光画像と赤外画像との視差画像に基づいて、赤外画像に含まれる各画素の深度を決定する。画像処理装置Ａは、赤外画像の部分領域を複数生成し、各部分領域を分類する複数のクラスタを決定する。画像処理装置Ａは、各クラスタに輝度と深度とを対応付ける関数を決定する。画像処理装置Ａは、赤外画像の各画素に部分領域を対応させ、当該部分領域が属するクラスタを決定することによって、画素の輝度情報から画素の深度を決定することができる。こうすることによって、画像処理装置Ａは、赤外画像に含まれる画素の深度を、一対の視差画像を用いなくとも赤外画像のみで決定することができる。したがって、画像処理装置Ａは少ない計算量で撮影画像に含まれる画素の深度を決定できるため、精度が高い深度マップを低いコストで素早く生成できる。

［撮像装置１を複数備えるシステム］
上で説明したとおり、画像処理装置Ａは、赤外光を照射することによって、撮影対象から反射される赤外光の輝度情報に基づいて撮影画像の深度を決定した。画像処理装置Ａは、他の撮像装置１が投射する赤外光が対象に重なっている場合、そのことを前提に輝度と深度との関数を決定する。そのため、Ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ法のような、何らかのパターンを対象に投射しパターンの変形から深度を計算する方法と異なり、画像処理装置Ａを複数台同時に使用しても互いに干渉して機能しなくなるということがない。

上記の有利な効果により、画像処理装置Ａを複数設置し、複数の画像処理装置Ａの各々が計測した撮影対象の深度データに基づいて撮影対象を３次元構築するシステムを設計することができる。

図７は、撮像装置１を複数設置したシステムについて説明するための図である。システムは、画像処理装置Ａが内蔵された撮像装置１を複数備え、対象Ｈを３つの異なる方向から撮影する。上記システムでは、例えば、対象Ｈである犬を、真上、正面及び背面から撮影する。

図７に示したシステムを利用すると、複数の撮像装置１で撮影範囲が重なった領域に関しては、深度データをより正確に計算することができる。また、対象Ｈの正面方向からの深度データと背面方向からの深度データとを合算することによって、対象Ｈの３次元データを得ることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

Ａ・・・画像処理装置
Ｈ・・・対象
Ｒ・・・重複領域
１・・・撮像装置
２・・・第１撮影部
３・・・第２撮影部
４・・・バンドパスフィルタ
５・・・マイク
６・・・スピーカ
７・・・スリット
８・・・赤外光照射部
９・・・記憶部
１０・・・制御部
１１・・・重複領域決定部
１２・・・第１深度決定部
１３・・・部分領域生成部
１４・・・特徴量算出部
１５・・・クラスタリング部
１６・・・関数決定部
１７・・・部分領域決定部
１８・・・クラスタ決定部
１９・・・第２深度決定部

Claims (7)

1. 画像を撮影する第１撮影部と、
   前記第１撮影部が撮影する領域と重複する重複領域を含む赤外画像を撮影する第２撮影部と、
   少なくとも前記重複領域を含む領域に赤外光を照射する赤外光照射部と、
   前記重複領域に含まれる画素の深度を決定する第１深度決定部と、
   前記赤外画像における前記重複領域から複数の部分領域を生成する部分領域生成部と、
   前記複数の部分領域を複数のクラスタに分類するクラスタリング部と、
   前記第１深度決定部が決定した画素の深度に基づいて、前記複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定する関数決定部と、
   前記関数を用いて前記第２撮影部が新たに撮影した赤外画像が含む画素の深度を決定する第２深度決定部と、
   を備える画像処理装置。
2. 前記複数の部分領域の特徴量を算出する特徴量算出部を更に備え、
   前記クラスタリング部は、前記特徴量に更に基づいて前記複数の部分領域を前記複数のクラスタに分類する、
   請求項１に記載の画像処理装置。
3. 前記関数決定部は前記関数を更新し、
   前記第２深度決定部は、前記関数決定部が前記関数を更新した場合、更新された新しい関数を用いて前記第２撮影部が撮影した赤外画像が含む画素の深度を決定する、
   請求項１又は２に記載の画像処理装置。
4. 前記部分領域生成部は、１つの部分領域と別の１つの部分領域とが同一の画素を含むように前記複数の部分領域を生成する、
   請求項１乃至３の何れか１項に記載の画像処理装置。
5. 画像を撮影するステップと、
   前記撮影する領域と重複する重複領域を含む赤外画像を撮影するステップと、
   少なくとも前記重複領域を含む領域に赤外光を照射するステップと、
   前記重複領域に含まれる画素の深度を決定するステップと、
   前記赤外画像における前記重複領域から複数の部分領域を生成するステップと、
   前記複数の部分領域の各々に含まれる前記画素の深度と輝度とに少なくとも基づいて、前記複数の部分領域を複数のクラスタに分類するステップと、
   前記複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定するステップと、
   前記関数を用いて、新たに撮影された赤外画像が含む画素の深度を決定するステップと、
   を備える画像処理方法。
6. 画像を撮影するステップと、
   前記撮影する領域と重複する重複領域を含む赤外画像を撮影するステップと、
   少なくとも前記重複領域を含む領域に赤外光を照射するステップと、
   前記重複領域に含まれる画素の深度を決定するステップと、
   前記赤外画像における前記重複領域から複数の部分領域を生成するステップと、
   前記複数の部分領域の各々に含まれる前記画素の深度と輝度とに少なくとも基づいて、前記複数の部分領域を複数のクラスタに分類するステップと、
   前記複数のクラスタの各々について画素の輝度と深度との関係を表す関数を決定するステップと、
   前記関数を用いて、新たに撮影された赤外画像が含む画素の深度を決定するステップと、
   を含むコンピュータが実行するプログラム。
7. 請求項１乃至４の何れか一項に記載された画像処理装置を複数設置し、前記画像処理装置の各々が計測した撮影対象の深度データに基づいて前記撮影対象を３次元構築するシステム。
   

Images