JP6447516B2 - 画像処理装置、および画像処理方法 - Google Patents

Description

本開示は、画像処理装置、および画像処理方法に関する。

近年、対象物の三次元像を生成する方法として、下記特許文献１で開示されているような、赤外線（ＩＲ；ｉｎｆｒａｒｅｄ）を照射して対象物の奥行情報（深度情報）を取得して三次元画像を生成するシステムが広く認知されている。

具体的には、人間の目には見えない赤外線の特徴を活かし、赤外線で対象物の表面にパターンを照射して赤外線カメラにより撮影し、撮像画像に基づいて物体の表面形状をより詳細に、正確に取得することができる。

特表２００８−５３７１９０号公報

しかしながら、赤外線パターンを物体に照射することにより、物体が本来持っている特徴である、物体の輪郭や、物体の表面上にある模様等の情報が失われてしまい、条件によっては正確な物体形状が得られない問題がある。

また、テクスチャ取得用の可視光カメラを併用するシステムがあるが、その場合、奥行検出用の赤外線カメラ以外にも他種類のカメラが必要となり、システムのコストアップの問題が生じる。また、複数種類のカメラにより撮像された撮像画像の位置を正確に合わせるための信号処理の増加によりシステムが巨大化してしまうという問題が生じる。

さらに、物体にプロジェクタによる可視光投影画像が重なっている場合、可視光カメラを用いても正確な物体形状が得られないという問題がある。

そこで、本開示では、赤外線によるパターン照射のタイミングを制御することで、より正確な深度情報を得るためのパターン照射された赤外線画像およびパターン照射がない赤外線画像を取得することが可能な画像処理装置、および画像処理方法を提案する。

本開示によれば、対象物体の表面にパターンを赤外線照射するパターン照射部と、赤外線画像を撮影する赤外線撮影部と、を備え、前記パターン照射部は、前記赤外線撮影部の撮影タイミングに対応する所定のタイミングで照射し、前記赤外線撮影部は、前記パターン照射部により照射されたパターンが対象物体に投影されたパターン投影赤外線画像と、前記パターンが対象物体に投影されていないパターン無し赤外線画像とを取得する、画像処理装置を提案する。

本開示によれば、パターン照射部により対象物体の表面にパターンを赤外線照射することと、赤外線撮影部により赤外線画像を撮影することと、を含み、前記パターン照射部は、前記赤外線撮影部の撮影タイミングに対応する所定のタイミングで照射し、前記赤外線撮影部は、前記パターン照射部により照射されたパターンが対象物体に投影されたパターン投影赤外線画像と、前記パターンが対象物体に投影されていないパターン無し赤外線画像とを取得する、画像処理方法を提案する。

以上説明したように本開示によれば赤外線によるパターン照射のタイミングを制御することで、より正確な深度情報を得るためのパターン照射された赤外線画像およびパターン照射がない赤外線画像を取得することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

第１の実施形態による画像処理装置の構成を示すブロック図である。 第１の実施形態によるＩＲランダムパターン照射部の構造を示す図である。 第１の実施形態によるステレオ画像マッチング部によるブロックマッチング手法について説明するための図である。 第１の実施形態によるタイミング制御部から出力されるパルス波形の一部を切り出した図である。 単眼のＩＲカメラを使用して深度情報を検出する場合について説明するための図である。 第２の実施形態による画像処理装置の構成を示すブロック図である。 第２の実施形態によるタイミング制御部から出力されるパルス波形の一部を切り出した図である。 第３の実施形態による画像処理装置の構成を示すブロック図である。 演算量を削減しない場合および削減した場合の深度画像の一例を示す図である。 第３の実施形態による高解像度深度画像の生成について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．第１の実施形態による画像処理装置
１−１．構成
１−２．動作
１−３．補足
１−４．効果
２．第２の実施形態による画像処理装置
２−１．構成
２−２．動作
２−３．効果
３．第３の実施形態による画像処理装置
３−１．構成
３−２．動作
３−３．効果
４．まとめ

＜＜１．第１の実施形態による画像処理装置＞＞
＜１−１．構成＞
まず、本開示の第１の実施形態による画像処理装置１０−１の構成について図１を参照して説明する。図１は、第１の実施形態による画像処理装置１０−１の構成を示すブロック図である。

図１に示すように、本実施形態による画像処理装置１０−１は、タイミング制御部１０１、ＩＲステレオカメラ１０２、ＩＲランダムパターン照射部１０３、ＩＲ照射部１０４、ランダムパターンＬＲ画像記憶部１０５、ＩＲ画像記憶部１０６、ステレオ画像マッチング部１０７、深度画像記憶部１０８、画像認識部１０９、および認識結果記憶部１１０を有する。

（タイミング制御部）
タイミング制御部１０１は、ＩＲステレオカメラ１０２と、ＩＲランダムパターン照射部１０３と、ＩＲ照射部１０４それぞれにパルスを出力する制御回路で構成されている。タイミング制御部１０１は、ＩＲステレオカメラ１０２による撮影タイミングにおいて、ＩＲランダムパターン照射部１０３とＩＲ照射部１０４による照射を例えば交互に行うよう制御することで、ランダムパターンが照射された画像とパターンが無い画像とを交互に撮影させることができる。タイミング制御部１０１による撮影および照射タイミングの具体的な動作制御については、図４を参照して後述する。

（ＩＲステレオカメラ）
ＩＲステレオカメラ１０２はＩＲ（赤外線）領域のみを撮影できるカメラ２台で構成された赤外線撮影部の一例である。具体的には、ＩＲステレオカメラ１０２は、例えば可視光カットフィルターを装着することで、ＩＲ領域のみを撮影できる。また、ＩＲステレオカメラ１０２を構成する２台のカメラは、視差が十分発生する間隔を置いて配置される。これら２台のカメラは、タイミング制御部１０１からのＩＲステレオカメラ制御パルス２０１（図４参照）の立ち上がりエッジでシャッターが切られるため（撮影を行うため）、２台のカメラの時間的な撮影ずれは発生しない。

（ＩＲランダムパターン照射部）
ＩＲランダムパターン照射部１０３は、対象物体の表面にパターンを赤外線（ＩＲ）照射するパターン照射部の一例であって、ＩＲランダムパターンを照射する。ここで、図２に、第１の実施形態によるＩＲランダムパターン照射部１０３の構造を示す。

図２に示すように、ＩＲランダムパターン照射部１０３は、発光制御部３０１と、ＩＲ光源３０２と、ＩＲランダムパターンマスク３０３と、投射レンズ３０４とを有する。

発光制御部３０１は、タイミング制御部１０１から入力されるＩＲランダムパターン照射部制御パルス２０２（図４参照）の立ち上がりに合わせて、一定時間、ＩＲ光源３０２に電流を流して発光を制御する。本実施形態では、発光制御部３０１は、ＩＲランダムパターン照射部制御パルス２０２がＨｉｇｈの間、一定の電流を流す。

ＩＲ光源３０２は、赤外線発光部であって、例えば赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。ＩＲ光源３０２は、発光制御部３０１により電流が流されている間、赤外線波長（例えば８５０ｎｍ付近の波長）を照射する。ＩＲ光源３０２から照射された赤外線は、ランダムパターンマスク３０３を通過する。

ランダムパターンマスク３０３は、例えば電鋳（Electroforming）によりランダムで微細な穴明け加工が行われた金属製の網目状の板により実現される。ランダムな網目状は、例えばランダムな点を配置した後に、その点を母点としたボロノイ図（Ｖｏｒｏｎｏｉ Ｄｉａｇｒａｍ）を生成することで実現可能である。他にもフィルム上にランダムな模様やドットを印刷したり、ガラス上にエッチングなどを使用したりして微細なランダム模様を投影することも可能であるが、電鋳による微細穴明け加工を用いることで、赤外線を減衰させることなくランダム模様を透過させることができる。

投射レンズ３０４は、ランダムパターンマスク３０３を透過した赤外線により形成されるＩＲランダムパターン３１０を、対象物体に対して投射させる。図２に示す例では、投射レンズ３０４は１枚に簡略化して図示されているが、実際には必要な画角や焦点距離など、用途に応じて複数枚の凹レンズ、凸レンズを組み合わせて構成され得る。

（ＩＲ照射部）
ＩＲ照射部１０４は、パターンを有さない赤外線を照射する機能を有する。ＩＲ照射部１０４の具体的な構造は、図２に示すＩＲランダムパターン照射部１０３からランダムパターンマスク３０３を取り除いたものであって、その他の構成は同じであるので、ここでの説明は省略する。ＩＲ照射部１０４を構成に含むことで、より明るいＩＲ画像が得られるという効果が生じる。

なお、ＩＲ照射部１０４は、本実施形態による画像処理装置１０−１に必須の構成ではなく、適度に赤外線が含まれる電球などの環境光があれば省略可能である。また、ＩＲ照射部１０４は、ＩＲランダムパターン３１０を照射する必要がないので、対象物体（被写体）とＩＲ照射部１０４との距離が十分近いなど、赤外線が万遍なく照射できる環境であれば、投射レンズ３０４のような光学レンズも省略することが可能である。

（ランダムパターンＬＲ画像記憶部）
ランダムパターンＬＲ画像記憶部１０５は、ＩＲランダムパターン照射部１０３がＩＲランダムパターン３１０を照射している間に２台の赤外線カメラ（左カメラ、右カメラ）で構成されたＩＲステレオカメラ１０２により撮像された２枚のＩＲランダムパターン投射画像（Ｌ画像およびＲ画像）を保存する。

（ステレオ画像マッチング部）
ステレオ画像マッチング部１０７は、ランダムパターンＬＲ画像記憶部１０５に保存されたＬＲ画像を用いて、深度情報（奥行情報）を持つ深度画像を生成する深度算出部である。深度画像の生成方法には様々な従来公知の技術を使用し得るが、ここでは一例としてブロックマッチング手法を用いる。以下、図３を参照して具体的に説明する。

図３は、第１の実施形態によるステレオ画像マッチング部１０７によるブロックマッチング手法について説明するための図である。図３に示す例では、ＩＲステレオカメラ１０２を構成する右側のカメラで撮影されたランダムパターンＲ画像７０１と、左側のカメラで撮影されたランダムパターンＬ画像７０２とをブロック毎にマッチングする。

具体的には、例えば８×８のブロック単位で画像のマッチングを行う場合、右カメラにより撮像されたＲ画像７０１の注目しているピクセル（画素）７０４を中心とした８×８画素のブロック７０５に近いブロックをＬ画像７０２から探して視差を得る。すなわち、ステレオ画像マッチング部１０７は、Ｌ画像７０２の探索範囲７０６の全ての水平１ピクセルごとに、ランダムパターンＲ画像の８×８ブロック７０５とランダムパターンＬ画像の８×８ブロック７０７との画像比較を行う。例えば探索範囲７０６が６４ピクセルの場合、入力画像であるＲ画像７０１の１ピクセル毎に６４回のブロックの画像マッチングを行い、これを入力画像のＲ画像７０１の全てのピクセルに対して行う。

このようにステレオ画像マッチング部１０７はブロック単位で左右画像のマッチングを行うところ、従来はマッチングできなかった例えば白い箱のような表面に特徴のない（模様のない平坦な）対象物体であっても、ＩＲランダムパターンが照射された画像を使用することで正確にマッチングすることができる。

また、ＩＲステレオカメラ１０２を構成する右カメラ、左カメラは固定されており、カメラ間の距離（基線長）が固定されている。このため、ブロックマッチングにより得た視差と、基線長とに基づいて、深度が得られる。

以上説明したマッチング処理を全画素に対して行うことで、画面全体の深度画像が得られる。

（深度画像記憶部）
深度画像記憶部１０８は、ステレオ画像マッチング部１０７により得られた深度画像を保存する。

（ＩＲ画像記憶部）
ＩＲ画像記憶部１０６は、ＩＲ照射部１０４が照射している間にＩＲステレオカメラ１０２で撮影されたＩＲ画像（パターン無しの赤外線画像）を保存する。ここで、ＩＲ画像記憶部１０６に保存されるＩＲ画像は、ＩＲステレオカメラ１０２を構成する左カメラおよび右カメラいずれで撮影された画像であってもよい。具体的には、用途に応じで、左カメラにより撮影されたＬ画像のみ、または右カメラにより撮影されたＲ画像のみを使用してもよいし、あるいは、両方のカメラで撮影されたＬＲ画像を保存して使用してもよい。

（画像認識部）
画像認識部１０９は、ＩＲ画像記憶部１０６に保存されたＩＲ画像（パターン無しの赤外線画像）に基づいて、対象物体の輪郭を認識したり、文字認識を実施したりといった、従来公知の画像認識処理（例えば微分フィルタ等を用いたエッジ検出処理）を行う。

特に文字認識のように、文字を構成する線が重要な情報となる画像処理の場合、ランダムパターンＬＲ画像記憶部１０５に保存されているランダムパターンが投影された画像を用いると、ランダムパターンにより文字上に意図しない影ができてしまうことが認識率の低下に繋がる。また、ランダムパターンが照射された画像を用いると、微分フィルタなどのエッジ検出処理を行った場合に、被写体の輪郭だけでなく、ランダムパターンの輪郭まで検出してしまい、正確に被写体の輪郭を得ることは難しい。このため、画像認識部１０９は、ＩＲ画像記憶部１０６に保存された、ランダムパターン照射の無いＩＲ画像を使用することで、例えば本のタイトル等、対象物体の表面に書かれている文字や、対象物体の輪郭を正確に認識することができる。

また、対象物体の形状を認識するために物体の輪郭が重要な情報となる画像処理の際に可視光カメラを用いると、輪郭の認識率の低下に繋がる場合がある。例えば、プロジェクタからテーブル上などに画像が可視光投影され、テーブルに投影された画像に対してユーザが手で操作入力を行う場合、手の位置や手の形状、手の形状の変化等が操作入力情報として用いられる。この場合、可視光カメラを用いると、対象物体である手の表面に投影画像が写っているために、手の形状、輪郭の認識率が低下してしまう。そこで、本実施形態による画像認識部１０９は、赤外線カメラにより実現されるＩＲステレオカメラ１０２により撮影されたＩＲ画像を使用することで、手の表面に写る可視光による投影画像による影響を受けずに、正確に手の形状、輪郭を認識することができる。

（認識結果記憶部）
認識結果記憶部１１０は、画像認識部１０９で認識された結果を格納する。

以上説明した構成を有する画像処理装置１０−１は、対象物体（被写体）の立体形状（深度画像）と、対象物体の表面に書かれている文字や対象物体の輪郭を認識して出力することができる。続いて、図４を参照してタイミング制御部１０１による撮影・照射タイミングの動作制御について具体的に説明する。

＜１−２．動作＞
図４は、タイミング制御部１０１から出力されるパルス波形の一部を切り出した図である。図４に示すように、制御パルス２０１は、ＩＲステレオカメラ１０２に送られる制御パルスであって、ＩＲステレオカメラ１０２は、このパルスの立ち上がりエッジでシャッターが切られる（撮影を行う）仕組みとなっている。

また、制御パルス２０２、２０３は、それぞれＩＲランダムパターン照射部１０３、ＩＲ照射部１０４に送られる制御パルスであって、各照射部は、これらパルスの立ち上がりエッジで一定時間ＩＲ光源を点灯する仕組みとなっている。ランダムパターン照射部１０３とＩＲ照射部１０４の制御タイミングは、図４に示すように、ＩＲステレオカメラ制御パルス２０１の半分の周期で、交互に発光するようになっている。具体的には、ランダムパターン照射部１０３が、ＩＲステレオカメラ制御パルス２０１（ＩＲステレオカメラ１０２の撮影タイミング）の奇数または偶数のタイミングで照射（発光）し、ＩＲ照射部１０４は、ランダムパターン照射部１０３による発光タイミングと異なるタイミングで発光する。

これにより、ＩＲステレオカメラ１０２は、ランダムパターンが対象物体に照射された画像（パターン投影赤外線画像）と、パターンを有さないＩＲ照射が行われた対象物体の画像（パターン無し赤外線画像）とを、時間的に交互に取得することができる。

なお、ランダムパターン照射部１０３とＩＲ照射部１０４の照射制御タイミングは図４に示す例に限定されない。これら照射制御タイミングは、用途に応じてＩＲステレオカメラ１０２の撮影タイミング（ＩＲステレオカメラ制御パルス２０１）に対応する所定のタイミングで出力されてもよい。例えば、動きが速い対象物体（例えば、手）の形状をより正確に認識したい場合、ランダムパターン照射部１０３の照射タイミングを増やし、ＩＲ照射部１０４にはランダムパターン照射部１０３による照射タイミングと異なるタイミングで照射させる。具体的には、ランダムパターン照射部１０３には複数回続けて照射させた後１回休むといった所定の間隔毎に照射させる制御パルスを出力し、ＩＲ照射部１０４にはランダムパターン照射部１０３による照射が複数回行われた後１回照射する制御パルスを出力する。

いずれにしても、タイミング制御部１０１は、ＩＲステレオカメラ１０２に、ランダムパターンが対象物体に照射された画像（パターン投影赤外線画像）と、パターンを有さないＩＲ照射が行われた対象物体の画像（パターン無し赤外線画像）とを、時間的に異なるタイミングで取得させることができる。

各画像の取得後は、上述したように、ステレオ画像マッチング部１０７において深度画像が生成され、一方、画像認識部１０９では、文字認識等の画像処理が行われる。

＜１−３．補足＞
続いて、本実施形態の補足について説明する。上述した実施形態では、ＩＲステレオカメラ１０２を使用して深度情報を検出しているが、本実施形態はこれに限定されず、単眼のＩＲカメラを使用して深度情報を検出することも可能である。

この場合、画像処理装置１０−１は、ＩＲ照射するランダムパターンを予め記憶しておき、記憶されたランダムパターンと、１台のＩＲカメラによって撮影された画像とをブロックマッチングして深度を算出する。以下、図５を参照して説明する。

図５は、単眼のＩＲカメラ１１２を使用して深度情報を検出する場合について説明するための図である。図５に示す単眼のＩＲカメラ１１２とＩＲランダムパターン照射部１０３との距離ｄは既知である。

画像処理装置１０−１は、ＩＲカメラ１１２により撮影された画像上でマッチングしたランダムパターンの座標値、特に対象物体Ｓ上に映るランダムパターンの座標位置から、既知である距離ｄを使用して深度を算出する。すなわち、画像処理装置１０−１は、予め記憶されたランダムパターンと距離ｄに基づいて、対象物体Ｓが無ければ壁面に反映されるパターンの座標位置を推定し、推定した座標位置と、対象物体Ｓ上に映るランダムパターンの座標位置との視差に応じて深度情報を検出する。

＜１−４．効果＞
以上説明したように、第１の実施形態によれば、ランダムなパターンを対象物に赤外線照射することで、表面に特徴のない物体であっても正確な深度情報が得られる。また、ランダムパターンを照射しない赤外線画像も取得することで、ランダムなパターンを必要としない、またはランダムなパターンがあると精度等に影響する画像処理も的確に実施することができる。

また、深度取得用と、画像処理用でカメラを時分割で使用するので、双方のカメラ位置の調整が不要で、容易に双方の結果の位置を合わせることが可能となる。

さらに、シャッタータイミング（撮影タイミング）に同期させて、ＩＲランダムパターン照射部１０３とＩＲ照射部１０４を交互に点灯させることで、各照射部による発光間隔が伸び、発光のデューティー比を小さくできる。そして、発光のデューティー比を小さくできる分、一度に流す電流を大きくでき、より明るい発光が可能となる。これにより、シャッター速度が上げられる、あるいはゲインを下げてノイズを抑えることができる等、撮影後の画像処理に有効な効果を得られる。

＜＜２．第２の実施形態による画像処理装置＞＞
続いて、第２の実施形態による画像処理装置１０−２について、図６〜図７を参照して説明する。

＜２−１．構成＞
図６は、第２の実施形態による画像処理装置１０−２の構成を示すブロック図である。図６に示すように、画像処理装置１０−２は、タイミング制御部４０１、ＩＲステレオカメラ４０２、ＩＲカメラ４０３、ＩＲランダムパターン照射部４０４、ＩＲ照射部４０５、ランダムパターンＬＲ画像記憶部１０５、ＩＲ画像記憶部１０６ａ、ステレオ画像マッチング部１０７、深度画像記憶部１０８、画像認識部１０９、および認識結果記憶部１１０を有する。

ランダムパターンＬＲ画像記憶部１０５、ステレオ画像マッチング部１０７、深度画像記憶部１０８、画像認識部１０９、および認識結果記憶部１１０は、図１を参照して説明した第１の実施形態と同様であるので、ここでの説明は省略する。

（タイミング制御部）
タイミング制御部４０１は、ＩＲステレオカメラ４０２と、ＩＲカメラ４０３と、ＩＲランダムパターン照射部４０４と、ＩＲ照射部４０５それぞれにパルスを出力する制御回路で構成される。タイミング制御部４０１による撮影および照射タイミングの制御については、図７を参照して後述する。

（ＩＲランダムパターン照射部）
ＩＲランダムパターン照射部４０４の構造は、図２を参照して説明した第１の実施形態によるＩＲランダムパターン照射部１０３の構造と同じだが、ＩＲ光源３０２の波長が例えば８５０ｎｍとなるように、光源が選別される点が異なる。

（ＩＲ照射部）
ＩＲ照射部４０５の構造も、第１の実施形態によるＩＲ照射部１０４と同様であるが、ＩＲ光源の波長が例えば７５０ｎｍとなるように、光源が選別される点が異なる。

（ＩＲステレオカメラ）
ＩＲステレオカメラ４０２は、ＩＲ（赤外線）領域のうち、例えば８５０ｎｍの波長を中心に透過するバンドパスフィルタ、あるいはローパスフィルタ、またはハイパスフィルタを有し、８５０ｎｍ以外の波長の光は感度が低下し、露光しにくい構造を有する。これにより、ＩＲステレオカメラ４０２は、ＩＲランダムパターン照射部４０４から照射されたランダムパターンが重畳された対象物体の画像を撮影することができる。

（ＩＲカメラ）
ＩＲカメラ４０３は、ＩＲ（赤外線）領域のうち、例えば７５０ｎｍの波長を中心に透過するバンドパスフィルタ、あるいはローパスフィルタ、またはハイパスフィルタを有し、７５０ｎｍ以外の波長の光は感度が低下し、露光しにくい構造を有する。これにより、ＩＲカメラ４０３は、ランダムパターン照射部４０４から照射される波長を遮断するので、ランダムパターンが被写体に重畳されない（パターン無しの）画像を撮影することができる。

なおＩＲカメラ４０３は、少なくとも１台の赤外線カメラにより実現され得る。

（ＩＲ画像記憶部）
ＩＲ画像記憶部１０６ａは、少なくとも１台の赤外線カメラにより実現されるＩＲカメラ４０３により撮影された１枚の画像を保存する。

以上説明した構成を有する画像処理装置１０−２は、第１の実施形態と同様に、対象物体（被写体）の立体形状（深度画像）と、対象物体の表面に書かれている文字や対象物体の輪郭を認識して出力することができる。

＜２−２．動作＞
続いて、図７を参照してタイミング制御部４０１による撮影・照射タイミングの動作制御について具体的に説明する。

図７は、タイミング制御部４０１から出力されるパルス波形の一部を切り出した図である。図７に示すタイミング波形の通り、各ブロックに入力される制御パルス５０１〜５０４は、同期パルスである。

ＩＲステレオカメラ４０２およびＩＲカメラ４０３は、同期パルスの立ち上がりエッジでシャッターが切れる仕組みになっている。また、ＩＲランダムパターン照射部４０４およびＩＲ照射部４０５は、同期パルスの立ち上がりエッジで一定時間、ＩＲ光源が点灯する仕組みとなっている。

すなわち、本実施形態によるタイミング制御部４０１は、ＩＲステレオカメラ４０２およびＩＲカメラ４０３の撮影タイミングと、ＩＲランダムパターン照射部４０４およびＩＲ照射部４０５による照射タイミングとが同じタイミングで行われるよう制御する。

ＩＲランダムパターン照射部４０４からランダムパターンが照射されるタイミングでＩＲステレオカメラ４０２が撮影を行っても、上述したように、ＩＲカメラ４０３は、ランダムパターンの照射波長を遮断するフィルタを有するので、ランダムパターンが被写体に重畳されない（パターン無しの）画像を撮影することができる。これにより、時間的なずれが生じずに、パターン有りの赤外線画像とパターン無しの赤外線画像を取得することができる。

各画像の取得後は、第１の実施形態と同様に、ステレオ画像マッチング部１０７において深度画像が生成され、一方、画像認識部１０９では、文字認識等の画像処理が行われる。

＜２−３．効果＞
上記構成を有する第２の実施形態によれば、第１の実施形態と同様に、表面に特徴のない物体であっても正確な深度情報を得られるという効果や、ランダムなパターンを必要としない、またはランダムなパターンがあると精度等に影響する画像処理を的確に実施できるという効果が得られる。

また、第２の実施形態では、第１の実施形態と異なり、ＩＲランダムパターンを所定の波長で照射し、当該波長が透過する光学フィルタを装着したＩＲステレオカメラ４０２と、当該波長を遮断する光学フィルタを装着したＩＲカメラ４０３を、同期して撮影させる。これにより、ランダムパターンが投射された画像と、ランダムパターンが投射されていない画像の間に時間的なずれを発生させず、双方の画像処理結果の合成や、関連付けが容易になるという効果が生じる。

＜＜３．第３の実施形態による画像処理装置＞＞
次に、第３の実施形態による画像処理装置１０−３について、図８〜図１０を参照して説明する。本実施形態では、上記各実施形態によるステレオ画像マッチング部１０７による演算処理の負担を軽減すると共に、より高解像度の深度画像を生成することを可能とする。

＜３−１．構成＞
図８は、第３の実施形態による画像処理装置１０−３の構成を示すブロック図である。図８に示すように、画像処理装置１０−３は、タイミング制御部１０１、ＩＲステレオカメラ１０２、ＩＲランダムパターン照射部１０３、ＩＲ照射部１０４、ランダムパターンＬＲ画像記憶部１０５、ＩＲ画像記憶部１０６、ステレオ画像マッチング部１０７ａ、深度画像記憶部１０８ａ、画像認識部１０９、認識結果記憶部１１０、高解像度深度算出部６０９、および高解像度深度画像記憶部６１０を有する。

タイミング制御部１０１、ＩＲステレオカメラ１０２、ＩＲランダムパターン照射部１０３、ＩＲ照射部１０４、ランダムパターンＬＲ画像記憶部１０５、ＩＲ画像記憶部１０６、画像認識部１０９、および認識結果記憶部１１０は、図１を参照して説明した第１の実施形態と同様なので、ここでの説明は省略する。

（ステレオ画像マッチング部）
ステレオ画像マッチング部１０７ａは、ランダムパターンＬＲ画像記憶部１０５に保存された、ランダムパターンが投射された対象物体のＬＲ画像に基づいて、深度画像を生成する。ここで、深度画像の生成方法は様々考え得るが、例えば図３を参照して説明したようなブロックマッチング手法が用いられた場合、上述したように入力画像のＲ画像７０１の全てのピクセルに対してマッチングを行うため、演算量が非常に多いという問題がある。このため、かかる演算処理をソフトウェアで実装した場合はリアルタイムで処理できず、また、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の専用ハードウェアで実装した場合は回路規模が増大し、ＬＳＩのコストが大きくなってしまう。

これに対し、ブロックマッチングの演算量を削減するために、入力画像であるＲ画像７０１、Ｌ画像７０２を縮小する方法や、Ｒ画像７０１の全てのピクセルではなく、水平に２ピクセル又は４ピクセル毎、垂直に２ピクセル又は４ピクセル毎に、マッチングを行うことで間引きをしてマッチング回数を減らす方法が行われ得る。しかし、これらの方法は演算量削減には大きな効果があるが、その反面、得られる深度情報の解像度が落ちてしまうという問題もある。ここで、図９に、演算量に応じた深度画像の一例を示す。図９に示す各深度画像８０１、８０２ａ、８０３ｂは、いずれも画像の暗い色程カメラから遠く、明るい色程カメラから近いことを示す。

図９は、演算量を削減しない場合および演算量を削減した場合の深度画像の一例を示す図である。図９に示すように、演算量を削減しない場合の（高解像度の）深度画像８０１は、対象物体として手を撮影した場合に、指の形状まで識別できる。

一方、同じ対象物体である手を撮影して演算量を削減した場合の（低解像度の）深度画像８０２ａでは、指の形状まで識別できない。深度画像８０２ａは、演算量の削減方法として、入力画像であるＲ画像７０１およびＬ画像７０２を縮小する方法が用いられた場合に生成される低解像度の深度画像である。また、図９に示す例では、深度画像８０１と比較するために、深度画像８０２ａを拡大した深度画像８０２ｂも示す。

このように、演算量を削減した場合には対象物体の形状が識別できないので、特に指の形状が重要な情報である場合は問題となる。そこで、本実施形態では、後述する高解像度深度算出部６０９において、ＩＲ画像の輪郭画像と低解像度の深度画像とを合成することで高解像度の深度画像を生成する。

（深度画像記憶部）
深度画像記憶部１０８ａは、ステレオ画像マッチング部１０７ａで生成された、演算量を削減した低解像度の深度画像を格納する。

（高解像度深度算出部）
高解像度深度算出部６０９は、認識結果記憶部１１０から、ＩＲ画像に基づいて認識された対象物体の輪郭情報を取得する。認識結果記憶部１１０には、第１の実施形態で説明したように、画像認識部１０９がＩＲ画像に基づいて認識した対象物体の輪郭情報が記憶されている。また、高解像度深度算出部６０９は、深度画像記憶部１０８ａから、演算量を削減するために縮小したＬＲ画像に基づいて生成された低解像度の深度画像を取得する。

そして、高解像度深度算出部６０９は、対象物体の輪郭情報および低解像度の深度画像に基づいて、高解像度の深度画像を生成する。以下、図１０を参照して具体的に説明する。

図１０は、本実施形態による高解像度深度画像の生成について説明するための図である。図１０に示すＩＲ画像９０１は、ＩＲ照射部１０４による照射時にＩＲステレオカメラ１０２で撮影され、ＩＲ画像記憶部１０６に記憶されたランダムパターン無しのＩＲ画像である。また、輪郭画像９０２は、ＩＲ画像記憶部１０６に記憶されたＩＲ画像９０１に基づいて、画像認識部１０９が、微分フィルタなどを適用して得た対象物体の輪郭情報を持つ画像である。かかる輪郭画像９０２は、認識結果記憶部１１０に記憶される。

一方、解像度の低い深度画像８０２ａは、ステレオ画像マッチング部１０７ａが、演算量を削減するために入力画像であるＬ画像およびＲ画像を縮小して生成した深度画像である。なお入力であるＬ画像およびＲ画像は、ＩＲステレオカメラ１０２により、ＩＲランダムパターン照射部１０３によるランダムパターン照射時に撮影されたランダムパターン有りのＩＲ画像である。ステレオ画像マッチング部１０７ａにより生成された深度画像８０２ａは、深度画像記憶部１０８ａに記憶される。

続いて、高解像度深度算出部６０９は、深度画像記憶部１０８ａに記憶された低解像度の深度画像８０２ａと、認識結果記憶部１１０に記憶されたＩＲ画像の輪郭画像９０２を取得し、これらを合成する。具体的には、高解像度深度算出部６０９は、低解像度の深度画像８０２ａを、図１０に示すように拡大し、拡大した深度画像８０２ｂと輪郭画像９０２とを合成する。

図１０に示す合成画像９０３は、輪郭により指の形状が識別可能である。ここで、高解像度深度算出部６０９は、輪郭内部で有効な深度値がなく暗い色になっている領域を、深度画像８０２ｂから得られた有効な深度値のある画素の最外周の値で置き換えて埋めることで、高解像度な深度画像９０４を得ることができる。

高解像度深度算出部６０９により生成された、高精細な輪郭情報を持った深度画像９０４は、高解像度深度画像記憶部６１０に保存される。

＜３−２．動作＞
以上、本実施形態による画像処理装置１０−３の構成および高解像度深度画像の生成について具体的に説明した。なお画像処理装置１０−３のタイミング制御部１０１による撮影、照射タイミングの制御は、図４を参照して説明した第１の実施形態と同様であるので、ここでの説明は省略する。

＜３−３．効果＞
以上説明したように、第３の実施形態によれば、入力画像を縮小、間引き等して深度計算の演算量を削減することができるとともに、高解像度な深度画像を得ることができる。

また、第１の実施形態と同様に、ＩＲランダムパターンを投射した画像に基づいて深度情報を得ることで、模様がない平坦な被写体であっても、深度情報を得ることができる。また、ＩＲランダムパターンを投射しない画像を用いることで、対象物体のエッジ処理を正確に行うことができる。

なお、第３の実施形態による画像処理装置１０−３の構成は図８に示す例に限定されない。例えば、タイミング制御部１０１、ＩＲランダムパターン照射部１０３、ＩＲステレオカメラ１０２、ＩＲ照射部１０４、およびＩＲ画像記憶部１０６に代わって、第２の実施形態に示すタイミング制御部４０１、ＩＲランダムパターン照射部４０４、ＩＲステレオカメラ４０２、ＩＲカメラ４０３、ＩＲ照射部４０５、およびＩＲ画像記憶部１０６ａを有していてもよい。

＜＜４．まとめ＞＞
上述したように、本開示の実施形態による画像処理装置１０−１〜１０−３は、赤外線によるパターン照射のタイミングを制御することで、より正確な深度情報を得るためのパターン照射された赤外線画像およびパターン照射がない赤外線画像を取得することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した画像処理装置１０−１〜１０−３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、画像処理装置１０−１〜１０−３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、第１の実施形態の補足として説明した単眼のＩＲカメラ１１２によるＩＲ画像と予め記憶されたランダムパターンに基づく深度情報の生成は、第２、第３の実施形態でも同様に行われ得る。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
対象物体の表面にパターンを赤外線照射するパターン照射部と、
赤外線画像を撮影する赤外線撮影部と、
を備え、
前記パターン照射部は、前記赤外線撮影部の撮影タイミングに対応する所定のタイミングで照射し、
前記赤外線撮影部は、前記パターン照射部により照射されたパターンが対象物体に投影されたパターン投影赤外線画像と、前記パターンが対象物体に投影されていないパターン無し赤外線画像とを取得する、画像処理装置。
（２）
前記パターン照射部は、前記赤外線撮影部の撮影タイミングの所定の間隔毎のタイミングと同時に照射する、前記（１）に記載の画像処理装置。
（３）
前記パターン照射部は、前記赤外線撮影部の撮影タイミングの奇数または偶数のタイミングで照射する、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、
パターンを有さない赤外線照射部をさらに備え、
前記赤外線照射部は、前記赤外線撮影部の撮影タイミングのうち前記パターン照射部による照射タイミングと異なるタイミングでパターンを有さない赤外線を照射する、前記（２）または（３）に記載の画像処理装置。
（５）
前記赤外線照射部は、前記パターン照射部と交互に前記パターンを有さない赤外線を照射する、前記（４）に記載の画像処理装置。
（６）
前記画像処理装置は、
前記赤外線撮影部により撮影された前記パターン投影赤外線画像と、予め記憶された前記パターン照射部により照射されたパターンとに基づいてブロックマッチングを行い、対象物体の深度情報を算出する第１の深度算出部をさらに備える、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記赤外線撮影部は、２以上の赤外線撮影部を含み、
前記画像処理装置は、
前記２以上の赤外線撮影部により撮影された複数視点からの前記パターン投影赤外線画像に基づいてブロックマッチングを行い、対象物体の深度情報を算出する第２の深度算出部をさらに備える、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（８）
前記パターン照射部は、前記パターンを特定の波長の赤外線で照射し、
前記赤外線撮影部は、第１の赤外線撮影部と、第２の赤外線撮影部とを含み、
前記第１の赤外線撮影部は、前記パターン照射部が照射する波長の赤外線を中心に透過するバンドパスフィルタ、ローパスフィルタ、またはハイパスフィルタの少なくともいずれかを有し、
第２の赤外線撮影部は、前記パターン照射部が照射する波長の赤外線を遮断するバンドパスフィルタ、ローパスフィルタ、またはハイパスフィルタの少なくともいずれかを有する、前記（１）に記載の画像処理装置。
（９）
前記画像処理装置は、
パターンを有さない赤外線照射部をさらに備え、
前記第２の赤外線撮影部は、前記赤外線照射部から照射される波長の赤外線を中心に透過するバンドバスフィルタ、ローパスフィルタ、またはバンドパスフィルタを有する、前記（８）に記載の画像処理装置。
（１０）
前記第１、第２の赤外線撮影部による撮影タイミングと、前記赤外線照射部および前記パターン照射部による照射タイミングは、全て同じタイミングである、前記（９）に記載の画像処理装置。
（１１）
前記画像処理装置は、
前記赤外線撮影部により撮影された前記パターン投影赤外線画像と、予め記憶された前記パターン照射部により照射されたパターンとに基づいて演算量を削減したブロックマッチングを行い、対象物体の低解像度の深度情報を算出する第３の深度算出部をさらに備える、前記（１）〜５および８〜（１０）のいずれか１項に記載の画像処理装置。
（１２）
前記赤外線撮影部は、２以上の赤外線撮影部を含み、
前記画像処理装置は、
前記２以上の赤外線撮影部により撮影された複数視点からの前記パターン投影赤外線画像に基づいて演算量を削減したブロックマッチングを行い、対象物体の低解像度の深度情報を算出する第４の深度算出部をさらに備える、前記（１）〜５および８〜（１０）のいずれか１項に記載の画像処理装置。
（１３）
前記画像処理装置は、
前記第４の深度算出部により算出された低解像度の深度情報と、前記パターン無し赤外線画像から抽出される前記対象物体の輪郭情報とに基づいて、前記対象物体の高解像度の深度情報を算出する高解像度深度算出部をさらに備える、前記（１２）に記載の画像処理装置。
（１４）
前記パターンは、ランダムなパターンである、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記パターンは、電鋳により形成されたマスクを透過させることで形成される、前記（１）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
パターン照射部により対象物体の表面にパターンを赤外線照射することと、
赤外線撮影部により赤外線画像を撮影することと、
を含み、
前記パターン照射部は、前記赤外線撮影部の撮影タイミングに対応する所定のタイミングで照射し、
前記赤外線撮影部は、前記パターン照射部により照射されたパターンが対象物体に投影されたパターン投影赤外線画像と、前記パターンが対象物体に投影されていないパターン無し赤外線画像とを取得する、画像処理方法。

１０−１、１０−２、１０−３ 画像処理装置
１０１、４０１ タイミング制御部
１０２、４０２ ＩＲステレオカメラ
１１２ 単眼のＩＲカメラ
４０３ ＩＲカメラ
１０３、４０４ ＩＲランダムパターン照射部
１０４ ＩＲ照射部
１０５ ランダムパターンＬＲ画像記憶部
１０６、１０６ａ ＩＲ画像記憶部
１０７、１０７ａ ステレオ画像マッチング部
１０８、１０８ａ 深度画像記憶部
１０９ 画像認識部
１１０ 認識結果記憶部
２０１、５０１ ＩＲステレオカメラ制御パルス
２０２、５０３ ＩＲランダムパターン照射部制御パルス
２０３、５０４ ＩＲ照射部制御パルス
３０１ 発光制御部
３０２ ＩＲ光源
３０３ ＩＲランダムパターンマスク
３０４ 投射レンズ
３１０ ＩＲランダムパターン
５０２ ＩＲカメラ制御パルス
６０９ 高解像度深度算出部
６１０ 高解像度深度画像記憶部
８０１ 演算量を削減しない場合の深度画像
８０２ａ 演算量を削減した場合の深度画像
８０２ｂ 演算量を削減した場合の深度画像（拡大）
９０１ ＩＲ画像
９０２ 輪郭画像
９０３ 合成画像
９０４ 高解像度の深度画像

Claims (14)

1. 対象物体の表面にパターンを赤外線照射するパターン照射部と、
   赤外線画像を撮影する２以上の赤外線撮影部と、
   前記対象物体の深度情報を算出する深度算出部と、
   前記対象物体の高解像度の深度情報を算出する高解像度深度算出部と、
   を備え、
   前記パターン照射部は、前記赤外線撮影部の撮影タイミングに対応する所定のタイミングで照射し、
   前記赤外線撮影部は、前記パターン照射部により照射されたパターンが対象物体に投影されたパターン投影赤外線画像と、前記パターンが対象物体に投影されていないパターン無し赤外線画像とを取得し、
   前記深度算出部は、前記２以上の赤外線撮影部により撮影された複数視点からの前記パターン投影赤外線画像に基づいて、前記対象物体の低解像度の深度画像を生成し、
   前記高解像度深度算出部は、前記深度算出部により算出された低解像度の深度情報と、前記パターン無し赤外線画像から抽出される前記対象物体の輪郭情報とを合成した合成画像を生成し、前記対象物体の高解像度の深度画像を生成する、画像処理装置。
2. 前記深度算出部は、前記パターン投影赤外線画像に基づいて、演算量を削減したブロックマッチングを行い、前記対象物体の低解像度の深度情報を算出し、前記低解像度の深度画像を生成する、請求項１に記載の画像処理装置。
3. 前記高解像度深度算出部は、前記低解像度の深度情報と、前記対象物体の輪郭情報とに基づいて、前記対象物体の高解像度の深度情報を算出し、前記高解像度の深度画像を生成する、請求項２に記載の画像処理装置。
4. 前記高解像度深度算出部は、前記合成画像における輪郭内で有効な深度値がない領域を、前記低解像度の深度画像から得た有効な深度値の値で埋めることで、前記高解像度の深度画像を生成する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記パターン照射部は、前記赤外線撮影部の撮影タイミングの所定の間隔毎のタイミングと同時に照射する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記パターン照射部は、前記赤外線撮影部の撮影タイミングの奇数または偶数のタイミングで照射する、請求項５に記載の画像処理装置。
7. 前記画像処理装置は、
   パターンを有さない赤外線を照射する赤外線照射部をさらに備え、
   前記赤外線照射部は、前記赤外線撮影部の撮影タイミングのうち前記パターン照射部による照射タイミングと異なるタイミングでパターンを有さない赤外線を照射する、請求項５に記載の画像処理装置。
8. 前記赤外線照射部は、前記パターン照射部と交互に前記パターンを有さない赤外線を照射する、請求項７に記載の画像処理装置。
9. 前記パターン照射部は、前記パターンを特定の波長の赤外線で照射し、
   前記赤外線撮影部は、第１の赤外線撮影部と、第２の赤外線撮影部とを含み、
   前記第１の赤外線撮影部は、前記パターン照射部が照射する波長の赤外線を中心に透過するバンドパスフィルタ、ローパスフィルタ、またはハイパスフィルタの少なくともいずれかを有し、
   第２の赤外線撮影部は、前記パターン照射部が照射する波長の赤外線を遮断するバンドパスフィルタ、ローパスフィルタ、またはハイパスフィルタの少なくともいずれかを有する、請求項１〜４のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、
    パターンを有さない赤外線を照射する赤外線照射部をさらに備え、
    前記第２の赤外線撮影部は、前記赤外線照射部から照射される波長の赤外線を中心に透過するバンドバスフィルタ、ローパスフィルタ、またはバンドパスフィルタを有する、請求項９に記載の画像処理装置。
11. 前記第１、第２の赤外線撮影部による撮影タイミングと、前記赤外線照射部および前記パターン照射部による照射タイミングは、全て同じタイミングである、請求項１０に記載の画像処理装置。
12. 前記パターンは、ランダムなパターンである、請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 前記パターンは、電鋳により形成されたマスクを透過させることで形成される、請求項１〜１１のいずれか１項に記載の画像処理装置。
14. パターン照射部により対象物体の表面にパターンを赤外線照射することと、
    ２以上の赤外線撮影部により赤外線画像を撮影することと、
    深度算出部により前記対象物体の深度情報を算出することと、
    高解像度深度算出部により前記対象物体の高解像度の深度情報を算出することと、
    を含み、
    前記パターン照射部は、前記赤外線撮影部の撮影タイミングに対応する所定のタイミングで照射し、
    前記赤外線撮影部は、前記パターン照射部により照射されたパターンが対象物体に投影されたパターン投影赤外線画像と、前記パターンが対象物体に投影されていないパターン無し赤外線画像とを取得し、
    前記深度算出部は、前記２以上の赤外線撮影部により撮影された複数視点からの前記パターン投影赤外線画像に基づいて、前記対象物体の低解像度の深度画像を生成し、
    前記高解像度深度算出部は、前記深度算出部により算出された低解像度の深度情報と、前記パターン無し赤外線画像から抽出される前記対象物体の輪郭情報とを合成した合成画像を生成し、前記対象物体の高解像度の深度画像を生成する、画像処理方法。

Images