JP3965894B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP3965894B2 JP3965894B2 JP2000306065A JP2000306065A JP3965894B2 JP 3965894 B2 JP3965894 B2 JP 3965894B2 JP 2000306065 A JP2000306065 A JP 2000306065A JP 2000306065 A JP2000306065 A JP 2000306065A JP 3965894 B2 JP3965894 B2 JP 3965894B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- extraction
- region
- luminance
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体の形状を計測する画像処理装置および画像処理方法に関し、特に所望物体を背景と共に撮像する画像処理装置に関し、特に、所望物体領域を背景領域から抽出することが可能な画像処理装置に関する。画像処理装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
背景をバックにして人物が撮影されたり、あるいは建物などが撮影された画像から人物のみ、あるいは建物のみの画像を切り出すいわゆる画像セグメンテーション手法が様々な分野で利用されている。
【０００３】
物体と背景とを含む画像から物体領域のみを抽出する従来技術として、例えば以下の方法が知られている。第１の方法としては、補助ツールを用いて手動で特定の対象物の切り抜き処理を行う手法があり、具体的には、人がマウスを用いて、所望物体を背景と共に撮像して得られた画像中の背景部分を選択し、その背景部分を消して物体領域を得る方法である。
【０００４】
第２の方法としては、クロマキー技術を用いたものがあり、具体的には、所望物体を背景と共に撮像して得られた画像から背景の色をキーとして領域分割し、物体領域を抽出する方法である。
【０００５】
第３の方法としては、単純差分を用いたものがあり、具体的には、所望物体を背景と共に撮像して得られた画像と、背景だけを撮像して得られた背景画像との間で差分処理を行って差分を求め、その差分の絶対値がしきい値以上の領域を物体領域として抽出する方法である。
【０００６】
第４の方法としては、奥行き距離画像取得装置によって取得された距離画像情報を用いたものがある。具体的には所望物体を背景と共に撮像して得られた画像（輝度画像）と、前記画像の各画素に対応する奥行き距離情報を有する距離画像を取得し、奥行き距離情報がしきい値以下である領域に対応する輝度画像中の領域を物体領域として抽出する方法である。
【０００７】
しかし、上述した第１の方法では、人手による作業であるため、多大な労力を要するという問題がある。第２、第３の方法では、画像全体で、領域を識別する際の適切なしきい値を定めることは、極めて難しいという問題がある。所望物体と背景で似た色の領域が存在する場合や所望物体にテクスチャ（模様）がある場合などには、特に困難である。
【０００８】
第４の方法によれば、所望物体と背景の境界付近では奥行きの差が大きく必ずしも正確な奥行き情報が得られないため、背景画像の一部分が誤って抽出されるという問題がある。また、所望物体を背景と共に撮像して得られた画像に対し、各画素に対応する奥行き距離情報を取得する必要があり、奥行き距離測定装置が高価となり、距離計算の負荷が大きく計算に時間がかかるという問題もある。また、距離測定装置の解像度に合わせ、撮像した画像の解像度を下げる処理を行う場合には、抽出される画像の解像度も合わせて下がってしまう問題もある。
【０００９】
上記問題の改善を図った従来の方法として、例えば、特開平７−１２１７１０号公報に示されるものがある。この装置は、まず、画像データ中の対象物の輪郭上の１画素を外部から指定し、さらに指定した画素から対象物の輪郭探索を行う方向を外部から指定し、指定画素から指定方向に対象物の輪郭を探索し決定することにより、対象物の輪郭を抽出する方法を開示している。これにより、所望物体を背景と共に撮像して得られた画像から、入力に従い、所望物体の輪郭を抽出できる。
【００１０】
しかし、特開平７−１２１７１０号公報に記載の方法は、操作者の手動入力が必要で、手間がかかるという問題がある。また、輪郭が複雑な形状である場合や物体や背景にテクスチャ（模様）がある場合に、はじめに外部から指定した画素から離れると、正確な物体抽出が出来ない場合がある問題がある。また、探索画素が物体輪郭から離れると、再度操作者が探索画素を輪郭に戻すという修正処理を何度も手動で実行しなければならず、操作が複雑で熟練を要する問題がある。
【００１１】
【発明が解決しようとする課題】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、抽出対象とした物体に背景の色と似た部分が存在する場合や、抽出対象物体や背景にテクスチャがある場合でも、距離情報に基づき処理範囲を予め限定して輝度情報により抽出処理を実行する構成として、安価な距離測定装置を用いた負荷の軽い計算処理で、かつ人手による確認、修正を必要としない自動処理で正確に物体領域を抽出可能とする画像処理装置および画像処理方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、本発明の第１の側面は、
撮像手段によって取得される画像中から特定被写体画像の抽出処理を実行する画像処理装置であり、
抽出対象となる被写体像を含む画像を撮像して取得される輝度画像および、前記輝度画像中に含まれる画素に対応する距離情報に基づく距離画像を生成する処理手段と、
前記距離情報に基づいて、前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に前記距離画像における距離測定点である格子点によって区分されたブロック領域を設定し、前記境界領域を含むブロック領域を前記輝度画像における抽出領域として設定する抽出領域抽出手段と、
前記抽出領域抽出手段の設定した抽出領域内においてのみ、抽出対象となる被写体像の領域を決定する処理を実行する領域抽出手段であり、撮像手段によって取得される画像中の特定被写体画像を除く背景画像情報または背景画像の輝度情報を格納したメモリと、前記抽出領域抽出手段によって設定された抽出領域における各画素の輝度情報と、前記メモリに格納された背景画像情報または背景画像の輝度情報との比較処理を実行するしきい値処理手段とを有し、前記しきい値処理手段は、前記抽出領域抽出手段によって設定された抽出領域に含まれる画素の輝度値と前記メモリに格納された背景画像情報または背景画像の輝度情報から取得される輝度値との差分をあらかじめ定めたしきい値と比較し、前記抽出対象となる被写体像を抽出する処理を実行する領域抽出手段と、
を有することを特徴とする画像処理装置にある。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記領域抽出手段は、前記抽出領域抽出手段によって求められた前記抽出対象となる被写体像と、その他の領域との境界領域において、前記抽出対象となる被写体像の輪郭の追跡処理を実行する輪郭抽出部を有し、該輪郭抽出部は、前記輝度画像中の前記境界領域に含まれる画素の輝度値に基づいて前記抽出対象となる被写体像と、その他の領域との境界線を求める処理を実行する構成を有することを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記処理手段は、距離情報として画像上の格子状の領域毎の距離情報を示す距離画像を生成し、前記抽出領域抽出手段は、前記格子状の領域毎に対応付けた輝度情報に基づいて前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に抽出領域を設定する構成であることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記抽出領域抽出手段は、前記距離画像の格子状の領域に対応する輝度画像中の格子点の隣接格子点との輝度値の差に基づいて抽出領域を輝度画像に設定する構成であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記処理手段は、被写体に対して異なる方向から第1の撮像手段と第２の撮像手段とによって撮影される投光パターンとともに撮影された画像に基づいて撮影画像の距離情報を求め、第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する再コード化法による距離情報生成を実行する構成であることを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
撮像手段によって取得される画像中から特定被写体画像の抽出処理を実行する画像処理方法であり、
抽出対象となる被写体像を含む画像を撮像して取得される輝度画像および、前記輝度画像中に含まれる画素に対応する距離情報に基づく距離画像を生成する画像生成処理ステップと、
前記距離情報に基づいて、前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に前記距離画像における距離測定点である格子点によって区分されたブロック領域を設定し、前記境界領域を含むブロック領域を前記輝度画像における抽出領域として設定する抽出領域抽出ステップと、
前記抽出領域抽出ステップにおいて設定した抽出領域内においてのみ、抽出対象となる被写体像の領域を決定する処理を実行する領域抽出ステップであり、撮像手段によって取得される画像中の特定被写体画像を除く背景画像情報または背景画像の輝度情報を格納したメモリと、前記抽出領域抽出手段によって設定された抽出領域における各画素の輝度情報と、前記メモリに格納された背景画像情報または背景画像の輝度情報との比較処理を実行するしきい値処理手段とを有し、前記しきい値処理手段は、前記抽出領域抽出手段によって設定された抽出領域に含まれる画素の輝度値と前記メモリに格納された背景画像情報または背景画像の輝度情報から取得される輝度値との差分をあらかじめ定めたしきい値と比較し、前記抽出対象となる被写体像を抽出する処理を実行する領域抽出ステップと、
を有することを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記領域抽出ステップは、前記抽出領域抽出ステップによって求められた前記抽出対象となる被写体像と、その他の領域との境界領域において、前記抽出対象となる被写体像の輪郭の追跡処理を実行する輪郭抽出ステップを有し、該輪郭抽出ステップは、前記輝度画像中の前記境界領域に含まれる画素の輝度値に基づいて前記抽出対象となる被写体像と、その他の領域との境界線を求める処理を実行することを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、距離情報として画像上の格子状の領域毎の距離情報を示す距離画像を生成し、前記抽出領域抽出ステップは、前記格子状の領域毎に対応付けた輝度情報に基づいて前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に抽出領域を設定することを特徴とする。
【００２２】
さらに、本発明の画像処理方法の一実施態様において、前記抽出領域抽出ステップは、前記距離画像の格子状の領域に対応する輝度画像中の格子点の隣接格子点との輝度値の差に基づいて抽出領域を輝度画像に設定することを特徴とする。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、被写体に対して異なる方向から第1の撮像手段と第２の撮像手段とによって撮影される投光パターンとともに撮影された画像に基づいて撮影画像の距離情報を求め、第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する再コード化法による距離情報生成を実行することを特徴とする。
【００２４】
【作用】
本発明の構成によれば、範囲を指定する必要なく、自動的に抽出範囲が限定されるため、簡易な操作により特定対象の抽出処理が実現できる。抽出処理を行う範囲を限定することによって、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。また、距離測定点が少ない場合でも、輝度画像から高解像度で正確に物体領域を抽出できる。
【００２５】
【発明の実施の形態】
以下、本発明の画像処理装置および画像処理方法を図面を参照して詳細に説明する。図１は、本発明の第１の実施の形態に係る画像処理装置を示し、強度についてコード化された投影パターンを抽出対象としての被写体５０に投影する投光器１１と、投影パターンの光路上に設けられるハーフミラー１２と、投光器１１の光軸と同軸的に設けられてハーフミラー１２で反射された反射像を撮影する第１のカメラ１３と、投光器の光軸方向と異なる方向から対象を撮影する第２のカメラ１４と、第１のカメラ１３及び第２のカメラ１４で撮影された画像情報が画像処理部２０に入力される。
【００２６】
画像処理部２０は、第１のカメラ１３及び第２のカメラ１４で撮影された画像情報に基づいて距離画像と輝度画像を取得する処理部２１と、距離画像を格納する距離画像メモリ２２と、輝度画像を格納する輝度画像メモリ２４と、距離画像の各画素が輝度画像の画素に対応する画素位置を記憶してある画素対応メモリ２３と、輝度画像と距離画像を入力して抽出処理を行うべき領域を抽出する抽出領域抽出部２５と抽出領域抽出部２５から入力する抽出領域に基づき、輝度画像から所望領域を抽出する領域抽出部２６とを有し、抽出された画像領域データは、ディスプレイ２９に表示される。
【００２７】
処理部２１は、投光器１１から投影された投影パターンとしてのスリットパターンを投光器１１の光軸上に第１のカメラ１３で撮影することによって得られる撮影パターンを入力する。この撮影パターンは、処理部２１において投影パターンと比較されて強度差が比較され、距離画像を生成する。
【００２８】
強度差の比較は、例えば、スリットパターン及び撮影パターンを数画素単位のセルに分解し、このセルの平均強度を比較することによって行われる。強度差がしきい値以上であり、かつ、新たな強度を有するときは再コード化部で新たな強度のコードが生成されて割り付けられることによりセルの再コード化が行われる。また、新たな強度でないときは対応する強度のコードが割り付けられる事によりセルの再コード化が行われる。再コード化処理については、後段で詳細に説明する。
【００２９】
領域抽出部２６は、輪郭抽出部２７と領域決定部２８を有し、輪郭抽出部２７は、抽出領域抽出部２５から入力された抽出領域内における境界線部分を追跡して輪郭を抽出し、領域決定部２８は、輪郭抽出部２７から入力する輪郭線データに基づき、囲まれた領域を抽出領域として抽出する。
【００３０】
なお、ここでは、距離画像を取得する一つの手法として、以下で説明する再コード化法を適用した例について説明するが、本発明の構成では、距離画像を得るその他の手法を適用することも可能である。例えばレーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定する再コード化を適用しないパターン投影方法や、光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などで被写体の距離情報を得る構成を適用してもよい。
【００３１】
処理部２１において実行される再コード化処理について説明する。再コード化処理部の詳細構成を表すブロック図を図２に示す。図３に光源と撮像素子の位置関係を示す。
【００３２】
図２および、図３では、パターン光を投光する投光器と同軸のカメラがカメラ３，１０３であり、その両サイドにおける異なる方向からカメラ１，１０１およびカメラ２，１０２が被写体を撮影する構成である。図１のように、一組のカメラ組み合わせとしてもよい。カメラ３とカメラ１のみから得られる画像の処理と、カメラ３とカメラ２とで撮影される画像の処理は同様である。本例では、３台のカメラ１０１〜１０３および投光器１０４を備えた構成における再コード化処理による被写体の距離データの取得手法について説明する。
【００３３】
図３に示すように、各カメラの距離関係が揃うように、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３と投光器１０４は、ビームスプリッタとしてのハーフミラー１０５を用いて光軸が一致するように配置される。カメラ１，１０１、カメラ２，１０２は、カメラ３，１０３と投光器１０４の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Ｌである。
【００３４】
投光器１０４は、光源１０６と、マスクパターン１０７と、強度パターン１０８と、プリズム１０９とを有する。ここで光源１０６は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図４に示すように構成される。すなわち、入射してきた光３１０は、プリズム３０１で２方向に分割され、一方は不可視領域（赤外あるいは紫外）透過フィルター３０２を通って撮像装置（例えばＣＣＤカメラ）３０３に入射し、他方は不可視領域（赤外と紫外）遮断フィルター３０４を通って撮像装置３０５に入射する。
【００３５】
また図３に示す光源１０６は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ３，１０３においては、プログレッシブスキャンタイプのＣＣＤカメラを用い、カメラ１，１０１、カメラ２，１０２に関しては、特に構成はこだわらない。ただし、カメラ３，１０３との対応を考慮すれば、同じ構成のＣＣＤカメラが望ましい。光源１０６からパターンが投影され、３台のカメラ１〜３（１０１〜１０３）が同時に撮影を行う。そして各カメラは、フィルター３０４，３０５（図４参照）を通過した光を撮像装置３０３，３０５で得ることにより、画像の一括取得を行う。
【００３６】
図２を用いて再コード化法による距離情報の取得処理について説明する。図示のように、カメラ１，１０１は、撮影して得た輝度情報を輝度値メモリ１２１に記憶し、撮影パターンをパターン画像メモリ１２２に記憶する。カメラ２，１０２は、同様に、輝度情報を輝度値メモリ１２３に記憶し、撮影パターンをパターン画像メモリ１２４に記憶する。カメラ３，１０３は、輝度情報を輝度値メモリ１２５に記憶し、撮影パターンをパターン画像メモリ１２６に記憶する。投光器１０４は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ１２７に格納している。
【００３７】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして距離情報を得る。以下の操作は、カメラ１，１０１とカメラ３，１０３の組み合わせ、カメラ２，１０２とカメラ３，１０３の組み合わせの双方に共通なので、ここではカメラ１，１０１とカメラ３，１０３の組み合わせを例にとって説明する。
【００３８】
図２において、領域分割部１２８は、カメラ３，１０３で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域１として抽出し、スリットパターン間の強度差が閾値以上である領域については領域２として抽出する。再コード化部１２９は、抽出された領域２について、パターン画像メモリ１２６に記憶された撮影パターンとフレームメモリ１２７に格納された投影パターンを用いて再コード化を行う。
【００３９】
図５は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し（ステップ１００１）、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（ステップ１００２）。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する（ステップ１００３）。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する（ステップ１００７）。
【００４０】
閾値以上異なる場合は、新たな強度のセルかどうか判断する（ステップ１００４）。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う（ステップ１００５）。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する（ステップ１００６）。これで、再コード化を終了する（ステップ１００７）。
【００４１】
図６はスリットパターンのコード化の例を示すもので、同図（ａ）はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ３（強）、２（中）、１（弱）が割り当てられている。同図（ｂ）においては、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てている。同図（ｃ）においては、左から３つめ上から２つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを［２３２］、横の並びを［１３１］という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００４２】
次に図２に戻って説明する。カメラ１，１０１側のコード復号部１３０は、パターン画像メモリ１２２から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部１２９で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図７は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ１で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌとから、次の（式１）によって距離Ｚを算出する。
【００４３】
【数１】
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （式１）
【００４４】
この距離Ｚの算出は、カメラ２，１０２側のコード復号部１３１においても、同様に行われる。また、上述の領域１については次のようにして距離を算出する。領域１では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部１３２において、カメラ１〜３の輝度値メモリ１２１、１２３、１２５から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。
【００４５】
以上が、再コード化法を用いた距離情報の取得方法である。再コード化法は、本発明の画像処理装置および画像処理方法において適用可能な距離情報の取得手法の１つであるが、前述したように、再コード化法に限らず、距離情報を取得可能な方法であれば、レーザー手法や、再コード化を適用しないパターン投影方法や、光学的処理によってモアレ縞により等高線を形成させて、３次元情報としての距離情報を得る方法が適用可能である。
【００４６】
以下に、本発明の画像処理装置および画像処理方法において、被写体の距離情報としての距離画像と、被写体の輝度情報としての輝度画像を取得した後、図1の画像処理部２０によって実行される処理の詳細を図８に示す具体的処理例に従って説明する。
【００４７】
図８に示す処理例は、パターン投影法に基づいて被写体として携帯電話を有して通話する人物の輝度画像と距離画像とを取得した場合の処理例である。２つのカメラ、すなわち、図１における投光器１１の光軸と同軸的に設けられてハーフミラー１２で反射された反射像を撮影する第１のカメラ１３と、投光器の光軸方向と異なる方向から対象を撮影する第２のカメラ１４を用いる。
【００４８】
２つのカメラの撮影可能範囲に対象（携帯電話を有して通話する人物）が収まるようにカメラアングルを調整し、投光器から投影パターンを投影して投光器１１の光軸に同軸に設置した第１のカメラ１３で撮影する。第２のカメラ１４は投光器１１の光軸方向と異なる方向から通話者を撮影する。第１のカメラ１３及び第２のカメラ１４の映像信号を処理部２１で画像処理することによって距離画像と輝度画像を得る。距離画像の取得は、例えば、上述の再コード化法を適用する。
【００４９】
以下にパターン投影法による距離の測定手順について説明する。図８（Ａ）は対象を撮像した輝度画像を示す。投光器１１の光軸方向と同一方向から被写体を撮らえる第１のカメラ１３で対象及び背景を撮影することによって得た画像が輝度画像として輝度画像メモリ２２に格納される。この輝度画像は、対象の表面から第１のカメラ１３の受光部に入る光の輝度を各画素ごとに分類したものである。
【００５０】
図８（Ｂ）は対象を撮影した距離画像を示し、処理部２１は、投光器１１の光軸方向と異なる方向第２のカメラ１４で背景及び対象に投影された投影パターンを撮影することに基づく投影パターンの変化量から距離に応じた領域に分解し、分類された領域ごとの画素に距離コードを割り付けることにより距離画像を形成する。この距離画像は第２のカメラ１４の受光部から対象物各点までの距離を各画素とし、２次元に配列したものである。図８（Ｂ）においては対象である人物が紙面方向における最前位置に位置しており、その後方に背景領域が位置している。これらを画面上で表現する方法として、例えば、輝度の大小で表現することが出来、距離の短い紙面手前側の領域における輝度を大にし、距離の離れた紙面奥方向に輝度が小になるように表現してもよい。
【００５１】
得られる距離値の数は、投影するストライプの細さに依存し、ストライプ一本につき縦一列の距離データを得られる。投影するストライプの本数はカメラの画素数よりも少ない。また、前述の式（１）のように、各測定点までの距離値Ｚについて画像上のｘ座標が対応している。距離画像中の各画素について輝度画像上の座標が対応しており、画素対応メモリに情報を記録する。
【００５２】
図８（Ｃ）は距離画像メモリ２２に格納された距離画像に基づいて隣接する点の値の差がしきい値よりも大きい箇所について、その間の範囲を抽出した図を示し、抽出範囲を網線８０１で表示している。すなわち、隣接画素における距離値の差が大である領域を抽出し、これを被写体と背景の境界線部分として識別する。しきい値は、測定対象とその周囲の背景または物体との距離差に応じて予め設定する。複数の物体が撮影された画像から１つの物体を抽出する場合のように、撮影された各物体の距離差が小であると想定される場合には、しきい値は小さく設定し、図８の例のように、背景から被写体（人物）を抽出する場合のように被写体と背景との距離差が大であると想定される場合は、しきい値を大きくすることが可能である。
【００５３】
図８（Ｄ）は、抽出領域抽出部２５の処理として実行される輝度画像の領域抽出処理である。距離画像に基づいて設定された抽出範囲（図８（Ｃ）の網線部８０１に示された範囲）を、画素対応メモリ２３の情報に基づいて輝度画像メモリ２４に格納された輝度画像に対応させ、領域抽出領域として輝度画像の範囲を抽出する。図８（Ｄ）は輝度画像における抽出結果を示し、距離測定点を輝度画像中の格子点で表示し、抽出範囲を網線８０２で表示している。抽出領域抽出部２５は、輝度画像中の格子点の隣接格子点との輝度値の差に基づいて領域抽出領域として輝度画像の範囲を抽出する。
【００５４】
図８（Ｅ）は輪郭抽出部２７において実行される処理の結果を示す図であり、図８（Ｄ）の輝度画像における被写体と背景の境界線部分として識別された斜線領域８０３中で、輝度値に基づいて境界線部分を追跡して抽出された輪郭線８０４を示し、輪郭線８０４を太線で表示している。本発明の構成では、輪郭の追跡処理範囲が輝度画像における被写体と背景の境界線部分として識別された斜線領域８０３中に限定されるので、追跡点が抽出対象から大きくはずれることがなく、また、その追跡範囲が狭いため、効率的な追跡が可能である。輪郭追跡は、輝度画像における被写体と背景の境界線部分として識別された斜線領域８０３における輝度値に基づいて実行される。
【００５５】
図８（Ｆ）は領域決定部２８において取得される出力領域画像である。輪郭抽出部２７において実行された輪郭追跡処理の結果取得された輪郭線８０４によって分離された領域を抽出領域とする。輪郭線８０４で囲まれた領域を出力領域（網線８０５で示す被写体としての人物に相当する領域）としてディスプレイ２９に出力表示する。
【００５６】
上記した第１の実施の形態の画像処理装置によると距離測定点が少ない場合でも、輝度画像から高解像度で正確に特定の抽出対象となる被写体領域を抽出できる。また、抽出処理、すなわち、抽出対象とその他の部分との境界部分を予め選択し、その範囲内で輪郭追跡を実行するので、処理範囲が限定され、計算処理の負荷が軽くなり、効率的に正確に物体領域を抽出できる。
【００５７】
図９は、本発明の第２の実施の形態に係る画像処理装置を示し、領域抽出部２６がしきい値処理部３０としきい値情報メモリ３１と背景輝度情報メモリ３２とを有する構成において図１に示す画像処理装置と相違しており、その他の構成及び機能については同一であるので重複する説明を省略する。
【００５８】
しきい値処理部３０は、抽出領域抽出部２５から入力された抽出領域内について、しきい値情報メモリにあるしきい値３１に基づいて、各画素に対し背景輝度情報メモリ３２に記憶されている輝度との輝度差がしきい値を越える画素を、抽出領域の画素とし、その集合を抽出領域とする。なお、背景輝度情報メモリ３２には、例えば背景画像のサンプル点輝度値あるいは背景画像全体の平均輝度値が格納される。
【００５９】
領域決定部２８はしきい値処理部３０から入力された領域と背景抽出領域の内側の領域とを合わせて抽出領域とし、ディスプレイ２９に表示する。
【００６０】
上記した第２の実施の形態の画像処理装置によると、背景輝度情報と比較することによって背景輝度と異なる画素のみを抽出する処理として物体抽出を行なうので、実施例１のような輪郭追跡処理が不要となり、軽い計算処理で物体領域を抽出でき、比較する領域を限定することにより物体のテクスチャの影響を受けにくくなり、正確に物体を抽出できる。すなわち、距離情報に基づいて抽出範囲を自動的に限定し、抽出範囲を輝度画像に対応づけて、その限定された範囲内で、背景画像の持つ輝度値との比較処理としてのしきい値処理を実行する構成としたので、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。
【００６１】
図１０は、本発明の第３の実施の形態に係る画像処理装置を示し、領域抽出部２６がしきい値処理部３０としきい値情報メモリ３１と背景画像メモリ３３とを有する構成において図１に示す画像処理装置と相違しており、その他の構成及び機能については同一であるので重複する説明を省略する。
【００６２】
しきい値処理部３０は、抽出領域抽出部２５から入力された抽出領域内について、しきい値情報メモリ３１にあるしきい値に基づいて、各画素に対し背景画像メモリ３３に記憶されている同画素位置の輝度との差分値がしきい値を越える画素を、抽出領域の画素とし、その集合を抽出領域とする。背景画像メモリ３３には、例えば第1のカメラ１３によって撮影された背景のみの画像が格納され、この画像に基づいて輝度値が求められる。
【００６３】
領域決定部２８はしきい値処理部２７から入力された領域と背景抽出領域の内側の領域とを合わせて抽出領域とし、ディスプレイ２９に表示する。
【００６４】
上記した第３の実施の形態の画像処理装置によると、背景画像の持つ輝度情報と比較することによって背景輝度と異なる画素のみを抽出する処理として物体抽出を行なうので、実施例１のような輪郭追跡処理が不要となり、軽い計算処理で物体領域を抽出でき、比較する領域を限定することにより物体のテクスチャの影響を受けにくくなり、正確に物体を抽出できる。
【００６５】
上述したように、第1〜第３の各実施例において、本発明の画像処理装置は、抽出対象およびその他背景等を含む画像から取得した距離情報、輝度情報を入力し、まず、距離画像から取得される距離情報に基づいて抽出範囲を自動的に限定し、抽出物体とその他の領域との境界部分を設定して、その設定範囲を輝度画像に対応付ける。さらに、輝度画像に設定された境界領域内で、輝度に基づく輪郭追跡、あるいは背景画像の輝度値との差異に基づくしきい値処理により特定物体の抽出を実行する。物体抽出処理として実行される輪郭追跡処理、またはしきい値処理は、輝度画像に設定された限定領域内においてのみ実行することになるので、計算処理の負荷が軽くなり、効率的に正確に物体領域を抽出できる。
【００６６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００６７】
【発明の効果】
以上説明した通り、本発明の画像処理装置および画像処理方法によれば、背景等を含む被写体像から取得した距離情報、輝度情報を用いた被写体抽出（セグメンテーション）処理において、まず、距離情報に基づいて抽出範囲を自動的に限定し、抽出物体とその他の領域との境界部分を極めて狭い領域に設定し、その範囲内で、輝度画像に基づく輪郭追跡処理を実行する構成としたので、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。また、輝度画像を用いた輪郭追跡を実行する構成であるので、輝度画像の高解像度画像に基づいて物体領域を抽出できるため、正確な領域抽出が可能であり、距離測定装置自体は、高精度であることがさほど要求されず、安価な距離測定装置を用いることができる。
【００６８】
さらに、本発明の画像処理装置および画像処理方法によれば、背景等を含む被写体像から取得した距離情報、輝度情報を用いた被写体抽出処理において、まず、距離情報に基づいて抽出範囲を自動的に限定し、抽出範囲を輝度画像に対応づけて、その限定された範囲内で、背景画像の持つ輝度値との比較処理としてのしきい値処理を実行する構成としたので、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係わる画像処理装置を示す説明図
【図２】本発明の画像処理装置において適用可能な再コード化処理による距離情報の取得構成例を示すブロック図である。
【図３】本発明の画像処理装置におけるカメラ構成例を示すブロック図である。
【図４】本発明の画像処理装置において適用可能な撮像構成を説明する図である。
【図５】本発明の画像処理装置において適用可能な再コード化処理の処理フローを示す図である。
【図６】本発明の画像処理装置において適用可能な再コード化処理の投影パターンのコード化の例を示す図である。
【図７】本発明の画像処理装置において適用可能な空間コード化法による距離算出法を示す図である。
【図８】本発明の画像処理装置における処理例を説明する図である。
【図９】本発明の第２の実施の形態に係わる画像処理装置を示す説明図
【図１０】本発明の第３の実施の形態に係わる画像処理装置を示す説明図
【符号の説明】
１１ 投光器
１２ ハーフミラー
１３ 第１のカメラ
１４ 第２のカメラ
２０ 画像処理部
２１ 処理部
２２ 距離画像メモリ
２３ 画素対応メモリ
２４ 輝度画像メモリ
２５ 抽出領域抽出部
２６ 領域抽出部
２７ 輪郭抽出部
２８ 領域決定部
２９ ディスプレイ
３０ しきい値処理部
３１ しきい値情報メモリ
３２ 背景輝度情報メモリ
３３ 背景画像情報メモリ
１０１ カメラ１
１０２ カメラ２
１０３ カメラ３
１０４ 投光器
１０５ ハーフミラー
１０６ 光源
１０７ マスクパターン
１０８ 強度パターン
１０９ プリズム
１２１，１２３，１２５ 輝度値メモリ
１２２，１２４，１２６ パターン画像メモリ
１２７ フレームメモリ
１２８ 領域分割部
１２９ 再コード化部
１３０，１３１ コード復号部
１３３ 距離情報の統合部
１３４ ３次元メモリ
３０１ プリズム
３０２，３０４ 透過フィルタ
３０３，３０５ 撮像装置
【発明の属する技術分野】
本発明は、被写体の形状を計測する画像処理装置および画像処理方法に関し、特に所望物体を背景と共に撮像する画像処理装置に関し、特に、所望物体領域を背景領域から抽出することが可能な画像処理装置に関する。画像処理装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
背景をバックにして人物が撮影されたり、あるいは建物などが撮影された画像から人物のみ、あるいは建物のみの画像を切り出すいわゆる画像セグメンテーション手法が様々な分野で利用されている。
【０００３】
物体と背景とを含む画像から物体領域のみを抽出する従来技術として、例えば以下の方法が知られている。第１の方法としては、補助ツールを用いて手動で特定の対象物の切り抜き処理を行う手法があり、具体的には、人がマウスを用いて、所望物体を背景と共に撮像して得られた画像中の背景部分を選択し、その背景部分を消して物体領域を得る方法である。
【０００４】
第２の方法としては、クロマキー技術を用いたものがあり、具体的には、所望物体を背景と共に撮像して得られた画像から背景の色をキーとして領域分割し、物体領域を抽出する方法である。
【０００５】
第３の方法としては、単純差分を用いたものがあり、具体的には、所望物体を背景と共に撮像して得られた画像と、背景だけを撮像して得られた背景画像との間で差分処理を行って差分を求め、その差分の絶対値がしきい値以上の領域を物体領域として抽出する方法である。
【０００６】
第４の方法としては、奥行き距離画像取得装置によって取得された距離画像情報を用いたものがある。具体的には所望物体を背景と共に撮像して得られた画像（輝度画像）と、前記画像の各画素に対応する奥行き距離情報を有する距離画像を取得し、奥行き距離情報がしきい値以下である領域に対応する輝度画像中の領域を物体領域として抽出する方法である。
【０００７】
しかし、上述した第１の方法では、人手による作業であるため、多大な労力を要するという問題がある。第２、第３の方法では、画像全体で、領域を識別する際の適切なしきい値を定めることは、極めて難しいという問題がある。所望物体と背景で似た色の領域が存在する場合や所望物体にテクスチャ（模様）がある場合などには、特に困難である。
【０００８】
第４の方法によれば、所望物体と背景の境界付近では奥行きの差が大きく必ずしも正確な奥行き情報が得られないため、背景画像の一部分が誤って抽出されるという問題がある。また、所望物体を背景と共に撮像して得られた画像に対し、各画素に対応する奥行き距離情報を取得する必要があり、奥行き距離測定装置が高価となり、距離計算の負荷が大きく計算に時間がかかるという問題もある。また、距離測定装置の解像度に合わせ、撮像した画像の解像度を下げる処理を行う場合には、抽出される画像の解像度も合わせて下がってしまう問題もある。
【０００９】
上記問題の改善を図った従来の方法として、例えば、特開平７−１２１７１０号公報に示されるものがある。この装置は、まず、画像データ中の対象物の輪郭上の１画素を外部から指定し、さらに指定した画素から対象物の輪郭探索を行う方向を外部から指定し、指定画素から指定方向に対象物の輪郭を探索し決定することにより、対象物の輪郭を抽出する方法を開示している。これにより、所望物体を背景と共に撮像して得られた画像から、入力に従い、所望物体の輪郭を抽出できる。
【００１０】
しかし、特開平７−１２１７１０号公報に記載の方法は、操作者の手動入力が必要で、手間がかかるという問題がある。また、輪郭が複雑な形状である場合や物体や背景にテクスチャ（模様）がある場合に、はじめに外部から指定した画素から離れると、正確な物体抽出が出来ない場合がある問題がある。また、探索画素が物体輪郭から離れると、再度操作者が探索画素を輪郭に戻すという修正処理を何度も手動で実行しなければならず、操作が複雑で熟練を要する問題がある。
【００１１】
【発明が解決しようとする課題】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、抽出対象とした物体に背景の色と似た部分が存在する場合や、抽出対象物体や背景にテクスチャがある場合でも、距離情報に基づき処理範囲を予め限定して輝度情報により抽出処理を実行する構成として、安価な距離測定装置を用いた負荷の軽い計算処理で、かつ人手による確認、修正を必要としない自動処理で正確に物体領域を抽出可能とする画像処理装置および画像処理方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、本発明の第１の側面は、
撮像手段によって取得される画像中から特定被写体画像の抽出処理を実行する画像処理装置であり、
抽出対象となる被写体像を含む画像を撮像して取得される輝度画像および、前記輝度画像中に含まれる画素に対応する距離情報に基づく距離画像を生成する処理手段と、
前記距離情報に基づいて、前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に前記距離画像における距離測定点である格子点によって区分されたブロック領域を設定し、前記境界領域を含むブロック領域を前記輝度画像における抽出領域として設定する抽出領域抽出手段と、
前記抽出領域抽出手段の設定した抽出領域内においてのみ、抽出対象となる被写体像の領域を決定する処理を実行する領域抽出手段であり、撮像手段によって取得される画像中の特定被写体画像を除く背景画像情報または背景画像の輝度情報を格納したメモリと、前記抽出領域抽出手段によって設定された抽出領域における各画素の輝度情報と、前記メモリに格納された背景画像情報または背景画像の輝度情報との比較処理を実行するしきい値処理手段とを有し、前記しきい値処理手段は、前記抽出領域抽出手段によって設定された抽出領域に含まれる画素の輝度値と前記メモリに格納された背景画像情報または背景画像の輝度情報から取得される輝度値との差分をあらかじめ定めたしきい値と比較し、前記抽出対象となる被写体像を抽出する処理を実行する領域抽出手段と、
を有することを特徴とする画像処理装置にある。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記領域抽出手段は、前記抽出領域抽出手段によって求められた前記抽出対象となる被写体像と、その他の領域との境界領域において、前記抽出対象となる被写体像の輪郭の追跡処理を実行する輪郭抽出部を有し、該輪郭抽出部は、前記輝度画像中の前記境界領域に含まれる画素の輝度値に基づいて前記抽出対象となる被写体像と、その他の領域との境界線を求める処理を実行する構成を有することを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記処理手段は、距離情報として画像上の格子状の領域毎の距離情報を示す距離画像を生成し、前記抽出領域抽出手段は、前記格子状の領域毎に対応付けた輝度情報に基づいて前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に抽出領域を設定する構成であることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記抽出領域抽出手段は、前記距離画像の格子状の領域に対応する輝度画像中の格子点の隣接格子点との輝度値の差に基づいて抽出領域を輝度画像に設定する構成であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記処理手段は、被写体に対して異なる方向から第1の撮像手段と第２の撮像手段とによって撮影される投光パターンとともに撮影された画像に基づいて撮影画像の距離情報を求め、第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する再コード化法による距離情報生成を実行する構成であることを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
撮像手段によって取得される画像中から特定被写体画像の抽出処理を実行する画像処理方法であり、
抽出対象となる被写体像を含む画像を撮像して取得される輝度画像および、前記輝度画像中に含まれる画素に対応する距離情報に基づく距離画像を生成する画像生成処理ステップと、
前記距離情報に基づいて、前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に前記距離画像における距離測定点である格子点によって区分されたブロック領域を設定し、前記境界領域を含むブロック領域を前記輝度画像における抽出領域として設定する抽出領域抽出ステップと、
前記抽出領域抽出ステップにおいて設定した抽出領域内においてのみ、抽出対象となる被写体像の領域を決定する処理を実行する領域抽出ステップであり、撮像手段によって取得される画像中の特定被写体画像を除く背景画像情報または背景画像の輝度情報を格納したメモリと、前記抽出領域抽出手段によって設定された抽出領域における各画素の輝度情報と、前記メモリに格納された背景画像情報または背景画像の輝度情報との比較処理を実行するしきい値処理手段とを有し、前記しきい値処理手段は、前記抽出領域抽出手段によって設定された抽出領域に含まれる画素の輝度値と前記メモリに格納された背景画像情報または背景画像の輝度情報から取得される輝度値との差分をあらかじめ定めたしきい値と比較し、前記抽出対象となる被写体像を抽出する処理を実行する領域抽出ステップと、
を有することを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記領域抽出ステップは、前記抽出領域抽出ステップによって求められた前記抽出対象となる被写体像と、その他の領域との境界領域において、前記抽出対象となる被写体像の輪郭の追跡処理を実行する輪郭抽出ステップを有し、該輪郭抽出ステップは、前記輝度画像中の前記境界領域に含まれる画素の輝度値に基づいて前記抽出対象となる被写体像と、その他の領域との境界線を求める処理を実行することを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、距離情報として画像上の格子状の領域毎の距離情報を示す距離画像を生成し、前記抽出領域抽出ステップは、前記格子状の領域毎に対応付けた輝度情報に基づいて前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に抽出領域を設定することを特徴とする。
【００２２】
さらに、本発明の画像処理方法の一実施態様において、前記抽出領域抽出ステップは、前記距離画像の格子状の領域に対応する輝度画像中の格子点の隣接格子点との輝度値の差に基づいて抽出領域を輝度画像に設定することを特徴とする。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、被写体に対して異なる方向から第1の撮像手段と第２の撮像手段とによって撮影される投光パターンとともに撮影された画像に基づいて撮影画像の距離情報を求め、第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する再コード化法による距離情報生成を実行することを特徴とする。
【００２４】
【作用】
本発明の構成によれば、範囲を指定する必要なく、自動的に抽出範囲が限定されるため、簡易な操作により特定対象の抽出処理が実現できる。抽出処理を行う範囲を限定することによって、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。また、距離測定点が少ない場合でも、輝度画像から高解像度で正確に物体領域を抽出できる。
【００２５】
【発明の実施の形態】
以下、本発明の画像処理装置および画像処理方法を図面を参照して詳細に説明する。図１は、本発明の第１の実施の形態に係る画像処理装置を示し、強度についてコード化された投影パターンを抽出対象としての被写体５０に投影する投光器１１と、投影パターンの光路上に設けられるハーフミラー１２と、投光器１１の光軸と同軸的に設けられてハーフミラー１２で反射された反射像を撮影する第１のカメラ１３と、投光器の光軸方向と異なる方向から対象を撮影する第２のカメラ１４と、第１のカメラ１３及び第２のカメラ１４で撮影された画像情報が画像処理部２０に入力される。
【００２６】
画像処理部２０は、第１のカメラ１３及び第２のカメラ１４で撮影された画像情報に基づいて距離画像と輝度画像を取得する処理部２１と、距離画像を格納する距離画像メモリ２２と、輝度画像を格納する輝度画像メモリ２４と、距離画像の各画素が輝度画像の画素に対応する画素位置を記憶してある画素対応メモリ２３と、輝度画像と距離画像を入力して抽出処理を行うべき領域を抽出する抽出領域抽出部２５と抽出領域抽出部２５から入力する抽出領域に基づき、輝度画像から所望領域を抽出する領域抽出部２６とを有し、抽出された画像領域データは、ディスプレイ２９に表示される。
【００２７】
処理部２１は、投光器１１から投影された投影パターンとしてのスリットパターンを投光器１１の光軸上に第１のカメラ１３で撮影することによって得られる撮影パターンを入力する。この撮影パターンは、処理部２１において投影パターンと比較されて強度差が比較され、距離画像を生成する。
【００２８】
強度差の比較は、例えば、スリットパターン及び撮影パターンを数画素単位のセルに分解し、このセルの平均強度を比較することによって行われる。強度差がしきい値以上であり、かつ、新たな強度を有するときは再コード化部で新たな強度のコードが生成されて割り付けられることによりセルの再コード化が行われる。また、新たな強度でないときは対応する強度のコードが割り付けられる事によりセルの再コード化が行われる。再コード化処理については、後段で詳細に説明する。
【００２９】
領域抽出部２６は、輪郭抽出部２７と領域決定部２８を有し、輪郭抽出部２７は、抽出領域抽出部２５から入力された抽出領域内における境界線部分を追跡して輪郭を抽出し、領域決定部２８は、輪郭抽出部２７から入力する輪郭線データに基づき、囲まれた領域を抽出領域として抽出する。
【００３０】
なお、ここでは、距離画像を取得する一つの手法として、以下で説明する再コード化法を適用した例について説明するが、本発明の構成では、距離画像を得るその他の手法を適用することも可能である。例えばレーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定する再コード化を適用しないパターン投影方法や、光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などで被写体の距離情報を得る構成を適用してもよい。
【００３１】
処理部２１において実行される再コード化処理について説明する。再コード化処理部の詳細構成を表すブロック図を図２に示す。図３に光源と撮像素子の位置関係を示す。
【００３２】
図２および、図３では、パターン光を投光する投光器と同軸のカメラがカメラ３，１０３であり、その両サイドにおける異なる方向からカメラ１，１０１およびカメラ２，１０２が被写体を撮影する構成である。図１のように、一組のカメラ組み合わせとしてもよい。カメラ３とカメラ１のみから得られる画像の処理と、カメラ３とカメラ２とで撮影される画像の処理は同様である。本例では、３台のカメラ１０１〜１０３および投光器１０４を備えた構成における再コード化処理による被写体の距離データの取得手法について説明する。
【００３３】
図３に示すように、各カメラの距離関係が揃うように、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３と投光器１０４は、ビームスプリッタとしてのハーフミラー１０５を用いて光軸が一致するように配置される。カメラ１，１０１、カメラ２，１０２は、カメラ３，１０３と投光器１０４の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Ｌである。
【００３４】
投光器１０４は、光源１０６と、マスクパターン１０７と、強度パターン１０８と、プリズム１０９とを有する。ここで光源１０６は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図４に示すように構成される。すなわち、入射してきた光３１０は、プリズム３０１で２方向に分割され、一方は不可視領域（赤外あるいは紫外）透過フィルター３０２を通って撮像装置（例えばＣＣＤカメラ）３０３に入射し、他方は不可視領域（赤外と紫外）遮断フィルター３０４を通って撮像装置３０５に入射する。
【００３５】
また図３に示す光源１０６は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ３，１０３においては、プログレッシブスキャンタイプのＣＣＤカメラを用い、カメラ１，１０１、カメラ２，１０２に関しては、特に構成はこだわらない。ただし、カメラ３，１０３との対応を考慮すれば、同じ構成のＣＣＤカメラが望ましい。光源１０６からパターンが投影され、３台のカメラ１〜３（１０１〜１０３）が同時に撮影を行う。そして各カメラは、フィルター３０４，３０５（図４参照）を通過した光を撮像装置３０３，３０５で得ることにより、画像の一括取得を行う。
【００３６】
図２を用いて再コード化法による距離情報の取得処理について説明する。図示のように、カメラ１，１０１は、撮影して得た輝度情報を輝度値メモリ１２１に記憶し、撮影パターンをパターン画像メモリ１２２に記憶する。カメラ２，１０２は、同様に、輝度情報を輝度値メモリ１２３に記憶し、撮影パターンをパターン画像メモリ１２４に記憶する。カメラ３，１０３は、輝度情報を輝度値メモリ１２５に記憶し、撮影パターンをパターン画像メモリ１２６に記憶する。投光器１０４は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ１２７に格納している。
【００３７】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして距離情報を得る。以下の操作は、カメラ１，１０１とカメラ３，１０３の組み合わせ、カメラ２，１０２とカメラ３，１０３の組み合わせの双方に共通なので、ここではカメラ１，１０１とカメラ３，１０３の組み合わせを例にとって説明する。
【００３８】
図２において、領域分割部１２８は、カメラ３，１０３で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域１として抽出し、スリットパターン間の強度差が閾値以上である領域については領域２として抽出する。再コード化部１２９は、抽出された領域２について、パターン画像メモリ１２６に記憶された撮影パターンとフレームメモリ１２７に格納された投影パターンを用いて再コード化を行う。
【００３９】
図５は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し（ステップ１００１）、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（ステップ１００２）。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する（ステップ１００３）。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する（ステップ１００７）。
【００４０】
閾値以上異なる場合は、新たな強度のセルかどうか判断する（ステップ１００４）。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う（ステップ１００５）。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する（ステップ１００６）。これで、再コード化を終了する（ステップ１００７）。
【００４１】
図６はスリットパターンのコード化の例を示すもので、同図（ａ）はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ３（強）、２（中）、１（弱）が割り当てられている。同図（ｂ）においては、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てている。同図（ｃ）においては、左から３つめ上から２つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを［２３２］、横の並びを［１３１］という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００４２】
次に図２に戻って説明する。カメラ１，１０１側のコード復号部１３０は、パターン画像メモリ１２２から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部１２９で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図７は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ１で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌとから、次の（式１）によって距離Ｚを算出する。
【００４３】
【数１】
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （式１）
【００４４】
この距離Ｚの算出は、カメラ２，１０２側のコード復号部１３１においても、同様に行われる。また、上述の領域１については次のようにして距離を算出する。領域１では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部１３２において、カメラ１〜３の輝度値メモリ１２１、１２３、１２５から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。
【００４５】
以上が、再コード化法を用いた距離情報の取得方法である。再コード化法は、本発明の画像処理装置および画像処理方法において適用可能な距離情報の取得手法の１つであるが、前述したように、再コード化法に限らず、距離情報を取得可能な方法であれば、レーザー手法や、再コード化を適用しないパターン投影方法や、光学的処理によってモアレ縞により等高線を形成させて、３次元情報としての距離情報を得る方法が適用可能である。
【００４６】
以下に、本発明の画像処理装置および画像処理方法において、被写体の距離情報としての距離画像と、被写体の輝度情報としての輝度画像を取得した後、図1の画像処理部２０によって実行される処理の詳細を図８に示す具体的処理例に従って説明する。
【００４７】
図８に示す処理例は、パターン投影法に基づいて被写体として携帯電話を有して通話する人物の輝度画像と距離画像とを取得した場合の処理例である。２つのカメラ、すなわち、図１における投光器１１の光軸と同軸的に設けられてハーフミラー１２で反射された反射像を撮影する第１のカメラ１３と、投光器の光軸方向と異なる方向から対象を撮影する第２のカメラ１４を用いる。
【００４８】
２つのカメラの撮影可能範囲に対象（携帯電話を有して通話する人物）が収まるようにカメラアングルを調整し、投光器から投影パターンを投影して投光器１１の光軸に同軸に設置した第１のカメラ１３で撮影する。第２のカメラ１４は投光器１１の光軸方向と異なる方向から通話者を撮影する。第１のカメラ１３及び第２のカメラ１４の映像信号を処理部２１で画像処理することによって距離画像と輝度画像を得る。距離画像の取得は、例えば、上述の再コード化法を適用する。
【００４９】
以下にパターン投影法による距離の測定手順について説明する。図８（Ａ）は対象を撮像した輝度画像を示す。投光器１１の光軸方向と同一方向から被写体を撮らえる第１のカメラ１３で対象及び背景を撮影することによって得た画像が輝度画像として輝度画像メモリ２２に格納される。この輝度画像は、対象の表面から第１のカメラ１３の受光部に入る光の輝度を各画素ごとに分類したものである。
【００５０】
図８（Ｂ）は対象を撮影した距離画像を示し、処理部２１は、投光器１１の光軸方向と異なる方向第２のカメラ１４で背景及び対象に投影された投影パターンを撮影することに基づく投影パターンの変化量から距離に応じた領域に分解し、分類された領域ごとの画素に距離コードを割り付けることにより距離画像を形成する。この距離画像は第２のカメラ１４の受光部から対象物各点までの距離を各画素とし、２次元に配列したものである。図８（Ｂ）においては対象である人物が紙面方向における最前位置に位置しており、その後方に背景領域が位置している。これらを画面上で表現する方法として、例えば、輝度の大小で表現することが出来、距離の短い紙面手前側の領域における輝度を大にし、距離の離れた紙面奥方向に輝度が小になるように表現してもよい。
【００５１】
得られる距離値の数は、投影するストライプの細さに依存し、ストライプ一本につき縦一列の距離データを得られる。投影するストライプの本数はカメラの画素数よりも少ない。また、前述の式（１）のように、各測定点までの距離値Ｚについて画像上のｘ座標が対応している。距離画像中の各画素について輝度画像上の座標が対応しており、画素対応メモリに情報を記録する。
【００５２】
図８（Ｃ）は距離画像メモリ２２に格納された距離画像に基づいて隣接する点の値の差がしきい値よりも大きい箇所について、その間の範囲を抽出した図を示し、抽出範囲を網線８０１で表示している。すなわち、隣接画素における距離値の差が大である領域を抽出し、これを被写体と背景の境界線部分として識別する。しきい値は、測定対象とその周囲の背景または物体との距離差に応じて予め設定する。複数の物体が撮影された画像から１つの物体を抽出する場合のように、撮影された各物体の距離差が小であると想定される場合には、しきい値は小さく設定し、図８の例のように、背景から被写体（人物）を抽出する場合のように被写体と背景との距離差が大であると想定される場合は、しきい値を大きくすることが可能である。
【００５３】
図８（Ｄ）は、抽出領域抽出部２５の処理として実行される輝度画像の領域抽出処理である。距離画像に基づいて設定された抽出範囲（図８（Ｃ）の網線部８０１に示された範囲）を、画素対応メモリ２３の情報に基づいて輝度画像メモリ２４に格納された輝度画像に対応させ、領域抽出領域として輝度画像の範囲を抽出する。図８（Ｄ）は輝度画像における抽出結果を示し、距離測定点を輝度画像中の格子点で表示し、抽出範囲を網線８０２で表示している。抽出領域抽出部２５は、輝度画像中の格子点の隣接格子点との輝度値の差に基づいて領域抽出領域として輝度画像の範囲を抽出する。
【００５４】
図８（Ｅ）は輪郭抽出部２７において実行される処理の結果を示す図であり、図８（Ｄ）の輝度画像における被写体と背景の境界線部分として識別された斜線領域８０３中で、輝度値に基づいて境界線部分を追跡して抽出された輪郭線８０４を示し、輪郭線８０４を太線で表示している。本発明の構成では、輪郭の追跡処理範囲が輝度画像における被写体と背景の境界線部分として識別された斜線領域８０３中に限定されるので、追跡点が抽出対象から大きくはずれることがなく、また、その追跡範囲が狭いため、効率的な追跡が可能である。輪郭追跡は、輝度画像における被写体と背景の境界線部分として識別された斜線領域８０３における輝度値に基づいて実行される。
【００５５】
図８（Ｆ）は領域決定部２８において取得される出力領域画像である。輪郭抽出部２７において実行された輪郭追跡処理の結果取得された輪郭線８０４によって分離された領域を抽出領域とする。輪郭線８０４で囲まれた領域を出力領域（網線８０５で示す被写体としての人物に相当する領域）としてディスプレイ２９に出力表示する。
【００５６】
上記した第１の実施の形態の画像処理装置によると距離測定点が少ない場合でも、輝度画像から高解像度で正確に特定の抽出対象となる被写体領域を抽出できる。また、抽出処理、すなわち、抽出対象とその他の部分との境界部分を予め選択し、その範囲内で輪郭追跡を実行するので、処理範囲が限定され、計算処理の負荷が軽くなり、効率的に正確に物体領域を抽出できる。
【００５７】
図９は、本発明の第２の実施の形態に係る画像処理装置を示し、領域抽出部２６がしきい値処理部３０としきい値情報メモリ３１と背景輝度情報メモリ３２とを有する構成において図１に示す画像処理装置と相違しており、その他の構成及び機能については同一であるので重複する説明を省略する。
【００５８】
しきい値処理部３０は、抽出領域抽出部２５から入力された抽出領域内について、しきい値情報メモリにあるしきい値３１に基づいて、各画素に対し背景輝度情報メモリ３２に記憶されている輝度との輝度差がしきい値を越える画素を、抽出領域の画素とし、その集合を抽出領域とする。なお、背景輝度情報メモリ３２には、例えば背景画像のサンプル点輝度値あるいは背景画像全体の平均輝度値が格納される。
【００５９】
領域決定部２８はしきい値処理部３０から入力された領域と背景抽出領域の内側の領域とを合わせて抽出領域とし、ディスプレイ２９に表示する。
【００６０】
上記した第２の実施の形態の画像処理装置によると、背景輝度情報と比較することによって背景輝度と異なる画素のみを抽出する処理として物体抽出を行なうので、実施例１のような輪郭追跡処理が不要となり、軽い計算処理で物体領域を抽出でき、比較する領域を限定することにより物体のテクスチャの影響を受けにくくなり、正確に物体を抽出できる。すなわち、距離情報に基づいて抽出範囲を自動的に限定し、抽出範囲を輝度画像に対応づけて、その限定された範囲内で、背景画像の持つ輝度値との比較処理としてのしきい値処理を実行する構成としたので、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。
【００６１】
図１０は、本発明の第３の実施の形態に係る画像処理装置を示し、領域抽出部２６がしきい値処理部３０としきい値情報メモリ３１と背景画像メモリ３３とを有する構成において図１に示す画像処理装置と相違しており、その他の構成及び機能については同一であるので重複する説明を省略する。
【００６２】
しきい値処理部３０は、抽出領域抽出部２５から入力された抽出領域内について、しきい値情報メモリ３１にあるしきい値に基づいて、各画素に対し背景画像メモリ３３に記憶されている同画素位置の輝度との差分値がしきい値を越える画素を、抽出領域の画素とし、その集合を抽出領域とする。背景画像メモリ３３には、例えば第1のカメラ１３によって撮影された背景のみの画像が格納され、この画像に基づいて輝度値が求められる。
【００６３】
領域決定部２８はしきい値処理部２７から入力された領域と背景抽出領域の内側の領域とを合わせて抽出領域とし、ディスプレイ２９に表示する。
【００６４】
上記した第３の実施の形態の画像処理装置によると、背景画像の持つ輝度情報と比較することによって背景輝度と異なる画素のみを抽出する処理として物体抽出を行なうので、実施例１のような輪郭追跡処理が不要となり、軽い計算処理で物体領域を抽出でき、比較する領域を限定することにより物体のテクスチャの影響を受けにくくなり、正確に物体を抽出できる。
【００６５】
上述したように、第1〜第３の各実施例において、本発明の画像処理装置は、抽出対象およびその他背景等を含む画像から取得した距離情報、輝度情報を入力し、まず、距離画像から取得される距離情報に基づいて抽出範囲を自動的に限定し、抽出物体とその他の領域との境界部分を設定して、その設定範囲を輝度画像に対応付ける。さらに、輝度画像に設定された境界領域内で、輝度に基づく輪郭追跡、あるいは背景画像の輝度値との差異に基づくしきい値処理により特定物体の抽出を実行する。物体抽出処理として実行される輪郭追跡処理、またはしきい値処理は、輝度画像に設定された限定領域内においてのみ実行することになるので、計算処理の負荷が軽くなり、効率的に正確に物体領域を抽出できる。
【００６６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００６７】
【発明の効果】
以上説明した通り、本発明の画像処理装置および画像処理方法によれば、背景等を含む被写体像から取得した距離情報、輝度情報を用いた被写体抽出（セグメンテーション）処理において、まず、距離情報に基づいて抽出範囲を自動的に限定し、抽出物体とその他の領域との境界部分を極めて狭い領域に設定し、その範囲内で、輝度画像に基づく輪郭追跡処理を実行する構成としたので、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。また、輝度画像を用いた輪郭追跡を実行する構成であるので、輝度画像の高解像度画像に基づいて物体領域を抽出できるため、正確な領域抽出が可能であり、距離測定装置自体は、高精度であることがさほど要求されず、安価な距離測定装置を用いることができる。
【００６８】
さらに、本発明の画像処理装置および画像処理方法によれば、背景等を含む被写体像から取得した距離情報、輝度情報を用いた被写体抽出処理において、まず、距離情報に基づいて抽出範囲を自動的に限定し、抽出範囲を輝度画像に対応づけて、その限定された範囲内で、背景画像の持つ輝度値との比較処理としてのしきい値処理を実行する構成としたので、計算処理の負荷が軽くなり、正確に物体領域を抽出できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係わる画像処理装置を示す説明図
【図２】本発明の画像処理装置において適用可能な再コード化処理による距離情報の取得構成例を示すブロック図である。
【図３】本発明の画像処理装置におけるカメラ構成例を示すブロック図である。
【図４】本発明の画像処理装置において適用可能な撮像構成を説明する図である。
【図５】本発明の画像処理装置において適用可能な再コード化処理の処理フローを示す図である。
【図６】本発明の画像処理装置において適用可能な再コード化処理の投影パターンのコード化の例を示す図である。
【図７】本発明の画像処理装置において適用可能な空間コード化法による距離算出法を示す図である。
【図８】本発明の画像処理装置における処理例を説明する図である。
【図９】本発明の第２の実施の形態に係わる画像処理装置を示す説明図
【図１０】本発明の第３の実施の形態に係わる画像処理装置を示す説明図
【符号の説明】
１１ 投光器
１２ ハーフミラー
１３ 第１のカメラ
１４ 第２のカメラ
２０ 画像処理部
２１ 処理部
２２ 距離画像メモリ
２３ 画素対応メモリ
２４ 輝度画像メモリ
２５ 抽出領域抽出部
２６ 領域抽出部
２７ 輪郭抽出部
２８ 領域決定部
２９ ディスプレイ
３０ しきい値処理部
３１ しきい値情報メモリ
３２ 背景輝度情報メモリ
３３ 背景画像情報メモリ
１０１ カメラ１
１０２ カメラ２
１０３ カメラ３
１０４ 投光器
１０５ ハーフミラー
１０６ 光源
１０７ マスクパターン
１０８ 強度パターン
１０９ プリズム
１２１，１２３，１２５ 輝度値メモリ
１２２，１２４，１２６ パターン画像メモリ
１２７ フレームメモリ
１２８ 領域分割部
１２９ 再コード化部
１３０，１３１ コード復号部
１３３ 距離情報の統合部
１３４ ３次元メモリ
３０１ プリズム
３０２，３０４ 透過フィルタ
３０３，３０５ 撮像装置
Claims (10)
- 撮像手段によって取得される画像中から特定被写体画像の抽出処理を実行する画像処理装置であり、
抽出対象となる被写体像を含む画像を撮像して取得される輝度画像および、前記輝度画像中に含まれる画素に対応する距離情報に基づく距離画像を生成する処理手段と、
前記距離情報に基づいて、前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に前記距離画像における距離測定点である格子点によって区分されたブロック領域を設定し、前記境界領域を含むブロック領域を前記輝度画像における抽出領域として設定する抽出領域抽出手段と、
前記抽出領域抽出手段の設定した抽出領域内においてのみ、抽出対象となる被写体像の領域を決定する処理を実行する領域抽出手段であり、撮像手段によって取得される画像中の特定被写体画像を除く背景画像情報または背景画像の輝度情報を格納したメモリと、前記抽出領域抽出手段によって設定された抽出領域における各画素の輝度情報と、前記メモリに格納された背景画像情報または背景画像の輝度情報との比較処理を実行するしきい値処理手段とを有し、前記しきい値処理手段は、前記抽出領域抽出手段によって設定された抽出領域に含まれる画素の輝度値と前記メモリに格納された背景画像情報または背景画像の輝度情報から取得される輝度値との差分をあらかじめ定めたしきい値と比較し、前記抽出対象となる被写体像を抽出する処理を実行する領域抽出手段と、
を有することを特徴とする画像処理装置。 - 前記領域抽出手段は、
前記抽出領域抽出手段によって求められた前記抽出対象となる被写体像と、その他の領域との境界領域において、前記抽出対象となる被写体像の輪郭の追跡処理を実行する輪郭抽出部を有し、
前記輪郭抽出部は、前記輝度画像中の前記境界領域に含まれる画素の輝度値に基づいて前記抽出対象となる被写体像と、その他の領域との境界線を求める処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。 - 前記処理手段は、
距離情報として画像上の格子状の領域毎の距離情報を示す距離画像を生成し、前記抽出領域抽出手段は、前記格子状の領域毎に対応付けた輝度情報に基づいて前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に抽出領域を設定する構成であることを特徴とする請求項１に記載の画像処理装置。 - 前記抽出領域抽出手段は、前記距離画像の格子状の領域に対応する輝度画像中の格子点の隣接格子点との輝度値の差に基づいて抽出領域を輝度画像に設定する構成であることを特徴とする請求項３に記載の画像処理装置。
- 前記処理手段は、
被写体に対して異なる方向から第１の撮像手段と第２の撮像手段とによって撮影される投光パターンとともに撮影された画像に基づいて撮影画像の距離情報を求め、第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する再コード化法による距離情報生成を実行する構成であることを特徴とする請求項１に記載の画像処理装置。 - 撮像手段によって取得される画像中から特定被写体画像の抽出処理を実行する画像処理方法であり、
抽出対象となる被写体像を含む画像を撮像して取得される輝度画像および、前記輝度画像中に含まれる画素に対応する距離情報に基づく距離画像を生成する画像生成処理ステップと、
前記距離情報に基づいて、前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に前記距離画像における距離測定点である格子点によって区分されたブロック領域を設定し、前記境界領域を含むブロック領域を前記輝度画像における抽出領域として設定する抽出領域抽出ステップと、
前記抽出領域抽出ステップにおいて設定した抽出領域内においてのみ、抽出対象となる被写体像の領域を決定する処理を実行する領域抽出ステップであり、撮像手段によって取得される画像中の特定被写体画像を除く背景画像情報または背景画像の輝度情報を格納したメモリと、前記抽出領域抽出手段によって設定された抽出領域における各画素の輝度情報と、前記メモリに格納された背景画像情報または背景画像の輝度情報との比較処理を実行するしきい値処理手段とを有し、前記しきい値処理手段は、前記抽出領域抽出手段によって設定された抽出領域に含まれる画素の輝度値と前記メモリに格納された背景画像情報または背景画像の輝度情報から取得される輝度値との差分をあらかじめ定めたしきい値と比較し、前記抽出対象となる被写体像を抽出する処理を実行する領域抽出ステップと、
を有することを特徴とする画像処理方法。 - 前記領域抽出ステップは、
前記抽出領域抽出ステップにおいて求められた前記抽出対象となる被写体像と、その他の領域との境界領域において、前記抽出対象となる被写体像の輪郭の追跡処理を実行する輪郭抽出ステップを有し、
前記輪郭抽出ステップは、前記輝度画像中の前記境界領域に含まれる画素の輝度値に基づいて前記抽出対象となる被写体像と、その他の像との境界線を求める処理を実行することを特徴とする請求項６に記載の画像処理方法。 - 前記画像生成処理ステップは、
距離情報として画像上の格子状の領域毎の距離情報を示す距離画像を生成し、前記抽出領域抽出ステップは、前記格子状の領域毎に対応付けた輝度情報に基づいて前記抽出対象となる被写体像と、その他の領域との境界領域を求め、前記輝度画像中に抽出領域を設定することを特徴とする請求項６に記載の画像処理方法。 - 前記抽出領域抽出ステップは、前記距離画像の格子状の領域に対応する輝度画像中の格子点の隣接格子点との輝度値の差に基づいて抽出領域を輝度画像に設定することを特徴とする請求項８に記載の画像処理方法。
- 前記画像生成処理ステップは、
被写体に対して異なる方向から第１の撮像手段と第２の撮像手段とによって撮影される投光パターンとともに撮影された画像に基づいて撮影画像の距離情報を求め、第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから前記第１の距離情報を生成する再コード化法による距離情報生成を実行することを特徴とする請求項６に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000306065A JP3965894B2 (ja) | 2000-10-05 | 2000-10-05 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000306065A JP3965894B2 (ja) | 2000-10-05 | 2000-10-05 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002117403A JP2002117403A (ja) | 2002-04-19 |
| JP3965894B2 true JP3965894B2 (ja) | 2007-08-29 |
Family
ID=18786817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000306065A Expired - Fee Related JP3965894B2 (ja) | 2000-10-05 | 2000-10-05 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965894B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4042517B2 (ja) * | 2002-10-09 | 2008-02-06 | 株式会社日立製作所 | 移動体およびその位置検出装置 |
| JP4590546B2 (ja) * | 2004-06-14 | 2010-12-01 | 国立大学法人 東京大学 | 画像抽出装置 |
| JPWO2008044524A1 (ja) * | 2006-10-10 | 2010-02-12 | 株式会社ニコン | 画像分類プログラム、画像分類装置および電子カメラ |
| JP5282461B2 (ja) * | 2008-07-02 | 2013-09-04 | 株式会社ニコン | 撮像装置 |
| JP5546419B2 (ja) * | 2010-10-28 | 2014-07-09 | 成典 田中 | 対象領域抽出装置 |
| JP5914046B2 (ja) * | 2012-02-29 | 2016-05-11 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6399840B2 (ja) | 2014-07-22 | 2018-10-03 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6400551B2 (ja) * | 2015-09-18 | 2018-10-03 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
| JP7230396B2 (ja) * | 2018-09-25 | 2023-03-01 | 富士フイルムビジネスイノベーション株式会社 | 画像処理プログラムおよび画像処理装置、並びにプログラム |
| CN112861835A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 主体检测方法、装置、电子设备和计算机可读存储介质 |
-
2000
- 2000-10-05 JP JP2000306065A patent/JP3965894B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002117403A (ja) | 2002-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10608002B2 (en) | Method and system for object reconstruction | |
| CN108052878B (zh) | 人脸识别设备和方法 | |
| US8218858B2 (en) | Enhanced object reconstruction | |
| Zhang et al. | Rapid shape acquisition using color structured light and multi-pass dynamic programming | |
| JP3482990B2 (ja) | ３次元画像撮影装置 | |
| JP4915859B2 (ja) | 物体の距離導出装置 | |
| JP3965894B2 (ja) | 画像処理装置および画像処理方法 | |
| US7280685B2 (en) | Object segmentation from images acquired by handheld cameras | |
| JP3818028B2 (ja) | ３次元画像撮像装置および３次元画像撮像方法 | |
| JP6591332B2 (ja) | 放射線強度分布測定システム及び方法 | |
| JP2000009442A (ja) | ３次元画像撮影装置 | |
| KR20170088859A (ko) | 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치 | |
| JP2004110804A (ja) | ３次元画像撮影装置及び方法 | |
| JPH0791927A (ja) | 三次元計測装置 | |
| JP3932776B2 (ja) | ３次元画像生成装置および３次元画像生成方法 | |
| JP2868985B2 (ja) | 下着用３次元人体計測装置 | |
| JP3852285B2 (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| Pepe et al. | Applications of action cam sensors in the archaeological yard | |
| JP2002013918A (ja) | ３次元画像生成装置および３次元画像生成方法 | |
| JPH09273931A (ja) | 測量方法 | |
| JP2002107129A (ja) | ３次元画像撮像装置および３次元画像撮像方法 | |
| JP2000076442A (ja) | 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |