JP3064928B2

JP3064928B2 - 被写体抽出方式

Info

Publication number: JP3064928B2
Application number: JP8271914A
Authority: JP
Inventors: 敦丸亀
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-09-20
Filing date: 1996-09-20
Publication date: 2000-07-12
Anticipated expiration: 2016-09-20
Also published as: JPH1098646A; US5995649A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方式に関
し、特に入力画像から指定空間内にある被写体のみを抽
出する画像処理方式に関する。

【０００２】

【従来の技術】画像中から特定のオブジェクトや被写体
のみを抽出する従来技術として、例えば特開平７−１７
７４２３号公報には、複数の撮像装置を使用して撮像装
置間の視差から距離情報を抽出する方法が提案されてい
る。すなわち特開平７−１７７４２３号公報には、被写
体を撮像する複数の撮像系より各々の画像信号を得て、
１つの合成画像を生成出力する複眼撮像装置において、
撮像系より得られる画像を記憶し、複数の画像から互い
に共通した部分の位置を抽出する対応点抽出部が、共通
部分を判定する順序を複数の撮像系の位置関係から制御
する手段を備え、複数の画像から合成パノラマ画像を得
る場合の各画像内に存在する同一被写体の抽出を迅速に
行うようにした構成が提案されている。この特開平７−
１７７４２３号公報に記載の方法は、複数の撮像装置で
撮像した各画像中で対応する部分を見つけだし、その画
像中での座標差を視差として抽出し、視差の大きさで、
前景にある被写体を分離するものである。

【０００３】また特開平７−１５４７７７号公報には、
被写体に受光手段側から赤外光を照射し、受光手段で可
視光と赤外光とに分離し、赤外光の強度がしきい値より
も大きな領域をマスク領域として生成し可視光画像から
マスク領域を抽出し、カメラから近距離にある物体の画
像のみを容易に抽出するようにした装置が提案されてい
る。この特開平７−１５４７７７号公報に記載の方法
は、被写体に赤外光を照射し、反射赤外光と視野内の反
射可視光を受光して分離し、分離された反射可視光で生
成された画像中の反射赤外光の強度がある閾値をこえた
部分を被写体として抽出するものである。

【０００４】さらに特開平７−２２００９５号公報に
は、メモリに被写体に関する情報及び撮像装置のセンサ
に関する情報を予め蓄積保持しておき、撮像装置を使用
して得られた画像より被写体を抽出する際にノイズを除
去した精度のよい被写体像を抽出する装置が提案されて
いる。この特開平７−２２００９５号公報に記載の方法
は、被写体の推定を被写体のおおまかな大きさ等の被写
体に関する情報、物体側の主点と物体の一部との距離、
焦点距離やセンサの大きさ、画素数等の撮像装置に関す
る情報を予め記録しておき、これらの撮像装置に関する
情報から被写体の存在部を予測して候補となる撮像画像
中の一部を抽出し、その中で前記の被写体に関する予備
情報と最も合致する前記抽出部分を被写体として選択す
るものである。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
従来技術には、それぞれ下記記載の問題点を有してい
る。

【０００６】（１）複数の撮像装置を用いて視差で奥行
きの判定を行う従来の方法は、前景と後景を判定する閾
値に被写体抽出の精度が大きく依存するが、精度良く抽
出を行う場合には、この閾値の決定が困難である、とい
う問題点を有している。例えば上記特開平７−１７７４
２３号公報に記載の装置においては、視差から三次元座
標を求めてこの解決を測っているが、そのためには、複
数の撮像装置間の相対位置関係や光軸のなす角度を制御
および計測しなければならないという面倒が生じる。ま
た、この方法では、撮像画像中の対応点探索で誤った対
応が生じた場合、その部分はノイズとして抽出される、
もしくは被写体の一部が欠落してしまう、という問題点
を有している。

【０００７】（２）次に、上記特開平７−１５４７７７
号公報に記載の、赤外光を照射する方法は、照明条件等
によっては強度の赤外線を照射する必要があり、強度の
赤外線が照射できる赤外線照射装置を用いるとコストが
大幅に増大する、という問題点を有している。さらに、
人体に強度の赤外線を照射したり、そう強くなくても長
時間照射し続けた場合には、例えば文献（“紫外・赤外
線の目に対する作用効果と安全”、照明学会雑誌、ｖｏ
ｌ．６１、Ｎｏ．１１、第６３６−６４１頁、１９７７
年）に指摘されているように人体に悪影響を及ぼす可能
性もある。

【０００８】（３）そして、上記特開平７−２２０９５
号公報に記載の、被写体情報を用いる方法では、予め被
写体の大きさ等に関する情報、被写体と撮像装置間の距
離、撮像装置の焦点距離などが必要であり、被写体情報
が蓄えられていない物体を抽出することは不可能であ
る、という問題点を有している。さらに、この方法で
は、物体側の主点から物体の一部までの距離か像側の主
点から像までの距離のいずれかを必要とし、前者は距離
を得る際、赤外線の照射装置などの高価な装置を必要と
する、という問題点を有し、一方、後者は、オートフォ
ーカスのような照明などの撮影条件によってはうまく動
作しない方式に頼らなければならないため、安定した抽
出が行えない、という問題点を有している。

【０００９】したがって、本発明は、上記事情に鑑みて
なされたものであって、その目的は、複数の撮像装置か
ら得られた視差情報で被写体抽出を行う際、前景と後景
を判定する閾値の決定を容易とする、被写体抽出方式を
提供することにある。

【００１０】本発明の他の目的は、撮像装置の位置およ
び姿勢調整を行わずに入力画像から被写体のみを抽出す
る、被写体抽出方式を提供ことにある。

【００１１】本発明のさらに他の目的は、複数の撮像装
置を使って入力画像から被写体を抽出する際に生じるノ
イズや欠落と見なせる被写体輪郭の不連続部の復元を行
うようにした被写体抽出方式を提供することにある。

【００１２】本発明のさらに他の目的は、赤外線照射装
置のような特殊な装置を使わずに入力画像から被写体の
みを抽出する、被写体抽出方式を提供することにある。

【００１３】

【課題を解決するための手段】前記目的を達成するた
め、本願請求項１に記載の第１の発明は、画像中の被写
体抽出を行う方式に関するものであり、被写体を撮像す
る複数の撮像装置から構成された撮像手段と、前記撮像
手段で撮像された複数の画像を蓄積する画像蓄積手段
と、既知パタンが描かれた立体を撮像して得られた画像
中の前記立体上の特徴点を抽出することで前記撮像装置
の相対位置および姿勢を表すパラメータを計算するパラ
メータ計算手段と、前記複数画像の内のいずれか一つの
画像において特徴点を指定し、前記画像中での前記特徴
点の座標値を出力する特徴点抽出手段と、前記特徴点座
標値によって前記複数画像中のうち特徴点を抽出しなか
った画像中から前記特徴点に対応する点の座標値を出力
する対応点検出手段と、前記撮像装置の相対位置および
姿勢のパラメータと、前記特徴点と前記対応点の座標値
を用いて前記特徴点の三次元座標値を求める三次元座標
計算手段と、前記特徴点座標値と前記三次元座標値によ
って前記画像蓄積手段から入力される画像中の前景にあ
る被写体の輪郭点の座標値を抽出する輪郭点抽出手段
と、前記輪郭点の座標値によって前記画像蓄積手段から
入力される画像中の前景にある被写体を抽出し表示する
被写体表示手段を備えることを特徴とする。

【００１４】また本願請求項２記載の第２の発明は、画
像中の被写体抽出を行う方式に関するものであり、被写
体を撮像する複数の撮像装置から構成された撮像手段
と、前記撮像手段で撮像された複数の画像を蓄積する画
像蓄積手段と、既知パタンが描かれた立体を撮像して得
られた画像中の前記立体上の特徴点を抽出することで前
記撮像装置の相対位置および姿勢を表すパラメータを計
算するパラメータ計算手段と、前記複数画像の内のいず
れか一つの画像において特徴点を指定し、前記画像中で
の前記特徴点の座標値を出力する特徴点抽出手段と、ブ
ロックマッチングに必要な複数のブロックサイズ入力す
るブロックサイズ入力手段と、前記特徴点座標値によっ
て複数の前記ブロックサイズごとにブロックマッチング
によって前記複数画像中のうち特徴点を抽出しなかった
画像中から前記特徴点に対応する点の座標値の組を出力
する対応点検出手段と、前記撮像装置の相対位置および
姿勢のパラメータと、前記特徴点と前記対応点の座標値
の組を用いて前記対応点の座標値の組ごとに前記特徴点
の三次元座標値を求める三次元座標計算手段と、前記特
徴点座標値を用いて前記三次元座標計算手段から入力さ
れた前記三次元座標値の組ごとに前記画像蓄積手段から
入力される画像中の前景にある被写体を抽出した複数の
画像を作成する被写体抽出手段と、前記被写体抽出手段
から入力された複数の前記被写体抽出画像を合成し表示
する画像合成手段を備えることを特徴とする。

【００１５】さらに本願請求項３記載の第３の発明は、
画像中の被写体抽出を行う方式に関するものであり、被
写体を撮像する複数の撮像装置から構成された撮像手段
と、前記撮像手段で撮像された複数の画像を蓄積する画
像蓄積手段と、既知パタンが描かれた立体を撮像して得
られた画像中の前記立体上の特徴点を抽出することで前
記撮像装置の相対位置および姿勢を表すパラメータを計
算するパラメータ計算手段と、前記複数画像の内のいず
れか一つの画像において特徴点を指定し、前記画像中で
の前記特徴点の座標値を出力する特徴点抽出手段と、前
記特徴点座標値によって前記複数画像中のうち特徴点を
抽出しなかった画像中から前記特徴点に対応する点の座
標値を出力する対応点検出手段と、前記撮像装置の相対
位置および姿勢パラメータと、前記特徴点と前記対応点
の座標値を用いて特徴点の三次元座標値を求める三次元
座標計算手段と、前記特徴点座標値と前記三次元座標値
によって前記画像蓄積手段から入力される画像中の前景
にある被写体の輪郭点の座標値を抽出する輪郭点抽出手
段と、前記輪郭点の座標値の連続性から正常抽出かノイ
ズか判定し、ノイズと判定された部分においては近傍正
常抽出点の座標値から他の被写体輪郭候補点を抽出して
前記対応点検出手段および三次元座標計算手段に出力す
るノイズ修正手段と、前記ノイズ修正手段によって出力
される輪郭点の座標値によって前記画像蓄積手段から入
力される画像中の前景にある被写体を抽出し表示する被
写体表示手段を備えることを特徴とする。

【００１６】そして本願請求項４記載の第４の発明は、
画像中の被写体抽出を行う方式に関するものであり、被
写体を撮像する複数の撮像装置から構成された撮像手段
と、前記撮像手段で撮像された複数の画像を蓄積する画
像蓄積手段と、既知パタンが描かれた立体を撮像して得
られた画像中の前記立体上の特徴点を抽出することで前
記撮像装置の相対位置および姿勢を表すパラメータを計
算するパラメータ計算手段と、前記複数画像の内のいず
れか一つの画像において特徴点を指定し、前記画像中で
の前記特徴点の座標値を出力する特徴点抽出手段と、前
記特徴点座標値によって前記複数画像中のうち特徴点を
抽出しなかった画像中から前記特徴点に対応する点の座
標値を出力する対応点検出手段と、前記撮像装置の相対
位置および姿勢のパラメータと、前記特徴点と前記対応
点の座標値を用いて特徴点の三次元座標値を求める三次
元座標計算手段と、前記特徴点座標値と前記三次元座標
値によって前記画像蓄積手段から入力される画像中の前
景にある被写体の輪郭点の座標値を抽出する輪郭点抽出
手段と、前記輪郭点の前記画像中の座標値の連続性から
正常抽出かノイズか判定するノイズ判定手段と、前記ノ
イズ判定手段がノイズと判定した輪郭点を正常抽出と判
定された輪郭点の連続性を用いて復元を行う輪郭線平滑
手段と、前記輪郭線平滑手段から入力される輪郭線座標
値によって前記画像蓄積手段から入力される画像中の前
景にある被写体を抽出し表示する被写体表示手段を備え
ることを特徴とする。

【００１７】

【発明の実施の形態】本発明の実施の形態について図面
を参照して以下に説明する。

【００１８】図１は、第１の発明に係る被写体抽出方式
の一つの実施の形態の構成を示す図である。

【００１９】図１を参照して、この実施の形態に係る装
置は、互いの光軸が輻輳角を持つように配置された複数
の撮像装置１ａ、１ｂ、…で構成された撮像手段１と、
前記撮像手段１で撮像された画像を蓄積する複数の画像
蓄積装置２ａ、２ｂ、…で構成された画像蓄積手段２
と、撮像手段１で撮像され画像蓄積手段２を経て送られ
てきた既知パタンが描かれた立体２１の画像１０１、１
０２、…を解析して多眼画像処理の際に必要となるパラ
メータ３００を計算出力し、そのパラメータを蓄積する
パラメータ計算手段３と、撮像装置１ａで撮像され画像
蓄積装置２ａに蓄積されている画像２０１中の特徴点を
抽出して、その座標値４０１を出力する特徴点抽出手段
４と、パラメータ３００と特徴点座標値４０１とを用い
て、画像２０２、…中の座標値４０１の特徴点に対応す
る対応点を検出し、対応点の座標値４０２、…を出力す
る対応点検出手段５と、パラメータ３００、特徴点座標
値４０１、および対応点座標値４０２、…を用いて、特
徴点の三次元座標値５０１を算出する三次元座標計算手
段６と、特徴点座標値４０１と三次元座標値５０１から
画像２０１中の被写体輪郭点の座標値６０１を抽出する
輪郭線抽出手段７と、被写体輪郭点の座標値６０１から
画像２０１中の被写体部分を抽出して表示する被写体表
示手段８を、備えて構成されている。

【００２０】この実施の形態における、各手段の動作の
詳細を以下に実施例として説明する。説明の簡略化のた
め、以下に説明する実施例では、撮像手段１は２台の撮
像装置１ａ、１ｂ、画像蓄積手段２は２台の画像蓄積装
置２ａ、２ｂで構成されているものとする。

【００２１】図５は、パラメータ算出用の撮像装置の配
置を模式的に示した図である。図５を参照すると、撮像
手段１は、２つの撮像装置１ａ、１ｂを互いの光軸が輻
輳角を持つように配置されている。これによって、両方
の撮像装置１ａ、１ｂの撮像面上中央に撮像される部分
２３は限定される。この両方の撮像装置の撮像面上中央
に投影される部分２３に、例えば図６に斜視図として示
すような、既知パタンが描かれた立体２１を配置し、２
台の撮像装置１ａ、１ｂにて立体２１を撮像する。

【００２２】撮像装置１ａ、１ｂにて撮像された、既知
パタンが描かれた立体２１の画像データは、図１を参照
すると、画像１０１、１０２として、それぞれ画像蓄積
装置２ａ、２ｂに蓄えられたのち、パラメータ計算手段
３に送られる。

【００２３】図７は、パラメータ計算手段３の構成をブ
ロック図にて示したものである。パラメータ計算手段３
は、図７を参照すると、画像１０１、１０２を入力とし
てパラメータ計算の間、一時的に蓄える画像バッファ装
置３ａ、３ｂと、パラメータを計算する計算装置３ｃ
と、計算装置３ｃで計算されたパラメータ３００を蓄積
する数値データ蓄積装置３ｄと、を備えて構成されてい
る。

【００２４】図８（Ａ）、図８（Ｂ）は、既知パタンが
描かれた立体２１（図６参照）の撮像装置１ａ、１ｂに
て撮像された、画像１０１、１０２をそれぞれ示してい
る。図８を参照すると、パラメータ計算手段３の計算装
置３ｃにおいては、図６に示したような既知パタンが描
かれた立体２１上の同一平面上にない６つ以上の特徴点
Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、…の、画像バッ
ファ装置３ａ、３ｂに蓄えられた画像１０１、１０２に
おける、座標値が抽出される。

【００２５】この特徴点の抽出方法については、この実
施例では、特に指定されないが、例えば操作者が画像バ
ッファ装置３ａ、３ｂに蓄積される画像１０１、１０２
を表示画面で見て特徴点を指示してもよいし、あるいは
パタンマッチングなどの画像処理で自動抽出しても良
い。

【００２６】ここで、立体２１において、図６を参照し
て、例えばＰ０を原点（０、０、０）、Ｐ１を（１、
０、０）、Ｐ２を（０、１、０）、Ｐ３を（０、０、
１）とする３次元座標値系を決め、この座標値系で、Ｐ
４、Ｐ５が、それぞれ（α₄、β₄、γ₄）、（α₅、
β₅、γ₅）という座標値を持つとする。

【００２７】また、図８を参照して、画像１０１中の特
徴点Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の各座標値
を、（ｕ_i ^l、ｖ_i ^l）（ｉ＝０、…、５）とし、画像１０
２中の特徴点Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の各
座標値を、（ｕ_i ^r、ｖ_i ^r）（ｉ＝０、…、５）とする。

【００２８】次に、計算装置３ｃは、（ｕ_i ^l、ｖ_i ^l）お
よび（α_k、β_k、γ_k）（ｋ＝４、５）から、撮像装置
１ａの姿勢を表すパラメータｃ_j ^l（ｊ＝０、…、３）を
変数とする以下の方程式（１）〜（４）を導く。

【００２９】

【数１】

【００３０】上記方程式（１）、（２）、（３）、
（４）から、ｃ_j ^l（ｊ＝０、…、３）を算出する方法
は、例えば、刊行物（「画像理解」、金谷著、森北出
版）等に記載される最小二乗法などが用いられる。

【００３１】撮像装置１ｂの姿勢を表すパラメータｃ_j ^r
（ｊ＝０、…、３）の導出は、（ｕ_i ^r、ｖ_i ^r）および
（α_k、β_k、γ_k）（ｋ＝４、５）から次の方程式
（５）〜（８）を導出する。

【００３２】

【数２】

【００３３】パラメータｃ_j ^r（ｊ＝０、…、３）の算出
方法としては、ｃ_j ^l（ｊ＝０、…、３）の算出と同様
に、例えば最小二乗法などが用いられる。

【００３４】計算装置３ｃで生成された（ｕ_i ^l、
ｖ_i ^l）、（ｕ_i ^r、ｖ_i ^r）（ｉ＝０、…、３で充分）とｃ
_j ^l、ｃ_j ^r（ｊ＝０、…、３）は、パラメータ３００とし
て数値データ蓄積装置３ｄに蓄積される。

【００３５】数値データ蓄積装置３ｄにパラメータが蓄
積されると、図９に示されている撮像装置１ａ、１ｂの
両撮像面上中央に投影される部分２３から既知パタンが
描かれた立体２１を取り除いて、撮像装置１ａ、１ｂを
固定したまま、両撮像面上中央に投影される部分２３に
ある被写体２２の抽出を行う。

【００３６】もしくは、撮像装置１ａ、１ｂの姿勢およ
び相対的な位置関係を保ったまま、別の場所に撮像手段
１および画像蓄積手段２を移動して、撮像装置１ａ、１
ｂの両撮像面上中央に撮影される部分２３にある被写体
２２の抽出を行ってもよい。

【００３７】図１０（Ａ）、図１０（Ｂ）は、撮像装置
１ａ、１ｂにて撮像された、被写体２２の画像２０１、
２０２をそれぞれ示している。撮像装置１ａ、１ｂで撮
像された被写体２２の画像２０１、２０２は、それぞれ
画像蓄積装置２ａ、２ｂに蓄積される。画像２０１、２
０２中では、図１０に示すように、被写体２２は中央に
撮像されている。

【００３８】ここで、図１０に示すように、画像２０
１、２０２中の水平および鉛直座標を画像２０１の
ｕ^l、ｖ^l座標値およびｕ^r、ｖ^r座標値とよぶことにす
る。

【００３９】次に図１に示した特徴点抽出手段４の処理
は、以下に説明する方法で実現される。

【００４０】まず、探索水平線を上から順に設定する。
次に探索水平線上で周囲画素と色や輝度が著しく変化す
る点（以下、このような点を「特徴点」という）を、例
えば周辺画素の分散値や画像処理でよく用いられるソー
ベルフィルタ、ラプラシアンフィルタなどを用いて探索
する。これを全ての探索水平線上で行い、全ての水平線
上で特徴点を抽出する。以下では、これらの画像２０１
中の特徴点を「参照点」３２と呼ぶことにする。

【００４１】参照点３２の座標値４０１は、対応点検出
手段５および三次元座標計算手段６に出力される。

【００４２】次に、この実施例における対応点検出手段
５の動作を、図１０を参照して説明する。

【００４３】まず、対応点検出手段５は、特徴点抽出手
段４で抽出された参照点３２ごとに、対応する画像２０
２中の点（以下、この点を「対応点」という）の探索を
行う。

【００４４】この対応点は、撮像装置１ａと１ｂの位置
関係により定まるエピポーラ線と呼ばれる特定の直線上
に拘束されることが、上記刊行物（「画像理解」、金
谷、森北出版）等に記載されている。そこでまずエピポ
ーラ線の導出を行う。

【００４５】エピポーラ線の導出は、従来の方式では、
予め撮像装置１ａ、１ｂ間の位置を計測しておく必要が
あるが、パラメータ計算手段３の数値バッファ装置３ｄ
に蓄えられたパラメータ３００である、（ｕ_i ^l、
ｖ_i ^l）、（ｕ_i ^r、ｖ_i ^r）（ｉ＝０、…、３）とｃ_j ^l、ｃ
_j ^r（ｊ＝０、…、３）を用いることで、画像２０１上の
参照点（ｕ^l、ｖ^l）に対応する画像２０２上の対応点
（ｕ^r、ｖ^r）を拘束する、エピポーラ線ｖ^r＝ｍｕ^r＋ｎは、以下の式から計算される。

【００４６】まず、パラメータ（ｕ_i ^l、ｖ_i ^l）（ｉ＝
０、…、３）、ｃ_j ^l（ｊ＝０、…、３）と（ｕ^l、ｖ^l）
から、１次中間パラメータｔ₁₁、ｔ₁₂、ｔ₁₃、ｔ₂₁、ｔ
₂₂、ｔ₂₃、ｄ₁、ｄ₂を次式（９）〜（１６）にて導出し
ておく。

【００４７】

【数３】

【００４８】この１次中間パラメータｔ₁₁、ｔ₁₂、
ｔ₁₃、ｔ₂₁、ｔ₂₂、ｔ₂₃、ｄ₁、ｄ₂とパラメータ
（ｕ_i ^r、ｖ_i ^r）（ｉ＝０、…、３）、ｃ_j ^r（ｊ＝０、
…、３）を用いて、２次中間パラメータＵ₀、Ｕ₁、
Ｖ₀、Ｖ₁、Ｓ₀、Ｓ₁を、次式（１７）〜（２２）から導
出する。

【００４９】

【数４】

【００５０】この２次中間パラメータＵ₀、Ｕ₁、Ｖ₀、
Ｖ₁、Ｓ₀、Ｓ₁から画像２０１上の参照点（ｕ^l、ｖ^l）
に対応する画像２０２上の対応点（ｕ^r、ｖ^r）を拘束す
るエピポーラ線ｖ^r＝ｍｕ^r＋ｎの傾きｍと、ｖ^r切片ｎは、それぞれ次式（２３）、
（２４）より導出される。

【００５１】

【数５】

【００５２】参照点３２に対応するエピポーラ線３３が
計算されれば、画像２０２中の前記エピポーラ線３３上
で対応点探索を行う。

【００５３】このとき、参照点３２が画像２０１の画像
中心線３１ａ（図１０（Ａ）参照）よりも左側にある場
合には、画像２０２の画像中心線３１ｂ（図１０（Ｂ）
参照）から左へ、参照点３２が画像２０１の画像中心線
３２ａ（図１０（Ａ）参照）より右側にある場合には、
画像２０２の画像中心線３１ｂ（図１０（Ｂ）参照）か
ら右へ、特徴点（ｕ^r、ｖ^r）が見つかるまで探索を始め
る。

【００５４】以下、この特徴点（ｕ^r、ｖ^r）を「対応候
補点」３４とよぶ。

【００５５】対応候補点３４（ｕ^r、ｖ^r）が見つかる
と、参照点３２が画像２０１の画像中心線３１ａ（図１
０参照）よりも左側にある場合には、右側ブロックマッ
チングを模式的に示した図である図１１に示すように、
特徴点４０１と対応候補点３４それぞれの右側でブロッ
ク３５ａ、３５ｂをとり、ブロックマッチングという名
で知られているブロック３５ａ、３５ｂ間の対応する座
標値間の色・輝度値の差の絶対値もしくはその二乗の総
和（以下、これを「ブロック誤差」という）を計算す
る。参照点３２が画像２０１の画像中心線３１ａ（図１
０（Ａ）参照）よりも右側にある場合には、参照点３２
と対応候補点３４それぞれの左側で、同様にブロックを
とって、ブロック誤差を計算する。

【００５６】ブロック誤差が計算されると、予め蓄積さ
れているか、あるいは外部入力された閾値とこのブロッ
ク誤差を比較し、ブロック誤差が閾値より大きければ、
前記エピポーラ線上でのエッジ点探索に戻る。

【００５７】一方、ブロック誤差が閾値より小さけれ
ば、対応候補点３４を対応点として、その座標値４０２
を、三次元座標計算手段６に出力する。

【００５８】三次元座標計算手段６は、パラメータ３０
０である、（ｕ_i ^l、ｖ_i ^l）、（ｕ_i ^r、ｖ_i ^r）（ｉ＝０、
…、３）、およびｃ_j ^l、ｃ_j ^r（ｊ＝０、…、３）と、参
照点３２の座標値４０１である（ｕ^l、ｖ^l）と、その対
応点の座標値４０２（ｕ^r、ｖ^r）と、を用いて投影元の
点の三次元座標値５０１を計算する。

【００５９】この実施例において、三次元座標値５０１
の計算方法としては、例えば以下のような方法が考えら
れる。

【００６０】パラメータ（ｕ_i ^l、ｖ_i ^l）、（ｕ_i ^r、
ｖ_i ^r）（ｉ＝０、…、３）およびｃ_j ^l、ｃ_j ^r（ｊ＝０、
…、３）を用いると投影元の点の三次元座標値５０１
（α、β、γ）を解とする以下の連立方程式（２５）〜
（２８）が導かれる。

【００６１】

【数６】

【００６２】方程式（２５）、（２６）、（２７）、
（２８）から投影元の点の三次元座標値５０１（α、
β、γ）を算出する方法としては、例えば最小二乗法な
どが用いられる。投影元の点の三次元座標値５０１
（α、β、γ）は輪郭点抽出手段７に出力される。

【００６３】輪郭点抽出手段７は、まず画像２０１中で
座標値４０１の特徴点をマークし、次にマークされた点
の三次元座標値５０１が予め決めておくか、もしくは外
部入力された指定範囲外ならばマークを消去する。

【００６４】次に、各水平線上でマークされた点のう
ち、最も左の点と、最も右の点と、を被写体輪郭点とし
て抽出し、その座標値６０１を出力する。

【００６５】被写体表示手段８は、水平線単位で画像２
０１中の座標値６０１が示す左右の被写体輪郭点の間に
ある部分だけ被写体として抽出し、表示装置で表示す
る。

【００６６】図２は、本願第２の発明に係る被写体抽出
方式の一つの実施の形態の構成を示す図である。図２に
おいて、上記実施の形態の説明で参照した図１と同等の
要素には、同一の参照符号が付されている。

【００６７】この実施の形態に係る装置は、図１を参照
して説明した上記実施の形態の被写体抽出方式を実現す
る装置において、対応点検出手段がブロックマッチング
に用いるブロックサイズを入力するブロックサイズ入力
手段９が新たに追加されており、またこの実施の形態に
おいて、対応点検出手段１０は、ブロックサイズ入力手
段９から入力される複数のブロックサイズ７００、７１
０、…の各々に対して、画像２０１の特徴点４０１、画
像２０２、…における対応点座標値系列４０２、…、４
１２、…を出力する構成とされている。

【００６８】また図１に示した三次元座標計算手段６
は、この実施の形態においては、図２に示すように、対
応点座標値系列４０２、…、４１２、…を用いて各対応
点座標値系列ごとに特徴点の三次元座標値系列５０１、
５１１、…を算出する三次元座標計算手段１０に変更さ
れている。

【００６９】さらに図１に示した輪郭点抽出手段７は、
この実施の形態においては、図２に示すように、特徴点
の三次元座標値系列５０１、５１１、…ごとに被写体抽
出画像８０１、８１１、…を作成する被写体抽出手段１
２に変更されている。

【００７０】そして、図１に示した被写体表示手段８
は、この実施の形態においては、図２に示すように、被
写体抽出画像８０１、８１１、…を一つの画像に合成
し、表示する画像合成手段１３に変更されている。

【００７１】図２を参照して、被写体抽出手段１２は、
図１に示した輪郭点抽出手段７と同様に、三次元座標値
系列５０１、５１１、…ごとに被写体輪郭点を抽出した
後、図１に示した被写体表示手段８と同様に、水平線単
位で画像２０１中の座標値６０１が示す左右の被写体輪
郭点の間にある部分だけ被写体として抽出し（但し、表
示はしない）、被写体抽出画像８０１、８１１、…とし
て出力する。

【００７２】画像合成手段１３は、図１２に示すよう
に、被写体抽出画像８０１、８１１、…の抽出部同士を
論理和をとって合成し、一つの画像８００に合成する。
すなわち、各座標値ごとに画像８０１、８１１、…いず
れかの画像において被写体が抽出されているかを調べ、
もしそうであれば、抽出されているほうの画像から、そ
の画素を抽出する。

【００７３】この処理を繰り返して作成された合成画像
８００は表示装置で表示される。

【００７４】図３は、本願第３の発明に係る被写体抽出
方式の一つの実施の形態の構成を示す図である。図３に
おいて、図１と同等の要素には、同一の参照符号が付さ
れている。以下では、この実施の形態と、図１を参照し
て説明した上記第１の発明の実施の形態との相違点を主
に説明する。

【００７５】図３を参照すると、この実施の形態に係る
装置は、図１に示した上記第１の発明の実施の形態の被
写体抽出方式を実現する装置において、輪郭点抽出手段
７から入力される被写体輪郭点の座標値６０１を用いて
輪郭線の連続性から、前記被写体輪郭点が、正常抽出点
か又はノイズであるかを判定し、正常抽出点である場合
にはその被写体輪郭点の座標９０１を被写体表示手段８
に出力し、一方、ノイズである場合には近傍正常抽出点
を参照して画像２０１中の他の被写体輪郭候補点の座標
値１００１を対応点検出手段５および三次元座標計算手
段６に出力するノイズ修正手段１４が付加されている。

【００７６】この実施の形態におけるノイズ修正手段１
３について、図１３を参照して説明する。図１３には、
輪郭線不連続部の探索・修正処理が模式的に示されてい
る。

【００７７】図１３を参照すると、まず、ノイズ修正手
段１３は、画像２０１中を水平線単位で上から下に向か
って座標値６０１（図３参照）が示す被写体輪郭点を探
索し、輪郭点４１、４２のような連続性が著しく損なわ
れている点を探索する。この連続性の判定は、予め蓄積
されているか、もしくは外部から設定入力された閾値と
輪郭点４１、４２のｕ^l座標値差の比較で行う。

【００７８】輪郭点４１、４２のような不連続部が見つ
かると、下の輪郭点４１を注目輪郭点４１とし、その一
つ上の輪郭点４２を比較輪郭点４２として、比較輪郭点
５２とｕ^l座標値が注目輪郭点４１と同じ水平線上の点
を指標輪郭点４３と定める。指標輪郭点４３の同じ水平
線上で特徴点を、特徴点抽出手段４と同様にして探し、
指標輪郭点４３に最も近い特徴点を輪郭候補点４４とし
てその座標値１００１を対応点検出手段５および三次元
座標計算手段６に出力する。

【００７９】上記の処理後、対応点検出手段５および三
次元座標計算手段６を経て計算された輪郭候補点４４の
三次元座標値が上記指定範囲内に入っていれば、輪郭候
補点４４を正常抽出の輪郭点とし、そうでなければ、元
の輪郭点を正常抽出の輪郭点とする。

【００８０】さらに画像２０１中を水平線単位で下から
上に向けて、注目輪郭点と比較輪郭点を上下入れかえ、
同様の処理に行う。以上の処理によって得られた輪郭点
の座標値９０１は被写体表示手段８に出力される。

【００８１】図４は、本願第４の発明に係る被写体抽出
方式の一つの実施の形態の構成を示す図である。図４に
おいて、図１と同等の要素には、同一の参照符号が付さ
れている。以下では、この実施の形態と、図１を参照し
て説明した上記第１の発明の実施の形態との相違点を主
に説明する。

【００８２】図４を参照すると、この実施の形態に係る
装置は、図１を参照して説明した上記第１の発明の実施
の形態の被写体抽出方式を実現する装置において、輪郭
点抽出手段７から入力される被写体輪郭点の座標値６０
１を用いて輪郭線の連続性から、前記被写体輪郭点が、
正常抽出点か又はノイズであるかを判定し、正常抽出点
の座標値１１０１とノイズ点の座標値１１０２を出力す
るノイズ判定手段１５と、ノイズ部を正常抽出点の座標
値１１０１と輪郭線の連続性から復元する輪郭線平滑手
段１６と、が付加されている。

【００８３】この実施の形態におけるノイズ判定手段１
５の動作について、図１４を参照して説明する。

【００８４】図１４を参照すると、まず、ノイズ判定手
段１５は、画像２０１中を水平線単位で上から下に向か
って座標値６０１（図４参照）が示す被写体輪郭点を探
索し、輪郭点５１、５２のような連続性が著しく損なわ
れている点を探索する。この連続性の判定は、予め蓄積
されてているか、もしくは外部から設定入力された閾値
と、輪郭点５１、５２のｕ^l座標値差の比較で行う。

【００８５】輪郭点５１、５２のような不連続部が見つ
かると、下の方の輪郭点５１を注目輪郭点５１、上の方
の輪郭点５２を比較輪郭点５２、比較輪郭点５２のさら
に一つ上の輪郭点５３を予測指標輪郭点５３として、比
較輪郭点５２と予測指標輪郭点５３から輪郭線の傾きを
予測して、注目輪郭点５１から下の適当なｖ^l方向探索
区間の各水平線で傾斜予測点５４１、５４２等の座標値
を算出し、保存する。

【００８６】次に、注目輪郭点５１を含む水平線から下
方に向かって、各水平線上で傾斜予測点を中心とする適
当なｕ^l方向探索区間で被写体輪郭点を探す。もし、こ
の操作で端点候補点が見つかれば、そこで探索を中止
し、その端点候補点を終端輪郭点５５とする。ここで、
比較輪郭点５２を含む探索水平線と、終端輪郭点５５を
含む探索水平線と、ではさまれた範囲をノイズ部５６と
する。

【００８７】ノイズ部５６の傾斜予測点５４１、５４２
等の座標値１１０２、およびノイズ部以外の被写体輪郭
点の座標値１１０１は、輪郭部平滑手段１６（図４参
照）に出力される。

【００８８】次に輪郭線平滑手段１６の動作の詳細につ
いて図１５を参照して説明する。

【００８９】輪郭線平滑手段１６は、画像２０１中の同
じ水平線上で上記ノイズ部５６の各傾斜予測点５４１、
５４２等を中心として特徴点抽出手段４と同様にして特
徴点を探索し、傾斜予測点に最も近い特徴点５７１、５
７２等を正しい被写体輪郭点として更新する。すべての
ノイズ部５６の被写体輪郭点が更新された後、すべての
被写体輪郭点の座標値１２０１は被写体表示手段８に出
力される。

【００９０】被写体表示手段８は、水平線単位で画像２
０１中の座標値１２０１が示す左右の被写体輪郭点の間
にある部分だけを抽出し、表示装置で表示する。

【００９１】

【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。

【００９２】（１）請求項１記載の本発明によれば、複
数の撮像装置で被写体抽出を行う際、三次元座標によっ
て抽出範囲を決める閾値の決定を容易とする、という効
果を奏する。

【００９３】（２）また請求項１記載の本発明によれ
ば、撮像装置の位置および姿勢調整なしに撮像画像中か
ら被写体のみを抽出できる、という効果を奏する。

【００９４】（３）さらに請求項１記載の本発明によれ
ば、被写体の色・輝度および三次元位置情報等の事前情
報、赤外線照射等の能動的手段および焦点情報などの照
明条件等に左右される不安定な情報を用いることなく、
撮像画像中から被写体のみを抽出できる、という効果を
奏する。

【００９５】（４）そして、請求項２、３、４に記載の
本発明によれば、撮像画像中から被写体のみを抽出する
際、輪郭部が滑らかなノイズの少ない被写体画像を作成
することができる、という効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図を示す。

【図２】本発明の第２の実施の形態の構成を示すブロッ
ク図を示す。

【図３】本発明の第３の実施の形態の構成を示すブロッ
ク図を示す。

【図４】本発明の第４の実施の形態の構成を示すブロッ
ク図を示す。

【図５】本発明の実施の形態を説明するための図であ
り、パラメータ算出用のカメラ配置を示す図である。

【図６】本発明の実施の形態を説明するための図であ
り、既知パタンが描かれた立体を示す斜視図である。

【図７】本発明の実施の形態におけるパラメータ計算手
段の構成の一例を示す図である。

【図８】本発明の実施の形態を説明するための図であ
り、既知パタンが描かれた立体の画像を示す図である。

【図９】本発明の実施の形態を説明するための図であ
り、被写体抽出用のカメラ配置を示す図である。

【図１０】本発明の実施の形態を説明するための図であ
り、被写体画像を示す図である。

【図１１】本発明の実施の形態を説明するための図であ
り、右側ブロックマッチングを模式的に示す図である。

【図１２】本発明の実施の形態を説明するための図であ
り、合成処理を模式的に示す図である。

【図１３】本発明の実施の形態を説明するための図であ
り、輪郭線不連続部の探索・修正処理を模式的に示す図
である。

【図１４】本発明の実施の形態を説明するための図であ
り、輪郭線不連続部の探索処理を模式的に示す図であ
る。

【図１５】本発明の実施の形態を説明するための図であ
り、輪郭線不連続部の補間処理を模式的に示す図であ
る。

【符号の説明】

１撮像手段１ａ、１ｂ撮像装置２画像蓄積手段２ａ、２ｂ画像蓄積装置３パラメータ計算手段３ａ、３ｂ画像バッファ装置３ｃ計算装置３ｄ数値データ蓄積装置４特徴点抽出手段５対応点検出手段６三次元座標計算手段７輪郭点抽出手段８被写体表示手段９ブロックサイズ入力手段１０対応点検出手段１１三次元座標計算手段１２被写体抽出手段１３画像合成手段１４ノイズ修正手段１５ノイズ判定手段１６輪郭線平滑手段２１既知パタンが描かれた立体２２被写体２３撮像装置１ａ、１ｂで撮像面中央に撮像される範
囲３１ａ画像２０１の鉛直方向中心線３１ｂ画像２０２の鉛直方向中心線３２参照点３３エピポーラ線３４対応候補点３５ａ、３５ｂブロック４１注目輪郭点４２比較輪郭点４３指標輪郭点４４輪郭候補点５１注目輪郭点５２比較輪郭点５３予測指標輪郭点５４１、５４２、５４３、５４４傾斜予測点５５終端輪郭点５６ノイズ部５７１、５７２、５７３最近接特徴点１０１、１０２、… 既知パタンが描かれた立体の画像２０１、２０２、… 被写体画像３００ステレオ処理および復元処理に必要なパラメー
タ４０１画像２０１中の特徴点の座標値４０２、… 画像４０２、４０３、…中の特徴点４０１
の対応点の座標値４１２、… 画像４０２、４０３、…中の特徴点４０１
の対応点の座標値５０１、５１１、… 特徴点の三次元座標値７００、７１０、… ブロックサイズをあらわす数値８００合成画像８０１、８１１、… 被写体抽出画像９０１被写体輪郭点の座標値１００１被写体候補点の座標値１１０１正常抽出の被写体輪郭点の座標値１１０２ノイズ部の座標値１２０１被写体輪郭点の座標値Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６既知パタンが描
かれた立体上の特徴点

Claims

(57)【特許請求の範囲】

【請求項１】撮像画像から被写体の抽出を行う方式であ
って、前記被写体を撮像する複数の撮像装置からなる撮像手段
と、前記撮像手段にて撮像された複数の画像を蓄積する画像
蓄積手段と、既知パタンが描かれた立体を撮像して得られた画像から
前記立体上の特徴点を抽出し、前記撮像装置の相対位置
及び姿勢を表すパラメータを算出するパラメータ計算手
段と、前記複数画像のうちのいずれか一つの画像において特徴
点を指定し、前記画像中での前記特徴点の座標値を出力
する特徴点抽出手段と、前記特徴点の座標値によって、前記複数の画像のうち、
特徴点の抽出がなされていない画像から前記特徴点に対
応する点（以下「対応点」という）を検出し該対応点の
座標値を出力する対応点検出手段と、前記撮像装置の相対位置及び姿勢のパラメータと、前記
特徴点の座標値と、前記対応点の座標値と、を用いて、
前記特徴点の三次元座標値を求める三次元座標計算手段
と、前記特徴点の座標値と前記三次元座標値によって前記画
像蓄積手段から入力される画像中において前景にある被
写体の輪郭点の座標値を抽出する輪郭点抽出手段と、前記輪郭点の座標値によって前記画像蓄積手段から入力
される画像中の前景にある被写体を抽出して表示する被
写体表示手段と、を備えることを特徴とする被写体抽出方式。
【請求項２】撮像画像から被写体の抽出を行う方式であ
って、前記被写体を撮像する複数の撮像装置からなる撮像手段
と、前記撮像手段で撮像された複数の画像を蓄積する画像蓄
積手段と、既知パタンが描かれた立体を撮像して得られた画像中の
前記立体上の特徴点を抽出することにより前記撮像装置
の相対位置および姿勢を表すパラメータを算出するパラ
メータ計算手段と、前記複数画像のうちのいずれか一つの画像において特徴
点を指定し、前記画像中での前記特徴点の座標値を出力
する特徴点抽出手段と、ブロックマッチングに必要な複数のブロックサイズ入力
するブロックサイズ入力手段と、前記特徴点座標値によって複数の前記ブロックサイズご
とにブロックマッチングにより前記複数画像中のうち特
徴点を抽出しなかった画像中から前記特徴点に対応する
点の座標値の組を出力する対応点検出手段と、前記撮像装置の相対位置および姿勢のパラメータと、前
記特徴点の座標値と前記対応点の座標値との組を用いて
前記対応点の座標値の組ごとに前記特徴点の三次元座標
値を求める三次元座標計算手段と、前記特徴点の座標値を用いて前記三次元座標計算手段か
ら入力された前記三次元座標値の組ごとに前記画像蓄積
手段から入力される画像中の前景にある被写体を抽出し
た複数の画像を作成する被写体抽出手段と、前記被写体抽出手段から入力された複数の前記被写体抽
出画像を合成し表示する画像合成手段と、を備えることを特徴とする被写体抽出方式。
【請求項３】撮像画像から被写体の抽出を行う方式であ
って、被写体を撮像する複数の撮像装置からなる撮像手段と、前記撮像手段で撮像された複数の画像を蓄積する画像蓄
積手段と、既知パタンが描かれた立体を撮像して得られた画像中の
前記立体上の特徴点を抽出することで前記撮像装置の相
対位置および姿勢を表すパラメータを算出するパラメー
タ計算手段と、前記複数画像の内のいずれか一つの画像において特徴点
を指定し、前記画像中での前記特徴点の座標値を出力す
る特徴点抽出手段と、前記特徴点座標値によって前記複数画像中のうち特徴点
を抽出しなかった画像中から前記特徴点に対応する点の
座標値を出力する対応点検出手段と、前記撮像装置の相対位置および姿勢のパラメータと、前
記特徴点の座標値と、前記対応点の座標値と、を用いて
特徴点の三次元座標値を求める三次元座標計算手段と、前記特徴点座標値と前記三次元座標値によって前記画像
蓄積手段から入力される画像中の前景にある被写体の輪
郭点の座標値を抽出する輪郭点抽出手段と、前記輪郭点の座標値の連続性から正常抽出か又はノイズ
であるかを判定し、ノイズと判定された部分においては
近傍正常抽出点の座標値から他の被写体輪郭候補点を抽
出して前記対応点検出手段及び前記三次元座標計算手段
に出力するノイズ修正手段と、前記ノイズ修正手段によって出力される輪郭点の座標値
によって前記画像蓄積手段から入力される画像中の前景
にある被写体を抽出して表示する被写体表示手段と、を備えることを特徴とする被写体抽出方式。
【請求項４】撮像画像から被写体の抽出を行う方式であ
って、被写体を撮像する複数の撮像装置からなる撮像手段と、前記撮像手段で撮像された複数の画像を蓄積する画像蓄
積手段と、既知パタンが描かれた立体を撮像して得られた画像中の
前記立体上の特徴点を抽出することで前記撮像装置の相
対位置および姿勢を表すパラメータを算出するパラメー
タ計算手段と、前記複数画像の内のいずれか一つの画像において特徴点
を指定し、前記画像中での前記特徴点の座標値を出力す
る特徴点抽出手段と、前記特徴点座標値によって前記複数画像中のうち特徴点
を抽出しなかった画像中から前記特徴点に対応する点の
座標値を出力する対応点検出手段と、前記撮像装置の相対位置および姿勢のパラメータと、前
記特徴点の座標値と、前記対応点の座標値と、を用いて
特徴点の三次元座標値を求める三次元座標計算手段と、前記特徴点座標値と前記三次元座標値によって前記画像
蓄積手段から入力される画像中の前景にある被写体の輪
郭点の座標値を抽出する輪郭点抽出手段と、前記輪郭点の前記画像中の座標値の連続性から正常抽出
かノイズであるかを判定するノイズ判定手段と、前記ノイズ判定手段がノイズと判定した輪郭点を、正常
抽出と判定された輪郭点の連続性を用いて復元を行う輪
郭線平滑手段と、前記輪郭線平滑手段から入力される輪郭線座標値によっ
て前記画像蓄積手段から入力される画像中の前景にある
被写体を抽出して表示する被写体表示手段と、を備えることを特徴とする被写体抽出方式。
【請求項５】前記対応点検出手段が、前記パラメータ計
算手段にて算出蓄積されているパラメータを用いること
で、前記一つ画像の特徴点に対応する、前記特徴点が抽
出されていない他の画像の前記対応点を拘束する直線を
導出し、前記直線上で対応点候補を探索することを、特
徴とする請求項１記載の被写体抽出方式。