JP3008875B2 - 被写体抽出装置 - Google Patents
被写体抽出装置Info
- Publication number
- JP3008875B2 JP3008875B2 JP9040533A JP4053397A JP3008875B2 JP 3008875 B2 JP3008875 B2 JP 3008875B2 JP 9040533 A JP9040533 A JP 9040533A JP 4053397 A JP4053397 A JP 4053397A JP 3008875 B2 JP3008875 B2 JP 3008875B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- subject
- feature point
- dimensional coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Description
【０００１】
【発明の属する技術分野】本発明は、入力画像から指定
空間内にある被写体のみを抽出する被写体抽出装置に関
する。
空間内にある被写体のみを抽出する被写体抽出装置に関
する。
【０００２】
【従来の技術】画像中から特定のオブジェクトや被写体
のみを抽出する方法としては、従来、特開平７−２２０
０９５記載のような、予め蓄えられておかれた被写体情
報を用いる方法、特開平７−１７７４２３および特願平
８−２７１９１４記載のような、２台以上の撮像装置を
使用する方法などがある。
のみを抽出する方法としては、従来、特開平７−２２０
０９５記載のような、予め蓄えられておかれた被写体情
報を用いる方法、特開平７−１７７４２３および特願平
８−２７１９１４記載のような、２台以上の撮像装置を
使用する方法などがある。
【０００３】特開平７−２２００９５記載の、予め蓄え
ておかれた被写体情報を用いる方法は、次のようにして
行われる。まず、物体側の主点と物体の一部との距離、
焦点距離やセンサの大きさ、画素数などの撮像装置に関
する情報、被写体の推定を被写体の大まかな大きさなど
の被写体に関する情報を予め記録しておく。次に、撮像
装置に関する情報から被写体の存在部を予測して候補と
なる撮像画像中の一部を抽出し、その中で前記の被写体
に関する予備情報と最も合致する前記抽出部分を被写体
として選択する。
ておかれた被写体情報を用いる方法は、次のようにして
行われる。まず、物体側の主点と物体の一部との距離、
焦点距離やセンサの大きさ、画素数などの撮像装置に関
する情報、被写体の推定を被写体の大まかな大きさなど
の被写体に関する情報を予め記録しておく。次に、撮像
装置に関する情報から被写体の存在部を予測して候補と
なる撮像画像中の一部を抽出し、その中で前記の被写体
に関する予備情報と最も合致する前記抽出部分を被写体
として選択する。
【０００４】次に、特開平７−１７７４２３記載の、２
台以上の撮像装置を使用して撮像装置間の視差から距離
情報を抽出する方法を説明する。それは、２台以上の撮
像装置で撮像した各画像中で対応する部分を見つけ出
し、その画像中での座標差を視差として抽出し、視差の
大きさで前景にある被写体を分離することで行われる。
台以上の撮像装置を使用して撮像装置間の視差から距離
情報を抽出する方法を説明する。それは、２台以上の撮
像装置で撮像した各画像中で対応する部分を見つけ出
し、その画像中での座標差を視差として抽出し、視差の
大きさで前景にある被写体を分離することで行われる。
【０００５】最後の特願平８−２７１９１４記載の、２
台以上の撮像装置を使用する方法では、被写体を各撮像
装置の撮像面中央に撮像して撮像面中心から各画像中の
特徴点の対応点探索を行い、三次元座標を計算すること
で輪郭点判定を行う。対応点探索が失敗した部分は輪郭
線の連続性を仮定した復元処理で抽出する。
台以上の撮像装置を使用する方法では、被写体を各撮像
装置の撮像面中央に撮像して撮像面中心から各画像中の
特徴点の対応点探索を行い、三次元座標を計算すること
で輪郭点判定を行う。対応点探索が失敗した部分は輪郭
線の連続性を仮定した復元処理で抽出する。
【０００６】
【発明が解決しようとする課題】しかしながら、上記の
方法にはそれぞれ以下のような問題点がある。
方法にはそれぞれ以下のような問題点がある。
【０００７】特開平７−２２００９５記載の被写体情報
を用いる方法では、予め被写体の大きさなどに関する情
報、被写体と撮像装置間の距離、撮像装置の焦点距離な
どが必要であり、被写体情報が蓄えれていない物体を抽
出することは不可能である。さらに、この方法では、物
体側の主点から物体の一部までの距離か像側の主点から
像までの距離のいずれかを必要とし、前者は距離を得る
際、赤外線の照射部などの高価な装置を必要とする問題
点がある。この後者はオートフォーカスのような照明な
どの撮影条件によってはうまく動作しない方法に頼らな
ければならないため、安定した抽出が行えないという問
題点がある。
を用いる方法では、予め被写体の大きさなどに関する情
報、被写体と撮像装置間の距離、撮像装置の焦点距離な
どが必要であり、被写体情報が蓄えれていない物体を抽
出することは不可能である。さらに、この方法では、物
体側の主点から物体の一部までの距離か像側の主点から
像までの距離のいずれかを必要とし、前者は距離を得る
際、赤外線の照射部などの高価な装置を必要とする問題
点がある。この後者はオートフォーカスのような照明な
どの撮影条件によってはうまく動作しない方法に頼らな
ければならないため、安定した抽出が行えないという問
題点がある。
【０００８】複数の撮像装置を用いて視差で奥行き判定
を行う方法は、前景と後景を判定する閾値に被写体抽出
の精度が大きく依存するが、精度よく抽出を行うにはこ
の閾値の決定が困難であるという問題点がる。特開平７
−１７７４２３記載の装置では、視差から三次元座標を
求めてこの解決を図っているが、そのため複数の撮像装
置間の相対位置関係や光軸のなす角度を制御および計測
しなければならない面倒が生じる。また、この方法では
撮像画像中の対応点探索で誤った対応が生じた場合、そ
の部分はノイズとして抽出される、もしくは被写体の一
部が欠落してしまう、という問題点もある。
を行う方法は、前景と後景を判定する閾値に被写体抽出
の精度が大きく依存するが、精度よく抽出を行うにはこ
の閾値の決定が困難であるという問題点がる。特開平７
−１７７４２３記載の装置では、視差から三次元座標を
求めてこの解決を図っているが、そのため複数の撮像装
置間の相対位置関係や光軸のなす角度を制御および計測
しなければならない面倒が生じる。また、この方法では
撮像画像中の対応点探索で誤った対応が生じた場合、そ
の部分はノイズとして抽出される、もしくは被写体の一
部が欠落してしまう、という問題点もある。
【０００９】特願平８−２７１９１４記載の方法は視差
の代りに三次元座標を計算することで、閾値の決定の問
題を容易にしており、また撮像装置間の相対位置関係や
光軸のなす角度を制御もしくは計測する代りに既知パタ
ンを撮像して撮像装置間の相対位置関係や光軸のなす角
度を表すパラメータを導出している。対応点探索の問題
に関しても、被写体が各撮像面の中心に撮像されている
ことを用いて、撮像面中心から優先的に対応点を探索す
ることで対応点探索の誤りを減らしている。また、対応
点探索で誤った対応が生じた場合でも連続性を仮定した
輪郭復元によって抽出されなかったり、誤抽出された部
分を修復している。しかし、この方法は被写体が全撮像
装置の撮像面中で中央に撮像されるように撮像装置を調
整しなければならない問題点がある。また、背景が複雑
なシーンである場合には、対応点探索の誤りが増え輪郭
復元に頼る部分が増大するため、輪郭線が複雑な曲線の
場合は、うまく抽出されない問題点もある。
の代りに三次元座標を計算することで、閾値の決定の問
題を容易にしており、また撮像装置間の相対位置関係や
光軸のなす角度を制御もしくは計測する代りに既知パタ
ンを撮像して撮像装置間の相対位置関係や光軸のなす角
度を表すパラメータを導出している。対応点探索の問題
に関しても、被写体が各撮像面の中心に撮像されている
ことを用いて、撮像面中心から優先的に対応点を探索す
ることで対応点探索の誤りを減らしている。また、対応
点探索で誤った対応が生じた場合でも連続性を仮定した
輪郭復元によって抽出されなかったり、誤抽出された部
分を修復している。しかし、この方法は被写体が全撮像
装置の撮像面中で中央に撮像されるように撮像装置を調
整しなければならない問題点がある。また、背景が複雑
なシーンである場合には、対応点探索の誤りが増え輪郭
復元に頼る部分が増大するため、輪郭線が複雑な曲線の
場合は、うまく抽出されない問題点もある。
【００１０】本発明の目的は、予め被写体や撮像装置に
関する情報を必要とせず入力画像から被写体のみを抽出
する被写体抽出装置を提供することにある。
関する情報を必要とせず入力画像から被写体のみを抽出
する被写体抽出装置を提供することにある。
【００１１】本発明の他の目的は、複数の撮像装置から
得られた視差情報で被写体抽出を行う際、前景と後景を
判定する閾値の決定を容易にする被写体抽出装置を提供
することにある。
得られた視差情報で被写体抽出を行う際、前景と後景を
判定する閾値の決定を容易にする被写体抽出装置を提供
することにある。
【００１２】本発明の他の目的は、撮像装置の位置およ
び姿勢調査を行わずに入力画像から被写体のみを抽出す
る被写体抽出装置を提供することにある。
び姿勢調査を行わずに入力画像から被写体のみを抽出す
る被写体抽出装置を提供することにある。
【００１３】本発明の他の目的は、対応点抽出精度を上
げ、複雑な曲線である輪郭線も精度よく抽出する被写体
抽出装置を提供することにある。
げ、複雑な曲線である輪郭線も精度よく抽出する被写体
抽出装置を提供することにある。
【００１４】
【課題を解決するための手段】本発明の第１の被写体抽
出装置は、撮像画像からの被写体の抽出時に基準となる
基準画像を撮像する一つの基準撮像部と、撮像画像から
の被写体抽出時に参照される参照画像を撮像する複数の
参照撮像部から構成された撮像手段と、各撮像部で撮像
された画像をそれぞれ蓄積する複数の画像蓄積部で構成
された画像蓄積手段と、各画像蓄積部に蓄積された画像
中の特徴点座標を抽出する複数の特徴点抽出部で構成さ
れた特徴点抽出手段と、既知パタンが描かれた立体を撮
像した際の各特徴点抽出部中の特徴点座標から基準撮像
部と参照撮像部の相対位置および姿勢を表すパラメータ
を計算し、蓄積するパラメータ計算手段と、特徴点抽出
部中の基準画像と各参照画像の特徴点座標とパラメータ
を用いて特徴点の三次元座標を計算する複数の三次元座
標計算部で構成された三次元座標計算手段と、三次元座
標計算部で計算された複数の三次元座標から前記特徴点
の位置推定誤差を最小にする三次元座標を決定する三次
元座標決定手段と、三次元座標決定手段で決定された三
次元座標に対応する前記特徴点のうち被写体輪郭点のみ
を抽出する輪郭点抽出手段と、画像中の被写体輪郭点で
囲まれた部分のみを表示する被写体表示手段を有する。
出装置は、撮像画像からの被写体の抽出時に基準となる
基準画像を撮像する一つの基準撮像部と、撮像画像から
の被写体抽出時に参照される参照画像を撮像する複数の
参照撮像部から構成された撮像手段と、各撮像部で撮像
された画像をそれぞれ蓄積する複数の画像蓄積部で構成
された画像蓄積手段と、各画像蓄積部に蓄積された画像
中の特徴点座標を抽出する複数の特徴点抽出部で構成さ
れた特徴点抽出手段と、既知パタンが描かれた立体を撮
像した際の各特徴点抽出部中の特徴点座標から基準撮像
部と参照撮像部の相対位置および姿勢を表すパラメータ
を計算し、蓄積するパラメータ計算手段と、特徴点抽出
部中の基準画像と各参照画像の特徴点座標とパラメータ
を用いて特徴点の三次元座標を計算する複数の三次元座
標計算部で構成された三次元座標計算手段と、三次元座
標計算部で計算された複数の三次元座標から前記特徴点
の位置推定誤差を最小にする三次元座標を決定する三次
元座標決定手段と、三次元座標決定手段で決定された三
次元座標に対応する前記特徴点のうち被写体輪郭点のみ
を抽出する輪郭点抽出手段と、画像中の被写体輪郭点で
囲まれた部分のみを表示する被写体表示手段を有する。
【００１５】既知のパタンが描かれた立体を先に撮像し
て撮像部の位置および姿勢を表すパラメータを取得する
ので、予め被写体や撮像部に関する情報を必要とせず入
力画像から被写体のみを抽出できる。既知のパタンで描
かれた立体の位置を元にして三次元座標を閾値として与
えることができるので、複数の撮像部で被写体抽出を行
う際、三次元座標によって抽出範囲を決める閾値の決定
が容易になる。既知のパタンが描かれた立体を先に撮像
して撮像部の位置および姿勢を表すパラメータを取得す
るので、撮像部の位置および姿勢の調整なしに撮像画像
中から被写体のみを抽出できる。三次元座標決定手段で
照明条件などに影響されない幾何学的な位置関係により
真の対応点を決定できるので、対応点抽出精度を上げ、
複雑な曲線である輪郭線も精度よく抽出することができ
る。
て撮像部の位置および姿勢を表すパラメータを取得する
ので、予め被写体や撮像部に関する情報を必要とせず入
力画像から被写体のみを抽出できる。既知のパタンで描
かれた立体の位置を元にして三次元座標を閾値として与
えることができるので、複数の撮像部で被写体抽出を行
う際、三次元座標によって抽出範囲を決める閾値の決定
が容易になる。既知のパタンが描かれた立体を先に撮像
して撮像部の位置および姿勢を表すパラメータを取得す
るので、撮像部の位置および姿勢の調整なしに撮像画像
中から被写体のみを抽出できる。三次元座標決定手段で
照明条件などに影響されない幾何学的な位置関係により
真の対応点を決定できるので、対応点抽出精度を上げ、
複雑な曲線である輪郭線も精度よく抽出することができ
る。
【００１６】本発明の第２の被写体抽出装置は、撮像画
像からの被写体の抽出時に基準となる基準画像を撮像す
る一つの基準撮像部と、撮像画像からの被写体抽出時に
参照される参照画像を撮像する複数の参照撮像部から構
成された撮像手段と、各撮像部で撮像された画像をそれ
ぞれ蓄積する複数の画像蓄積部で構成された画像蓄積手
段と、各画像蓄積部に蓄積された画像中の特徴点座標お
よびその近傍画素の色輝度情報を抽出する複数の特徴点
近傍抽出部で構成された特徴点近傍抽出手段と、既知パ
タンが描かれた立体を撮像した際の各特徴点近傍抽出部
中の特徴点座標から基準撮像部と参照撮像部の相対位置
および姿勢を表すパラメータを計算し、蓄積するパラメ
ータ計算手段と、特徴点近傍抽出部中の基準画像と各参
照画像の特徴点座標と特徴点近傍画素色輝度情報を用い
て各画像中の特徴点を対応づけ、特徴点対応組を出力す
る複数の対応点決定部を備えた対応点決定手段と、各対
応点決定部から出力された特徴点対応組とパラメータを
用いて特徴点の三次元座標を計算する複数の三次元座標
計算部で構成された三次元座標計算手段と、三次元座標
計算部で計算された複数の三次元座標から前記特徴点の
位置推定誤差を最小にする三次元座標を決定する三次元
座標決定手段と、三次元座標決定手段で決定された三次
元座標に対応する特徴点のうち被写体輪郭点のみを抽出
する輪郭点抽出手段と、画像中の被写体輪郭点で囲まれ
た部分のみを表示する被写体表示手段を有する。
像からの被写体の抽出時に基準となる基準画像を撮像す
る一つの基準撮像部と、撮像画像からの被写体抽出時に
参照される参照画像を撮像する複数の参照撮像部から構
成された撮像手段と、各撮像部で撮像された画像をそれ
ぞれ蓄積する複数の画像蓄積部で構成された画像蓄積手
段と、各画像蓄積部に蓄積された画像中の特徴点座標お
よびその近傍画素の色輝度情報を抽出する複数の特徴点
近傍抽出部で構成された特徴点近傍抽出手段と、既知パ
タンが描かれた立体を撮像した際の各特徴点近傍抽出部
中の特徴点座標から基準撮像部と参照撮像部の相対位置
および姿勢を表すパラメータを計算し、蓄積するパラメ
ータ計算手段と、特徴点近傍抽出部中の基準画像と各参
照画像の特徴点座標と特徴点近傍画素色輝度情報を用い
て各画像中の特徴点を対応づけ、特徴点対応組を出力す
る複数の対応点決定部を備えた対応点決定手段と、各対
応点決定部から出力された特徴点対応組とパラメータを
用いて特徴点の三次元座標を計算する複数の三次元座標
計算部で構成された三次元座標計算手段と、三次元座標
計算部で計算された複数の三次元座標から前記特徴点の
位置推定誤差を最小にする三次元座標を決定する三次元
座標決定手段と、三次元座標決定手段で決定された三次
元座標に対応する特徴点のうち被写体輪郭点のみを抽出
する輪郭点抽出手段と、画像中の被写体輪郭点で囲まれ
た部分のみを表示する被写体表示手段を有する。
【００１７】特徴点近傍の色輝度情報を用いて対応点決
定部で特徴点対応組を決めることで第１の被写体抽出装
置より対応候補点を絞ることができるので、第１の被写
体抽出装置の対応点抽出精度をさらに向上させることが
できる。
定部で特徴点対応組を決めることで第１の被写体抽出装
置より対応候補点を絞ることができるので、第１の被写
体抽出装置の対応点抽出精度をさらに向上させることが
できる。
【００１８】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１９】図１は本発明の第１の実施形態の被写体抽
出装置のブロック図である。
出装置のブロック図である。
【００２０】本実施形態の被写体抽出装置は、被写体抽
出時に基準となる基準画像を撮像する撮像部１ａと被写
体抽出時に参照される参照画像を撮像する撮像部１ｂ，
１ｃで構成された撮像装置１と、撮像部１ａ，１ｂ，１
ｃで撮像された、既知パタンが描かれた立体２１の画像
１０ａ，１０ｂ，１０ｃと被写体２２の画像２０ａ，２
０ｂ，２０ｃをそれぞれ蓄積する画像蓄積部２ａ，２
ｂ，２ｃで構成された画像蓄積装置２と、画像蓄積部２
ａ，２ｂ，２ｃに蓄えられている画像１０ａ，１０ｂ，
１０ｃの特徴点座標３０ａ，３０ｂ，３０ｃおよび画像
２０ａ，２０ｂ，２０ｃ中の特徴点座標５０ａ，５０
ｂ，５０ｃをそれぞれ抽出し、蓄積する特徴点抽出部３
ａ，３ｂ，３ｃで構成された特徴点抽出装置３と、特徴
点抽出部３ａ，３ｂ，３ｃで抽出された特徴点座標３０
ａ，３０ｂ，３０ｃから、基準撮像部１ａと参照撮像１
ｂ，１ｃの相対位置および姿勢を表すパラメータ４００
を計算し、蓄積しておくパラメータ計算装置４と、特徴
点抽出部３ａ，３ｂで抽出された特徴点座標５０ａ，５
０ｂとパラメータ４００により三次元座標候補値６０ｂ
を計算する三次元座標計算部５ｂと特徴点抽出部３ａ，
３ｃで抽出された特徴点座標５０ａ，５０ｃとパラメー
タ４００により三次元座標候補値６０ｃを計算する三次
元座標計算部５ｃで構成された三次元座標計算装置５
と、三次元座標候補値６０ｂ，６０ｃから特徴点座標５
０ａに対応する真の三次元座標値７００を決定する三次
元座標決定装置６と、三次元座標値７００から特徴点座
標５０ａが被写体２２の輪郭点か否かを判定し、被写体
輪郭点座標８００を抽出する輪郭点抽出装置７と、被写
体輪郭点座標８００から画像２０ａ中の被写体輪郭点に
囲まれた部分のみ表示する被写体表示装置８で構成され
る。
出時に基準となる基準画像を撮像する撮像部１ａと被写
体抽出時に参照される参照画像を撮像する撮像部１ｂ，
１ｃで構成された撮像装置１と、撮像部１ａ，１ｂ，１
ｃで撮像された、既知パタンが描かれた立体２１の画像
１０ａ，１０ｂ，１０ｃと被写体２２の画像２０ａ，２
０ｂ，２０ｃをそれぞれ蓄積する画像蓄積部２ａ，２
ｂ，２ｃで構成された画像蓄積装置２と、画像蓄積部２
ａ，２ｂ，２ｃに蓄えられている画像１０ａ，１０ｂ，
１０ｃの特徴点座標３０ａ，３０ｂ，３０ｃおよび画像
２０ａ，２０ｂ，２０ｃ中の特徴点座標５０ａ，５０
ｂ，５０ｃをそれぞれ抽出し、蓄積する特徴点抽出部３
ａ，３ｂ，３ｃで構成された特徴点抽出装置３と、特徴
点抽出部３ａ，３ｂ，３ｃで抽出された特徴点座標３０
ａ，３０ｂ，３０ｃから、基準撮像部１ａと参照撮像１
ｂ，１ｃの相対位置および姿勢を表すパラメータ４００
を計算し、蓄積しておくパラメータ計算装置４と、特徴
点抽出部３ａ，３ｂで抽出された特徴点座標５０ａ，５
０ｂとパラメータ４００により三次元座標候補値６０ｂ
を計算する三次元座標計算部５ｂと特徴点抽出部３ａ，
３ｃで抽出された特徴点座標５０ａ，５０ｃとパラメー
タ４００により三次元座標候補値６０ｃを計算する三次
元座標計算部５ｃで構成された三次元座標計算装置５
と、三次元座標候補値６０ｂ，６０ｃから特徴点座標５
０ａに対応する真の三次元座標値７００を決定する三次
元座標決定装置６と、三次元座標値７００から特徴点座
標５０ａが被写体２２の輪郭点か否かを判定し、被写体
輪郭点座標８００を抽出する輪郭点抽出装置７と、被写
体輪郭点座標８００から画像２０ａ中の被写体輪郭点に
囲まれた部分のみ表示する被写体表示装置８で構成され
る。
【００２１】ここで、用語の簡便のため、単に点と述べ
た場合、点自身およびその座標値を指す。
た場合、点自身およびその座標値を指す。
【００２２】本実施形態では、まず、撮像部１ａ，１
ｂ，１ｃの位置・姿勢を表すパラメータ４００を算出す
る。
ｂ，１ｃの位置・姿勢を表すパラメータ４００を算出す
る。
【００２３】撮像部１ａ，１ｂ，１ｃ間の光軸は平行で
あっても輻輳角があってもよい。図２のように中央の撮
像部を基準画像撮像部１ａとするのがオクルージョン部
分を小さくできる点で有利である。
あっても輻輳角があってもよい。図２のように中央の撮
像部を基準画像撮像部１ａとするのがオクルージョン部
分を小さくできる点で有利である。
【００２４】撮像部１ａ，１ｂ，１ｃは最初に例えば図
３のような既知パタンが描かれた立体２１を撮像する。
３のような既知パタンが描かれた立体２１を撮像する。
【００２５】撮像部１ａ，１ｂ，１ｃで撮像された、既
知パタンが描かれた立体２１の画像１０ａ，１０ｂ，１
０ｃはそれぞれ画像蓄積部２ａ，２ｂ，２ｃに蓄えられ
た後、特徴点抽出装置３を構成する特徴点抽出部３ａ，
３ｂ，３ｃに送られる。
知パタンが描かれた立体２１の画像１０ａ，１０ｂ，１
０ｃはそれぞれ画像蓄積部２ａ，２ｂ，２ｃに蓄えられ
た後、特徴点抽出装置３を構成する特徴点抽出部３ａ，
３ｂ，３ｃに送られる。
【００２６】特徴点抽出部３ａ，３ｂ，３ｃは、画像１
０ａ，１０ｂ，１０ｃが入力されると、図３のような既
知パタンが描かれた立体２１上の同一平面上にない６つ
以上の特徴点Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，・
・・の画像１０ａ，１０ｂ，１０ｃ中の座標値３０ａ，
３０ｂ，３０ｃを特徴点として抽出する。特徴点の抽出
方法は特に指定しないが、人が画像蓄積部２ａ，２ｂ，
２ｃにある画像１０ａ，１０ｂ，１０ｃを見て指示して
もよいし、パタンマチッングなどの画像処理で自動抽出
してもよい。
０ａ，１０ｂ，１０ｃが入力されると、図３のような既
知パタンが描かれた立体２１上の同一平面上にない６つ
以上の特徴点Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，・
・・の画像１０ａ，１０ｂ，１０ｃ中の座標値３０ａ，
３０ｂ，３０ｃを特徴点として抽出する。特徴点の抽出
方法は特に指定しないが、人が画像蓄積部２ａ，２ｂ，
２ｃにある画像１０ａ，１０ｂ，１０ｃを見て指示して
もよいし、パタンマチッングなどの画像処理で自動抽出
してもよい。
【００２７】パラメータ計算手段４は、特徴点３０ａ，
３０ｂ，３０ｃを用いてパラメータ４００を計算し、蓄
積する。
３０ｂ，３０ｃを用いてパラメータ４００を計算し、蓄
積する。
【００２８】パラメータの計算は特願平７−２０６９３
２に基づき、例えば以下のようにして行う。
２に基づき、例えば以下のようにして行う。
【００２９】まず、特徴点Ｐ０を原点、Ｐ１を（１，
０，０）、Ｐ２を（０，１，０），Ｐ３を（０，０，
１）とする３次元座標系を決め、この座標系でＰ４，Ｐ
５がそれぞれ（Ｘ4 ，Ｙ4 ，Ｚ4 ），（Ｘ5 ，Ｙ5 ，Ｚ
5 ）という座標値をもつとする。さらに、画像１０ａ中
の特徴点Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５の座標値
を
０，０）、Ｐ２を（０，１，０），Ｐ３を（０，０，
１）とする３次元座標系を決め、この座標系でＰ４，Ｐ
５がそれぞれ（Ｘ4 ，Ｙ4 ，Ｚ4 ），（Ｘ5 ，Ｙ5 ，Ｚ
5 ）という座標値をもつとする。さらに、画像１０ａ中
の特徴点Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５の座標値
を
【００３０】
【外１】 画像１０ｂ中の特徴点Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，
Ｐ５を
Ｐ５を
【００３１】
【外２】 画像１０ｃ中の特徴点Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，
Ｐ５を
Ｐ５を
【００３２】
【外３】 とする。
【００３３】このとき、
【００３４】
【外４】 および（Ｘk ，Ｙk ，Ｚk ）（ｋ＝４，５）から以下の
撮像部１ａの姿勢を表すパラメータ
撮像部１ａの姿勢を表すパラメータ
【００３５】
【外５】 を変数とする方程式が導かれる。
【００３６】
【数１】 方程式（１），（２），（３），（４）からパラメータ
【００３７】
【外６】 を算出する方法として、例えば、「画像理解」（金谷、
森北出版）などで述べられている最小二乗法などが挙げ
られる。
森北出版）などで述べられている最小二乗法などが挙げ
られる。
【００３８】撮像部１ｂの姿勢を表すパラメータ
【００３９】
【外７】 撮像部１ｃの姿勢を表すパラメータ
【００４０】
【外８】 の導出も、撮像部１ａの場合と全く同様にして行うこと
ができる。
ができる。
【００４１】以上の計算で導出されたパラメータ
【００４２】
【外９】 と座標値
【００４３】
【外１０】 はパラメータ４００として蓄積される。
【００４４】パラメータ計算装置４にパラメータ４００
が蓄積されると、任意の被写体の抽出を行うことが可能
になる。以下、その詳細を説明する。
が蓄積されると、任意の被写体の抽出を行うことが可能
になる。以下、その詳細を説明する。
【００４５】まず、撮像装置１の撮像部１ａ，１ｂ，１
ｃでそれぞれ被写体２２の画像２０ａ，２０ｂ，２０ｃ
を撮像する。
ｃでそれぞれ被写体２２の画像２０ａ，２０ｂ，２０ｃ
を撮像する。
【００４６】画像２０ａ，２０ｂ，２０ｃはそれぞれ画
像蓄積手段２の画像蓄積部２ａ，２ｂ，２ｃに蓄積され
る。
像蓄積手段２の画像蓄積部２ａ，２ｂ，２ｃに蓄積され
る。
【００４７】特徴点抽出装置３の特徴点抽出部３ａ，３
ｂ，３ｃは、画像蓄積部２ａ，２ｂ，２ｃにそれぞれ蓄
積された画像２０ａ，２０ｂ，２０ｃから特徴点５０
ａ，５０ｂ，５０ｃを抽出する。
ｂ，３ｃは、画像蓄積部２ａ，２ｂ，２ｃにそれぞれ蓄
積された画像２０ａ，２０ｂ，２０ｃから特徴点５０
ａ，５０ｂ，５０ｃを抽出する。
【００４８】特徴点の抽出方法は特に指定しないが、人
が画像蓄積部２ａ，２ｂ，２ｃにある画像２０ａ，２０
ｂ，２０ｃを見て指示してもよいし、微分フィルタなど
を用いて自動抽出してもよい。
が画像蓄積部２ａ，２ｂ，２ｃにある画像２０ａ，２０
ｂ，２０ｃを見て指示してもよいし、微分フィルタなど
を用いて自動抽出してもよい。
【００４９】三次元座標計算装置５の三次元座標計算部
５ｂはパラメータ４００と特徴点５０ａ，５０ｂ、三次
元座標計算部５ｃはパラメータ４００と特徴点５０ａ，
５０ｃを用いて、それぞれ三次元座標値６０ｂ，６０ｃ
を計算する。この三次元座標値６０ｂ，．６０ｃは特徴
点５０ａに対応する三次元座標の候補である。
５ｂはパラメータ４００と特徴点５０ａ，５０ｂ、三次
元座標計算部５ｃはパラメータ４００と特徴点５０ａ，
５０ｃを用いて、それぞれ三次元座標値６０ｂ，６０ｃ
を計算する。この三次元座標値６０ｂ，．６０ｃは特徴
点５０ａに対応する三次元座標の候補である。
【００５０】次に、三次元座標計算部５ｂの動作の詳細
を説明する。
を説明する。
【００５１】まず、三次元座標計算部５ｂは特徴点５０
ａを一つずつ選び出す。画像中２０ａの特徴点５０ａを
（ｕc ，ｖc ）とすると、撮像部１ａと１ｂの位置関係
から、図４（１）のように特徴点５０ａに対応する画像
２０ｂ中の特徴点５０１はエピポーラ線と呼ばれる直線
５０２上に拘束される。そこで、三次元座標計算部５ｂ
はパラメータ４００の
ａを一つずつ選び出す。画像中２０ａの特徴点５０ａを
（ｕc ，ｖc ）とすると、撮像部１ａと１ｂの位置関係
から、図４（１）のように特徴点５０ａに対応する画像
２０ｂ中の特徴点５０１はエピポーラ線と呼ばれる直線
５０２上に拘束される。そこで、三次元座標計算部５ｂ
はパラメータ４００の
【００５２】
【外１１】 を用いて直線５０２を計算する。
【００５３】直線５０２の計算は画像中２０ｂ中の座標
を（ｕ，ｖ）とすると、特願平８−２７１９１４や第１
回映像メディア処理シンポジウム（ＩＭＰＳ９６）シン
ポジウム資料１５頁および１６頁に基づき、以下のよう
に行うことができる。
を（ｕ，ｖ）とすると、特願平８−２７１９１４や第１
回映像メディア処理シンポジウム（ＩＭＰＳ９６）シン
ポジウム資料１５頁および１６頁に基づき、以下のよう
に行うことができる。
【００５４】まず、パラメータ
【００５５】
【外１２】 から、１次中間パラメータｔ11，ｔ12，ｔ13，ｔ21，ｔ
22，ｔ23，ｄ1 ，ｄ2 を
22，ｔ23，ｄ1 ，ｄ2 を
【００５６】
【数２】 で導出しておく。この１次中間パラメータｔ11，ｔ12，
ｔ13，ｔ21，ｔ22，ｔ23，ｄ1 ，ｄ2 とパラメータ
ｔ13，ｔ21，ｔ22，ｔ23，ｄ1 ，ｄ2 とパラメータ
【００５７】
【外１３】 を用いて、２次中間パラメータＵ0 ，Ｕ1 ，Ｖ0 ，Ｖ
1 ，Ｓ0 ，Ｓ1 を
1 ，Ｓ0 ，Ｓ1 を
【００５８】
【数３】 から導出する。この２次中間パラメータＵ0 ，Ｕ1 ，Ｖ
0 ，Ｖ1 ，Ｓ0 ，Ｓ1 から画像２０ａ上の特徴点５０
ａ：（ｕc ，ｖc ）に対応する画像２０ｂ上の特徴点５
０１を拘束する直線５０２：Ａｕ＋Ｂｖ＋Ｃ＝０のパラ
メータＡ，Ｂ，Ｃ，は、
0 ，Ｖ1 ，Ｓ0 ，Ｓ1 から画像２０ａ上の特徴点５０
ａ：（ｕc ，ｖc ）に対応する画像２０ｂ上の特徴点５
０１を拘束する直線５０２：Ａｕ＋Ｂｖ＋Ｃ＝０のパラ
メータＡ，Ｂ，Ｃ，は、
【００５９】
【数４】 から導出される。
【００６０】直線５０２のパラメータＡ，Ｂ，Ｃが導出
されると、直線５０２の近傍にある画像中２０ｂ中の特
徴点Ｑm：（ｕm ，ｖm ）（ｍ＝１，・・・）はε1 近
傍を定める閾値として、次式
されると、直線５０２の近傍にある画像中２０ｂ中の特
徴点Ｑm：（ｕm ，ｖm ）（ｍ＝１，・・・）はε1 近
傍を定める閾値として、次式
【００６１】
【数５】 から求められる。この特徴点Ｑm：（ｕm ，ｖm ）（ｍ
＝１，・・・）は、特徴点５０ａ：（ｕc ，ｖc ）の画
像２０ｂにおける対応候補点である。
＝１，・・・）は、特徴点５０ａ：（ｕc ，ｖc ）の画
像２０ｂにおける対応候補点である。
【００６２】特徴点Ｑm：（ｕm ，ｖm ）（ｍ＝１，・
・・）が求められると、特徴点５０ａとＱm 各々に対し
て、三次元座標候補点６０ｂ
・・）が求められると、特徴点５０ａとＱm 各々に対し
て、三次元座標候補点６０ｂ
【００６３】
【外１４】 を求める。
【００６４】三次元座標候補点６０ｂ：
【００６５】
【外１５】 の計算は特徴点５０ａ：（ｕc ，ｖc ）、特徴点Ｑm の
座標（ｕm ，ｖm ）（ｍ＝１，・・・）およびパラメー
タ
座標（ｕm ，ｖm ）（ｍ＝１，・・・）およびパラメー
タ
【００６６】
【外１６】 を用いて特願平７−２０６９３２に基づき、以下のよう
に行うことができる。
に行うことができる。
【００６７】まず、図５を参照すると、特徴点５０ａの
逆投影線５０３を表す連立方程式
逆投影線５０３を表す連立方程式
【００６８】
【数６】 と対応候補点５１ｂ（Ｑm：（ｕm，ｖm））の逆投影線
５０４を表す連立方程式
５０４を表す連立方程式
【００６９】
【数７】 が導かれる。三角測量の原理からこれらの方程式（２
３），（２４），（２５），（２６）の解が三次元座標
候補点６０ｂ：
３），（２４），（２５），（２６）の解が三次元座標
候補点６０ｂ：
【００７０】
【外１７】 となる。方程式（２３），（２４），（２５），（２
６）から実際に
６）から実際に
【００７１】
【外１８】 を算出する方法としては最小二乗法などが挙げられる。
【００７２】三次元座標候補点６０ｂ：
【００７３】
【外１９】 は、画像２０ａ上の特徴点値５０ａ：（ｕc ，ｖc ）を
ラベルとしてつけて、三次元座標決定装置６に送られ
る。
ラベルとしてつけて、三次元座標決定装置６に送られ
る。
【００７４】三次元座標計算部５ｃはパラメータ４００
の
の
【００７５】
【外２０】 を用いて、三次元座標計算部５ｃと同様に三次元座標候
補点６０ｃ：
補点６０ｃ：
【００７６】
【外２１】 を画像２０ａ上の特徴点５０ａ：（ｕc ，ｖc ）をラベ
ルとしてつけ、三次元座標決定装置６に出力する。
ルとしてつけ、三次元座標決定装置６に出力する。
【００７７】三次元座標決定装置６は、三次元座標計算
部５ｂおよび三次元座標計算部５ｃから入力される同じ
特徴点５０ａ：（ｕc ，ｖc ）の三次元座標候補点６０
ｂ，６０ｃの中から正しい三次元座標７００を決定す
る。
部５ｂおよび三次元座標計算部５ｃから入力される同じ
特徴点５０ａ：（ｕc ，ｖc ）の三次元座標候補点６０
ｂ，６０ｃの中から正しい三次元座標７００を決定す
る。
【００７８】三次元座標判定装置６の動作の詳細を説明
する。図６を参照すると、特徴点５０ａ：（ｕc ，ｖ
c ）に対応する被写体上の点６１では特徴点５０ａの対
応候補点５１ｂに対応する三次元候補点６０ｂと特徴点
５０ａの対応候補点５１ｃに対応する三次元座標候補点
６０ｃは必ず一致する。そこで、三次元座標候補点６０
ｂ
する。図６を参照すると、特徴点５０ａ：（ｕc ，ｖ
c ）に対応する被写体上の点６１では特徴点５０ａの対
応候補点５１ｂに対応する三次元候補点６０ｂと特徴点
５０ａの対応候補点５１ｃに対応する三次元座標候補点
６０ｃは必ず一致する。そこで、三次元座標候補点６０
ｂ
【００７９】
【外２２】 と三次元座標候補点
【００８０】
【外２３】 の全ての組み合わせに対してノルムｄmn
【００８１】
【数８】 もしくは、
【００８２】
【数９】 を計算し、最小値ｄ＝ｄij（ｉ，ｊはｄmnを最小にする
ｍ，ｎ）が閾値ε2 以下ならば、点６１に三次元座標
（Ｘ，Ｙ，Ｚ）を
ｍ，ｎ）が閾値ε2 以下ならば、点６１に三次元座標
（Ｘ，Ｙ，Ｚ）を
【００８３】
【数１０】 で定め、閾値ε2 以上ならば被写体外の点として特徴点
５０ａ：（ｕc ，ｖc ）を棄却する。
５０ａ：（ｕc ，ｖc ）を棄却する。
【００８４】三次元決定装置６で点６１の三次元座標７
００：（Ｘ，Ｙ，Ｚ）が算出されると、画像２０ａ上の
特徴点５０ａ：（ｕc ，ｖc ）をラベルづけして輪郭点
抽出装置７に出力する。
００：（Ｘ，Ｙ，Ｚ）が算出されると、画像２０ａ上の
特徴点５０ａ：（ｕc ，ｖc ）をラベルづけして輪郭点
抽出装置７に出力する。
【００８５】輪郭点抽出装置７は点６１の三次元座標
（Ｘ，Ｙ，Ｚ）が予め決めておくか若しくは外部入力さ
れた指定範囲内にあれば、そのラベルである特徴点５０
ａ：（ｕc ，ｖc ）を選び出す。そして、各水平線（ｖ
c 一定の直線上）上で選び出された特徴点５０ａ：（ｕ
c ，ｖc ）の中から、最も左（ｖc 最小）の点と最も右
（ｖc 最大）の点の座標を被写体輪郭点８００として被
写体表示装置８に出力する。
（Ｘ，Ｙ，Ｚ）が予め決めておくか若しくは外部入力さ
れた指定範囲内にあれば、そのラベルである特徴点５０
ａ：（ｕc ，ｖc ）を選び出す。そして、各水平線（ｖ
c 一定の直線上）上で選び出された特徴点５０ａ：（ｕ
c ，ｖc ）の中から、最も左（ｖc 最小）の点と最も右
（ｖc 最大）の点の座標を被写体輪郭点８００として被
写体表示装置８に出力する。
【００８６】被写体表示装置８は、水平線単位で画像２
０ａ中の被写体輪郭点８００が示す左右の被写体輪郭点
の間にある部分だけを被写体として抽出し表示する。
０ａ中の被写体輪郭点８００が示す左右の被写体輪郭点
の間にある部分だけを被写体として抽出し表示する。
【００８７】図８は第２の実施形態の被写体抽出装置の
ブロック図である。
ブロック図である。
【００８８】本実施形態の被写体抽出装置は、被写体抽
出時に基準となる基準画像を撮像する撮像部１ａと被写
体抽出時に参照される参照画像を撮像する撮像部１ｂ，
１ｃで構成された撮像装置１と、撮像装置１の撮像部１
ａ，１ｂ，１ｃで撮像された、既知パタンが描かれた立
体２１の画像１０，１０ｂ，１０ｃと被写体２２の画像
２０ａ，２０ｂ，２０ｃを蓄積する複数の画像蓄積部２
ａ，２ｂ，２ｃで構成された画像蓄積装置２と、画像蓄
積部２ａ，２ｂ，２ｃに蓄えられている画像１０ａ，１
０ｂ，１０ｃの特徴点座標３０ａ，３０ｂ，３０ｃおよ
び画像２０ａ，２０ｂ，２０ｃ中の特徴点座標５０ａ，
５０ｂ，５０ｃ、さらにその近傍画素の色輝度情報５２
ａ，５２ｂ，５２ｃを抽出し、蓄積する複数の特徴点近
傍抽出部３３ａ，３３ｂ，３３ｃで構成された特徴点近
傍抽出装置３３と、特徴点近傍抽出部３３，３３ｂ，３
３ｃで抽出された特徴点座標３０，３０ｂ，３０ｃか
ら、基準撮像部１ａと参照撮像部１ｂ，１ｃの相対位置
および姿勢を表わすパラメータ４００を計算し、蓄積し
ておくパラメータ計算装置４と、特徴点近傍抽出部３３
ａ，３３ｂで抽出された特徴点座標３０，３０ｂおよび
その近傍画素の色輝度情報５２ａ，５２ｂとパラメータ
４００により特徴点座標３０ａに対応する画像２０ｂ中
の特徴点を特徴点座標３０ｂから対応候補点座標９０ｂ
として選び出す対応点決定部９ｂと、特徴点近傍抽出部
３３ａ，３３ｃで抽出された特徴点座標３０ａ，３０ｃ
およびその近傍画素の色輝度情報５２ａ，５２ｃとパラ
メータ４００により特徴点座標３０ａに対応する画像２
０ｃ中の特徴点座標３０ｃから対応候補点座標９０ｃと
して選び出す対応点決定部９ｃで構成された対応点決定
装置９と、特徴点近傍抽出部３３ａで抽出された特徴点
座標５０ａと対応点決定部９ｂで抽出された対応候補座
標９０ｂとパラメータ４００により三次元座標候補値６
０ｂを計算する三次元座標計算部５５ｂと、特徴点近傍
抽出部３３ａで抽出された特徴点座標５０ａと対応点決
定部９ｃで抽出された対応候補点座標９０ｃとパラメー
タ４００により三次元座標候補値６０ｃを計算する三次
元座標計算部５５ｃで構成された三次元座標計算装置５
５と、三次元座標候補値６０ｂ，６０ｃから特徴点座標
５０ａに対応する真の三次元座標値７００を決定する三
次元座標決定装置６と、三次元座標値７００から特徴点
座標５０ａが被写体２２に輪郭点か否かを判定し、被写
体輪郭点座標８００を抽出する輪郭点抽出装置７と、被
写体輪郭点座標８００から画像２０ａ中の被写体輪郭点
に囲まれた部分のみを表示する被写体表示装置８から構
成される。
出時に基準となる基準画像を撮像する撮像部１ａと被写
体抽出時に参照される参照画像を撮像する撮像部１ｂ，
１ｃで構成された撮像装置１と、撮像装置１の撮像部１
ａ，１ｂ，１ｃで撮像された、既知パタンが描かれた立
体２１の画像１０，１０ｂ，１０ｃと被写体２２の画像
２０ａ，２０ｂ，２０ｃを蓄積する複数の画像蓄積部２
ａ，２ｂ，２ｃで構成された画像蓄積装置２と、画像蓄
積部２ａ，２ｂ，２ｃに蓄えられている画像１０ａ，１
０ｂ，１０ｃの特徴点座標３０ａ，３０ｂ，３０ｃおよ
び画像２０ａ，２０ｂ，２０ｃ中の特徴点座標５０ａ，
５０ｂ，５０ｃ、さらにその近傍画素の色輝度情報５２
ａ，５２ｂ，５２ｃを抽出し、蓄積する複数の特徴点近
傍抽出部３３ａ，３３ｂ，３３ｃで構成された特徴点近
傍抽出装置３３と、特徴点近傍抽出部３３，３３ｂ，３
３ｃで抽出された特徴点座標３０，３０ｂ，３０ｃか
ら、基準撮像部１ａと参照撮像部１ｂ，１ｃの相対位置
および姿勢を表わすパラメータ４００を計算し、蓄積し
ておくパラメータ計算装置４と、特徴点近傍抽出部３３
ａ，３３ｂで抽出された特徴点座標３０，３０ｂおよび
その近傍画素の色輝度情報５２ａ，５２ｂとパラメータ
４００により特徴点座標３０ａに対応する画像２０ｂ中
の特徴点を特徴点座標３０ｂから対応候補点座標９０ｂ
として選び出す対応点決定部９ｂと、特徴点近傍抽出部
３３ａ，３３ｃで抽出された特徴点座標３０ａ，３０ｃ
およびその近傍画素の色輝度情報５２ａ，５２ｃとパラ
メータ４００により特徴点座標３０ａに対応する画像２
０ｃ中の特徴点座標３０ｃから対応候補点座標９０ｃと
して選び出す対応点決定部９ｃで構成された対応点決定
装置９と、特徴点近傍抽出部３３ａで抽出された特徴点
座標５０ａと対応点決定部９ｂで抽出された対応候補座
標９０ｂとパラメータ４００により三次元座標候補値６
０ｂを計算する三次元座標計算部５５ｂと、特徴点近傍
抽出部３３ａで抽出された特徴点座標５０ａと対応点決
定部９ｃで抽出された対応候補点座標９０ｃとパラメー
タ４００により三次元座標候補値６０ｃを計算する三次
元座標計算部５５ｃで構成された三次元座標計算装置５
５と、三次元座標候補値６０ｂ，６０ｃから特徴点座標
５０ａに対応する真の三次元座標値７００を決定する三
次元座標決定装置６と、三次元座標値７００から特徴点
座標５０ａが被写体２２に輪郭点か否かを判定し、被写
体輪郭点座標８００を抽出する輪郭点抽出装置７と、被
写体輪郭点座標８００から画像２０ａ中の被写体輪郭点
に囲まれた部分のみを表示する被写体表示装置８から構
成される。
【００８９】次に、新たに追加された対応点決定装置９
および第１の実施形態において変更のある特徴点近傍抽
出手段３３、三次元座標計算手段５５について動作の詳
細を説明する。その他の手段は第１の実施形態と全く同
じである。
および第１の実施形態において変更のある特徴点近傍抽
出手段３３、三次元座標計算手段５５について動作の詳
細を説明する。その他の手段は第１の実施形態と全く同
じである。
【００９０】まず、特徴点近傍抽出装置３３の動作の詳
細のについて説明する。特徴点近傍抽出装置３３を構成
する特徴点近傍抽出部３３ａ，３３ｂ，３３ｃは、始め
既知パタンが描かれた立体の画像１０ａ，１０ｂ，１０
ｃが入力されたときは、第１の実施形態の特徴点抽出部
３ａ，３ｂ，３ｃと全く同じように動作し、特徴点３０
ａ，３０ｂ，３０ｃを出力する。被写体画像２０ａ，２
０ｂ，２０ｃが入力されたときは、特徴点５０ａ，５０
ｂ，５０ｃの他にそれぞれの近傍画素の色輝度情報５２
ａ，５２ｂ，５２ｃも抽出する。近傍の取り方は、特に
指定しないが特徴点を中心とした矩形が一般的である。
細のについて説明する。特徴点近傍抽出装置３３を構成
する特徴点近傍抽出部３３ａ，３３ｂ，３３ｃは、始め
既知パタンが描かれた立体の画像１０ａ，１０ｂ，１０
ｃが入力されたときは、第１の実施形態の特徴点抽出部
３ａ，３ｂ，３ｃと全く同じように動作し、特徴点３０
ａ，３０ｂ，３０ｃを出力する。被写体画像２０ａ，２
０ｂ，２０ｃが入力されたときは、特徴点５０ａ，５０
ｂ，５０ｃの他にそれぞれの近傍画素の色輝度情報５２
ａ，５２ｂ，５２ｃも抽出する。近傍の取り方は、特に
指定しないが特徴点を中心とした矩形が一般的である。
【００９１】次に、対応点決定装置９の動作の詳細につ
いて説明する。対応点決定装置９を構成する対応点決定
部９ｂは、第１の実施形態の三次元座標計算部５ｂと同
様にエピポーラ線を計算して特徴点３０ａに対応する画
像２０ｂ中の対応候補点５１ｂを抽出する。特徴点３０
ａと対応候補点５１ｂの近傍画像の色輝度情報５２ａ，
５２ｂを用いて、画像処理の技術として知られているブ
ロックマッチングを行う。ブロックマッチングは、図７
のように特徴点３０ａと対応候補点５１ｂを含む同じ大
きさのブロックを作り、ブロック間の対応位置の色輝度
の差の総和（ブロック誤差）を求めることで行われる。
ブロック誤差が予め与えておいた閾値以上ならば不適当
な点として対応候補点５１ｂから除去する。不適当な点
が除かれた対応候補点９０ｂは三次元座標計算装置５５
の三次元座標計算部５５ｂに出力される。対応点決定部
９ｃも同様にして対応候補点９０ｃを三次元座標計算装
置５５の三次元座標計算部５５ｃに出力する。
いて説明する。対応点決定装置９を構成する対応点決定
部９ｂは、第１の実施形態の三次元座標計算部５ｂと同
様にエピポーラ線を計算して特徴点３０ａに対応する画
像２０ｂ中の対応候補点５１ｂを抽出する。特徴点３０
ａと対応候補点５１ｂの近傍画像の色輝度情報５２ａ，
５２ｂを用いて、画像処理の技術として知られているブ
ロックマッチングを行う。ブロックマッチングは、図７
のように特徴点３０ａと対応候補点５１ｂを含む同じ大
きさのブロックを作り、ブロック間の対応位置の色輝度
の差の総和（ブロック誤差）を求めることで行われる。
ブロック誤差が予め与えておいた閾値以上ならば不適当
な点として対応候補点５１ｂから除去する。不適当な点
が除かれた対応候補点９０ｂは三次元座標計算装置５５
の三次元座標計算部５５ｂに出力される。対応点決定部
９ｃも同様にして対応候補点９０ｃを三次元座標計算装
置５５の三次元座標計算部５５ｃに出力する。
【００９２】最後に、三次元座標計算装置５５の動作の
詳細について説明する。三次元座標計算装置５５を構成
する三次元座標計算部５５ｂは、第１の実施形態の三次
元座標計算部５ｂとほとんど同じ動作をする。ただし、
本実施形態の場合は、対応点決定部９ｂで対応候補点９
０ｂが求められているので第１の実施形態の三次元座標
計算部５ｂのように特徴点３０ａの対応候補点を求める
必要はない。
詳細について説明する。三次元座標計算装置５５を構成
する三次元座標計算部５５ｂは、第１の実施形態の三次
元座標計算部５ｂとほとんど同じ動作をする。ただし、
本実施形態の場合は、対応点決定部９ｂで対応候補点９
０ｂが求められているので第１の実施形態の三次元座標
計算部５ｂのように特徴点３０ａの対応候補点を求める
必要はない。
【００９３】
【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。 （１）請求項１の発明は、予め被写体や撮像部に関する
情報を必要とせずに入力画像から被写体のみを抽出で
き、複数の撮像部で被写体抽出を行う際、三次元座標に
よって抽出範囲を決める閾値の決定が容易であり、撮像
部の位置および姿勢の調整なしに撮像画像中から被写体
のみを抽出でき、対応点抽出精度を上げ、複雑な曲線で
ある輪郭線も精度よく抽出することができる。 （２）請求項２の発明は、請求項１の発明よりも対応点
抽出精度をさらに向上させることができる。
うな効果がある。 （１）請求項１の発明は、予め被写体や撮像部に関する
情報を必要とせずに入力画像から被写体のみを抽出で
き、複数の撮像部で被写体抽出を行う際、三次元座標に
よって抽出範囲を決める閾値の決定が容易であり、撮像
部の位置および姿勢の調整なしに撮像画像中から被写体
のみを抽出でき、対応点抽出精度を上げ、複雑な曲線で
ある輪郭線も精度よく抽出することができる。 （２）請求項２の発明は、請求項１の発明よりも対応点
抽出精度をさらに向上させることができる。
【図１】本発明の第１の実施形態の被写体抽出装置のブ
ロック図である。
ロック図である。
【図２】カメラ配置を示す図である。
【図３】既知パタンが描かれた立体を示す図である。
【図４】それぞれ被写体画像２０ａ，２０ｂを示す図
（図４（１）、（２））である。
（図４（１）、（２））である。
【図５】三角測量原理を示す図である。
【図６】三次元座標決定の原理を示す図である。
【図７】ブロックマッチングを示す図である。
【図８】本発明の第２の実施形態の被写体抽出装置のブ
ロック図である。
ロック図である。
１ 撮像装置 １ａ 基準画像撮像部 １ｂ，１ｃ 参照画像撮像部 ２ 画像蓄積装置 ２ａ，２ｂ，２ｃ 画像蓄積部 ３ 特徴点抽出装置 ３ａ，３ｂ，３ｃ 特徴点抽出部 ３３ 特徴点近傍抽出装置 ３３，３３ｂ，３３ｃ 特徴点近傍抽出部 ４ パラメータ計算装置 ５ 三次元座標計算装置 ５ｂ，５ｃ 三次元座標計算部 ５５ 三次元座標計算装置 ５５ｂ，５５ｃ 三次元座標計算部 ６ 三次元座標決定装置 ７ 輪郭点抽出装置 ８ 被写体表示装置 ９ 対応点決定装置 ９ｂ，９ｃ 対応点決定部 １０ａ，１０ｂ，１０ｃ 既知パタンが描かれた立体
２１の画像 ２０ａ，２０ｂ，２０ｃ 被写体画像 ２１ 既知パタンが描かれた立体 ２２ 被写体 ３０ａ，３０ｂ，３０ｃ 既知パタンが描かれた立体
の画像中の特徴点 ４００ 撮像部の姿勢・位置関係を示すパラメータ ５０ａ，５０ｂ，５０ｃ 被写体画像中の特徴点 ５１ｂ，５１ｃ 特徴点座標５０ａの対応候補点 ５０１ 特徴点５０ａの画像２０ｂ中の対応点 ５０２ 特徴点５０ａに対応する画像２０ｂ中のエピ
ポーラ線 ５０３ 特徴点５０ａの逆投影線 ５０４ 対応候補点５１ａの逆投影線 ５２ａ，５２ｂ，５２ｃ 被写体画像中の特徴点近傍
色輝度情報 ６０ｂ，６０ｃ 三次元座標系列 ６１ 特徴点座標５０ａに対応する被写体上の点 ７００ 特徴点座標５０ａに対応する被写体上の点の
三次元座標 ８００ 被写体輪郭点 ９０ｂ，９０ｃ 対応候補点 Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６ 既知パタンが
描かれた立体２１上の特徴点
２１の画像 ２０ａ，２０ｂ，２０ｃ 被写体画像 ２１ 既知パタンが描かれた立体 ２２ 被写体 ３０ａ，３０ｂ，３０ｃ 既知パタンが描かれた立体
の画像中の特徴点 ４００ 撮像部の姿勢・位置関係を示すパラメータ ５０ａ，５０ｂ，５０ｃ 被写体画像中の特徴点 ５１ｂ，５１ｃ 特徴点座標５０ａの対応候補点 ５０１ 特徴点５０ａの画像２０ｂ中の対応点 ５０２ 特徴点５０ａに対応する画像２０ｂ中のエピ
ポーラ線 ５０３ 特徴点５０ａの逆投影線 ５０４ 対応候補点５１ａの逆投影線 ５２ａ，５２ｂ，５２ｃ 被写体画像中の特徴点近傍
色輝度情報 ６０ｂ，６０ｃ 三次元座標系列 ６１ 特徴点座標５０ａに対応する被写体上の点 ７００ 特徴点座標５０ａに対応する被写体上の点の
三次元座標 ８００ 被写体輪郭点 ９０ｂ，９０ｃ 対応候補点 Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６ 既知パタンが
描かれた立体２１上の特徴点
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00,9/20 H04N 5/232
Claims (3)
- 【請求項１】 撮像画像からの被写体の抽出時に基準と
なる基準画像を撮像する一つの基準撮像部と、前記撮像
画像からの被写体抽出時に参照される参照画像を撮像す
る複数の参照撮像部から構成された撮像手段と、 前記各撮像部で撮像された画像をそれぞれ蓄積する複数
の画像蓄積部で構成された画像蓄積手段と、 前記各画像蓄積部に蓄積された画像中の特徴点座標を抽
出する複数の特徴点抽出部で構成された特徴点抽出手段
と、 既知パタンが描かれた立体を撮像した際の前記各特徴点
抽出部中の前記特徴点座標から前記基準撮像部と前記参
照撮像部の相対位置および姿勢を表すパラメータを計算
し、蓄積するパラメータ計算手段と、 前記特徴点抽出部中の基準画像と各参照画像の前記特徴
点座標と前記パラメータを用いて前記特徴点の三次元座
標を計算する複数の三次元座標計算部で構成された三次
元座標計算手段と、 前記三次元座標計算部で計算された複数の三次元座標か
ら前記特徴点の位置推定誤差を最小にする三次元座標を
決定する三次元座標決定手段と、 前記三次元座標決定手段で決定された三次元座標に対応
する前記特徴点のうち被写体輪郭点のみを抽出する輪郭
点抽出手段と、 前記画像中の被写体輪郭点で囲まれた部分のみを表示す
る被写体表示手段を有する被写体抽出装置。 - 【請求項２】 撮像画像からの被写体の抽出時に基準と
なる基準画像を撮像する一つの基準撮像部と、前記撮像
画像からの被写体抽出時に参照される参照画像を撮像す
る複数の参照撮像部から構成された撮像手段と、 前記各撮像部で撮像された画像をそれぞれ蓄積する複数
の画像蓄積部で構成された画像蓄積手段と、 前記各画像蓄積部に蓄積された画像中の特徴点座標およ
びその近傍画素の色輝度情報を抽出する複数の特徴点近
傍抽出部で構成された特徴点近傍抽出手段と、 既知パタンが描かれた立体を撮像した際の前記各特徴点
近傍抽出部中の前記特徴点座標から前記基準撮像部と前
記参照撮像部の相対位置および姿勢を表すパラメータを
計算し、蓄積するパラメータ計算手段と、 前記特徴点近傍抽出部の基準画像と各参照画像の前記特
徴点座標と前記特徴点近傍画素色輝度情報を用いて各画
像中の特徴点を対応づけ、特徴点対応組を出力する複数
の対応点決定部を備えた対応点決定手段と、 前記各対応点決定部から出力された特徴点対応組と前記
パラメータを用いて前記特徴点の三次元座標を計算する
複数の三次元座標計算部で構成された三次元座標計算手
段と、 前記三次元座標計算部で計算された複数の三次元座標か
ら前記特徴点の位置推定誤差を最小にする三次元座標を
決定する三次元座標決定手段と、 前記三次元座標決定手段で決定された三次元座標に対応
する前記特徴点のうち被写体輪郭点のみを抽出する輪郭
点抽出手段と、 前記画像中の被写体輪郭点で囲まれた部分のみを表示す
る被写体表示手段を有する被写体抽出装置。 - 【請求項３】 前記三次元座標決定手段は、前記三次元
座標計算手段で計算された三次元座標の組から、三次元
座標の距離の総和が小さい組を選び出し、前記三次元座
標の平均値を最適な三次元座標と判定する、請求項１ま
たは２記載の装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9040533A JP3008875B2 (ja) | 1997-02-25 | 1997-02-25 | 被写体抽出装置 |
| US09/030,743 US6181815B1 (en) | 1997-02-25 | 1998-02-25 | Subject image extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9040533A JP3008875B2 (ja) | 1997-02-25 | 1997-02-25 | 被写体抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10240934A JPH10240934A (ja) | 1998-09-11 |
| JP3008875B2 true JP3008875B2 (ja) | 2000-02-14 |
Family
ID=12583107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9040533A Expired - Lifetime JP3008875B2 (ja) | 1997-02-25 | 1997-02-25 | 被写体抽出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6181815B1 (ja) |
| JP (1) | JP3008875B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2252071A3 (en) * | 1997-12-05 | 2017-04-12 | Dynamic Digital Depth Research Pty. Ltd. | Improved image conversion and encoding techniques |
| JP4374625B2 (ja) * | 1998-05-08 | 2009-12-02 | ソニー株式会社 | 画像生成装置及び方法 |
| US6442293B1 (en) * | 1998-06-11 | 2002-08-27 | Kabushiki Kaisha Topcon | Image forming apparatus, image forming method and computer-readable storage medium having an image forming program |
| JP4193342B2 (ja) * | 2000-08-11 | 2008-12-10 | コニカミノルタホールディングス株式会社 | ３次元データ生成装置 |
| US20030030638A1 (en) * | 2001-06-07 | 2003-02-13 | Karl Astrom | Method and apparatus for extracting information from a target area within a two-dimensional graphical object in an image |
| US7242806B2 (en) * | 2002-01-23 | 2007-07-10 | Honeywell International Inc. | Methods, functional Data, and Systems for image feature translation |
| US7116823B2 (en) * | 2002-07-10 | 2006-10-03 | Northrop Grumman Corporation | System and method for analyzing a contour of an image by applying a Sobel operator thereto |
| US7146057B2 (en) * | 2002-07-10 | 2006-12-05 | Northrop Grumman Corporation | System and method for image analysis using a chaincode |
| US7149356B2 (en) * | 2002-07-10 | 2006-12-12 | Northrop Grumman Corporation | System and method for template matching of candidates within a two-dimensional image |
| US7412105B2 (en) * | 2003-10-03 | 2008-08-12 | Adobe Systems Incorporated | Tone selective adjustment of images |
| US7466868B2 (en) | 2003-10-03 | 2008-12-16 | Adobe Systems Incorporated | Determining parameters for adjusting images |
| US7623250B2 (en) * | 2005-02-04 | 2009-11-24 | Stryker Leibinger Gmbh & Co. Kg. | Enhanced shape characterization device and method |
| US9977992B2 (en) * | 2012-02-28 | 2018-05-22 | Snell Advanced Media Limited | Identifying points of interest in an image |
| JP6214183B2 (ja) * | 2012-05-11 | 2017-10-18 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0197341B1 (en) * | 1985-03-13 | 1993-02-17 | Kabushiki Kaisha TOPCON | Method of and apparatus for measuring coordinates |
| US4982438A (en) * | 1987-06-02 | 1991-01-01 | Hitachi, Ltd. | Apparatus and method for recognizing three-dimensional shape of object |
| JPH07177423A (ja) | 1993-12-20 | 1995-07-14 | Canon Inc | 複眼撮像装置 |
| JPH07220095A (ja) | 1994-02-01 | 1995-08-18 | Canon Inc | 被写体像抽出装置 |
| JPH08271914A (ja) | 1995-03-30 | 1996-10-18 | Casio Comput Co Ltd | 液晶表示素子 |
-
1997
- 1997-02-25 JP JP9040533A patent/JP3008875B2/ja not_active Expired - Lifetime
-
1998
- 1998-02-25 US US09/030,743 patent/US6181815B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6181815B1 (en) | 2001-01-30 |
| JPH10240934A (ja) | 1998-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3525896B2 (ja) | ３次元物体認識方法および同方法を使用したビンピッキングシステム | |
| JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| JP3064928B2 (ja) | 被写体抽出方式 | |
| US6865289B1 (en) | Detection and removal of image occlusion errors | |
| JP3008875B2 (ja) | 被写体抽出装置 | |
| JP3054681B2 (ja) | 画像処理方法 | |
| US8199202B2 (en) | Image processing device, storage medium storing image processing program, and image pickup apparatus | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| JP2004354257A (ja) | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
| JP2000102040A (ja) | 電子ステレオカメラ | |
| JP2910698B2 (ja) | 三次元構造推定方法及び装置 | |
| CN114494462A (zh) | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4394487B2 (ja) | ステレオ画像処理装置 | |
| Kruger et al. | In-factory calibration of multiocular camera systems | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP2000099740A (ja) | 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 | |
| JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2961272B1 (ja) | 特徴ベクトルを利用した物体の認識装置および方法 | |
| JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| JP2807137B2 (ja) | 立体形状検出方法 |