JPH1032751A - 撮像装置及び画像処理装置 - Google Patents

撮像装置及び画像処理装置

Info

Publication number
JPH1032751A
JPH1032751A JP8187476A JP18747696A JPH1032751A JP H1032751 A JPH1032751 A JP H1032751A JP 8187476 A JP8187476 A JP 8187476A JP 18747696 A JP18747696 A JP 18747696A JP H1032751 A JPH1032751 A JP H1032751A
Authority
JP
Japan
Prior art keywords
template
unit
similarity evaluation
image processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8187476A
Other languages
English (en)
Inventor
Masakazu Matsugi
優和 真継
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP8187476A priority Critical patent/JPH1032751A/ja
Priority to DE69635101T priority patent/DE69635101T2/de
Priority to US08/742,206 priority patent/US6636635B2/en
Priority to EP96117530A priority patent/EP0774730B1/en
Publication of JPH1032751A publication Critical patent/JPH1032751A/ja
Priority to US10/678,255 priority patent/US6993184B2/en
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 被写体と撮像手段との距離または画面上のサ
イズによらず安定性とメモリ節約性が高く高速な被写体
の情報抽出を行う撮像画像処理装置を提供することにあ
る。 【解決手段】 撮像手段と、被写体距離検出手段と、テ
ンプレート記憶手段と、前記被写体距離検出手段からの
出力に基づき縮小拡大可能な前記テンプレートのサイズ
範囲を決定するテンプレートサイズ決定手段と、該サイ
ズ範囲内にあるテンプレートと被写体を含む画像との類
似度評価手段とを備え、被写体と撮像手段との距離また
は画面上サイズによらず安定性とメモリ節約性が高く高
速な被写体の情報抽出を行うことができるようにした撮
像画像処理装置。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、テンプレートマッ
チングを行って被写体に関する情報を抽出する撮像画像
処理装置に関する。
【０００２】
【従来の技術】従来、カメラにより撮像された画像から
特定の被写体から特定の被写体を探索、追跡あるいは認
識するために利用可能な技術としては、特公平6-14361
号公報、特開平6-4673号公報に代表されるような特徴ベ
クトル抽出（構成線分、形状パラメータ抽出）処理とそ
れに続く被写体の特徴ベクトルモデルとの比較に基づい
て行う簿出るベースの手法がある。
【０００３】また被写体の動作を検出する技術として特
開平5-232908号公報に開示される方法は動作抽出を行う
部分を射影成分の輝度レベルに基づいて切り出し、時系
列画像の注目領域各点での動きの追跡を行うものであ
る。
【０００４】
【発明の解決しようとする課題】しかしながら前者の従
来例では画像中の対象物のサイズが変化することに対応
して異なるサイズの対象画像のテンプレートまたはモデ
ルを容易してそれらとのマッチングを画像中の各領域に
ついてとる為、非常に大容量のメモリと特徴ベクトル抽
出とモデルとの照合に非常に多くの演算時間を要してい
た。
【０００５】あるいは人手を介して対象画像のサイズが
モデルのサイズとほぼ等しくなるように撮像系のズーミ
ングパラメータなどを調整する必要があった。
【０００６】また後者の従来例では、画像の射影成分の
輝度レベルに基づいて動作抽出部分の安定した切り出し
を行うことが一般的に困難であると共に各点での動きの
追跡後、その情報を統合して１つの動作カテゴリとして
解釈することが単純な動作以外には困難であった。
【０００７】そこで本願の第１の課題は、被写体と撮像
手段との距離または画面上のサイズによらず安定性とメ
モリ節約性が高く高速な被写体の情報抽出を行う撮像画
像処理装置を提供することにある。
【０００８】また本願における第２の課題は、被写体を
見る角度の違いに対して影響を受けにくい撮像画像処理
装置を提供することにある。
【０００９】また本願における第３の課題は、被写体と
撮像手段と距離、画面内の被写体領域の抽出を容易と
し、さらにマッチングをとるべきモデルの適正サイズを
自動設定可能な、対象とする被写体認識及び抽出を容易
且つ正確に行い得る撮像画像処理装置を提供することに
ある。
【００１０】また本願における第４の課題は、被写体サ
イズのばらつき等に敏感に影響を受けない正確な被写体
抽出演算を行うことができる撮像画像処理装置を提供す
ることにある。
【００１１】また本願における第５の課題は、撮像手段
の運動情報を時系列画像から抽出可能とし、被写体の運
動、動作にかかわらず、安定して被写体抽出を行うこと
ができる撮像画像処理装置を提供することにある。
【００１２】また本願における第６の課題は、テンプレ
ートモデルの中心と被写体領域の中心のミスアライメン
トを吸収可能で、且つ高速処理の可能な撮像画像処理装
置を提供することにある。
【００１３】また本願における第７の課題は、背景パタ
ーンの変動の影響を受けない安定且つ高精度の撮像画像
処理装置を提供することにある。
【００１４】また本願における第８の課題は、暗闇でも
被写体距離検出の可能な、安定且つ高精度の撮像画像処
理装置を提供することにある。
【００１５】
【課題を解決するための手段】上記課題を解決するため
に本願における請求項１に記載の発明によれば、撮像手
段と、被写体距離検出手段と、テンプレート記憶手段
と、前記被写体距離検出手段からの出力に基づき縮小拡
大可能な前記テンプレートのサイズ範囲を決定するテン
プレートサイズ決定手段と、該サイズ範囲内にあるテン
プレートと被写体を含む画像との類似度評価手段とを有
する撮像画像処理装置を特徴とする。
【００１６】また本願における請求項２に記載の発明に
よれば、前記テンプレート記憶手段は同一対象物の異な
る視点位置または方向から見た画像に基づいて生成され
た複数のテンプレートを記憶した撮像画像処理装置を特
徴とする。
【００１７】また本願における請求項３に記載の発明に
よれば、前記撮像手段は複数台のカメラからなり、前記
被写体距離検出手段は前記カメラから出力される２つの
画像間の視差または視差分布の抽出処理と被写体距離領
域抽出処理を含むこ撮像画像処理装置を特徴とする。
【００１８】また本願における請求項４に記載の発明に
よれば、前記テンプレートサイズ決定手段は前記被写体
距離と特定の対象の大きさ情報及び前記撮像手段の光学
パラメータに基づき、一定範囲のテンプレートサイズを
決定するようにした撮像画像処理装置を特徴とする。
【００１９】本願における請求項５に記載の発明によれ
ば、前記類似度評価手段は前記テンプレートサイズ決定
手段により、指定された範囲内にある複数の異なるサイ
ズの前記テンプレートを前記テンプレート記憶手段から
の出力に基づいて生成し、該テンプレートと前記差像手
段により得られる画像の各領域との類似度評価を行った
撮像画像処理装置を特徴とする。
【００２０】本願における請求項６に記載の発明によれ
ば、前記類似度評価手段は前記撮像手段により得られる
時系列画像に対し、特定の対象に関する複数のテンプレ
ートとの類似度評価手段の運動情報を出力した撮像画像
処理装置を特徴とする。
【００２１】本願における請求項７に記載の発明によれ
ば、前記テンプレート記憶手段は同一対象物の運動によ
って生じる異なるパターンの画像に基づいて生成される
複数の異なるテンプレートを記憶してなる撮像画像処理
装置を特徴とする。
【００２２】本願における請求項８に記載の発明によれ
ば、前記類似度評価手段は前記撮像手段により得られる
時系列画像に対し特定の対象に関する複数のテンプレー
トとの類似度評価を行い、対応する前記対象の運動カテ
ゴリ、あるいは動作カテゴリに関する情報を出力するよ
うに構成された撮像画像処理装置を特徴とする。
【００２３】本願における請求項９に記載の発明によれ
ば、前記類似度評価手段は類似度評価を行った結果、類
似度が所定の閾値より高い異なるテンプレートの列の順
序または類似度が所定閾値より高い異なるテンプレート
の種類に基づき対象の種類とその動作または運動カテゴ
リに関する情報を出力した撮像画像処理装置を特徴とす
る。
【００２４】本願における請求項１０に記載の発明によ
れば、前記類似度評価手段は撮像手段により得られる画
像内の類似度評価領域を被写体距離検出手段からの出力
に基づいて所定範囲に制限した撮像画像処理装置を特徴
とする。
【００２５】本願における請求項１１に記載された発明
によれば、前記類似度評価手段は前記テンプレート記憶
手段より得られるテンプレートを複数の異なる解像度の
テンプレートに変換し、類度評価を粗い解像度のテンプ
レートから精細な解像度のテンプレートの順に画像中の
各領域に対して行ったことを特徴とする請求項１に記載
の撮像画像処理装置。
【００２６】本願における請求項１２に記載の発明によ
れば、前記類似度評価手段は、前記テンプレート記憶手
段より得られるテンプレートの特定色成分からなる部分
と画像中の各領域との類似度評価の重みとが異なるよう
にした撮像画像処理装置を特徴とする。
【００２７】本願における請求項１３に記載の発明によ
れば、前記テンプレート記憶手段は背景が無地または背
景無しの対象画像を記憶してなる撮像画像処理装置を特
徴とする。
【００２８】本願における請求項１４に記載の発明によ
れば、前記被写体距離検出手段は電磁波の放射手段また
は検出手段を有し、該被写体から反射または放射された
前記電磁波検出信号に基づき被写体距離を検出するよう
に構成された撮像画像処理装置を特徴とする。
【００２９】本願における請求項１５に記載の発明によ
れば、撮像手段と、テンプレート記憶手段と、類似度評
価手段と、前記撮像手段からの時系列画像を前記類似度
評価手段で複数のテンプレートとマッチング評価して得
られるテンプレート列を符号化する手段と、モデル符号
列（コードブック）記憶手段と、テンプレート列とモデ
ル符号列の照合手段とからなる撮像画面処理装を特徴と
する。
【００３０】
【発明の実施の形態】以下本発明における撮像画像処理
装置を、その実施の形態について詳細に説明する。
【００３１】図１は、本願発明の第１の実施形態の要部
の構成図であり、同図において、１L,1Rはそれぞれ左右
のカメラ、２は左右のカメラ間の基線長計測制御手段を
有するステージ、3L,3Rはステージ２上にカメラ1L,1Rを
回動自在に取り付けるとともに、モータによって各カメ
ラを回動して輻輳角を可変とし、且つその回動位置を検
出する回転角検出器のセンサ位置をその略回動中心に備
えることにより、カメラ1L,1Rのなす輻輳角を可変する
とともにその光軸方向及び輻輳角を検出する光軸方向計
測制御手段である。
【００３２】４は左右カメラ間の基線長、輻輳角、焦点
距離などを統括して制御するする制御用CPU及びROM等か
らなる撮像システム制御手段で、以上の構成要素全体と
して本発明の撮像手段を構成している。
【００３３】5は被写体距離検出手段で、カメラ1L,1Rか
らの画像を処理してそれぞれの画像フレームに含まれる
対象物までの距離を撮像手段の光学パラメータと左右画
像フレーム間の視差またはその分布に基づき算出する
（具体的算出方法は後述）。
【００３４】6はカメラ1L,1Rから得られる２つの画像の
重複領域、すなわち２つのカメラに共通して撮像される
画像の各領域との類似度評価を行うべき各種テンプレー
トを内蔵するテンプレート記憶手段で（光）磁気デイス
クメモリ、テープ型メモリなど画像を記録できる手段を
用いる。
【００３５】テンプレートとしては、人の全身を含む各
部（頭部、手足など）の画像や、動植物の同様な画像、
その他、車、小物から建物、街並までユーザーが登録す
る画像であって特に制限はないが望ましくは、テンプレ
ート中に登録すべき１つの対象のみ含む画像またはその
簡略化（たとえば撮像手段からの画像を所定の閾値で２
値化した画像またはシルエット画像、対象の輪郭線のみ
からなる画像など撮像時または原画作成時の画像情報の
一部またはそれらを処理して情報量あるいはビット数を
減らしたもの）であってもよい。
【００３６】7はテンプレートサイズ決定手段であり、
８の類似度評価手段で用いるテンプレートの適正なサイ
ズを被写体距離検出手段５から出力される情報に基づい
て決定し類似度評価手段８に出力する。
【００３７】以下、被写体距離検出手段５、テンプレー
トサイズ決定手段７、類似度評価手段８での処理につい
て説明する。
【００３８】（１）被写体距離検出手段５の処理 図２は被写体距離検出手段５での処理のフローチャート
を示す。
【００３９】〔Ｓ１〕カメラパラメータ入力処理 ステージ２上の不図示の基線長計測制御手段から基線長
を（基線長入力処理）、光軸方向計測制御手段3L,3Rか
らカメラ1L,1Rの輻輳角を（輻輳角入力処理）、カメラ1
L,1Rのレンズ群の駆動用計測制御機構からそれぞれのカ
メラの焦点距離（焦点距離入力処理）を、撮像システム
制御手段4にそれぞれ入力する。
【００４０】尚、固定焦点距離の場合は制御手段4のROM
にその値を記憶させてもよい。またカメラ1L,1Rまたは
被写体距離検出手段５のいずれかに焦点距離と対応する
収差、特に歪曲収差をROM等に記憶させておき収差情報
を入力してもよい（収差情報入力処理）。
【００４１】これらの入力パラメータはカメラ1L,1Rか
らの２つの画像から抽出される両画像間の視差分布を撮
像手段上に設けた基準座標系における被写体の奥行き
（距離）情報に変換する際に用いられる。
【００４２】〔Ｓ２〕視差情報抽出処理 左右カメラ1L,1Rから撮像された画像を入力し、両画像
間に重複領域での視差（対応点間の画素の横ずれ量）を
画像処理で求める。
【００４３】例えば左右それぞれの画像を所定の方法で
ブロック分割してブロック間の相関値を算出する方式に
代表される領域ベースの手法と画像中のエッジ、ライン
セグメントなどの特徴成分を抽出して特徴間でマッチン
グをとる特徴ベースの手法とがある（Dhond & Aggarwa
l, IEEE Trans. on System, Man, and Cybernetics ,Vo
l.19, 1489-1510)。本発明では重複領域での視差分布が
抽出されればよく、特に方式の限定は不要である。
【００４４】〔Ｓ３〕距離検出処理 視差分布から重複領域内にある被写体までの距離を算出
する処理である。本実施形態では視差値が所定値よりも
大きく（所定距離内にあり）、かつその分散が所定閾値
より小さい（すなわち値が概ねそろっている）領域を抽
出し（被写体領域抽出処理）、次にその領域について代
表視差検出処理を行う。
【００４５】代表視差は、被写体領域中の視差値の平均
値、あるいはピーク値など視差分布に統計処理を施して
代表値を求めてもよい。
【００４６】次に視差−距離変換処理について説明す
る。
【００４７】図３は、距離計測用座標系を示す。本実施
例では、ZLは以下の
【数式１】のように表される。
【００４８】
【数式１】
【００４９】この時、左右カメラ間の基線長ｌは、数式
２で表される。
【００５０】
【数式２】
【００５１】尚、収差情報は左右画像間での対応点位置
から ZLを求める際の画面上の歪みの影響を補正する際
に用いられる。
【００５２】また座標系の取り方は、本実施例のように
限定されるものではなく、例えば左右カメラ間の基線長
上の中点を原点に基線長方向をＸ軸、Ｘ軸と直交する奥
行き計測方向をＺ軸、両軸と直交する方向をＹ軸とする
基準座標系を設定してもよい。
【００５３】（２）テンプレートサイズ決定手段の処理 次にテンプレートサイズ決定手段７での処理を図４に基
づいて説明する。
【００５４】〔Ｓ４〕テンプレート情報入力処理 テンプレート記憶手段より特定の１つの対象に関するテ
ンプレート群、例えば異なる視点位置または視線方向か
ら見た異なる対象画像、あるいは対象の運動に伴って変
化する一定方向から見た異なる対象画像からなるテンプ
レート群の種別、アドレス情報を入力する。更に特定対
象の典型的なサイズすなわち統計的平均値および分数を
入力する。
【００５５】例えば人の全身に相当するテンプレートな
ら身長、肩幅など、手のテンプレートなら腕の長さまた
は手首から指の先端までの長さがサイズに相当する。サ
イズとしてはこのほかに所定焦点距離と所定被写体距離
で得られる対象画像の左カメラ１Lのセンサ面中心に座
標原点を有し、その面法線または光軸方向にＺL軸、セ
ンサ面上視差検出方向にＸL軸、その直交方向にＹL軸を
取る。
【００５６】以下統一座標系として、このように左カメ
ラ上に基準座標系を設ける。図３中、点Ｐは３次元空間
内の物点、ＸLP，ＸRPはそれぞれ点Ｐの左右カメラのセ
ンサ面上に結像点位置で、ＸL，軸、ＸＲ軸上の座標を
示す。
【００５７】θL、θＲは左右カメラの光軸方向を示す
パラメータで、奥行き計測方向を含む面内にあり左右カ
メラの基線長方向と直交する方向とのなす角で、図中θ
L＜０、θＲ＞０となる。
【００５８】θ＝｜θL｜＋｜θＲ｜と定義すると、θ
は左右カメラの輻輳角を示す。いま簡単のため、点Ｐは
左右カメラから等距離にあり、またそれぞれのカメラの
焦点距離は等しく『f』とする。
【００５９】右カメラの座標原点位置を左カメラの基準
座標系で（a,0,b)と表し、点ＰのＺL座標を奥行き計測
値と近似する。
【００６０】ＸLP−ＸRPは視差を表すが、本実施例では
ＸLP，ＸRPの値からＺLを求めると、画面上サイズある
いは対象画像を包含する多角形の画面上サイズでもよ
い。
【００６１】〔Ｓ５〕被写体距離入力処理 被写体距離は被写体距離入力手段５により、前述によう
に、図２のフローチャートの処理を実行することによ
り、検出され、入力される。
【００６２】〔Ｓ６〕テンプレートサイズ決定処理 被写体距離検出手段５より得られる距離情報に基づき適
切なテンプレートサイズの範囲を決定する処理である。
【００６３】例えば人の手のサイズに関する統計的平均
値Ｓを撮像手段の焦点距離fと被写体距離dを用いて画面
上サイズの中央値Ｓo’として、 Ｓo’＝ｆＳ／（ｆ＋ｄ） のように与え、テンプレートサイズＳ’の範囲は、 Ｓo’−αｆΔ／（ｆ＋ｄ）≦Ｓ’≦Ｓo’＋αｆΔ／
（ｆ＋ｄ） とする。
【００６４】ここでΔは、対象サイズの統計的分散、α
は０＜α≦１を満たす任意の定数である。本発明ではこ
のようにサイズ範囲としては統計的平均値を中心として
分散値で上下限を定めるものである。
【００６５】尚、撮像手段の焦点距離fは被写体距離検
出手段より入力してもよいし、撮像手段から直接入力、
あるいは不図示の計算機からの入力でもよい。
【００６６】（３）類似度評価手段８の処理 次に類似度評価手段８での処理について図５に基づいて
説明する。
【００６７】〔Ｓ７〕予めユーザーが所定の方法で指定
した特定の対象について、テンプレート記憶手段より標
準サイズのテンプレート群を、またテンプレートサイズ
決定手段よりサイズ範囲をそれぞれ入力する。
【００６８】〔Ｓ８〕被写体距離検出手段より画面上被
写対領域を入力し、その中心位置（例えば重心位置）を
求める。
【００６９】このとき左右のカメラのいずれの画像を用
いるかは、予め設定するものとする。本実施例では被写
体領域とは距離検出処理で示したように重複領域にあっ
て視差値が所定値以上、その分散が所定閾値より小さい
領域のことである。
【００７０】〔Ｓ９〕標準サイズの１つの被写体に関す
るテンプレート群のサイズをサイズ範囲から、例えば３
種類選び、適切な方法により標準サイズのテンプレート
を縮小、拡大して、各サイズで被写体領域との類似度評
価を行う。
【００７１】ただしサイズ範囲から１つだけ選択しても
よい。類似度の評価方法としては、例えばテンプレート
の中心を被写体領域の中心と合わせ、被写体領域におい
て画素間の輝度レベル、色相の差の２乗和をとり、その
値が所定閾値以下であれば、テンプレートが被写体領域
とマッチングしたと判定する。
【００７２】更に被写体領域中心を中心とする一定範囲
の矩形領域内にテンプレート中心をとって類似度評価を
行ってもよい。
【００７３】画素（i,j)を中心とする領域比較の際の類
似度のその他の尺度としては、代表例として例えば以下
の数式で表される関数が用いられる。
【００７４】
【数式３】
【００７５】
【数式４】
【００７６】
【数式５】
【００７７】
【数式６】
【００７８】ここで、
【００７９】
【数式７】 は、(i,j)を中心とするテンプレート画像の画素位置
（p,q)での画素の輝度、色相などを表す。
【００８０】Ｒはテンプレート領域または被写体領域を
表し、次の数式
【００８１】
【数式８】 は、テンプレート画像の領域Ｒ上での輝度平均値、また
は色相に関するパラメータの平均値を示す。
【００８２】同様にＩmn(p,q)は、撮像手段より得られ
る画像中の(n,m)を中心とする被写体領域の画素位置(p,
q)での画素の輝度、または色相を示し、
【００８３】
【数式９】 は、撮像して得られる画像中の領域Ｒ上での輝度平均値
または色相パラメータの平均値を示す。
【００８４】本実施形態における類似度評価手段での処
理により、特定の被写体またはその付帯情報の抽出が高
速かつ安定的に少ないメモリ量で実現可能となる。
【００８５】《実施形態２》図６は、本発明の実施形態
２の類似度評価手段での処理を示す。本実施形態では、
図１の基本構成において撮像手段より被写体を含む動画
像を処理して被写体の運動パターンあるいは動作カテゴ
リを抽出する。
【００８６】特に時系列画像に対応する為に処理ステッ
プＳ１１内の(1１-A)テンプレート群入力、（1１-B)テ
ンプレートサイズ範囲入力、（1１-C)被写体領域、中心
位置入力を一括して行った後、処理ステップＳ１２で標
準サイズのテンプレートの拡大、縮小を行って、処理ス
テップ１３の類似度評価（処理１３−Ａ，１３−Ｂ，１
３−Ｃ，１３−Ｄ）を行う。
【００８７】以下、身ぶり、手振りなどの動作を抽出す
る場合について説明する。
【００８８】図７は手振りの動作カテゴリ抽出に用いら
れるテンプレート作成用原画像の例を示す。１つの動作
カテゴリについて、一定方向の視点位置から見える手の
運動パターンから、複数の異なる手の画像をテンプレー
トとして用いる。
【００８９】この場合、１つの意味情報、あるいはコマ
ンド情報に対応する手振りの動作開始から終了までの少
なくとも２つの互いに異なる画像が用いられる。
【００９０】まず処理ステップ（１３−Ａ）で、時系列
で入力される画像の類似度を評価する。
【００９１】処理ステップ（１３−Ｂ）では、テンプレ
ート群とのマッチングの結果得られる手振りに対応する
テンプレート列が抽出される。
【００９２】例えば図７の（４）の「おいで、おいで」
のコマンドカテゴリに相当する動作の開始時のテンプレ
ート画像を４Ａと符号化して表し、所用動作時間の半分
ほど経過した時点に対応するテンプレート画像を４Ｂと
符号化する（処理ステップ（１３−Ｃ））と、図７の動
作（４）に伴って、４Ａ，４Ｂ，４Ａ，４Ｂ…のように
テンプレート列が抽出される。
【００９３】ただしフレーム間で抽出されるテンプレー
ト符号が異なるときのみ列が更新される。このテンプレ
ート列と予め用意されたコマンド、あるいは動作カテゴ
リに対応するテンプレート符号化列との照合または判定
処理（処理ステップ（１３−Ｄ））を行うことにより、
最終的に手振りの認識が行われる。
【００９４】図１０にこのような動作カテゴリと符号化
テンプレート列（コードブック）との対応例を示す。
【００９５】尚、本実施例においては手振りに限らず、
人や動物、機械、車などの動作に関する情報抽出などの
使うこともできることは言うまでもない。
【００９６】《実施形態３》図８は、本発明の第３の実
施形態の要部構成図を示す。本実施例では撮像手段１
は、被写体距離検出手段５（あるいは合焦判定手段）を
内蔵する１台のビデオカメラである。図中、撮像手段の
他の要部、例えばレンズ光学系、レンズ駆動系、制御
系、信号処理系は省略している。
【００９７】他の手段６、７、８は、図１と同じである
が、画像処理ユニットとしてまとめ撮像手段と通信可能
としてもよい。被写体距離検出手段５の例としては、合
焦判定手段（アクティブ、パッシブ方式を含む）の他に
被写体方向に光波（電磁波）を照射して被写体からの反
射波を受光し、その位相を計測する方法などがある。こ
の方法によればより高精度な被写体距離検出が可能であ
る。
【００９８】本実施例では、動く対象の運動パターン検
出、動作検出に用いてもよいし、あるいは撮像手段１を
人間または機械が携帯して自由に動き回りながら撮るこ
とにより特定の概ね静止した被写体を認識してその対象
を中心とした撮像を行ったり第３の目的として、撮像手
段１自体の運動情報を抽出してもよい。
【００９９】また処理を図９のフローチャートに示す。
同図において、処理ステップＳ１４，Ｓ１５の処理は図
６のフローチャートの処理ステップＳ１１，Ｓ１２と同
じである。
【０１００】類似度評価手段８では、図９に示すよう
に、処理ステップ１６−Ａ，１６−Ｂで、時系列画像類
似度評価処理、マッチングした異なるプレート列の抽出
（図６のフローチャートの処理捨てプ１３内の、処理１
３−Ａ，１３−Ｂと同様）し、テンプレート列符号化手
段９で符号化し（処理ステップ１６−Ｃ）、処理ステッ
プ（１３−Ｄ）で照合手段１１により、符号化テンプレ
ート列と差像手段の自己運動パターンまたは被写体の動
作カテゴリに対応するモデルテンプレート列記憶手段１
０にあるモデル符号化列との照合を行う。
【０１０１】《実施形態４》本実施例ではテンプレート
中の特定被写体の特定色成分を強調することにより撮像
手段より得られる画像との類似度評価を行う。
【０１０２】図１１は類似度評価手段の処理のフローチ
ャートを示す。本実施形態において、入力処理ステップ
（１７−Ａ），（１７−Ｂ）では、特に被写体領域とそ
の中心位置の入力を行わずに、高速に被写体抽出とその
情報（例えば動作パターン、被写体の向き等）の抽出を
行うおのである。テンプレート変換処理ステップ（１
８）では、処理ステップ１８−Ａで、テンプレートの拡
大、縮小処理（図９の処理ステップＳ１５と同じ）を行
い、特定色成分強調処理（処理ステップ（１８−Ｂ））
を行うところに特徴がある。
【０１０３】続いて、図９の処理ステップＳ１６内の処
理１６−Ａ〜１６−Ｄと同一の処理を行う。
【０１０４】《実施形態５》本実施形態では、類似度評
価で行うテンプレートマッチングの解像度を粗から密へ
と順次制御しながら反復処理を行う。
【０１０５】図１２は類似度評価手段の処理のフローチ
ャートを示す。本実施例では第４の実施形態と同様、被
写体領域とその中心位置の入力を行わない。また同図に
おいて、処理ステップＳ２０の処理は、図１１の処理ス
テップＳ１７と同様である。
【０１０６】また処理ステップＳ２１内の処理２１−Ａ
は、図１１の処理ステップＳ１８内の処理１８−Ａに相
当する。
【０１０７】処理ステップＳ１８内において、解像度の
粗密制御により、被写体抽出とその情報抽出を高速に行
うことができる。すなわちテンプレート変換処理ステッ
プＳ２１内の処理２１−Ｂにおいて、テンプレート解像
度をまず最も粗な状態に設定しておき、そのテンプレー
トで撮像手段からの画像とのマッチングをとり、画面上
の被写体位置の推定を行う。
【０１０８】その際、処理ステップＳ２２内の処理２２
−Ａにおいて、類似度評価値が所定閾値以上の領域が複
数ある場合、その領域の概略中心位置を所定の不図示の
記録媒体に記録しておく。
【０１０９】次に処理ステップＳ２１内の処理２１−Ｂ
に戻って、解像度を上げ記録済みの複数領域位置を中心
とした類似度評価と被写体領域の絞り込みを行う。
【０１１０】他のステップは図１１の第３の実施形態と
同様である。用意しておく解像度のステップはユーザ側
で任意に設定できるものとする。
【０１１１】本実施形態では、抽出すべき被写体の数が
画面上に複数ある場合それぞれの運動または動作に関す
る情報抽出を並列処理して行ってもよい。
【０１１２】
【発明の効果】以上述べたように本願における請求項１
に記載の発明によれば、被写体と撮像手段との距離また
は画面上サイズによらず安定性とメモリ節約性が高く高
速な被写体の情報抽出を行うことができる。
【０１１３】また本願における請求項２に記載の発明に
よれば、被写体を見る角度の違いに対して被写体の情報
抽出が影響を受け難くすることができる。
【０１１４】また本願における請求項３に記載の発明に
よれば、被写体距離検出手段において、被写体と撮像手
段との距離を画像から計測すると同時に、画面上の被写
体領域を抽出することができる。
【０１１５】また本願における請求項４に記載の発明に
よれば、マッチングをとるべきモデルの適正サイズを自
動設定することができる。
【０１１６】また本願における請求項５に記載の発明に
よれば、被写体サイズのばらつきに敏感に影響を受けな
い被写体の情報抽出を行うことができる。
【０１１７】また本願における請求項６に記載の発明に
よれば、撮像手段自体の運動情報を時系列画像から抽出
することができる。
【０１１８】また本願における請求項７に記載の発明に
よれば、被写体の運動または動作によらず、安定して被
写体を時系列画像から抽出することができる。
【０１１９】また本願における請求項８に記載の発明に
よれば、被写体の運動または動作に関する情報抽出を安
定的且つ高速に行うことができる。
【０１２０】また本願における請求項９に記載の発明に
よれば、被写体の運動または動作カテゴリに関する情報
を少ないメモリ量で安定して抽出することができる。
【０１２１】また本願における請求項１０に記載の発明
によれば、テンプレートモデルの中心と被写体領域の中
心のミスアライメントを吸収すると共に高速に被写体に
関する情報を抽出することができる。
【０１２２】また本願における請求項１１に記載の発明
によれば、被写体領域抽出及び被写体に関する情報の抽
出を高速に行うことができる。
【０１２３】また本願における請求項１２に記載の発明
によれば、照明条件、輝度レベル等の変動を受け難く、
安定的且つ高速に被写体に関する情報を抽出することが
できる。
【０１２４】また本願における請求項１３に記載の発明
によれば、背景パターンの変動の影響を受け難く、より
安定性の高い被写体に関する情報抽出を行うことができ
る。
【０１２５】また本願における請求項１４に記載の発明
によれば、被写体距離検出をより精度高く、暗闇でも安
定して行うことができる。
【０１２６】また本願における請求項１５に記載の発明
によれば、撮像手段からの時系列画像を、類似度評価手
段で複数のテンプレートとマッチング演算してテンプレ
ート列を作成し、これらのテンプレート列と、モデル列
を照合して、被写体抽出を行うようにしたので、背景の
変化及びばらつき、被写体サイズの変化及びばらつきの
影響を大きく受けることなく、正確、安定且つ高速に被
写体抽出を行うことができる。
【図面の簡単な説明】
【図１】本発明における撮像画像処理装置の越す栄を示
すブロック図である。
【図２】第１の実施形態における被写体距離検出手段の
処理を示すフローチャートである。
【図３】第１の実施形態における撮像手段の座標系、パ
ラメータを示す図である。
【図４】テンプレートサイズ決定手段での処理を示すフ
ローチャートである。
【図５】類似度評価手段での処理を示すフローチャート
である。
【図６】第２の実施形態における類似度評価手段の処理
を示すフローチャートである。
【図７】テンプレート記憶手段で記憶するテンプレート
作成用原画像の例を示す図である。
【図８】本発明の第３の実施形態の構成を示す図であ
る。
【図９】撮像手段または被写体の動作（運動）情報抽出
時の類似度評価手段における処理を示すフローチャート
である。
【図１０】動作カテゴリを表す符号化テンプレート列
（コードブック）の例を示す図である。
【図１１】テンプレート中の特定色成分を強調して類似
度評価する際の処理のフローチャートである。
【図１２】類似度評価の際、解像度を粗から密に変えな
がら反復評価する処理を示すフローチャートである。
【符号の説明】
１ カメラ ２ ステージ ３ 光軸方向計測制御手段 ４ 撮像システム制御手段 ５ 被写体距離検出手段 ６ テンプレート記憶手段 ７ テンプレートサイズ決定手段 ８ 類似度評価手段 ９ テンプレート列符号化手段 １０ モデルテンプレート列記憶手段 １１ 照合手段１１

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 撮像手段と、 被写体距離検出手段と、 テンプレート記憶手段と、 前記被写体距離検出手段からの出力に基づき縮小拡大可
    能な前記テンプレートのサイズ範囲を決定するテンプレ
    ートサイズ決定手段と、 該サイズ範囲内にあるテンプレートと被写体を含む画像
    との類似度評価手段とを有することを特徴とする撮像画
    像処理装置。
  2. 【請求項２】 前記テンプレート記憶手段は同一対象物
    の異なる視点位置または方向から見た画像に基づいて生
    成された複数のテンプレートを記憶してなることを特徴
    とする請求項１に記載の撮像画像処理装置。
  3. 【請求項３】 前記撮像手段は複数台のカメラからな
    り、前記被写体距離検出手段は前記カメラから出力され
    る２つの画像間の視差または視差分布の抽出処理と被写
    体距離領域抽出処理を含むことを特徴とする請求項１に
    記載の撮像画像処理装置。
  4. 【請求項４】 前記テンプレートサイズ決定手段は前記
    被写体距離と特定の対象の大きさ情報及び前記撮像手段
    の光学パラメータに基づき、一定範囲のテンプレートサ
    イズを決定したことを特徴とする請求項１に記載の撮像
    画像処理装置。
  5. 【請求項５】 前記類似度評価手段は前記テンプレート
    サイズ決定手段により、指定された範囲内にある複数の
    異なるサイズの前記テンプレートを前記テンプレート記
    憶手段からの出力に基づいて生成し、該テンプレートと
    前記差像手段により得られる画像の各領域との類似度評
    価を行ったこと特徴とする請求項１に記載の撮像画像処
    理装置。
  6. 【請求項６】 前記類似度評価手段は前記撮像手段によ
    り得られる時系列画像に対し、特定の対象に関する複数
    のテンプレートとの類似度評価手段の運動情報を出力し
    たことを特徴とする請求項２に記載の撮像画像処理装
    置。
  7. 【請求項７】 前記テンプレート記憶手段は同一対象物
    の運動によって生じる異なるパターンの画像に基づいて
    生成される複数の異なるテンプレートを記憶してなるこ
    とを特徴とする請求項１に記載の撮像画像処理装置。
  8. 【請求項８】 前記類似度評価手段は前記撮像手段によ
    り得られる時系列画像に対し特定の対象に関する複数の
    テンプレートとの類似度評価を行い、対応する前記対象
    の運動カテゴリ、あるいは動作カテゴリに関する情報を
    出力することを特徴とする請求項７に記載の撮像 画像
    処理装置。
  9. 【請求項９】 前記類似度評価手段は類似度評価を行っ
    た結果、類似度が所定の閾値より高い異なるテンプレー
    トの列の順序または類似度が所定閾値より高い異なるテ
    ンプレートの種類に基づき対象の種類とその動作または
    運動カテゴリに関する情報を出力したことを特徴とする
    請求項８に記載の撮像画像処理装置。
  10. 【請求項１０】 前記類似度評価手段は撮像手段により
    得られる画像内の類似度評価領域を被写体距離検出手段
    からの出力に基づいて所定範囲に制限したことを特徴と
    する請求項１に記載の撮像画像処理装置。
  11. 【請求項１１】 前記類似度評価手段は前記テンプレー
    ト記憶手段より得られるテンプレートを複数の異なる解
    像度のテンプレートに変換し、類度評価を粗い解像度の
    テンプレートから精細な解像度のテンプレートの順に画
    像中の各領域に対して行ったことを特徴とする請求項１
    に記載の撮像画像処理装置。
  12. 【請求項１２】 前記類似度評価手段は、前記テンプレ
    ート記憶手段より得られるテンプレートの特定色成分か
    らなる部分と画像中の各領域との類似度評価の重みとが
    異なるようにしたことを特徴とする請求項１に記載の撮
    像画像処理装置。
  13. 【請求項１３】 前記テンプレート記憶手段は背景が無
    地または背景無しの対象画像を記憶してなることを特徴
    とする請求項１に記載の撮像画像処理装置。
  14. 【請求項１４】 前記被写体距離検出手段は電磁波の放
    射手段または検出手段を有し、該被写体から反射または
    放射された前記電磁波検出信号に基づき被写体距離を検
    出したことを特徴とする請求項１に記載の撮像画像処理
    装置。
  15. 【請求項１５】 撮像手段と、 テンプレート記憶手段と、 類似度評価手段と、 前記撮像手段からの時系列画像を前記類似度評価手段で
    複数のテンプレートとマッチング評価して得られるテン
    プレート列を符号化する手段と、 モデル符号列（コードブック）記憶手段と、 テンプレート列とモデル符号列の照合手段とからなるこ
    とを特徴とする撮像画面処理装置。
JP8187476A 1995-11-01 1996-07-17 撮像装置及び画像処理装置 Withdrawn JPH1032751A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP8187476A JPH1032751A (ja) 1996-07-17 1996-07-17 撮像装置及び画像処理装置
DE69635101T DE69635101T2 (de) 1995-11-01 1996-10-31 Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
US08/742,206 US6636635B2 (en) 1995-11-01 1996-10-31 Object extraction method, and image sensing apparatus using the method
EP96117530A EP0774730B1 (en) 1995-11-01 1996-10-31 Object extraction method, and image sensing apparatus using the method
US10/678,255 US6993184B2 (en) 1995-11-01 2003-10-06 Object extraction method, and image sensing apparatus using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8187476A JPH1032751A (ja) 1996-07-17 1996-07-17 撮像装置及び画像処理装置

Publications (1)

Publication Number Publication Date
JPH1032751A true JPH1032751A (ja) 1998-02-03

Family

ID=16206756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8187476A Withdrawn JPH1032751A (ja) 1995-11-01 1996-07-17 撮像装置及び画像処理装置

Country Status (1)

Country Link
JP (1) JPH1032751A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507722A (ja) * 2002-10-22 2006-03-02 アートゥールワークス 表面の生来の視覚的特徴を用いて３次元シーンにおける表面の追跡
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
JP2009260800A (ja) * 2008-04-18 2009-11-05 Fujifilm Corp 撮像装置、事典データベースシステム、主要被写体画像出力方法および主要被写体画像出力プログラム
JP2010061440A (ja) * 2008-09-04 2010-03-18 Canon Inc 画像処理装置
JP2010147694A (ja) * 2008-12-17 2010-07-01 Nikon Corp 画像追尾装置、撮像装置、画像追尾方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507722A (ja) * 2002-10-22 2006-03-02 アートゥールワークス 表面の生来の視覚的特徴を用いて３次元シーンにおける表面の追跡
US7987079B2 (en) 2002-10-22 2011-07-26 Artoolworks, Inc. Tracking a surface in a 3-dimensional scene using natural visual features of the surface
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
JP2009260800A (ja) * 2008-04-18 2009-11-05 Fujifilm Corp 撮像装置、事典データベースシステム、主要被写体画像出力方法および主要被写体画像出力プログラム
JP2010061440A (ja) * 2008-09-04 2010-03-18 Canon Inc 画像処理装置
JP2010147694A (ja) * 2008-12-17 2010-07-01 Nikon Corp 画像追尾装置、撮像装置、画像追尾方法

Similar Documents

Publication Publication Date Title
JP5771413B2 (ja) 姿勢推定装置、姿勢推定システム、および姿勢推定方法
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN111382613B (zh) 图像处理方法、装置、设备和介质
US20200175717A1 (en) Information processing apparatus and method of controlling the same
US20140211992A1 (en) Systems and methods for initializing motion tracking of human hands using template matching within bounded regions
US20110025834A1 (en) Method and apparatus of identifying human body posture
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
US20130236057A1 (en) Detecting apparatus of human component and method thereof
JPH06124344A (ja) 標識認識のための突極部輪郭等級付け抽出装置並びに方法
KR20110013200A (ko) 인체 자세 식별 방법 및 장치
Paral et al. Vision sensor-based shoe detection for human tracking in a human–robot coexisting environment: A photometric invariant approach using DBSCAN algorithm
KR20170022872A (ko) 자동추적 기능을 갖는 무인항공기
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN116664620A (zh) 一种基于追踪系统的画面动态捕捉方法及相关装置
CN101320477B (zh) 一种人体跟踪方法及其设备
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN109313822B (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
Mekonnen et al. Fast HOG based person detection devoted to a mobile robot with a spherical camera
CN116160458B (zh) 一种移动机器人多传感器融合快速定位方法、设备及系统
JPH1032751A (ja) 撮像装置及び画像処理装置
Nguyen et al. MultiLevel feature pooling network for uncalibrated stereo rectification in autonomous vehicles
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
CN113916223B (zh) 定位方法及装置、设备、存储介质
Megalingam et al. Adding intelligence to the robotic coconut tree climber
JP2016054409A (ja) 映像認識装置、映像認識方法及びプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20031007