JPH1021408A - 画像抽出装置および方法 - Google Patents

画像抽出装置および方法

Info

Publication number
JPH1021408A
JPH1021408A JP8192729A JP19272996A JPH1021408A JP H1021408 A JPH1021408 A JP H1021408A JP 8192729 A JP8192729 A JP 8192729A JP 19272996 A JP19272996 A JP 19272996A JP H1021408 A JPH1021408 A JP H1021408A
Authority
JP
Japan
Prior art keywords
image
subject
data
image data
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8192729A
Other languages
English (en)
Inventor
Masakazu Matsugi
優和 真継
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP8192729A priority Critical patent/JPH1021408A/ja
Publication of JPH1021408A publication Critical patent/JPH1021408A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 背景のみの画像と被写体込みの画像を用いて
被写体の形状、画像データ特性によらずに精度が安定し
かつ高速な動画像の自動切り出しを実現する画像抽出装
置および方法を提供する。 【解決手段】 撮像システムは、固定された背景(動く
物体が存在しない背景)中を変形あるいは移動する対象
物の固定位置からの撮影とその動画像の切り出しを行
う。被写体込み画像と背景画像との両者間で撮像モード
を同一(被写体込み画像の撮像モードで統一)にするこ
とにより、2つの画像間において背景パターンの同一領
域での画像データの変動を抑制する。撮影終了後、画像
データ比較部11では、背景画像と被写体込み画像との
差分データを生成する。画像切り出し部12は差分デー
タの平滑化処理(メディアンフィルタなど)、閾値処理
(色成分偏差、輝度レベル偏差に基づく)を行うことに
より画像データの変動量に基づいて被写体領域を抽出す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像切り出し機
能を有する画像抽出装置および方法に関する。
【0002】
【従来の技術】従来、画像切り出し(抽出)を行う一般
的な手法として、特定の色背景を用いるクロマキーや画
像処理(ヒストグラム処理、差分、微分処理、輪郭強
調、輪郭追跡など)によりキー信号を生成するビデオマ
ット(テレビジョン学会技術報告、vol.12,p
p.29−34,1988)などの手法が知られてい
る。
【0003】画像から特定領域を抽出する他の装置とし
て、特公平6−9062号公報に開示された手法は、空
間フィルタによって得られる微分値を2値化して境界線
を検出し、境界線で仕切られる連結領域にラベル付けを
行い、同じラベルを有する領域を抽出するものである。
【0004】また、背景画像との差分に基づいて画像抽
出を行う手法は古典的なものであり、最近では特開平4
−216181号公報において背景画像と処理対象画像
との差分データにマスク画像(特定処理領域のこと)を
設定して画像中の複数の特定領域における対象物体を抽
出または検出を行う手法が開示されている。
【0005】さらに、特公平7−16250号公報に
は、抽出対象の色彩モデルを用いて背景を含む現画像の
色彩変換データ、背景画像と現画像との明度の差データ
から抽出対象の存在確立分布を求める手法が開示されて
いる。
【0006】また、動画像を抽出する手法として、特公
平6−14358号公報には、背景画像との差分に値1
未満の所定係数を乗算して前フレームの背景画像に加算
することにより背景画像を順次更新する手法が示されて
いる。
【0007】さらに、画像から対象物の外輪郭線を抽出
して特定物体画像を抽出する技術の1つにいわゆる動的
輪郭法(M.Kass et al.,"Snakes: Active Contour Mode
ls,"International Journal of Computer Vision, vol.
1,pp.321-331,1987)が知られている。この手法では一
例として対象物を包囲するように適切に設定された初期
輪郭が移動、変形して最終的に対象物の外形(背景との
境界輪郭線)に収束する。対象物が動く場合、動的輪郭
は各フレーム毎に輪郭線上への移動、変形を行うので、
輪郭線内の画像を切り出し、画像データとして抽出する
ことができる。
【0008】
【発明が解決しようとする課題】しかしながら、上記従
来例のうちクロマキー方式は背景の制約が大きく屋外で
使えないこと、色ぬけなどの問題点がある。また、ビデ
オマット方式は輪郭の指定作業は人間が画素単位で正確
に行う必要があり、そのためには労力と熟練を要すると
いう問題点がある。
【0009】背景画像との差分を利用する方式では、背
景領域と非常に近い画像データを有する背景領域と同じ
位置にある被写体上の画素を背景画像から識別すること
は一般的に不可能である。また、従来例では撮像条件
(カメラパラメータおよび照明などの外的条件)を考慮
していないので、背景画像と抽出すべき被写体込み画像
とを同じ撮像条件、同一固定位置で得なければ差分デー
タからの抽出対象領域の判定誤差が非常に大きくなると
いう問題点があった。
【0010】特公平7−16250号公報では抽出対象
の色彩モデルを要するという点で未知物体の画像抽出に
不向きである。特公平6−14358号公報では常に背
景データを更新して保持する必要があり、また、切り出
し精度の点で不十分であるという問題があった。
【0011】また、上述した動的輪郭法は対象の輪郭線
(背景との境界線)が複雑かつ急峻な凹凸構造を有する
場合、それに正確に収束させることが困難であった。ま
た、対象の運動が急速な場合においても輪郭線を正確に
追随させることが困難であった。
【0012】そこで、本発明は、背景のみの画像と被写
体込みの画像を用いて被写体の形状、画像データ特性に
よらずに精度が安定しかつ高速な動画像の自動切り出し
を実現する画像抽出装置および方法を提供することを第
1の目的とする。
【0013】また、本発明は、次フレームでの背景およ
び被写体込みの画像中の被写体領域において画像データ
の変動量評価を継続的に行って被写体の運動、変形の程
度を推定し、切り出し処理の閾値を設定する(変動の大
きいところは閾値を大きくするなど)ことにより切り出
し精度の安定化を実現する画像抽出装置および方法を提
供することを第2の目的とする。
【0014】さらに、本発明は、切り出された被写体の
時系列画像データ(登録画像データ)を用いて切り出し
処理の閾値を可変に設定することにより切り出し精度が
背景パターンによらず一定レベルに保持することができ
る動画像切り出しを実現する画像抽出装置および方法を
提供することを第3の目的とする。例えば、画像データ
の変化の少ない対象領域(被写体が剛体とみなすことが
でき、常に同じ面を向けて運動する場合など)について
は閾値を高くすることにより背景と類似した画像領域を
背景と誤認しないようにすることができる。
【0015】また、本発明は、切り出された画像(登録
画像)の動きベクトルと画像データの変動量を用いて次
フレームの各点での切り出し処理の閾値を設定すること
により、切り出し精度の安定化と向上をもたらす画像抽
出装置および方法を提供することを第4の目的とする。
【0016】さらに、本発明は、複眼撮像系を用いて背
景のみの画像(登録画像)との差分により動画像切り出
しを高精度に行う画像抽出装置および方法を提供するこ
とを第5の目的とする。
【0017】また、本発明は、カメラ操作(パンニング
など)、視点位置の移動を行って得られる動画像から動
被写体の切り出しを高精度に行う画像抽出装置および方
法を提供することを第6の目的とする。
【0018】さらに、本発明は、背景のみの画像と被写
体込みの画像を用いて被写体の形状、画像データ特性に
よらず安定した動画像の自動切り出しを実現する画像抽
出装置および方法を提供することを第7の目的とする。
【0019】また、本発明は、動画像切り出し精度の安
定化をもたらす画像抽出装置および方法を提供すること
を第8の目的とする。
【0020】さらに、本発明は、カメラ操作(パンニン
グなど)、視点位置の移動を行って得られる動画像から
動被写体の切り出しを高精度に行う画像抽出装置および
方法を提供することを第9の目的とする。
【0021】また、本発明は、背景画像を用意すること
なく安定した被写体動画像(カメラまたは被写体の少な
くとも一方が動く場合、両方が動くときは異なる動きを
する場合)の抽出を行う画像抽出装置および方法を提供
することを第10の目的とする。
【0022】さらに、本発明は、切り出し処理の抽出判
定閾値を画像データおよび領域形状(サイズ)の変動量
評価に基づいて設定することにより、被写体の変化の程
度によらず安定した動画像切り出しを行う画像抽出装置
および方法を提供することを第11の目的とする。
【0023】また、本発明は、背景画像を用意すること
なく安定した被写体動画像の抽出を行う画像抽出装置お
よび方法を提供することを第12の目的とする。
【0024】
【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項1に係る画像抽出装置は、抽出すべ
き被写体を含む第1画像および背景のみの第2画像を入
力する入力手段と、該入力した第1画像および第2画像
を比較する比較手段と、該比較手段の比較データに基づ
いて次フレームの抽出処理領域を設定する領域設定手段
と、該設定された抽出処理領域で前記比較データの閾値
処理を行うことにより前記被写体の画像を抽出する画像
切り出し手段と、前記抽出処理領域内の画像データの変
動量に基づいて前記閾値を更新する更新手段と、前記抽
出された被写体の画像を記録する記録手段とを備えたこ
とを特徴とする。
【0025】請求項2に係る画像抽出装置は、抽出すべ
き被写体を含む動画像を入力する入力手段と、該動画像
中の特定の被写体を抽出する画像切り出し手段と、該抽
出された被写体の領域でマスクデータを作成する作成手
段と、次フレームでのマスクデータを予測する予測手段
と、該予測されたマスクデータおよび前記被写体の画像
データを登録するデータ登録手段と、該登録される画像
データを前記予測手段の出力に基づき更新する更新手段
と、該更新された画像データと次フレームの前記被写体
を含む画像データとの変動量を算出する変動量算出手段
と、該算出された変動量に基づく閾値処理により前記被
写体の動画像を抽出する動画像抽出手段とを備えたこと
を特徴とする。
【0026】請求項3に係る画像抽出装置では、請求項
2に係る画像抽出装置において前記データ登録手段は、
異なる時刻における前記被写体の画像データを登録し、
前記動画像抽出手段は、前記登録された画像データ間の
各点での変動量に基づき、各点での切り出し処理の閾値
を可変に設定することを特徴とする。
【0027】請求項4に係る画像抽出装置では、請求項
2に係る画像抽出装置において前記動画像抽出手段は、
前記登録された画像データの動きベクトルを検出する検
出手段と、該検出された動きベクトルおよび各点の画像
データの変動量に基づき、次フレームでの切り出し処理
の閾値を設定する閾値設定手段と、前記変動量に基づく
閾値処理により前記被写体の動画像を抽出する画像切り
出し手段とを備えたことを特徴とする。
【0028】請求項5に係る画像抽出装置では、請求項
2に係る画像抽出装置において前記入力手段は、異なる
視点位置からの前記被写体または背景の画像を入力し、
前記データ登録手段は、異なる時刻の前記被写体の画像
データを登録し、前記動画像抽出手段は、前記登録され
た画像データの各点での視差値を抽出する視差値抽出手
段と、該抽出された視差値に基づく前記被写体の概略領
域を抽出する概略領域抽出手段と、前記概略領域を中心
とする所定範囲の処理領域を設定する処理領域設定手段
と、該設定された処理領域の各点での画像データの変動
量に基づき、切り出し処理の閾値を設定する閾値設定手
段とを備えたことを特徴とする。
【0029】請求項6に係る画像抽出装置は、抽出すべ
き被写体を含む第1画像および背景のみの第2画像を入
力する入力手段と、該第1画像を入力する時の撮像パラ
メータまたはカメラ操作データを有する時系列データを
記録するデータ記録手段と、前記第2画像を入力する
時、前記時系列データを再生する再生手段と、前記第1
画像および第2画像を比較する比較手段と、該比較手段
の比較データに基づき、前記被写体の画像を抽出する画
像切り出し手段と、該抽出された被写体の画像を記録す
る記録手段とを備えたことを特徴とする。
【0030】請求項7に係る画像抽出方法は、抽出すべ
き被写体を含む第1画像および背景のみの第2画像を入
力する入力ステップと、該入力した第1画像および第2
画像を比較する比較ステップと、該比較結果に基づき、
抽出処理領域を設定する領域設定ステップと、該設定さ
れた抽出処理領域で前記被写体の画像を抽出する画像切
り出しステップと、前記抽出処理領域を更新する更新ス
テップと、前記抽出された被写体の画像を記録する記録
ステップとを備えたことを特徴とする。
【0031】請求項8に係る画像抽出方法は、抽出すべ
き被写体を含む動画像を入力する入力ステップと、処理
領域を設定する設定ステップと、該処理領域中の位置情
報を含む前記画像データを登録する登録ステップと、該
登録された画像データを更新する更新ステップと、前記
登録された画像データと次フレームの前記被写体を含む
動画像との画像データの変動量を算出する算出ステップ
と、該算出された変動量に基づく閾値処理により前記被
写体の動画像を抽出する画像切り出しステップとを備え
たことを特徴とする。
【0032】請求項9に係る画像抽出方法は、抽出すべ
き被写体を含む第1画像および背景のみの第2画像を入
力する入力ステップと、前記第1画像を入力する時の撮
像パラメータまたはカメラ操作データの時系列データを
記録する記録ステップと、前記第2画像を入力する時、
前記時系列データを再生する再生ステップと、前記第1
画像および前記第2画像を比較する比較ステップと、該
比較ステップの比較データに基づいて前記被写体の画像
を抽出する画像切り出しステップと、該抽出された画像
を記録する記録ステップとを備えたことを特徴とする。
【0033】請求項10に係る画像抽出装置は、抽出す
べき被写体を含む動画像を入力する入力手段と、該被写
体の領域でマスクデータを作成する作成手段と、次フレ
ームで抽出する画像データを予測する予測手段と、該マ
スクデータおよび前記被写体の画像データを登録するデ
ータ登録手段と、該登録された画像データに関する動き
ベクトルを抽出する抽出手段と、該抽出された動きベク
トルと前記登録された画像データに基づき、次フレーム
での抽出領域の位置および画像データを予測する予測手
段と、該予測される画像データと次フレームでの対応す
る位置での画像データとの差異を検出する差異検出手段
と、該検出される差異または仮説検定処理に基づき切り
出し判定を行う判定手段とを備えたことを特徴とする。
【0034】請求項11に係る画像抽出装置では、請求
項2に係る画像抽出装置において前記変動量算出手段
は、前記登録された画像データに関する第1の変動量を
評価する第1変動量評価手段と、前記マスクデータの形
状およびサイズに関する第2の変動量を評価する第2変
動量評価手段とを備え、前記動画像抽出手段は、前記第
1および第2の変動量評価手段の出力に基づき、切り出
し処理の各点における閾値を設定する閾値更新手段を備
えたことを特徴とする。
【0035】請求項12に係る画像抽出方法は、抽出す
べき被写体を含む動画像を入力する入力ステップと、該
動画像の所定フレームの前記被写体の領域でマスクデー
タを作成する作成ステップと、次フレームでのマスクデ
ータを予測する予測ステップと、現フレームのマスクデ
ータおよび抽出された前記被写体の画像データの登録お
よび更新を行う登録更新ステップと、該登録された画像
データに関する動きベクトルを抽出する抽出ステップ
と、該抽出された動きベクトルと前記登録された画像デ
ータに基づき、次フレームでの抽出領域における各点の
位置および画像データを予測する予測ステップと、該予
測された画像データと次フレームでの対応する位置での
画像データとの差異または仮説検定処理に基づき切り出
し判定を行う判定ステップとを備えたことを特徴とす
る。
【0036】
【発明の実施の形態】本発明の画像抽出装置の実施の形
態について説明する。本実施の形態における画像抽出装
置は撮像システムに適用される。図1は撮像システムの
構成を示すブロック図である。図において、1は画像入
力装置または撮像装置である。2は結像光学系、3はレ
ンズモータ駆動制御部である。4はイメージセンサであ
り、典型的にCCDが用いられる。
【0037】5は撮像パラメータ計測制御部であり、焦
点距離検出部、合焦状態検出部、シャッタ速度検出制御
部、絞り計測制御部、画像信号特性パラメータ(ガン
マ、ニー、ホワイトバランス補正、CCDの蓄積時間な
ど)の特徴量検出部を含む。特徴量として例えばガンマ
の場合、補正係数である。
【0038】6は符号化記録部であり、画像データ、特
に切り出された画像の圧縮符号化および撮像条件、切り
出し画像に関する付帯情報を記録する。7はビューファ
インダ(EVF)、8は撮像モード記録部であり、撮像
パラメータ、画像特性パラメータ、ストロボ発光の有
無、スキャニングなどの意図的な運動、手ぶれの有無な
どを含む撮像時の情報、およびカメラ操作データを各画
像フレーム毎に時系列的に記録する。特に、撮像装置1
本体の運動を伴うカメラ操作(スキャン、パンなど)に
ついては撮像装置1に加速度センサを内蔵し、その出力
データなどから判定するようにしてもよい。これらの付
帯情報は画像データと共にデータベース18に記憶され
る。
【0039】10は映像信号処理回路であり、ガンマ、
ニー、ホワイトバランス補正、AF、AE、AGC処理
回路などを有する。11は画像データ比較部であり、主
に登録された背景画像と被写体込み画像との差分を各フ
レームで求めて出力する。12は画像切り出し部であ
り、画像データ比較部11からの出力に統計的処理を施
し、抽出対象領域を同定し、被写体込み画像からの切り
出し用キー信号(またはマスクデータ)を出力する。
【0040】13はデータ通信制御部であり、外部のデ
ータベース18または端末装置16などに画像データを
転送したり、あるいは撮像装置1の制御パラメータ、コ
マンドなどを端末装置16などから入力する。データ通
信制御部13は撮像装置1に接続可能に外部に独立して
設置してもよい。この場合、内部に画像符号化部を設け
てもよい。
【0041】14はストロボ発光部である。15は撮像
動作制御部であり、外部またはカメラ操作により設定さ
れた制御モード(被写体抽出モード、標準撮影モードな
ど)により撮影モードに応じた制御信号を発生する。特
に、被写体抽出時、処理ステップに応じたタッチパネル
ディスプレイなどへの動作メニューの表示情報を生成す
る。
【0042】16は外部の端末装置(図示しないディス
プレイ、指示選択部などを含む)であり、撮像モード制
御、切り出し画像の選択、登録画像の検索、選択などを
行う。17はディスプレイであり、処理画像の出力やフ
ァインダディスプレイとしての機能を有する。また、タ
ッチパネル仕様の場合、後述する指示選択部21と共に
使用され画面内の特定対象を指示するために用いられ
る。
【0043】18はデータベースであり、過去に撮像さ
れた画像データ、およびそれぞれの付帯情報、例えば登
録画像であるか否かの種別、撮像パラメータ、撮像条件
(屋外または室内の区別、ストロボ投光の有無など)あ
るいはその他の情報(日付、時刻、場所、カメラ操作
者、タイトルなど)を保存する。
【0044】19は画像種別設定部であり、他の画像と
の比較に基づき対象を抽出する際の基準画像として登録
するか、または基準画像と比較すべき被写体抽出用画像
であるかの種別を設定するためのスイッチ等を有し、こ
れにより自動的に種別が付帯情報として記録される。
【0045】20はカメラパラメータ設定部であり、通
常背景画像と被写体込み画像とは同じ撮像モードで撮影
が行われるが、これは撮像装置1内部の特性を操作者が
任意に設定するためのものである。
【0046】21はペンまたはマウスなどの指示選択部
であり、撮像装置1に接続される場合、撮影の現場で記
録後または撮影中の画面内の特定対象の抽出などを指示
するために用いられる。
【0047】本実施の形態では、固定された背景(動く
物体が存在しない背景)中を変形あるいは移動する対象
物の固定位置からの撮影とその動画像の切り出しを行
う。
【0048】図2は撮像処理手順を示すフローチャート
である。まず、背景画像または被写体込み画像(撮像条
件および画像データを登録する)の種別を画像種別設定
部19で設定する(ステップS1)。設定された画像種
別を判別し(ステップS2)、被写体込み画像が設定さ
れた場合、被写体に最適な撮像条件で撮像を行う。撮像
手順としては抽出すべき被写体の所定背景中の画像(第
1画像)を最初に撮像し(ステップS3)、そのときの
カメラパラメータ、カメラ操作データなどの付帯情報を
画像データと共に所定のフォーマットで時系列的に記録
する(ステップS4)。
【0049】背景のみの画像(第2画像、動画像または
静止画像)を撮像する際、被写体込み画像撮像時に時系
列的に記録された付帯情報(撮像条件、撮像パラメー
タ)を読み出し(ステップS5)、背景のみの画像を撮
像する(ステップS6)。このように、背景画像を撮像
する場合、基本的に同一撮像条件、撮像モードおよびカ
メラ操作(視点位置変化を含む)を再生して撮像が行わ
れる。付帯情報は対応する画像データのアドレスなどと
共に別途ヘッダファイルなどに記録してもよい。
【0050】切り出し処理として撮像条件を一致させた
第1、第2画像間の比較データ(差分データ)に適応的
閾値処理(後述のステップS61)、抽出領域の予測
(後述のステップS62)などを含む統計的処理を施す
(ステップS7)。これにより、被写体画像領域を検出
して被写体のみの画像を抽出し、圧縮符号化処理(ステ
ップS8)を行う。
【0051】環境条件などの変動に対応するためにステ
ップS7の処理では、撮像時に撮像モード記録部8で記
録された撮像条件を用いて撮像パラメータ計測制御部5
は同一条件にすべき撮像パラメータを制御する。このよ
うに撮像モードを両者間で同一(被写体込み画像の撮像
モードで統一)にすることにより、2つの画像間におい
て背景パターンの同一領域での画像データの変動を抑制
することができ、後述する切り出し用統計的処理の信頼
性を増すことができる。
【0052】但し、被写体画像の分光反射率特性等によ
る映像信号処理回路10の特性(ガンマ、ホワイトバラ
ンスなど)の変動、ノイズの混入、照明条件の変動(外
乱光の入射など)により一般的には同じ撮像モードでも
背景部の画像データは2つの画像間で完全に一致しない
状況が存在する。このようなケースに対応するために画
像データの変換を行い、背景画像のうち被写体込み画像
の背景画像領域に相当する部分の画像データがほぼ同じ
となるように正規化してもよい。
【0053】撮影終了後、画像データ比較部11では、
背景画像と被写体込み画像との差分データを生成する。
画像切り出し部12は差分データの平滑化処理(メディ
アンフィルタなど)、閾値処理(色成分偏差、輝度レベ
ル偏差に基づく)を行うことにより画像データの変動量
に基づいて被写体領域を抽出する。
【0054】図3は被写体込み画像および背景画像を示
す説明図である。同図(A)の被写体込み画像では被写
体(人物)を優先した撮像モードで画像が入力されてい
る。同図(B)の背景画像では、同図(A)と同じ倍率
で遠景に画像信号の特性量が合うように撮像されてい
る。両画像間では同じ背景でも画像データの特性(平均
的輝度レベル、色成分)が若干異なることがある。
【0055】同図(A)の被写体込み画像と、同図
(B)の背景画像またはその正規化データとの差分の統
計的処理(ステップS7の比較処理の結果)により行っ
た切り出し処理結果を同図(C)に示す。
【0056】図4は背景画像および被写体込み画像から
被写体を抽出する処理手順を示すフローチャートであ
る。図5は背景画像および被写体込み画像から被写体を
抽出する処理を示す説明図である。まず、画像データ変
換後の背景画像Ib(図5の(A)右側)、被写体込み
画像It(図5の(A)左側)のR、G、B成分および
輝度信号から色相Hb,Ht、彩度Sb,St、明度V
b,Vt(インデクスbは背景のみの画像、tは対象物
および背景が写った画像を表す)をそれぞれ抽出し、数
式1で示す評価関数Fの値を後述する方法で設定される
閾値により2値化して被写体領域と背景領域との識別を
行う(ステップS41)。
【0057】
【数1】F(Hb−Ht,Sb−St,Vb−Vt)=
αh(Hb−Ht)2+αs(Sb−St)2+αv(V
b−Vt)2 ここで、αh、αs、αvは画像Ib、Itの各成分の
S/N値または各画像を所定サイズのブロックに分割し
た際の各成分の局所定分散値(例えば8×8のサイズに
分割したブロック領域内の分散値)の関数であり、例え
ばαh=Ph(Ib)・Ph(It)などが用いられ
る。Ph(I)は画像データIの所定領域における色相
成分に関するS/N値の単調増加関数、あるいは分散値
の単調減少関数(逆数など)を表す。同様にしてPs
(I),Pv(I)として彩度、明度に関するパラメー
タが定義される。
【0058】必要があれば対象物によって背景上に生じ
る陰影の判定除去処理(ステップS42)を行ってもよ
い。陰影判定の例としては色相の変動量が少なく、輝度
の変動量が基準値より大きい場合、かつ輝度の変動量の
空間的分散値が小さい場合などが挙げられる。
【0059】抽出領域が定まると、切り出し処理とマス
クデータ(抽出画素を値1、他を値0とする)の作成処
理(ステップS43)、および切り出し画像の登録処理
(ステップS44)が行われる。
【0060】領域中各点の判別用閾値Tの初期値は大津
の方法(電子情報通信学会論文誌、vol.J63,p
p.349−356,1980)などを評価関数の各
項、即ち、(Hb−Ht)2、(Sb−St)2、(Vb
−Vt)2それぞれに適用して求めてもよい。尚、上記
評価関数および各パラメータはそれぞれ上記のものに限
定されるものではない。
【0061】さらに、次フレームの処理領域(マスク)
を設定する(ステップS45)。具体的には登録された
切り出し画像または被写体込み画像(図5の(A)左
側)全体の各点での動きベクトルを抽出し(図5の
(B))、次フレームでのマスク上各点の位置を予測し
て求めればよい(図5の(C))。また、演算時間を短
縮するためにマスク領域の輪郭線上各点についてのみ各
フレーム間の動きベクトルを算出して求めてもよい。
尚、現フレームでのマスク領域を定数倍拡大して得られ
る領域、あるいは次フレームでの推定されるマスク領域
を定数倍拡大した領域を次フレームで処理領域としても
よい。
【0062】さらに、次フレームでの切り出し処理の閾
値設定(ステップS46)を画像データに基づいて行う
(図2の適応的閾値処理、ステップS61)。切り出し
処理の閾値(以下、判別閾値と称する)は現フレームま
での切り出し画像データの変動量またはマスクデータの
形状などの変動量に基づいて設定される(図5の
(D))。
【0063】設定の仕方としては判別閾値を2種類用意
し、登録画像内の画像データまたはマスク形状の変動量
が予め定めた固定閾値以下のときには高い方の判別閾値
を用い、変動量が固定閾値より大きい場合、高い方の判
別閾値を用いる方法でよい。他の方法として変動量評価
を各フレームで行い、固定閾値に対して大(小)となる
毎に判別閾値を所定量だけ増加(減少)させる、または
連続して大(小)となる場合、それに一定値を連続回数
分だけ乗算した値を増加(減少)させる方法でもよい。
【0064】図6は前フレームでのマスク領域の画像デ
ータと現フレームでのマスク領域の画像データとの間の
変動量を示す説明図である。前フレームでのマスク領域
の画像データ(同図(B))と現フレームでのマスク領
域の画像データ(同図(A))との間の変動量(同図
(C))と、それが固定閾値を越えた場合に判別閾値を
低く(そうでない場合は高く)した結果(同図(D))
を示す。
【0065】図7はマスク形状およびサイズの変動量評
価を示す説明図である。尚、マスク形状、サイズの変動
量評価は、同図(1)に示すように、現フレームおよび
前フレームのマスク(同図(1)のA)、それぞれの重
心を一致させて重ねたとき(同図(1)のB)の重なり
合わない部分領域の面積の総和(同図(1)のC)を現
フレームでのマスク面積で正規化した値などを評価して
求める方法、あるいは図7の(2)に示すように重心を
中心とする極座標系、図7の(2)のAにおいて輪郭上
の各点をr−θ座標でθの昇順(降順)で表し(同
B)、対応する点間のr値の差分データ(図7の(2)
C、差分絶対値またはその2乗値など)等の総和を求め
る方法などで変動量評価を行ってもよい。
【0066】この結果、背景データが被写体上のある部
分と類似した画像データを有する場所に被写体が移動す
ることによって、上記評価関数値が判別閾値の初期値よ
り小さくなる場合でも誤判定(その部分領域の各点を背
景と判定すること)を回避することができる。
【0067】判別閾値設定後、背景画像との差分データ
の統計的処理により次フレームでの画像切り出しを行
う。このようにして得られる切り出し画像を一時記憶部
に格納した後、圧縮符号化と記録(ステップS47)を
行う。具体的には切り出し画像を含むかまたは外接する
ような矩形領域(切り出し画像以外の点は値0のデー
タ)内の動画像をMPEGなどの方式に符号化すればよ
い。以下、背景画像データと次フレームでの被写体込み
画像との比較、変動量の算出、切り出し処理、および符
号化記録処理を同様に繰り返すことにより動画像切り出
しが行われる。
【0068】[第2の実施の形態]第2の実施の形態で
は、静止または動いている被写体の時系列画像を撮像し
ながら、パンニング、ズーミングなどのカメラ操作を行
う場合、被写体の動画像切り出しについて説明する。ま
ず、被写体の画像を撮影する際、カメラ操作、撮像パラ
メータ(フォーカシングモータ位置、露光モード、シャ
ッタ速度、倍率など)を画像と共に時系列的に記録し、
つぎにカメラ操作情報および撮像パラメータを再生しな
がら背景のみの画像を撮像して記録する。
【0069】撮像装置の姿勢や位置を検知する位置検知
部を有する雲台、または同様の検知部を有するステージ
上に撮像装置を設置し、かつ被写体の撮影時にフォーカ
シング、ズーミングなどの動作を行う場合について示
す。
【0070】図8は第2の実施の形態における撮像シス
テムの構成を示すブロック図である。前記第1の実施の
形態と同一の構成要素については同一の符号を付してそ
の説明を省略する。撮像装置1を搭載し、位置姿勢制御
部32を有する雲台が3次元的に可動なステージ33上
に設置されている場合、外部からのコマンドデータをコ
マンド入力部37から入力し、位置姿勢制御信号発生部
34で生成される時系列制御信号に基づき、ステージ3
3および撮像装置1の位置、姿勢および撮像条件の一部
を制御する。これにより、パンニング、ズーミングなど
の操作を行いながら被写体込み動画像を撮像する。
【0071】撮像条件の制御信号のうちフォーカシン
グ、露光条件などは撮像装置1内部で発生してもよい。
被写体込み画像撮像時の位置、姿勢制御データおよび撮
像条件データ(以下、これらを総称して撮像制御データ
という)と撮像装置1からの映像信号データとは同期部
39により同期して付帯情報記憶部36に記録される。
【0072】つぎに、背景画像を撮像する際の動作につ
いて説明する。コマンド入力部37からの指示により背
景画像撮像モードが設定されると、既に撮像済の被写体
込み画像の撮像制御データが付帯情報記憶部36から読
み出され、再生データ抽出記憶部35に一時的に記憶さ
れる。背景画像は撮像制御データが制御信号発生部34
から出力されると、被写体込み画像と同一条件で撮像さ
れ、さらに背景動画像記憶部40に記録される。両画像
データは動画切り出し部38によって前記第1の実施の
形態と同様に処理され、最終的に被写体の動画像が切り
出される。
【0073】図9は被写体撮像時の画像記録フォーマッ
トを示す説明図である。画像データのヘッダ部には時刻
またはフレーム番号(経過時間)、フォーカシングモー
タ位置、ズーミングモータ位置、シャッタ速度(電荷蓄
積時間)、映像信号特性パラメータ(ガンマ、ニー、ホ
ワイトバランス等)、絞り径、カメラの姿勢角度(θ
1、θ2、θ3)、カメラ位置(X、Y、Z)などが記
録される。これらの情報は画像データとは別のヘッダフ
ァイルに記録してもよい。背景のみの画像データ撮像時
には再生データ抽出記憶部35からヘッダ部情報が読み
出されて各撮像パラメータの時系列制御データに変換さ
れる。
【0074】図10は撮像処理手順を示すフローチャー
トである。撮像手順としては抽出すべき被写体の所定背
景中の画像(第1画像)を最初に撮像し(ステップS5
1)、そのときの撮像パラメータ、カメラ操作情報を画
像データと共に符号化記録部部6に時系列的に記録し
(ステップS52)、つぎに背景のみの画像(第2画
像、動画像または静止画像)を同じ撮像条件を再生しな
がら撮像する(ステップS53)。
【0075】撮像条件を一致させ、対応するフレーム番
号の第1、第2画像間の比較データ(差分データ)に対
して、前記第1の実施の形態と同様の統計的処理による
切り出し処理(ステップS54、適応的閾値処理、抽出
領域の予測などを含む)を施すことにより、被写体画像
領域を検出して被写体のみの動画像を抽出し、圧縮符号
化処理(ステップS55)を行う。
【0076】尚、本実施の形態では、2軸以上のジョイ
ントアーム機構に撮像装置を設置し、撮像装置上または
アーム機構に位置、姿勢検出用センサを搭載し、上述の
説明と同様の撮影動作と処理を行ってもよい。この場
合、アーム機構の結合角度の時系列記録および復帰再生
手段を要することはいうまでもない。
【0077】[第3の実施の形態]第3の実施の形態に
おける撮像システムについて説明する。図11は第3の
実施の形態における画像の切り出し処理手順を示すフロ
ーチャートである。まず、被写体込み動画像の第1フレ
ーム画像から被写体の静止画像の切り出し処理を行い
(ステップS81)、抽出領域のマスクデータ作成(ス
テップS82)と切り出し画像の登録(ステップS8
3)を行った後、マスク領域近傍での動きベクトルを検
出する(ステップS84)。動きベクトルに基づくマス
ク(処理領域)の設定(ステップS85)、前フレーム
と差分データの適応的閾値処理などによる動画像の切り
出し(ステップS86)と符号化記録(ステップS9
1)を行う。
【0078】本実施の形態では、特に背景のみの画像デ
ータの撮影および活用をせず、切り出し処理により随時
登録される画像データのフレーム間変動量評価(ステッ
プS87)に基づく切り出し処理用閾値の設定と更新
(ステップS88)、動きベクトルと登録画像データに
基づく切り出し判定(ステップS89)、および仮説検
定処理に基づく切り出し(ステップS90)などを行
う。尚、始めの静止画像の切り出し方法は従来方式を用
いるなど特に限定しない。
【0079】本実施の形態においても前記第1の実施の
形態と同様に登録された(前フレームで切り出された)
被写体画像のフレーム間変動量は、対応する点間の輝
度、色情報の変動およびマスク形状、サイズの変動量の
ことを指し、画像データの変動量が高い(小さい)点で
の前フレーム画像との画像データの変動量の判別閾値を
低く(高く)する。同様に形状の変動量が大きい(小さ
い)場合には全体的に閾値を低く(高く)する。
【0080】図12は動きベクトルに基づき予測される
次フレームの対応する位置での画像データを算出する手
順を示す説明図である。現フレーム分の背景を含む画像
データ(図12のA)を保持し、前フレーム画像(図1
2のB)を用いて検出される抽出すべき対象上の各点
(または各局所領域)に関する動きベクトル(図12の
C)に基づき予測される次フレームの対応する位置(ま
たは局所領域)での画像データ(図12のD)を算出す
る(現画像データの移動および補間処理を行う)。以上
の図中、b1とb2はそれぞれ現フレームでの背景と被
写体との境界を表す。この予測データと現フレーム上の
同じ位置(または局所領域)での画像データとの差異を
予測し(図12のE、予測誤差)、実際の差異(図12
のF)とのずれ(図12のG、偏差)を評価してその値
が閾値以下である場合には抽出画像と判定する切り出し
判定処理を行う。
【0081】また、この偏差が閾値以上である場合、以
下に示すような仮説検定処理(ステップS90)を行
う。即ち、切り出し判定の結果を真と仮定した場合の孤
立点(領域)の生起判定処理、陰影判定処理(前記実施
の形態1で説明)を行い、前フレームに存在しない孤立
点(領域)の生起が判定される場合にはその点(領域)
において偽と判定し、補正(抽出と非抽出の判定を入れ
替える)する。
【0082】尚、前フレームに存在しない孤立領域と
は、そのサイズが前フレームで抽出された被写体サイズ
と較べて十分に小さく、かつ他の領域と連結していない
領域を意味する。陰影候補と判定される場合、前記第1
の実施の形態と同様の処理を行うか、または予め陰影判
定時に選択可能な処理モード(1:無条件に削除、2:
被写体領域に併合、3:陰影候補領域として表示、ユー
ザによる削除または抽出の指示)を設定しておいてもよ
い。このようにすることにより、被写体の動きに伴って
背景の見え隠れが生じても背景パターンの影響を敏感に
受けずに安定した動画像切り出しを行うことができる。
【0083】[第4の実施の形態]第4の実施の形態で
は、撮像装置として複眼撮像系を用い、所定の基線長お
よび輻輳角を有する左右カメラにより得られる画像間の
対応する点(または局所領域)の抽出およひそれらの視
差の算出を行う。撮像手順としては前記第1の実施の形
態と同様に被写体込み画像を撮像し、撮像条件などを記
録した後、同一撮像条件で背景画像を撮像する。
【0084】図13は第4の実施の形態における被写体
切り出し処理手順を示すフローチャートである。複眼撮
像系による被写体込み動画像の撮影(ステップS10
1)、撮像条件データの記録(ステップS102)、背
景のみの複眼撮像と記録(ステップS103)の後、そ
れぞれの複眼画像について左右画像間の対応点および視
差分布抽出(ステップS104)を行う。尚、以下に示
す視差分布からの切り出し方法によっては被写体込み画
像についてのみ視差分布を求めればよい。
【0085】まず、視差値の分布に基づいて被写体の概
略形状を抽出する(ステップS105)。視差分布に基
づく切り出しについては一般的に次のような問題が発生
する。即ち、左右カメラと被写体との幾何学的配置およ
び被写体形状に応じて生じる遮蔽領域(視野が重複して
いる範囲で一方のカメラのみに写っている領域)では視
差値が求まらない。このため、抽出精度、分解能は不十
分であるが、視差分布(撮像装置からの奥行き、立体情
報)を利用して背景から抽出すべき被写体領域を限局す
るために活用する。この目的のために適当な画像抽出方
法の第1の例として被写体込み画像の視差分布と背景画
像の視差分布との間で背景領域に関する対応付け処理を
行う方法が挙げられる。他の方法としては、被写体込み
画像の視差分布から視差値が所定範囲にあり、かつ一定
サイズ以上の連結領域を抽出してもよい。
【0086】前者の抽出方法は被写体を除く背景の大部
分および被写体によって背景上に投影された影に相当す
る領域の一部を削除することができる。後者では、背景
画像と被写体込み画像との比較だけでは、除去できない
場合(例えば、背景の中に抽出すべき被写体以外の動く
物体が存在する場合など)に視差に基づく大まかな切り
出しを行って抽出すべき被写体のみを含む領域を設定す
ることができ、また、処理領域を限定して切り出し処理
の効率、速度を向上させることができる。
【0087】次に抽出された領域を中心とする処理範囲
(例えば、抽出領域を中に含む矩形領域など)を設定し
(ステップS106)、背景画像と被写体込み画像との
間で前記第1の実施の形態と同様に判別閾値に基づく切
り出し処理(ステップS107)を行う。
【0088】本実施の形態では切り出し処理の際、視差
情報を活用することにより、抽出処理をすべき領域の限
定に伴い演算効率が向上し、かつ被写体によって背景部
に生じる陰影の切り出し精度に与える影響を抑制するこ
とにより精度の安定化をもたらすことができる。
【0089】
【発明の効果】本発明の請求項1に係る画像抽出装置に
よれば、入力手段により抽出すべき被写体を含む第1画
像および背景のみの第2画像を入力し、比較手段により
該入力した第1画像および第2画像を比較し、該比較手
段の比較データに基づいて領域設定手段により次フレー
ムの抽出処理領域を設定し、画像切り出し手段により該
設定された抽出処理領域で前記比較データの閾値処理を
行うことにより前記被写体の画像を抽出し、更新手段に
より前記抽出処理領域内の画像データの変動量に基づい
て前記閾値を更新し、記録手段により前記抽出された被
写体の画像を記録するので、被写体の形状、画像データ
の特性によらずに精度が安定し、かつ高速な動画像の自
動切り出しを行うことができる。
【0090】請求項2に係る画像抽出装置によれば、入
力手段により抽出すべき被写体を含む動画像を入力し、
画像切り出し手段により該動画像中の特定の被写体を抽
出し、作成手段により該抽出された被写体の領域でマス
クデータを作成し、予測手段により次フレームでのマス
クデータを予測し、データ登録手段により該予測された
マスクデータおよび前記被写体の画像データを登録し、
更新手段により該登録される画像データを前記予測手段
の出力に基づき更新し、変動量算出手段により該更新さ
れた画像データと次フレームの前記被写体を含む画像デ
ータとの変動量を算出し、動画像抽出手段により該算出
された変動量に基づく閾値処理により前記被写体の動画
像を抽出するので、被写体の運動、変形の程度を推定し
て切り出し処理の閾値を設定する(変動の大きいところ
は閾値を小さくするなど)ことにより切り出し精度を安
定化できる。
【0091】請求項3に係る画像抽出装置によれば、前
記データ登録手段は、異なる時刻における前記被写体の
画像データを登録し、前記動画像抽出手段は、前記登録
された画像データ間の各点での変動量に基づき、各点で
の切り出し処理の閾値を可変に設定するので、被写体の
運動、変形の有無またはそれらの程度によらずに安定し
た動画像の切り出しを行うことができる。
【0092】請求項4に係る画像抽出装置によれば、前
記動画像抽出手段は、前記登録された画像データの動き
ベクトルを検出する検出手段と、該検出された動きベク
トルおよび各点の画像データの変動量に基づき、次フレ
ームでの切り出し処理の閾値を設定する閾値設定手段
と、前記変動量に基づく閾値処理により前記被写体の動
画像を抽出する画像切り出し手段とを備えたので、背景
パターンおよび被写体の運動によらずに動画像の切り出
し精度を安定化できる。
【0093】請求項5に係る画像抽出装置によれば、前
記入力手段は、異なる視点位置からの前記被写体または
背景の画像を入力し、前記データ登録手段は、異なる時
刻の前記被写体の画像データを登録し、前記動画像抽出
手段は、前記登録された画像データの各点での視差値を
抽出する視差値抽出手段と、該抽出された視差値に基づ
く前記被写体の概略領域を抽出する概略領域抽出手段
と、前記概略領域を中心とする所定範囲の処理領域を設
定する処理領域設定手段と、該設定された処理領域の各
点での画像データの変動量に基づき、切り出し処理の閾
値を設定する閾値設定手段とを備えたので、視差および
画像データの併用により切り出し精度を安定化できる。
【0094】請求項6に係る画像抽出装置によれば、入
力手段により抽出すべき被写体を含む第1画像および背
景のみの第2画像を入力し、データ記録手段により該第
1画像を入力する時の撮像パラメータまたはカメラ操作
データを有する時系列データを記録し、再生手段により
前記第2画像を入力する時、前記時系列データを再生
し、比較手段により前記第1画像および第2画像を比較
し、画像切り出し手段により該比較手段の比較データに
基づき、前記被写体の画像を抽出し、記録手段により該
抽出された被写体の画像を記録するので、カメラ操作
(パンニングなど)、視点位置の移動を行って得られる
動画像から動被写体の切り出しを高精度に行うことがで
きる。
【0095】請求項7に係る画像抽出方法によれば、抽
出すべき被写体を含む第1画像および背景のみの第2画
像を入力する入力ステップと、該入力した第1画像およ
び第2画像を比較する比較ステップと、該比較結果に基
づき、抽出処理領域を設定する領域設定ステップと、該
設定された抽出処理領域で前記被写体の画像を抽出する
画像切り出しステップと、前記抽出処理領域を更新する
更新ステップと、前記抽出された被写体の画像を記録す
る記録ステップとを備えたので、被写体の形状、画像デ
ータ特性によらずに安定した動画像の自動切り出しを行
うことができる。
【0096】請求項8に係る画像抽出方法によれば、抽
出すべき被写体を含む動画像を入力する入力ステップ
と、処理領域を設定する設定ステップと、該処理領域中
の位置情報を含む前記画像データを登録する登録ステッ
プと、該登録された画像データを更新する更新ステップ
と、前記登録された画像データと次フレームの前記被写
体を含む動画像との画像データの変動量を算出する算出
ステップと、該算出された変動量に基づく閾値処理によ
り前記被写体の動画像を抽出する画像切り出しステップ
とを備えたので、動画像切り出し精度の安定化をもたら
すことができる。
【0097】請求項9に係る画像抽出方法によれば、抽
出すべき被写体を含む第1画像および背景のみの第2画
像を入力する入力ステップと、前記第1画像を入力する
時の撮像パラメータまたはカメラ操作データの時系列デ
ータを記録する記録ステップと、前記第2画像を入力す
る時、前記時系列データを再生する再生ステップと、前
記第1画像および前記第2画像を比較する比較ステップ
と、該比較ステップの比較データに基づいて前記被写体
の画像を抽出する画像切り出しステップと、該抽出され
た画像を記録する記録ステップとを備えたので、カメラ
操作(パンニングなど)、視点位置の移動を行って得ら
れる動画像から動被写体の切り出しを高精度に行うこと
ができる。
【0098】請求項10に係る画像抽出装置によれば、
入力手段により抽出すべき被写体を含む動画像を入力
し、作成手段により該被写体の領域でマスクデータを作
成し、予測手段により次フレームで抽出する画像データ
を予測し、データ登録手段により該マスクデータおよび
前記被写体の画像データを登録し、抽出手段により該登
録された画像データに関する動きベクトルを抽出し、予
測手段により該抽出された動きベクトルと前記登録され
た画像データに基づき、次フレームでの抽出領域の位置
および画像データを予測し、差異検出手段により該予測
される画像データと次フレームでの対応する位置での画
像データとの差異を検出し、判定手段により該検出され
る差異または仮説検定処理に基づき切り出し判定を行う
ので、動画像中の所定フレームから抽出された被写体画
像について、それ以降のフレームにおいて被写体の運
動、背景パターンによらず安定した動画像切り出しを行
うことができる。
【0099】請求項11に係る画像抽出装置によれば、
前記変動量算出手段は、前記登録された画像データに関
する第1の変動量を評価する第1変動量評価手段と、前
記マスクデータの形状およびサイズに関する第2の変動
量を評価する第2変動量評価手段とを備え、前記動画像
抽出手段は、前記第1および第2の変動量評価手段の出
力に基づき、切り出し処理の各点における閾値を設定す
る閾値更新手段を備えたので、抽出判定の閾値を画像デ
ータの変動量および形状、サイズデータの変動量を用い
た多面的評価に基づいて行うことにより、安定した動画
像切り出しを行うことができる。
【0100】請求項12に係る画像抽出方法によれば、
抽出すべき被写体を含む動画像を入力する入力ステップ
と、該動画像の所定フレームの前記被写体の領域でマス
クデータを作成する作成ステップと、次フレームでのマ
スクデータを予測する予測ステップと、現フレームのマ
スクデータおよび抽出された前記被写体の画像データの
登録および更新を行う登録更新ステップと、該登録され
た画像データに関する動きベクトルを抽出する抽出ステ
ップと、該抽出された動きベクトルと前記登録された画
像データに基づき、次フレームでの抽出領域における各
点の位置および画像データを予測する予測ステップと、
該予測された画像データと次フレームでの対応する位置
での画像データとの差異または仮説検定処理に基づき切
り出し判定を行う判定ステップとを備えたので、動画像
中の所定フレームから抽出された被写体画像について、
それ以降のフレームにおいて被写体の運動、背景パター
ンによらず安定した動画像切り出しを行うことができ
る。
【図面の簡単な説明】
【図1】撮像システムの構成を示すブロック図である。
【図2】撮像処理手順を示すフローチャートである。
【図3】被写体込み画像および背景画像を示す説明図で
ある。
【図4】背景画像および被写体込み画像から被写体を抽
出する処理手順を示すフローチャートである。
【図5】背景画像および被写体込み画像から被写体を抽
出する処理を示す説明図である。
【図6】前フレームでのマスク領域の画像データと現フ
レームでのマスク領域の画像データとの間の変動量を示
す説明図である。
【図7】マスク形状およびサイズの変動量評価を示す説
明図である。
【図8】第2の実施の形態における撮像システムの構成
を示すブロック図である。
【図9】被写体撮像時の画像記録フォーマットを示す説
明図である。
【図10】撮像処理手順を示すフローチャートである。
【図11】第3の実施の形態における画像の切り出し処
理手順を示すフローチャートである。
【図12】動きベクトルに基づき予測される次フレーム
の対応する位置での画像データを算出する手順を示す説
明図である。
【図13】第4の実施の形態における被写体切り出し処
理手順を示すフローチャートである。
【符号の説明】
1 撮像装置 5 撮像パラメータ計測制御部 6 符号化記録部 8 撮像モード記録部 11 画像データ比較部 12 画像切り出し部 18 データベース 19 画像種別設定部 20 カメラパラメータ設定部 32 位置姿勢制御部 35 再生データ抽出記憶部 36 付帯情報記憶部 38 動画像切り出し部 40 背景動画像記憶部

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 抽出すべき被写体を含む第1画像および
    背景のみの第2画像を入力する入力手段と、 該入力した第1画像および第2画像を比較する比較手段
    と、 該比較手段の比較データに基づいて次フレームの抽出処
    理領域を設定する領域設定手段と、 該設定された抽出処理領域で前記比較データの閾値処理
    を行うことにより前記被写体の画像を抽出する画像切り
    出し手段と、 前記抽出処理領域内の画像データの変動量に基づいて前
    記閾値を更新する更新手段と、 前記抽出された被写体の画像を記録する記録手段とを備
    えたことを特徴とする画像抽出装置。
  2. 【請求項2】 抽出すべき被写体を含む動画像を入力す
    る入力手段と、 該動画像中の特定の被写体を抽出する画像切り出し手段
    と、 該抽出された被写体の領域でマスクデータを作成する作
    成手段と、 次フレームでのマスクデータを予測する予測手段と、 該予測されたマスクデータおよび前記被写体の画像デー
    タを登録するデータ登録手段と、 該登録される画像データを前記予測手段の出力に基づき
    更新する更新手段と、 該更新された画像データと次フレームの前記被写体を含
    む画像データとの変動量を算出する変動量算出手段と、 該算出された変動量に基づく閾値処理により前記被写体
    の動画像を抽出する動画像抽出手段とを備えたことを特
    徴とする画像抽出装置。
  3. 【請求項3】 前記データ登録手段は、異なる時刻にお
    ける前記被写体の画像データを登録し、前記動画像抽出
    手段は、前記登録された画像データ間の各点での変動量
    に基づき、各点での切り出し処理の閾値を可変に設定す
    ることを特徴とする請求項2記載の画像抽出装置。
  4. 【請求項4】 前記動画像抽出手段は、 前記登録された画像データの動きベクトルを検出する検
    出手段と、 該検出された動きベクトルおよび各点の画像データの変
    動量に基づき、次フレームでの切り出し処理の閾値を設
    定する閾値設定手段と、 前記変動量に基づく閾値処理により前記被写体の動画像
    を抽出する画像切り出し手段とを備えたことを特徴とす
    る請求項2記載の画像抽出装置。
  5. 【請求項5】 前記入力手段は、異なる視点位置からの
    前記被写体または背景の画像を入力し、 前記データ登録手段は、異なる時刻の前記被写体の画像
    データを登録し、 前記動画像抽出手段は、前記登録された画像データの各
    点での視差値を抽出する視差値抽出手段と、該抽出され
    た視差値に基づく前記被写体の概略領域を抽出する概略
    領域抽出手段と、前記概略領域を中心とする所定範囲の
    処理領域を設定する処理領域設定手段と、該設定された
    処理領域の各点での画像データの変動量に基づき、切り
    出し処理の閾値を設定する閾値設定手段とを備えたこと
    を特徴とする請求項2記載の画像抽出装置。
  6. 【請求項6】 抽出すべき被写体を含む第1画像および
    背景のみの第2画像を入力する入力手段と、 該第1画像を入力する時の撮像パラメータまたはカメラ
    操作データを有する時系列データを記録するデータ記録
    手段と、 前記第2画像を入力する時、前記時系列データを再生す
    る再生手段と、 前記第1画像および第2画像を比較する比較手段と、 該比較手段の比較データに基づき、前記被写体の画像を
    抽出する画像切り出し手段と、 該抽出された被写体の画像を記録する記録手段とを備え
    たことを特徴とする画像抽出装置。
  7. 【請求項7】 抽出すべき被写体を含む第1画像および
    背景のみの第2画像を入力する入力ステップと、 該入力した第1画像および第2画像を比較する比較ステ
    ップと、 該比較結果に基づき、抽出処理領域を設定する領域設定
    ステップと、 該設定された抽出処理領域で前記被写体の画像を抽出す
    る画像切り出しステップと、 前記抽出処理領域を更新する更新ステップと、 前記抽出された被写体の画像を記録する記録ステップと
    を備えたことを特徴とする画像抽出方法。
  8. 【請求項8】 抽出すべき被写体を含む動画像を入力す
    る入力ステップと、 処理領域を設定する設定ステップと、 該処理領域中の位置情報を含む前記画像データを登録す
    る登録ステップと、 該登録された画像データを更新する更新ステップと、 前記登録された画像データと次フレームの前記被写体を
    含む動画像との画像データの変動量を算出する算出ステ
    ップと、 該算出された変動量に基づく閾値処理により前記被写体
    の動画像を抽出する画像切り出しステップとを備えたこ
    とを特徴とする画像抽出方法。
  9. 【請求項9】 抽出すべき被写体を含む第1画像および
    背景のみの第2画像を入力する入力ステップと、 前記第1画像を入力する時の撮像パラメータまたはカメ
    ラ操作データの時系列データを記録する記録ステップ
    と、 前記第2画像を入力する時、前記時系列データを再生す
    る再生ステップと、 前記第1画像および前記第2画像を比較する比較ステッ
    プと、 該比較ステップの比較データに基づいて前記被写体の画
    像を抽出する画像切り出しステップと、 該抽出された画像を記録する記録ステップとを備えたこ
    とを特徴とする画像抽出方法。
  10. 【請求項10】 抽出すべき被写体を含む動画像を入力
    する入力手段と、 該被写体の領域でマスクデータを作成する作成手段と、 次フレームで抽出する画像データを予測する予測手段
    と、 該マスクデータおよび前記被写体の画像データを登録す
    るデータ登録手段と、 該登録された画像データに関する動きベクトルを抽出す
    る抽出手段と、 該抽出された動きベクトルと前記登録された画像データ
    に基づき、次フレームでの抽出領域の位置および画像デ
    ータを予測する予測手段と、 該予測される画像データと次フレームでの対応する位置
    での画像データとの差異を検出する差異検出手段と、 該検出される差異または仮説検定処理に基づき切り出し
    判定を行う判定手段とを備えたことを特徴とする画像抽
    出装置。
  11. 【請求項11】 前記変動量算出手段は、前記登録され
    た画像データに関する第1の変動量を評価する第1変動
    量評価手段と、前記マスクデータの形状およびサイズに
    関する第2の変動量を評価する第2変動量評価手段とを
    備え、 前記動画像抽出手段は、前記第1および第2の変動量評
    価手段の出力に基づき、切り出し処理の各点における閾
    値を設定する閾値更新手段を備えたことを特徴とする請
    求項2記載の画像抽出装置。
  12. 【請求項12】 抽出すべき被写体を含む動画像を入力
    する入力ステップと、 該動画像の所定フレームの前記被写体の領域でマスクデ
    ータを作成する作成ステップと、 次フレームでのマスクデータを予測する予測ステップ
    と、 現フレームのマスクデータおよび抽出された前記被写体
    の画像データの登録および更新を行う登録更新ステップ
    と、 該登録された画像データに関する動きベクトルを抽出す
    る抽出ステップと、 該抽出された動きベクトルと前記登録された画像データ
    に基づき、次フレームでの抽出領域における各点の位置
    および画像データを予測する予測ステップと、 該予測された画像データと次フレームでの対応する位置
    での画像データとの差異または仮説検定処理に基づき切
    り出し判定を行う判定ステップとを備えたことを特徴と
    する画像抽出方法。
JP8192729A 1996-07-04 1996-07-04 画像抽出装置および方法 Pending JPH1021408A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8192729A JPH1021408A (ja) 1996-07-04 1996-07-04 画像抽出装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8192729A JPH1021408A (ja) 1996-07-04 1996-07-04 画像抽出装置および方法

Publications (1)

Publication Number Publication Date
JPH1021408A true JPH1021408A (ja) 1998-01-23

Family

ID=16296103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8192729A Pending JPH1021408A (ja) 1996-07-04 1996-07-04 画像抽出装置および方法

Country Status (1)

Country Link
JP (1) JPH1021408A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325672A (ja) * 2000-05-16 2001-11-22 Mega Chips Corp 侵入者監視システム
WO2006008944A1 (ja) * 2004-07-22 2006-01-26 National University Corporation Nara Institute Ofscience And Technology 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2007531121A (ja) * 2004-03-24 2007-11-01 セルニウム コーポレイション エリアごとの分割ゲインの使用によるビデオ分析の改良
JP2008129864A (ja) * 2006-11-21 2008-06-05 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
US7391444B1 (en) 1999-07-23 2008-06-24 Sharp Kabushiki Kaisha Image pickup apparatus capable of selecting output according to time measured by timer
WO2009001510A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 画像処理装置、画像処理方法、プログラム
JP2011040859A (ja) * 2009-08-07 2011-02-24 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2012009980A (ja) * 2010-06-23 2012-01-12 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US8345119B2 (en) 2009-12-25 2013-01-01 Casio Computer Co., Ltd. Image pickup device, image processing method, and storage medium storing program
US8441554B2 (en) 2009-03-06 2013-05-14 Casio Computer Co., Ltd. Image capturing apparatus capable of extracting subject region from captured image
US8514293B2 (en) 2004-10-01 2013-08-20 Nikon Corporation Moving image processing device and method for performing different image processings to moving object region and still object region
US11250581B2 (en) 2018-04-03 2022-02-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391444B1 (en) 1999-07-23 2008-06-24 Sharp Kabushiki Kaisha Image pickup apparatus capable of selecting output according to time measured by timer
JP2001325672A (ja) * 2000-05-16 2001-11-22 Mega Chips Corp 侵入者監視システム
JP2007531121A (ja) * 2004-03-24 2007-11-01 セルニウム コーポレイション エリアごとの分割ゲインの使用によるビデオ分析の改良
WO2006008944A1 (ja) * 2004-07-22 2006-01-26 National University Corporation Nara Institute Ofscience And Technology 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
US8514293B2 (en) 2004-10-01 2013-08-20 Nikon Corporation Moving image processing device and method for performing different image processings to moving object region and still object region
JP2008129864A (ja) * 2006-11-21 2008-06-05 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
US8417059B2 (en) 2007-06-28 2013-04-09 Panasonic Corporation Image processing device, image processing method, and program
WO2009001510A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 画像処理装置、画像処理方法、プログラム
US8441554B2 (en) 2009-03-06 2013-05-14 Casio Computer Co., Ltd. Image capturing apparatus capable of extracting subject region from captured image
JP2011040859A (ja) * 2009-08-07 2011-02-24 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
US8345119B2 (en) 2009-12-25 2013-01-01 Casio Computer Co., Ltd. Image pickup device, image processing method, and storage medium storing program
US8787675B2 (en) 2009-12-25 2014-07-22 Casio Computer Co., Ltd. Image pickup device, image processing method, and storage medium storing program
JP2012009980A (ja) * 2010-06-23 2012-01-12 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US11250581B2 (en) 2018-04-03 2022-02-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Similar Documents

Publication Publication Date Title
CN115022606B (zh) 一种投影设备及避障投影方法
US6993184B2 (en) Object extraction method, and image sensing apparatus using the method
US8089515B2 (en) Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
US7162101B2 (en) Image processing apparatus and method
JP3679512B2 (ja) 画像抽出装置および方法
US20090232364A1 (en) Priority target determining device, electronic equipment, priority target determining method, program, and recording medium
US20120242796A1 (en) Automatic setting of zoom, aperture and shutter speed based on scene depth map
EP2157547B1 (en) Object tracking
CN101029823B (zh) 基于车辆状态分类的车辆跟踪方法和装置
US8879794B2 (en) Tracking-frame initial-position setting device and method of controlling operation of same
KR20100124738A (ko) 입력 화상을 처리하는 기계 구현 방법, 입력 화상을 처리하는 장치 및 컴퓨터 판독가능 매체
US20110074927A1 (en) Method for determining ego-motion of moving platform and detection system
US20130094711A1 (en) Image processing apparatus and control method thereof
JPH1021408A (ja) 画像抽出装置および方法
US20100208140A1 (en) Image processing apparatus, image processing method and storage medium storing image processing program
JP2006039689A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2007067559A (ja) 画像処理方法、画像処理装置、及び撮像装置の制御方法
JP2008259161A (ja) 目標追尾装置
JP2015012482A (ja) 画像処理装置及び画像処理方法
CN115883803A (zh) 投影设备及投影画面矫正方法
JP5268025B2 (ja) 撮影装置
JP2756293B2 (ja) 自動焦点調節装置
JP3774495B2 (ja) 画像情報抽出装置および方法
JP2005049979A (ja) 顔検知装置及びインターホン装置
JPH09265538A (ja) 自動追尾装置