JPH07220095A - 被写体像抽出装置 - Google Patents

被写体像抽出装置

Info

Publication number
JPH07220095A
JPH07220095A JP6010189A JP1018994A JPH07220095A JP H07220095 A JPH07220095 A JP H07220095A JP 6010189 A JP6010189 A JP 6010189A JP 1018994 A JP1018994 A JP 1018994A JP H07220095 A JPH07220095 A JP H07220095A
Authority
JP
Japan
Prior art keywords
image
subject
information
subject image
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6010189A
Other languages
English (en)
Inventor
Katsuhiko Mori
克彦 森
Katsumi Iijima
克己 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6010189A priority Critical patent/JPH07220095A/ja
Publication of JPH07220095A publication Critical patent/JPH07220095A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【目的】 撮像装置を使用して得られた画像より被写体
像を抽出する際に、ノイズを除去した精度のよい被写体
像の抽出を可能にする。 【構成】 被写体1に関する情報、および撮像装置2の
センサに関する情報を保持する情報メモリ3と、撮像装
置2により撮影情報10が入力されるとともに、情報メ
モリ3の情報などが入力される情報入力部4と、情報入
力部4で入力された情報に基づき、被写体1が実際の画
像中でどのくらいの大きさであるかを推定する被写体像
推定部5と、撮像装置2で得られた画像データ12から
被写体像と思われる領域を抽出する領域抽出部6と、さ
らに、推定値11と抽出領域の画像データ13とが入力
され、抽出領域の画像データ13により抽出領域の大き
さを計算し、その結果と被写体像の大きさの推定値11
とを比較し、抽出領域の画像データ13が被写体像であ
るかどうかを判定する判定部7を備えている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、撮像装置を使用して得
られた画像より被写体像を抽出する被写体像抽出装置に
関する。
【0002】
【従来の技術】撮像装置を使用して得られた画像より被
写体像を抽出する方式には、従来、 (1)2台の撮像装置を使用して距離情報を抽出する方式 (2)画像の色情報を用いて被写体像を抽出する方式 (3)背景画像と画像間との差分をとり、被写体像を抽出
する方式 などがある。
【0003】すなわち、上記従来例(1)は、2台の撮像
装置で得られた画像間で対応をとり、画像の距離情報を
抽出し、その距離情報に基づき、撮像装置より一定距離
以内にある物体を被写体として抽出するという方式であ
る。
【0004】上記従来例(2)は、人物像を抽出する場
合、人物の肌色に注目し、肌の部分は色相(H)が一様
な領域であるとみなすことによって肌色部分を抽出す
る。具体的には、RGBの画像データをHVSデータ
(H=色相、V=明度、S=彩度)に変換し、肌の色相
データ(H)の部分を抽出するという方式である。
【0005】上記従来例(3)は、被写体を撮像する前に
背景画像を撮像し、その背景画像と、被写体を撮像した
入力画像との差分をとり、その差分値に基づき、入力画
像から被写体像を抽出するという方式である。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来例(1)乃至(3)の方式では、それぞれ次のような問題点
がある。
【0007】従来例(1)の方式では、2台の撮像装置を
使用するため、装置が複雑になる。また、距離情報に基
づいて被写体像を抽出するため、その距離情報を得るた
めの画像間の対応の精度によって被写体像の抽出の精度
が決定される。
【0008】従来例(2)の方式では、肌色部の色相デー
タを得るための、RGB画像データからVHSデータへ
の変換にて誤差が生じるため、肌色部の抽出の精度がよ
くない。
【0009】従来例(3)の方式では、背景画像と入力画
像との差分によって被写体像を判断するため、背景撮像
時と被写体撮像時との、背景が変化していたり、撮像装
置の焦点距離が変わってしまった場合には、被写体像以
外の領域も抽出してしまい、ノイズになる。このため、
目的の被写体像を正しく抽出することができない。
【0010】本発明は、上記各従来例の問題点に鑑みて
なされたものであって、撮像装置を使用して得られた画
像より被写体像を抽出する際に、ノイズを除去した精度
のよい被写体像の抽出が可能になる被写体像抽出装置を
提供することを目的とする。
【0011】
【課題を解決するための手段】上記目的を達成するため
の本発明は、撮像装置を使用して得られた画像より被写
体像を抽出する被写体像抽出装置において、被写体像を
抽出すべき画像中の被写体像の大きさを推定するために
必要となる情報を保持する情報部と、前記情報部からの
情報より画像中の被写体像の大きさを推定する被写体像
推定部と、画像中より被写体像と思われる領域を抽出す
る領域抽出部と、前記領域抽出部で抽出される抽出領域
が被写体像かどうかを、前記被写体像推定部で推定した
被写体像の大きさと比較することにより判定する判定部
と、を有することを特徴とする。
【0012】被写体像を抽出すべき画像中の被写体像の
大きさを推定するために必要となる情報とは、被写体の
大きさ、撮像装置の焦点距離、物体側の主点から物体の
一部までの距離もしくは像側の主点から像までの距離、
および撮像装置のセンサに関する情報である。
【0013】
【作用】上記のとおりに構成された本発明では、被写体
像を抽出すべき画像中の被写体像の大きさを推定するた
めに必要となる情報が情報部から被写体像推定部に入力
されると、該被写体像推定部は、前記情報部からの情報
に基づいて画像中の被写体像の大きさを推定する。一
方、領域抽出部では、画像中より被写体像と思われる領
域が全て抽出される。そして、前記領域抽出部で抽出さ
れる抽出領域が目的の被写体像かどうかを、判定部にて
前記被写体像推定部で推定した被写体像の大きさと比較
することにより判定する。これにより、ノイズを除去し
た精度のよい被写体像を抽出することが可能となる。
【0014】ここで、被写体像推定部にて画像中の被写
体像を推定する場合には、被写体の大きさ、撮像装置の
焦点距離、物体側の主点から物体の一部までの距離もし
くは像側の主点から像までの距離、および撮像装置のセ
ンサに関する情報が必要とされる。
【0015】
【実施例】以下、本発明の実施例について図面を参照し
て説明する。
【0016】(第1の実施例)図1は、本発明の被写体
像抽出装置の第1の実施例の構成を最もよく表わすブロ
ック図である。
【0017】本実施例の被写体像抽出装置は、図1に示
すように、被写体1の概ねの大きさ、撮像装置2で使用
しているセンサ(不図示)の画素数・大きさなどの情報
を保持している情報メモリ3と、撮像装置2により後述
する撮影情報10が入力されるとともに、情報メモリ3
から被写体1に関する情報、およびセンサに関する情報
などが入力される情報入力部4と、情報入力部4で入力
された情報に基づき、被写体1が実際に得られる画像中
でどのくらいの大きさであるかを推定する被写体像推定
部5と、撮像装置2で得られた画像データ12から被写
体像と思われる領域を抽出する領域抽出部6とを備え、
さらに、被写体像推定部5で得られた被写体像の大きさ
の推定値11と、領域抽出部6で得られた抽出領域の画
像データ13とが入力され、抽出領域の画像データ13
により抽出領域の大きさを計算し、その結果と被写体像
の大きさの推定値11とを比較し、抽出領域の画像デー
タ13が被写体像であるかどうかを判定する判定部7を
備えている。
【0018】次に、本実施例での被写体像の抽出処理を
説明する。
【0019】被写体1を撮像した撮像装置2からの撮影
情報10は、情報入力部4に入力される。撮影情報10
は、ここでは撮像装置2の焦点距離fである。また、情
報メモリ3からも被写体像の大きさを推定するのに必要
な情報が情報入力部4へ入力される。ここでいう必要な
情報とは、被写体1の概ねの大きさy、撮像装置2で使
用しているセンサの画素数・大きさ、および撮像装置2
の物体側焦点Fから被写体1までの距離xである。な
お、距離xは、被写体1の全体の距離(距離マップ)で
はなく、被写体のどこか一点までの距離でよく、距離x
を得る方式は、限定しないが、赤外線を用いたアクティ
ブな三角測量の方式を採用することが考えられる。
【0020】続いて、情報入力部4に入力された情報を
用いて、被写体像推定部5で画像データ中の被写体像の
大きさを推定する。この被写体像の大きさを推定する原
理を図2を用いて説明する。
【0021】図2は、被写体像の大きさを推定する原理
を説明するための図を示している。
【0022】図2において、yを物体(被写体)、y’
を像、Fを物体側焦点、F’を像側焦点、Hを物体側主
点、H’を像側主点とする。また、物体上の物点Pから
光軸に平行に入射する光軸が物体側主平面を切る点をA
とし、物点Pから物体側焦点Fを通って入射する光線が
物体側主平面を切る点をBとする。ここで、物体側焦点
Fから物体(被写体)までの距離をx、像側焦点F’か
ら像までの距離をx’、焦点距離をfとすると、次式が
成立する。
【0023】
【数1】 この2式より、y’の大きさを求める式は、それぞれ次
式のようになる。
【0024】
【数2】 上記(4)式に、情報入力部2に入力される、撮像装置
2の焦点距離fと、被写体1の概ねの大きさ|y|と、
撮像装置2の物体側焦点Fから被写体1までの距離xと
を代入すると、撮像装置2で使用しているセンサに写る
被写体像の大きさ|y’|が推定できる。さらに、この
被写体像の大きさ|y’|が実際に得られる画像中でど
れだけの大きさになっているかは、センサの大きさや縦
横の画素数によるので、次に、センサの大きさ,縦横の
画素数および被写体像の大きさ|y’|を用いて、画像
中の被写体像の大きさを計算する。その結果得られた画
像中の被写体像の大きさをYとする。この画像中の被写
体像の大きさYは、次の判定部7へ送られる。なお、上
述した説明では、第(4)式を使用したが、オートフォ
ーカス方式を選べば距離xを求めずに像側焦点F’から
像までの距離x’も得られる。そして、第(3)式を利
用すれば、被写体像の大きさ|y’|は求められる。こ
のとき、情報入力部4に入力される撮影情報10は、撮
像装置2の焦点距離fと、像側焦点F’から像までの距
離x’となる。また、撮像装置2から被写体1までの距
離xは必要ないので入力しないで済み、距離測定のため
の、赤外線を用いたアクティブな三角測量の方式による
装置も必要ない。
【0025】一方、図1に示すように、撮像装置2で被
写体1を撮像した時の画像データ12は、領域抽出部6
に入力される。そして、領域抽出部6は被写体像だと思
われる領域を抽出し、その抽出した領域の画像データ1
3を判定部7に送る。この領域抽出部6で被写体像と思
われる領域を抽出する方式は特に限定はしないが、一例
として以下に示すような、得られた画像と背景画像との
差分により被写体像だと思われる領域を抽出する方式が
ある。この方式を図3を用いて説明する。
【0026】図3は、得られた画像と背景画像との差分
により被写体像だと思われる領域を抽出する方式を示す
ブロック図である。
【0027】領域抽出部6は、図3に示すように、画像
メモリ30と背景メモリ31と差分計算部32とから構
成される。撮像装置2で被写体1を撮像した時の画像デ
ータ12は、画像メモリ30に取り込まれる。背景メモ
リ31は、被写体1を撮像する以前の状況(背景)の画
像を保持している。差分計算部32では、画像メモリ3
0と背景メモリ31の各画像間の差分をとり、その差分
値が所定のしきい値よりも大きな値となった場所のアド
レスを使用して画像メモリ30から被写体像と思われる
領域の画像データ13をいくつか抽出する。このいくつ
かの抽出した画像データ13の中には、抽出したい被写
体像の他に、背景撮像時と被写体撮像時での背景の変化
部分や焦点距離のずれなどにて生じるノイズが含まれて
いることになる。そして、抽出した画像データ13の全
てを判定部に送る。なお、ここでは背景メモリとの差分
による方式を採って説明したが、他にも被写体の色情報
などがわかっている場合は、その色情報と画像データ1
2の各点の色情報を比較して領域抽出を行なう方法を採
用してもよい。例えば、人物像を抽出する場合、人物の
肌色部に注目し、肌の色相のヒストグラムを作成してお
く。そして、被写体像を抽出する画像をエッジ処理し、
それらのエッジで囲まれた各領域の画像データから色相
のヒストグラムを作成し、肌の色相のヒストグラムと類
似なヒストグラムを示す領域をいくつか抽出するという
方法もある。
【0028】図1に示した判定部7では、被写体像推定
部5により得られる被写体像の大きさの推定値11(画
像中の被写体像の大きさY)と、領域抽出部6により得
られる各抽出領域の大きさ(各抽出領域の画像データ1
3)とが比較されて、推定値11に最も近い大きさの抽
出領域が被写体像として判定され、この結果が出力され
る。ここでは、領域抽出部6で得られる各抽出領域の大
きさは、抽出領域の縦方向(もしくは横方向)の座標の
最大値と最小値から決定される。
【0029】本実施例では、被写体像の抽出における判
定には、被写体像の大きさ(長さ)を用いたが、これに
限られず、被写体の形状を利用して画像中の被写体像の
面積から判定を行なう方法もある。このように大きさで
はなく領域の面積で比較を行なう場合には、領域抽出部
6で得られる抽出領域の画像をビットマップと考えて、
抽出領域内の点の数を使用する。
【0030】上述のようにして、撮像装置2にて画像中
から被写体像を抽出しようとする場合、その被写体像以
外の物、すなわちノイズが抽出されることなく、目的の
被写体像のみを正しく抽出することが可能となる。
【0031】従来技術では、背景撮像時と被写体撮像時
での焦点距離が違っていると、二つの画像を比較した
時、背景物の大きさが異なっているように写り、領域抽
出処理において画像間の差分を取ると、背景物の一部が
ノイズとして抽出される。また、背景撮像時と被写体撮
像時での背景が変化していても被写体像以外のものがノ
イズとして抽出される。
【0032】これに対し、本発明では、被写体像と思わ
れる領域を全て抽出しておき、これらの被写体像と思わ
れる領域の候補の中から、理論的に推定される画像中の
被写体像の大きさに最も近いものを選び出すことによ
り、背景撮像時と被写体撮像時での背景の変化部分や焦
点距離のずれなどがあっても、ノイズが抽出されること
なく、目的の被写体像を正しく抽出することができる。
【0033】(第2の実施例)本実施例は、上述した第
1の実施例のように、被写体を撮像した撮像装置から撮
影情報と画像データが別々に出力されるものではなく、
例えば、あるファイルとして、画像データと撮影情報の
両方が組になったデータとして存在し、抽出すべき被写
体の大きさyがわかっている場合の被写体像抽出装置に
ついて説明する。
【0034】図4は、本発明の被写体像抽出装置の第2
の実施例の構成を最もよく表わすブロック図である。こ
こでは、図1で示した第1の実施例と同じ構成部分につ
いては同じ符号を付してある。
【0035】本実施例の被写体像抽出装置は、図4に示
すように、抽出すべき被写体の大きさyを保持している
情報メモリ3と、画像データと撮影情報が一緒になった
画像撮影データ41が入力され、かつ情報メモリ3から
の情報が入力される情報入力部40と、被写体が画像1
2中でどのくらいの大きさであるかを推定する被写体像
推定部5と、情報入力部4で分離された画像データ12
から被写体像と思われる領域を抽出する領域抽出部6と
を備え、さらに、被写体像推定部5で得られた被写体像
の大きさの推定値11と、領域抽出部6で得られた抽出
領域の画像データ13が入力され、抽出領域の画像デー
タ13より抽出領域の大きさを計算し、その計算結果と
被写体像の大きさの推定値11とを比較し、抽出領域の
画像データ13の各領域が被写体像となっているか否か
を判定する判定部7を備えている。
【0036】次に、本実施例での被写体像の抽出処理に
ついて説明する。
【0037】情報入力部40に入力される画像撮影デー
タ41は、画像データ12と撮影情報とが足し合わされ
ているものである。そして、その情報入力部40では、
画像撮影データ41は画像データ12と撮影情報とに分
離され、画像データ12は領域抽出部6へ送られる。こ
こでいう撮影情報とは、撮影時の焦点距離f、撮像時に
使用したセンサの画素数・大きさ、および図2中の物体
側焦点Fから被写体までの距離x、もしくは像側焦点
F’から像までの距離x’である。これらの情報は、画
像1枚毎に送られてもいいし、変更があった時だけ送ら
れてもよい。データの型に関してはここでは限定しな
い。
【0038】そして、情報メモリ3から入力される、抽
出すべき被写体の大きさyと撮影情報とを合わせて推定
データ42として、被写体像推定部5に送る。
【0039】被写体像抽出部5、領域抽出部6、判定部
7での処理は、第1の実施例と同じである。
【0040】
【発明の効果】本発明は、以上のように構成されている
ので、以下に記載するような効果を奏する。
【0041】請求項1または請求項2に記載の発明は、
画像中より被写体像と思われる領域を全て抽出してお
き、これらの被写体像と思われる領域の候補の中から、
理論的に推定される画像中の被写体像の大きさに最も近
いものを選び出すことにより、背景撮像時と被写体撮像
時での背景の変化部分や焦点距離のずれなどがあって
も、ノイズが抽出されることなく、目的の被写体像が精
度よく抽出することができる。
【図面の簡単な説明】
【図1】本発明の被写体像抽出装置の一実施例の構成を
最もよく表わすブロック図である。
【図2】被写体像の大きさを推定する原理を説明するた
めの図である。
【図3】得られた画像と背景画像との差分により被写体
像だと思われる領域を抽出する方式を示すブロック図で
ある。
【図4】本発明の被写体像抽出装置の第2の実施例の構
成を最もよく表わすブロック図である。
【符号の説明】
1 被写体 2 撮像装置 3 情報メモリ 4,40 情報入力部 5 被写体像推定部 6 領域抽出部 7 判定部 10 撮影情報 11 被写体像の大きさの推定値 12 画像データ 13 抽出領域の画像データ 30 画像メモリ 31 背景メモリ 32 差分計算部 41 画像撮影データ
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G03B 13/36 H04N 5/243 7/18 K G03B 3/00 A

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 撮像装置を使用して得られた画像より被
    写体像を抽出する被写体像抽出装置において、 被写体像を抽出すべき画像中の被写体像の大きさを推定
    するために必要となる情報を保持する情報部と、 前記情報部からの情報により画像中の被写体像の大きさ
    を推定する被写体像推定部と、 画像中より被写体像と思われる領域を抽出する領域抽出
    部と、 前記領域抽出部で抽出される抽出領域が被写体像かどう
    かを、前記被写体像推定部で推定した被写体像の大きさ
    と比較することにより判定する判定部と、を有すること
    を特徴とする、被写体像抽出装置。
  2. 【請求項2】 被写体像を抽出すべき画像中の被写体像
    の大きさを推定するために必要となる情報とは、被写体
    の大きさ、撮像装置の焦点距離、物体側の主点から物体
    の一部までの距離もしくは像側の主点から像までの距
    離、および撮像装置のセンサに関する情報であることを
    特徴とする、請求項1記載の被写体像抽出装置。
JP6010189A 1994-02-01 1994-02-01 被写体像抽出装置 Pending JPH07220095A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6010189A JPH07220095A (ja) 1994-02-01 1994-02-01 被写体像抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6010189A JPH07220095A (ja) 1994-02-01 1994-02-01 被写体像抽出装置

Publications (1)

Publication Number Publication Date
JPH07220095A true JPH07220095A (ja) 1995-08-18

Family

ID=11743346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6010189A Pending JPH07220095A (ja) 1994-02-01 1994-02-01 被写体像抽出装置

Country Status (1)

Country Link
JP (1) JPH07220095A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995649A (en) * 1996-09-20 1999-11-30 Nec Corporation Dual-input image processor for recognizing, isolating, and displaying specific objects from the input images
US6181815B1 (en) 1997-02-25 2001-01-30 Nec Corporation Subject image extraction device
JP2009076012A (ja) * 2007-09-25 2009-04-09 Toyota Central R&D Labs Inc 物体識別装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995649A (en) * 1996-09-20 1999-11-30 Nec Corporation Dual-input image processor for recognizing, isolating, and displaying specific objects from the input images
US6181815B1 (en) 1997-02-25 2001-01-30 Nec Corporation Subject image extraction device
JP2009076012A (ja) * 2007-09-25 2009-04-09 Toyota Central R&D Labs Inc 物体識別装置

Similar Documents

Publication Publication Date Title
US7313289B2 (en) Image processing method and apparatus and computer-readable storage medium using improved distortion correction
US8331619B2 (en) Image processing apparatus and image processing method
TWI425828B (zh) 攝影裝置、圖像區域之判定方法以及電腦可讀取之記錄媒體
JP3347508B2 (ja) 撮像画像処理装置および撮像画像処理方法
US20090273685A1 (en) Foreground/Background Segmentation in Digital Images
EP1347417A2 (en) Face detection computer program product for redeye correction
US9183634B2 (en) Image processing apparatus and image processing method
TWI394085B (zh) 辨識被攝主體之維度形態的方法
KR20190033037A (ko) 이미징 시스템의 점 확산 함수를 결정하는 방법
US20230401855A1 (en) Method, system and computer readable media for object detection coverage estimation
JP2009123081A (ja) 顔検出方法及び撮影装置
JPH03200007A (ja) ステレオ計測装置
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JPH09130714A (ja) 画像情報抽出装置および方法
JPH07220095A (ja) 被写体像抽出装置
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
JPH0443204B2 (ja)
CN110136237B (zh) 图像处理方法、装置、存储介质及电子设备
JP2001119622A (ja) 撮像装置及びその制御方法
JP2004145592A (ja) 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体
JP4021036B2 (ja) ステレオ画像処理装置
JPH0933249A (ja) 三次元画像計測装置
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质