JPH07104946B2 - 被写体分離抽出装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はテレビ画像における被写体を分離抽出する装置
に関する。具体的には、テレビ電話、テレビ会議などの
会話形動画像通信等において、テレビ・カメラにより得
られる画像から、忠実な再現が求められる人物像などの
被写体部位のみを、背景画面とは分離して抽出すること
により、伝送のための特別な処理に適する画像情報を得
ることができる被写体分離抽出装置を提供せんとするも
のである。

［従来の技術］ テレビ・カメラからの映像信号を通信回線を介して伝送
する動画像通信においては、映像信号の周波数帯域が広
いために、伝送すべき情報の圧縮が行われている。この
場合、情報圧縮の手段として、隣接する画像間に存在す
る統計的な相関を求め、そこに含まれている冗長な情報
を取り除く方法などが用いられているが、画面全体の画
質は低下したものとなっている。

しかし、テレビ電話やテレビ会議などの動きの少ない動
画像通信では、人物の顔あるいは胸上像を忠実に再現し
た自然な感じを与える画像が求められている。

そこで、従来より、テレビ・カメラなどの撮像装置によ
り得られる画像から被写体である人物像のみを抽出する
ことが行われており、その手段として、被写体が移動し
たときに、その輪郭信号などを利用することにより、被
写体を静的な背景画面より分離して抽出する方法が行わ
れてきた。

［発明が解決しようとする課題］ 従来の輪郭信号などを用いて被写体を抽出する方法によ
ると、テレビ電話やテレビ会議などにおける被写体では
動きの少ない人物像を主体としていることから、これを
画像から分離し抽出することが必ずしも容易ではないと
いう解決すべき課題があった。

［課題を解決するための手段］ このような課題を解決するために本発明においては、制
御可能なレンズ系を有し、ディジタル化した画像信号を
得るための画像手段と、 前記画像信号を受けて画面を複数の小画面に分割する画
像分割手段と、 前記小画面ごとの高周波成分を検出するための高周波成
分検出手段と、 前記高周波成分検出手段が検出した高周波成分を受け
て、前記各小画面における高周波成分のピークを検出す
るピーク検出手段と、 前記ピーク検出手段の検出したピークから、前記各小画
面のうちのあらかじめ定めた基準小画面の高周波成分が
ピークを示すように前記画像手段のレンズ系を制御する
ための基準小画面ピーク検出手段と、 前記基準小画面の高周波成分がピークを示す近傍におい
て、高周波成分がピークを示す小画面を被写体として判
定する被写体判定手段と を具備するように構成した。

［作用］ このように構成したことから、たとえば人物の顔の中心
位置に対応する小画面を基準小画面として設定すれば人
物像を画いた各小画面の高周波成分のピークは、基準小
画面の高周波成分のピークの近傍において現われるか
ら、その人物像のみを容易に背景画面とは分離して抽出
できるようになった。

［実施例］ 本発明の一実施例の全体構成を第1A図に示し説明する。

レンズ系11を通して得られた被写体の映像は、撮像素子
12により電気信号に変換されてからアナログ・ディジタ
ル（A/D）変換回路13でディジタル変換され、その出力
を画像記憶回路14に格納する。画像記憶回路14より読出
された画像情報は、画面分割回路15により第1B図が示す
ように所定数のブロックに分割される。分割された各ブ
ロックの画像情報は、順次高周波成分検出回路16に入力
されてその高周波成分が抽出され、これをピーク検出回
路17に格納する。第1C図には第1B図に示した各小画面A,
b,c,dのレンズ系11の移動により得られる、各小画面の
高周波成分の出力が曲線として示されている。ここでレ
ンズ系11は、説明の都合上粗く表された各ステップF-2,
F-1,F,F＋1,F＋２のごとく左から右へとステップ状に移
動すると、ピーク検出回路17は、ステップF-2で小画面
ｄのピークを検出し、ステップＦでは小画面Ａとｂのピ
ークを、ステップＦ＋２では小画面ｃのピークを検出す
るように動作する。このように、ピーク検出回路17は、
レンズ系が１ステップ進むごとに各小画面ごとの高周波
成分のピーク値を得るために、いくつかのステップの高
周波成分値を順次入力して、より大きな高周波成分値に
更新して格納する。基準小画面ピーク検出回路18は、た
とえば第1B図の小画面Ａを、最終的に焦点を合わせるべ
きステップ（第1C図のステップＦの焦点）において高周
波成分がピークを示す基準となる基準小画面とすると、
基準小画面Ａの高周波成分値をピーク検出回路17より読
出して、それが最大となるようにレンズ系11の移動量お
よび移動方向を設定する。これらが設定されると、第1C
図のステップF-2,F-1,Fとレンズ系11が移動した場合
に、基準小画面Ａの高周波成分はピークを示すが、それ
が真のピーク値であるか否かわからないので、さらにス
テップをＦ＋１へ、あるいはさらにＦ＋２まで進めてピ
ークを越えたことを確認するから、ステップＦに基準小
画面Ａの焦点があることを検出する。そこでレンズ系11
のステップを逆にもどして、ステップＦに設定し、焦点
が合ったことを示す信号が基準小画面ピーク検出回路18
より出力される。このように基準小画面Ａの高周波成分
のピーク値を得るための制御信号を受けたモータ駆動回
路19は、モータ20を駆動せしめて、ピーク検出回路18が
設定した移動量と移動方向でレンズ系11を移動させて、
その焦点位置を求める。

被写体判定回路21は、ピーク検出回路17より読出された
基準小画面Ａ以外の各小画面の高周波成分値のピーク
と、基準小画面ピーク検出回路18からの高周波成分値の
ピークとを受けて、そのブロックが被写体部位を含むも
のであるかどうかを判定する。すなわち、第1C図に示す
ように、認定された被写体部位判定範囲内にピーク値を
有するブロックｂは被写体部位を現わす小画面であると
判定する。

第2A図は第1A図の実施例における要部のより具体的な回
路構成を示すものである。画面分割回路15は、小画面番
号発生回路31、デコーダ32および小画面メモリ33により
構成されており、小画面番号発生回路31からの出力を受
けたデコーダ32は、１つの小画面の画像情報を読み出す
ための小画面アドレスを画像記憶回路14に送出する。こ
こで、画像記憶回路14のメモリのフォーマットは第2B図
に示すようになっており、小画面番号は｛Ｘ（０〜
ｍ）,Y（０〜ｎ）｝で示され、各小画面は、Ｘ方向がｋ
ピクセル、Ｙ方向がｌピクセルとして構成されている。
このような画像記憶回路14より読み出された１つの小画
面の画像情報は小画面メモリ33に格納される。小画面メ
モリ33より読み出された画像情報は、高周波成分検出回
路16に入力される。高周波検出回路16では直交変換回路
34により画像情報を周波数成分に交換するために直交変
換し、得られた変換値の高周波領域を高周波成分加算回
路35で加算する。

このようにして検出される各小画面の画像情報における
高周波成分値をレンズ系11の各ステップごとに順次ピー
ク検出回路17に入力し、小画面の数に対応した容量を有
するバッファ・メモリ36に格納された１つ前のステップ
における高周波成分値と現在の高周波成分値とを、比較
回路37により比較する。現在の高周波成分値が１つ前の
ステップにおける高周波成分値以上であれば、正の傾斜
信号を、そうでなければ負の傾斜信号を比較回路37より
出力する。さらに現在の高周波成分値でバッファ・メモ
リ36を更新する。

以上の動作は、１つの小画面についての高周波成分値の
検出が終了すると、デコーダ32からの小画面ごとに出さ
れる信号51により次の小画面に対応するバッファ・メモ
リ36のアドレスを指定してから次の小画面について行
い、これを構成する全小画面について順次行う。

焦点を合わせるべき位置に対応する小画面である基準小
画面における高周波成分のピーク値を検出する場合は、
比較回路37より出力される高周波成分値を、デコーダ32
からの基準小画面であることを示す信号52を受けた基準
小画面ピーク検出回路18のバッファ・メモリ38に格納
し、この高周波成分値と次のステップで検出される高周
波成分値とを比較回路39により順次比較してピーク値を
検出する。ピーク値が検出されると、これを示す“H"で
ある信号がANDゲート40の一方の入力に印加され、他方
の入力には最終の小画面であるときにこれを示すテコー
ダ32からの“H"である信号53が印加されて、ANDゲート4
0からの出力がモータ駆動回路19（第1A図）および被写
体判定回路21の被写体抽出メモリ43に送出される。基準
小画面Ａ以外の小画面の高周波成分の検出動作は被写体
判定回路21の基準小画面以外の小画面の数に対応した容
量を有するバッファ・メモリ41と比較回路42で行われ、
１つの小画面についての高周波成分の変化の検出が終了
するとデコーダ32からの小画面ごとに出される信号51の
印加により、次の小画面に対応するバッファ・メモリ41
のアドレスを指定してから、次の小画面について行い、
これを１つの画面を構成する基準小画面Ａ以外の全小画
面について順次行い、その過程で被写体部位判定範囲内
（第1C図）にピークを示す小画面があれば、そのアドレ
スを被写体抽出メモリ43に格納する。

このようにして被写体抽出メモリ43には第1B図の斜線で
示した部分のすべての小画面のアドレスが記憶される。
基準小画面Ａや小画面ｂを含む斜線で示した被写体部位
判定範囲内の小画面のアドレスは、最終の小画面を示す
信号53がANDゲート40を介して印加されると、被写体抽
出メモリ43から被写体抽出出力として出力される。

第3A図ないし第3C図は、以上の実施例における要部の制
御動作の流れを示すものである。

第3A図において、画像記憶回路14のメモリの１番目の小
画面の番号Ｂ（X,Y）をＢ（0,0）に設定しておく（S10
1）。小画面番号発生回路31に小画面番号Ｂ（0,0）をセ
ットすると（S102）、画像記憶回路14からは小画面番号
Ｂ（0,0）の小画面の画像情報が出力されて、小画面メ
モリ33にロードされる（S103）。小画面メモリ33より読
出された画像情報は、直交変換回路34により、ブロック
を構成する各ピクセルごとに直交変換され（S104）、得
られた各変換値を高周波成分回路35で加算する（S10
5）。高周波成分値が得られると、そのブロックは基準
小画面であるかどうかが問われ（S106）、信号52から基
準小画面であると判断されると（S106Y）、その高周波
成分値は１つ前の高周波成分値以上であるかどうかが比
較回路37により比較され（S107）、それ以上であれば
（S107Y）、正の傾斜信号が（S108）、そうでなければ
（S107N）、負の傾斜信号が（S109）、それぞれ比較回
路37より出力される。得られた傾斜信号は、比較回路39
により、現在の傾斜信号は負であり１つ前の傾斜信号は
正であるかどうかが問われ（S110）、そうであれば（S1
10Y）、高周波成分のピーク値を検出して焦点が合った
ことになり、その小画面番号をバッファ・メモリ43に格
納してステップS117（第3C図）に移行する。現在の傾斜
信号と１つ前の傾斜信号とがそれぞれ負、正でなければ
（S110N）、ステップS117（第3C図）に移行する。

ステップS106において、その小画面が基準小画面でなけ
れば（S106N）、その高周波成分値は１つ前の高周波成
分値以上であるかどうかが比較回路37により比較され
（S112、第3B図）それ以上であれば（S112Y）、正の傾
斜信号が（S113）、そうでなければ（S112N）、負の傾
斜信号が（S114）、それぞれ比較回路37より出力され
る。得られた傾斜信号は比較回路37により、現在の傾斜
信号が負であり、１つ前の傾斜信号が正であるかどうか
が問われ（S115）、そうであれば（S115Y）、その小画
面番号を被写体抽出メモリ43に格納してステップS117に
移行し、そうでなければ（S115N）、その小画面番号を
被写体抽出メモリ43に格納することなくステップS117に
移行する。

そこで、バッファ・メモリ36および41にそれぞれ格納さ
れている高周波成分値と傾斜値は、デコーダ32からの各
小画面ごとに出される信号51により更新される（S117、
第3C図）。

そこで、小画像番号を示すＸ軸におけるＸの最終値がｍ
に達して、そのＸ軸は終了したか否かが問われ（S11
8）、達していなければ（S118N）、Ｘの値を１進めて
（S119）、ステップS102（第3A図）からの作業を繰り返
す。

最終値ｍに達していれば（S118Y）、Ｙの値を１進めて
Ｘの値を０にする（S120）。ついで、Ｙの次の値が最終
値を越えるｎ＋１であるかどうかが問われ（S121）、そ
うでなければ（S121N）、ステップS102からの作業を繰
り返す。Ｙの値がｎ＋１であれば（S121Y）、焦点が合
ったどうかが問われ（S122）、焦点が合っていれば（S1
22Y）、被写体抽出メモリ43に格納されたすべての小画
面の番号を被写体抽出出力として出力し（S123）、モー
タ駆動回路19からの出力によりモータ20を１ステップ反
転せしめ、レンズ系11を１ステップもどして、焦点位置
を通過したレンズ系11を焦点位置（第1C図のステップＦ
の焦点）にもどして、作業を停止する（S124）。焦点が
合っていなければ（S122N）、モータ駆動回路19からの
出力によりモータ20を駆動してレンズ系11を１ステップ
進行せしめて（S125）、焦点を得ることのできるステッ
プがなかったので作業を終了する。

［発明の効果］ 以上の説明から明らかなように、本発明によるならば、
テレビ・カメラにより得られる画像から、所望する被写
体部位のみを、静的な背景画面とは分離して抽出するこ
とができることから、テレビ電話やテレビ会議などの情
報圧縮が必要な動画像通信において、人物像などを忠実
に再現して自然な感じを与える画像を実現するのに適し
た画像情報を得ることができるので、本発明の効果は極
めて大きい。

【図面の簡単な説明】

第1A図は本発明の一実施例の全体構成図、 第1B図は第1A図の画面分割回路により分割される小画面
を説明するための表示図、 第1C図は第1A図の被写体判定回路により被写体部位と判
定される範囲を得るための各小画面の高周波成分を表わ
した高周波成分特性図、 第2A図は第1A図の実施例における要部の回路構成図、 第2B図は第2A図の画像記憶回路のメモリのフォーマット
を説明するための構成図、 第3A図，第3B図および第3C図は第1A図の回路の制御動作
と流れを示すためのフロー・チヤートである。 11……レンズ系、12……撮像素子 13……A/D変換回路、14……画像記憶回路 15……画面分割回路 16……高周波成分検出回路 17……ピーク検出回路 18……基準小画面ピーク検出回路 19……モータ駆動回路、20……モータ 21……被写体判定回路 31……小画面番号発生回路 32……デコーダ、33……小画面メモリ 34……直交変換回路 35……高周波成分加算回路 36,38,41……バッファ・メモリ 37,39,42……比較回路 40……ANDゲート 43……被写体抽出メモリ 51〜53……信号。

Claims (1)

【特許請求の範囲】
1. 【請求項１】ステップ状に移動するように制御可能なレ
   ンズ系を有し、ディジタル化した画像信号を得るための
   画像手段（11,12,13,14,20）と、 前記画像信号を受けて画面を複数の小画面に分割するた
   めの画面分割手段（15）と、 前記小画面ごとの高周波成分を検出するための高周波成
   分検出手段（16）と、 前記高周波成分検出手段が前記レンズ系のステップ状の
   移動ごとに検出した高周波成分を受けて、前記各小画面
   における高周波成分のピークを前記レンズ系のいくつか
   の移動ステップの高周波成分を順次入力してより大きな
   高周波成分値に更新して格納することにより検出するピ
   ーク検出手段（17）と、 前記ピーク検出手段の検出したピークから、前記各小画
   面のうちのあらかじめ定めた基準小画面の高周波成分が
   ピークを検出するように前記画像手段のレンズ系を制御
   するための基準小画面ピーク検出手段（18,19）と、 前記基準小画面の高周波成分がピークを示す近傍におい
   て高周波成分がピークを示す小画面を被写体として判定
   する被写体判定手段（21）と、 を含む被写体分離抽出装置。