JPH02141880A - 被写体分離抽出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はテレビ画像における被写体を分離抽出する装置
に関する。具体的には、テレビ電話、テレビ会議などの
会話形動画像通信等において、テレビ・カメラにより得
られる画像から、忠実な再現が求められる人物像などの
被写体部位のみを、背景画面とは分離して抽出すること
により、伝送のための特別な処理に適する画像情報を得
ることができる被写体分離抽出装置を提供せんとするも
のである。

［従来の技術］ テレビ・カメラからの映像信号を通信回線を介して伝送
する動画像通信においては、映像信号の周波数帯域が広
いために、伝送すべき情報の圧縮が行われている。この
場合、情報圧縮の手段として、隣接する画像間に存在す
る統計的な相関を求め、そこに含まれている冗長な情報
を取り除く方法などが用いられているが、画面全体の画
質は低下したものとなっている。

しかし、テレビ電話やテレビ会議などの動きの少ない動
画像通信では、人物の顔あるいは胴上像を忠実に再現し
た自然な感じを与える画像が求められている。

そこで、従来より、テレビ・カメラなどの撮像装置によ
り１ｑられる画像から被写体である人物像のみを抽出す
ることが行われており、その手段として、被写体が移動
したときに、その輪郭信号などを利用することにより、
被写体を静的な背景画面より分離して抽出する方法が行
われてきた。

［発明が解決しようとする課題］ 従来の輪郭信号などを用いて被写体を抽出する方法によ
ると、テレビ電話やテレビ会議などにおける被写体では
動きの少ない人物像を主体とじていることから、これを
画像から分離し抽出することが必ずしも容易ではないと
いう解決すべき課題があった。

［課題を解決するための手段］ このような課題を解決するために本発明においては、制
御可能なレンズ系を有し、ディジタル化した画像信号を
得るための画像手段と、前記画像信号を受けて画面を複
数の小画面に分割する画像分割手段と、 前記小画面ごとの高周波成分を検出するための高周波成
分検出手段と、 前記高周波成分検出手段が検出した高周波成分を受けて
、前記各小画面における高周波成分のピークを検出する
ピーク検出手段と、 前記ピーク検出手段の検出したピークから、前記各小画
面のうちのあらかじめ定めた基準小画面の高周波成分が
ピークを示すように前記画像手段のレンズ系を制御する
ための基準小画面ピーク検出手段と、 前記基準小画面の高周波成分がピークを示す近傍におい
て、高周波成分がピークを示す小画面を被写体として判
定する被写体判定手段とを具備するように構成した。

［作用］ このように構成したことから、たとえば人物の顔の中心
位置に対応する小画面を基準小画面として設定すれば人
物像を画いた各小画面の高周波成分のピークは、基準小
画面の高周波成分のピークの近傍において現われるから
、その人物像のみを容易に背景画面とは分離して抽出で
きるようになった。

［実施例］ 本発明の一実施例の全体構成を第１Ａ図に示し説明する
。

レンズ系１１を通して得られた被写体の映像は、撮像素
子１２により電気信号に変換されてからアナログ・ディ
ジタル（Ａ／Ｄ）変換回路１３でディジタル変換され、
その出力を画像記憶回路１４に格納する。画像記憶回路
１４より読出された画像情報は、画面分割回路１５によ
り第１Ｂ図が示すように所定数のブロックに分υ１され
る。分割された各ブロックの画像情報は、順次高周波成
分検出回路１６に入力されてその高周波成分が抽出され
、これをピーク検出回路１７に格納する。第１Ｃ図には
第１Ｂ図に示した各小画面Ａ、ｂ、ｃ。

ｄのレンズ系１１の移動により得られる、各小画面の高
周波成分の出力が曲線として示されている。

ここでレンズ系１１は、説明の都合上粗く表された各ス
テップＦ−２，Ｆ−１，Ｆ、Ｆ＋１．Ｆ＋２のごとく左
から右へと移動すると、ピーク検出回路１７は、ステッ
プＦ−２で小画面ｄのピークを検出し、ステップＦでは
小画面Ａとｂのピークを、ステップＦ＋２では小画面Ｃ
のピークを検出するように動作する。このように、ピー
ク検出回路１７は、レンズ系が１ステップ進むことに各
小画面ごとの高周波成分のピーク値を得るために、いく
つかのステップの高周波成分値を順次入力して、より大
きな高周波成分値に更新して格納する基準小画面ピーク
検出回路１８は、たとえば第１Ｂ図の小画面Ａを、最終
的に焦点を合わせるべきステップく第１Ｃ図のステップ
Ｆの焦点）において高周波成分がピークを示す基準とな
る基準小画面とすると、基準小画面Ａの高周波成分値を
ピーク検出回路１７より読出して、それが最大となるよ
うにレンズ系１１の移動量および移動方向を設定する。

これらが設定されると、第１Ｃ図のステップＦ−２，Ｆ
−１，Ｆとレンズ系１１が移動した場合に、基準小画面
Ａの高周波成分はピークを示すが、それが真のピーク値
であるか否かわからないので、さらにステップをＦ＋１
へ、あるいはさらにＦ＋２まで進めてピークを越えたこ
とを確認するから、ステップＦに基準小画面Ａの焦点が
あることを検出する。そこでレンズ系１１のステップを
逆にもどして、ステップＦに設定し、焦点か合ったこと
を示す信号が基準小画面ピーク検出回路１８より出力さ
れる。このように基準小画面への高周波成分のピーク値
を得るための制御信号を受けたモータ駆動回路１９は、
モータ２０を駆動せしめて、ピーク検出回路１８が設定
した移動量と移動方向でレンズ系１１を移動させて、そ
の焦点位置を求める。

被写体判定回路２１は、ピーク検出回路１７より読出さ
れた基準小画面Ａ以外の各小画面の高周波成分値のピー
クと、基準小画面ピーク検出回路１８からの高周波成分
値のピークとを受けて、そのブロックが被写体部位を含
むものであるかどうかを判定する。すなわち、第１Ｃ図
に示すように、設定された被写体部位判定範囲内にピー
ク値を有するブロックｂは被写体部位を現わす小画面で
あると判定する。

第２Ａ図は第１Ａ図の実施例における要部のより具体的
な回路構成を示すものである。画面分割回路１５は、小
画面番号発生回路３１、デコーダ３２および小画面メモ
リ３３により構成されており、小画面番号発生回路３１
からの出力を受けたデコーダ３２は、１つの小画面の画
像情報を読み出すための小画面アドレスを画像記憶回路
１４に送出する。ここで、画像記憶回路１４のメモリの
フォーマットは第２Ｂ図に示すようになっており、小画
面番号は（Ｘ　（０〜ｍ）　、　Ｙ　（０−ｎ）　）で
示され、各小画面は、Ｘ方向かにピクセル、Ｙ方向がｒ
ピクセルとして構成されている。このような画像記憶回
路１４より読み出された１つの小画面の画像情報は小画
面メモリ３３に格納される。

小画面メモリ３３より読み出された画像情報は、高周波
成分検出回路１６に入力される。高周波検出回路１６で
は直交変換回路３４により画像情報を周波数成分に交換
するために直交変換し、得られた変換値の高周波領域を
高周波成分加算回路３５で加算する。

このようにして検出される各小画面の画像情報における
高周波成分値をレンズ系１１の各ステップごとに順次ピ
ーク検出回路１７に入力し、小画面の数に対応した合口
を有するバッファ・メモリ３６に格納された１つ前のス
テップにおける高周波成分値と現在の高周波成分値とを
、比較回路３７により比較する。現在の高周波成分値が
１つ前のステップにおける高周波成分値以上であれば、
正の傾斜信号を、そうでなければ負の傾斜信号を比較回
路３７より出力する。さらに現在の高周波成分値でバッ
フトメモリ３６を更新する。

以上の動作は、１つの小画面についての高周波成分値の
検出が終了すると、デコーダ３２からの小画面ごとに出
される信号５１により次の小画面に対応するバッファ・
メモリ３６のアドレスを指定してから次の小画面につい
て行い、これを構成する仝小画面について順次行う。

焦点を合わせるべき位置に対応する小画面である基準小
画面における高周波成分のピーク値を検出する場合は、
比較回路３７より出力される高周波成分値を、デコーダ
３２からの基準小画面であることを示す信号５２を受け
た基準小画面ピーク検出回路１８のバッフトメモリ３８
に格納し、この高周波成分値と次のステップで検出され
る高周波成分値とを比較回路３９により順次比較してピ
ーク値を検出する。ピーク値が検出されると、これを示
す“Ｈｔｔである信号がＡＮＤゲート４０の一方の入力
に印加され、他方の入力には最終の小画面であるときに
これを示すデコーダ３２からのＨ１１である信号５３が
印加されて、ＡＮＤゲ−ト４０からの出力がモータ駆動
回路１９（第１Ａ図）および被写体判定回路２１の被写
体抽出メモリ４３に送出される。基準小画面Ａ以外の小
画面の高周波成分の検出動作は被写体判定回路２１の基
準小画面以外の小画面の数に対応した容量を有するバッ
ファ・メモリ４１と比較回路４２で行われ、１つの小画
面についての高周波成分の変化の検出が終了するとデコ
ーダ３２からの小画面ごとに出される信号５１の印加に
より、次の小画面に対応するバッファ・メモリ４１のア
ドレスを指定してから、次の小画面について行い、これ
を１つの画面を構成する基準小画面Ａ以外の仝小画面に
ついて順次行い、その過程で被写体部位判定範囲内（第
１Ｃ図）にピークを示す小画面があれば、そのアドレス
を被写体抽出メモリ４３に格納する。

このようにして被写体抽出メモリ４３には第１Ｂ図の斜
線で示した部分のすべての小画面のアドレスが記憶され
る。基準小画面へや小画面すを含む斜線で示した被写体
部位判定範囲内の小画面のアドレスは、最終の小画面を
示す信号５３がＡＮＤゲート４０を介して印加されると
、被写体抽出メモリ４３から被写体抽出出力として出力
される。

第３八図ないし第３Ｃ図は、以上の実施例における要部
の制御動作の流れを示すものである。

第３Ａ図において、画像記憶回路１４のメモリの１番目
の小画面の番号Ｂ　（Ｘ、Ｙ）をＢ（０゜０）に設定し
ておく（３１０１）。小画面番号発生回路３１に小画面
番号Ｂ　（０，Ｏ）をセットすると（Ｓ１０２）、画像
記憶回路１４からは小画面番号Ｂ　（０，Ｏ）の小画面
の画像情報が出力されて、小画面メモリ３３にロードさ
れる（３１０３）。小画面メモリ３３より読出された画
像情報は、直交変換回路３４により、ブロックを構成す
る各ビクセルごとに直交変換され（３１０４）、得られ
た各変換値を高周波成分回路３５で加締する（３１０５
）。高周波成分値が得られると、そのブロックは基準小
画面であるかどうかが問われ（Ｓ１０６）、信号５２か
ら基準小画面であると判断されると（Ｓ１０６Ｙ）　、
その高周波成分値は１つ前の高周波成分値以上であるか
どうかが比較回路３７により比較され（３１０７）、そ
れ以上であれば（Ｓ１０７Ｙ）、正の傾斜信号が（８１
０８）、そうでなければ（３１０７Ｎ）、負の傾斜信号
が（３１０９）、それぞれ比較回路３７より出力される
。得られた傾斜信号は、比較回路３９により、現在の傾
斜信号は負であり１つ前の傾斜信号は正であるかどうか
が問われ（５１１０）、そうであれば（Ｓ１１０Ｙ）、
高周波成分のピーク値を検出して焦点が合ったことにな
り、その小画面番号をバッファ・メモリ４３に格納して
ステップ３１１７（第３Ｃ図）に移行する。現在の傾斜
信号と１つ前の傾斜信号とがそれぞれ負、正でなければ
（３１１ＯＮ＞、ステップ５１１７（第３Ｃ図）に移行
する。

ステップ３１０６において、その小画面が基準小画面で
なければ（３１０６Ｎ＞、その高周波成分値は１つ前の
高周波成分値以上であるかどうかが比較回路３７により
比較され（Ｓ１１２、第３Ｂ図）それ以上であれば（３
１１２Ｙ）　、正の傾斜信号が（Ｓ１１３）、そうでな
ければ（８１１２Ｎ）、負の傾斜信号が（Ｓ１１４）、
それぞれ比較回路３７より出力される。１ｑられた傾斜
信号は比較回路３７により、現在の傾斜信号が負であり
、１つ前の傾斜信号が正であるかどうかが問われ（３１
１５）、そうであれば（３１１５Ｙ）、その小画面番号
を被写体抽出メモリ４３に格納してステップ５１１７に
移行し、そうでなければ（８１１５Ｎ）、その小画面番
号を被写体抽出メモリ４３に格納することなくステップ
５１１７に移行する。

そこで、バッファ・メモリ３６および４１にそれぞれ格
納されている高周波成分値と傾斜値は、デコーダ３２か
らの各小画面ごとに出される信号５１により更新される
（Ｓ１１７、第３Ｃ図）。

そこで、小画像番号を示すＸ軸におけるＸの最終値がｍ
に達して、そのＸ軸は終了したか否かが問われ（８１１
８）、達していなければ（８１１８Ｎ＞、Ｘの値を１進
めて（３１１９）、ステンプ５１０２（第３Ａ図）から
の作業を繰り返す。

最終値ｍに達していれば（Ｓ１１８Ｙ）、Ｙの値を１進
めてＸの値をＯにする（３１２０＞。ついで、Ｙの次の
値が最終値を越えるｎ＋１であるかどうかが問われ（３
１２１）、そうでなければ（８１２１Ｎ＞、ステップ５
１０２からの作業を繰り返す。Ｙの値がｎ＋１であれば
（Ｓ１２１Ｙ）、焦点が合ったどうかが問われ（３１２
２）、焦点が合っていれば（３１２２Ｙ）　、被写体抽
出メモリ４３に格納されたすべての小画面の番号を被写
体抽出出力として出力しく５１２３）、モータ駆動回路
１９からの出力によりモータ２０を１ステツプ反転せし
め、レンズ系１１を１ステツプもどして、焦点位置を通
過したレンズ系１１を焦点位置（第１Ｃ図のステップＦ
の焦点）にもどして、作業を停止する（３１２４）。焦
点が合っていなければ（８１２２Ｎ＞、モータ駆動回路
１９からの出力によりモータ２０を駆動してレンズ系１
１を１ステツプ選行せしめて（Ｓ１２５＞、焦点を得る
ことのできるステップがなかったので作業を終了する。

［発明の効果］ 以上の説明から明らかなように、本発明によるならば、
テレビ・カメラにより得られる画像から、所望する被写
体部位のみを、静的な背景画面とは分離して抽出するこ
とができることから、テレビ電話やテレビ会議などの情
報圧縮が必要な動画像通信において、人物像などを忠実
に再現して自然な感じを与える画像を実現するのに適し
た画像情報を得ることができるので、本発明の効果は極
めて大きい。

【図面の簡単な説明】

第１Ａ図は本発明の一実施例の全体構成図、第１Ｂ図は
第１Ａ図の画面分割回路により分割される小画面を説明
するための表示図、第１Ｃ図は第１Ａ図の被写体判定回
路により被写体部位と判定される範囲を得るための各小
画面の高周波成分を表わした高周波成分特性図、第２Ａ
図は第１Ａ図の実施例における要部の回路構成図、 第２Ｂ図は第２Ａ図の画像記憶回路のメモリのフォーマ
ットを説明するための構成図、第３Ａ図、第３Ｂ図およ
び第３Ｃ図は第１Ａ図の回路の制御動作と流れを示すた
めのフロー・チャートである。 １１・・・レンズ系　　　　１２・・・撮像素子１３・
・・Ａ／Ｄ変換回路　１４・・・画像記憶回路１５・・
・画面分割回路 １６・・・高周波成分検出回路 １７・・・ピーク検出回路 １８・・・基準小画面ピーク検出回路 １９・・・モータ駆動回路　２０・・・モータ２１・・
・被写体判定回路 ３１・・・小画面番号発生回路 ３２・・・デコーダ　　　　３３・・・小画面メモリ３
４・・・直交変換回路 ３５・・・高周波成分加算回路 ３６．３８．４１・・・バッファ・メモリ３７．３９．
４２・・・比較回路 ４０・・・ＡＮＤゲート ４３・・・被写体抽出メモリ ５１〜５３・・・信号。

Claims (1)

1. 【特許請求の範囲】 制御可能なレンズ系を有し、ディジタル化した画像信号
   を得るための画像手段（１１、１２、１３、１４、２０
   ）と、 前記画像信号を受けて画面を複数の小画面に分割するた
   めの画面分割手段（１５）と、 前記小画面ごとの高周波成分を検出するための高周波成
   分検出手段（１６）と、 前記高周波成分検出手段が検出した高周波成分を受けて
   、前記各小画面における高周波成分のピークを検出する
   ピーク検出手段（１７）と、前記ピーク検出手段の検出
   したピークから、前記各小画面のうちのあらかじめ定め
   た基準小画面の高周波成分がピークを検出するように前
   記画像手段のレンズ系を制御するための基準小画面ピー
   ク検出手段（１８、１９）と、 前記基準小画面の高周波成分がピークを示す近傍におい
   て高周波成分がピークを示す小画面を被写体として判定
   する被写体判定手段（２１）と、を含む被写体分離抽出
   装置。