JPS63157579A

JPS63157579A - 疑似３次元撮像装置

Info

Publication number: JPS63157579A
Application number: JP61305692A
Authority: JP
Inventors: Takahiko Hisaki; 久樹　隆彦; Yoshio Nagashima; 永嶋　美雄; Yutaka Nakatani; 豊中谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1986-12-22
Filing date: 1986-12-22
Publication date: 1988-06-30

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（発明の属する技術分野）本発明はテレビ会議における会議参加者像の撮像におい
て、遠近感を持たせた撮像画面を得る撮像装置に関する
ものである。

（従来の技術）現在広く使用されている撮像装置は第８図に示す様に、
光学系１で被写体２を２次元平面状の光電変換素子３に
結像させ、この光電変換素子３に結像した被写体像を電
子的に走査することにより映像信号を取り出している。

従って、目的とする被写体が前記光電変換素子に焦点を
結ぶ様に光学系が調整される。

この様な映像装置をテレビ会議等に使用する場合、人物
像に焦点が合わされる。

テレビ会議等では十分な照明をすることが困難な場合が
多く深い焦点深度が得られないため、人物の前にある机
等の前景との境界がぼやけ、不自然な画像となる。

一方、背景には焦点は合っていないものの、背景が変化
の多いものであったり、肌色や参加者の衣服の色に近い
色の場合に被写体である人物像が背景に埋もれてしまう
という問題がある。

（発明の目的）本発明の目的は、目的とする被写体像である人物像の前
景との境界を明瞭にすると共に、背景の中に人物像が埋
もれない様にした撮像装置を提供することにある。

（発明の構成）（発明の特徴と従来の技術との差異）本発明は光電変換素子を走査して得られる映像信号から
人物像を抽出し、前景となる机奪との境界を明瞭にする
と共に、背景部分の輝度や彩度、解像度等を抑えること
により人物像が自然かつ明瞭に表示できる映像信号を得
ることを最も主要な特徴とする。

光電変換素子を単に走査するだけで取り出した映像信号
を出力する従来の撮像装置とは抜本的に異なる。

（実施例）第１図本発明の一実施例の構成を示す図であって、１０
は撮像装置、２０は動領域ブロック検出回路、３０は被
写体輪郭抽出回路、４０は映像信号遅延回路、５０は前
景領域抽出回路、６０は背景処理回路、７０は前景作製
回路、８０は前景挿入回路、９０は動領域ブロック情報
転送回路である。

撮像装置１０は第１図で説明した撮像装置であり、２次
元の光電変換素子に結像された被写体像を映像信号に変
換する。

動領域ブロック検出回路２０は撮像装置１０における撮
像領域をｍ　ｘ　ｎのブロックに分割し、分割した各ブ
ロック毎に入力されている映像信号中の情報が直前のフ
レームの情報から変化したかどうかを検証し、変化のあ
ったブロックの座標ａ０を動領域ブロック座標として被
写体軸郭抽出回路３０および前景領域抽出回路５０に出
力すると共に、動領域ブロック情報転送回路９０に対し
そのブロックの映像情報の転送指示を行う。

第２図は動領域ブロック検出回路の動作を説明する図で
あって、２１は映像信号の直前のフレーム（第ｆ−１フ
レーム）における人物像の輪郭、２２は入力されている
映像信号（第ｆフレーム）における人物像の輪郭、２３
は前景の輪郭、ａ、は前記分割したブロックを示す。

テレビ会議等における被写体は人物であり１人物以外の
前景および背景は静止している。第ｆフレームと第ｆ−
１フレームの差分をとり、一定値以上の差分量の有る部
分を有効な領域として判定することにより人物像の輪郭
を含む領域が抽出できる。

従って、動領域ブロック検出回路２０からは第２図に［
］で示すブロックが動領域ブロックとして出力される。

動領域ブロック情報転送回路９０は動領域ブロック検出
回路２０からの転送指示に基づき、指示された前記ブロ
ック内の全画素情報を被写体輪郭抽出回路３０に出力す
る。

被写体輪郭抽出回路３０は動領域ブロック情報転送回路
９０より転送された映像信号から被写体の輪郭座標ｐ□
、を抽出し、動領域ブロック検出回路２０より入力され
る動領域ブロック座標ａ□より映像の全画像領域座標Ｐ
ａｙに変換して背景処理回路６０に出力する。

被写体輪郭抽出回路３０は動領域ブロックとして判定さ
れているａｌｌｌｆｉの領域だけを処理すればよいので
輪郭抽出の処理時間は大幅に短縮される。

第３図（ａ）および（ｂ）は被写体輪郭抽出回路３０の
動作を説明する図であって、３１は動領域ブロック情報
転送回路９０より転送された映像情報であり、全画像領
域内の動領域ブロック検出回路２０より入力された動領
域ブロック座標ａ□で指定された部分の映像情報であり
、ｄＸｅの画素から構成されている。

３２は画面全体における前記動領域ブロックの位置を示
している。被写体輪郭抽出回路３０は転送されてきた前
記映像情報３１の全画素の中から被写体の輪郭となる画
素を抽出し、動領域ブロック座標ａ□における座標ｐａ
ｎを求め、全画面状の位置座標Ｐｘｙに変換して出力す
る。

その映像情報３１の動領域ブロック座標ａｍｎ内の画素
位置座標Ｐ６．を（ｄｏ　ｓｅｗ）　：　ｄｏ　＝　０−ｄ−１、ｅｖ＝
０〜ｅ−１、動領域ブロック座標ａｌ＠ＩＩの全画面上
の位置座標を（ｍｈ＋　ｎ　−）　：　ｍ＝０−　ｍ　
　１、ｎ＃、全画面上の画素の位置座標ｐ０を（ｘ＋＋ｙ」）’：ｘ＋＝ｏ＝ｘ−１．ｙ＋＝Ｏ〜ｙ　
　１とすると、Ｐａｖは次式によりＰｘｙに変換される
。

ｘｌ＝ｄＸｍｋ＋ｄ。

’ｊ　ｒ　＝　ｅ　　Ｘ　ｎ　＆　＋　ｅ　ｙ一方、撮
像装置１０より出力される映像信号は、映像信号遅延回
路４０により前述の被写体輪郭抽出までの処理に必要な
時間だけ遅延され、背景処理回路６０に入力される。背
景処理回路６０では、被写体輪郭抽出回路３０より入力
された前記輪郭の位置座標Ｐ工、より人物像の領域と人
物像以外の領域に分け、人物像の領域内の画素は前記入
力映像信号の画素情報のまま出力し、人物像以外の領域
の画素に対してはローパスフィルタによりぼかすととも
に映像レベルに減衰を与え輝度および彩度を下げて前景
挿入回路８０に出力する。この処理により人物像だけが
浮きあがった画像となる。

第４図（ａ）は背景処理回路６０の動作を説明する図で
あって、６１はローパスフィルタ、６２はレベル減衰回
路、６３は映像切り換え器、６４は切り換え制御回路で
ある。

入力された映像信号はローパスフィルタ６１でぼかされ
、レベル減衰回路６２で輝度および彩度が下げられた処
理信号として、入力原信号と共に映像切り換え器６３に
供給される。

切り換え制御回路６４は被写体輪郭抽出回路３０からの
輪郭の位置座標Ｐｘｙに基づき、人物像の領域内の部分
は入力原信号側の、人物像以外の部分はレベル減衰器側
の映像信号が通過する様に映俄切り換え制御回路６４を
制御する。

第４図（ｂ）に示す６５はこの様子を示す。すなわち、
映像信号の各走査線毎に人物像領域に入る点で原信号側
に、出る点でレベル減衰器側に映像切り換え器６３を制
御する。

前景領域抽出回路５０は動領域ブロック検出回路２０よ
り入力される動領域ブロック座標ａ□より前景領域を抽
出し、前景が始まる垂直座標２を出力する。

第５図は前景領域抽出回路５０の動作を説明する図であ
って、５１は映像信号の映像範囲、５２は動領域ブロッ
ク検出回路で検出された動領域ブロック、５３は出力さ
れる前景領域境界ブロックを示す図である。

一般にテレビ会議等における人物像は映像信号の映像範
囲５１に示す様に下部が机等によって隠されている場合
が多い。また、前景も静止しているのでこの部分は動領
域として判定されることは無い。

前景領域抽出回路５０は動領域ブロック検出回路２０よ
り入力される動領域ブロック座標ａ、、、。（ｒｎ、。

ｎ、）の各水平座標ｍ、毎に、ｎ、の最大の座標（最も
低い位置の座標）ａｍ□工を求める。

このａ、□８は、一定時間連続して変化なしに抽出出来
た領域のみを有効とし前景領域境界ブロック座標として
、前景作製回路７０へ出力する。

この処理によって、腕を上げたために生じている動領域
ブロックがあるｍ、に対するｎ、□８として抽出された
としても、出力される前景領域境界ブロックを示す図５
３に示す様に、有効情報からは取り除かれる。また、人
物像が動くと共に、出力される動領域ブロック座標の数
は増加してゆく。

前景作製回路７０は前景領域抽出回路５０より入力され
る前記前景領域境界ブロック座標ａｎＭ＠Ｘを基に、前
景画面を作製し１作製した前景の境界座標Ｚｘｙととも
に前景挿入回路８０に出力する。

第６図は作製された前景画面の例を示す図であって、７
１は作製された机である。すなわち、前景は前景領域抽
出回路５０より入力される前記前景領域境界ブロックが
含まれる様な前景を作製する。

前景挿入回路８０は背景処理回路６０で処理された背景
処理画面に前景作製回路７０で作製された前景を前記境
界座標ＺＸｔを用いて挿入し出力映像信号として出力す
る。

第７図は前景挿入′回路８０より出力される映像信号の
再生画面の例である。

前景作製回路７０で作製された前景は実物より大きくな
るが、動領域ブロックの大きさは人物像より十分水さい
のでテレビ会議等における画面では不自然になることは
無い。

（発明の効果）以上説明した様に、本発明によれば、映像装置より得ら
れる映像信号から人物像を抽出し、その人物像の背景は
解像度および彩度を押えるため、人物像は背景から浮き
上がり非常に明瞭に表示される。また、前爪′は前景と
するべきおおよその領域から別に作製し、挿入されるた
め輪郭を明瞭にすることができるため立体感のある映像
かえられる。

従って、本発明による装置をテレビ会議等に使用すれば
、前景は原画面とは多少異なるが、重要な人物像は忠実
に非常に快適に見ることができるので、臨場感に優れた
会議を行うことができるという利点がある。

【図面の簡単な説明】

第１図は本発明装置の実施例を示す図、第２図は本発明
の動領域ブロック検出回路の動作を説明する図、第３図は本発明の被写体軸郭抽出回路の動作を説明する
図、第４図は本発明の背景処理回路の動作を説明する図、第５図は本発明の前景領域抽出回路の動作を説明する図
、第６図は本発明の前景作製回路により作製される前景画
面の例を示す図、第７図は本発明の装置より出力される映像信号の再生画
面の例を示す図、第８図は従来の撮像装置を説明する図である。１０・・・撮像装置、２０・・・動領域ブロック検出回路。３０・・・被写体輪郭抽出回路、４０・・・映像信号遅延回路、５０・・・前景領域抽出回路、６０・・・背景処理回路、７０・・・前景作製回路、８０・・・前景挿入回路、９０・・・動領域ブロック情報転送回路。特許出願人　日本電信電話株式会社第２図第３図ｙｊ’ｅＸｎｊ＋ｅｖ第４図Ｘ　珈５　ａ　（、ｉ。第　５　Σ ５ｉ第６図第７図

Claims

【特許請求の範囲】

（１）２次元平面状の光電変換素子に結像された被写体
像を走査し映像信号に変換する手段と、その映像信号か
ら人物像の輪郭を抽出する手段と、前記映像信号の前記
人物像の輪郭内以外の部分の解像度、彩度を落した背景
処理映像信号に変換する手段と、前記映像信号から前記
抽出した人物像より前方にある前景領域を抽出する手段
と、その前景領域を含んだ前景を作製する手段と、前記
背景処理映像信号に前記作製した前景を挿入する手段と
を有することを特徴とする疑似３次元撮像装置。
（２）２次元平面状の光電変換素子に結像された被写体
像を走査し映像信号に変換する手段と、その映像信号か
ら人物像の輪郭を抽出する手段と、前記映像信号の前記
人物像の輪郭内以外の部分の解像度、彩度を落した背景
処理映像信号に変換する手段と、前記映像信号から前記
抽出した人物像より前方にある前景領域を抽出する手段
と、その前景領域を含んだ前景を作製する手段と、前記
背景処理映像信号に前記作製した前景を挿入する手段と
を有する疑似３次元撮像装置であって、人物像の輪郭抽
出に際し、入力映像信号の映像領域をｍ×ｎの領域に分
割し、その分割された領域の中から映像信号の前のフレ
ームとの差分が一定値以上になっている領域を動領域ブ
ロックとして検出し、その動領域ブロックに対してのみ
輪郭の抽出処理を行うことを特徴とする特許請求の範囲
第（１）項記載の疑似３次元撮像装置。
（３）２次元平面状の光電変換素子に結像された被写体
像を走査し映像信号に変換する手段と、その映像信号か
ら人物像の輪郭を抽出する手段と前記映像信号の前記人
物像の輪郭内以外の部分の解像度、彩度を落した背景処
理映像信号に変換する手段と、前記映像信号から前記抽
出した人物像より前方にある前景領域を抽出する手段と
、その前景領域を含んだ前景を作製する手段と、前記背
景処理映像信号に前記作製した前景を挿入する手段とを
有する疑似３次元撮像装置であって、前景領域の抽出手
段が、入力映像信号の映像領域をｍ×ｎの領域に分割し
、その分割された領域の中から映像信号の前フレームと
の差分が一定値以上になっている領域を動領域ブロック
として検出し、その動領域ブロックの最下部を抽出する
手段と、その抽出した動領域ブロックの最下部の内、一
定期間連続して抽出された領域を前景領域の最上部と判
定する手段とからなることを特徴とする特許請求の範囲
第（１）項記載の疑似３次元撮像装置。