JPH0591504A - 映像通信装置 - Google Patents

Abstract

(57)【要約】 【目的】 家庭内のプライバシーやオフィス内の機密を
保護し、さらに、送信する映像信号の品質を向上させる
こと。 【構成】 被写体を撮影するカメラを、焦点を通信対象
の被写体が存在する位置近傍に合わせたもので構成した
うえ、このカメラで撮影した被写体とその背景を含む映
像信号から被写体の輪郭部に沿って背景部分を検出し、
その検出した背景部分の映像信号を除去した被写体のみ
の映像信号を符号化して送信する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＴＶ電話装置やＴＶ会
議装置に適用して好適な映像通信装置に関し、詳しくは
カメラによって撮影した映像から背景部分を除去して送
信するようにした映像通信装置に関するものである。

【０００２】

【従来の技術】従来、この種の映像通信装置として、Ｔ
Ｖ電話装置やＴＶ会議装置がある。

【０００３】図１０は、従来のＴＶ電話装置の一般的構
成を示すブロック図であり、カメラ１、Ａ／Ｄ変換回路
２、フォ−マット変換回路３、映像符号化回路４、多重
分離回路５、フォ−マット逆変換回路６、Ｄ／Ａ変換回
路７、モニタ８から構成されている。

【０００４】この構成にあっては、先ず、カメラ１によ
って撮影された人物や風景、書画等の映像はアナログ映
像信号ａとしてＡ／Ｄ変換回路２に入力され、ここでデ
ィジタル映像信号ｂに変換される。そして、このディジ
タル映像信号ｂは、フォーマット変換回路３により、Ｔ
Ｖ電話装置やＴＶ会議装置用の映像符号化回路４で用い
られる共通中間フォーマット（Common Intermediate Fo
rmat:以下、CIF信号と略す）信号ｃに変換される。そし
て、このＣＩＦ信号ｃは、映像符号化回路４で符号化さ
れ、映像符号化信号ｄｌとして多重分離回路５に送られ
る。多重分離回路５は、映像符号化信号ｄｌに音声信号
の符号化情報ｊを多重化し、多重化信号ｅを形成し、伝
送路に送出する。

【０００５】これに対し、相手装置から多重化信号ｅを
受信した場合、多重分離回路５はその受信多重化信号ｅ
を受信映像符号化信号ｄ２と受信音声符号化信ｊに分離
し、受信映像符号化信号ｄ２は映像符号化回路４に入力
し、受信音声符号化信ｊは図示しない音声回路に入力す
る。映像符号化回路４は、受信映像符号化ｄ２をＣＩＦ
信号ｆに復号化し、フォーマット逆変換回路６に入力す
る。フォーマット逆変換回路６は、ＣＩＦ信号ｆをディ
ジタル映像信号ｇに変換し、Ｄ／Ａ変換回路７に入力す
る。Ｄ／Ａ変換回路７はディジタル映像信号ｇをアナロ
グ映像信号ｈに変換し、モニタ８の画面に受信画像とし
て再生する。

【０００６】なお、映像符号化回路４でＣＩＦ信号が用
いられる場合を説明したが、1/4ＣＩＦ信号を用いる場
合もある。

【０００７】

【発明が解決しようとする課題】ところが、このような
従来構成においては、カメラ１で撮像した映像信号をそ
のまま符号化して送信しているため、通信中の人物像の
背景等の通信内容に関係しない映像部分も符号化・送信
していることになる。このため、ＴＶ電話装置を家庭や
オフィスで用いる際に、家庭あるいはオフィス内の様子
が相手に知られてしまい、個人のプライバシーやオフィ
ス内の機密を保護するという点で具合が悪いという問題
があった。また、本来必要である人物の映像情報部分に
割り当てる符号化ビット数が少なくなる結果、映像品質
の向上が望めないという問題があった。

【０００８】この場合、背景部分を除去する方法とし
て、電子情報通信学会春期全国大会（１９８９年）Ｄ−
１０１「背景分離を用いた動画像通信に関する一検討」
に示されているように、２台のカメラを用いて被写体ま
での距離を測定し、ブロック単位に背景であるか否かを
判定し、背景部を除去する方法がある。しかし、この方
法では、ブロック単位の判定・除去を用いているため、
背景除去後の映像信号に背景が除去された矩形ブロック
が目立ち、画品質が劣化するという問題がある。また、
２台のカメラを用いるため、その性能に差があると背景
検出精度が著しく劣化する等の問題がある。

【０００９】本発明の目的は、家庭内のプライバシーや
オフィス内の機密を保護し、さらには、送信する映像信
号の品質を向上させることができる映像通信装置を提供
することである。

【００１０】

【課題を解決するための手段】本発明は、上記目的を達
成するために、カメラを、焦点を通信対象の被写体が存
在する位置近傍に合わせたもので構成したうえ、このカ
メラで撮影した被写体とその背景を含む映像信号から被
写体の輪郭部に沿って背景部分を検出する背景検出部
と、この背景検出部で検出した背景部分の映像信号を除
去する背景除去部と、背景部分が除去された被写体のみ
の映像信号を符号化して送信する符号化回路とを具備さ
せた。

【００１１】

【作用】上記手段によれば、カメラで撮影した被写体と
その背景を含む映像信号から被写体の輪郭部に沿って背
景部分を検出し、その検出した背景部分の映像信号を除
去した被写体のみの映像信号を符号化して送信するた
め、家庭内のプライバシーやオフィス内の機密を保護す
ることができる。さらには、本来必要な信号に割り当て
るビット数を増加させることができるので、送信する映
像信号の品質を向上させることができる。

【００１２】

【実施例】以下、図示する実施例に基づいて本発明を説
明する。

【００１３】図１は本発明の一実施例を示すブロック図
であり、図２は本発明における通信内容に関係しない背
景部分の概念を示す図である。

【００１４】最初に、図２を参照して背景部分の概念に
ついて説明する。まず、同図は、カメラからから見た背
景部分の概念を定義するために示した図であるが、一般
に、ＴＶ電話装置等では、通信対象である人物はカメラ
の直前に位置する。したがって、被写体のうちカメラか
ら一定距離以内に存在する被写体は、通信に関係する部
分、一定距離を超えて存在する被写体は背景部分と定義
することができる。

【００１５】ここで、ＴＶ電話装置で通信する対象Ｋ
（人物）は、カメラ１の前方Ｘの距離に位置するものと
する。また、対象Ｌ（植木鉢）は、カメラ１の前方ｙの
距離に位置し、対象Ｍ（絵画）は距離ｙ以上の位置にあ
るものとすると、一般的に、対象ＫはＴＶ電話装置の操
作等のため、カメラ１の比較的近い位置にあることが通
常である。従って、カメラ１からの距離Ｗを定め、距離
Ｗ以下の場合を本来必要な通信の対象物、Ｗより離れて
いる場合を背景物として定義すれば、通信内容に必要な
情報を欠落すること無く処理することができる。図２の
場合、Ｘ＜Ｗであるため、対象Ｋは通信の対象物として
定義され、対象Ｌ、ＭはＷ＜Ｙであるため、背景物とし
て定義される。

【００１６】次に、図２の背景部分の定義を用いた図１
の実施例について説明する。

【００１７】同図において、１はカメラであり、従来の
ＴＶ電話装置、ＴＶ会議装置に用いられていたカメラに
比べ、焦点深度が浅く設定されており、このカメラ１で
被写体を撮影すると、焦点からの距離が離れた部分は映
像がボケたもの、すなわち映像信号の高周波成分が少な
くなり、本来存在する輪郭部の情報などが失われたもの
となる。この発明においては、カメラ１の焦点をＴＶ電
話装置、ＴＶ会議装置を操作する通信対象の人物が位置
する距離に合わせ、特に図２に示したように、カメラか
らの距離がＷ以上になった場合には被写体の輪郭部がボ
ケるように焦点を設定している。

【００１８】このように通信対象の人物に焦点が合った
カメラ１で撮影した被写体のアナログ映像信号ａ１は、
従来構成と同様に、Ａ／Ｄ変換回路２でディジタル映像
信号ｂ１に変換され、さらにフォーマット変換回路３に
送られてＣＩＦ信号ｃ１に変換される。

【００１９】ＣＩＦ信号ｃ１は、映像信号内に被写体の
距離に関する情報を含んでおり、この情報を抽出するた
めに背景検出部９に送られる。背景検出部９は輪郭検出
部９０、しきい値処理部９１、判定結果メモリ９２で構
成されている。

【００２０】輪郭検出部９０は、図４に示すような３×
３画素のマスクを用いるSobelオペレータ９３を入力さ
れたＣＩＦ信号ｃ１に施す。

【００２１】すなわち、次の第１式で示すような演算処
理を施す。 ┃Ｓ１＋Ｓ２×２＋Ｓ３−Ｓ６−Ｓ７×２−Ｓ８┃ ＋┃Ｓ１＋Ｓ４×２＋Ｓ６−Ｓ３−Ｓ５×２−Ｓ８┃………（１） このSobelオペレータ９３により演算された値ｏ１１は
画像の輪郭部で大きな値となり、しきい値処理部９１で
あらかじめ定められたしきい値と比較され、しきい値以
上の場合“１”、しきい値未満の場合“０”とする画素
単位の判定信号ｏ１２が生成される。この判定信号ｏ１
２は判定結果メモリ９２に蓄積される。

【００２２】Sobelオペレータによる処理例を図５に示
す。Sobelオペレータで処理されるＣＩＦ信号ｃ１は、
焦点深度の浅いカメラ１により入力されたものであり、
焦点が合っている通信の対象部においてのみ高周波成分
である輪郭情報が含まれ、従って、判定信号ｏ１２にお
いても通信の対象となる部分でのみ輪郭が判定され
“１”の出力が現れる。図５（ｂ）が図５（ａ）の被写
体に対する処理結果であり、図示のように、人物像の輪
郭のみが現れた映像となっている。

【００２３】このような映像に対応する判定結果メモリ
９２の値ｏ１３は、後続する背景除去部１０に送られ
る。

【００２４】背景除去部１０は、順方向スキャン回路１
００、逆方向スキャン回路１０１、左輪郭内挿回路１０
２、右輪郭内挿回路１０３、背景領域判定回路１０４、
背景データメモリ１０５、セレクタ１０６で構成され
る。

【００２５】順方向スキャン回路１００では、判定結果
メモリ９２内の値を画像フォーマットの左から右に向け
て順方向に１ライン毎にスキャンする。そして、一番最
初に見つかった“１”の位置ｐ１１を出力する。同様
に、逆方向スキャン回路１０１では、判定結果メモリ９
２内の値を画像フォーマットの右から左に向けて逆方向
に１ライン毎にスキャンする。そして、一番最初に見つ
かった“１”の位置ｐ１２を出力する。これら順／逆方
向スキャン回路１００，１０１で検出された“１”の位
置ｐ１１，ｐ１２は、それぞれ左輪郭内挿回路１０２、
右輪郭内挿回路１０３に送られる。

【００２６】左輪郭内挿回路１０２では、ラインの一番
上で検出された“１”の位置を基準とし、次に“１”が
見つかるラインを検索する。本来、輪郭は連続したもの
であるので、“１”が途切れる場合は、通信の対象が映
像内に入っていない状況を示しているが、輪郭検出の精
度によっては途切れる場合も有り得る。この様子を図６
（ａ）に矢印で示す。この様な場合には、次に“１”が
現れるラインを検索し、“１”が現れないラインについ
ては、“１”が現れるライン間の“１”の位置から内挿
する。この様子を図６（ｂ）に示す。また、２ライン以
上連続して“１”が現れる場合については、この連続す
る２ラインで“１”の位置の差分を求める。この差分値
が予め定められたより小さい場合はその“１”の位置を
そのまま用い、差分が予め定められた値より大きい場合
は、連続する２ライン目の“１”の位置を無視し、次に
“１”が見つかるラインの“１”の位置と連続する１ラ
イン目の“１”の位置を用いて、前述の“１”が見つか
らなかったラインと同様に“１”の位置を内挿する。こ
の様子を図６（ｃ）、（ｄ）に示す。前述の連続するラ
イン間での処理は、左輪郭部分で輪郭が正常に検出され
ないで、右輪郭部分での“１”を誤って左輪郭部分での
“１”と検出することを防ぐためのものである。このよ
うな処理を施すことで連続する左輪郭を得ることができ
る。左輪郭内挿回路１０２では、上記のライン間の内挿
と、ライン間での“１”の位置の差分による右輪郭の左
輪郭としての誤判定訂正を施した左輪郭位置出力ｐ１３
を生成する。

【００２７】一方、右輪郭内挿回路１０３では、左輪郭
内挿回路１０２と同様の処理を実施する。すなわち、ラ
インの一番上で検出された“１”の位置を基準とし、次
に“１”が見つかるラインを検索する。本来、輪郭は連
続したものであるので、“１”が途切れる場合は、通信
の対象が映像内に入っていない状況を示しているが、輪
郭検出の精度によっては途切れる場合も有り得る。この
様な場合には、次に“１”が現れるラインを検索し、
“１”が現れないラインについては、“１”が現れるラ
イン間の“１”の位置から内挿する。また、２ライン以
上連続して“１”が現れる場合については、この連続す
る２ラインで“１”の位置の差分を求める。この差分値
が予められた値より小さい場合は、その“１”の位置を
そのまま用い、差分が予め定められた値より大きい場合
は、連続する２ライン目の“１”の位置を無視し、次に
“１”が見つかるラインの“１”の位置と連続する１ラ
イン目の“１”の位置を用いて、前述の“１”が見つか
らなかったラインと同様に“１”の位置を内挿する。前
述の連続するライン間での処理は、右輪郭部分で輪郭が
正常に検出されないで、左輪郭部分での“１”を誤って
右輪郭部分での“１”と検出することを防ぐためのもの
である。このような処理を施すことで連続する右輪郭を
得ることができる。

【００２８】右輪郭内挿回路１０３では、上記のライン
間の内挿と、ライン間での“１”の位置の差分による左
輪郭の右輪郭としての誤判定訂正を施した右輪郭位置出
力ｐ１４を生成する。

【００２９】背景領域判定回路１０４では、左輪郭位置
出力ｐ１３と右輪郭位置出力ｐ１４とを入力とし、ライ
ン単位で位置出力ｐ１３とｐ１４に挟まれた画素を通信
の対象部分と、ｐ１３とｐ１４の両側の画素を背景部分
と判定し、画素単位の背景検出結果信号ｐ１５を生成
し、セレクタ１０６に送る。

【００３０】セレクタ１０６は、ＣＩＦ信号ｃ１と背景
データメモリ１０５蓄積されている背景置換用の背景デ
ータｐ１６と、背景領域判定回路１０４の背景検出結果
信号ｐ１５を入力として、背景検出結果信号ｐ１５が背
景部分である場合には背景データｐ１６を選択出力し、
背景検出結果信号ｐ１５が通信の対象部分である場合に
はＣＩＦ信号ｃ１から背景部分を除去した背景除去ＣＩ
Ｆ信号ｐ１７を生成し、映像符号化回路４に送る。

【００３１】カメラ１では図２で示したようにＷ以上の
距離にある被写体の輪郭部はボケており、輪郭検出がで
きない状況となっている。このため、背景除去ＣＩＦ信
号は、カメラからの距離がＷより大きい部分では背景と
して処理され、カメラ１からの入力信号を背景デ−タメ
モリ１０５のデータと置換し、カメラ１の焦点が合って
いるＷ以下の部分では、輪郭が検出でき、カメラ１より
入力された映像信号がそのまま出力されることになる。

【００３２】映像符号化回路４は、従来と同様な動作に
よってセレクタ１０６から入力された信号を符号化して
出力する。

【００３３】このように本実施例によれば、カメラ１の
焦点の近傍に位置する被写体については、従来と同様の
動作により、符号化されて相手装置に送信される。しか
し、カメラ１の焦点から離れ、輪郭部分が検出できずに
背景部分と判定された部分については、予め設定された
背景部分用の画信号を符号化して送信するため、焦点近
傍位置以外の被写体の像は相手側に送信されない。すな
わち、図３（ａ）に示すような被写体と背景の像のう
ち、絵画Ｋや植木鉢Ｌは除去され、人物Ｋのみが図３
（ｂ）に示すような映像として送信される。したがっ
て、ＴＶ電話装置等においては、通信対象の人物像のみ
が相手装置に送信され、その背景部分は送信されない。
この結果、家庭内の様子など、相手に知られたくないこ
とを隠し、プライバシ−を守ることができる。

【００３４】なお、本実施例では、輪郭検出部１０にSo
belオペレータを用いたが、これ以外の輪郭検出オペレ
ータを用いることも可能である。また、輪郭検出部１０
の検出結果を誤判定が多い場合には、図７に一例を示す
孤立“１”の除去フィルタ１０７等を用いてもよい。さ
らには、左／右輪郭検出回路１０２，１０３での輪郭の
内挿方法にスプライン関数等を用いることや、ハフ変換
等により直線成分を検出し、輪郭に当てはめる処理等を
用いてもよい。

【００３５】図８は本発明の第２の実施例を示すブロッ
ク図であり、図１の実施例と異っている点は、カメラ１
にオートフォーカス機能を付加したことである。

【００３６】オートフォーカス機能を付加したカメラ１
は、汎用的になっており、予め定められた入力映像信号
のエリア内の高周波成分が最も高くなるように光学焦点
調節回路１１を制御するものが主流である。

【００３７】本実施例の場合には、カメラ１の前に通信
の対象が現れた場合に自動的に通信の対象までの距離を
設定し、焦点を合わせることになるので、カメラ１の焦
点調節を使用者が実施しなくてもよくなる利点がある。
その他の回路についての動作は図１と同様であるので詳
細な説明は省略する。

【００３８】図９は本発明の第３の実施例を示すブロッ
ク図であり、図８の実施例に通信の対象の自動追尾機能
を付加した例である。図８の実施例で説明したように、
カメラ１のオートフォーカス機能は映像信号内の特定の
エリアの高周波成分が高くなるように制御しているた
め、通信の対象が動き、そのエリアからはずれた場合に
は焦点が合わなくなる。そのため、自動追尾回路１２を
設け、通信の対象の動きに合せ、高周波成分を求め、焦
点を合わせるためのエリアを通信の対象の動きに合わせ
て移動させる。自動追尾回路１２に入力されたＣＩＦ信
号ｃ３は、フレームメモリ１２０に蓄えられるとともに
動き補償回路１２１に送られる。動き補償回路１２１
は、ＣＩＦ信号ｃ３とフレ−ムメモリ１２０に格納され
ている１フレ−ム前のＣＩＦ信号ｑ３１との間で動き補
償処理を行う。、動き補償とは、現在のフレ−ムのある
位置のブロックと以前のフレ−ムの対応する位置の近傍
のブロックとの間で、ブロック単位に相関値を求め、相
関値の高いブロック間で映像が動いたものと判定し、被
写体の動きを検出するものである。

【００３９】この実施例の場合、フレ−ムの全てのブロ
ックに動き補償処理を施す必要はなく、背景部分でない
と判定された部分の映像信号内の予め定められた代表点
についてフレ−ム間で動き補償を実施し、代表点が動い
た位置ｑ３２を検出する。代表点の動いた位置ｑ３２は
光学焦点調節回路１１に入力され、代表点の移動位置に
合わせ高周波成分が高くなるように焦点を調節する。

【００４０】この実施例によれば、通信対象の人物がカ
メラ１の前で動いた場合でも、その動きに追尾して焦点
を変化させるため、背景部分を誤りなく除去することが
できる。

【００４１】また、通信対象の人物に対して通信場所の
移動を許し、実用上において使い勝手が良くなるという
利点がある。なお、その他の回路についての動作は図１
と同様であるので詳細な説明は省略する。

【００４２】

【発明の効果】以上のように本発明は、被写体を撮影す
るカメラを、焦点を通信対象の被写体が存在する位置近
傍に合わせたもので構成したうえ、このカメラで撮影し
た被写体とその背景を含む映像信号から被写体の輪郭部
に沿って背景部分を検出し、その検出した背景部分の映
像信号を除去した被写体のみの映像信号を符号化して送
信するため、家庭内のプライバシーやオフィス内の機密
を保護することができる。さらには、本来必要な信号に
割り当てるビット数を増加させることができるので、送
信する映像信号の品質を向上させることができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施例を示すブロック図であ
る。

【図２】 背景部分の定義を示す説明図である。

【図３】 背景部分を除去した映像を示す説明図であ
る。

【図４】 輪郭の検出に用いるオペレ−タの構成図であ
る。

【図５】 被写体の人物像とその輪郭を抽出した像の例
を示す説明図である。

【図６】 輪郭の内挿動作を示す説明図である。

【図７】 輪郭検出を行う際に、誤判定が多い場合に用
いる孤立フィルタの構成図である。

【図８】 本発明の第２の実施例を示すブロック図であ
る。

【図９】 本発明の第３の実施例を示すブロック図であ
る。

【図１０】 従来の映像通信装置の一例であるＴＶ電話
装置の構成図である。

【符号の説明】

１…カメラ、２…Ａ／Ｄ変換回路、３…フォ−マット変
換回路、４…映像符号化回路、５…多重分離回路、６…
フォ−マット逆変換回路、７…Ｄ／Ａ変換回路、８…モ
ニタ、９…背景検出部、１０…輪郭除去部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 カメラで撮影した被写体の映像信号を符
   号化して送信する映像通信装置において、前記カメラ
   を、焦点を通信対象の被写体が存在する位置近傍に合わ
   せたもので構成し、カメラの焦点近傍の被写体のみ明確
   な輪郭情報が含まれる映像信号を入力したうえ、このカ
   メラで撮影した被写体とその背景を含む映像信号から被
   写体の輪郭に沿って背景部分を検出する背景検出部と、
   この背景検出部で検出した背景部分の映像信号を除去す
   る背景除去部と、背景部分が除去された被写体のみの映
   像信号を符号化して送信する符号化回路とを備えたこと
   を特徴とする映像通信装置。