JPH0341885A - 人物画像伝送方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、テレビ電話機等を用いて遠隔地の相手と対
面しながら通信する手段において、顔面、目１口部の情
報をほぼリアルタイムに送受信することができる人物画
像伝送方式に関するものである。

〔従来の技術〕

従来のテレビ電話機においては、送信する画面は−様な
寸法の各画素からなり、各画素に対する信号を順次走査
しながら送信している。対面している時と同じ状況で会
話するためには、できるだけ鮮明な画像をリアルタイム
に送信することが望ましい。しかし、通信回線に送信速
度の制限があるため、現状では粗いメツシュの画素信号
を間欠的に送信せざるを得ない状況にある。したがって
、これらシステムでは伝送信号量を大幅に圧縮している
。例えば、送信する画面前後の画素信号を比較し、変化
した領域のみの信号を送信する工夫もある。

〔発明が解決しようとする課題〕

対面時の会話は、相互に相手の目や口元を見、かつその
反応を確認しながらリアルタイムに話をしている。した
がって、間欠的に送信される−様な画素信号からなる画
像では、リアルタイムな反応が期待し難く、かつ画像が
不鮮明であるため相手の表情が捕らえ難く、親密に会話
している感覚が薄れる問題がある。これを解決するため
には、より多くの画像情報を送ればよいが、通信システ
ムの構成が高価となる問題がある。

この発明の目的は、通信容量を増大せずに、よりリアル
タイムにあるいは鮮明な画像を送信できる人物画像伝送
方式を提供することにある。

〔課題を解決するための手段〕

この発明にかかる人物画像伝送方式は、画面情報を均一
の密度で送信するのではなく、対話時じ重要な顔面およ
び目や口部の特定領域を画素密度を変えて伝送すること
にある。例えば、撮影された顔面が小さい場合は顔面全
体を、顔面が大きく撮影された場合、目の部分は最も細
かい画素で、次に口の部分、その他の部分の順にメツシ
ュを粗くして相手側に送信する。このように、会話で重
要となる部分は詳細に、その他の領域は粗い画素信号を
送信する。さらに、１画面当りの送信量を減少し、その
分、より多くのフレームを送信し、よりリアルタイムに
近い通信を行うものである。

（作用） この発明においては、送信する信号量を大幅に増大する
ことなく、リアルタイムに近い画像で、かつ詳細な画素
情報からなる鮮明な画像が送受信できるから、対面時と
同様な親密な状況で対話することができる。

（実施例） 第１図はこの発明の一実施例の構成を示すブロック図で
ある。この図において、Ｉａ、ｌｂは撮影カメラ、２ａ
、２ｂは眼球位置検出部、３ａ。

３ｂは画像処理部、４ａ、４ｂは画像送受信部、５ａ、
５ｂは画像メモリ部、６ａ、６ｂは画像表示部、７ａ、
７ｂは機能切り替えスイッチである。

ここで述べるテレビ電話方式は、基本的には、例えば２
５６ｘ２５６ドツトの画像を送受信するものとする。ま
た、撮影カメラｌａ、ｌｂおよび画像表示部６ａ、６ｂ
自体が持つ画像の解像度は十分高いものとする（例えば
５１２ｘ５１２ドツト）。

次に各部の構成および作用を説明する。

撮影カメラＩａ、１ｂは送信すべき人物画像を撮影する
。第２図（ａ）は画像の一例を示す。画像処理部３ａ、
３ｂはこの人物画像を画像メモリ部５ａ、５ｂに蓄積す
る。

眼球位置検出部２ａ、２ｂは撮影カメラｌａ。

１ｂから取り込んだ人物原画像（５１２ｘ５１２ドツト
）の各画素を走査し、第２図（ｂ）のように左右眼球の
中心位置ＥＲ（ＸＲ，ＹＲ）、ＥＬ（ｘＬ、ＹＬ）を検
出する。なお、Ｌは左右眼球の距離間隔である。検出は
画像処理によって行い、人物画像の！Ｉ淡劇画像らまぶ
た。白目、黒目部分の境界線を抽出し、黒目の中心位置
を各眼球の中心位置ＥＲ（ＸＲ、ＹＲ）　、　ＥＬ　　
（ＸＬ　。

ＹＬ）とする。両眼球位置から顔面の中心位置座標０を
計算により求める。なお、顔面の中心位置座標Ｏは両眼
球の位置と一定の関係にあるものとする。

眼球位置検出部２ａ、　２ｂは、以上のように撮影した
人物画像から画像処理によって得るほか、他の検出方法
を使用することも可能である。例えば、操作者の前方に
赤外光源をおき、操作者の眼球角膜部で反射する反射光
を２次元受光センサ受け、輝度の高い部分のＸ−Ｙ座標
値を眼球中心位置として検出する。これをもとに、顔面
の中心位置座標Ｏを計算する。

機能切り替えスイッチ７ａ、７ｂは画像処理部３ａ、３
ｂに接続しており、操作者が操作する。

この機能切り替えスイッチ７ａ、７ｂは、送信画像を均
一画素あるいは不均一画素パターンで構成するかの選択
機能を有し、画像設定ダイヤル部を含むものである。画
像処理部３ａ、３ｂは種々の不均一マスクパターンを有
する。

第３図はこのマスク画像の形状の一例を示す。

各マスクパターン１０の大きさは、人物画像の大きざに
応じて随時変更する機能を有する。すなわち、画像処理
部３ａ、３ｂは眼球位置検出部２ａ、２ｂから得た両眼
球の距離間隔りが、ある値（仮にＩ。とする）以下の時
、第３図（ａ）のマスクパターン１０を、一定値１０以
上の時、第３図（ｂ）のマスクパターン１０を選択する
。第３図（ａ）のマスクパターン１０は顔面全体をカバ
ーする矩形であり、第３図（ｂ）のマスクパターン１０
は目および口部を含む２つの矩形からなる。このマスク
形状は必要に応じて任意に変更する。また、マスクパタ
ーン１０の大きさは両眼球の距離間隔りの大きさに応じ
て上記一定値Ｉ０内（あるいは以上）の範囲で、上記マ
スク寸法を相対的に可変し設定する。第３図（ａ）、（
ｂ）の各マスクパターン１０の基準位置座標を０とする
。第３図（ａ）に示すマスクの画素密度は、中心部の画
素密度が細かく（例えば５１２Ｘ５１２ドツト）、周辺
部が粗い（例えば１２８Ｘ１２８ドツト）。第３図（ｂ
）のマスクは目の部分が最も細かく（例えば５１２Ｘ５
１２ドツト）、次に口の部分（例えば２５６Ｘ２５６ド
ツト）、その他の部分（例えば１２８Ｘ１２８ドツト）
の順に粗い。

次に送信画像の形成方法を説明する。

送信画像は撮影カメラ１ａ、１ｂから得た人物画像を原
画像として、眼球位置検出部２ａ、２ｂより得た顔面の
中心位置圧［０に上記マスクパターン１０の基準位置座
標０を重ねる。マスクパターン１０の大きさは元画像に
比べて十分大きく、十分重ねられるものとする。マスク
パターン１０の各画素と対応する原人物置像の画素につ
いて画素信号を計算し、マスクパターン１０全体の画素
信号を求める。

第４図はこの合成画像の一例を示す。第４図（ａ）はマ
スクパターン１０が第３図（ａ）の場合、第４図（ｂ）
はマスクパターン１０が第３図（ｂ）の場合を示す。基
本画像パターンのメツシュを２５６Ｘ２５６ドツトとし
た時、この１ドツトが最も細かい画像信号の４ドツト分
に相当する。また、最も粗い１ドツトは基本メツシュの
４ドツトに対応する。眼間距離が小さい場合は顔面全体
の画像を、眼間距離が大きい場合は目・目部分の特定領
域を送信する。

このように、人物の原画像はマスク画像を重ねることに
よって上記の特定領域（目や口の部分）は詳細な部分が
よく見えるが、その他の領域は大まかな輪郭が分かる程
度の画像になる。これらの画像は画像メモリ部５ａ、５
ｂに蓄積する。

次に、画像送受信部４ａ、４ｂは、上記合成画像の各画
素情報を各フレーム毎に送信する。送信は受信側で同じ
画像が再生できるように、上記マスクパターン１０を形
成する特定領域の開始および終了位置座標を送信する。

領域は矩形の対角線位置を入力して指定する。各画素の
送信順序は各領域ごとに送信し統一する。

送信データ量が一定値に制限されている場合、上記特定
の分野の大きさによって送信する画面の速度（フレーム
周波数）が変動する。画面構成の画素信号が画像メモリ
部５ａ、５ｂに満たされた場合、これを画像表示部６ａ
、６ｂに表示する。

各画面の画像信号を少なくすることによって送信できる
画面数が増加し、リアルタイムに近い画像を送信できる
。

この発明の人物画像伝送方式は、以上述べたように自動
的に送信する画像を作成することができる。

次に受信側の画像再生方法について説明する。

いま、ａ側から送信しｂ側が受信するものとする。画像
送受信部４ｂは各画面間の同期信号を識別し、この内の
詳細な画素領域の開始および終了位置を識別し、各画素
情報をもとに画像メモリ部５ａ、５ｂに画素信号を蓄積
していく。１画面を構成する画素信号が満たされた場合
、画像表示部６ｂに画像が出力される。したがって、よ
り少ない画素信号はどリアルタイムに近い画像を得る。

ｂ側からａ側に送信する場合も同様であり、このように
して相互に各自の画像を相手に送信する。

次に人物が動いた場合、眼球位置検出部２ａ。

２ｂが動作し眼球位置を新たに検出する。眼球位置から
検出される顔面の中心位置が、先の画像における顔面の
中心位置圧ＰＡＯに対して一定値を超える場合、上記特
定領域を有するマスクパターン１０を新たに生成して原
人物置像と重ね合せる。

以後の操作は上述した場合と同様である。

なお、不均一パターンは、上述したように自動的に設定
される場合の他、機能切り替えスイッチ７ａ、７ｂを用
いて任意のパターンを選択することも可能である。

〔発明の効果〕

この発明は、以上述べたように、眼球位置検出部により
顔面の中心位置を自動的に検出し、この位置に、中心部
が細かく周辺部が粗いメツシュからなる不均一マスクパ
ターンの中心を人物画像の顔面の中心位置に移動し、か
つカメラ部から得た人物画像と重ね合せ、不均一マスク
パターンの各画素に対応する部分の画像信号を人物画像
の対応する画素領域を積分することによって得、原人物
置像の画素信号をこのマスクパターンにもとすいて送信
するものであるから、相手の顔面、目２口の詳細画面を
リアルタイムに得られるため、臨場感のある親密な会話
ができる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例の構成を示すブロック図、
第２図（ａ）は撮影カメラから得た人物画像を示す図、
第２図（ｂ）は眼球位置検出部から得た両眼球の位置座
標を示す図、第３図（ａ）、（ｂ）は画像処理部が有す
る不均一マスクパターンの一例を示す図、第４図（ａ）
。 （ｂ）は原画像とマスクパターンを合わせて得た画像の
例を示す図である。 図中、１ａ、ｉｂは撮影カメラ、２ａ、２ｂは眼球位置
検出部、３ａ、３ｂは画像処理部、４ａ、４ｂは画像送
受信部、５ａ、５ｂは画像メモリ部、６ａ、６ｂは画像
表示部、７ａ、７ｂは機能切り替えスイッチ、１０はマ
スクパターンである。 １０ 第 （ａ） 図 （ｂ） 図 （ｂ） マスク八１ターン 図 （ｂ）

Claims (1)

【特許請求の範囲】
1. 人物を撮影するカメラ部と、前記人物あるいは前記カメ
   ラ部で得られる人物画像から眼球位置を検出する検出部
   と、中心部が細かく周辺部が粗いメッシュからなる不均
   一マスクパターンを有する画像処理部と、画像メモリ部
   と、画像送受信部とからなり、前記検出部から得られる
   眼球の中心位置座標をもとに顔面の中心位置座標を求め
   、前記不均一マスクパターンの中心を前記人物画像の顔
   面の中心位置に移動し、かつ前記カメラ部から得た人物
   画像と重ね合せ、前記不均一マスクパターンの各画素に
   対応する部分の画像信号を前記人物画像の対応する画素
   の領域を積分することによって得、前記不均一マスクパ
   ターンの画素信号を画像送受信部から送信、あるいは受
   信することを特徴とする人物画像伝送方式。