JPH066786A - 視線一致補正装置 - Google Patents
視線一致補正装置Info
- Publication number
- JPH066786A JPH066786A JP4162807A JP16280792A JPH066786A JP H066786 A JPH066786 A JP H066786A JP 4162807 A JP4162807 A JP 4162807A JP 16280792 A JP16280792 A JP 16280792A JP H066786 A JPH066786 A JP H066786A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- speaker
- image
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【目的】 この発明は実時間性を有する視線方向変化検
出アルゴリズムおよび実画像コンピュータグラフィック
画像を合成するアルゴリズムを備えた視線一致補正装置
を提供することを主要な特徴とする。 【構成】 画像入力部２０から入力された顔画像から目
付近の特徴量を特徴量抽出部２１で抽出し、符号化部で
話者の画像および検出された目付近の変位情報をそれぞ
れ符号化し、送信部２３から受信側に送信する。受信側
では、復号化部２４で情報を複合化し、視線方向検出部
２５で視線を検出し、送信された話者の目の方向情報ま
たは受信側の話者の視線の方向情報を用いて送信側の話
者の視線方向を補正する挙動判定部２７で判定し、判定
された補正量に応じて送信側の話者の目付近のコンピュ
ータグラフィック像を変形し、画像合成部２６で送信側
の話者の実顔画像に合成し、画像再生部２８で顔画像を
表示する。
出アルゴリズムおよび実画像コンピュータグラフィック
画像を合成するアルゴリズムを備えた視線一致補正装置
を提供することを主要な特徴とする。 【構成】 画像入力部２０から入力された顔画像から目
付近の特徴量を特徴量抽出部２１で抽出し、符号化部で
話者の画像および検出された目付近の変位情報をそれぞ
れ符号化し、送信部２３から受信側に送信する。受信側
では、復号化部２４で情報を複合化し、視線方向検出部
２５で視線を検出し、送信された話者の目の方向情報ま
たは受信側の話者の視線の方向情報を用いて送信側の話
者の視線方向を補正する挙動判定部２７で判定し、判定
された補正量に応じて送信側の話者の目付近のコンピュ
ータグラフィック像を変形し、画像合成部２６で送信側
の話者の実顔画像に合成し、画像再生部２８で顔画像を
表示する。
Description
【０００１】
【産業上の利用分野】この発明は視線一致補正装置に関
し、特に、テレビ電話やテレビ会議などの分野で、通話
者同士の表情をより正確に伝えるために視線を一致させ
るような視線一致補正装置に関する。
し、特に、テレビ電話やテレビ会議などの分野で、通話
者同士の表情をより正確に伝えるために視線を一致させ
るような視線一致補正装置に関する。
【０００２】
【従来の技術】画像通信において、話者同士の正確な表
情を伝達する手段は、会話を助長させるための最も重要
な手段の１つである。
情を伝達する手段は、会話を助長させるための最も重要
な手段の１つである。
【０００３】図９は従来の方法によって画像通信で会話
を行なっている概要を示す図である。図９（ａ）におい
て、話者１０はスクリーンに写出された遠隔地に話者１
１と会話を行なっており、話者１０の姿はカメラ１２に
より撮像されている。大まかな人の姿は、背景とのコン
トラストまたは色成分の違いを画像処理などによって認
識されている。
を行なっている概要を示す図である。図９（ａ）におい
て、話者１０はスクリーンに写出された遠隔地に話者１
１と会話を行なっており、話者１０の姿はカメラ１２に
より撮像されている。大まかな人の姿は、背景とのコン
トラストまたは色成分の違いを画像処理などによって認
識されている。
【０００４】
【発明が解決しようとする課題】図９（ａ）に示したそ
れぞれの話者の視線１３，１４は視線方向のカメラ１２
が設置されていないため、ずれ１５が生じてしまう問題
点がある。視線に関して、大まかな位置合せは、カメラ
１２や人の座位を変えることでも可能であるが、人が移
動するたびに毎回位置合せを行なわなくてはならない。
特に、複数の地点間での通信を行なう場合、このような
機械的な補正方法をとることは効率が非常に悪いという
問題点がある。
れぞれの話者の視線１３，１４は視線方向のカメラ１２
が設置されていないため、ずれ１５が生じてしまう問題
点がある。視線に関して、大まかな位置合せは、カメラ
１２や人の座位を変えることでも可能であるが、人が移
動するたびに毎回位置合せを行なわなくてはならない。
特に、複数の地点間での通信を行なう場合、このような
機械的な補正方法をとることは効率が非常に悪いという
問題点がある。
【０００５】また、知的画像通信の１つの形態として、
図９（ｂ）に示すように、話者の動き１６を予め検出し
ておき、動き量１７のみを送信し、受け手側では送信さ
れた動き量に応じてコンピュータグラフィックスで生成
された顔画像１８を局所的に変形する方式がある。この
方式の特徴は、限られた伝送体を有効に使うために、必
要最小限の情報量として、動き量のみを伝送する点にあ
る。一方、会話を行なう者の視線を一致させる方法につ
いては、何らかのアルゴリズムがあった。このように、
従来の視線一致を行なう方法は、会話を開始するごとに
あるいは話し手が移動するごとに機械的に補正を行なう
方法をとらざるを得なかった。
図９（ｂ）に示すように、話者の動き１６を予め検出し
ておき、動き量１７のみを送信し、受け手側では送信さ
れた動き量に応じてコンピュータグラフィックスで生成
された顔画像１８を局所的に変形する方式がある。この
方式の特徴は、限られた伝送体を有効に使うために、必
要最小限の情報量として、動き量のみを伝送する点にあ
る。一方、会話を行なう者の視線を一致させる方法につ
いては、何らかのアルゴリズムがあった。このように、
従来の視線一致を行なう方法は、会話を開始するごとに
あるいは話し手が移動するごとに機械的に補正を行なう
方法をとらざるを得なかった。
【０００６】それゆえに、この発明の主たる目的は、実
時間性を有する視線方向変化検出アルゴリズムおよび実
画像とコンピュータグラフィック画像を合成するアルゴ
リズムを備えた視線一致補正装置を提供することであ
る。
時間性を有する視線方向変化検出アルゴリズムおよび実
画像とコンピュータグラフィック画像を合成するアルゴ
リズムを備えた視線一致補正装置を提供することであ
る。
【０００７】
【課題を解決するための手段】この発明は視線一致補正
装置であって、入力された顔画像から人の目の領域を検
出する目領域検出手段と、検出された目の領域を眼球と
瞼の領域に分離する領域分離手段と、分離された眼球の
領域から眼球の方向変化を検出し、その方向変化を符号
化して出力するとともに、分離された瞼の領域から瞼の
形状変化を抽出し、その形状変化を符号化して出力する
抽出手段と、入力された顔画像とともに、符号化された
信号を目の挙動情報として伝送する伝送手段と、伝送さ
れてきた信号を復号する復号化手段と、受け手側の話者
の視線方向を検出する視線検出手段と、復号された信号
または検出された話者の視線方向に応じて、双方の視線
が一致するようにグラフィック画像を生成する画像生成
手段と、伝送されてきた顔画像に生成されたグラフィッ
ク画像を合成する画像合成手段とを備えた較正される。
装置であって、入力された顔画像から人の目の領域を検
出する目領域検出手段と、検出された目の領域を眼球と
瞼の領域に分離する領域分離手段と、分離された眼球の
領域から眼球の方向変化を検出し、その方向変化を符号
化して出力するとともに、分離された瞼の領域から瞼の
形状変化を抽出し、その形状変化を符号化して出力する
抽出手段と、入力された顔画像とともに、符号化された
信号を目の挙動情報として伝送する伝送手段と、伝送さ
れてきた信号を復号する復号化手段と、受け手側の話者
の視線方向を検出する視線検出手段と、復号された信号
または検出された話者の視線方向に応じて、双方の視線
が一致するようにグラフィック画像を生成する画像生成
手段と、伝送されてきた顔画像に生成されたグラフィッ
ク画像を合成する画像合成手段とを備えた較正される。
【０００８】
【作用】この発明に係る視線一致補正装置は、顔画像か
ら人の目の領域を検出し、さらに人の目の領域を眼球と
瞼の領域に分離し、それぞれの領域から眼球の方向変化
と瞼の形状変化とを抽出し、符号化して伝送する。受け
手側では、伝送されてきた信号を復号し、話者の視線を
検出する。そして、復号された信号または検出された話
者の視線方向に応じて、双方の視線が一致するようにグ
ラフィック画像を生成し、そのグラフィック画像を伝送
されてきた顔画像に合成することにより、より自然に近
い視線のやり取りを達成する。
ら人の目の領域を検出し、さらに人の目の領域を眼球と
瞼の領域に分離し、それぞれの領域から眼球の方向変化
と瞼の形状変化とを抽出し、符号化して伝送する。受け
手側では、伝送されてきた信号を復号し、話者の視線を
検出する。そして、復号された信号または検出された話
者の視線方向に応じて、双方の視線が一致するようにグ
ラフィック画像を生成し、そのグラフィック画像を伝送
されてきた顔画像に合成することにより、より自然に近
い視線のやり取りを達成する。
【０００９】
【実施例】図１はこの発明の一実施例の概略ブロック図
である。図１を参照して、画像入力部２０は送信側の話
者の顔画像を入力するものであり、入力された顔画像は
特徴量抽出部２１に与えられる。特徴量抽出部２１は入
力された顔画像から目付近の特徴量を抽出し、符号化部
２２に与える。符号化部２２は話者の画像および特徴量
抽出部２１で検出された目付近の変位情報をそれぞれ符
号化し、その情報を送信部２３に与える。送信部２３は
符号化された情報を受け手側の復号化部２４に与える。
復号化部２４は変位情報を復号化し目挙動判定部２６に
与える。
である。図１を参照して、画像入力部２０は送信側の話
者の顔画像を入力するものであり、入力された顔画像は
特徴量抽出部２１に与えられる。特徴量抽出部２１は入
力された顔画像から目付近の特徴量を抽出し、符号化部
２２に与える。符号化部２２は話者の画像および特徴量
抽出部２１で検出された目付近の変位情報をそれぞれ符
号化し、その情報を送信部２３に与える。送信部２３は
符号化された情報を受け手側の復号化部２４に与える。
復号化部２４は変位情報を復号化し目挙動判定部２６に
与える。
【００１０】視線方向検出部２５は受け手側の話者の視
線の方向を検出するものであり、その検出出力を目挙動
判定部２６に与える。目挙動判定部２６は視線方向検出
部２５で検出された受信側の話者の視線方向の変位量に
対して適当なしきい値を設けることにより、送信された
話者の目の方向情報をそのまま利用するか、または受信
側の話者の視線の方向情報を用いて送信側の話者の視線
方向を補正するかを判定する。目挙動判定部２６の判定
出力は画像合成部２７に与えられる。画像合成部２７は
目挙動判定部２６で判定された補正量に応じて送信側の
話者の目付近のコンピュータグラフィック画像を変形
し、送信側の話者の実顔画像に合成し、画像再生部２８
で合成された送信側の顔画像を表示する。
線の方向を検出するものであり、その検出出力を目挙動
判定部２６に与える。目挙動判定部２６は視線方向検出
部２５で検出された受信側の話者の視線方向の変位量に
対して適当なしきい値を設けることにより、送信された
話者の目の方向情報をそのまま利用するか、または受信
側の話者の視線の方向情報を用いて送信側の話者の視線
方向を補正するかを判定する。目挙動判定部２６の判定
出力は画像合成部２７に与えられる。画像合成部２７は
目挙動判定部２６で判定された補正量に応じて送信側の
話者の目付近のコンピュータグラフィック画像を変形
し、送信側の話者の実顔画像に合成し、画像再生部２８
で合成された送信側の顔画像を表示する。
【００１１】図２は図１に示した特徴量抽出部のブロッ
ク図である。図２を参照して、図１に示した特徴量抽出
部２１は頭部抽出部２１１と目領域抽出部２１２と変位
量抽出部２１３とを含む。頭部抽出部２１１は画像上の
話者の顔領域を予め入力してある背景画像と頭部領域と
を差分することで抽出し、目領域抽出部２１２で頭部領
域から目の領域を目，鼻，口の顔上の特徴量の幾何学的
な相対位置より認識して検出する。変位量抽出部２１３
は目付近のフレーム間の変位量を抽出する。
ク図である。図２を参照して、図１に示した特徴量抽出
部２１は頭部抽出部２１１と目領域抽出部２１２と変位
量抽出部２１３とを含む。頭部抽出部２１１は画像上の
話者の顔領域を予め入力してある背景画像と頭部領域と
を差分することで抽出し、目領域抽出部２１２で頭部領
域から目の領域を目，鼻，口の顔上の特徴量の幾何学的
な相対位置より認識して検出する。変位量抽出部２１３
は目付近のフレーム間の変位量を抽出する。
【００１２】図３は図２に示した目領域抽出部のブロッ
ク図である。図２に示した目領域抽出部２１２は眼球
部，瞼部分離抽出部３１と方向変化抽出部３３と変位量
抽出部３５とを含む。眼球部，瞼部分離抽出部３１は目
付近から色彩情報を用いて、眼球領域と瞼領域とに分離
してそれぞれを抽出する。眼球領域は方向変化抽出部３
３に与えられ、方向変化抽出部３３は抽出された眼球部
３２におけるフレーム間の差分からその方向変化を検出
する。一方、変位量抽出部３５は瞼部３４によりフレー
ム間の差分から瞼の弾性的な変位情報を検出する。
ク図である。図２に示した目領域抽出部２１２は眼球
部，瞼部分離抽出部３１と方向変化抽出部３３と変位量
抽出部３５とを含む。眼球部，瞼部分離抽出部３１は目
付近から色彩情報を用いて、眼球領域と瞼領域とに分離
してそれぞれを抽出する。眼球領域は方向変化抽出部３
３に与えられ、方向変化抽出部３３は抽出された眼球部
３２におけるフレーム間の差分からその方向変化を検出
する。一方、変位量抽出部３５は瞼部３４によりフレー
ム間の差分から瞼の弾性的な変位情報を検出する。
【００１３】図４は図１に示した特徴量抽出部での目に
関する処理について説明するための図である。画像上の
話者の目４０について、図３に示した眼球部，瞼部分離
抽出部３１によって色彩情報を用いて眼球部４１と瞼部
４２とに領域分割が行なわれる。ある時系列的変化があ
ったとし、一例として、眼球が正面方向４３から右方向
４４へ向いた場合について説明する。２つのフレーム間
の差分をとると、動いた領域が分かる。この差分の取り
方は、眼球領域と瞼領域について独立的に処理する。眼
球の変位量４５，４７については、各フレーム間の眼球
の重心の位置変化４６と瞼の変位量４８が算出される。
関する処理について説明するための図である。画像上の
話者の目４０について、図３に示した眼球部，瞼部分離
抽出部３１によって色彩情報を用いて眼球部４１と瞼部
４２とに領域分割が行なわれる。ある時系列的変化があ
ったとし、一例として、眼球が正面方向４３から右方向
４４へ向いた場合について説明する。２つのフレーム間
の差分をとると、動いた領域が分かる。この差分の取り
方は、眼球領域と瞼領域について独立的に処理する。眼
球の変位量４５，４７については、各フレーム間の眼球
の重心の位置変化４６と瞼の変位量４８が算出される。
【００１４】図５は瞼の変位を検出する方法を説明する
ための図である。目の状態の時系列変化において、薄目
の状態５０から大きく開いた状態５１を説明する。ｘ−
ｙに関する二次元座標軸上で、目の局所的な濃度変化に
ついての計算を行なう。連続した画像フレーム５０，５
１の間の目の濃淡変化を従来より用いられているオプテ
ィカルフローと呼ばれる手法により計算する。この手法
に従えば、求める画像の局所的な位置変化は、次の第
（１）式および第（２）式の下位であるｕ，ｖとして算
出される。
ための図である。目の状態の時系列変化において、薄目
の状態５０から大きく開いた状態５１を説明する。ｘ−
ｙに関する二次元座標軸上で、目の局所的な濃度変化に
ついての計算を行なう。連続した画像フレーム５０，５
１の間の目の濃淡変化を従来より用いられているオプテ
ィカルフローと呼ばれる手法により計算する。この手法
に従えば、求める画像の局所的な位置変化は、次の第
（１）式および第（２）式の下位であるｕ，ｖとして算
出される。
【００１５】
【数１】
【００１６】緩和法により、解く形式に上述の第（１）
式および第（２）式を第（３）式および第（４）のよう
におく。
式および第（２）式を第（３）式および第（４）のよう
におく。
【００１７】
【数２】
【００１８】適当な初期値を与えて、反復時のｕk ，ｖ
k の反復誤差（ある時点とその１つ前のｕ，ｖの値の
差）について、適宜定めた判定基準を満たすまで反復が
繰返される。この判定基準に達したときの回転すなわち
収束解が２つのフレーム間の局所的な変位を示す。計算
された結果のベクトル表現を５２で示す。この図から分
かるように、瞳（黒目）が瞼のほぼ中心付近にあると
き、瞼の最大変位はちょうどこの瞳の位置する付近に生
じる。その他の変位について、瞼の形状に依存した変位
を示す。
k の反復誤差（ある時点とその１つ前のｕ，ｖの値の
差）について、適宜定めた判定基準を満たすまで反復が
繰返される。この判定基準に達したときの回転すなわち
収束解が２つのフレーム間の局所的な変位を示す。計算
された結果のベクトル表現を５２で示す。この図から分
かるように、瞳（黒目）が瞼のほぼ中心付近にあると
き、瞼の最大変位はちょうどこの瞳の位置する付近に生
じる。その他の変位について、瞼の形状に依存した変位
を示す。
【００１９】上述の第（１）式〜第（４）式中における
ｆx ，ｆy は、画像の局所的な濃度勾配であり、ｆt は
画像の時間に関する勾配であり、ｕ，ｖは画像中のｘ，
ｙ方向の速度であり、第（３）式および第（４）式の収
束解である。ｕav，ｖavは適当な定数である。
ｆx ，ｆy は、画像の局所的な濃度勾配であり、ｆt は
画像の時間に関する勾配であり、ｕ，ｖは画像中のｘ，
ｙ方向の速度であり、第（３）式および第（４）式の収
束解である。ｕav，ｖavは適当な定数である。
【００２０】図６は実像と目の部分のコンピュータグラ
フィック像を合成するまでの過程を説明するための図で
ある。送信された実画像６０は画像合成部２７に入力さ
れ、眼球，瞼の変位量６１は目挙動判定部２６に入力さ
れる。視線方向検出部２５は受け手側の話者の視線方向
を検出し、目挙動判定部２６は送信された目の変位情報
を利用するか、受け手側の話者の視線の方向情報を利用
するかを適当なしきい値で判定する。判定された変位情
報に基づいて、発信側の話者の目のコンピュータグラフ
ィックが変形される。このようにして、変形された発信
側の話者の目のコンピュータグラフィックと実画像６０
とが画像合成部２７で合成される。
フィック像を合成するまでの過程を説明するための図で
ある。送信された実画像６０は画像合成部２７に入力さ
れ、眼球，瞼の変位量６１は目挙動判定部２６に入力さ
れる。視線方向検出部２５は受け手側の話者の視線方向
を検出し、目挙動判定部２６は送信された目の変位情報
を利用するか、受け手側の話者の視線の方向情報を利用
するかを適当なしきい値で判定する。判定された変位情
報に基づいて、発信側の話者の目のコンピュータグラフ
ィックが変形される。このようにして、変形された発信
側の話者の目のコンピュータグラフィックと実画像６０
とが画像合成部２７で合成される。
【００２１】図７は目挙動判定部の動作を説明するため
の図である。画像通信では、視線の一致を行なう方法に
ついて、少なくとも２つの状況が考えられる。１つに
は、ほぼ完全に視線の一致が要求される場合である。正
面方向７０と横向きの場合７１など意思の疎通が会話で
なされる必要がある場合に有効である。もう１つは、送
信側の話者が、話者が机上の文章を読む、隣の人に話し
かけるといったような特定の状況下で、目を逸らす場合
がある。多くの場合、このような状況の場合は、顔部の
向いている方向に依存する。すなわち、話者が大きく下
を向いたような場合、あるいは興味の対象を大きく話者
の横にいる者に向けた場合７２が考えられる。このよう
に、適宜、視線の一致を行なったり止めたりする必要が
あり、結果的には自然な会話が進められることになる。
の図である。画像通信では、視線の一致を行なう方法に
ついて、少なくとも２つの状況が考えられる。１つに
は、ほぼ完全に視線の一致が要求される場合である。正
面方向７０と横向きの場合７１など意思の疎通が会話で
なされる必要がある場合に有効である。もう１つは、送
信側の話者が、話者が机上の文章を読む、隣の人に話し
かけるといったような特定の状況下で、目を逸らす場合
がある。多くの場合、このような状況の場合は、顔部の
向いている方向に依存する。すなわち、話者が大きく下
を向いたような場合、あるいは興味の対象を大きく話者
の横にいる者に向けた場合７２が考えられる。このよう
に、適宜、視線の一致を行なったり止めたりする必要が
あり、結果的には自然な会話が進められることになる。
【００２２】図８は実際の画像通信での適応的な視線一
致を行なっている状況を説明する図である。発信側の話
者と受信側の話者が視線を一致させようとする場合、従
来の装置では、本来横方向に受信側の話者がいるにもか
かわらず、視線８０は正面を向いているようになってし
まう。これに対して、この発明の一実施例では、視線の
方向を補正して補正された視線９１のようにする。瞼に
ついては、８５に示すように丸印から三角印に変形さ
れ、眼球についても同様に８６に示すように変形され
る。入力環境については、画像相手に送信するためのカ
メラ８２と視線方向を検出するためのカメラ８３とがあ
る。表示面には実像とコンピュータグラフィックの目に
より合成された画像８４が写し出される。
致を行なっている状況を説明する図である。発信側の話
者と受信側の話者が視線を一致させようとする場合、従
来の装置では、本来横方向に受信側の話者がいるにもか
かわらず、視線８０は正面を向いているようになってし
まう。これに対して、この発明の一実施例では、視線の
方向を補正して補正された視線９１のようにする。瞼に
ついては、８５に示すように丸印から三角印に変形さ
れ、眼球についても同様に８６に示すように変形され
る。入力環境については、画像相手に送信するためのカ
メラ８２と視線方向を検出するためのカメラ８３とがあ
る。表示面には実像とコンピュータグラフィックの目に
より合成された画像８４が写し出される。
【００２３】
【発明の効果】以上のように、この発明によれば、実像
にコンピュータグラフィックで生成された目付近の像を
合成することにより、受け手側で発信側の話者の眼球と
瞼を受け手側の話者の視線の方向に合せたり、適宜、発
信側の話者の目付近の変位情報をそのまま利用したりす
ることで、自然な視線一致が可能となり、違和感のない
画像通信会話および会議ができる。
にコンピュータグラフィックで生成された目付近の像を
合成することにより、受け手側で発信側の話者の眼球と
瞼を受け手側の話者の視線の方向に合せたり、適宜、発
信側の話者の目付近の変位情報をそのまま利用したりす
ることで、自然な視線一致が可能となり、違和感のない
画像通信会話および会議ができる。
【図１】この発明の一実施例の概略ブロック図である。
【図２】図１に示した特徴抽出部のブロック図である。
【図３】図２に示した目領域抽出部のブロック図であ
る。
る。
【図４】図２に示した特徴抽出部における目に関する処
理を説明するための図である。
理を説明するための図である。
【図５】瞼の変位を検出する方法を説明するための図で
ある。
ある。
【図６】実像と目の部分のコンピュータグラフィック像
を合成するまでの過程を説明するための図である。
を合成するまでの過程を説明するための図である。
【図７】目挙動判定部での動作を説明するための図であ
る。
る。
【図８】実際の画像通信での適応的な視線一致を行なっ
ている状況を説明するための図である。
ている状況を説明するための図である。
【図９】従来の方法によって画像通信の会話を行なう概
要を説明するための図である。
要を説明するための図である。
２０ 画像入力部 ２１ 特徴量抽出部 ２２ 符号化部 ２３ 送信部 ２４ 復号化部 ２５ 視線方向検出部 ２６ 目挙動判定部 ２７ 画像合成部 ２８ 画像再生部 ３１ 眼球部，瞼部分離抽出部 ３３ 方向変化抽出部 ３５ 変位量抽出部 ２１１ 頭部抽出部 ２１２ 目領域抽出部 ２１３ 変位量抽出部
Claims (1)
- 【請求項１】 入力された顔画像から人の目の領域を検
出する目領域検出手段と、 前記目領域検出手段によって検出された目の領域を眼球
と瞼の領域に分離する領域分離手段と、 前記領域分離手段によって分離された眼球の領域から眼
球の方向変化を検出し、その方向変化を符号化して出力
するとともに、前記分離された瞼の領域から瞼の形状変
化を抽出し、その形状変化を符号化して出力する抽出手
段と、 前記入力された顔画像とともに、前記抽出手段出力の符
号化された信号を目の挙動情報として伝送する伝送手段
と、 前記伝送手段によって伝送されてきた信号を復号する復
号化手段と、 受け手側の話者の視線方向を検出する視線検出手段と、 前記復号化手段によって復号された信号または前記視線
検出手段によって検出された話者の視線方向に応じて、
双方の視線が一致するようにグラフィック画像を生成す
る画像生成手段、および前記伝送手段によって伝送され
てきた顔画像に前記画像生成手段によって生成されたグ
ラフィック画像とを合成する画像合成手段を備えた、視
線一致補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4162807A JPH0716244B2 (ja) | 1992-06-22 | 1992-06-22 | 視線一致補正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4162807A JPH0716244B2 (ja) | 1992-06-22 | 1992-06-22 | 視線一致補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH066786A true JPH066786A (ja) | 1994-01-14 |
| JPH0716244B2 JPH0716244B2 (ja) | 1995-02-22 |
Family
ID=15761599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4162807A Expired - Fee Related JPH0716244B2 (ja) | 1992-06-22 | 1992-06-22 | 視線一致補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0716244B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005013626A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 覚醒状態検出装置 |
| JP2008249149A (ja) | 2003-03-28 | 2008-10-16 | Sumitomo Heavy Ind Ltd | 内歯揺動型内接噛合遊星歯車装置 |
| US7705877B2 (en) | 2004-01-28 | 2010-04-27 | Hewlett-Packard Development Company, L.P. | Method and system for display of facial features on nonplanar surfaces |
| JP2012088538A (ja) * | 2010-10-20 | 2012-05-10 | Casio Comput Co Ltd | 画像表示装置及びプログラム |
| JP2012103941A (ja) * | 2010-11-11 | 2012-05-31 | Nec Saitama Ltd | 画像処理装置および画像処理方法 |
| WO2014097465A1 (ja) * | 2012-12-21 | 2014-06-26 | 日立マクセル株式会社 | 映像処理装置および映像処理方法 |
| JP2019201360A (ja) * | 2018-05-17 | 2019-11-21 | 住友電気工業株式会社 | 画像処理装置、コンピュータプログラム、ビデオ通話システム、及び画像処理方法 |
| CN113222857A (zh) * | 2021-05-27 | 2021-08-06 | Oppo广东移动通信有限公司 | 图像处理方法、模型的训练方法及装置、介质和电子设备 |
-
1992
- 1992-06-22 JP JP4162807A patent/JPH0716244B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008249149A (ja) | 2003-03-28 | 2008-10-16 | Sumitomo Heavy Ind Ltd | 内歯揺動型内接噛合遊星歯車装置 |
| JP2005013626A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 覚醒状態検出装置 |
| US7705877B2 (en) | 2004-01-28 | 2010-04-27 | Hewlett-Packard Development Company, L.P. | Method and system for display of facial features on nonplanar surfaces |
| JP2012088538A (ja) * | 2010-10-20 | 2012-05-10 | Casio Comput Co Ltd | 画像表示装置及びプログラム |
| JP2012103941A (ja) * | 2010-11-11 | 2012-05-31 | Nec Saitama Ltd | 画像処理装置および画像処理方法 |
| WO2014097465A1 (ja) * | 2012-12-21 | 2014-06-26 | 日立マクセル株式会社 | 映像処理装置および映像処理方法 |
| JP2019201360A (ja) * | 2018-05-17 | 2019-11-21 | 住友電気工業株式会社 | 画像処理装置、コンピュータプログラム、ビデオ通話システム、及び画像処理方法 |
| CN113222857A (zh) * | 2021-05-27 | 2021-08-06 | Oppo广东移动通信有限公司 | 图像处理方法、模型的训练方法及装置、介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0716244B2 (ja) | 1995-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7330584B2 (en) | Image processing apparatus and method | |
| US8299979B2 (en) | Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices | |
| JP4069855B2 (ja) | 画像処理装置及び方法 | |
| US6677980B1 (en) | Method and apparatus for correcting gaze of image using single camera | |
| JP2010206307A (ja) | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム | |
| JP4144492B2 (ja) | 画像表示装置 | |
| JPH1040420A (ja) | 奥行き感制御方法 | |
| JPH08317429A (ja) | 立体電子ズーム装置及び立体画質制御装置 | |
| WO2017141511A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
| CN106796443A (zh) | 三维上的凝视点的位置确定方法 | |
| CN112069863B (zh) | 一种面部特征的有效性判定方法及电子设备 | |
| JP2000338987A (ja) | 発話開始監視装置、話者同定装置、音声入力システム、および話者同定システム、並びに通信システム | |
| Petajan et al. | Robust face feature analysis for automatic speachreading and character animation | |
| KR20130040771A (ko) | 입체 영상 처리 장치 및 방법 및 프로그램 | |
| JP6946684B2 (ja) | 電子情報ボードシステム、画像処理装置、及びプログラム | |
| US20190014288A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JPH066786A (ja) | 視線一致補正装置 | |
| CN115735358A (zh) | 裸眼3d显示模式的切换控制方法、介质和系统 | |
| JPH1196366A (ja) | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 | |
| JP2000137789A (ja) | 画像処理装置 | |
| EP4113982A1 (en) | Method for sensing and communicating visual focus of attention in a video conference | |
| JP7532767B2 (ja) | 撮影表示装置、撮影表示システムおよび撮影表示装置の制御方法 | |
| JP4586447B2 (ja) | 画像処理装置及び方法、プログラム | |
| JP2006024141A (ja) | 画像処理装置及び方法、プログラム | |
| KR200145873Y1 (ko) | 얼굴 표정 추출을 위한 헤드폰형 카메라 마이크 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19950822 |
|
| LAPS | Cancellation because of no payment of annual fees |