JP3263253B2 - 顔方向判定装置及びそれを用いた画像表示装置 - Google Patents
顔方向判定装置及びそれを用いた画像表示装置Info
- Publication number
- JP3263253B2 JP3263253B2 JP20863294A JP20863294A JP3263253B2 JP 3263253 B2 JP3263253 B2 JP 3263253B2 JP 20863294 A JP20863294 A JP 20863294A JP 20863294 A JP20863294 A JP 20863294A JP 3263253 B2 JP3263253 B2 JP 3263253B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- person
- input
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、人物の顔を画像として
とらえて、画像処理によって顔の向きを判定する装置及
びこの装置を使用した画像表示装置に関する。
とらえて、画像処理によって顔の向きを判定する装置及
びこの装置を使用した画像表示装置に関する。
【０００２】
【従来の技術】従来、実時間で顔の向きを判定するため
にセンサーを用いるものがあるが、機器を頭部につける
わずらわしさがあった。また、大村，伴野，小林：単眼
視画像による顔の向き検出法の指示入力への応用、電子
情報通信学会論文誌 Ｄ−ＩＩＶｏｌ．Ｊ７２ Ｎｏ．
９，１９８９ は画像処理によって顔の向きを判定する
手法を述べているが、正確さのために顔にマークを付け
る必要があるという欠点があった。さらに顔の向きの利
用についても、人物の意識的な動作を指示入力に使うた
めに、指示方法をあらかじめ知っておく必要があった。
特公平６−４８４５８号公報（間瀬，末永：情報入力装
置）は頭の動きを入力手段に用いるものであるが、指示
入力に用いるために指示方法を予め知っておく必要があ
るという同様の欠点があった。
にセンサーを用いるものがあるが、機器を頭部につける
わずらわしさがあった。また、大村，伴野，小林：単眼
視画像による顔の向き検出法の指示入力への応用、電子
情報通信学会論文誌 Ｄ−ＩＩＶｏｌ．Ｊ７２ Ｎｏ．
９，１９８９ は画像処理によって顔の向きを判定する
手法を述べているが、正確さのために顔にマークを付け
る必要があるという欠点があった。さらに顔の向きの利
用についても、人物の意識的な動作を指示入力に使うた
めに、指示方法をあらかじめ知っておく必要があった。
特公平６−４８４５８号公報（間瀬，末永：情報入力装
置）は頭の動きを入力手段に用いるものであるが、指示
入力に用いるために指示方法を予め知っておく必要があ
るという同様の欠点があった。
【０００３】
【発明が解決しようとする課題】そこで本発明は、人物
の顔の向きを画像でとらえて正確に顔の向きを判定する
装置と、顔の向きを利用することによりユーザが意識す
ることなく効率良く使用できる表示装置を提供すること
を目的としている。
の顔の向きを画像でとらえて正確に顔の向きを判定する
装置と、顔の向きを利用することによりユーザが意識す
ることなく効率良く使用できる表示装置を提供すること
を目的としている。
【０００４】
【課題を解決するための手段】請求項１に記載の装置
は、他方向から顔方向を判定される人物に向けて配置さ
れている複数のカメラによって構成される、人物の顔を
撮影して画像として入力する画像入力手段と、前記画像
入力手段により入力された画像から人物の顔の肌色の領
域を選択することによって、顔の領域を決定する領域決
定手段と、前記領域決定手段によって決定された顔の領
域における輝度変化の大きさが一定値以上である画素を
選択して特徴量を抽出する特徴量抽出手段と、前記特徴
量抽出手段によって抽出した前記特徴量と、前記画像入
力手段によって予め得た種々の方向を向いている人物の
顔の画像の標準の特徴量との類似度によって人物の顔の
方向を判断する類似度判断手段とを有する顔方向判定装
置であり、前記類似度判断手段が、複数のカメラによる
入力のそれぞれに対応した判定結果がすべて一致したと
きには一致した判定結果により顔方向を判断し、複数の
カメラによる入力のそれぞれに対応した判定結果が一致
しないときにはそれぞれのカメラによる入力について最
大の類似度と二番目に大きい類似度との差または比が最
も大きいカメラによる入力に基づいて顔方向を判断する
ことを特徴とする。
は、他方向から顔方向を判定される人物に向けて配置さ
れている複数のカメラによって構成される、人物の顔を
撮影して画像として入力する画像入力手段と、前記画像
入力手段により入力された画像から人物の顔の肌色の領
域を選択することによって、顔の領域を決定する領域決
定手段と、前記領域決定手段によって決定された顔の領
域における輝度変化の大きさが一定値以上である画素を
選択して特徴量を抽出する特徴量抽出手段と、前記特徴
量抽出手段によって抽出した前記特徴量と、前記画像入
力手段によって予め得た種々の方向を向いている人物の
顔の画像の標準の特徴量との類似度によって人物の顔の
方向を判断する類似度判断手段とを有する顔方向判定装
置であり、前記類似度判断手段が、複数のカメラによる
入力のそれぞれに対応した判定結果がすべて一致したと
きには一致した判定結果により顔方向を判断し、複数の
カメラによる入力のそれぞれに対応した判定結果が一致
しないときにはそれぞれのカメラによる入力について最
大の類似度と二番目に大きい類似度との差または比が最
も大きいカメラによる入力に基づいて顔方向を判断する
ことを特徴とする。
【０００５】請求項２に記載の装置は、他方向から顔方
向を判定される人物に向けて配置されている複数のカメ
ラによって構成される、人物の顔を撮影して画像として
入力する画像入力手段と、前記画像入力手段により入力
された画像から人物の顔の肌色の領域を選択することに
よって、顔の領域を決定する領域決定手段と、前記領域
決定手段によって決定された顔の領域における輝度変化
の大きさが一定値以上である画素を選択して特徴量を抽
出する特徴量抽出手段と、前記特徴量抽出手段によって
抽出した前記特徴量と、前記画像入力手段によって予め
得た種々の方向を向いている人物の顔の画像の標準の特
徴量との類似度によって人物の顔の方向を判断する類似
度判断手段とを有する顔方向判定装置であり、前記類似
度判断手段が、複数のカメラのよる入力のそれぞれに対
応した判定結果がすべて一致したときには一致した判定
結果により顔方向を決定し、複数のカメラによる入力の
それぞれに対応した判定結果が一致しないときにはそれ
ぞれのカメラによる入力について最大の類似度を方向ご
とに平均して最大となった類似度により顔方向を判断す
ることを特徴とする。
向を判定される人物に向けて配置されている複数のカメ
ラによって構成される、人物の顔を撮影して画像として
入力する画像入力手段と、前記画像入力手段により入力
された画像から人物の顔の肌色の領域を選択することに
よって、顔の領域を決定する領域決定手段と、前記領域
決定手段によって決定された顔の領域における輝度変化
の大きさが一定値以上である画素を選択して特徴量を抽
出する特徴量抽出手段と、前記特徴量抽出手段によって
抽出した前記特徴量と、前記画像入力手段によって予め
得た種々の方向を向いている人物の顔の画像の標準の特
徴量との類似度によって人物の顔の方向を判断する類似
度判断手段とを有する顔方向判定装置であり、前記類似
度判断手段が、複数のカメラのよる入力のそれぞれに対
応した判定結果がすべて一致したときには一致した判定
結果により顔方向を決定し、複数のカメラによる入力の
それぞれに対応した判定結果が一致しないときにはそれ
ぞれのカメラによる入力について最大の類似度を方向ご
とに平均して最大となった類似度により顔方向を判断す
ることを特徴とする。
【０００６】請求項３に記載の装置は、画像の表示を行
う表示手段と、前記類似度判断手段からの判断結果に基
づき、人物の顔方向が前記表示手段を見ている方向では
画像の表示を行い、人物の顔方向が前記表示手段を見て
いない方向では画像の表示を止めるように、前記表示手
段を制御する表示制御手段を備えたことを特徴とする。
う表示手段と、前記類似度判断手段からの判断結果に基
づき、人物の顔方向が前記表示手段を見ている方向では
画像の表示を行い、人物の顔方向が前記表示手段を見て
いない方向では画像の表示を止めるように、前記表示手
段を制御する表示制御手段を備えたことを特徴とする。
【０００７】
【０００８】
【０００９】
【００１０】
【００１１】
【作用】請求項１に記載の装置によれば、他方向から顔
方向を判定される人物に向けて配置されている複数のカ
メラによって構成される、画像入力手段により入力され
た画像から、領域決定手段により人物の顔の肌色の領域
を選択することによって顔の領域が決定され、特徴量抽
出手段によりその顔の領域における輝度変化の大きさが
一定値以上である画素を選択して特徴量が抽出され、類
似度判断手段によって抽出された特徴量と予め求めた標
準特徴量との類似度に基づいて顔方向が判定される。そ
の際、類似度判断手段は、複数のカメラによる入力のそ
れぞれに対応した判定結果がすべて一致したときには一
致した判定結果により顔方向を判断し、複数のカメラに
よる入力のそれぞれに対応した判定結果が一致しないと
きにはそれぞれのカメラによる入力について最大の類似
度と二番目に大きい類似度との差または比が最も大きい
カメラによる入力に基づいて顔方向を判断するので、確
実に且つ精度よく顔方向を判定することができる。
方向を判定される人物に向けて配置されている複数のカ
メラによって構成される、画像入力手段により入力され
た画像から、領域決定手段により人物の顔の肌色の領域
を選択することによって顔の領域が決定され、特徴量抽
出手段によりその顔の領域における輝度変化の大きさが
一定値以上である画素を選択して特徴量が抽出され、類
似度判断手段によって抽出された特徴量と予め求めた標
準特徴量との類似度に基づいて顔方向が判定される。そ
の際、類似度判断手段は、複数のカメラによる入力のそ
れぞれに対応した判定結果がすべて一致したときには一
致した判定結果により顔方向を判断し、複数のカメラに
よる入力のそれぞれに対応した判定結果が一致しないと
きにはそれぞれのカメラによる入力について最大の類似
度と二番目に大きい類似度との差または比が最も大きい
カメラによる入力に基づいて顔方向を判断するので、確
実に且つ精度よく顔方向を判定することができる。
【００１２】請求項２に記載の装置によれば、他方向か
ら顔方向を判定される人物に向けて配置されている複数
のカメラによって構成される、画像入力手段により入力
された画像から、領域決定手段により人物の顔の肌色の
領域を選択することによって顔の領域が決定され、特徴
量抽出手段によりその顔の領域における輝度変化の大き
さが一定値以上である画素を選択して特徴量が抽出さ
れ、類似度判断手段によって抽出された特徴量と予め求
めた標準特徴量との類似度に基づいて顔方向が判定され
る。その際、類似度判断手段が、複数のカメラのよる入
力のそれぞれに対応した判定結果がすべて一致したとき
には一致した判定結果により顔方向を決定し、複数のカ
メラによる入力のそれぞれに対応した判定結果が一致し
ないときにはそれぞれのカメラによる入力について最大
の類似度を方向ごとに平均して最大となった類似度によ
り顔方向を判断するので、確実に且つ精度よく顔方向を
判定することができる。
ら顔方向を判定される人物に向けて配置されている複数
のカメラによって構成される、画像入力手段により入力
された画像から、領域決定手段により人物の顔の肌色の
領域を選択することによって顔の領域が決定され、特徴
量抽出手段によりその顔の領域における輝度変化の大き
さが一定値以上である画素を選択して特徴量が抽出さ
れ、類似度判断手段によって抽出された特徴量と予め求
めた標準特徴量との類似度に基づいて顔方向が判定され
る。その際、類似度判断手段が、複数のカメラのよる入
力のそれぞれに対応した判定結果がすべて一致したとき
には一致した判定結果により顔方向を決定し、複数のカ
メラによる入力のそれぞれに対応した判定結果が一致し
ないときにはそれぞれのカメラによる入力について最大
の類似度を方向ごとに平均して最大となった類似度によ
り顔方向を判断するので、確実に且つ精度よく顔方向を
判定することができる。
【００１３】請求項３に記載の装置によれば、画像の表
示を行う表示手段と、前記類似度判断手段からの判断結
果に基づき、人物の顔方向が前記表示手段を見ている方
向では画像の表示を行い、人物の顔方向が前記表示手段
を見ていない方向では画像の表示を止めるように、前記
表示手段を制御する表示制御手段を備えているので、ユ
ーザが意識することなく表示装置の方向を向いていると
きだけ表示を行わせることができる。
示を行う表示手段と、前記類似度判断手段からの判断結
果に基づき、人物の顔方向が前記表示手段を見ている方
向では画像の表示を行い、人物の顔方向が前記表示手段
を見ていない方向では画像の表示を止めるように、前記
表示手段を制御する表示制御手段を備えているので、ユ
ーザが意識することなく表示装置の方向を向いていると
きだけ表示を行わせることができる。
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】
【実施例】本発明の実施例の構成図を図１に示す。図１
において、１および２は、ユーザの顔を撮影する画像入
力手段としてのテレビカメラ、３はテレビカメラから入
力された画像の中から顔の領域を決定する領域決定手
段、４は決定された領域について画像の輝度変化を抽出
する輝度変化抽出手段、５は抽出された輝度変化から特
徴ベクトルを抽出する特徴ベクトル抽出手段、６は抽出
された特徴ベクトルと標準パターンの類似度から顔の方
向を判断する類似度判断手段、７は判断された顔の方向
に基づいて表示装置を制御する表示制御部、８は表示制
御部７に制御される表示装置である。上記の構成要素の
間の矢印は、情報の流れを示す。また図中、９はテレビ
カメラで撮影され、その顔の方向が判定されるユーザで
ある。
において、１および２は、ユーザの顔を撮影する画像入
力手段としてのテレビカメラ、３はテレビカメラから入
力された画像の中から顔の領域を決定する領域決定手
段、４は決定された領域について画像の輝度変化を抽出
する輝度変化抽出手段、５は抽出された輝度変化から特
徴ベクトルを抽出する特徴ベクトル抽出手段、６は抽出
された特徴ベクトルと標準パターンの類似度から顔の方
向を判断する類似度判断手段、７は判断された顔の方向
に基づいて表示装置を制御する表示制御部、８は表示制
御部７に制御される表示装置である。上記の構成要素の
間の矢印は、情報の流れを示す。また図中、９はテレビ
カメラで撮影され、その顔の方向が判定されるユーザで
ある。
【００１９】図１では画像入力手段として２台のテレビ
カメラが示されているが、ｎ台のテレビカメラＣ1 ，Ｃ
2 ，．．．，Ｃn によって異なった角度からユーザを撮
影する場合を考える。このとき、各テレビカメラＣ1 ，
Ｃ2 ，．．．，Ｃn を、ユーザが通常使用する際に顔全
体を撮影できるように設定する。
カメラが示されているが、ｎ台のテレビカメラＣ1 ，Ｃ
2 ，．．．，Ｃn によって異なった角度からユーザを撮
影する場合を考える。このとき、各テレビカメラＣ1 ，
Ｃ2 ，．．．，Ｃn を、ユーザが通常使用する際に顔全
体を撮影できるように設定する。
【００２０】各テレビカメラから入力されたそれぞれの
画像から顔領域決定手段３によりユーザの顔領域が決定
される。顔領域の決定手順について図２のフローチャー
トにしたがって説明する。まず、人物の顔を中心とした
図７の画像中の肌色の領域Ｒ1 ，Ｒ2 ，．．．，Ｒk を
抽出する（Ｓ１）。この結果の画像を図８に示す。これ
らの領域Ｒ1 ，Ｒ2 ，．．．，Ｒk の中には顔の領域の
他に、例えばネクタイの肌色の部分の領域などが含まれ
る。つぎに、これらの領域の中で面積の最も大きい領域
Ｒmax を選択する（Ｓ２）。この結果の画像を図９に示
す。顔の領域の内、肌色でない目やノイズなどのため、
選ばれた領域Ｒmax には穴（図９の黒い領域の中の白い
部分）が存在する。そこで、この領域Ｒmax の穴の部分
を埋める処理を行い、画像中の顔領域Ｒfaceが決定され
る（Ｓ３）。この結果の画像を図１０に示す。顔領域Ｒ
faceを囲む矩形Ｒｅｃｔ1 を求めて、矩形Ｒｅｃｔ1 を
顔の方向を判定するのに用いる領域とする（Ｓ４）。こ
の結果の画像を図１１に示す。
画像から顔領域決定手段３によりユーザの顔領域が決定
される。顔領域の決定手順について図２のフローチャー
トにしたがって説明する。まず、人物の顔を中心とした
図７の画像中の肌色の領域Ｒ1 ，Ｒ2 ，．．．，Ｒk を
抽出する（Ｓ１）。この結果の画像を図８に示す。これ
らの領域Ｒ1 ，Ｒ2 ，．．．，Ｒk の中には顔の領域の
他に、例えばネクタイの肌色の部分の領域などが含まれ
る。つぎに、これらの領域の中で面積の最も大きい領域
Ｒmax を選択する（Ｓ２）。この結果の画像を図９に示
す。顔の領域の内、肌色でない目やノイズなどのため、
選ばれた領域Ｒmax には穴（図９の黒い領域の中の白い
部分）が存在する。そこで、この領域Ｒmax の穴の部分
を埋める処理を行い、画像中の顔領域Ｒfaceが決定され
る（Ｓ３）。この結果の画像を図１０に示す。顔領域Ｒ
faceを囲む矩形Ｒｅｃｔ1 を求めて、矩形Ｒｅｃｔ1 を
顔の方向を判定するのに用いる領域とする（Ｓ４）。こ
の結果の画像を図１１に示す。
【００２１】つぎに、決定された顔領域Ｒfaceについて
の輝度変化を輝度変化抽出手段４により抽出する。輝度
変化の抽出手順について図３のフローチャートにしたが
って説明する。矩形Ｒｅｃｔ1 において画像の輝度変化
Ｅ（ｘ，ｙ）が一定値より大きい部分（ｘ，ｙ）の値Ｖ
（ｘ，ｙ）を１に（Ｓ５）、一定値より小さい部分と顔
領域Ｒfaceの外部の値Ｖ（ｘ，ｙ）を０とする処理を行
う（Ｓ６）。この結果の画像を図１２に示す。Ｅ（ｘ，
ｙ）輝度変化の大きさを求める方法はエッジ抽出として
一般に知られている方法を用いることができる。本例で
は、（ｘ，ｙ）の輝度をｆ（ｘ，ｙ）とすると、
の輝度変化を輝度変化抽出手段４により抽出する。輝度
変化の抽出手順について図３のフローチャートにしたが
って説明する。矩形Ｒｅｃｔ1 において画像の輝度変化
Ｅ（ｘ，ｙ）が一定値より大きい部分（ｘ，ｙ）の値Ｖ
（ｘ，ｙ）を１に（Ｓ５）、一定値より小さい部分と顔
領域Ｒfaceの外部の値Ｖ（ｘ，ｙ）を０とする処理を行
う（Ｓ６）。この結果の画像を図１２に示す。Ｅ（ｘ，
ｙ）輝度変化の大きさを求める方法はエッジ抽出として
一般に知られている方法を用いることができる。本例で
は、（ｘ，ｙ）の輝度をｆ（ｘ，ｙ）とすると、
【００２２】
【数１】
【００２３】を用いる。また、矩形Ｒｅｃｔ1 が１５０
×１５０程度の大きさの場合、輝度変化Ｅ（ｘ，ｙ）が
大きいとする閾値は８０としたが、これは、輝度変化Ｅ
（ｘ，ｙ）と矩形Ｒｅｃｔ1 の大きさで決まる。
×１５０程度の大きさの場合、輝度変化Ｅ（ｘ，ｙ）が
大きいとする閾値は８０としたが、これは、輝度変化Ｅ
（ｘ，ｙ）と矩形Ｒｅｃｔ1 の大きさで決まる。
【００２４】つぎに、特徴ベクトル抽出手段５によって
画像の特徴ベクトルを抽出する。特徴ベクトル抽出手順
について図４のフローチャートにしたがって説明する。
特徴ベクトル抽出手段５では、顔領域を囲む矩形の大き
さはユーザが変わるなど条件が変わると変化するので、
あらかじめ決めておいた一定の大きさ、例えば、１６×
１６の矩形ＲｅｃｔF に縮小して（Ｓ７）、その後で特
徴ベクトルを求める。縮小処理では、例えば、Ｒｅｃｔ
1 の複数の画素Ｐ1 ，Ｐ2 ，．．．，ＰN は縮小した際
ＲｅｃｔF の１画素ｐ１に対応し、ｐ１の値 ｖ（ｐ
１）は、 ｖ（ｐ１）＝（１／ｌ）（Ｖ（Ｐ1 ）＋Ｖ（Ｐ2 ）
＋．．．Ｖ（Ｐl ）） によって求められる。縮小した結果の画像を図１３に示
す。これらの値ｖをベクトルとみなし、ノルムが１にな
るように正規化して、特徴ベクトルとする（Ｓ８）。１
６×１６に縮小する場合、２５６次元の特徴ベクトルと
なる。
画像の特徴ベクトルを抽出する。特徴ベクトル抽出手順
について図４のフローチャートにしたがって説明する。
特徴ベクトル抽出手段５では、顔領域を囲む矩形の大き
さはユーザが変わるなど条件が変わると変化するので、
あらかじめ決めておいた一定の大きさ、例えば、１６×
１６の矩形ＲｅｃｔF に縮小して（Ｓ７）、その後で特
徴ベクトルを求める。縮小処理では、例えば、Ｒｅｃｔ
1 の複数の画素Ｐ1 ，Ｐ2 ，．．．，ＰN は縮小した際
ＲｅｃｔF の１画素ｐ１に対応し、ｐ１の値 ｖ（ｐ
１）は、 ｖ（ｐ１）＝（１／ｌ）（Ｖ（Ｐ1 ）＋Ｖ（Ｐ2 ）
＋．．．Ｖ（Ｐl ）） によって求められる。縮小した結果の画像を図１３に示
す。これらの値ｖをベクトルとみなし、ノルムが１にな
るように正規化して、特徴ベクトルとする（Ｓ８）。１
６×１６に縮小する場合、２５６次元の特徴ベクトルと
なる。
【００２５】つぎに、類似度判断手段６により顔の方向
を判定する。判定の手順を図５及び図６のフローチャー
トに示す。類似度判定手段６により、あらかじめ各テレ
ビカメラＣ1 ，Ｃ2 ，．．．，Ｃn で撮影した時の各方
向Ｄ1 ，Ｄ2 ，．．．，Ｄmの特徴の標準パターンＰ
（Ｃi ，Ｄj ）（ｉ＝１，．．．，ｎ，ｊ＝
１，．．．，ｍ）を用意しておき、求めた特徴Ｆと標準
パターンＲ（Ｃi ，Ｄj ）との内積で計算される類似度
Ｓ（Ｃi ，Ｄj ）を求める。テレビカメラＣi では類似
度Ｓ（Ｃi ，Ｄj ）が最大となる方向Ｄj が顔方向と判
定する（Ｓ９）。各テレビカメラＣi で結果が一致する
か調べて（Ｓ１０）、一致すればその方向を顔の向きと
判断する（Ｓ１１）。一致しない場合、二番目に大きい
類似度Ｓ2 （Ｃi ）と最大類似度Ｓmax （Ｃi ）との差
Ｓmax （Ｃi ）−Ｓ2 （Ｃi ）または比Ｓmax（Ｃi ）
／Ｓ2 （Ｃi ）が大きいテレビカメラＣi の結果を優先
する判定を行う（Ｓ１２）。
を判定する。判定の手順を図５及び図６のフローチャー
トに示す。類似度判定手段６により、あらかじめ各テレ
ビカメラＣ1 ，Ｃ2 ，．．．，Ｃn で撮影した時の各方
向Ｄ1 ，Ｄ2 ，．．．，Ｄmの特徴の標準パターンＰ
（Ｃi ，Ｄj ）（ｉ＝１，．．．，ｎ，ｊ＝
１，．．．，ｍ）を用意しておき、求めた特徴Ｆと標準
パターンＲ（Ｃi ，Ｄj ）との内積で計算される類似度
Ｓ（Ｃi ，Ｄj ）を求める。テレビカメラＣi では類似
度Ｓ（Ｃi ，Ｄj ）が最大となる方向Ｄj が顔方向と判
定する（Ｓ９）。各テレビカメラＣi で結果が一致する
か調べて（Ｓ１０）、一致すればその方向を顔の向きと
判断する（Ｓ１１）。一致しない場合、二番目に大きい
類似度Ｓ2 （Ｃi ）と最大類似度Ｓmax （Ｃi ）との差
Ｓmax （Ｃi ）−Ｓ2 （Ｃi ）または比Ｓmax（Ｃi ）
／Ｓ2 （Ｃi ）が大きいテレビカメラＣi の結果を優先
する判定を行う（Ｓ１２）。
【００２６】複数テレビカメラの結果を使う別の方法と
して、各方向Ｄj の類似度ＳDjをすべてのテレビカメラ
の類似度の平均
して、各方向Ｄj の類似度ＳDjをすべてのテレビカメラ
の類似度の平均
【００２７】
【数２】
【００２８】でもとめ（Ｓ１３）、類似度ＳDjが最大の
方向Ｄj を顔方向と判定することもできる（Ｓ１４）。
このように、複数のテレビカメラを使うことによって、
ひとつのカメラで判定できなかったり、判定を誤る場合
でも、正確に判定できるようになる。
方向Ｄj を顔方向と判定することもできる（Ｓ１４）。
このように、複数のテレビカメラを使うことによって、
ひとつのカメラで判定できなかったり、判定を誤る場合
でも、正確に判定できるようになる。
【００２９】本発明の顔方向判定装置により顔の向きの
判定について実験した結果について以下に示す。撮影の
時のカメラは図１４に示すように配置した。１３は、被
験者を示す。顔の方向は正面と左右３０度の３方向で行
い、３人の画像データから標準パターンを作成し、別の
１８人で実験を行った。１台のカメラで顔の方向の判定
を行った実験の結果を図１５に、２台のカメラで顔の方
向の判定を行った実験の結果を図１６に示す。図中の分
数の分母は全体の数、分子は正解数を示す。
判定について実験した結果について以下に示す。撮影の
時のカメラは図１４に示すように配置した。１３は、被
験者を示す。顔の方向は正面と左右３０度の３方向で行
い、３人の画像データから標準パターンを作成し、別の
１８人で実験を行った。１台のカメラで顔の方向の判定
を行った実験の結果を図１５に、２台のカメラで顔の方
向の判定を行った実験の結果を図１６に示す。図中の分
数の分母は全体の数、分子は正解数を示す。
【００３０】２台のカメラを使用した実験では、最大類
似度と２番目の類似度の差が大きいカメラの類似度の結
果に基づいて判定した。
似度と２番目の類似度の差が大きいカメラの類似度の結
果に基づいて判定した。
【００３１】図１に示す表示制御部７は、表示装置８の
出力を制御し、顔方向判定の結果、ユーザの顔の方向が
表示装置８の方である場合だけ表示を行い、別の方向を
向いている場合は表示を止めるという制御を行う。
出力を制御し、顔方向判定の結果、ユーザの顔の方向が
表示装置８の方である場合だけ表示を行い、別の方向を
向いている場合は表示を止めるという制御を行う。
【００３２】顔方向判定装置を使用した画像表示装置の
別の例としては、計算量の多い三次元グラフィクスのよ
うな場合に、顔の向いている方向のみを詳細に表示し、
向いていない方向の表示を粗くする画像表示装置があ
る。このような画像表示装置によれば、ユーザにとって
は、顔を向けている方向の画像は、常に、詳細に且つ高
速で表示されるという効果が得られる。
別の例としては、計算量の多い三次元グラフィクスのよ
うな場合に、顔の向いている方向のみを詳細に表示し、
向いていない方向の表示を粗くする画像表示装置があ
る。このような画像表示装置によれば、ユーザにとって
は、顔を向けている方向の画像は、常に、詳細に且つ高
速で表示されるという効果が得られる。
【００３３】
【発明の効果】請求項１に記載の装置によれば、他方向
から顔方向を判定される人物に向けて配置されている複
数のカメラによって構成される、画像入力手段により入
力された画像から、領域決定手段により人物の顔の肌色
の領域を選択することによって顔の領域が決定され、特
徴量抽出手段によりその顔の領域における輝度変化の大
きさが一定値以上である画素を選択して特徴量が抽出さ
れ、類似度判断手段によって抽出された特徴量と予め求
めた標準特徴量との類似度に基づいて顔方向が判定され
る。その際、類似度判断手段は、複数のカメラによる入
力のそれぞれに対応した判定結果がすべて一致したとき
には一致した判定結果により顔方向を判断し、複数のカ
メラによる入力のそれぞれに対応した判定結果が一致し
ないときにはそれぞれのカメラによる入力について最大
の類似度と二番目に大きい類似度との差または比が最も
大きいカメラによる入力に基づいて顔方向を判断するの
で、確実に且つ精度よく顔方向を判定することができ
る。
から顔方向を判定される人物に向けて配置されている複
数のカメラによって構成される、画像入力手段により入
力された画像から、領域決定手段により人物の顔の肌色
の領域を選択することによって顔の領域が決定され、特
徴量抽出手段によりその顔の領域における輝度変化の大
きさが一定値以上である画素を選択して特徴量が抽出さ
れ、類似度判断手段によって抽出された特徴量と予め求
めた標準特徴量との類似度に基づいて顔方向が判定され
る。その際、類似度判断手段は、複数のカメラによる入
力のそれぞれに対応した判定結果がすべて一致したとき
には一致した判定結果により顔方向を判断し、複数のカ
メラによる入力のそれぞれに対応した判定結果が一致し
ないときにはそれぞれのカメラによる入力について最大
の類似度と二番目に大きい類似度との差または比が最も
大きいカメラによる入力に基づいて顔方向を判断するの
で、確実に且つ精度よく顔方向を判定することができ
る。
【００３４】請求項２に記載の装置によれば、他方向か
ら顔方向を判定される人物に向けて配置されている複数
のカメラによって構成される、画像入力手段により入力
された画像から、領域決定手段により人物の顔の肌色の
領域を選択することによって顔の領域が決定され、特徴
量抽出手段によりその顔の領域における輝度変化の大き
さが一定値以上である画素を選択して特徴量が抽出さ
れ、類似度判断手段によって抽出された特徴量と予め求
めた標準特徴量との類似度に基づいて顔方向が判定され
る。その際、類似度判断手段が、複数のカメラのよる入
力のそれぞれに対応した判定結果がすべて一致したとき
には一致した判定結果により顔方向を決定し、複数のカ
メラによる入力のそれぞれに対応した判定結果が一致し
ないときにはそれぞれのカメラによる入力について最大
の類似度を方向ごとに平均して最大となった類似度によ
り顔方向を判断するので、確実に且つ精度よく顔方向を
判定することができる。
ら顔方向を判定される人物に向けて配置されている複数
のカメラによって構成される、画像入力手段により入力
された画像から、領域決定手段により人物の顔の肌色の
領域を選択することによって顔の領域が決定され、特徴
量抽出手段によりその顔の領域における輝度変化の大き
さが一定値以上である画素を選択して特徴量が抽出さ
れ、類似度判断手段によって抽出された特徴量と予め求
めた標準特徴量との類似度に基づいて顔方向が判定され
る。その際、類似度判断手段が、複数のカメラのよる入
力のそれぞれに対応した判定結果がすべて一致したとき
には一致した判定結果により顔方向を決定し、複数のカ
メラによる入力のそれぞれに対応した判定結果が一致し
ないときにはそれぞれのカメラによる入力について最大
の類似度を方向ごとに平均して最大となった類似度によ
り顔方向を判断するので、確実に且つ精度よく顔方向を
判定することができる。
【００３５】請求項３に記載の装置によれば、画像の表
示を行う表示手段と、前記類似度判断手段からの判断結
果に基づき、人物の顔方向が前記表示手段を見ている方
向では画像の表示を行い、人物の顔方向が前記表示手段
を見ていない方向では画像の表示を止めるように、前記
表示手段を制御する表示制御手段を備えているので、ユ
ーザが意識することなく表示装置の方向を向いていると
きだけ表示を行わせることができ、省電力が図れる。
示を行う表示手段と、前記類似度判断手段からの判断結
果に基づき、人物の顔方向が前記表示手段を見ている方
向では画像の表示を行い、人物の顔方向が前記表示手段
を見ていない方向では画像の表示を止めるように、前記
表示手段を制御する表示制御手段を備えているので、ユ
ーザが意識することなく表示装置の方向を向いていると
きだけ表示を行わせることができ、省電力が図れる。
【００３６】
【００３７】
【００３８】
【００３９】
【図１】本発明の実施例の構成を示す図である。
【図２】領域決定手順を示すフローチャートである。
【図３】輝度変化抽出手順を示すフローチャートであ
る。
る。
【図４】特徴ベクトル抽出手順を示すフローチャートで
ある。
ある。
【図５】類似度判定手順を示すフローチャートである。
【図６】類似度判定手順を示すフローチャートである。
【図７】画像入力手段によって入力された画像を示す図
である。
である。
【図８】肌色領域抽出の例を示す図である。
【図９】肌色領域の中で最大面積の領域の例を示す図で
ある。
ある。
【図１０】顔の領域の例を示す図である
【図１１】領域決定手段における矩形を示す図である。
【図１２】輝度変化抽出手段により抽出された輝度変化
を示す図である。
を示す図である。
【図１３】特徴ベクトルを示す図である。
【図１４】実験に使用したカメラの配置を示す図であ
る。
る。
【図１５】１台のカメラによる顔の方向の判定結果を示
す図である。
す図である。
【図１６】２台のカメラによる顔の方向の判定結果を示
す図である。
す図である。
１ 画像入力手段 ２ 画像入力手段 ３ 領域決定手段 ４ 輝度変化抽出手段 ５ 特徴ベクトル抽出手段 ６ 類似度判定手段 ７ 表示制御部 ８ 表示装置 ９ ユーザ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 H04N 5/50 - 5/63
Claims (3)
- 【請求項１】 人物の顔が向いている方向を判定する装
置であって、他方向から顔方向を判定される人物に向けて配置されて
いる複数のカメラによって構成される、 人物の顔を撮影
して画像として入力する画像入力手段と、 前記画像入力手段により入力された画像から人物の顔の
肌色の領域を選択することによって、顔の領域を決定す
る領域決定手段と、 前記領域決定手段によって決定された顔の領域における
輝度変化の大きさが一定値以上である画素を選択して特
徴量を抽出する特徴量抽出手段と、 前記特徴量抽出手段によって抽出した前記特徴量と、前
記画像入力手段によって予め得た種々の方向を向いてい
る人物の顔の画像の標準の特徴量との類似度によって人
物の顔の方向を判断する類似度判断手段とを有する顔方
向判定装置であり、 前記類似度判断手段が、複数のカメラによる入力のそれ
ぞれに対応した判定結果がすべて一致したときには一致
した判定結果により顔方向を判断し、複数のカメラによ
る入力のそれぞれに対応した判定結果が一致しないとき
にはそれぞれのカメラによる入力について最大の類似度
と二番目に大きい類似度との差または比が最も大きいカ
メラによる入力に基づいて顔方向を判断することを特徴
とする顔方向判定装置 。 - 【請求項２】 人物の顔が向いている方向を判定する装
置であって、 他方向から顔方向を判定される人物に向けて配置されて
いる複数のカメラによって構成される、人物の顔を撮影
して画像として入力する画像入力手段と、 前記画像入力手段により入力された画像から人物の顔の
肌色の領域を選択することによって、顔の領域を決定す
る領域決定手段と、 前記領域決定手段によって決定された顔の領域における
輝度変化の大きさが一定値以上である画素を選択して特
徴量を抽出する特徴量抽出手段と、 前記特徴量抽出手段によって抽出した前記特徴量と、前
記画像入力手段によって予め得た種々の方向を向いてい
る人物の顔の画像の標準の特徴量との類似度によって人
物の顔の方向を判断する類似度判断手段とを有する顔方
向判定装置であり、 前記類似度判断手段が、複数のカメラのよる入力のそれ
ぞれに対応した判定結果がすべて一致したときには一致
した判定結果により顔方向を決定し、複数のカメラによ
る入力のそれぞれに対応した判定結果が一致しないとき
にはそれぞれのカメラによる入力について最大の類似度
を方向ごとに平均して最大となった類似度により顔方向
を判断することを特徴とする 顔方向判定装置。 - 【請求項３】 請求項１または請求項２に記載の顔方向
判定装置を用いた画像表示装置であって、 画像の表示を行う表示手段と、 前記類似度判断手段からの判断結果に基づき、人物の顔
方向が前記表示手段を見ている方向では画像の表示を行
い、人物の顔方向が前記表示手段を見ていない方向では
画像の表示を止めるように、前記表示手段を制御する表
示制御手段を備えたことを特徴とする画像表示装置 。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20863294A JP3263253B2 (ja) | 1994-09-01 | 1994-09-01 | 顔方向判定装置及びそれを用いた画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20863294A JP3263253B2 (ja) | 1994-09-01 | 1994-09-01 | 顔方向判定装置及びそれを用いた画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08106519A JPH08106519A (ja) | 1996-04-23 |
| JP3263253B2 true JP3263253B2 (ja) | 2002-03-04 |
Family
ID=16559451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20863294A Expired - Lifetime JP3263253B2 (ja) | 1994-09-01 | 1994-09-01 | 顔方向判定装置及びそれを用いた画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3263253B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4244416B2 (ja) * | 1998-10-30 | 2009-03-25 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
| JP4675514B2 (ja) * | 2001-07-16 | 2011-04-27 | シャープ株式会社 | 音声処理装置、音声処理方法、及びその方法を実施するためのプログラムを記録したコンピュータにより読取り可能な記録媒体 |
| JP2003242486A (ja) * | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | 人物属性推定装置 |
| JP2004177315A (ja) * | 2002-11-28 | 2004-06-24 | Alpine Electronics Inc | 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム |
| JP3982817B2 (ja) | 2003-03-07 | 2007-09-26 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| JP4501003B2 (ja) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | 顔姿勢検出システム |
| JP4930854B2 (ja) * | 2005-07-19 | 2012-05-16 | 日本電気株式会社 | 関節物体位置姿勢推定装置及びその方法ならびにプログラム |
| JP4544282B2 (ja) | 2007-09-14 | 2010-09-15 | ソニー株式会社 | データ処理装置、およびデータ処理方法、並びにプログラム |
| KR101791604B1 (ko) | 2012-09-11 | 2017-10-30 | 삼성전자주식회사 | 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체 |
| WO2019021445A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | 判定システム、方法及びプログラム |
-
1994
- 1994-09-01 JP JP20863294A patent/JP3263253B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08106519A (ja) | 1996-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12101548B2 (en) | Photographing apparatus, method and medium using image recognition | |
| US8687887B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP5080944B2 (ja) | パノラマ眼底画像合成装置及び方法 | |
| US8290276B2 (en) | Image display device, image display method and storage medium storing image display program | |
| US7599568B2 (en) | Image processing method, apparatus, and program | |
| US8488909B2 (en) | Image processing apparatus, image processing method and imaging apparatus | |
| JP4085959B2 (ja) | 物体検出装置、物体検出方法、および記録媒体 | |
| US11861810B2 (en) | Image dehazing method, apparatus, and device, and computer storage medium | |
| US7961230B2 (en) | Image processing device, image processing program, image processing system, and image processing method | |
| JPWO2008012905A1 (ja) | 認証装置および認証用画像表示方法 | |
| WO2004015987A1 (ja) | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 | |
| JP3263253B2 (ja) | 顔方向判定装置及びそれを用いた画像表示装置 | |
| US20050147304A1 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
| JP4367010B2 (ja) | システム、プログラムおよび方法 | |
| JP2016187162A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2007067847A (ja) | 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体 | |
| JPH09153137A (ja) | 画像認識方法 | |
| JPH1115979A (ja) | 顔検出及び顔追跡方法並びにその装置 | |
| JP2001209802A (ja) | 顔抽出方法および装置並びに記録媒体 | |
| EP3701490B1 (en) | Method and system of fast image blending for overlapping regions in surround view | |
| JP4305000B2 (ja) | 画像処理方法、画像処理装置、記憶媒体及びプログラム | |
| KR101315464B1 (ko) | 이미지 처리방법 | |
| JPH11185026A (ja) | 顔領域抽出装置 | |
| WO2024004789A1 (ja) | 情報処理装置、情報処理方法、情報処理システム及び記録媒体 | |
| WO2020259603A1 (zh) | 图像处理装置及图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071221 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081221 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081221 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |