JPH08106519A - Face direction discriminating device and picture display device using this device - Google Patents
Face direction discriminating device and picture display device using this deviceInfo
- Publication number
- JPH08106519A JPH08106519A JP6208632A JP20863294A JPH08106519A JP H08106519 A JPH08106519 A JP H08106519A JP 6208632 A JP6208632 A JP 6208632A JP 20863294 A JP20863294 A JP 20863294A JP H08106519 A JPH08106519 A JP H08106519A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- person
- similarity
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、人物の顔を画像として
とらえて、画像処理によって顔の向きを判定する装置及
びこの装置を使用した画像表示装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for recognizing a human face as an image and determining the orientation of the face by image processing, and an image display device using this device.
【０００２】[0002]
【従来の技術】従来、実時間で顔の向きを判定するため
にセンサーを用いるものがあるが、機器を頭部につける
わずらわしさがあった。また、大村，伴野，小林：単眼
視画像による顔の向き検出法の指示入力への応用、電子
情報通信学会論文誌 Ｄ−ＩＩＶｏｌ．Ｊ７２ Ｎｏ．
９，１９８９ は画像処理によって顔の向きを判定する
手法を述べているが、正確さのために顔にマークを付け
る必要があるという欠点があった。さらに顔の向きの利
用についても、人物の意識的な動作を指示入力に使うた
めに、指示方法をあらかじめ知っておく必要があった。
特公平６−４８４５８号公報（間瀬，末永：情報入力装
置）は頭の動きを入力手段に用いるものであるが、指示
入力に用いるために指示方法を予め知っておく必要があ
るという同様の欠点があった。2. Description of the Related Art Conventionally, there has been a device that uses a sensor to determine the orientation of a face in real time, but it has been troublesome to attach the device to the head. Omura, Banno, Kobayashi: Application of face orientation detection method using monocular image to instruction input, IEICE Transactions D-II Vol. J72 No.
No. 9,1989 describes a method of determining the orientation of a face by image processing, but it has a drawback in that a face needs to be marked for accuracy. Further, regarding the use of the face orientation, it is necessary to know the instruction method in advance in order to use the conscious action of the person for the instruction input.
Japanese Patent Publication No. 6-48458 (Mase, Suenaga: Information Input Device) uses the movement of the head as an input means, but has the same drawback that it is necessary to know the instruction method in advance in order to use it for instruction input. was there.
【０００３】[0003]
【発明が解決しようとする課題】そこで本発明は、人物
の顔の向きを画像でとらえて正確に顔の向きを判定する
装置と、顔の向きを利用することによりユーザが意識す
ることなく効率良く使用できる表示装置を提供すること
を目的としている。SUMMARY OF THE INVENTION Therefore, according to the present invention, an apparatus for accurately determining the face orientation by capturing the face orientation of a person in an image, and utilizing the face orientation efficiently without the user being aware of it. It is intended to provide a display device that can be used well.
【０００４】[0004]
【課題を解決するための手段】請求項１に記載の装置
は、人物の顔を撮影して画像として入力する画像入力手
段と、前記画像入力手段により入力された画像から人物
の顔の領域を決定する領域決定手段と、前記領域決定手
段によって決定された顔の領域の特徴量を抽出する特徴
量抽出手段と、前記特徴量抽出手段によって抽出した前
記特徴量と、前記画像入力手段によって予め得た種々の
方向を向いている人物の顔の画像の標準の特徴量との類
似度によって人物の顔の方向を判断する類似度判断手段
とを有することを特徴とする。According to a first aspect of the present invention, there is provided an image input means for photographing a person's face and inputting it as an image, and an area of the person's face from the image input by the image inputting means. Area determining means for determining, feature amount extracting means for extracting the feature amount of the face area determined by the area determining means, the feature amount extracted by the feature amount extracting means, and the image input means Further, there is provided a similarity determining means for determining the direction of the person's face based on the degree of similarity with the standard feature amount of the image of the person's face facing various directions.
【０００５】請求項２に記載の装置は、前記特徴量抽出
手段が、前記顔の領域における輝度変化の大きさが一定
値以上である画素を選択して特徴量を抽出することを特
徴とする。According to a second aspect of the present invention, the feature amount extracting means extracts a feature amount by selecting a pixel in which the magnitude of the change in luminance in the face area is a predetermined value or more. .
【０００６】請求項３に記載の装置は、前記領域決定手
段が入力された画像から人物の顔の肌色の領域を選択す
ることによって、顔の領域を決定することを特徴とす
る。According to a third aspect of the present invention, the area determining unit determines the area of the face by selecting the area of the skin color of the person's face from the input image.
【０００７】請求項４に記載の装置は、前記画像入力手
段が、多方向から顔方向を判定される人物に向けて配置
されている、複数のカメラによって構成されることを特
徴とする。According to a fourth aspect of the present invention, the image input means is composed of a plurality of cameras arranged toward a person whose face direction is determined from multiple directions.
【０００８】請求項５に記載の装置は、前記類似度判断
手段が、複数のカメラによる入力のそれぞれに対応した
判定結果がすべて一致したときには一致した判定結果に
より顔方向を判断し、複数のカメラによる入力のそれぞ
れに対応した判定結果が一致しないときにはそれぞれの
カメラによる入力について最大の類似度と二番目に大き
い類似度との差または比が最も大きいカメラによる入力
に基づいて顔方向を判断することを特徴とする。According to a fifth aspect of the present invention, the similarity determining means determines the face direction based on the coincident determination results when all the determination results corresponding to the inputs from the plurality of cameras are coincident with each other, and the plurality of cameras are determined. When the judgment result corresponding to each of the input by the above does not match, the face direction is judged based on the input by the camera with the largest difference or ratio between the maximum similarity and the second largest similarity for the input by each camera. Is characterized by.
【０００９】請求項６に記載の装置は、前記類似度判断
手段が、複数のカメラによる入力のそれぞれに対応した
判定結果がすべて一致したときには一致した判定結果に
より顔方向を決定し、複数のカメラによる入力のそれぞ
れに対応した判定結果が一致しないときにはそれぞれの
カメラによる入力に基づく類似度を方向ごとに平均して
最大となった類似度により顔方向を判断することを特徴
とする。According to a sixth aspect of the present invention, the similarity determination means determines the face direction based on the coincident determination result when all the determination results corresponding to the inputs from the plurality of cameras are coincident with each other, and the plurality of cameras are determined. When the determination result corresponding to each of the inputs is not matched, the face direction is determined based on the maximum similarity obtained by averaging the similarities based on the inputs from the respective cameras.
【００１０】請求項７に記載の装置は、画像の表示を行
う表示手段と、前記類似度判断手段からの判断結果に基
づき、人物の顔方向が前記表示手段を見ている方向では
画像の表示を行い、人物の顔方向が前記表示手段を見て
いない方向では画像の表示を止めるように、前記表示手
段を制御する表示制御手段を備えたことを特徴とする。According to a seventh aspect of the present invention, based on the display means for displaying an image and the judgment result from the similarity judging means, the image is displayed in the direction in which the face of the person is looking at the display means. And display control means for controlling the display means so that the display of the image is stopped when the face direction of the person is not looking at the display means.
【００１１】[0011]
【作用】請求項１に記載の装置によれば、画像入力手段
により入力された画像から、領域決定手段により人物の
顔の方向を判定するための顔の領域が決定され、その領
域から特徴量抽出手段により特徴量が抽出され、類似度
判断手段によって抽出された特徴量と予め求めた標準特
徴量との類似度に基づいて顔方向が判定される。According to the apparatus of claim 1, the area determining means determines a face area for determining the direction of the person's face from the image input by the image input means, and the feature amount is determined from the area. The feature amount is extracted by the extraction unit, and the face direction is determined based on the similarity between the feature amount extracted by the similarity determination unit and the standard feature amount obtained in advance.
【００１２】請求項２に記載の装置によれば、顔の領域
における輝度変化の大きさが一定値以上である画素を選
択して特徴量を抽出するので、効率よく短時間で顔方向
を判定することができる。According to the apparatus of the second aspect, since the feature amount is extracted by selecting the pixels in which the magnitude of the luminance change in the face area is a certain value or more, the face direction can be efficiently determined in a short time. can do.
【００１３】請求項３に記載の装置によれば、領域決定
手段が入力された画像から人物の顔の肌色の領域を選択
することによって顔の領域を決定するので、効率よく且
つ精度よく顔方向を判定することができる。According to the third aspect of the present invention, the area determining means determines the area of the face by selecting the area of the skin color of the person's face from the input image. Therefore, the direction of the face can be efficiently and accurately determined. Can be determined.
【００１４】請求項４に記載の装置によれば、画像入力
手段が、多方向から顔方向を判定される人物に向けて配
置されている複数のカメラから構成されているので、多
方向から入力された画像を使用して精度よく顔方向を判
定することができる。According to the apparatus described in claim 4, since the image input means is composed of a plurality of cameras arranged toward the person whose face direction is determined from multiple directions, input from multiple directions is possible. The face direction can be accurately determined using the captured image.
【００１５】請求項５に記載の装置によれば、類似度判
断手段が、複数のカメラによる入力のそれぞれに対応し
た判定結果がすべて一致したときには一致した判定結果
により顔方向を判断し、複数のカメラによる入力のそれ
ぞれに対応した判定結果が一致しないときにはそれぞれ
のカメラによる入力について最大の類似度と二番目に大
きい類似度との差または比が最も大きいカメラによる入
力に基づいて顔方向を判断するので、確実に且つ精度よ
く顔方向を判定することができる。According to the fifth aspect of the present invention, the similarity determining means determines the face direction based on the coincident determination results when all the determination results corresponding to the inputs from the plurality of cameras are coincident with each other. When the determination result corresponding to each input by the camera does not match, the face direction is determined based on the input by the camera having the largest difference or ratio between the maximum similarity and the second largest similarity for the input by each camera. Therefore, the face direction can be determined reliably and accurately.
【００１６】請求項６に記載の装置によれば、類似度判
断手段が、複数のカメラによる入力のそれぞれに対応し
た判定結果がすべて一致したときには一致した判定結果
により顔方向を決定し、複数のカメラによる入力のそれ
ぞれに対応した判定結果が一致しないときにはそれぞれ
のカメラによる入力に基づく類似度を方向ごとに平均し
て最大となった類似度により顔方向を判断するので、確
実に且つ精度よく顔方向を判定することができる。According to the sixth aspect of the present invention, the similarity determining means determines the face direction based on the coincident determination results when all the determination results corresponding to the respective inputs from the plurality of cameras are coincident with each other, and the plurality of similarity determining means are arranged. When the judgment result corresponding to each input from the camera does not match, the facial direction is judged with the maximum similarity by averaging the similarity based on the input from each camera for each direction. The direction can be determined.
【００１７】請求項７に記載の装置によれば、画像の表
示を行う表示手段と、前記類似度判断手段からの判断結
果に基づき、人物の顔方向が前記表示手段を見ている方
向では画像の表示を行い、人物の顔方向が前記表示手段
を見ていない方向では画像の表示を止めるように、前記
表示手段を制御する表示制御手段を備えているので、ユ
ーザが意識することなく表示装置の方向を向いていると
きだけ表示を行わせることができる。According to a seventh aspect of the present invention, based on the display means for displaying the image and the judgment result from the similarity judging means, the face direction of the person is not the image in the direction looking at the display means. Is provided and display control means is provided for controlling the display means so that the display of the image is stopped when the face direction of the person is not looking at the display means. The display can be made only when facing the direction.
【００１８】[0018]
【実施例】本発明の実施例の構成図を図１に示す。図１
において、１および２は、ユーザの顔を撮影する画像入
力手段としてのテレビカメラ、３はテレビカメラから入
力された画像の中から顔の領域を決定する領域決定手
段、４は決定された領域について画像の輝度変化を抽出
する輝度変化抽出手段、５は抽出された輝度変化から特
徴ベクトルを抽出する特徴ベクトル抽出手段、６は抽出
された特徴ベクトルと標準パターンの類似度から顔の方
向を判断する類似度判断手段、７は判断された顔の方向
に基づいて表示装置を制御する表示制御部、８は表示制
御部７に制御される表示装置である。上記の構成要素の
間の矢印は、情報の流れを示す。また図中、９はテレビ
カメラで撮影され、その顔の方向が判定されるユーザで
ある。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows a block diagram of an embodiment of the present invention. FIG.
In the above, 1 and 2 are a television camera as an image input means for photographing a user's face, 3 is a region determining means for determining a face region from an image input from the television camera, and 4 is a determined region. Luminance change extraction means for extracting a luminance change of an image, 5 is a feature vector extraction means for extracting a feature vector from the extracted luminance change, and 6 is a face direction determined from the similarity between the extracted feature vector and the standard pattern. A similarity determining unit, 7 is a display control unit that controls the display device based on the determined face direction, and 8 is a display device controlled by the display control unit 7. The arrows between the above components indicate the flow of information. Further, in the figure, 9 is a user who is photographed by a television camera and whose face direction is determined.
【００１９】図１では画像入力手段として２台のテレビ
カメラが示されているが、ｎ台のテレビカメラＣ1 ，Ｃ
2 ，．．．，Ｃn によって異なった角度からユーザを撮
影する場合を考える。このとき、各テレビカメラＣ1 ，
Ｃ2 ，．．．，Ｃn を、ユーザが通常使用する際に顔全
体を撮影できるように設定する。Although FIG. 1 shows two television cameras as the image input means, n television cameras C 1 and C are shown.
2 ,. . . , C n the user is photographed from different angles. At this time, each TV camera C 1 ,
C 2 ,. . . , C n are set so that the user can photograph the entire face during normal use.
【００２０】各テレビカメラから入力されたそれぞれの
画像から顔領域決定手段３によりユーザの顔領域が決定
される。顔領域の決定手順について図２のフローチャー
トにしたがって説明する。まず、人物の顔を中心とした
図７の画像中の肌色の領域Ｒ1 ，Ｒ2 ，．．．，Ｒk を
抽出する（Ｓ１）。この結果の画像を図８に示す。これ
らの領域Ｒ1 ，Ｒ2 ，．．．，Ｒk の中には顔の領域の
他に、例えばネクタイの肌色の部分の領域などが含まれ
る。つぎに、これらの領域の中で面積の最も大きい領域
Ｒmax を選択する（Ｓ２）。この結果の画像を図９に示
す。顔の領域の内、肌色でない目やノイズなどのため、
選ばれた領域Ｒmax には穴（図９の黒い領域の中の白い
部分）が存在する。そこで、この領域Ｒmax の穴の部分
を埋める処理を行い、画像中の顔領域Ｒfaceが決定され
る（Ｓ３）。この結果の画像を図１０に示す。顔領域Ｒ
faceを囲む矩形Ｒｅｃｔ1 を求めて、矩形Ｒｅｃｔ1 を
顔の方向を判定するのに用いる領域とする（Ｓ４）。こ
の結果の画像を図１１に示す。The face area of the user is determined by the face area determining means 3 from each image input from each television camera. The procedure for determining the face area will be described with reference to the flowchart of FIG. First, the skin-colored regions R 1 , R 2 ,. . . , R k are extracted (S1). The resulting image is shown in FIG. These regions R 1 , R 2 ,. . . , R k include, in addition to the face area, for example, the area of the flesh-colored portion of the tie. Next, of these areas, the area R max having the largest area is selected (S2). The resulting image is shown in FIG. Of the face area, because of non-skin-colored eyes and noise,
There is a hole (white portion in the black area in FIG. 9) in the selected area R max . Therefore, a process of filling the hole portion of the region R max is performed to determine the face region R face in the image (S3). The resulting image is shown in FIG. Face area R
A rectangle Rect 1 surrounding the face is obtained, and the rectangle Rect 1 is set as an area used to determine the direction of the face (S4). The resulting image is shown in FIG.
【００２１】つぎに、決定された顔領域Ｒfaceについて
の輝度変化を輝度変化抽出手段４により抽出する。輝度
変化の抽出手順について図３のフローチャートにしたが
って説明する。矩形Ｒｅｃｔ1 において画像の輝度変化
Ｅ（ｘ，ｙ）が一定値より大きい部分（ｘ，ｙ）の値Ｖ
（ｘ，ｙ）を１に（Ｓ５）、一定値より小さい部分と顔
領域Ｒfaceの外部の値Ｖ（ｘ，ｙ）を０とする処理を行
う（Ｓ６）。この結果の画像を図１２に示す。Ｅ（ｘ，
ｙ）輝度変化の大きさを求める方法はエッジ抽出として
一般に知られている方法を用いることができる。本例で
は、（ｘ，ｙ）の輝度をｆ（ｘ，ｙ）とすると、Next, the luminance change extraction means 4 extracts the luminance change for the determined face area R face . The procedure of extracting the brightness change will be described with reference to the flowchart of FIG. The value V of the portion (x, y) where the luminance change E (x, y) of the image is larger than a certain value in the rectangle Rect 1 .
A process is performed in which (x, y) is set to 1 (S5), and a value V (x, y) outside the fixed area and the face area R face is set to 0 (S6). The image of this result is shown in FIG. E (x,
y) A method generally known as edge extraction can be used as a method for obtaining the magnitude of the luminance change. In this example, if the brightness of (x, y) is f (x, y),
【００２２】[0022]
【数１】 [Equation 1]
【００２３】を用いる。また、矩形Ｒｅｃｔ1 が１５０
×１５０程度の大きさの場合、輝度変化Ｅ（ｘ，ｙ）が
大きいとする閾値は８０としたが、これは、輝度変化Ｅ
（ｘ，ｙ）と矩形Ｒｅｃｔ1 の大きさで決まる。Is used. Also, the rectangle Rect 1 is 150
In the case of a size of about × 150, the threshold value that the luminance change E (x, y) is large is set to 80.
Determined by (x, y) and the size of rectangle Rect 1 .
【００２４】つぎに、特徴ベクトル抽出手段５によって
画像の特徴ベクトルを抽出する。特徴ベクトル抽出手順
について図４のフローチャートにしたがって説明する。
特徴ベクトル抽出手段５では、顔領域を囲む矩形の大き
さはユーザが変わるなど条件が変わると変化するので、
あらかじめ決めておいた一定の大きさ、例えば、１６×
１６の矩形ＲｅｃｔF に縮小して（Ｓ７）、その後で特
徴ベクトルを求める。縮小処理では、例えば、Ｒｅｃｔ
1 の複数の画素Ｐ1 ，Ｐ2 ，．．．，ＰN は縮小した際
ＲｅｃｔF の１画素ｐ１に対応し、ｐ１の値 ｖ（ｐ
１）は、 ｖ（ｐ１）＝（１／ｌ）（Ｖ（Ｐ1 ）＋Ｖ（Ｐ2 ）
＋．．．Ｖ（Ｐl ）） によって求められる。縮小した結果の画像を図１３に示
す。これらの値ｖをベクトルとみなし、ノルムが１にな
るように正規化して、特徴ベクトルとする（Ｓ８）。１
６×１６に縮小する場合、２５６次元の特徴ベクトルと
なる。Next, the feature vector extraction means 5 extracts the feature vector of the image. The feature vector extraction procedure will be described with reference to the flowchart of FIG.
In the feature vector extraction means 5, the size of the rectangle surrounding the face area changes when the conditions change such as the user changes.
A predetermined size, for example, 16x
It is reduced to 16 rectangles Rect F (S7), and then the feature vector is obtained. In the reduction processing, for example, Rect
A plurality of pixels P 1 of 1, P 2,. . . , P N correspond to one pixel p1 of Rect F when reduced, and the value of p1 is v (p
1) is v (p1) = (1 / l) (V (P 1 ) + V (P 2 ).
+. . . V (P l )). The image resulting from the reduction is shown in FIG. These values v are regarded as a vector, and the norm is normalized so that the norm becomes 1 to obtain a feature vector (S8). 1
When the size is reduced to 6 × 16, it becomes a 256-dimensional feature vector.
【００２５】つぎに、類似度判断手段６により顔の方向
を判定する。判定の手順を図５及び図６のフローチャー
トに示す。類似度判定手段６により、あらかじめ各テレ
ビカメラＣ1 ，Ｃ2 ，．．．，Ｃn で撮影した時の各方
向Ｄ1 ，Ｄ2 ，．．．，Ｄmの特徴の標準パターンＰ
（Ｃi ，Ｄj ）（ｉ＝１，．．．，ｎ，ｊ＝
１，．．．，ｍ）を用意しておき、求めた特徴Ｆと標準
パターンＲ（Ｃi ，Ｄj ）との内積で計算される類似度
Ｓ（Ｃi ，Ｄj ）を求める。テレビカメラＣi では類似
度Ｓ（Ｃi ，Ｄj ）が最大となる方向Ｄj が顔方向と判
定する（Ｓ９）。各テレビカメラＣi で結果が一致する
か調べて（Ｓ１０）、一致すればその方向を顔の向きと
判断する（Ｓ１１）。一致しない場合、二番目に大きい
類似度Ｓ2 （Ｃi ）と最大類似度Ｓmax （Ｃi ）との差
Ｓmax （Ｃi ）−Ｓ2 （Ｃi ）または比Ｓmax（Ｃi ）
／Ｓ2 （Ｃi ）が大きいテレビカメラＣi の結果を優先
する判定を行う（Ｓ１２）。Then, the similarity determining means 6 determines the direction of the face. The determination procedure is shown in the flowcharts of FIGS. Each of the television cameras C 1 , C 2 ,. . . , C n in each direction D 1 , D 2 ,. . . , D m standard pattern P
(C i , D j ) (i = 1, ..., N, j =
1 ,. . . , M) are prepared, and the similarity S (C i , D j ) calculated by the inner product of the obtained feature F and the standard pattern R (C i , D j ) is obtained. In the television camera C i , the direction D j having the maximum similarity S (C i , D j ) is determined to be the face direction (S9). It is checked whether the results match with each TV camera C i (S10), and if they match, the direction is determined to be the face direction (S11). If they do not match, the difference S max (C i) -S 2 (C i) of greater similarity to the second S 2 (C i) a maximum similarity S max (C i) or the ratio S max (C i)
It is determined that the result of the TV camera C i having a large / S 2 (C i ) is given priority (S12).
【００２６】複数テレビカメラの結果を使う別の方法と
して、各方向Ｄj の類似度ＳDjをすべてのテレビカメラ
の類似度の平均As another method of using the results of a plurality of TV cameras, the similarity S Dj in each direction D j is calculated by averaging the similarities of all TV cameras.
【００２７】[0027]
【数２】 [Equation 2]
【００２８】でもとめ（Ｓ１３）、類似度ＳDjが最大の
方向Ｄj を顔方向と判定することもできる（Ｓ１４）。
このように、複数のテレビカメラを使うことによって、
ひとつのカメラで判定できなかったり、判定を誤る場合
でも、正確に判定できるようになる。However, the direction D j having the maximum similarity S Dj can be determined as the face direction (S14).
In this way, by using multiple TV cameras,
Even if the judgment cannot be made with one camera or the judgment is incorrect, the judgment can be made accurately.
【００２９】本発明の顔方向判定装置により顔の向きの
判定について実験した結果について以下に示す。撮影の
時のカメラは図１４に示すように配置した。１３は、被
験者を示す。顔の方向は正面と左右３０度の３方向で行
い、３人の画像データから標準パターンを作成し、別の
１８人で実験を行った。１台のカメラで顔の方向の判定
を行った実験の結果を図１５に、２台のカメラで顔の方
向の判定を行った実験の結果を図１６に示す。図中の分
数の分母は全体の数、分子は正解数を示す。The results of experiments on the determination of the face orientation by the face orientation determining apparatus of the present invention are shown below. The camera at the time of shooting was arranged as shown in FIG. Reference numeral 13 indicates a subject. The face was oriented in three directions, the front and the right and left 30 degrees, and a standard pattern was created from the image data of three persons, and another 18 persons conducted the experiment. FIG. 15 shows the result of the experiment in which the direction of the face was determined by one camera, and FIG. 16 shows the result of the experiment in which the direction of the face was determined by the two cameras. In the figure, the denominator of the fraction indicates the total number, and the numerator indicates the correct answer number.
【００３０】２台のカメラを使用した実験では、最大類
似度と２番目の類似度の差が大きいカメラの類似度の結
果に基づいて判定した。In the experiment using two cameras, the judgment was made on the basis of the result of the similarity between the cameras having a large difference between the maximum similarity and the second similarity.
【００３１】図１に示す表示制御部７は、表示装置８の
出力を制御し、顔方向判定の結果、ユーザの顔の方向が
表示装置８の方である場合だけ表示を行い、別の方向を
向いている場合は表示を止めるという制御を行う。The display control unit 7 shown in FIG. 1 controls the output of the display device 8 and, as a result of the face direction determination, displays only when the direction of the user's face is the display device 8 and displays another direction. If it is facing, control is performed to stop the display.
【００３２】顔方向判定装置を使用した画像表示装置の
別の例としては、計算量の多い三次元グラフィクスのよ
うな場合に、顔の向いている方向のみを詳細に表示し、
向いていない方向の表示を粗くする画像表示装置があ
る。このような画像表示装置によれば、ユーザにとって
は、顔を向けている方向の画像は、常に、詳細に且つ高
速で表示されるという効果が得られる。As another example of the image display device using the face direction determination device, in the case of three-dimensional graphics with a large amount of calculation, only the direction in which the face is facing is displayed in detail,
There is an image display device that roughens the display in the direction not facing. According to such an image display device, it is possible for the user to obtain the effect that the image in the direction in which the face is directed is always displayed in detail and at high speed.
【００３３】[0033]
【発明の効果】請求項１に記載の装置によれば、画像入
力手段により入力された画像から、領域決定手段により
人物の顔の方向を判定するための顔の領域が決定され、
その領域から特徴量抽出手段により特徴量が抽出され、
類似度判断手段によって抽出された特徴量と予め求めた
標準特徴量との類似度に基づいて顔方向が判定されの
で、高い精度で顔方向を判定することができる。According to the apparatus of the first aspect, the area determining means determines the face area for determining the direction of the human face from the image input by the image inputting means.
The feature quantity is extracted from the area by the feature quantity extraction means,
Since the face direction is determined based on the similarity between the feature amount extracted by the similarity determination unit and the standard feature amount obtained in advance, the face direction can be determined with high accuracy.
【００３４】請求項２に記載の装置によれば、顔の領域
における輝度変化の大きさが一定値以上である画素を選
択して特徴量を抽出するので、高速で顔方向を判定する
ことができる。According to the apparatus of the second aspect, the feature amount is extracted by selecting the pixels in which the magnitude of the luminance change in the face area is equal to or larger than a certain value, so that the face direction can be determined at high speed. it can.
【００３５】請求項３に記載の装置によれば、領域決定
手段が入力された画像から人物の顔の肌色の領域を選択
することによって顔の領域を決定するので、効率よく且
つ精度よく顔方向を判定することができる。According to the third aspect of the present invention, the area determining means selects the skin color area of the person's face from the input image to determine the face area, so that the face direction can be efficiently and accurately determined. Can be determined.
【００３６】請求項４に記載の装置によれば、画像入力
手段が、多方向から顔方向を判定される人物に向けて配
置されている複数のカメラから構成されているので、多
方向から入力された画像を使用して精度よく顔方向を判
定することができる。According to the apparatus described in claim 4, since the image input means is composed of a plurality of cameras arranged toward the person whose face direction is determined from multiple directions, input from multiple directions is possible. The face direction can be accurately determined using the captured image.
【００３７】請求項５に記載の装置によれば、類似度判
断手段が、複数のカメラによる入力のそれぞれに対応し
た判定結果がすべて一致したときには一致した判定結果
により顔方向を判断し、複数のカメラによる入力のそれ
ぞれに対応した判定結果が一致しないときにはそれぞれ
のカメラによる入力について最大の類似度と二番目に大
きい類似度との差または比が最も大きいカメラによる入
力に基づいて顔方向を判断するので、確実に且つ精度よ
く顔方向を判定することができる。According to the fifth aspect of the present invention, the similarity determining means determines the face direction based on the coincident determination results when all the determination results corresponding to the inputs from the plurality of cameras are coincident with each other, and a plurality of face orientations are determined. When the determination result corresponding to each input by the camera does not match, the face direction is determined based on the input by the camera having the largest difference or ratio between the maximum similarity and the second largest similarity for the input by each camera. Therefore, the face direction can be determined reliably and accurately.
【００３８】請求項６に記載の装置によれば、類似度判
断手段が、複数のカメラによる入力のそれぞれに対応し
た判定結果がすべて一致したときには一致した判定結果
により顔方向を決定し、複数のカメラによる入力のそれ
ぞれに対応した判定結果が一致しないときにはそれぞれ
のカメラによる入力に基づく類似度を方向ごとに平均し
て最大となった類似度により顔方向を判断するので、確
実に且つ精度よく顔方向を判定することができる。According to the sixth aspect of the present invention, the similarity determining means determines the face direction based on the coincident determination result when all the determination results corresponding to the inputs from the plurality of cameras are coincident with each other. When the judgment result corresponding to each input from the camera does not match, the facial direction is judged with the maximum similarity by averaging the similarity based on the input from each camera for each direction. The direction can be determined.
【００３９】請求項７に記載の装置によれば、画像の表
示を行う表示手段と、類似度判断手段からの判断結果に
基づき、人物の顔方向が前記表示手段を見ている方向で
は画像の表示を行い、人物の顔方向が前記表示手段を見
ていない方向では画像の表示を止めるように、前記表示
手段を制御する表示制御手段を備えているので、ユーザ
が意識することなく表示装置の方向を向いているときだ
け表示を行わせることができ、省電力が図れる。According to the seventh aspect of the present invention, based on the judgment result from the display means for displaying the image and the similarity judgment means, the face direction of the person is not the image in the direction looking at the display means. Since display control means for controlling the display means is provided so as to stop the display of an image in the direction in which the face of the person is not looking at the display means, the display device of the display device is not noticed by the user. Display can be performed only when facing the direction, and power saving can be achieved.
【図１】本発明の実施例の構成を示す図である。FIG. 1 is a diagram showing a configuration of an exemplary embodiment of the present invention.
【図２】領域決定手順を示すフローチャートである。FIG. 2 is a flowchart showing an area determination procedure.
【図３】輝度変化抽出手順を示すフローチャートであ
る。FIG. 3 is a flowchart showing a luminance change extraction procedure.
【図４】特徴ベクトル抽出手順を示すフローチャートで
ある。FIG. 4 is a flowchart showing a feature vector extraction procedure.
【図５】類似度判定手順を示すフローチャートである。FIG. 5 is a flowchart showing a similarity determination procedure.
【図６】類似度判定手順を示すフローチャートである。FIG. 6 is a flowchart showing a similarity determination procedure.
【図７】画像入力手段によって入力された画像を示す図
である。FIG. 7 is a diagram showing an image input by an image input means.
【図８】肌色領域抽出の例を示す図である。FIG. 8 is a diagram illustrating an example of skin color region extraction.
【図９】肌色領域の中で最大面積の領域の例を示す図で
ある。FIG. 9 is a diagram showing an example of a region having the maximum area in a skin color region.
【図１０】顔の領域の例を示す図であるFIG. 10 is a diagram showing an example of a face area.
【図１１】領域決定手段における矩形を示す図である。FIG. 11 is a diagram showing a rectangle in the area determining means.
【図１２】輝度変化抽出手段により抽出された輝度変化
を示す図である。FIG. 12 is a diagram showing a luminance change extracted by a luminance change extraction means.
【図１３】特徴ベクトルを示す図である。FIG. 13 is a diagram showing a feature vector.
【図１４】実験に使用したカメラの配置を示す図であ
る。FIG. 14 is a diagram showing an arrangement of cameras used in an experiment.
【図１５】１台のカメラによる顔の方向の判定結果を示
す図である。FIG. 15 is a diagram showing a result of determination of a face direction by one camera.
【図１６】２台のカメラによる顔の方向の判定結果を示
す図である。FIG. 16 is a diagram showing a result of determination of a face direction by two cameras.
１ 画像入力手段 ２ 画像入力手段 ３ 領域決定手段 ４ 輝度変化抽出手段 ５ 特徴ベクトル抽出手段 ６ 類似度判定手段 ７ 表示制御部 ８ 表示装置 ９ ユーザ 1 Image Input Means 2 Image Input Means 3 Area Determining Means 4 Luminance Change Extracting Means 5 Feature Vector Extracting Means 6 Similarity Determining Means 7 Display Control Unit 8 Display Device 9 User
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9061−5Ｈ Ｇ０６Ｆ 15/70 ３５０ Ｈ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location 9061-5H G06F 15/70 350 H
Claims (7)
置であって、 人物の顔を撮影して画像として入力する画像入力手段
と、 前記画像入力手段により入力された画像から人物の顔の
領域を決定する領域決定手段と、 前記領域決定手段によって決定された顔の領域の特徴量
を抽出する特徴量抽出手段と、 前記特徴量抽出手段によって抽出した前記特徴量と、前
記画像入力手段によって予め得た種々の方向を向いてい
る人物の顔の画像の標準の特徴量との類似度によって人
物の顔の方向を判断する類似度判断手段とを有する顔方
向判定装置。1. An apparatus for determining the direction in which a person's face is facing, comprising: image input means for photographing a person's face and inputting it as an image; and face of the person from the image input by said image inputting means. Area determining means for determining the area, a feature amount extracting means for extracting the feature amount of the face area determined by the area determining means, the feature amount extracted by the feature amount extracting means, and the image inputting means A face direction determination device having similarity degree determination means for determining the direction of a person's face based on the degree of similarity with the standard feature amount of the image of the person's face oriented in various directions obtained in advance.
おける輝度変化の大きさが一定値以上である画素を選択
して特徴量を抽出する請求項１に記載の顔方向判定装
置。2. The face direction determination apparatus according to claim 1, wherein the feature amount extraction unit extracts a feature amount by selecting a pixel in which the magnitude of the change in luminance in the face region is a predetermined value or more.
人物の顔の肌色の領域を選択することによって、顔の領
域を決定する請求項１又は２に記載の顔方向判定装置。3. The face direction determining apparatus according to claim 1, wherein the area determining unit determines the area of the face by selecting the area of the skin color of the person's face from the input image.
を判定される人物に向けて配置されている、複数のカメ
ラによって構成される請求項１から３のいずれか一項に
記載の顔方向判定装置。4. The face according to claim 1, wherein the image input unit is composed of a plurality of cameras arranged toward a person whose face direction is determined from multiple directions. Direction determination device.
よる入力のそれぞれに対応した判定結果がすべて一致し
たときには一致した判定結果により顔方向を判断し、複
数のカメラによる入力のそれぞれに対応した判定結果が
一致しないときにはそれぞれのカメラによる入力につい
て最大の類似度と二番目に大きい類似度との差または比
が最も大きいカメラによる入力に基づいて顔方向を判断
する請求項４に記載の顔方向判定装置。5. The similarity determining means determines the face direction based on the matched determination results when all the determination results corresponding to the inputs from the plurality of cameras match, and responds to each of the inputs from the plurality of cameras. The face direction according to claim 4, wherein when the determination results do not match, the face direction is determined based on the input by the camera having the largest difference or ratio between the maximum similarity and the second largest similarity for the input by each camera. Judgment device.
よる入力のそれぞれに対応した判定結果がすべて一致し
たときには一致した判定結果により顔方向を決定し、複
数のカメラによる入力のそれぞれに対応した判定結果が
一致しないときにはそれぞれのカメラによる入力に基づ
く類似度を方向ごとに平均して最大となった類似度によ
り顔方向を判断する請求項４に記載の顔方向判定装置。6. The similarity determining means determines the face direction based on the matching determination results when all the determination results corresponding to the respective inputs from the plurality of cameras match, and responds to the respective inputs from the plurality of cameras. The face direction determination device according to claim 4, wherein when the determination results do not match, the face direction is determined based on the maximum similarity obtained by averaging the similarities based on the inputs from the respective cameras for each direction.
顔方向判定装置を用いた画像表示装置であって、 画像の表示を行う表示手段と、 前記類似度判断手段からの判断結果に基づき、人物の顔
方向が前記表示手段を見ている方向では画像の表示を行
い、人物の顔方向が前記表示手段を見ていない方向では
画像の表示を止めるように、前記表示手段を制御する表
示制御手段を備えたことを特徴とする画像表示装置。7. An image display device using the face direction determination device according to claim 1, wherein the display device displays an image, and the determination result from the similarity determination device. Based on the above, the display unit is controlled so that the image is displayed when the face direction of the person is looking at the display unit, and the image display is stopped when the face direction of the person is not looking at the display unit. An image display device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20863294A JP3263253B2 (en) | 1994-09-01 | 1994-09-01 | Face direction determination device and image display device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20863294A JP3263253B2 (en) | 1994-09-01 | 1994-09-01 | Face direction determination device and image display device using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08106519A true JPH08106519A (en) | 1996-04-23 |
| JP3263253B2 JP3263253B2 (en) | 2002-03-04 |
Family
ID=16559451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20863294A Expired - Lifetime JP3263253B2 (en) | 1994-09-01 | 1994-09-01 | Face direction determination device and image display device using the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3263253B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000138913A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Information processing unit its method and served medium |
| JP2003029777A (en) * | 2001-07-16 | 2003-01-31 | Sharp Corp | Voice processing device, voice processing method, and recording medium on which program to execute the method is recorded |
| JP2003242486A (en) * | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | Person attribute estimating device |
| JP2004177315A (en) * | 2002-11-28 | 2004-06-24 | Alpine Electronics Inc | Apparatus for detecting direction of line of vision, dialog system using it, and driving support system |
| JP2007026073A (en) * | 2005-07-15 | 2007-02-01 | National Univ Corp Shizuoka Univ | Face posture detection system |
| US7298880B2 (en) | 2003-03-07 | 2007-11-20 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| EP2037320A1 (en) | 2007-09-14 | 2009-03-18 | Sony Corporation | Imaging apparatus, imaging apparatus control method, and computer program |
| US8135209B2 (en) | 2005-07-19 | 2012-03-13 | Nec Corporation | Articulated object position and posture estimation device, method and program |
| US9349038B2 (en) | 2012-09-11 | 2016-05-24 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating position of head, computer readable storage medium thereof |
| WO2019021445A1 (en) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | Determination system, method and program |
-
1994
- 1994-09-01 JP JP20863294A patent/JP3263253B2/en not_active Expired - Lifetime
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000138913A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Information processing unit its method and served medium |
| JP4675514B2 (en) * | 2001-07-16 | 2011-04-27 | シャープ株式会社 | Audio processing apparatus, audio processing method, and computer-readable recording medium storing a program for performing the method |
| JP2003029777A (en) * | 2001-07-16 | 2003-01-31 | Sharp Corp | Voice processing device, voice processing method, and recording medium on which program to execute the method is recorded |
| JP2003242486A (en) * | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | Person attribute estimating device |
| JP2004177315A (en) * | 2002-11-28 | 2004-06-24 | Alpine Electronics Inc | Apparatus for detecting direction of line of vision, dialog system using it, and driving support system |
| US7298880B2 (en) | 2003-03-07 | 2007-11-20 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP2007026073A (en) * | 2005-07-15 | 2007-02-01 | National Univ Corp Shizuoka Univ | Face posture detection system |
| JP4501003B2 (en) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | Face posture detection system |
| US8135209B2 (en) | 2005-07-19 | 2012-03-13 | Nec Corporation | Articulated object position and posture estimation device, method and program |
| JP4930854B2 (en) * | 2005-07-19 | 2012-05-16 | 日本電気株式会社 | Joint object position / posture estimation apparatus, method and program thereof |
| EP2037320A1 (en) | 2007-09-14 | 2009-03-18 | Sony Corporation | Imaging apparatus, imaging apparatus control method, and computer program |
| US8068164B2 (en) | 2007-09-14 | 2011-11-29 | Sony Corporation | Face recognition auto focus apparatus for a moving image |
| US9349038B2 (en) | 2012-09-11 | 2016-05-24 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating position of head, computer readable storage medium thereof |
| WO2019021445A1 (en) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | Determination system, method and program |
| CN110944574A (en) * | 2017-07-28 | 2020-03-31 | 株式会社OPTiM | Determination system, method, and program |
| JPWO2019021445A1 (en) * | 2017-07-28 | 2020-06-25 | 株式会社オプティム | Judgment system, method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3263253B2 (en) | 2002-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022134337A1 (en) | Face occlusion detection method and system, device, and storage medium | |
| US5995639A (en) | Apparatus for identifying person | |
| CN109952594B (en) | Image processing method, device, terminal and storage medium | |
| US7991200B2 (en) | Photographing apparatus, method and program | |
| JP4377472B2 (en) | Face image processing device | |
| US8290276B2 (en) | Image display device, image display method and storage medium storing image display program | |
| CN107368806B (en) | Image rectification method, image rectification device, computer-readable storage medium and computer equipment | |
| JP4739870B2 (en) | Sunglasses detection device and face center position detection device | |
| US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
| US20050041111A1 (en) | Frame adjustment device and image-taking device and printing device | |
| JPWO2008012905A1 (en) | Authentication apparatus and authentication image display method | |
| JP2006319610A (en) | Camera | |
| JP3454726B2 (en) | Face orientation detection method and apparatus | |
| JPH08106519A (en) | Face direction discriminating device and picture display device using this device | |
| KR102364929B1 (en) | Electronic device, sever, and system for tracking skin changes | |
| JP2000105819A (en) | Face image area detecting device | |
| JPH08287216A (en) | In-face position recognizing method | |
| JPH09153137A (en) | Method for recognizing picture | |
| JPH1115979A (en) | Face detection and method and device for tracing face | |
| JP2001209802A (en) | Method and device for extracting face, and recording medium | |
| KR20100121817A (en) | Method for tracking region of eye | |
| JPWO2022074865A5 (en) | LIFE DETECTION DEVICE, CONTROL METHOD, AND PROGRAM | |
| JPWO2022074833A5 (en) | LIFE DETECTION DEVICE, CONTROL METHOD, AND PROGRAM | |
| JP2767814B2 (en) | Face image detection method and apparatus | |
| WO2005055144A1 (en) | Person face jaw detection method, jaw detection system, and jaw detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071221 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081221 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081221 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 10 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |