JPH11288259A - Method and device for power saving control - Google Patents
Method and device for power saving controlInfo
- Publication number
- JPH11288259A JPH11288259A JP10083275A JP8327598A JPH11288259A JP H11288259 A JPH11288259 A JP H11288259A JP 10083275 A JP10083275 A JP 10083275A JP 8327598 A JP8327598 A JP 8327598A JP H11288259 A JPH11288259 A JP H11288259A
- Authority
- JP
- Japan
- Prior art keywords
- saving control
- power saving
- power
- display area
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Power Sources (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、消費電力を省電力
制御を行う装置に関する。The present invention relates to an apparatus for performing power saving control on power consumption.
【０００２】[0002]
【従来の技術】従来より、コンピュータ用ディスプレイ
装置等の消費電力の省電力化技術として、センサを用い
てディスプレイの前に人がいるか否かを検出し、いない
場合にディスプレイの電源をオフすることにより省電力
化する技術が特開平７−４４１４４号公報等に開示され
ている。2. Description of the Related Art Conventionally, as a technique for saving power consumption of a display device for a computer or the like, a sensor is used to detect whether a person is in front of a display, and if not, the display is turned off. For example, Japanese Patent Application Laid-Open No. 7-44144 discloses a technique for saving power.
【０００３】[0003]
【発明が解決しようとする課題】しかし、従来の技術で
は、ディスプレイの前に人がいる場合には、常に電源は
オン状態のままであり、その間は無駄な電力が消費され
るという問題点があった。本発明は、斯かる問題点に鑑
みてなされたものであり、顔の動作に基づき、こまめな
省電力制御を行い、こまめな節電が可能な省電力制御方
法及び装置を提供するものである。However, in the prior art, when a person is in front of the display, the power is always kept on, and during that time, useless power is consumed. there were. The present invention has been made in view of such a problem, and provides a power saving control method and apparatus capable of performing frequent power saving control based on the operation of a face and performing frequent power saving.
【０００４】[0004]
【課題を解決するための手段】本発明では、請求項１で
は、顔の動作情報に基づき省電力制御ができることを特
徴とする。請求項２では、請求項１に於いて、前記顔の
動作情報は、視線方向であることを特徴とする。According to the present invention, the present invention is characterized in that power saving control can be performed based on face operation information. According to a second aspect, in the first aspect, the movement information of the face is a gaze direction.
【０００５】請求項３では、請求項１に於いて、前記顔
の動作情報は、顔向き方向であることを特徴とする。請
求項４では、請求項１に於いて、前記顔の動作情報は、
目の開閉状態であることを特徴とする。請求項５では、
請求項１に於いて、前記顔の動作情報は、視線方向及び
顔向き方向であることを特徴とする。According to a third aspect, in the first aspect, the face motion information is a face direction. According to a fourth aspect, in the first aspect, the face motion information is:
It is characterized by an eye open / closed state. In claim 5,
In the first aspect, the motion information of the face is a gaze direction and a face direction.
【０００６】請求項６では、表示領域を備えた装置に於
いて、視線方向が前記表示領域以外になると省電力制御
を行うことを特徴とする。請求項７では、表示領域を備
えた装置に於いて、顔向き方向が前記表示領域以外にな
ると省電力制御を行うことを特徴とする。請求項８で
は、表示領域を備えた装置に於いて、目を閉じると省電
力制御を行うことを特徴とする。According to a sixth aspect of the present invention, in a device having a display area, power saving control is performed when the line of sight is outside the display area. According to a seventh aspect of the present invention, in a device having a display area, power saving control is performed when the face direction is out of the display area. In an eighth aspect of the present invention, in an apparatus having a display area, power saving control is performed when the eyes are closed.
【０００７】請求項９では、表示領域を備えた装置に於
いて、視線方向及び顔向き方向が前記表示領域以外にな
ると省電力制御を行うことを特徴とする。請求項１０で
は、表示領域を備えた装置に於いて、視線方向が前記表
示領域以外になると省電力制御を行い、視線方向が前記
表示領域内に戻ると省電力制御を停止することを特徴と
する。According to a ninth aspect of the present invention, in a device having a display area, power saving control is performed when the direction of the line of sight and the direction of the face are out of the display area. In a tenth aspect of the present invention, in a device having a display area, power saving control is performed when the line of sight is outside the display area, and the power saving control is stopped when the line of sight returns to the inside of the display area. I do.
【０００８】請求項１１では、表示領域を備えた装置に
於いて、顔向き方向が前記表示領域以外になると省電力
制御を行い、顔向き方向が前記表示領域内に戻ると省電
力制御を停止することを特徴とする。請求項１２では、
表示領域を備えた装置に於いて、目を閉じると省電力制
御を行い、目が開くと省電力制御を停止することを特徴
とする。According to an eleventh aspect of the present invention, in a device having a display area, power saving control is performed when the face direction is out of the display area, and the power saving control is stopped when the face direction returns to within the display area. It is characterized by doing. In claim 12,
In a device having a display area, power saving control is performed when the eyes are closed, and the power saving control is stopped when the eyes are opened.
【０００９】請求項１３では、表示領域を備えた装置に
於いて、視線方向及び顔向き方向が前記表示領域以外に
なると省電力制御を行い、視線方向及び顔向き方向が前
記表示領域内に戻ると省電力制御を停止することを特徴
とする。請求項１４では、表示領域を備えた装置に於い
て、顔向き方向が前記表示領域以外になると省電力制御
を行い、顔向き方向が前記表示領域内に戻ると予測され
た場合に省電力制御を停止することを特徴とする。According to a thirteenth aspect of the present invention, in a device having a display area, power saving control is performed when the gaze direction and the face direction are out of the display area, and the gaze direction and the face direction return to the display area. And the power saving control is stopped. In the apparatus having a display area, the power saving control is performed when the face direction is out of the display area, and the power saving control is performed when the face direction is predicted to return to the display area. Is stopped.
【００１０】請求項１５では、請求項６又は請求項１０
に於いて、前記視線方向が所定時間以上前記表示領域以
外になると省電力制御を行うことを特徴とする。請求項
１６では、請求項７又は請求項１１又は請求項１４に於
いて、前記顔向き方向が所定時間以上前記表示領域以外
になると省電力制御を行うことを特徴とする。In claim 15, claim 6 or claim 10
Wherein the power-saving control is performed when the line-of-sight direction is outside the display area for a predetermined time or more. According to a sixteenth aspect, in the seventh, eleventh, or fourteenth aspect, power saving control is performed when the face direction is outside the display area for a predetermined time or more.
【００１１】請求項１７では、請求項８又は請求項１２
に於いて、目を所定時間以上閉じると省電力制御を行う
ことを特徴とする。請求項１８では、請求項９又は請求
項１３に於いて、前記視線方向及び前記顔向き方向が所
定時間以上前記表示領域以外になると省電力制御を行う
ことを特徴とする。In claim 17, claim 8 or claim 12
Wherein the power saving control is performed when the eyes are closed for a predetermined time or more. According to an eighteenth aspect, in the ninth or thirteenth aspect, power saving control is performed when the line-of-sight direction and the face direction are outside the display area for a predetermined time or more.
【００１２】請求項１９では、請求項６乃至請求項１８
のいずれかに於いて、前記省電力制御は、前記表示領域
を備えた装置の電源をオフすることを特徴とする。請求
項２０では、請求項６乃至請求項１８のいずれかに於い
て、前記省電力制御は、前記表示領域のみ省電力制御を
行うことを特徴とする。請求項２１では、請求項６乃至
請求項２０のいずれかに於いて、前記表示領域を備えた
装置は、ディスプレイであることを特徴とする。In claim 19, claim 6 to claim 18.
In any one of the above, the power saving control is characterized in that a power supply of a device having the display area is turned off. According to a twentieth aspect, in any one of the sixth to eighteenth aspects, the power saving control is to perform power saving control only in the display area. According to a twenty-first aspect, in any one of the sixth to twentieth aspects, the apparatus including the display area is a display.
【００１３】請求項２２では、顔を撮像する撮像手段
と、該撮像手段により撮像された顔画像から視線方向を
検出する視線検出手段と、該視線検出手段により検出さ
れた視線方向に基づき省電力制御を行う省電力制御手段
とを備えたことを特徴とする。請求項２３では、顔を撮
像する撮像手段と、該撮像手段により撮像された顔画像
から顔向き方向を検出する顔向き検出手段と、該顔向き
検出手段により検出された顔向き方向に基づき省電力制
御を行う省電力制御手段とを備えたことを特徴とする。According to a twenty-second aspect, an image pickup means for picking up a face, a line of sight detecting means for detecting a line of sight from a face image picked up by the image pickup means, and power saving based on the line of sight detected by the line of sight detection means Power saving control means for performing control. According to a twenty-third aspect, an image pickup means for picking up a face, a face direction detection means for detecting a face direction from a face image picked up by the image pickup means, and a saving based on the face direction detected by the face direction detection means. Power saving control means for performing power control.
【００１４】請求項２４では、顔を撮像する撮像手段
と、該撮像手段により撮像された顔画像から目の開閉状
態を検出する検出手段と、該検出手段により検出された
目の開閉状態に基づき省電力制御を行う省電力制御手段
とを備えたことを特徴とする。請求項２５では、請求項
２２に於いて、映像を表示する表示手段を設け、前記省
電力制御手段は、前記視線検出手段により検出された視
線方向が前記表示手段の表示領域以外になると省電力制
御を行うことを特徴とする。According to a twenty-fourth aspect, an image pickup means for picking up an image of a face, a detection means for detecting the open / closed state of the eyes from the face image picked up by the image pickup means, and an open / closed state of the eyes detected by the detection means Power saving control means for performing power saving control. According to a twenty-fifth aspect, in the twenty-second aspect, a display unit for displaying an image is provided, and the power saving control unit saves power when a line-of-sight direction detected by the line-of-sight detection unit is outside a display area of the display unit. The control is performed.
【００１５】請求項２６では、請求項２３に於いて、映
像を表示する表示手段を設け、前記省電力制御手段は、
前記顔向き検出手段により検出された顔向き方向が前記
表示手段の表示領域以外になると省電力制御を行うこと
を特徴とする。請求項２７では、請求項２４に於いて、
前記省電力制御手段は、前記検出手段により目の閉状態
が検出されると省電力制御を行うことを特徴とする。According to a twenty-sixth aspect, in the twenty-third aspect, a display means for displaying an image is provided, and the power saving control means comprises:
When the face direction detected by the face direction detection means is outside the display area of the display means, power saving control is performed. In claim 27, according to claim 24,
The power saving control means performs power saving control when the detection means detects the closed state of the eyes.
【００１６】請求項２８では、請求項２５に於いて、前
記省電力制御手段は、前記省電力制御を行った後、前記
視線方向が前記表示領域内に戻ると前記省電力制御を停
止することを特徴とする。請求項２９では、請求項２６
に於いて、前記省電力制御手段は、前記省電力制御を行
った後、前記顔向き方向が前記表示領域内に戻ると前記
省電力制御を停止することを特徴とする。According to a twenty-eighth aspect, in the twenty-fifth aspect, the power saving control means stops the power saving control when the line of sight returns to the display area after performing the power saving control. It is characterized by. In Claim 29, Claim 26
Preferably, the power saving control means stops the power saving control when the face direction returns to the display area after performing the power saving control.
【００１７】請求項３０では、請求項２７に於いて、前
記省電力制御手段は、前記省電力制御を行った後、前記
目の開状態が検出されると前記省電力制御を停止するこ
とを特徴とする。請求項３１では、請求項２５又は請求
項２８に於いて、前記視線方向が所定時間以上前記表示
領域以外になると省電力制御を行うことを特徴とする。According to a thirty-fourth aspect, in the twenty-seventh aspect, the power-saving control means stops the power-saving control when the open state of the eyes is detected after performing the power-saving control. Features. According to a thirty-first aspect, in the twenty-fifth aspect or the twenty-eighth aspect, power saving control is performed when the line of sight is outside the display area for a predetermined time or more.
【００１８】請求項３２では、請求項２６又は請求項２
９に於いて、前記顔向き方向が所定時間以上前記表示領
域以外になると省電力制御を行うことを特徴とする。請
求項３３では、請求項２７又は請求項３０に於いて、前
記目の閉状態が所定時間以上になると省電力制御を行う
ことを特徴とする。請求項３４では、請求項２５乃至請
求項３３のいずれかに於いて、前記省電力制御は、前記
表示手段の電源をオフすることを特徴とする。In claim 32, claim 26 or claim 2
9, wherein when the face direction is outside the display area for a predetermined time or more, power saving control is performed. A thirty-third aspect of the present invention is characterized in that, in the twenty-seventh aspect or the thirty-third aspect, the power saving control is performed when the closed state of the eyes is longer than a predetermined time. According to a thirty-fourth aspect, in any one of the twenty-fifth to thirty-third aspects, the power saving control is characterized by turning off the power of the display means.
【００１９】請求項３５では、請求項２５乃至請求項３
３のいずれかに於いて、前記省電力制御は、前記表示領
域のみ省電力制御を行うことを特徴とする。請求項３６
では、請求項２５乃至請求項３５のいずれかに於いて、
前記表示領域を備えた装置は、ディスプレイであること
を特徴とする。In Claim 35, Claims 25 to 3
In any one of the third to fourth aspects, the power saving control is performed only in the display area. Claim 36
Then, in any one of claims 25 to 35,
The device provided with the display area is a display.
【００２０】[0020]
【発明の実施の形態】本発明の実施の形態を図を用いて
説明する。まず第１の実施の形態について説明する。本
発明の省電力制御方法を備えた省電力制御装置Ｐは、図
１に示されるように構成され、カラーＣＣＤカメラ等か
らなるカメラ１０と、顔の動作情報の一部である視線方
向の検出を行う視線検出部１２と、表示制御部１４と、
ＣＲＴディスプレイやＬＣＤ、プラズマディスプレイ等
からなる表示部１６とを有している。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described with reference to the drawings. First, a first embodiment will be described. A power-saving control device P having the power-saving control method of the present invention is configured as shown in FIG. 1 and detects a camera 10 such as a color CCD camera or the like and a gaze direction which is part of face motion information. A gaze detecting unit 12 that performs the following, a display control unit 14,
A display unit 16 including a CRT display, an LCD, a plasma display, and the like.
【００２１】カメラ１０は、ユーザの特に顔部を撮像す
るもので、図２に示すように、表示部２０を見るユーザ
甲の顔を撮像するように設置されている。視線検出部１
２は、上記カメラ１０により得られた画像データに人間
（ユーザ甲）の顔があり、ユーザ甲の視線方向を検出す
るものである。この視線検出の方法は、公知の方法を用
いるものとする。例えば、人間の顔部分を撮像して得た
画像データに対してエッジ抽出処理を行い、目部分の切
出し処理を行った上で、目における黒目の位置を水平方
向、垂直方向のそれぞれについて特徴抽出し、水平方向
標準パターンと垂直方向標準パターンとのマッチングを
行い、視線方向を算出する技術（特開平８−３２２７９
６号公報）等がある。この視線検出部１２は、実際には
視線検出を行うためのプログラムを格納した記憶部と該
プログラムに従い所定の処理を行うＣＰＵ等から構成さ
れる。The camera 10 picks up an image of the user's face in particular, and is installed so as to pick up an image of the user's face looking at the display unit 20, as shown in FIG. Gaze detection unit 1
Numeral 2 is for detecting a human (user's instep) face in the image data obtained by the camera 10 and detecting the line of sight of the user's instep. A known method is used for this gaze detection method. For example, an edge extraction process is performed on image data obtained by imaging a human face portion, an eye portion is cut out, and then the position of the iris in the eye is extracted in both the horizontal and vertical directions. A technique of matching the horizontal standard pattern and the vertical standard pattern to calculate the line of sight (Japanese Patent Laid-Open No. 8-32279).
No. 6). The gaze detection unit 12 actually includes a storage unit that stores a program for performing gaze detection, and a CPU that performs predetermined processing according to the program.
【００２２】表示制御部１４は、図示しないビデオメモ
リに記録された画像等を表示部１６に表示制御するもの
である。この表示制御部１４は、視線検出部１２の視線
方向の情報に基づき、表示部１６の電源のオン・オフ制
御や表示部１６のコントラストや輝度の制御等も行う。
又、表示部１６がＬＣＤの場合は、バックライトのオン
・オフ制御も行う。The display controller 14 controls the display of images and the like recorded in a video memory (not shown) on the display 16. The display control unit 14 also performs on / off control of the power of the display unit 16 and control of the contrast and brightness of the display unit 16 based on the information on the gaze direction of the gaze detection unit 12.
When the display unit 16 is an LCD, on / off control of the backlight is also performed.
【００２３】上記構成の省電力制御装置の動作について
図１乃至図３を用いて説明する。省電力制御装置Ｐの前
にユーザ甲がいる場合について説明する。ステップＳ１
１に於いて、省電力制御装置Ｐはカメラ１０からユーザ
甲の顔画像を撮像し、視線検出部１２により視線方向を
検出し、ステップＳ１２に進む。ステップＳ１２に於い
て、ステップＳ１１にて検出した視線方向が表示部１６
の表示領域（表示画面）内か否かを判断する。視線方向
が表示領域内にあると判断した場合、ステップＳ１１に
戻り視線方向検出を行う。一方、視線方向が表示領域以
外にあると判断した場合、ステップＳ１３に進む。尚、
本実施の形態では、表示部１６の表示領域内の視線方向
の範囲は予め登録されているものとする。The operation of the power saving control device having the above configuration will be described with reference to FIGS. The case where the user A is in front of the power saving control device P will be described. Step S1
In 1, the power-saving control device P captures a face image of the user A from the camera 10, detects the gaze direction by the gaze detection unit 12, and proceeds to step S12. In step S12, the gaze direction detected in step S11 is
Is determined within the display area (display screen). If it is determined that the line of sight is within the display area, the process returns to step S11 to detect the line of sight. On the other hand, when it is determined that the line of sight is outside the display area, the process proceeds to step S13. still,
In the present embodiment, it is assumed that the range of the viewing direction in the display area of the display unit 16 is registered in advance.
【００２４】ステップＳ１３に於いて、ユーザ甲の視線
方向が表示領域以外にある時間をカウントし、所定時間
が経過したか否かを判断する。所定時間内であると判断
した場合、ステップＳ１１に戻り視線方向検出を行う。
尚、この時間カウントは、ステップＳ１２に於いて、視
線方向が表示領域内にあると判断した場合に時間カウン
トが停止し、時間カウント数がリセットされる。一方、
所定時間経過であると判断した場合、ステップＳ１４に
進み、省電力制御処理を行う。尚、本実施の形態では所
定時間を１０秒程度とするが、この所定時間は任意変更
可能である。In step S13, the time when the line of sight of the user A is outside the display area is counted, and it is determined whether a predetermined time has elapsed. If it is determined that it is within the predetermined time, the flow returns to step S11 to detect the gaze direction.
This time count is stopped when the line of sight is determined to be within the display area in step S12, and the time count is reset. on the other hand,
If it is determined that the predetermined time has elapsed, the process proceeds to step S14, and power saving control processing is performed. In this embodiment, the predetermined time is about 10 seconds, but the predetermined time can be arbitrarily changed.
【００２５】ステップＳ１４に於いて、ユーザ甲の視線
方向が表示部１６の表示領域内にないので、画面表示す
る必要がなく、表示制御部１４は、表示部１６の電源を
オフ状態することにより省電力化を図り、ステップＳ１
５に進む。又、表示部１６のコントラストや輝度を落と
したり、映像出力を停止することにより省電力化を図る
様にしても良い。更に、表示部１６がＬＣＤの場合に
は、バックライトをオフ状態することにより省電力化を
図る様にしても良い。In step S14, since the direction of the user's line of sight is not within the display area of the display unit 16, there is no need to display a screen, and the display control unit 14 turns off the display unit 16 by turning off the power. Step S1 to save power
Go to 5. Further, the power and power may be reduced by lowering the contrast and brightness of the display unit 16 or by stopping the video output. Further, when the display unit 16 is an LCD, the backlight may be turned off to save power.
【００２６】ステップＳ１５に於いて、ステップＳ１１
と同様に視線方向検出を行い、ステップＳ１６に進む。
ステップＳ１６に於いて、ステップＳ１２と同様にステ
ップＳ１５にて検出した視線方向が表示部１６の表示領
域内か否かを判断する。視線方向が引き続き表示領域以
外にあると判断した場合、ステップＳ１５に戻り視線方
向検出を行う。一方、視線方向が表示領域内にあると判
断、つまりユーザ甲の視線方向が表示領域内に戻ったと
判断した場合、ステップＳ１７に進み省電力制御を停止
する。In step S15, step S11
The gaze direction is detected in the same manner as described above, and the process proceeds to step S16.
In step S16, similarly to step S12, it is determined whether the line-of-sight direction detected in step S15 is within the display area of the display unit 16. If it is determined that the gaze direction is still outside the display area, the flow returns to step S15 to detect the gaze direction. On the other hand, when it is determined that the line of sight is within the display area, that is, when it is determined that the line of sight of the user A has returned to the display area, the process proceeds to step S17, and the power saving control is stopped.
【００２７】ステップＳ１７に於いて、表示制御部１４
はステップＳ１４にて省電力制御されたものを元の状態
に戻し、ステップＳ１１に戻る。つまり、ステップＳ１
４にて表示部１６の電源をオフ状態した場合には電源を
オン状態に戻し、表示部１６のコントラストや輝度を落
とした場合にはコントラストや輝度を元の状態に戻し、
表示部１６の映像出力が停止された場合には映像出力を
元の状態に戻し、表示部１６がＬＣＤの時にバックライ
トをオフ状態にした場合にはバックライトをオン状態に
戻す。In step S17, the display controller 14
Returns the one subjected to the power saving control in step S14 to the original state, and returns to step S11. That is, step S1
4, when the power of the display unit 16 is turned off, the power is turned back on, and when the contrast and brightness of the display unit 16 are reduced, the contrast and brightness are returned to the original state.
When the video output of the display unit 16 is stopped, the video output is returned to the original state, and when the backlight is turned off when the display unit 16 is the LCD, the backlight is returned to the on state.
【００２８】以上の処理により、ユーザ甲が表示部１６
を所定時間以上見ていない場合に省電力化が図られるた
め、こまめな節電ができ、消費電力を抑えることができ
る。次に第２の実施の形態について説明する。本発明の
省電力制御方法を備えた省電力制御装置Ｐは、図１に示
されるように構成され、上記第１の実施の形態と同様の
処理が行われるため説明を省略する。According to the above-described processing, the user A is displayed on the display unit 16.
When the user does not watch for more than a predetermined time, power can be saved, so that frequent power savings can be achieved and power consumption can be suppressed. Next, a second embodiment will be described. The power-saving control device P having the power-saving control method of the present invention is configured as shown in FIG. 1 and performs the same processing as in the first embodiment, so that the description is omitted.
【００２９】省電力制御装置Ｐの前にユーザ甲がいる場
合について説明する。上記構成の省電力制御装置の動作
について図１、図２、図４を用いて説明する。ステップ
Ｓ２１に於いて、省電力制御装置Ｐはカメラ１０からユ
ーザ甲の顔画像を撮像し、視線検出部１２により視線方
向を検出し、ステップＳ２２に進む。The case where the user A is in front of the power saving control device P will be described. The operation of the power saving control device having the above configuration will be described with reference to FIGS. 1, 2, and 4. FIG. In step S21, the power saving control device P captures a face image of the user A from the camera 10, detects the gaze direction by the gaze detection unit 12, and proceeds to step S22.
【００３０】ステップＳ２２に於いて、ユーザ甲が目を
開いているか否かを判断する。この際、ステップＳ２１
にて正常に視線検出が行えた場合には、ユーザ甲は目を
開けていると判断し、ステップＳ２１に戻り再度視線方
向検出を行う。一方、ステップＳ２１にて正常に視線検
出が行えなかった場合には、ユーザ甲は目を閉じてい
る、つまり目を瞑っていると判断し、ステップＳ２３に
進む。尚、正常に視線検出が行えなかった場合には、全
く別の方向を向いている状態も考えられるが、この場合
も、めを閉じている状態と同様の処理を行っていくもの
とする。In step S22, it is determined whether the user A has his eyes open. At this time, step S21
If the gaze detection can be performed normally in step (A), it is determined that the user A has opened his / her eyes, and the process returns to step S21 to detect the gaze direction again. On the other hand, if the eye gaze cannot be detected normally in step S21, the user A determines that the eyes are closed, that is, the eyes are closed, and the process proceeds to step S23. If gaze detection cannot be performed normally, a state in which the eye is facing a completely different direction may be considered. In this case, the same processing as in the state in which the eyes are closed is performed.
【００３１】ステップＳ２３に於いて、ユーザ甲の目が
閉じている時間をカウントし、所定時間が経過したか否
かを判断する。所定時間内であると判断した場合、ステ
ップＳ２１に戻り視線方向検出を行う。尚、この時間カ
ウントは、ステップＳ２２に於いて、ユーザ甲の目が開
いていると判断した場合に時間カウントが停止し、時間
カウント数がリセットされる。一方、所定時間経過であ
ると判断した場合、ステップＳ２４に進み、省電力制御
処理を行う。尚、本実施の形態では所定時間を１０秒程
度とするが、この所定時間は任意変更可能である。In step S23, the time during which the user's eyes are closed is counted, and it is determined whether a predetermined time has elapsed. If it is determined that it is within the predetermined time, the flow returns to step S21 to detect the gaze direction. This time counting is stopped when the user's eyes are open in step S22, and the time counting number is reset. On the other hand, if it is determined that the predetermined time has elapsed, the process proceeds to step S24, and power saving control processing is performed. In this embodiment, the predetermined time is about 10 seconds, but the predetermined time can be arbitrarily changed.
【００３２】ステップＳ２４に於いて、ユーザ甲は目を
閉じている状態なので、画面表示する必要がなく、表示
制御部１４は、表示部１６の電源をオフ状態することに
より省電力化を図り、ステップＳ２５に進む。又、表示
部１６のコントラストや輝度を落としたり、映像出力を
停止すことにより省電力化を図る様にしても良い。更
に、表示部１６がＬＣＤの場合には、バックライトをオ
フ状態することにより省電力化を図る様にしても良い。In step S24, since the user has closed his / her eyes, there is no need to display a screen, and the display control unit 14 saves power by turning off the power of the display unit 16. Proceed to step S25. Further, the power and the power may be saved by lowering the contrast and brightness of the display unit 16 and stopping the video output. Further, when the display unit 16 is an LCD, the backlight may be turned off to save power.
【００３３】ステップＳ２５に於いて、ステップＳ２１
と同様に視線方向検出を行い、ステップＳ２６に進む。
ステップＳ２６に於いて、ステップＳ２２と同様にユー
ザ甲が目を開いているか否かを判断する。この際、ステ
ップＳ２５にて正常に視線検出が行えた場合には、ユー
ザ甲は目を開けていると判断し、ステップＳ２５に戻り
再度視線方向検出を行う。一方、ステップＳ２５にて正
常に視線検出が行えなかった場合には、ユーザ甲は目を
閉じている、つまり目を瞑っていると判断し、ステップ
Ｓ２７に進み、省電力制御を停止する。In step S25, step S21
The gaze direction is detected in the same manner as described above, and the process proceeds to step S26.
In step S26, similarly to step S22, it is determined whether the user A has his eyes open. At this time, if the line of sight can be normally detected in step S25, it is determined that the user A has his eyes open, and the process returns to step S25 to detect the line of sight again. On the other hand, if the gaze cannot be detected normally in step S25, the user A determines that the eyes are closed, that is, the eyes are closed, and the process proceeds to step S27 to stop the power saving control.
【００３４】ステップＳ２７に於いて、表示制御部１４
はステップＳ２４にて省電力制御されたものを元の状態
に戻し、ステップＳ２１に戻る。つまり、ステップＳ２
４にて表示部１６の電源をオフ状態した場合には電源を
オン状態に戻し、表示部１６のコントラストや輝度を落
とした場合にはコントラストや輝度を元の状態に戻し、
表示部１６の映像出力が停止された場合には映像出力を
元の状態に戻し、表示部１６がＬＣＤの時にバックライ
トをオフ状態にした場合にはバックライトをオン状態に
戻す。In step S27, the display controller 14
Returns the one subjected to the power saving control in step S24 to the original state, and returns to step S21. That is, step S2
4, when the power of the display unit 16 is turned off, the power is turned back on, and when the contrast and brightness of the display unit 16 are reduced, the contrast and brightness are returned to the original state.
When the video output of the display unit 16 is stopped, the video output is returned to the original state, and when the backlight is turned off when the display unit 16 is the LCD, the backlight is returned to the on state.
【００３５】以上の処理により、ユーザ甲が所定時間以
上目を閉じている場合に省電力化が図られるため、こま
めな節電ができ、消費電力を抑えることができる。尚、
第１及び第２の実施の形態では、上記のように視線検出
手段をカメラ１０と視線検出部１２とにより構成するも
のとして説明したが、これに限ることはなく、人物の視
線を検出できるものであれば他の構成としてもよい。According to the above-described processing, power can be saved when the user has closed his or her eyes for a predetermined time or more, so that frequent power savings can be achieved and power consumption can be suppressed. still,
In the first and second embodiments, as described above, the line-of-sight detecting means is configured by the camera 10 and the line-of-sight detecting unit 12. However, the present invention is not limited to this, and can detect the line of sight of a person. If so, another configuration may be used.
【００３６】次に第３の実施の形態について説明する。
本発明の省電力制御方法を備えた省電力制御装置Ｐは、
図５に示されるように構成され、カラーＣＣＤカメラ等
からなるカメラ１０と、顔の動作情報の一部である顔向
き検出部５２と、表示制御部１４と、ＣＲＴディスプレ
イやＬＣＤ、プラズマディスプレイ等からなる表示部１
６とを有している。尚、カメラ１０、表示制御部１４、
表示部１６は、上記第１の実施の形態と同様の処理が行
われるため説明を省略する。Next, a third embodiment will be described.
The power-saving control device P including the power-saving control method of the present invention includes:
The camera 10 is configured as shown in FIG. 5 and includes a color CCD camera or the like, a face direction detection unit 52 that is a part of face operation information, a display control unit 14, a CRT display, an LCD, a plasma display, or the like. Display 1 consisting of
6. The camera 10, the display control unit 14,
The display unit 16 performs the same processing as in the first embodiment, and a description thereof will be omitted.
【００３７】顔向き検出部５２は、上記カメラ１０によ
り得られた画像データに人間（ユーザ甲）の顔があり、
ユーザ甲の顔の向きを検出するものである。この顔向き
検出の方法については後述する。この顔向き検出部５２
は、実際には顔向き検出を行うためのプログラムを格納
した記憶部と該プログラムに従い所定の処理を行うＣＰ
Ｕ等から構成される。The face direction detecting section 52 has a human (user A) face in the image data obtained by the camera 10,
This is to detect the direction of the face of the user A. The method of face direction detection will be described later. This face direction detection unit 52
Is a storage unit storing a program for actually performing face direction detection, and a CP for performing predetermined processing in accordance with the program.
U and the like.
【００３８】表示制御部１４は、顔向き検出部５２の顔
向き方向の情報に基づき、表示部１６の電源のオン・オ
フ制御や表示部１６のコントラストや輝度の制御等も行
う。又、表示部１６がＬＣＤの場合は、バックライトの
オン・オフ制御も行う。上記構成の省電力制御装置の動
作について図２、図５、図６を用いて説明する。The display control unit 14 also controls on / off of the power of the display unit 16 and controls the contrast and brightness of the display unit 16 based on the information on the face direction of the face direction detection unit 52. When the display unit 16 is an LCD, on / off control of the backlight is also performed. The operation of the power saving control device having the above configuration will be described with reference to FIGS.
【００３９】まず、省電力制御装置Ｐの前にユーザ甲が
いる場合について説明する。ステップＳ３１に於いて、
省電力制御装置Ｐはカメラ１０からユーザ甲の顔画像を
撮像し、顔向き検出部５２により顔向き方向を検出し、
ステップＳ３２に進む。ステップＳ３２に於いて、ステ
ップＳ３１にて検出した顔向き方向が表示部１６の表示
領域（表示画面）内か否かを判断する。顔向き方向が表
示領域内にあると判断した場合、ステップＳ３１に戻り
顔向き方向検出を行う。一方、顔向き方向が表示領域以
外にあると判断した場合、ステップＳ３３に進む。尚、
本実施の形態では、表示部１６の表示領域内の顔向き方
向の範囲は予め登録されているものとする。First, the case where the user A is in front of the power saving control device P will be described. In step S31,
The power saving control device P captures a face image of the user A from the camera 10, detects the face direction by the face direction detection unit 52,
Proceed to step S32. In step S32, it is determined whether the face direction detected in step S31 is within the display area (display screen) of the display unit 16. If it is determined that the face direction is within the display area, the process returns to step S31 to detect the face direction. On the other hand, if it is determined that the face direction is outside the display area, the process proceeds to step S33. still,
In the present embodiment, it is assumed that the range in the face direction in the display area of the display unit 16 is registered in advance.
【００４０】ステップＳ３３に於いて、ユーザ甲の顔向
き方向が表示領域以外にある時間をカウントし、所定時
間が経過したか否かを判断する。所定時間内であると判
断した場合、ステップＳ３１に戻り顔向き方向検出を行
う。尚、この時間カウントは、ステップＳ３２に於い
て、顔向き方向が表示領域内にあると判断した場合に時
間カウントが停止し、時間カウント数がリセットされ
る。一方、所定時間経過であると判断した場合、ステッ
プＳ３４に進み、省電力制御処理を行う。尚、本実施の
形態では所定時間を１０秒程度とするが、この所定時間
は任意変更可能である。In step S33, the time during which the user's face direction is outside the display area is counted, and it is determined whether a predetermined time has elapsed. If it is determined that it is within the predetermined time, the process returns to step S31 to detect the face direction. This time count is stopped when the face direction is determined to be within the display area in step S32, and the time count is reset. On the other hand, if it is determined that the predetermined time has elapsed, the process proceeds to step S34 to perform power saving control processing. In this embodiment, the predetermined time is about 10 seconds, but the predetermined time can be arbitrarily changed.
【００４１】ステップＳ３４に於いて、ユーザ甲の顔向
き方向が表示部１６の表示領域内にないので、画面表示
する必要がなく、表示制御部１４は、表示部１６の電源
をオフ状態することにより省電力化を図り、ステップＳ
３５に進む。又、表示部１６のコントラストや輝度を落
としたり、映像出力を停止すことにより省電力化を図る
様にしても良い。更に、表示部１６がＬＣＤの場合に
は、バックライトをオフ状態することにより省電力化を
図る様にしても良い。In step S34, since the face direction of the user A is not within the display area of the display unit 16, there is no need to display a screen, and the display control unit 14 turns off the power of the display unit 16. To save power, and step S
Proceed to 35. Further, the power and the power may be saved by lowering the contrast and brightness of the display unit 16 and stopping the video output. Further, when the display unit 16 is an LCD, the backlight may be turned off to save power.
【００４２】ステップＳ３５に於いて、ステップＳ３１
と同様に顔向き方向検出を行い、ステップＳ３６に進
む。ステップＳ３６に於いて、ステップＳ３２と同様に
ステップＳ３５にて検出した顔向き方向が表示部１６の
表示領域内か否かを判断する。顔向き方向が引き続き表
示領域以外にあると判断した場合、ステップＳ３５に戻
り顔向き方向検出を行う。一方、顔向き方向が表示領域
内にあると判断、つまりユーザ甲の顔向き方向が表示領
域内に戻ったと判断した場合、ステップＳ３７に進み、
省電力制御を停止する。In step S35, step S31
The face direction is detected in the same manner as described above, and the process proceeds to step S36. In step S36, it is determined whether the face direction detected in step S35 is within the display area of the display unit 16 as in step S32. If it is determined that the face direction is still outside the display area, the process returns to step S35 to detect the face direction. On the other hand, when it is determined that the face direction is within the display area, that is, when it is determined that the face direction of the user A has returned to the display area, the process proceeds to step S37.
Stop the power saving control.
【００４３】ステップＳ３７に於いて、表示制御部１４
はステップＳ３４にて省電力制御されたものを元の状態
に戻し、ステップＳ３１に戻る。つまり、ステップＳ３
４にて表示部１６の電源をオフ状態した場合には電源を
オン状態に戻し、表示部１６のコントラストや輝度を落
とした場合にはコントラストや輝度を元の状態に戻し、
表示部１６の映像出力が停止された場合には映像出力を
元の状態に戻し、表示部１６がＬＣＤの時にバックライ
トをオフ状態にした場合にはバックライトをオン状態に
戻す。In step S37, the display controller 14
Returns the one subjected to the power saving control in step S34 to the original state, and returns to step S31. That is, step S3
4, when the power of the display unit 16 is turned off, the power is turned back on, and when the contrast and brightness of the display unit 16 are reduced, the contrast and brightness are returned to the original state.
When the video output of the display unit 16 is stopped, the video output is returned to the original state, and when the backlight is turned off when the display unit 16 is the LCD, the backlight is returned to the on state.
【００４４】以上の処理により、ユーザ甲が表示部１６
を所定時間以上見ていないと判断できる場合に省電力化
が図られるため、こまめな節電ができ、消費電力を抑え
ることができる。尚、第３の実施の形態では、顔の向き
が表示部１６の表示領域（表示画面）内か否かにより判
断（ステップＳ３２及びステップＳ３６）しているが、
顔の向きの情報を逐次記憶し顔の向きを予測する処理を
追加することにより、顔の向きを予測し、顔の向きが表
示部１６の表示領域（表示画面）内に戻るか否かを判断
して省電力制御処理を行う様にしてもよい。By the above-described processing, the user instructs the display unit 16
When it can be determined that the user has not watched for more than a predetermined time, power saving is achieved, so that frequent power savings can be achieved and power consumption can be suppressed. In the third embodiment, the determination is made based on whether the face direction is within the display area (display screen) of the display unit 16 (steps S32 and S36).
By adding a process of sequentially storing information of the face direction and predicting the face direction, the face direction is predicted, and whether or not the face direction returns to the display area (display screen) of the display unit 16 is determined. The power saving control process may be performed based on the determination.
【００４５】又、第３の実施の形態では、上記のように
顔向き検出手段をカメラ１０と顔向き検出部５２とによ
り構成するものとして説明したが、これに限ることはな
く、人物の顔向きを検出できるものであれば他の構成と
してもよい。次に上記顔向き方向検出について詳述す
る。図７は顔向き検出を行う検出部５２の機能ブロック
図であり、７３はカメラ１０から供給される撮像画像情
報から肌色領域を抽出する肌色抽出部、７５は肌色抽出
部７３により抽出された肌色領域から目・口等の顔を形
成する部分（特徴点）を抽出する顔特徴点抽出部、７７
は顔特徴点抽出部７５により抽出された目・口等の特徴
点の情報に基づき顔の向きを推定し、表示制御部１４へ
顔向き検出の情報を出力する顔向抽出部、７９は肌色抽
出部７３及び顔特徴点抽出部７５及び顔向抽出部７７の
情報を記憶するパラメータ記憶部である。この肌色抽出
部７３及び顔特徴点抽出部７５及び顔向抽出部７７は、
実際には、夫々の処理を行うプログラム等の各種データ
を格納したメモリ（図示せず）と、該プログラムに従い
所定の処理を行うＣＰＵ（図示せず）等から構成されて
いる。In the third embodiment, the face direction detecting means has been described as being constituted by the camera 10 and the face direction detecting section 52 as described above. However, the present invention is not limited to this. Other configurations may be used as long as the orientation can be detected. Next, the face direction detection will be described in detail. FIG. 7 is a functional block diagram of the detection unit 52 that performs face direction detection. Reference numeral 73 denotes a skin color extraction unit that extracts a skin color region from captured image information supplied from the camera 10, and reference numeral 75 denotes a skin color that is extracted by the skin color extraction unit 73. A face feature point extraction unit for extracting a part (feature point) forming a face such as an eye or a mouth from the area, 77
Is a face direction extraction unit for estimating the direction of the face based on the information of the feature points such as eyes and mouth extracted by the face feature point extraction unit 75 and outputting information of the face direction detection to the display control unit 14; The parameter storage unit stores information of the extraction unit 73, the facial feature point extraction unit 75, and the face direction extraction unit 77. The skin color extraction unit 73, the face feature point extraction unit 75, and the face direction extraction unit 77
Actually, it is composed of a memory (not shown) storing various data such as a program for performing each processing, and a CPU (not shown) for performing predetermined processing according to the program.
【００４６】以上の様な構成の顔向き検出の動作につい
て、図８のフローチャートに従い説明する。まず、ステ
ップＳ８１に於いて、パラメータ記憶部７９に参照用パ
ラメータ（基準値パラメータ）が登録されているか否か
を判断する。登録されている場合、ステップＳ８２に進
み、登録されていない場合、ステップＳ８８に進み、参
照用パラメータの登録を行う。The operation of the face direction detection having the above configuration will be described with reference to the flowchart of FIG. First, in step S81, it is determined whether or not a reference parameter (reference value parameter) is registered in the parameter storage unit 79. If registered, the process proceeds to step S82, and if not registered, the process proceeds to step S88 to register a reference parameter.
【００４７】ステップＳ８８では、参照用パラメータを
登録する際、キャリブレーションを行う。つまり、ユー
ザ甲に対して、ＣＲＴ画面上２０の所定の位置に注視用
マーカを表示し、その表示した時のユーザ甲の正面顔画
像をカメラ１０で撮像し、後述するステップＳ８２乃至
ステップＳ８６の処理と同様の処理を行い、参照用のパ
ラメータデータとしてパラメータ記憶部７９に登録して
おく。登録するパラメータデータは、ユーザ甲の両目間
の距離ｅｓ(f)、両目の中点ＣＥと口Ｍを結んだ距離ｅ
ｍ(f)、両目及び口の３点の重心位置ＦＧ(f)、肌色領域
の重心位置ＳＧ(f)、顔の幅である肌色領域の横幅Ｈｗ
(f)である。尚、本実施の形態では、参照用パラメータ
はユーザ甲の正面顔画像のパラメータを登録している
が、正面顔画像以外の方向に顔が向いた場合の夫々のパ
ラメータを複数登録する様にしてもよい。In step S88, calibration is performed when registering reference parameters. That is, the gaze marker is displayed at a predetermined position on the CRT screen 20 for the user A, and the front face image of the user A at the time of the display is captured by the camera 10. The same processing as the processing is performed, and registered in the parameter storage unit 79 as parameter data for reference. The parameter data to be registered are the distance es (f) between the eyes of the user A, the distance e connecting the midpoint CE of both eyes and the mouth M.
m (f), the center of gravity FG (f) of the three points of the eyes and the mouth, the center of gravity SG (f) of the skin color area, and the width Hw of the skin color area which is the width of the face
(f). In the present embodiment, the reference parameter registers the parameter of the front face image of the user A. However, when the face is turned in a direction other than the front face image, a plurality of parameters are registered. Is also good.
【００４８】ステップＳ８２に於いて、カメラ１０から
ユーザ甲を撮像する。撮像されたカラー画像は図示しな
いメモリに記憶しステップＳ８３に進む。尚、撮像する
部分としてユーザ甲の顔部を中心に撮像されるものとす
る。ステップＳ８３に於いて、肌色抽出部７３は、ステ
ップＳ８２にて記憶したユーザ甲のカラー画像から肌色
領域を抽出する。本実施の形態では、人間の色覚に比較
的近い表色系として定義されているＨＳＶ表色系を用い
て入力画像をヒストグラム化し、肌色領域内のピーク値
を基準肌色色相値とする。この基準肌色色相値からの差
を求め、ヒストグラムを作成し、閾値により２値化を行
い肌色領域を決定する。このＨＳＶ表色系は、Ｈ（色
相）、Ｓ（彩度）、Ｖ（明度）の３要素により構成され
ている。尚、本実施の形態では、ＨＳＶ表色系を用いて
いるが、Ｌ＊ｕ＊ｖ＊表色系、又はＬ＊ａ＊ｂ＊表色系
を用いてもよい。In step S82, the camera 10 captures an image of the user A. The captured color image is stored in a memory (not shown), and the flow advances to step S83. In addition, it is assumed that the image to be imaged is centered on the face of the user A. In step S83, the skin color extracting unit 73 extracts a skin color area from the color image of the user A stored in step S82. In the present embodiment, an input image is converted into a histogram using an HSV color system defined as a color system relatively close to human color vision, and a peak value in a skin color area is set as a reference skin color hue value. A difference from the reference skin color hue value is obtained, a histogram is created, and binarization is performed using a threshold to determine a skin color region. This HSV color system is composed of three elements: H (hue), S (saturation), and V (brightness). Although the HSV color system is used in the present embodiment, an L * u * v * color system or an L * a * b * color system may be used.
【００４９】ステップＳ８４に於いて、ステップＳ８３
にて肌色領域を抽出できたか否かを判断し、肌色領域が
ある場合はステップＳ８５に進み、肌色領域が無い場
合、ユーザ甲の顔画像が撮像されていないと判断し、ス
テップＳ８２に戻り再度撮像する。ステップＳ８５に於
いて、顔特徴点抽出部７５は、ステップＳ８３（肌色抽
出部７３）により求めた肌色領域から目及び口領域（特
徴点）を抽出する。本実施の形態では、４方向面特徴に
よるテンプレートマッチング法を用いて目及び口領域を
決定する。In step S84, step S83
It is determined whether or not a skin color region has been extracted. If there is a skin color region, the process proceeds to step S85. If there is no skin color region, it is determined that a face image of the user A has not been captured, and the process returns to step S82 and again. Take an image. In step S85, the face feature point extraction unit 75 extracts the eye and mouth regions (feature points) from the skin color region obtained in step S83 (skin color extraction unit 73). In the present embodiment, the eye and mouth regions are determined by using a template matching method based on four-directional plane features.
【００５０】４方向面特徴によるテンプレートマッチン
グ法とは、画像のエッジ方向から各画素での４方向
（縦、横、右斜め、左斜め）のベクトル場を求め、夫々
の方向に応じて画像を４面に分割した画像を、右目、左
目、口の夫々に対応して形成し、ステップＳ８３にて抽
出した肌色領域から、右目、左目、口夫々の分割画像と
マッチングさせ、閾値以上でマッチングした箇所を目及
び口領域として決定する。The template matching method based on the four-directional plane feature is to obtain a vector field in four directions (vertical, horizontal, right diagonal, left diagonal) at each pixel from the edge direction of the image, and to convert the image according to each direction. The image divided into four faces is formed corresponding to each of the right eye, the left eye, and the mouth, and the skin color region extracted in step S83 is matched with the divided images of the right eye, the left eye, and the mouth, and the matching is performed at a threshold or more. The location is determined as the eye and mouth area.
【００５１】ステップＳ８６に於いて、ステップＳ８５
にて目及び口領域を抽出できたか否か、即ち、顔と認識
できるか否かを判断し、目及び口領域がある場合はステ
ップＳ８７に進み、目及び口領域が無い場合、ユーザ甲
の顔画像が撮像されていないと判断し、ステップＳ８２
に戻り再度撮像する。ステップＳ８７に於いて、顔向抽
出部７７は、ステップＳ８３及びステップＳ８５にて抽
出した、肌色領域と目及び口領域から顔の向きを検出
し、表示制御部１４に顔向き方向の情報を出力する。ま
ず、図９に示す様に、顔の特徴である右目ＲＥ(Xre,Yr
e)、左目ＬＥ(Xle,Yle)、口Ｍ(Xm,Ym)の３点を結ぶＴ字
を考え、両目の間の距離を両目間距離ｅｓ、両目の中点
ＣＥ(Xce,Yce)と口とを結んだ距離を目口間距離ｅｍ、
肌領域画像の幅Ｈｗとして算出する。尚、右目ＲＥ(Xr
e,Yre)、左目ＬＥ(Xle,Yle)、口Ｍ(Xm,Ym)は、抽出した
目及び口の各領域から重心を求めた値である。In step S86, step S85
It is determined whether or not the eyes and mouth regions have been extracted, that is, whether or not the eyes and mouth regions can be recognized. If there are eyes and mouth regions, the process proceeds to step S87. It is determined that a face image has not been captured, and step S82
Return to and take an image again. In step S87, the face direction extraction unit 77 detects the direction of the face from the skin color area, the eyes, and the mouth area extracted in steps S83 and S85, and outputs the face direction information to the display control unit 14. I do. First, as shown in FIG. 9, the right eye RE (Xre, Yr
e), the left eye LE (Xle, Yle) and the mouth M (Xm, Ym) are considered a T-shape connecting the three points. The distance between the eyes is the distance es between the eyes, and the midpoint CE (Xce, Yce) between the eyes. The distance between the mouth and the eye is the distance between the eyes em,
It is calculated as the width Hw of the skin region image. In addition, right eye RE (Xr
e, Yre), the left eye LE (Xle, Yle), and the mouth M (Xm, Ym) are values obtained by calculating the center of gravity from the extracted eye and mouth regions.
【００５２】続いて、ステップＳ８３及びステップＳ８
５にて抽出した特徴点より求められる目口間距離ｅｍと
肌領域画像の幅Ｈｗ及び両目間距離ｅｓと、ステップＳ
８８若しくは予め登録されている目口間距離ｅｍ(f)と
肌領域画像の幅Ｈｗ(f)及び両目間距離ｅｓ(f)を用いて
式１及び式２の演算を行い、Ｘ軸に対する回転角度Ｘｔ
ｈと、Ｙ軸に対する回転角度Ｙｔｈを求め、更に、両目
の中点ＣＥ(Xce,Yce)と口Ｍ(Xm,Ym)を用いて式３の演算
を行い、Ｚ軸に対する回転角度Ｚｔｈを求める。つま
り、カメラ１０からの距離に伴う夫々の距離情報の変動
に対応するため、顔の横幅である肌色領域の幅Ｈｗ及び
Ｈｗ(f)を基準とする。Subsequently, steps S83 and S8
5, the eye-to-mouth distance em obtained from the feature points extracted in step 5, the width Hw of the skin region image, and the distance between both eyes es,
Equations 1 and 2 are calculated using 88 or the pre-registered eye-to-mouth distance em (f), the width Hw (f) of the skin area image, and the distance between both eyes es (f), and the rotation about the X axis is performed. Angle Xt
h, the rotation angle Yth with respect to the Y axis is obtained, and furthermore, the calculation of Expression 3 is performed using the midpoint CE (Xce, Yce) and the mouth M (Xm, Ym) of both eyes to obtain the rotation angle Zth with respect to the Z axis. . That is, the widths Hw and Hw (f) of the skin color area, which is the lateral width of the face, are used as a reference in order to cope with variations in the respective distance information according to the distance from the camera 10.
【００５３】 Xth = cos-1((em/Hw)/(em(f)/Hw(f))) ・・・・・ （１） Yth = cos-1((es/Hw)/(es(f)/Hw(f))) ・・・・・ （２） Zth = tan-1((Xce-Xm)/(Yce-Ym)) ・・・・・ （３） 前述式１及び式２からでは、Ｘｔｈ及びＹｔｈの符号が
判断できない、つまり顔の向きが判断できないので、Ｚ
ｔｈの値と、右目、左目、口の３点の重心位置ＦＧ(Xf
g,Yfg)と肌色領域の重心位置ＳＧ(Xsg,Ysg)とのズレに
より顔の向きを判断する。Xth = cos −1 ((em / Hw) / (em (f) / Hw (f))) (1) Yth = cos −1 ((es / Hw) / (es ( f) / Hw (f))) ... (2) Zth = tan -1 ((Xce-Xm) / (Yce-Ym)) ... (3) From the above equations 1 and 2 Then, since the signs of Xth and Yth cannot be determined, that is, the direction of the face cannot be determined,
th and the center of gravity FG (Xf
g, Yfg) and the center of gravity SG (Xsg, Ysg) of the skin color area are used to determine the direction of the face.
【００５４】Ｚｔｈの値が小さい場合（例えば１５度以
下）であれば顔の傾きが小さく、容易にＸｔｈ及びＹｔ
ｈの符号を求めることができ、顔の向きが容易に判断で
きる。例えば、肌色領域の重心位置ＳＧを中心とした場
合、右目、左目、口の３点の重心位置ＦＧがＸ軸方向に
プラスならば顔が左向きであり、Ｘ軸方向にマイナスな
らば顔が左向きであり、Ｙ軸方向がプラスならば顔が上
向きであり、Ｙ軸方向がマイナスならば顔が下向きであ
ると求められる。尚、本実施の形態では、右目ＲＥ、左
目ＬＥ、口Ｍの３点を特徴点と称し、３点の重心位置Ｆ
Ｇを特徴重心点と称す。If the value of Zth is small (for example, 15 degrees or less), the inclination of the face is small, and Xth and Yt are easily obtained.
The sign of h can be obtained, and the direction of the face can be easily determined. For example, when the center of gravity SG of the skin color area is the center, the face is facing left if the center of gravity FG of the three points of right eye, left eye, and mouth is positive in the X-axis direction, and the face is left if it is minus in the X-axis direction. If the Y-axis direction is positive, the face is determined to be upward, and if the Y-axis direction is negative, the face is determined to be downward. In the present embodiment, the three points of the right eye RE, the left eye LE, and the mouth M are referred to as feature points, and the three centroid positions F
G is referred to as a feature centroid point.
【００５５】しかし、顔の造作や首の回転位置などの関
係から、顔の傾きが発生する場合がある。この様な場
合、前述式３に於いて、Ｚｔｈの値が大きくなり所定の
閾値以上（例えば１６度以上）になれば顔が傾いている
ものと判断できる。例えば、本実施の形態では図１０に
示すように顔が右に傾いて且つ左下を向いている（矢印
Ｖ方向）ものとする。この場合、前述Ｚｔｈの値が小さ
い場合の処理を用いると、Ｙｔｈが反対方向の符号の結
果が得られることになる。そこで、参照用パラメータか
ら作成される顔モデルを用いて、回転位置Ｏ’(Xo',Y
o',Zo')を中心にＸ軸、Ｙ軸、Ｚ軸の夫々の軸方向に対
し、前述式１及び式２により算出されるＸｔｈ及びＹｔ
ｈの「＋」及び「−」の符号を夫々組み合わせにより３
次元空間で回転させる。斯かる３次元空間で回転させた
顔モデルを２次元平面に射影した目及び口の位置と、カ
メラ１０から入力した入力画像の目及び口の位置の抽出
結果とを比較し、最も誤差の小さい値が得られた時のＸ
ｔｈ及びＹｔｈの符号により顔の向きを決定する。However, the inclination of the face may occur due to the relationship between the features of the face and the rotational position of the neck. In such a case, when the value of Zth becomes large and becomes equal to or more than a predetermined threshold value (for example, 16 degrees or more) in Expression 3, it can be determined that the face is inclined. For example, in the present embodiment, it is assumed that the face is inclined rightward and points to the lower left (direction of arrow V) as shown in FIG. In this case, by using the above-described processing in the case where the value of Zth is small, a result of a sign in which Yth is the opposite direction is obtained. Therefore, using the face model created from the reference parameters, the rotational position O ′ (Xo ′, Y
o ', Zo'), and Xth and Yt calculated by the above-described equations 1 and 2 with respect to each of the X-axis, Y-axis, and Z-axis directions.
The sign of "+" and "-" of h
Rotate in dimensional space. The position of the eyes and the mouth projected on the two-dimensional plane of the face model rotated in such a three-dimensional space is compared with the result of extracting the positions of the eyes and the mouth of the input image input from the camera 10, and the error is minimized. X at which the value was obtained
The direction of the face is determined by the signs of th and Yth.
【００５６】尚、本実施の形態では特徴点として右目、
左目、口を用いて顔の向きを検出しているが、口の代わ
りに鼻を特徴点として用いることにより顔の向きを検出
しても同様の結果が得られる。又、目を瞑っている場合
には、前述第２の実施の形態と同様に、目を瞑っている
間、省電力制御するようにしてもよい。In the present embodiment, the right eye,
Although the direction of the face is detected using the left eye and the mouth, a similar result can be obtained by detecting the direction of the face by using the nose instead of the mouth as a feature point. When the eyes are closed, power saving control may be performed while the eyes are closed, as in the second embodiment.
【００５７】更に、本実施の形態では、ステップＳ８８
で登録したユーザ甲の正面顔画像の参照用パラメータを
用いて説明したが、正面顔画像の参照用パラメータ以外
にも、正面顔画像以外の方向に顔が向いた場合の夫々の
パラメータを用いることにより、より正確な顔の向きを
決定することができる。又、本実施の形態では、視線方
向に基づき省電力制御を行うもの（第１の実施の形態）
と、目の開閉状態に基づき省電力制御を行うもの（第２
の実施の形態）と、顔向き方向に基づき省電力制御を行
うもの（第３の実施の形態）とを説明したが、顔向き方
向と目の開閉状態と視線方向とを夫々合わせて検出し、
省電力制御を行う様にしてもよい。Further, in the present embodiment, step S88
Although the description has been made using the reference parameters of the front face image of the user A registered in the above, in addition to the reference parameters of the front face image, the respective parameters when the face faces in a direction other than the front face image are used. Thus, a more accurate face direction can be determined. In the present embodiment, power saving control is performed based on the line of sight (first embodiment).
That performs power saving control based on the eye open / closed state (second
Embodiment 3) and the one that performs power saving control based on the face direction (third embodiment) have been described, but the face direction, the eye open / closed state, and the line-of-sight direction are detected together. ,
Power saving control may be performed.
【００５８】又、本実施の形態では、表示装置に於ける
省電力制御について説明したが、これに限るものではな
い。Although the present embodiment has described the power saving control in the display device, the present invention is not limited to this.
【００５９】[0059]
【発明の効果】本発明を用いると、ユーザが表示部を所
定時間以上見ていないと判断できる場合に省電力化が図
られるため、こまめな節電ができ、消費電力を抑えるこ
とができる。特にディプレイは電力消費量が大きく、実
際にディスプイを見ている時間は短く、見ていない間の
無駄な電力消費を抑えることができ、省エネルギー効果
が顕著に現れる。According to the present invention, power can be saved when it can be determined that the user has not watched the display unit for a predetermined time or more, so that frequent power saving can be achieved and power consumption can be suppressed. In particular, the display consumes a large amount of power, and the time during which the user is actually watching the display is short, so that unnecessary power consumption during the time when the display is not being viewed can be suppressed, and the energy saving effect is remarkably exhibited.
【００６０】又、ユーザの視線方向や顔向き方向、目の
開閉状態に基づいて省電力制御されるため、ユーザは表
示部が消えている等の省電力制御に気づくことなく、ユ
ーザの作業に支障をきたすことなく消費電力を抑えるこ
とができる。更に、携帯情報端末に用いると、省電力化
が図られるため、携帯情報端末の動作可能時間が長くな
り使用し易くなる。Further, since the power saving control is performed based on the user's gaze direction, face direction, and eye open / closed state, the user can perform the user's work without noticing the power saving control such as the display section being turned off. Power consumption can be reduced without any trouble. Furthermore, when used for a portable information terminal, power saving is achieved, so that the operable time of the portable information terminal becomes longer and the portable information terminal becomes easier to use.
【図１】本発明の省電力制御を行う装置の第１の実施の
形態を示す機能ブロック図である。FIG. 1 is a functional block diagram showing a first embodiment of an apparatus for performing power saving control according to the present invention.
【図２】本発明の省電力制御を行う装置の一実施の形態
を示す図である。FIG. 2 is a diagram showing an embodiment of an apparatus for performing power saving control according to the present invention.
【図３】本発明の省電力制御処理の第１の実施の形態を
示すフローチャートである。FIG. 3 is a flowchart showing a first embodiment of a power saving control process of the present invention.
【図４】本発明の省電力制御処理の第２の実施の形態を
示すフローチャートである。FIG. 4 is a flowchart illustrating a power saving control process according to a second embodiment of the present invention.
【図５】本発明の省電力制御を行う装置の第２の実施の
形態を示す機能ブロック図である。FIG. 5 is a functional block diagram showing a second embodiment of the device for performing power saving control according to the present invention.
【図６】本発明の省電力制御処理の第２の実施の形態を
示すフローチャートである。FIG. 6 is a flowchart illustrating a power saving control process according to a second embodiment of the present invention.
【図７】本発明の顔向き検出を行う機能ブロックの一実
施の形態を示す図である。FIG. 7 is a diagram showing an embodiment of a functional block for performing face direction detection according to the present invention.
【図８】本発明の顔向き検出処理の一実施例を示すフロ
ーチャートである。FIG. 8 is a flowchart illustrating an embodiment of a face direction detection process according to the present invention.
【図９】本発明の顔向き検出に用いる顔の相対位置の一
実施の形態を示す模式図である。FIG. 9 is a schematic diagram showing an embodiment of a relative position of a face used for face direction detection according to the present invention.
【図１０】本実施の形態の顔向き特徴点の一例を示す模
式図である。FIG. 10 is a schematic diagram showing an example of a face direction feature point according to the present embodiment.
１０ カメラ １２ 視線検出部 １４ 表示制御部 １６ 表示部 ５２ 顔向き検出部 ７３ 肌色抽出部 ７５ 顔特徴点抽出部 ７７ 顔向抽出部 ７９ パラメータ記憶部 ＲＥ 右目位置 ＬＥ 左目位置 ＣＥ 両目中点 Ｍ 口位置 ＦＧ 特徴重心点 ＳＧ 肌色重心点 DESCRIPTION OF SYMBOLS 10 Camera 12 Gaze detection part 14 Display control part 16 Display part 52 Face direction detection part 73 Skin color extraction part 75 Face feature point extraction part 77 Face direction extraction part 79 Parameter storage part RE Right eye position LE Left eye position CE Middle point of both eyes M Mouth position FG feature center of gravity SG Skin color center of gravity
Claims (36)
ることを特徴とする省電力制御方法。1. A power saving control method, wherein power saving control can be performed based on face operation information.
省電力制御方法。2. The power saving control method according to claim 1, wherein the face motion information is a gaze direction.
る省電力制御方法。3. The power saving control method according to claim 1, wherein the face motion information is a face direction.
する省電力制御方法。4. The power saving control method according to claim 1, wherein the facial movement information is an eye open / closed state.
とを特徴とする省電力制御方法。5. The power saving control method according to claim 1, wherein the face motion information is a gaze direction and a face direction.
ことを特徴とする省電力制御方法。6. A power saving control method in a device having a display area, wherein power saving control is performed when the line of sight is out of the display area.
うことを特徴とする省電力制御方法。7. A power saving control method in a device having a display area, wherein power saving control is performed when a face direction is out of the display area.
制御方法。8. A power saving control method in a device having a display area, wherein power saving control is performed when eyes are closed.
電力制御を行うことを特徴とする省電力制御方法。9. A power saving control method in a device having a display area, wherein power saving control is performed when a line of sight direction and a face direction are outside the display area.
い、視線方向が前記表示領域内に戻ると省電力制御を停
止することを特徴とする省電力制御方法。10. An apparatus having a display area, wherein power saving control is performed when the line of sight is out of the display area, and the power saving control is stopped when the line of sight returns to within the display area. Power saving control method.
い、顔向き方向が前記表示領域内に戻ると省電力制御を
停止することを特徴とする省電力制御方法。11. In an apparatus having a display area, power saving control is performed when the face direction is out of the display area, and the power saving control is stopped when the face direction returns to within the display area. Characteristic power saving control method.
を停止することを特徴とする省電力制御方法。12. A power saving control method in a device having a display area, wherein power saving control is performed when the eyes are closed and power saving control is stopped when the eyes are opened.
電力制御を行い、視線方向及び顔向き方向が前記表示領
域内に戻ると省電力制御を停止することを特徴とする省
電力制御方法。13. In a device having a display area, power saving control is performed when the gaze direction and the face direction are out of the display area, and power saving is performed when the gaze direction and the face direction return to within the display area. A power saving control method characterized by stopping control.
い、顔向き方向が前記表示領域内に戻ると予測された場
合に省電力制御を停止することを特徴とする省電力制御
方法。14. An apparatus having a display area, wherein power saving control is performed when the face direction is out of the display area, and power saving control is performed when the face direction is predicted to return to within the display area. And stopping the power.
省電力制御を行うことを特徴とする省電力制御方法。15. The power saving control method according to claim 6, wherein the power saving control is performed when the line of sight is outside the display area for a predetermined time or more.
４に於いて、 前記顔向き方向が所定時間以上前記表示領域以外になる
と省電力制御を行うことを特徴とする省電力制御方法。16. The method according to claim 7 or claim 11 or claim 1.
4. The power saving control method according to 4, wherein the power saving control is performed when the face direction is outside the display area for a predetermined time or more.
とする省電力制御方法。17. The power saving control method according to claim 8, wherein the power saving control is performed when the eyes are closed for a predetermined time or more.
示領域以外になると省電力制御を行うことを特徴とする
省電力制御方法。18. The power-saving control method according to claim 9, wherein the power-saving control is performed when the line-of-sight direction and the face direction are outside the display area for a predetermined time or more.
於いて、 前記省電力制御は、前記表示領域を備えた装置の電源を
オフすることを特徴とする省電力制御方法。19. The power saving control method according to claim 6, wherein the power saving control is performed by turning off a power supply of an apparatus including the display area.
於いて、 前記省電力制御は、前記表示領域のみ省電力制御を行う
ことを特徴とする省電力制御方法。20. The power saving control method according to claim 6, wherein the power saving control is performed only in the display area.
於いて、 前記表示領域を備えた装置は、ディスプレイであること
を特徴とする省電力制御方法。21. The power saving control method according to claim 6, wherein the device provided with the display area is a display.
する視線検出手段と、 該視線検出手段により検出された視線方向に基づき省電
力制御を行う省電力制御手段とを備えたことを特徴とす
る省電力制御装置。22. Imaging means for imaging a face, gaze detection means for detecting a gaze direction from a face image taken by the imaging means, and power saving control based on the gaze direction detected by the gaze detection means A power saving control device comprising power saving control means.
出する顔向き検出手段と、 該顔向き検出手段により検出された顔向き方向に基づき
省電力制御を行う省電力制御手段とを備えたことを特徴
とする省電力制御装置。23. An image pickup means for picking up a face, a face direction detection means for detecting a face direction from a face image picked up by the image pickup means, and a face direction detected by the face direction detection means. A power saving control device comprising: power saving control means for performing power control.
検出する検出手段と、 該検出手段により検出された目の開閉状態に基づき省電
力制御を行う省電力制御手段とを備えたことを特徴とす
る省電力制御装置。24. An image pickup means for picking up a face, a detection means for detecting the open / closed state of the eyes from the face image picked up by the image pickup means, and a power saving control based on the open / closed state of the eyes detected by the detection means And a power-saving control unit for performing the power-saving control.
れた視線方向が前記表示手段の表示領域以外になると省
電力制御を行うことを特徴とする省電力制御装置。25. The display device according to claim 22, further comprising display means for displaying an image, wherein said power saving control means saves power when a line-of-sight direction detected by said line-of-sight detection means is out of a display area of said display means. A power saving control device that performs control.
された顔向き方向が前記表示手段の表示領域以外になる
と省電力制御を行うことを特徴とする省電力制御装置。26. The display device according to claim 23, further comprising: display means for displaying an image, wherein the power saving control means determines that a face direction detected by the face direction detection means is outside a display area of the display means. A power saving control device that performs power saving control.
が検出されると省電力制御を行うことを特徴とする省電
力制御装置。27. The power-saving control apparatus according to claim 24, wherein the power-saving control means performs power-saving control when the detecting means detects the closed state of the eyes.
記視線方向が前記表示領域内に戻ると前記省電力制御を
停止することを特徴とする省電力制御装置。28. The apparatus according to claim 25, wherein the power saving control means stops the power saving control when the line of sight returns to the display area after performing the power saving control. Power saving control device.
記顔向き方向が前記表示領域内に戻ると前記省電力制御
を停止することを特徴とする省電力制御装置。29. The power-saving control unit according to claim 26, wherein after performing the power-saving control, when the face direction returns to the display area, the power-saving control is stopped. Power saving control device.
記目の開状態が検出されると前記省電力制御を停止する
ことを特徴とする省電力制御装置。30. The power-saving control unit according to claim 27, wherein after the power-saving control is performed, the power-saving control is stopped when the eye open state is detected. Power saving control device.
省電力制御を行うことを特徴とする省電力制御装置。31. The power saving control device according to claim 25, wherein the power saving control is performed when the line of sight is outside the display area for a predetermined time or more.
と省電力制御を行うことを特徴とする省電力制御装置。32. The power saving control device according to claim 26, wherein the power saving control is performed when the face direction is outside the display area for a predetermined time or more.
うことを特徴とする省電力制御装置。33. The power-saving control device according to claim 27, wherein the power-saving control is performed when the closed state of the eyes is longer than a predetermined time.
に於いて、 前記省電力制御は、前記表示手段の電源をオフすること
を特徴とする省電力制御装置。34. The power saving control device according to claim 25, wherein the power saving control turns off the power of the display unit.
に於いて、 前記省電力制御は、前記表示領域のみ省電力制御を行う
ことを特徴とする省電力制御装置。35. The power-saving control device according to claim 25, wherein the power-saving control performs power-saving control only on the display area.
に於いて、 前記表示領域を備えた装置は、ディスプレイであること
を特徴とする省電力制御装置。36. The power saving control device according to claim 25, wherein the device provided with the display area is a display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10083275A JPH11288259A (en) | 1998-02-06 | 1998-03-30 | Method and device for power saving control |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-26010 | 1998-02-06 | ||
| JP2601098 | 1998-02-06 | ||
| JP10083275A JPH11288259A (en) | 1998-02-06 | 1998-03-30 | Method and device for power saving control |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11288259A true JPH11288259A (en) | 1999-10-19 |
Family
ID=26363732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10083275A Pending JPH11288259A (en) | 1998-02-06 | 1998-03-30 | Method and device for power saving control |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11288259A (en) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335501A (en) * | 2001-05-10 | 2002-11-22 | Mitsubishi Electric Corp | Portable display device |
| WO2004091199A1 (en) * | 2003-04-08 | 2004-10-21 | Sony Corporation | Reproduction device and reproduction method |
| WO2005048091A1 (en) * | 2003-11-17 | 2005-05-26 | Sony Computer Entertainment Inc. | Image display |
| JP2005221907A (en) * | 2004-02-09 | 2005-08-18 | Sanyo Electric Co Ltd | Display device |
| JP2005266868A (en) * | 2004-03-16 | 2005-09-29 | National Univ Corp Shizuoka Univ | Method for detecting direction of head part using pupil and nostril |
| JP2005275046A (en) * | 2004-03-25 | 2005-10-06 | Matsushita Electric Ind Co Ltd | Picture display device and picture display method |
| JP2006003787A (en) * | 2004-06-21 | 2006-01-05 | Fujitsu Ten Ltd | Display control device |
| JP2006060353A (en) * | 2004-08-18 | 2006-03-02 | Matsushita Electric Ind Co Ltd | Television receiver |
| JP2008111886A (en) * | 2006-10-27 | 2008-05-15 | Digital Electronics Corp | Automatic door, screen display apparatus, screen display control program, and computer readable recording medium recorded with the program |
| JP2008292753A (en) * | 2007-05-24 | 2008-12-04 | Denso Corp | Information display device |
| JP2009020663A (en) * | 2007-07-11 | 2009-01-29 | Nec Personal Products Co Ltd | Information processor |
| JP2009267644A (en) * | 2008-04-23 | 2009-11-12 | Sony Ericsson Mobilecommunications Japan Inc | Portable terminal, and display control method and display control program therefor |
| JP2010009502A (en) * | 2008-06-30 | 2010-01-14 | Nec Corp | Mobile terminal, display operation control method, and display control program |
| CN101894502A (en) * | 2009-05-19 | 2010-11-24 | 日立民用电子株式会社 | Image display device |
| JP2010273276A (en) * | 2009-05-25 | 2010-12-02 | Car Mate Mfg Co Ltd | Television control device |
| JP2011012907A (en) * | 2009-07-03 | 2011-01-20 | Fujitsu General Ltd | Air conditioner |
| WO2011027696A1 (en) * | 2009-09-07 | 2011-03-10 | ソニー株式会社 | Display device and method for controlling same |
| WO2011033877A1 (en) * | 2009-09-16 | 2011-03-24 | 日本電気株式会社 | Mobile information device and display control method |
| JP2011123763A (en) * | 2009-12-11 | 2011-06-23 | Lenovo Singapore Pte Ltd | Power control device, power control method, and computer-executable program |
| US20110234784A1 (en) * | 2010-03-23 | 2011-09-29 | Panasonic Corporation | Display device, display method, program, and recording medium |
| US20110235839A1 (en) * | 2010-03-26 | 2011-09-29 | Panasonic Corporation | Acoustic apparatus |
| JPWO2010021373A1 (en) * | 2008-08-22 | 2012-01-26 | ソニー株式会社 | Image display apparatus, control method, and computer program |
| JP2012168993A (en) * | 2012-06-14 | 2012-09-06 | Sony Corp | Information processing apparatus and method, program, and recording medium |
| JP2013109430A (en) * | 2011-11-18 | 2013-06-06 | Lenovo Singapore Pte Ltd | Detection method of face direction and information processing instrument |
| JP2013137562A (en) * | 2013-02-18 | 2013-07-11 | Kyocera Corp | Display device |
| WO2014010869A1 (en) * | 2012-07-09 | 2014-01-16 | 인텔렉추얼 디스커버리 주식회사 | Smart tv automatically controlled according to user position and state |
| JP2014041642A (en) * | 2013-10-16 | 2014-03-06 | Nec Corp | Portable terminal, display operation control method, and display control program |
| JP2014098761A (en) * | 2012-11-13 | 2014-05-29 | Rb Controls Co | Bathroom liquid crystal television device |
| CN104063272A (en) * | 2013-03-21 | 2014-09-24 | 卡西欧计算机株式会社 | Portable Terminal And Method For Managing Data In Portable Terminal |
| WO2015131556A1 (en) * | 2014-03-07 | 2015-09-11 | 京东方科技集团股份有限公司 | Power control method for display device and display device |
| JP2016517087A (en) * | 2013-03-14 | 2016-06-09 | クアルコム，インコーポレイテッド | System and method for device interaction based on detected gaze |
| JP2017021763A (en) * | 2015-07-07 | 2017-01-26 | ワイドバンテージ インコーポレイティド | Terminal and method of operating terminal |
| JP2018022958A (en) * | 2016-08-01 | 2018-02-08 | 株式会社デンソー | Vehicle display controller and vehicle monitor system |
| JP2018141965A (en) * | 2017-02-24 | 2018-09-13 | 株式会社半導体エネルギー研究所 | Information terminal, display device, and image processing system |
| JP2019155643A (en) * | 2018-03-08 | 2019-09-19 | 大日本印刷株式会社 | Photograph image printing system |
| WO2022208797A1 (en) * | 2021-03-31 | 2022-10-06 | マクセル株式会社 | Information display device and method |
| JP2022553581A (en) * | 2019-11-05 | 2022-12-23 | マイクロン テクノロジー，インク． | User interface based in part on eye movements |
| JP2023084910A (en) * | 2021-12-08 | 2023-06-20 | レノボ・シンガポール・プライベート・リミテッド | Electronic apparatus and control method |
| JP2024016429A (en) * | 2022-07-26 | 2024-02-07 | レノボ・シンガポール・プライベート・リミテッド | Information processing device and control method |
-
1998
- 1998-03-30 JP JP10083275A patent/JPH11288259A/en active Pending
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335501A (en) * | 2001-05-10 | 2002-11-22 | Mitsubishi Electric Corp | Portable display device |
| EP1613069B1 (en) * | 2003-04-08 | 2020-02-26 | Sony Corporation | Reproduction device and reproduction method |
| WO2004091199A1 (en) * | 2003-04-08 | 2004-10-21 | Sony Corporation | Reproduction device and reproduction method |
| US7415191B2 (en) | 2003-04-08 | 2008-08-19 | Sony Corporation | Reproduction device and reproduction method |
| WO2005048091A1 (en) * | 2003-11-17 | 2005-05-26 | Sony Computer Entertainment Inc. | Image display |
| JP2005221907A (en) * | 2004-02-09 | 2005-08-18 | Sanyo Electric Co Ltd | Display device |
| JP2005266868A (en) * | 2004-03-16 | 2005-09-29 | National Univ Corp Shizuoka Univ | Method for detecting direction of head part using pupil and nostril |
| JP2005275046A (en) * | 2004-03-25 | 2005-10-06 | Matsushita Electric Ind Co Ltd | Picture display device and picture display method |
| JP2006003787A (en) * | 2004-06-21 | 2006-01-05 | Fujitsu Ten Ltd | Display control device |
| JP2006060353A (en) * | 2004-08-18 | 2006-03-02 | Matsushita Electric Ind Co Ltd | Television receiver |
| JP2008111886A (en) * | 2006-10-27 | 2008-05-15 | Digital Electronics Corp | Automatic door, screen display apparatus, screen display control program, and computer readable recording medium recorded with the program |
| JP2008292753A (en) * | 2007-05-24 | 2008-12-04 | Denso Corp | Information display device |
| JP2009020663A (en) * | 2007-07-11 | 2009-01-29 | Nec Personal Products Co Ltd | Information processor |
| JP2009267644A (en) * | 2008-04-23 | 2009-11-12 | Sony Ericsson Mobilecommunications Japan Inc | Portable terminal, and display control method and display control program therefor |
| JP2010009502A (en) * | 2008-06-30 | 2010-01-14 | Nec Corp | Mobile terminal, display operation control method, and display control program |
| JP5553022B2 (en) * | 2008-08-22 | 2014-07-16 | ソニー株式会社 | Image display apparatus, control method, and computer program |
| US9104408B2 (en) | 2008-08-22 | 2015-08-11 | Sony Corporation | Image display device, control method and computer program |
| JPWO2010021373A1 (en) * | 2008-08-22 | 2012-01-26 | ソニー株式会社 | Image display apparatus, control method, and computer program |
| CN101894502A (en) * | 2009-05-19 | 2010-11-24 | 日立民用电子株式会社 | Image display device |
| JP2010273276A (en) * | 2009-05-25 | 2010-12-02 | Car Mate Mfg Co Ltd | Television control device |
| JP2011012907A (en) * | 2009-07-03 | 2011-01-20 | Fujitsu General Ltd | Air conditioner |
| JP2011061300A (en) * | 2009-09-07 | 2011-03-24 | Sony Corp | Display device and control method |
| US9426406B2 (en) | 2009-09-07 | 2016-08-23 | Sony Corporation | Display device and control method |
| US10290281B2 (en) | 2009-09-07 | 2019-05-14 | Saturn Licensing Llc | Display device and control method |
| WO2011027696A1 (en) * | 2009-09-07 | 2011-03-10 | ソニー株式会社 | Display device and method for controlling same |
| WO2011033877A1 (en) * | 2009-09-16 | 2011-03-24 | 日本電気株式会社 | Mobile information device and display control method |
| JPWO2011033877A1 (en) * | 2009-09-16 | 2013-02-14 | 日本電気株式会社 | Portable information device and display control method |
| KR101351166B1 (en) * | 2009-09-16 | 2014-01-14 | 닛본 덴끼 가부시끼가이샤 | Mobile information device and display control method |
| US8786581B2 (en) | 2009-09-16 | 2014-07-22 | Nec Corporation | Mobile information apparatus and display control method |
| US9390683B2 (en) | 2009-09-16 | 2016-07-12 | Nec Corporation | Mobile information apparatus and display control method |
| JP5630438B2 (en) * | 2009-09-16 | 2014-11-26 | 日本電気株式会社 | Portable information device and display control method |
| JP2011123763A (en) * | 2009-12-11 | 2011-06-23 | Lenovo Singapore Pte Ltd | Power control device, power control method, and computer-executable program |
| US20110234784A1 (en) * | 2010-03-23 | 2011-09-29 | Panasonic Corporation | Display device, display method, program, and recording medium |
| US20110235839A1 (en) * | 2010-03-26 | 2011-09-29 | Panasonic Corporation | Acoustic apparatus |
| US8792666B2 (en) * | 2010-03-26 | 2014-07-29 | Panasonic Corporation | Acoustic apparatus |
| JP2013109430A (en) * | 2011-11-18 | 2013-06-06 | Lenovo Singapore Pte Ltd | Detection method of face direction and information processing instrument |
| JP2012168993A (en) * | 2012-06-14 | 2012-09-06 | Sony Corp | Information processing apparatus and method, program, and recording medium |
| WO2014010869A1 (en) * | 2012-07-09 | 2014-01-16 | 인텔렉추얼 디스커버리 주식회사 | Smart tv automatically controlled according to user position and state |
| JP2014098761A (en) * | 2012-11-13 | 2014-05-29 | Rb Controls Co | Bathroom liquid crystal television device |
| JP2013137562A (en) * | 2013-02-18 | 2013-07-11 | Kyocera Corp | Display device |
| US10216266B2 (en) | 2013-03-14 | 2019-02-26 | Qualcomm Incorporated | Systems and methods for device interaction based on a detected gaze |
| JP2016517087A (en) * | 2013-03-14 | 2016-06-09 | クアルコム，インコーポレイテッド | System and method for device interaction based on detected gaze |
| CN104063272A (en) * | 2013-03-21 | 2014-09-24 | 卡西欧计算机株式会社 | Portable Terminal And Method For Managing Data In Portable Terminal |
| CN104063272B (en) * | 2013-03-21 | 2018-05-11 | 卡西欧计算机株式会社 | The data managing method of portable terminal device, portable terminal device |
| JP2014041642A (en) * | 2013-10-16 | 2014-03-06 | Nec Corp | Portable terminal, display operation control method, and display control program |
| WO2015131556A1 (en) * | 2014-03-07 | 2015-09-11 | 京东方科技集团股份有限公司 | Power control method for display device and display device |
| US9632558B2 (en) | 2014-03-07 | 2017-04-25 | Boe Technology Group Co., Ltd. | Power supply control method for display device and display device |
| JP2017021763A (en) * | 2015-07-07 | 2017-01-26 | ワイドバンテージ インコーポレイティド | Terminal and method of operating terminal |
| JP2018022958A (en) * | 2016-08-01 | 2018-02-08 | 株式会社デンソー | Vehicle display controller and vehicle monitor system |
| JP2018141965A (en) * | 2017-02-24 | 2018-09-13 | 株式会社半導体エネルギー研究所 | Information terminal, display device, and image processing system |
| JP2019155643A (en) * | 2018-03-08 | 2019-09-19 | 大日本印刷株式会社 | Photograph image printing system |
| JP2022553581A (en) * | 2019-11-05 | 2022-12-23 | マイクロン テクノロジー，インク． | User interface based in part on eye movements |
| WO2022208797A1 (en) * | 2021-03-31 | 2022-10-06 | マクセル株式会社 | Information display device and method |
| JP2023084910A (en) * | 2021-12-08 | 2023-06-20 | レノボ・シンガポール・プライベート・リミテッド | Electronic apparatus and control method |
| US12086628B2 (en) | 2021-12-08 | 2024-09-10 | Lenovo (Singapore) Pte. Ltd. | Electronic apparatus and control method |
| JP2024016429A (en) * | 2022-07-26 | 2024-02-07 | レノボ・シンガポール・プライベート・リミテッド | Information processing device and control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11288259A (en) | Method and device for power saving control | |
| EP3608755B1 (en) | Electronic apparatus operated by head movement and operation method thereof | |
| JP4377472B2 (en) | Face image processing device | |
| KR100556856B1 (en) | Screen control method and apparatus in mobile telecommunication terminal equipment | |
| CN101470460B (en) | Method for sight protection when using computer, and computer thereof | |
| JP3454726B2 (en) | Face orientation detection method and apparatus | |
| US20060147192A1 (en) | Best shooting moment selectable digital camera apparatus | |
| CN108090908B (en) | Image segmentation method, device, terminal and storage medium | |
| JPH11242733A (en) | Power saving controller | |
| CN104137028A (en) | Device and method for controlling rotation of displayed image | |
| US20060265442A1 (en) | Method and system for controlling a user interface a corresponding device and software devices for implementing the method | |
| CN101656060A (en) | Energy saving system and method for screen display | |
| CN1980384A (en) | Space mobile-object locking aim-searching device and method | |
| US20220004748A1 (en) | Video display method, device and system, and video camera | |
| US11816924B2 (en) | Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium | |
| CN107436681A (en) | Automatically adjust the mobile terminal and its method of the display size of word | |
| CN112183200A (en) | Eye movement tracking method and system based on video image | |
| KR20220054157A (en) | Method of providing photographing guide and system therefor | |
| CN104376323A (en) | Object distance determining method and device | |
| US20220006950A1 (en) | Positioning method for facial image of smart mirror | |
| JPWO2022074865A5 (en) | LIFE DETECTION DEVICE, CONTROL METHOD, AND PROGRAM | |
| Hanna et al. | A System for Non-Intrusive Human Iris Acquisition and Identification. | |
| JP3796019B2 (en) | Gaze detection device | |
| CN110673720A (en) | Eye protection display method and learning machine with eye protection mode | |
| JP2017173455A (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040406 |