WO2014103391A1 - 顔検出装置及びその検出方法並びに表示装置 - Google Patents

顔検出装置及びその検出方法並びに表示装置 Download PDF

Info

Publication number
WO2014103391A1
WO2014103391A1 PCT/JP2013/059273 JP2013059273W WO2014103391A1 WO 2014103391 A1 WO2014103391 A1 WO 2014103391A1 JP 2013059273 W JP2013059273 W JP 2013059273W WO 2014103391 A1 WO2014103391 A1 WO 2014103391A1
Authority
WO
WIPO (PCT)
Prior art keywords
gain
image sensor
image
face detection
face
Prior art date
Application number
PCT/JP2013/059273
Other languages
English (en)
French (fr)
Inventor
孝史 稲垣
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Publication of WO2014103391A1 publication Critical patent/WO2014103391A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Definitions

  • Embodiments described herein relate generally to a face detection device, a detection method thereof, and a display device.
  • a three-dimensional feeling can be obtained.
  • a method of wearing a 3D image glasses-type device to the viewer.
  • autostereoscopic techniques have been developed in which the display direction of the right image and the left image is changed to show the right image to the right eye of the viewer and the left image to the left eye.
  • a face detection device may be employed to determine the position of the eyes of the viewer.
  • the face detection function is used in various scenes such as face tracking of an autostereoscopic display device.
  • the face detection device uses the image output from the image sensor to determine the position of the face by recognizing the face of the viewer looking at the display device, for example.
  • face recognition may be disabled. For example, when viewing a relatively large display, the distance between the image sensor attached to the display and the face of the viewer is relatively large, and face recognition becomes difficult for images that are too dark or too bright.
  • the gain is changed according to the brightness of the image displayed on the display or the brightness of the environment in front of the display.
  • the brightness of the face portion of the image from the image sensor may be locally dark or bright. In this case, there is a problem in that appropriate gain adjustment is not performed and the accuracy of face detection may be reduced.
  • the face detection apparatus includes a face detection unit that performs image processing on a captured image from an image sensor to detect a face in the captured image, an image sensor control unit that changes a gain of the image sensor every predetermined period, and It comprises.
  • FIG. 1 is a block diagram showing a face detection apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a television receiver to which the face detection device of this embodiment is applied.
  • FIG. 3A is an explanatory diagram illustrating an example of a captured image from the image sensor 11.
  • FIG. 3B is an explanatory diagram illustrating an example of a captured image from the image sensor 11.
  • FIG. 4 is a flowchart for explaining the operation in the first embodiment.
  • FIG. 5 is an explanatory diagram for explaining the gain control of the image sensor 11 in the first embodiment.
  • FIG. 6 is a block diagram showing a second embodiment of the present invention.
  • FIG. 7 is a flowchart for explaining the operation in the second embodiment.
  • FIG. 8 is an explanatory diagram for explaining gain control of the image sensor 11 according to the second embodiment.
  • FIG. 1 is a block diagram showing a face detection apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a television receiver to which the face detection apparatus of this embodiment is applied.
  • the television receiver 1 is configured to be capable of autostereoscopic viewing.
  • a broadcast signal of digital broadcasting induced in the antenna 2 is input to the tuner and demodulator 3 of the television receiver 1.
  • the tuner and demodulator 3 selects a broadcast signal of a desired channel from the broadcast signals, and demodulates the selected signal corresponding to each digital broadcast modulation method.
  • a terrestrial digital broadcast signal is demodulated into a digital video signal and audio signal by OFDM (Orthogonal Frequency Division Multiplexing) demodulation processing to obtain a demodulated signal in the transport stream (TS) format.
  • OFDM Orthogonal Frequency Division Multiplexing
  • the transport stream from the tuner and demodulator 3 is supplied to the TS separation controller 4.
  • the TS separation control unit 4 performs transport stream separation processing and outputs the video stream to the video processing unit 5.
  • the video processing unit 5 performs MPEG (Moving / Picture / Experts / Group) decoding processing on the input video stream, and performs predetermined digital signal processing to obtain a video signal.
  • the video processing unit 5 outputs this video signal to the display panel 21 and also to the face detection device 10.
  • the display panel 21 has a pixel array for 3D display, and can restrict the traveling direction of the light of the right image and the light of the left image from each pixel.
  • the right image can be shown to the viewer's right eye and the left image can be shown to the viewer's left eye.
  • the display panel 21 is given a face detection result indicating the number of viewers and the position of the face from the face detection device 10, and determines the traveling direction of the right image and the left image according to the face detection result. It has become.
  • the face detection device 10 detects the number of viewers and the position of the face based on the output from the image sensor 11 and the output from the video processing unit 5, and outputs the detection result to the display panel 21.
  • the image sensor 11 is arranged in the vicinity of the television receiver 1, takes a picture of a position where a viewer who sees the display screen of the display panel 21 is assumed to be present, and takes a captured image as the face detection device 10. To output.
  • the face detection apparatus 10 includes an image sensor control unit 12 that controls the image sensor 11.
  • the image sensor 11 is photographed under the control of the image sensor control unit 12.
  • the captured image from the image sensor 11 is given to the face detection unit 13.
  • the face detection unit 13 performs face recognition processing using a known face recognition method on the captured image from the image sensor 11 to detect the position of the face in the captured image.
  • the face detection unit 13 outputs information on the number of faces (number of persons) detected in the captured image and the positions of the detected faces, particularly the positions (coordinates) of the right and left eyes, to the display panel 21 as face detection results.
  • the display panel 21 can display the left and right images from the video processing unit 5 toward the left and right eyes of the viewer.
  • the captured image from the image sensor 11 and the face detection result from the face detection unit 13 are also supplied to the synthesis unit 14.
  • the synthesizer 14 synthesizes the captured image from the image sensor 11 and the face detection result and outputs the synthesized result to the display panel 21. Thereby, on the display panel 21, the captured image taken for the face detection and the face detection result can be displayed superimposed on the image based on the broadcast signal.
  • the video signal from the video processing unit 5 is given to the image sensor control unit 12 as an image input.
  • the image sensor control unit 12 calculates the brightness of each screen based on the image input, and obtains a gain (hereinafter referred to as a reference gain) to be set in the image sensor 11 according to the calculated brightness.
  • the image sensor control unit 12 generates gain information for controlling the gain of the image sensor 11 and supplies the gain information to the image sensor 11.
  • the image sensor 11 sets the gain of the captured image output based on the gain information. Thereby, the brightness of the captured image from the image sensor 11 is controlled according to the brightness of the image displayed on the display panel 21, and the face recognition accuracy in the face detection unit 13 can be improved.
  • the output gain of the image sensor 11 is a gain including the gain at the time of photoelectric conversion of the image sensor 11 and the gain of the output unit of the image sensor 11.
  • the image sensor control unit 12 appropriately sets these gains. Outputs gain information to be controlled.
  • the image sensor control unit 12 generates gain information based on the gain control information stored in the setting storage unit 15 so as to change the gain of the image sensor 11 for each predetermined period. It has become.
  • the image sensor control unit 12 changes the gain of the image sensor 11 for each frame of the captured image from the image sensor 11.
  • the setting storage unit 15 stores gain control information for setting the gain of the image sensor 11 in the image sensor control unit 12.
  • the gain control information information such as a rate at which the gain is changed per unit period, a gain change period, and the like can be considered.
  • the image sensor control unit 12 raises and lowers the gain of the image sensor 11 from the reference gain based on the brightness of the screen in accordance with the gain control information, and repeats the gain change at a predetermined cycle.
  • the image sensor control unit 12 changes the gain between a maximum gain larger than the reference gain and a minimum gain smaller than the reference gain with a predetermined change width every predetermined period. The gain is returned to the original reference gain in one adjustment period, and this gain control is repeated thereafter.
  • the face detection processing in the face detection unit 13 is often effective if there is an appropriate image of about 1 frame at a frame rate of about 10 fps, for example. Therefore, the image sensor control unit 12 adjusts the gain adjustment of the image output from the image sensor 11 to be larger / smaller with respect to the illuminance of the entire screen for each frame or specified frame. Therefore, within this adjustment period, the brightness of the face portion in the captured image from the image sensor 11 changes, and the timing at which the brightness of the face portion becomes brightness suitable for face detection occurs. Accordingly, it is possible to reliably detect the face within the adjustment period regardless of the brightness including the face portion within the visual field range of the image sensor 11.
  • the gain control information in the setting storage unit 15 can be updated by the image sensor control unit 12 based on an operation of an input device (not shown).
  • FIG. 3A and 3B are explanatory diagrams showing examples of captured images from the image sensor 11,
  • FIG. 4 is a flowchart for explaining the operation in the first embodiment, and
  • FIG. 5 is a flowchart for explaining the first embodiment. It is explanatory drawing for demonstrating the gain control of the image sensor 11 in a form.
  • the broadcast signal is selected and demodulated by the tuner and demodulator 3, and the video stream is separated by the TS separation controller 4 and supplied to the video processor 5.
  • the video processing unit 5 decodes the input video stream and outputs a video signal to the display panel 21. Thus, an image based on the broadcast signal is displayed on the display screen of the display panel 21.
  • the output of the video processing unit 5 is supplied to the face detection device 10 as an image input.
  • the face detection device 10 sets a reference gain corresponding to the brightness of the screen based on the image input as the gain of the image sensor 11.
  • FIG. 3A shows a captured image from the image sensor 11 when the gain of the image sensor 11 is a predetermined appropriate value.
  • FIG. 3A shows that the lamp 31 and the person's face 32 are imaged in the field of view. Most of the right side of the imaging range excluding the face 32 is imaged extremely brightly by the lamp 31. Is shown.
  • FIG. 3B shows that the gain of the output of the image sensor 11 has been lowered and the periphery of the lamp 31 has become appropriately bright, while the face 32 has become extremely dark due to the decrease in gain. . Even if such a captured image is given to the face detection device 10, it is considered that the face 32 cannot be detected.
  • the image sensor control unit 12 raises or lowers the gain of the image sensor 11 from the reference gain in a predetermined time unit, and causes the image sensor 11 to output captured images with various gains in a predetermined cycle.
  • the image sensor control unit 12 acquires gain control information from the setting storage unit 15 in step S1 of FIG.
  • the gain control information includes a gain adjustment flag indicating whether the gain is changed with respect to the reference gain, and whether the gain is increased when the gain adjustment flag is on.
  • An adjustment direction flag indicating whether to decrease, information indicating a gain adjustment range, and the like are conceivable.
  • step S2 the image sensor control unit 12 sets the gain of the image sensor 11 by calculating a reference gain based on the image input.
  • the image sensor control unit 12 determines whether the gain adjustment flag is on (adjusts) or off (does not adjust). When the adjustment flag is on, the image sensor control unit 12 outputs gain information for changing the gain up or down in accordance with the gain adjustment width information based on the value of the gain adjustment direction flag (step S4).
  • step S5 the image sensor control unit 12 resets the gain adjustment flag and the gain adjustment adjustment direction flag in the next frame.
  • the image sensor control unit 12 controls the gain of the image sensor by outputting the set gain as gain information to the image sensor 11.
  • the image sensor 11 outputs a captured image with a gain based on the gain information.
  • the captured image from the image sensor 11 is provided with a reference gain or a gain that changes up and down from the reference gain in units of frames.
  • the upper part of FIG. 5 shows a captured image output with a predetermined initial gain
  • the middle part of FIG. 5 shows a captured image output with a reference gain
  • the lower part of FIG. 5 shows a captured image output with a gain that changes according to gain information.
  • Yes. 5 shows an example in which the brightness of the captured image does not change. However, the brightness of the captured image changes depending on the image displayed on the display panel 21 even if the initial gain is constant. 5 shows an example in which the brightness of the captured image does not change
  • the reference gain also changes depending on the brightness of the image displayed on the display panel 21, and the brightness of the image changes due to the change in the reference gain. It changes.
  • the reference gain control is performed so that the overall brightness of the captured image is appropriate, when the face image portion is locally dark or bright, the face image portion May be too dark or too bright due to gain control.
  • the image sensor 11 is forcibly taken up and down from the reference gain, and the captured image becomes appropriate as a whole. Or darken or brighten. Therefore, even when the face image portion is locally dark or bright, the face image portion is always captured with appropriate brightness within one gain adjustment period.
  • the captured image from the image sensor 11 is supplied to the face detection unit 13.
  • the face detection unit 13 detects a face from the captured image by face recognition processing on the captured image from the image sensor 11, and outputs the number of faces, the position of the face, and the like as a face detection result.
  • the gain is forcibly changed up and down, and face recognition processing is reliably performed on the image portion of the face for any frame regardless of the position of the face in the image.
  • face recognition processing is reliably performed on the image portion of the face for any frame regardless of the position of the face in the image.
  • face detection can be reliably performed for all faces in the captured image.
  • the face detection result from the face detection unit 13 is supplied to the display panel 21.
  • the right image and the left image can be surely shown to the viewer's right eye and left eye, and autostereoscopic viewing is possible.
  • the captured image is obtained by forcibly raising and lowering the gain of the image sensor, and the face can be reliably detected from the captured image obtained in any period. Therefore, even when it is used for detecting the position of the face in autostereoscopic vision, it is possible to reliably detect the position of the face and enable autostereoscopic viewing.
  • FIG. 6 is a block diagram showing a second embodiment of the present invention.
  • the same components as those in FIG. 6 are identical to those in FIG. 6, and the same components as those in FIG. 6;
  • the face detection device 40 in this embodiment is different from the face detection device 10 in FIG. 1 in that an image sensor control unit 41 is used instead of the image sensor control unit 12.
  • the face detection unit 13 is also configured to output the face detection result to the image sensor control unit 41.
  • the image sensor control unit 41 calculates the reference gain based on the image input as well as the image sensor control unit 12 and obtains the gain information based on the gain control information stored in the setting storage unit 15. Further, when the face detection result from the face detection unit 13 indicates that the face detection is successful, the image sensor control unit 41 stops changing the gain of the image sensor 11 and when the face detection is successful. The gain information for maintaining the gain is output.
  • the image sensor control unit 41 may stop the gain fluctuation, for example, during a period when the face detection is successful or during a predetermined period longer than the adjustment period.
  • FIG. 7 is a flowchart for explaining the operation in the second embodiment
  • FIG. 8 is an explanatory diagram for explaining gain control of the image sensor 11 in the second embodiment.
  • step S7 is different from the flow in FIG. 4 in that the face detection result determination process in step S11 is added.
  • step S2 of FIG. 7 the image sensor control unit 41 of the face detection device 40 obtains a reference gain based on, for example, an image input from the video processing unit 5 (see FIG. 2).
  • step S11 the image sensor control unit 41 determines whether face detection is successful. If face detection is not successful, the gain is adjusted in steps S3 to S5, as in the first embodiment.
  • the image sensor control unit 41 when the face detection result indicating that the face detection is successful is given from the face detection unit 13, the image sensor control unit 41 omits the processes of steps S 3 to S 5 and fixes the gain. . In this case, for example, the image sensor control unit 41 outputs the gain information output to the image sensor 11 when the face detection is successful, to the image sensor 11 thereafter.
  • FIG. 8 is for explaining the captured image output in this case.
  • the first stage of FIG. 8 shows the captured image output with a predetermined initial gain
  • the second stage of FIG. 8 shows the captured image output with the reference gain.
  • the third row in FIG. 8 shows the success or failure of face detection by high level (H) or low level (L)
  • the fourth row in FIG. 8 shows captured image output with a gain that changes according to gain information. Show.
  • the captured image from the image sensor 11 is changed depending on the brightness of the image displayed on the display panel 21 and the change of the reference gain.
  • the brightness of can vary.
  • the image sensor 11 is forcibly moved up and down with respect to the reference gain for shooting.
  • the face image portion in the captured image is also darkened or brightened, and the face image portion is always captured with appropriate brightness.
  • the face detection unit 13 can detect the face from the captured image from the image sensor 11.
  • the face detection unit 13 outputs a face detection result indicating that the face detection is successful to the image sensor control unit 41 (the third H period in FIG. 8).
  • the image sensor control unit 41 outputs gain information when the face detection is successful to the image sensor 11.
  • the image sensor 11 subsequently captures an image with an appropriate gain. Thereby, thereafter, the face detection unit 13 can continuously detect the face image.
  • the same effect as that of the first embodiment can be obtained.
  • the image sensor 11 is thereafter fixed at an appropriate gain, so that face detection can be continued.
  • unnecessary adjustment can be suppressed for a certain period, and efficient face tracking can be performed.
  • 5 and 8 show an example of changing to three types of gains in units of one to several frames.
  • the period for changing the gain, the change range, and the period from changing the reference gain to returning to the reference gain again. (1 adjustment period) and the number of gain adjustments within the adjustment period can be set as appropriate.
  • the gain of the image sensor is changed above and below the reference gain based on the image input.
  • the gain of the image sensor is changed within a predetermined gain range. Also good.
  • the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention in the implementation stage. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be obtained as an invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

　実施形態の顔検出装置は、イメージセンサからの撮像画像を画像処理して前記撮像画像中の顔を検出する顔検出部と、前記イメージセンサのゲインを所定期間毎に変化させるイメージセンサ制御部とを具備し、イメージセンサからの撮像画像中の顔部分の明るさを強制的に変化させることで、画像検出精度を向上させて顔検出部おける顔の検出を可能にする

Description

顔検出装置及びその検出方法並びに表示装置
　本発明の実施形態は、顔検出装置及びその検出方法並びに表示装置に関する。
　近年、ディジタル画像処理技術の発達が著しく、高画質化処理だけでなく立体化処理技術の研究も行われている。立体映像を表示する表示装置としては、両眼視差を利用した手法が採用されることが多い。
　左右両眼の視点に対応する視差を持った２画像、即ち、右目用の画像と左目用の画像とを生成し、これらの右画像及び左画像を夫々右目又は左目で見ることによって、画像の立体感を得ることができる。右画像及び左画像を、夫々右目又は左目に見せるために、視者に３Ｄ画像用のメガネ型の装置を装着する方法がある。更に、近年、右画像と左画像の表示方向を変化させて、視者の右目に右画像を見せ、左目に左画像を見せる裸眼立体視の技術も開発されている。この技術においては、視者の目の位置を判定するために顔検出装置が採用されることがある。
　このように、顔検出機能は、裸眼立体表示装置のフェイストラッキングなど、様々なシーンで利用される。顔検出装置は、イメージセンサからの画像出力を使用して、例えば、表示装置を見る視者の顔を画像認識して顔の位置を判定する。しかしながら、検出する顔が暗い場合等においては、顔認識が不能となることがある。例えば、比較的大型のディスプレイを見る場合には、このディスプレイに取り付けたイメージセンサと視者の顔との間の距離が比較的大きく、暗すぎる画像や明るすぎる画像では顔認識が困難となる。
　これに対して、イメージセンサからの画像出力のゲインを変化させることで、顔検出の精度を高める手法が採用されることがある。例えば、ディスプレイに表示された画像の明るさやディスプレイ前面の環境の明るさに応じてゲインを変化させるのである。
　しかしながら、イメージセンサからの画像のうち顔部分の明るさが局所的に暗かったり、明るかったりすることがある。この場合には、適切なゲイン調整が行われず、顔検出の精度が低下することがあるという問題があった。
　実施形態の顔検出装置は、イメージセンサからの撮像画像を画像処理して前記撮像画像中の顔を検出する顔検出部と、前記イメージセンサのゲインを所定期間毎に変化させるイメージセンサ制御部とを具備する。
図１は本発明の第１の実施の形態に係る顔検出装置を示すブロック図である。 図２は本実施の形態の顔検出装置を適用したテレビジョン受信機を示すブロック図である。 図３Ａはイメージセンサ１１からの撮像画像の例を示す説明図である。 図３Ｂはイメージセンサ１１からの撮像画像の例を示す説明図である。 図４は第１の実施の形態における動作を説明するためのフローチャートである。 図５は第１の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図である。 図６は本発明の第２の実施の形態を示すブロック図である。 図７は第２の実施の形態における動作を説明するためのフローチャートである。 図８は第２の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図である。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　図１は本発明の第１の実施の形態に係る顔検出装置を示すブロック図である。また、図２は本実施の形態の顔検出装置を適用したテレビジョン受信機を示すブロック図である。
　図２において、テレビジョン受信機１は、裸眼立体視可能に構成されている。テレビジョン受信機１のチューナ及び復調部３には、アンテナ２に誘起したデジタル放送の放送信号が入力される。チューナ及び復調部３は、放送信号の中から所望のチャンネルの放送信号を選局し、選局した信号を各々のデジタル放送の変調方式に対応して復調する。このチューナ及び復調部３によって、例えば、地上デジタル放送信号はＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調処理によって、デジタルの映像信号及び音声信号に復調され、トランスポートストリーム（ＴＳ）形式の復調信号が得られる。
　チューナ及び復調部３からのトランスポートストリームは、ＴＳ分離制御部４に供給される。ＴＳ分離制御部４は、トランスポートストリームの分離処理を行い、映像ストリームを映像処理部５に出力する。映像処理部５は、入力された映像ストリームに対して、ＭＰＥＧ（Moving Picture Experts Group）デコード処理を行い、所定のデジタル信号処理を施して映像信号を得る。映像処理部５は、この映像信号を表示パネル２１に出力すると共に、顔検出装置１０にも出力する。
　表示パネル２１は、３Ｄ表示用の画素配列を有しており、各画素からの右画像の光及び左画像の光の進行方向を制限することが可能である。これにより、右画像を視聴者の右目に見せ、左画像を視聴者の左目に見せることが可能である。この場合において、表示パネル２１は、顔検出装置１０から視聴者人数や顔の位置を示す顔検出結果が与えられ、この顔検出結果に応じて右画像及び左画像の進行方向を決定するようになっている。
　顔検出装置１０は、イメージセンサ１１からの出力及び映像処理部５からの出力に基づいて、視聴者の人数及び顔の位置を検出して検出結果を表示パネル２１に出力する。イメージセンサ１１は、例えば、テレビジョン受信機１の近傍に配置され、表示パネル２１の表示画面を見る視聴者の存在が想定される位置を視野範囲として撮影を行い、撮像画像を顔検出装置１０に出力するようになっている。
　図１において、顔検出装置１０は、イメージセンサ１１を制御するイメージセンサ制御部１２を有している。イメージセンサ１１は、イメージセンサ制御部１２に制御されて、撮影を行う。イメージセンサ１１からの撮像画像は顔検出部１３に与えられる。
　顔検出部１３は、イメージセンサ１１からの撮像画像に対して、公知の顔認識手法を採用した顔認識処理を行い、撮像画像中の顔の位置を検出する。顔検出部１３は、撮像画像中に検出した顔の数（人物の数）及び検出した顔の位置、特に右目及び左目の位置（座標）の情報を顔検出結果として表示パネル２１に出力する。これにより、表示パネル２１は、映像処理部５からの左右画像を視聴者の左右の目に向けて表示することができる。
　また、イメージセンサ１１からの撮像画像及び顔検出部１３からの顔検出結果は、合成部１４にも供給される。合成部１４は、イメージセンサ１１からの撮像画像と顔検出結果とを合成して、表示パネル２１に出力する。これにより、表示パネル２１において、顔検出のために撮影した撮像画像と顔検出結果とを放送信号に基づく画像に重畳させて表示することができる。
　イメージセンサ制御部１２には映像処理部５からの映像信号が画像入力として与えられる。イメージセンサ制御部１２は、画像入力に基づいて各画面の明るさを算出し、算出した明るさに応じてイメージセンサ１１に設定するゲイン（以下、基準ゲインという）を求める。イメージセンサ制御部１２はイメージセンサ１１のゲインを制御するためのゲイン情報を生成して、イメージセンサ１１に与える。イメージセンサ１１はゲイン情報に基づいて、撮像画像出力のゲインが設定される。これにより、表示パネル２１に表示される画像の明るさに応じて、イメージセンサ１１からの撮像画像の明るさが制御されて、顔検出部１３における顔認識精度を向上させることができる。
　なお、イメージセンサ１１の出力のゲインは、イメージセンサ１１の光電変換時のゲインと、イメージセンサ１１の出力部のゲインとを含むゲインであって、イメージセンサ制御部１２は、これらのゲインを適宜制御するゲイン情報を出力する。
　更に、本実施の形態においては、イメージセンサ制御部１２は、設定記憶部１５に記憶されたゲイン制御情報に基づくゲイン情報を生成して、イメージセンサ１１のゲインを所定期間毎に変化させるようになっている。例えば、イメージセンサ制御部１２は、イメージセンサ１１からの撮像画像のフレーム単位でイメージセンサ１１のゲインを変化させる。
　設定記憶部１５は、イメージセンサ制御部１２においてイメージセンサ１１のゲインを設定するためのゲイン制御情報を記憶している。ゲイン制御情報としては、ゲインを単位期間当たりに変化させる割合、ゲイン変化の周期等の情報が考えられる。イメージセンサ制御部１２は、ゲイン制御情報に応じて、イメージセンサ１１のゲインを、画面の明るさに基づく基準ゲインから上下させ、所定周期でゲインの変化を繰り返すようになっている。
　即ち、イメージセンサ制御部１２は、ゲイン制御情報に基づいて、所定の期間毎に所定の変化幅で基準ゲインよりも大きい最大ゲインと基準ゲインよりも小さい最小ゲインとの間でゲインを変化させて、１調整期間で元の基準ゲインに戻し、以後このゲイン制御を繰り返す。
　顔検出部１３における顔検出処理は、例えば、１０ｆｐｓ程度のフレームレートで１フレーム程度の適切な画像があれば、有効であることが多い。そこで、イメージセンサ制御部１２は、イメージセンサ１１からの画像出力のゲイン調整を、１フレーム乃至指定フレーム毎に、画面全体の照度に対して多め／少なめに調整するようにしている。従って、この調整期間内において、イメージセンサ１１からの撮像画像中の顔部分の明るさが変化して、顔部分の明るさが顔検出に適した明るさになるタイミングが発生することになる。これにより、イメージセンサ１１の視野範囲内の顔部分を含む明るさに拘わらず、調整期間内において確実に顔検出をさせることが可能である。
　なお、設定記憶部１５のゲイン制御情報は、図示しない入力装置の操作に基づいて、イメージセンサ制御部１２により設定更新することができるようになっている。
　次にこのように構成された実施の形態の動作について図３Ａ，図３Ｂ，図４及び図５を参照して説明する。図３Ａ及び図３Ｂはイメージセンサ１１からの撮像画像の例を示す説明図であり、図４は第１の実施の形態における動作を説明するためのフローチャートであり、図５は第１の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図である。
　放送信号は、チューナ及び復調部３によって選局及び復調され、ＴＳ分離制御部４において映像ストリームが分離されて映像処理部５に供給される。映像処理部５は、入力された映像ストリームをデコードして映像信号を表示パネル２１に出力する。こうして、表示パネル２１の表示画面上において、放送信号に基づく画像が表示される。
　映像処理部５の出力は画像入力として顔検出装置１０に供給される。顔検出装置１０は、画像入力に基づく画面の明るさに応じた基準ゲインを、イメージセンサ１１のゲインとして設定する。
　いま、テレビジョン受信機１の視聴者が、表示パネル２１の前面に位置するものとする。イメージセンサ１１は、この視聴者を撮像可能な視野範囲で撮影を行っており、イメージセンサ１１からの撮像画像は、顔検出装置１０に入力される。図３Ａはイメージセンサ１１のゲインが所定の適正値である場合におけるイメージセンサ１１からの撮像画像を示している。図３Ａは視野範囲内に、ランプ３１及び人物の顔３２が撮像されていることを示しており、顔３２の部分を除く撮像範囲の右側の大部分がランプ３１によって極めて明るく撮影されていることを示している。
　この状態で、表示パネル２１の画面の明るさや表示パネル２１の前面の周囲環境の明るさによって、イメージセンサ１１のゲインを下げる調整が行われると、イメージセンサ１１からの撮像画像は図３Ｂに示すものとなることが考えられる。即ち、図３Ｂはイメージセンサ１１の出力のゲインが下げられ、ランプ３１の周辺は適正な明るさになったのに対し、顔３２の部分はゲインの低下によって極めて暗くなったことを示している。このような撮像画像を顔検出装置１０に与えても、顔３２を顔検出することができないことが考えられる。
　そこで、本実施の形態においては、イメージセンサ制御部１２は、イメージセンサ１１のゲインを基準ゲインから所定の時間単位で上下させ、所定周期で種々のゲインによる撮像画像をイメージセンサ１１から出力させる。
　即ち、イメージセンサ制御部１２は、図４のステップＳ１において、設定記憶部１５からゲイン制御情報を取得する。ゲインをフレーム単位で変化させるものとして、例えば、ゲイン制御情報としては、ゲインを基準ゲインに対して変化させるフレームであるか否を示すゲイン調整フラグ、ゲイン調整フラグがオンの場合においてゲインを上げるか下げるかを示す調整方向フラグ及びゲインの調整幅を示す情報等が考えられる。
　イメージセンサ制御部１２は、ステップＳ２において、イメージセンサ１１のゲインを、画像入力に基づく基準ゲインを算出して設定する。次に、イメージセンサ制御部１２は、ゲイン調整フラグがオン（調整を行う）であるかオフ（調整を行わない）かを判定する。イメージセンサ制御部１２は、調整フラグがオンの場合には、ゲイン調整方向フラグの値に基づいてゲイン調整幅の情報に応じてゲインを上又は下に変化させるためのゲイン情報を出力する（ステップＳ４）。
　イメージセンサ制御部１２は、ステップＳ５において、次のフレームにおけるゲイン調整フラグ及びゲイン調整調整方向フラグを再設定する。イメージセンサ制御部１２は、設定したゲインをゲイン情報としてイメージセンサ１１に出力してイメージセンサのゲインを制御する。
　イメージセンサ１１は、ゲイン情報に基づくゲインで、撮像画像を出力する。これにより、イメージセンサ１１からの撮像画像には、フレーム単位で、基準ゲイン又は基準ゲインから上下に変化したゲインが付与されることになる。
　図５の上段は所定の初期ゲインによる撮像画像出力を示し、図５の中段は基準ゲインによる撮像画像出力を示し、図５の下段はゲイン情報に応じて変化するゲインによる撮像画像出力を示している。なお、図５の上段は撮像画像の明るさが変化しない例を示しているが、初期ゲインが一定であっても、表示パネル２１に表示される画像によって撮像画像の明るさは変化する。また、図５の中段においても撮像画像の明るさが変化しない例を示しているが、表示パネル２１に表示される画像の明るさによって基準ゲインも変化し、この基準ゲインの変化によって画像の明るさは変化する。
　しかし、上述したように、撮像画像の全体の明るさが適正となるように、基準ゲイン制御が行われることから、顔の画像部分が局所的に暗かったり明るかったりする場合に、顔の画像部分がゲイン制御によって暗すぎたり明るすぎたりすることが考えられる。
　これに対し、本実施の形態においては、図５の下段に示すように、イメージセンサ１１のゲインを基準ゲインから強制的に上下させて撮影しており、撮像画像は、全体的に適正となったり、暗くなったり、明るくなったりする。従って、顔の画像部分が局所的に暗かったり、明るかったりする場合でも、ゲインの１調整期間内において、必ず適正の明るさで顔の画像部分が撮像されるときがある。
　イメージセンサ１１からの撮像画像は顔検出部１３に供給される。顔検出部１３は、イメージセンサ１１からの撮像画像に対する顔認識処理によって、撮像画像中から顔を検出し、顔の数及び顔の位置等を顔検出結果として出力する。
　イメージセンサ１１からの撮像画像は、ゲインが強制的に上下変化しており、顔が画像中のいずれに位置する場合でも、いずれかのフレームについては、確実に顔の画像部分について顔認識処理が可能である。例えば、撮像画像中において顔が明るい画像である場合でも、顔が暗い画像である場合でも、明るい画像部分に顔が位置する場合でも、暗い画像部分に顔が位置する場合でも、また、複数の顔が相互に異なる明るさの場合や異なる明るさの画像部分に存在する場合でもあって、確実に撮像画像中の全ての顔についての顔検出が可能である。
　顔検出部１３からの顔検出結果は、表示パネル２１に供給される。こうして、表示パネル２１において、確実に視聴者の右目及び左目に、右画像又は左画像を見せることができ、裸眼立体視が可能となる。
　このように本実施の形態においては、イメージセンサのゲインを強制的に上下させて撮像画像を得ており、いずれかの期間に得られた撮像画像から確実に顔を検出することができる。これにより、裸眼立体視における顔の位置検出に利用した場合でも、確実な顔の位置検出が可能であり、裸眼立体視を可能にすることができる。
（第２の実施の形態）
　図６は本発明の第２の実施の形態を示すブロック図である。図６において図１と同一の構成要素には同一符号を付して説明を省略する。
　本実施の形態における顔検出装置４０は、イメージセンサ制御部１２に代えてイメージセンサ制御部４１を採用した点が図１の顔検出装置１０と異なる。顔検出部１３は、顔検出結果をイメージセンサ制御部４１にも出力するようになっている。
　イメージセンサ制御部４１は、イメージセンサ制御部１２と同様に、画像入力に基づく基準ゲインを算出すると共に、設定記憶部１５に記憶されたゲイン制御情報に基づいてゲイン情報を求める。更に、イメージセンサ制御部４１は、顔検出部１３からの顔検出結果によって顔検出が成功したことが示された場合には、イメージセンサ１１のゲインの変更を停止させて、顔検出の成功時のゲインを維持するためのゲイン情報を出力するようになっている。
　イメージセンサ制御部４１は、例えば、顔検出が成功している期間中、或いは、調整期間よりも長い所定の期間だけ、ゲインの変動を停止させるようにしてもよい。
　次にこのように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は第２の実施の形態における動作を説明するためのフローチャートであり、図８は第２の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図である。
　図７のフローは、ステップＳ１１の顔検出結果の判定処理を追加した点が図４のフローと異なる。顔検出装置４０のイメージセンサ制御部４１は、図７のステップＳ２において、例えば映像処理部５（図２参照）からの画像入力に基づく基準ゲインを求める。次に、イメージセンサ制御部４１は、ステップＳ１１において、顔検出が成功したか否かを判定する。顔検出が成功していない場合には、第１の実施の形態と同様に、ステップＳ３～Ｓ５によってゲインを調整する。
　本実施の形態においては、イメージセンサ制御部４１は、顔検出部１３から顔検出が成功したことを示す顔検出結果が与えられると、ステップＳ３～Ｓ５の処理を省略して、ゲインを固定する。この場合には、イメージセンサ制御部４１は、例えば、顔検出が成功したときにイメージセンサ１１に出力したゲイン情報を以後イメージセンサ１１に出力する。
　図８はこの場合の撮像画像出力を説明するためのものであり、図８の１段目は所定の初期ゲインによる撮像画像出力を示し、図８の２段目は基準ゲインによる撮像画像出力を示し、図８の３段目はハイレベル（Ｈ）又はローレベル（Ｌ）によって顔検出の成功又は失敗を示し、図８の４段目はゲイン情報に応じて変化するゲインによる撮像画像出力を示している。
　なお、上述したように、図８の１段目２段目では図示していないが、実際には、表示パネル２１に表示される画像の明るさや基準ゲインの変化によってイメージセンサ１１からの撮像画像の明るさは変化することがある。
　本実施の形態においても、図８の３段目に示すように、先ず、イメージセンサ１１のゲインを基準ゲインに対しを強制的に上下させて撮影する。これにより、撮像画像中の顔の画像部分も暗くなったり、明るくなったりして、必ず適正の明るさで顔の画像部分が撮像されるときがある。これにより、顔検出部１３は、イメージセンサ１１からの撮像画像によって顔検出が可能である。顔検出部１３は、顔検出が成功したことを示す顔検出結果をイメージセンサ制御部４１に出力する（図８の３段目のＨ期間）。これにより、イメージセンサ制御部４１は、顔検出が成功したときのゲイン情報をイメージセンサ１１に出力する。こうして、図８の４段目に示すように、以後イメージセンサ１１は、適正なゲインで撮像される。これにより、以後、顔検出部１３は継続して顔画像の検出が可能となる。
　このように本実施の形態においても、第１の実施の形態と同様の効果が得られる。更に、本実施の形態においては、顔検出が成功すると、以後イメージセンサ１１は適正なゲインに固定されるので、継続して顔検出が可能となる。こうして、本実施の形態においては、不要な調整を一定期間抑制することができ、効率的なフェイストラッキングを行うことが可能である。
　なお、上記各実施の形態においては、イメージセンサのゲインを変化させる例について説明したが、イメージセンサの色合い等についても周期的に変化させて、顔検出精度を向上させるようにしてもよい。
　また、図５及び図８では１乃至数フレーム単位で３種類のゲインに変化させる例について示したが、ゲインを変化させる期間や変化幅、基準ゲインを変化させて再び基準ゲインに戻るまでの期間（１調整期間）や調整期間内におけるゲインの調整数は、適宜設定可能である。
　また、上記各実施の形態においては、イメージセンサのゲインを画像入力に基づく基準ゲインの上下に変化させる例について説明したが、予め定められたゲインの範囲でイメージセンサのゲインを変化させるようにしてもよい。
　本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

　本出願は、２０１２年１２月２７日に日本国に出願された特願２０１２－２８５９０９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (8)

  1. 　イメージセンサからの撮像画像を画像処理して前記撮像画像中の顔を検出する顔検出部と、
    　前記イメージセンサのゲインを所定期間毎に変化させるイメージセンサ制御部と
    　を具備する顔検出装置。
  2. 　前記イメージセンサは、画像を表示する表示パネルの視者の存在が想定される範囲を視野範囲として設置され、
    　前記イメージセンサ制御部は、前記表示パネルに表示される前記画像の明るさに基づく基準ゲインよりも大きい最大ゲインと前記基準ゲインよりも小さい最小ゲインとの間でゲインを変化させる
    　請求項１に記載の顔検出装置。
  3. 　前記イメージセンサ制御部は、前記イメージセンサからの撮像画像のフレーム単位で前記ゲインを変化させる
    　請求項１又は２に記載の顔検出装置。
  4. 　前記イメージセンサ制御部は、前記顔検出部による顔検出が成功すると、前記イメージセンサのゲインの変化を停止させる
    　請求項１乃至３のいずれか１つに記載の顔検出装置。
  5. 　前記イメージセンサ制御部による前記イメージセンサのゲインの変化周期及び変化幅を規定するゲイン制御情報を保持する設定記憶部
    　を具備する請求項１乃至４のいずれか１つに記載の顔検出装置。
  6. 　顔検出部及びイメージセンサ制御部を備えた顔検出装置の顔検出方法であって、
    　前記顔検出部によって、イメージセンサからの撮像画像を画像処理して前記撮像画像中の顔を検出し、
    　前記イメージセンサ制御部によって、前記イメージセンサのゲインを所定期間毎に変化させる
    　顔検出装置の顔検出方法。
  7. 　前記イメージセンサは、画像を表示する表示パネルの視者の存在が想定される範囲を視野範囲として設置され、
    　前記イメージセンサ制御部は、前記表示パネルに表示される前記画像の明るさに基づく基準ゲインよりも大きい最大ゲインと前記基準ゲインよりも小さい最小ゲインとの間でゲインを変化させる
    　請求項６に記載の顔検出装置の顔検出方法。
  8. 　請求項１乃至５のいずれか１つに記載の顔検出装置と、
    　前記顔検出部の検出結果に基づいて、立体画像を構成する視差画像の表示方向を決定する表示パネルと、
    　を具備する表示装置。
PCT/JP2013/059273 2012-12-27 2013-03-28 顔検出装置及びその検出方法並びに表示装置 WO2014103391A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012285909A JP2014127999A (ja) 2012-12-27 2012-12-27 顔検出装置
JP2012-285909 2012-12-27

Publications (1)

Publication Number Publication Date
WO2014103391A1 true WO2014103391A1 (ja) 2014-07-03

Family

ID=51020500

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059273 WO2014103391A1 (ja) 2012-12-27 2013-03-28 顔検出装置及びその検出方法並びに表示装置

Country Status (2)

Country Link
JP (1) JP2014127999A (ja)
WO (1) WO2014103391A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298130A (ja) * 1994-04-25 1995-11-10 Canon Inc 撮像装置
JPH10510686A (ja) * 1994-12-13 1998-10-13 ゼノテック リサーチ プロプライエタリー リミテッド ステレオスコープディスプレイシステムのトラッキングシステム
JP2009064100A (ja) * 2007-09-04 2009-03-26 Toshiba Corp 画像処理装置およびゲイン調整方法
JP2010154171A (ja) * 2008-12-25 2010-07-08 Olympus Imaging Corp 撮像装置および撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298130A (ja) * 1994-04-25 1995-11-10 Canon Inc 撮像装置
JPH10510686A (ja) * 1994-12-13 1998-10-13 ゼノテック リサーチ プロプライエタリー リミテッド ステレオスコープディスプレイシステムのトラッキングシステム
JP2009064100A (ja) * 2007-09-04 2009-03-26 Toshiba Corp 画像処理装置およびゲイン調整方法
JP2010154171A (ja) * 2008-12-25 2010-07-08 Olympus Imaging Corp 撮像装置および撮像方法

Also Published As

Publication number Publication date
JP2014127999A (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
JP5149435B1 (ja) 映像処理装置および映像処理方法
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
JP5361618B2 (ja) 画像処理装置及びその制御方法
US8970672B2 (en) Three-dimensional image processing
US20120050502A1 (en) Image-processing method for a display device which outputs three-dimensional content, and display device adopting the method
US20130038611A1 (en) Image conversion device
US20100134603A1 (en) Three-dimensional information output apparatus and three-dimensional information output method
EP2458895A2 (en) Information processing apparatus, information processing method and program
US9955138B2 (en) Information processing apparatus, information processing method and program
JP4996720B2 (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
JP2011049644A (ja) 表示装置および制御方法
JP5390016B2 (ja) 映像処理装置
US9118893B2 (en) Display control apparatus, display control method, and program
JP2012173683A (ja) 表示制御装置、情報表示装置、及び表示制御方法
US9392261B2 (en) Image processing apparatus, image processing method, and camera module for frame timing adjustment
JP2012089906A (ja) 表示制御装置
KR101640947B1 (ko) 디스플레이장치 및 그의 시야각 조절 방법
WO2014103391A1 (ja) 顔検出装置及びその検出方法並びに表示装置
JP2011193057A (ja) 立体表示装置、映像処理装置
US20130136336A1 (en) Image processing apparatus and controlling method for image processing apparatus
EP2549768A2 (en) 3D display apparatus and content displaying method thereof
US9237334B2 (en) Method and device for controlling subtitle applied to display apparatus
KR101360216B1 (ko) 영상표시장치 및 그 동작방법
US20120050469A1 (en) Image processing device, image processing method and image processing system
JP2015029215A (ja) 立体画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13867467

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13867467

Country of ref document: EP

Kind code of ref document: A1