WO2022270000A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2022270000A1
WO2022270000A1 PCT/JP2022/006304 JP2022006304W WO2022270000A1 WO 2022270000 A1 WO2022270000 A1 WO 2022270000A1 JP 2022006304 W JP2022006304 W JP 2022006304W WO 2022270000 A1 WO2022270000 A1 WO 2022270000A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
specific person
photographing
area
control device
Prior art date
Application number
PCT/JP2022/006304
Other languages
English (en)
French (fr)
Inventor
秀一 後藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022270000A1 publication Critical patent/WO2022270000A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits

Definitions

  • the present technology relates to a control device, a control method, and a program, and in particular, a control device, a control method, and a program capable of correcting the exposure according to the brightness of the skin area of the face of a specific person and performing shooting. and programs.
  • the exposure control function as a shooting function of digital cameras and smartphones.
  • the exposure control function allows the user to take an image in which the brightness of the subject is automatically adjusted.
  • Patent Document 1 discloses a technique for correcting the skin-colored area of the face to an appropriate brightness.
  • the optimal exposure value is usually the same as the area of the person's face of interest, which typically includes hair, glasses, masks, etc. is difficult to calculate accurately.
  • This technology has been developed in view of this situation, and enables shooting by correcting the exposure according to the brightness of the skin area of a specific person's face.
  • a control device controls exposure based on a face detection unit that detects each face of a plurality of persons captured as a subject, and the brightness of a skin area in a specific person's face area. and a photographing control unit for photographing a photographing range including the face of the specific person.
  • the faces of a plurality of persons photographed as a subject are detected, exposure is controlled based on the brightness of the skin area in the face area of the specific person, and the image of the specific person is detected.
  • a photographing range including the face is photographed.
  • FIG. 10 is a diagram showing another example of a method of extracting a skin area; It is a block diagram which shows the structural example of the hardware of a computer.
  • FIG. 1 is a diagram illustrating an example of exposure control by an imaging device according to an embodiment of the present technology.
  • a photographing device has a function of detecting a person's face in an image captured before a still image is photographed, for example.
  • the user can specify which person's facial skin area brightness should be adjusted to perform exposure control.
  • the skin area of the face of person U1 is extracted as indicated by the arrow A1.
  • the range covered by arranging lightly colored small rectangles is the range extracted as the skin region.
  • the frame F1 surrounding the face of the person U1 designated as the target of exposure control is highlighted.
  • the region excluding the hair region, the eye and eyebrow region, and the open mouth region is extracted as the skin region.
  • a method of extracting the skin area will be described later.
  • the exposure is corrected based on the brightness of the skin area of the face of the person U1 specified by the user, as indicated by the arrow A2. For example, each time the release operation is performed, the brightness of the skin area of the face of the person U1 is changed until the person who is the target of the exposure control is switched to another person or the person U1 is released from the target. Images are shot continuously with the exposure corrected on the basis of .
  • the user can shoot an image whose exposure has been corrected according to the brightness of the skin area of the face of a specific person.
  • the reference area for exposure control is not the area of the entire face, but the area excluding the hair area, the eye and eyebrow area, and the mouth area.
  • the user can take an image whose exposure has been corrected according to the brightness of the skin of a specific person's face. If the person who is the target of exposure control wears glasses or a mask, the glasses area, the mask area, and the like are also excluded from the skin area. The user can more accurately control the exposure according to the brightness of the skin on the face.
  • FIG. 2 is a diagram showing an example of a skin region extraction method.
  • extraction of the skin area is performed using, for example, a skin area extraction model M1, which is an inference model acquired by machine learning.
  • the skin region extraction model M1 is generated by performing machine learning using a plurality of images with only skin regions annotated as training data.
  • the photographing device inputs a face image of a person to the skin area extraction model M1, and acquires the skin area based on the output of the skin area extraction model M1.
  • information on the skin area of person U1 is output by inputting the face image of person U1 into the skin area extraction model M1. Based on the information output from the skin area extraction model M1, the skin area is displayed as described with reference to FIG.
  • the photographing device When a person to be the target of exposure control is specified, the photographing device repeatedly extracts such a skin area using the face image of the specified person.
  • FIG. 3 is a block diagram showing a hardware configuration example of the imaging device 1. As shown in FIG. 3
  • the photographing device 1 is configured by connecting a photographing unit 12 , a microphone 13 , a sensor 14 , a display 15 , an operation unit 16 , a speaker 17 , a storage unit 18 , and a communication unit 19 to the control unit 11 .
  • the imaging device 1 in FIG. 3 is, for example, a smart phone.
  • the control unit 11 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the control unit 11 executes a predetermined program and controls the overall operation of the imaging device 1 according to user's operations.
  • the imaging device 1 having the control unit 11 functions as a control device that controls various processes related to imaging, including exposure control.
  • the photographing unit 12 is composed of a lens, an imaging device, etc., and performs photographing according to control by the control unit 11 .
  • the imaging unit 12 outputs image data obtained by imaging to the control unit 11 .
  • the microphone 13 outputs audio data such as collected sound to the control unit 11 .
  • the sensor 14 senses various objects and outputs sensor data to the control unit 11 .
  • the display 15 is configured by an LCD or the like, and displays various information such as menu screens and images being captured according to control by the control unit 11 . For example, an image as shown in FIG. 1 is displayed on the display 15 .
  • the operation unit 16 is composed of operation buttons, a touch panel, etc. provided on the surface of the housing of the photographing device 1 .
  • the operation unit 16 outputs to the control unit 11 information representing the details of the user's operation.
  • the operation unit 16 receives an operation for designating a person who is the target of exposure control.
  • the speaker 17 outputs sound based on the audio signal supplied from the control unit 11.
  • the storage unit 18 is composed of a flash memory or a memory card inserted into a card slot provided in the housing.
  • the storage unit 18 stores various data such as image data supplied from the control unit 11 .
  • the communication unit 19 performs wireless or wired communication with an external device.
  • the communication unit 19 transmits various data such as image data supplied from the control unit 11 to an external device.
  • FIG. 4 is a block diagram showing a functional configuration example of the control unit 11. As shown in FIG.
  • the control unit 11 is composed of a face detection unit 31, a face authentication unit 32, a skin area extraction unit 33, and a photographing control unit 34.
  • the image data captured by the photographing unit 12 before photographing a still image is input to the face detection unit 31 .
  • the face detection unit 31 detects the face of each person included as a subject in the shooting range. Information on the face detected by the face detection section 31 is output to the face authentication section 32 . A person's face is detected, for example, by analyzing features of an image.
  • the face authentication unit 32 authenticates the face of a specific person who is the target of exposure control from among the faces of people detected by the face detection unit 31.
  • a specific person's face, which is the target of exposure control, is specified by, for example, the user.
  • a face image of a person who is a target of exposure control may be registered in advance.
  • the face authentication unit 32 has an inference model for authentication of a person's face generated by machine learning.
  • the face authentication unit 32 inputs the face image of each person detected by the face detection unit 31 to the inference model, and authenticates a specific person who is the target of exposure control based on the output of the inference model. For example, an image of a rectangular area surrounding a person's face detected by the face detection unit 31 is input to the inference model for authentication of the person's face.
  • Information on the authentication result obtained by the face authentication unit 32 is output to the skin area extraction unit 33 .
  • the skin area extraction unit 33 extracts a skin area from the face area of a specific person. As described with reference to FIG. 2, the skin area extraction is performed using the skin area extraction model M1. Information on the skin area excluding the eye, lip, eyebrow, eyelash, and hair areas extracted by the skin area extraction unit 33 is output to the imaging control unit 34 . Instead of excluding all regions of the eyes, lips, eyebrows, eyelashes, and hair from the skin region, any region may be included in the skin region. In other words, it is possible to extract the skin area excluding at least one of the eyes, lips, eyebrows, eyelashes, and hair.
  • the shooting control unit 34 performs exposure control based on the brightness of the skin area extracted by the skin area extraction unit 33, and performs shooting. For example, exposure control is performed so that the brightness of the skin area of a specific person's face is within a certain range.
  • step S1 the face detection unit 31 detects the face of each person included as a subject in the shooting range.
  • step S2 the face authentication unit 32 authenticates the face of a specific person who is the target of exposure control from among the faces of the persons detected by the face detection unit 31.
  • step S3 the skin area extraction unit 33 extracts a skin area from the face area of a specific person.
  • step S4 the photographing control unit 34 performs exposure control based on the brightness of the skin area extracted by the skin area extracting unit 33, and causes photographing.
  • the user can correct the exposure according to the brightness of the skin area extracted from the face area and shoot without depending on the shooting environment. Even when a plurality of persons are included in the shooting range, the user can shoot an image whose exposure is corrected according to the brightness of the skin area in the face of a specific person.
  • the extracted skin area is the hair area, the eye and eyebrow area, the open mouth area, the glasses, the mask, etc., the optimal exposure value for the skin area is determined. Accurate calculation becomes possible.
  • the skin area of the person's face which is the target of exposure control, is extracted using the inference model, but it may be extracted based on the analysis results of facial features.
  • FIG. 6 is a diagram showing another example of a skin region extraction method.
  • feature analysis is performed by the skin area extraction unit 33, for example, on the face image of the person U1 who is the target of exposure control.
  • a cross shown at each position of the face in FIG. 6 represents a position analyzed as a feature point.
  • a range connecting the point of the bridge of the nose between the eyes of the person U1 and the outer periphery of the face is detected, and the range of the nostrils and the mouth is excluded from the range. is extracted as a skin region.
  • the skin region extraction unit 33 can extract a skin region using an inference model such as that described with reference to FIG. can also
  • the white balance may be adjusted according to the color of the skin area of the target person's face extracted as described above. As a result, even when a plurality of persons are included in the shooting range, it is possible to adjust the white balance according to the color of the skin area of the face of a specific person.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed from a program recording medium into a computer built into dedicated hardware or a general-purpose personal computer.
  • FIG. 7 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit 51
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 55 is further connected to the bus 54 .
  • An input unit 56 , an output unit 57 , a storage unit 58 , a communication unit 59 and a drive 60 are connected to the input/output interface 55 .
  • a drive 60 drives a removable medium 61 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 51 loads, for example, a program stored in the storage unit 58 into the RAM 53 via the input/output interface 55 and the bus 54 and executes the above-described series of programs. is processed.
  • Programs executed by the CPU 51 are, for example, recorded on the removable media 61 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 58 .
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • the present technology can also take the following configurations.
  • a control device comprising: a photographing control unit that controls exposure based on the brightness of a skin area in a specific person's face area, and performs photographing of a photographing range that includes the specific person's face.
  • the control device according to (1) further comprising a skin area extraction unit that extracts the skin area from the face area of the specific person.
  • the skin region extraction unit receives the face image of the specific person and extracts the skin region using an inference model that outputs the skin region.
  • the skin region extraction unit analyzes facial features of the specific person and extracts the skin region.
  • the skin region extracting unit extracts, as the skin region, a region excluding at least one of eyes, lips, eyebrows, eyelashes, and hair from among the facial regions of the specific person. ) to (4).
  • the control device according to any one of (1) to (5), further comprising a face authentication unit that authenticates the face of the specific person among the plurality of persons included in the shooting range.
  • the face authentication unit authenticates a face specified by a user from among the faces of the plurality of persons included in the shooting range as the face of the specific person.
  • the face authentication unit authenticates the face of the specific person using an inference model that receives an image of the face area of the person as an input and outputs an authentication result of the person's face.
  • the control device according to the above.
  • the control device according to any one of (1) to (8), wherein the photographing control unit continuously performs photographing with exposure controlled based on the brightness of the skin area of the face of the specific person.
  • the photographing control unit adjusts the white balance according to the color of the skin area and causes photographing of the photographing range including the face of the specific person. Control device.
  • control device Detect each face of multiple people in the subject, A control method comprising: controlling exposure based on the brightness of a skin area in a face area of a specific person, and photographing a photographing range including the face of the specific person. (12) to the computer, Detect each face of multiple people in the subject, A program for executing a process of controlling exposure based on the brightness of a skin area in a specific person's face area and photographing an imaging range including the specific person's face.
  • 1 imaging device 11 control unit, 31 face detection unit, 32 face authentication unit, 33 skin area extraction unit, 34 imaging control unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、特定の人物の顔の肌領域の明るさに合わせて露出を補正して撮影を行うことができるようにする制御装置、制御方法、およびプログラムに関する。 本技術の制御装置は、被写体として写る複数の人物のそれぞれの顔を検出し、特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、特定の人物の顔を含む撮影範囲の撮影を行わせるものである。本技術は、デジタルカメラやスマートフォンなどの撮影機能を有するデバイスに適用することができる。

Description

制御装置、制御方法、およびプログラム
　本技術は、制御装置、制御方法、およびプログラムに関し、特に、特定の人物の顔の肌領域の明るさに合わせて露出を補正して撮影を行うことができるようにした制御装置、制御方法、およびプログラムに関する。
　デジタルカメラやスマートフォンなどの撮影機能として露出制御機能がある。露出制御機能により、ユーザは被写体の明るさが自動的に調整された画像を撮影することができる。
　特許文献１には、顔の肌色の領域を適正な明るさに補正する技術が開示されている。
特開２００９－０２７３５２号公報
　撮影範囲に複数の人物が含まれる場合、どの人物の明るさに合わせて露出を補正すればよいのかの判断が困難となる。
　また、ある人物の顔の肌の領域の明るさに合わせて露出を補正するとした場合、通常、対象とする人物の顔の範囲には髪の毛、眼鏡、マスクなどが含まれるため、最適な露出値を正確に算出することが難しい。
　本技術はこのような状況に鑑みてなされたものであり、特定の人物の顔の肌領域の明るさに合わせて露出を補正して撮影を行うことができるようにするものである。
　本技術の一側面の制御装置は、被写体として写る複数の人物のそれぞれの顔を検出する顔検出部と、特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、前記特定の人物の顔を含む撮影範囲の撮影を行わせる撮影制御部とを備える。
　本技術の一側面においては、被写体として写る複数の人物のそれぞれの顔が検出され、特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出が制御され、前記特定の人物の顔を含む撮影範囲の撮影が行われる。
撮影装置による露出制御の例を示す図である。 肌領域の抽出方法の例を示す図である。 撮影装置のハードウェア構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 撮影装置の露出補正処理について説明するフローチャートである。 肌領域の抽出方法の他の例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本技術の概要
　２．撮影装置の構成
　３．撮影装置の動作
　４．変形例
　５．その他
＜１．本技術の概要＞
　図１は、本技術の一実施形態に係る撮影装置による露出制御の例を示す図である。
　図１の上段に示すように、人物Ｕ１，Ｕ２の２人の人物の顔が撮影範囲に含まれる場合、矩形の枠Ｆ１，Ｆ２で囲んで示すようにそれぞれの顔が検出される。撮影装置には、例えば静止画像の撮影前に取り込まれた画像を対象として、人物の顔を検出する機能が搭載されている。
　図１の上段に示すような表示を見て、ユーザは、どの人物の顔の肌領域の明るさに合わせて露出制御を行うのかを指定することができる。
　例えば、左側に写る人物Ｕ１の顔の肌領域の明るさに合わせて露出制御を行うことをユーザが指定した場合、矢印Ａ１の先に示すように、人物Ｕ１の顔の肌領域が抽出される。図１の中段に示す表示において、薄い色付きの小さな矩形を並べて覆われている範囲が、肌領域として抽出された範囲である。露出制御のターゲットとして指定された人物Ｕ１の顔を囲む枠Ｆ１は強調表示される。
　図１の例においては、枠Ｆ１で囲んで示す人物Ｕ１の顔領域のうち、髪の毛の領域、目と眉毛の領域、開いている口の領域を除いた領域が、肌領域として抽出されている。肌領域の抽出方法については後述する。
　露出制御のターゲットとなる人物の肌領域が抽出された後、矢印Ａ２の先に示すように、ユーザが指定した人物Ｕ１の顔の肌領域の明るさを基準にして露出が補正される。例えば、露出制御のターゲットとなる人物を他の人物に切り替えたり、人物Ｕ１をターゲットから解除したりする操作が行われるまで、レリーズ操作が行われる毎に、人物Ｕ１の顔の肌領域の明るさを基準にして露出が補正された画像が連続して撮影される。
　これにより、ユーザは、撮影範囲に複数の人物が含まれる場合においても、特定の人物の顔の肌領域の明るさに合わせて露出が補正された画像を撮影することが可能となる。
　露出制御の基準となる領域は、顔全体の領域ではなく、髪の毛の領域、目と眉毛の領域、口の領域などを除いた領域である。ユーザは、特定の人物の顔の肌の明るさに合わせて露出が補正された画像を撮影することができる。露出制御のターゲットとなる人物が眼鏡やマスクを装着している場合、眼鏡の領域やマスクの領域なども、肌領域から除かれる。ユーザは、より正確に、顔の肌の明るさに合わせて露出制御を行わせることができる。
　図２は、肌領域の抽出方法の例を示す図である。
　図２に示すように、肌領域の抽出は、例えば、機械学習によって取得された推論モデルである肌領域抽出モデルＭ１を用いて行われる。例えば、肌領域のみをアノテーションした複数枚の画像を教師データとする機械学習が行われることによって肌領域抽出モデルＭ１が生成される。撮影装置は、人物の顔画像を肌領域抽出モデルＭ１に入力し、肌領域抽出モデルＭ１の出力に基づいて肌領域を取得する。
　図２の例においては、人物Ｕ１の顔画像を肌領域抽出モデルＭ１に入力することで、人物Ｕ１の肌領域の情報が出力されている。肌領域抽出モデルＭ１から出力された情報に基づいて、図１を参照して説明したような肌領域の表示が行われる。
　露出制御のターゲットとなる人物が指定されている場合、撮影装置においては、このような肌領域の抽出が、指定された人物の顔画像を用いて繰り返し行われる。
　以上のようにして露出補正を行う撮影装置の一連の動作についてはフローチャートを参照して後述する。
＜２．撮影装置の構成＞
　図３は、撮影装置１のハードウェア構成例を示すブロック図である。
　撮影装置１は、制御部１１に対して、撮影部１２、マイクロフォン１３、センサ１４、ディスプレイ１５、操作部１６、スピーカ１７、記憶部１８、および通信部１９が接続されることによって構成される。図３の撮影装置１は例えばスマートフォンである。
　制御部１１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。制御部１１は、所定のプログラムを実行し、ユーザの操作に応じて撮影装置１の全体の動作を制御する。制御部１１を有する撮影装置１は、露出制御を含む、撮影に関する各種の処理を制御する制御装置として機能する。
　撮影部１２は、レンズ、撮像素子などにより構成され、制御部１１による制御に従って撮影を行う。撮影部１２は、撮影によって得られた画像データを制御部１１に出力する。
　マイクロフォン１３は、集音した音声などのオーディオデータを制御部１１に出力する。
　センサ１４は、各種の対象のセンシングを行い、センサデータを制御部１１に出力する。
　ディスプレイ１５は、LCDなどにより構成され、制御部１１による制御に従って、メニュー画面や撮影中の画像などの各種の情報を表示する。例えば図１に示すような画像がディスプレイ１５に表示される。
　操作部１６は、撮影装置１の筐体表面に設けられた操作ボタンやタッチパネルなどにより構成される。操作部１６は、ユーザによる操作の内容を表す情報を制御部１１に出力する。例えば、露出制御のターゲットとなる人物を指定するための操作が操作部１６により受け付けられる。
　スピーカ１７は、制御部１１から供給されたオーディオ信号に基づいて音声を出力する。
　記憶部１８は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。記憶部１８は、制御部１１から供給された画像のデータなどの各種のデータを記憶する。
　通信部１９は、外部の装置との間で無線や有線の通信を行う。通信部１９は、制御部１１から供給された画像のデータなどの各種のデータを外部の装置に送信する。
　図４は、制御部１１の機能構成例を示すブロック図である。
　図４に示すように、制御部１１は、顔検出部３１、顔認証部３２、肌領域抽出部３３、および撮影制御部３４によって構成される。例えば、静止画像の撮影前に撮影部１２により取り込まれた画像データが顔検出部３１に入力される。
　顔検出部３１は、撮影範囲に被写体として含まれるそれぞれの人物の顔を検出する。顔検出部３１により検出された顔の情報は、顔認証部３２に出力される。人物の顔は、例えば画像の特徴を解析することによって検出される。
　顔認証部３２は、顔検出部３１により検出された人物の顔の中から、露出制御のターゲットとなる特定の人物の顔を認証する。露出制御のターゲットとなる特定の人物の顔は例えばユーザにより指定される。露出制御のターゲットとなる人物の顔画像が事前に登録されるようにしてもよい。
　例えば、顔認証部３２は、機械学習によって生成された、人物の顔の認証用の推論モデルを有している。顔認証部３２は、顔検出部３１により検出されたそれぞれの人物の顔の画像を推論モデルに入力し、推論モデルの出力に基づいて、露出制御のターゲットとなる特定の人物の認証を行う。人物の顔の認証用の推論モデルに対しては、例えば、顔検出部３１により検出された、人物の顔を囲む矩形領域の画像が入力される。顔認証部３２による認証結果の情報は、肌領域抽出部３３に出力される。
　肌領域抽出部３３は、特定の人物の顔領域から肌領域を抽出する。図２を参照して説明したように、肌領域の抽出は肌領域抽出モデルＭ１を用いて行われる。肌領域抽出部３３により抽出された、目、唇、眉毛、まつげ、および髪の毛の領域を除く肌領域の情報は、撮影制御部３４に出力される。目、唇、眉毛、まつげ、および髪の毛の全ての領域が肌領域から除かれるのではなく、いずれかの領域が肌領域に含まれるようにしてもよい。すなわち、目、唇、眉毛、まつげ、および髪の毛のうちの、少なくともいずれかの領域を除く領域が肌領域として抽出されるようにすることが可能である。
　撮影制御部３４は、肌領域抽出部３３により抽出された肌領域の明るさに基づいて露出制御し、撮影を行わせる。例えば、特定の人物の顔の肌領域の明るさが一定の範囲の明るさとなるように露出制御が行われる。
＜３．撮影装置の動作＞
　図５のフローチャートを参照して、撮影装置１の露出補正処理について説明する。
　ステップＳ１において、顔検出部３１は、撮影範囲に被写体として含まれるそれぞれの人物の顔を検出する。
　ステップＳ２において、顔認証部３２は、顔検出部３１により検出された人物の顔の中から、露出制御のターゲットとなる特定の人物の顔を認証する。
　ステップＳ３において、肌領域抽出部３３は、特定の人物の顔領域から肌領域を抽出する。
　ステップＳ４において、撮影制御部３４は、肌領域抽出部３３により抽出された肌領域の明るさに基づいて露出制御を行い、撮影を行わせる。
　以上の処理により、ユーザは、撮影環境に依存せずに、顔領域から抽出した肌領域の明るさに合わせて露出を補正して撮影を行うことができる。撮影範囲に複数の人物が含まれる場合においても、ユーザは、特定の人物の顔のうちの肌領域の明るさに合わせて露出が補正された画像を撮影することが可能となる。また、抽出された肌領域は、髪の毛の領域、目と眉毛の領域、開いている口の領域や、眼鏡、マスクなどが除かれた領域であるため、肌領域に対して最適な露出値を正確に算出することが可能となる。
＜４．変形例＞
　露出制御のターゲットとなる人物の顔の肌領域が推論モデルを用いて抽出されるものとしたが、顔の特徴の解析結果に基づいて抽出されるようにしてもよい。
　図６は、肌領域の抽出方法の他の例を示す図である。
　図６に示すように、露出制御のターゲットとなる人物Ｕ１の顔画像を対象として、特徴解析が例えば肌領域抽出部３３により行われる。図６において顔の各位置に示す十字が、特徴点として解析された位置を表す。
　太い実線で囲んで示すように、例えば、人物Ｕ１の両目の間にある鼻筋の点と顔の外周を結んだ範囲が検出され、その範囲の内側から、鼻穴と口の範囲を除外した領域が肌領域として抽出される。
　このように、肌領域抽出部３３は、図２を参照して説明したような推論モデルを用いて肌領域を抽出することもできるし、人物の顔の特徴を解析して肌領域を抽出することもできる。
＜５．その他＞
　以上のようにして抽出された、ターゲットとなる人物の顔の肌領域の色に合わせてホワイトバランスの調整が行われるようにしてもよい。これにより、複数の人物が撮影範囲に含まれる場合においても、特定の人物の顔の肌領域の色に合わせてホワイトバランスの調整を行わせることが可能となる。
・プログラムについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
　バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、入力部５６、出力部５７、記憶部５８、通信部５９、およびドライブ６０が接続されている。ドライブ６０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６１を駆動する。
　以上のように構成されるコンピュータでは、CPU５１が、例えば、記憶部５８に記憶されているプログラムを、入出力インタフェース５５およびバス５４を介して、RAM５３にロードして実行することにより、上述した一連の処理が行われる。
　CPU５１が実行するプログラムは、例えばリムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　被写体として写る複数の人物のそれぞれの顔を検出する顔検出部と、
　特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、前記特定の人物の顔を含む撮影範囲の撮影を行わせる撮影制御部と
　を備える制御装置。
（２）
　前記特定の人物の顔の領域のうちの前記肌領域を抽出する肌領域抽出部をさらに備える
　前記（１）に記載の制御装置。
（３）
　前記肌領域抽出部は、前記特定の人物の顔画像を入力とし、前記肌領域を出力とする推論モデルを用いて前記肌領域を抽出する
　前記（２）に記載の制御装置。
（４）
　前記肌領域抽出部は、前記特定の人物の顔の特徴を解析し、前記肌領域を抽出する
　前記（２）に記載の制御装置。
（５）
　前記肌領域抽出部は、前記特定の人物の顔の領域のうちの、目、唇、眉毛、まつげ、および髪の毛のうちの少なくともいずれかの領域を除く領域を前記肌領域として抽出する
　前記（２）乃至（４）のいずれかに記載の制御装置。
（６）
　前記撮影範囲に含まれる複数の前記人物のうちの前記特定の人物の顔の認証を行う顔認証部をさらに備える
　前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
　前記顔認証部は、前記撮影範囲に含まれる複数の前記人物の顔の中からユーザにより指定された顔を前記特定の人物の顔として認証を行う
　前記（６）に記載の制御装置。
（８）
　前記顔認証部は、前記人物の顔の領域の画像を入力とし、前記人物の顔の認証結果を出力とする推論モデルを用いて、前記特定の人物の顔の認証を行う
　前記（６）または（７）に記載の制御装置。
（９）
　前記撮影制御部は、前記特定の人物の顔の前記肌領域の明るさに基づいて露出を制御した撮影を連続して行わせる
　前記（１）乃至（８）のいずれかに記載の制御装置。
（１０）
　前記撮影制御部は、前記肌領域の色に合わせてホワイトバランスを調整し、前記特定の人物の顔を含む前記撮影範囲の撮影を行わせる
　前記（１）乃至（９）のいずれかに記載の制御装置。
（１１）
　制御装置が、
　被写体として写る複数の人物のそれぞれの顔を検出し、
　特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、前記特定の人物の顔を含む撮影範囲の撮影を行わせる
　制御方法。
（１２）
　コンピュータに、
　被写体として写る複数の人物のそれぞれの顔を検出し、
　特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、前記特定の人物の顔を含む撮影範囲の撮影を行わせる
　処理を実行させるためのプログラム。
　１　撮影装置，　１１　制御部，　３１　顔検出部，　３２　顔認証部，　３３　肌領域抽出部，　３４　撮影制御部

Claims (12)

  1. 　被写体として写る複数の人物のそれぞれの顔を検出する顔検出部と、
    　特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、前記特定の人物の顔を含む撮影範囲の撮影を行わせる撮影制御部と
    　を備える制御装置。
  2. 　前記特定の人物の顔の領域のうちの前記肌領域を抽出する肌領域抽出部をさらに備える
    　請求項１に記載の制御装置。
  3. 　前記肌領域抽出部は、前記特定の人物の顔画像を入力とし、前記肌領域を出力とする推論モデルを用いて前記肌領域を抽出する
    　請求項２に記載の制御装置。
  4. 　前記肌領域抽出部は、前記特定の人物の顔の特徴を解析し、前記肌領域を抽出する
    　請求項２に記載の制御装置。
  5. 　前記肌領域抽出部は、前記特定の人物の顔の領域のうちの、目、唇、眉毛、まつげ、および髪の毛のうちの少なくともいずれかの領域を除く領域を前記肌領域として抽出する
    　請求項２に記載の制御装置。
  6. 　前記撮影範囲に含まれる複数の前記人物のうちの前記特定の人物の顔の認証を行う顔認証部をさらに備える
    　請求項１に記載の制御装置。
  7. 　前記顔認証部は、前記撮影範囲に含まれる複数の前記人物の顔の中からユーザにより指定された顔を前記特定の人物の顔として認証を行う
    　請求項６に記載の制御装置。
  8. 　前記顔認証部は、前記人物の顔の領域の画像を入力とし、前記人物の顔の認証結果を出力とする推論モデルを用いて、前記特定の人物の顔の認証を行う
    　請求項６に記載の制御装置。
  9. 　前記撮影制御部は、前記特定の人物の顔の前記肌領域の明るさに基づいて露出を制御した撮影を連続して行わせる
    　請求項１に記載の制御装置。
  10. 　前記撮影制御部は、前記肌領域の色に合わせてホワイトバランスを調整し、前記特定の人物の顔を含む前記撮影範囲の撮影を行わせる
    　請求項１に記載の制御装置。
  11. 　制御装置が、
    　被写体として写る複数の人物のそれぞれの顔を検出し、
    　特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、前記特定の人物の顔を含む撮影範囲の撮影を行わせる
    　制御方法。
  12. 　コンピュータに、
    　被写体として写る複数の人物のそれぞれの顔を検出し、
    　特定の人物の顔の領域のうちの肌領域の明るさに基づいて露出を制御し、前記特定の人物の顔を含む撮影範囲の撮影を行わせる
    　処理を実行させるためのプログラム。
PCT/JP2022/006304 2021-06-25 2022-02-17 制御装置、制御方法、およびプログラム WO2022270000A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021105419 2021-06-25
JP2021-105419 2021-06-25

Publications (1)

Publication Number Publication Date
WO2022270000A1 true WO2022270000A1 (ja) 2022-12-29

Family

ID=84544821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006304 WO2022270000A1 (ja) 2021-06-25 2022-02-17 制御装置、制御方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2022270000A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252069A (ja) * 2008-04-09 2009-10-29 Fujifilm Corp 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2010200057A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 撮像装置
JP2011024088A (ja) * 2009-07-17 2011-02-03 Sony Corp 撮像装置および撮像制御方法
CN107911625A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 测光方法、装置、可读存储介质和计算机设备
JP2020039123A (ja) * 2018-08-31 2020-03-12 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252069A (ja) * 2008-04-09 2009-10-29 Fujifilm Corp 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2010200057A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 撮像装置
JP2011024088A (ja) * 2009-07-17 2011-02-03 Sony Corp 撮像装置および撮像制御方法
CN107911625A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 测光方法、装置、可读存储介质和计算机设备
JP2020039123A (ja) * 2018-08-31 2020-03-12 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム

Similar Documents

Publication Publication Date Title
JP4999570B2 (ja) 表情認識装置及び方法、並びに撮像装置
JP4974788B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8077215B2 (en) Apparatus for detecting blinking state of eye
JP4845755B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
KR101679290B1 (ko) 영상 처리 방법 및 장치
KR20100048600A (ko) 인물 구도 제안 영상 촬영 장치 및 방법
KR101755598B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
US20100123816A1 (en) Method and apparatus for generating a thumbnail of a moving picture
EP3014520B1 (en) Image processing apparatus, image processing method, and program
WO2016025151A1 (en) System for producing compliant facial images for selected identification documents
US20160189413A1 (en) Image creation method, computer-readable storage medium, and image creation apparatus
JP2008033718A (ja) 撮像装置及び部位拡大表示方法
JP2014157557A (ja) 画像生成装置、画像生成方法及びプログラム
TW201021550A (en) Emotion-based image processing apparatus and image processing method
JP2018206144A (ja) 画像処理装置、画像処理方法及びプログラム
JP6033006B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
WO2022270000A1 (ja) 制御装置、制御方法、およびプログラム
JP6897036B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11803231B2 (en) Expression prediction using image-based movement metric
KR101852679B1 (ko) 혀 영상 추출 장치 및 방법
JP2021010652A (ja) 情報処理装置、評価方法、および情報処理プログラム
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN106454112A (zh) 一种拍摄方法及系统
US11847778B2 (en) Image capture techniques personalized to individual subjects being imaged

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827923

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE