WO2020240989A1 - 撮像装置、撮像制御方法および撮像制御プログラム - Google Patents

撮像装置、撮像制御方法および撮像制御プログラム Download PDF

Info

Publication number
WO2020240989A1
WO2020240989A1 PCT/JP2020/011020 JP2020011020W WO2020240989A1 WO 2020240989 A1 WO2020240989 A1 WO 2020240989A1 JP 2020011020 W JP2020011020 W JP 2020011020W WO 2020240989 A1 WO2020240989 A1 WO 2020240989A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
image
face
instruction
Prior art date
Application number
PCT/JP2020/011020
Other languages
English (en)
French (fr)
Inventor
信一郎 五味
厚史 伊藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020240989A1 publication Critical patent/WO2020240989A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置(1)は、判定部(61)と、提示部(62)と、を備える。判定部は、撮像部が測定対象の撮像を実行する状況を判定する。提示部は、判定部による判定結果に基づき状況の更新を促す指示の提示を行う。提示部は、操作者が、撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、撮像部のレンズのある面を操作者自身に向けて撮像を行う状態で、操作者により認識可能に前記提示を行う。

Description

撮像装置、撮像制御方法および撮像制御プログラム
 本発明は、撮像装置、撮像制御方法および撮像制御プログラムに関する。
 スマートフォン(多機能型携帯電話端末)といった、カメラが搭載された携帯端末が普及している。例えばスマートフォンでは、一般的に、ディスプレイが設けられる面(表面とする)と、その反対側の面(裏面とする)と、にそれぞれカメラが設けられる。以下では、表面に設けられるカメラをフロントカメラ、裏面に設けられるカメラをリアカメラと呼ぶものとする。フロントカメラは、主に、ユーザが自身を撮像するために用いられ、リアカメラと比較して解像度が低くされているのが一般的である。
特開2018-067787号公報 特開2017-054179号公報 特開2013-110714号公報 特許第5733570号公報 特許第6299594号公報
Vahid Kazemi et al.、"One Millisecond Face Alignment with an Ensemble of Regression Trees"、KTH, Royal Institute of Technology Computer Vision and Active Perception Lab Teknikringen 14, Stockholm, Sweden、[令和1年5月12日検索]、インターネット<URL: http://www.nada.kth.se/~sullivan/Papers/Kazemi_cvpr14.pdf>
 近年、カメラが搭載された携帯端末を用いて自分の顔を撮像し、撮像画像に基づき顔の肌の状態を解析する技術が提案されている。この解析には、高解像度の撮像画像が求められるため、リアカメラを用いて顔を撮像することが好ましい。この場合、ユーザは、リアカメラを自身の方向に向ける必要があるため、リアカメラの反対側の面に設けられるディスプレイに表示されるリアカメラによるプレビュー画面を直接的に確認することができず、肌の解析に適切な撮像を行うことが難しかった。
 本開示は、顔の肌の解析に適した撮像画像を容易に取得可能な撮像装置、撮像制御方法および撮像制御プログラムを提供することを目的とする。
 本開示に係る撮像装置は、撮像部が測定対象の撮像を実行する状況を判定する判定部と、判定部による判定結果に基づき状況の更新を促す指示の提示を行う提示部と、を備え、提示部は、操作者が、撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、撮像部のレンズのある面を操作者自身に向けて撮像を行う状態で、操作者により認識可能に提示を行う。
実施形態に適用可能な撮像装置の外観の例を概略的に示す図である。 実施形態に適用可能な撮像装置のハードウェア構成の一例を概略的に示すブロック図である。 実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。 肌解析部の機能をより詳細に説明するための一例の機能ブロック図である。 実施形態に係る撮像装置の使用形態を概略的に示す図である。 実施形態に係る撮像装置における処理の流れを概略的に示す一例のフローチャートである。 実施形態に係る撮像装置における処理の流れをより具体的に示す一例のフローチャートである。 実施形態に係る測定部の機能を説明するための一例の機能ブロック図である。 実施形態に係る、フラッシュ無し撮像における撮像処理を示す一例のフローチャートである。 実施形態に係る、フラッシュ無し撮像における撮像処理を示す一例のフローチャートである。 実施形態に係る測定状況判定部の機能を説明するための一例の機能ブロック図である。 実施形態に係る被写体検出部の処理を示す一例のフローチャートである。 被写体検出部に入力されるRAW画像の例を示す図である。 実施形態に係るデモザイク処理による画素の例を示す図である。 実施形態に係る被写体検出部により検出された顔から抽出された特徴点の例を示す図である。 実施形態において検出される顔の向きを説明するための図である。 実施形態に係る、顔の中心の推定方法を説明するための図である。 実施形態に係る、環境明るさ検出部における環境明るさ検出の第2の方法による処理を示す一例のフローチャートである。 実施形態に係る、環境の明るさを検出する第2の方法による処理を説明するための図である。 実施形態に係る、環境の明るさを検出する第3の方法による処理を説明するための図である。 実施形態に係る画像ブレ検出部による画像ブレ検出処理を示す一例のフローチャートである。 実施形態に係る、特徴点間の距離および平均距離を算出する処理を説明するための図である。 実施形態に係る環境光源検出部における処理の流れを説明するための図である。 実施形態に係るカメラ動き検出部による処理を示す一例のフローチャートである。 実施形態に係る理想状況記憶部に記憶される各項目および各項目の値の例を示す図である。 カメラの動きの上限値を決める方法を説明するための図である。 実施形態に係る状況判定部による状況判定処理を示す一例のフローチャートである。 実施形態に係る、状況判定部における環境明るさの判定処理を示す一例のフローチャートである。 実施形態に係るブレ判定の処理を示す一例のフローチャートである。 実施形態に係る測定指示部の機能を説明するための一例の機能ブロック図である。 実施形態に係る指示表の例を示す図である。 実施形態に係る指示表の例を示す図である。 実施形態に係る指示表の例を示す図である。 実施形態に係る指示表の例を示す図である。 実施形態に係る指示表の例を示す図である。 実施形態に係る、指示方法が「音声」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、指示方法が「光」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、指示方法が「光」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、指示方法が「鏡面」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、指示方法が「音声」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、指示方法が「光」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、指示方法が「光」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、指示方法が「鏡面」である場合の指示内容の提示方法の例を模式的に示す図である。 実施形態に係る、ディスプレイの画面に表示されるガイド画像の例を示す図である。 実施形態に係る解析部の機能を説明するための一例の機能ブロック図である。 実施形態に係る解析部における肌解析処理を示す一例のフローチャートである。 実施形態に適用可能な色解析処理および色空間変換処理を説明するための図である。 実施形態に係る結果表示部の機能を説明するための一例の機能ブロック図である。 実施形態に係る部位指定部による抽出部位の決定処理を示す一例のフローチャートである。 実施形態に適用可能な指示入力用UI画面の例を示す図である。 タッチが検出された位置が「OK」ボタンの位置ではない場合の例を示す図である。 実施形態に適用可能な、抽出部位の座標の算出方法の例を示す図である。 実施形態に適用可能な、項目指定部により表示される指定画面の例を示す図である。 実施形態に係る解析結果加工部による解析結果の加工処理を示す一例のフローチャートである。 実施形態に適用可能な、指定画面においてガイド画像に対して指定された抽出部位の例を示す図である。 実施形態に適用可能な、表示対象の各解析項目のうち、肌色の解析結果に基づく代表値の算出方法を説明するための図である。 実施形態に係る、解析結果加工部により生成された肌色の解析結果のグラフの例を示す図である。 抽出部位において検出された毛穴の例を示す図である。 実施形態に適用可能な、抽出部位において検出された毛穴の数を3段階に分類して集計した例を示す図である。 実施形態に係る、解析結果加工部により生成された毛穴の解析結果のグラフの例を示す図である。 実施形態に適用可能な、表示情報生成部により生成された表示情報に基づきディスプレイに表示される解析結果表示画面の例を示す図である。
 以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
 以下、本開示の実施形態について、下記の順序に従って説明する。
1.実施形態に適用可能な撮像装置の構成例
2.撮像装置の動作の概略
 2-1.既存技術による動作例
 2-2.実施形態に係る動作例
3.実施形態に係る撮像装置の概略
 3-1.機能の説明
 3-2.処理の概略
4.実施形態に係る撮像装置の詳細
 4-1.処理の具体例
 4-2.各部の詳細
  4-2-1.測定処理部
   4-2-1-1.測定部
   4-2-1-2.測定状況判定部
   4-2-1-3.測定指示部
    4-2-1-3-1.指示表例
    4-2-1-3-2.測定指示の提示の具体例
  4-2-2.解析処理部
   4-2-2-1.解析部
   4-2-2-2.結果表示部
5.実施形態の第1の変形例
6.実施形態の第2の変形例
7.実施形態の第3の変形例
8.実施形態の第4の変形例
9.本開示の技術による効果
10.他の構成
1.実施形態に適用可能な撮像装置の構成例
 実施形態の説明に先立って、実施形態に適用可能な撮像装置の構成例について説明する。図1は、実施形態に適用可能な撮像装置の外観の例を概略的に示す図である。図1では、撮像装置1が多機能型携帯電話端末(以下、スマートフォン)であるものとして示されている。図1において、右側が撮像装置1の表面側10を示し、左側が撮像装置1の裏面側11を示している。
 図1の例では、撮像装置1は、表面側10にディスプレイ2と、受話用スピーカ3と、汎用スピーカ6と、フロントカメラ9と、が配される。ディスプレイ2は、撮像装置1内において生成された種々の画像が表示される。また、ディスプレイ2は、画像の表示を行う表示デバイスと、ユーザの手指などによるタッチ操作に応じて制御情報を生成する入力デバイスと、が一体的に形成されたタッチパネルとして構成される。受話用スピーカ3は、例えば、撮像装置1において電話機能を利用する際の受話音声を再生する。汎用スピーカ6は、例えば撮像装置1内において生成された音を再生する。
 フロントカメラ9は、撮像装置1の表面側10の被写体を撮像する。また、フロントカメラ9は、ズーム機能、オートフォーカス機能、絞り機能などを有し、ユーザ操作や装置内部の画像処理などに基づく各機能の制御が可能である。
 また、図1の例では、撮像装置1の下端の側面に、マイクロホン4が設けられ、表面側10から見て右端の側面に、操作子5が設けられる。マイクロホン4は、撮像装置1の周囲で発生する音を集音する。マイクロホン4は、例えば撮像装置1において電話機能を利用する際の送話音声を集音する。操作子5は、ユーザ操作に応じて撮像装置1における主たる機能(スリープ状態におけるリジューム動作など)を制御する。
 図1において、撮像装置1は、裏面側11に、リアカメラ7と、フラッシュライト8とが設けられる。リアカメラ7は、撮像装置1の裏面側11の被写体を撮像する。リアカメラ7は、フロントカメラ9に対してより高性能のカメラが用いられる。例えば、リアカメラ7は、撮像画像の解像度がフロントカメラ9と比較して高解像度とされる。また、リアカメラ7も、上述したフロントカメラ9と同様にズーム機能、オートフォーカス機能、絞り機能などを有し、ユーザ操作や装置内部の画像処理などに基づく各機能の制御が可能である。
 フラッシュライト8は、例えば、指示に応じて、リアカメラ7の撮像と同期してフラッシュ光を発光する。これに限らず、フラッシュライト8は、リアカメラ7の撮像に対して非同期且つ持続的に発光させることも可能である。
 図2は、実施形態に適用可能な撮像装置1のハードウェア構成の一例を概略的に示すブロック図である。図2において、撮像装置1は、バス40に互いに通信可能に接続される、CPU(Central Processing Unit)20と、ROM(Read Only Memory)21と、RAM(Random Access Memory)22と、表示制御部23と、入力デバイス25と、ストレージ26と、データI/F(インタフェース)27と、通信I/F28と、を備える。また、表示制御部23に対して、表示デバイス24が接続される。
 ストレージ26は、不揮発性の記憶媒体であって、フラッシュメモリを適用できる。これに限らず、ストレージ26としてハードディスクドライブを適用してもよい。ストレージ26は、CPU20が動作するための各種プログラムやデータを記憶することができる。また、ストレージ26は、その他のデータを保存するためにも用いられる。
 CPU20は、ストレージ26およびROM21に記憶されるプログラムに従い、RAM22をワークメモリとして用いて動作し、この撮像装置1の全体の動作を制御する。例えば、CPU20は、プログラムに従い制御信号を生成し、生成した制御信号を、バス40を介して当該制御信号の制御対象となる部位に供給する。
 表示制御部23は、CPU20によりプログラムに従い生成された表示制御信号に従い、表示デバイス24が表示可能な表示信号を生成する。表示デバイス24は、例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)であって、図示されない駆動回路により駆動され、表示制御部23から供給される表示信号に応じた画面を表示させる。
 入力デバイス25は、タッチされた位置に応じた制御信号を出力する。入力デバイス25と、表示デバイス24とが一体的に形成され、タッチパネルとしてのディスプレイ2が構成される。タッチパネルとしてのディスプレイ2は、例えば、表示デバイス24による表示に応じた位置への、ユーザの手指などによる入力デバイス25に対するタッチに応じて、当該位置に対応する制御信号を出力することができる。
 なお、図1を用いて説明した操作子5は、タッチパネルとしてのディスプレイ2には含まれないが、その機能が入力デバイス25の機能の一部に含まれるものとする。
 データI/F27は、外部の機器との間でデータの送受信を行うためのインタフェースである。データI/F27としては、例えばUSB(Universal Serial Bus)を用いることができる。これに限らず、データI/F27として、比較的近距離を対象とした無線通信によりデータの送受信を行うBluetooth(登録商標)を適用させてもよい。さらに、データI/F27を、USBやBluetooth(登録商標)など複数の通信方式に対応可能としてもよい。
 通信I/F28は、無線LAN(Local Area Network)による無線通信や、公衆電話回線を介した無線通信を行うためのインタフェースである。
 撮像装置1において、バス40に対して、さらに、ドライバ30、31、32および34と、カメラ制御部35と、センサI/F36と、が接続される。
 ドライバ30は、バス40を介して供給されたデジタル方式の音信号をアナログ方式の音信号に変換し、さらに増幅して汎用スピーカ6に供給する。汎用スピーカ6は、供給された音信号に応じた音を出力する。ドライバ31は、バス40を介して供給されたデジタル方式の音信号をアナログ方式の音信号に変換し、さらに増幅して受話用スピーカ3に供給する。また、ドライバ31は、マイクロホン4で集音された音に応じたアナログ方式の音信号をデジタル方式の音信号に変換してバス40に供給する。
 ドライバ32は、バス40を介して供給された制御信号に従い、所定の振動パターンでバイブレータ33を駆動する。バイブレータ33が駆動されることにより、撮像装置1の筐体の全体を振動させることができる。ドライバ34は、バス40を介して供給された制御信号に従いフラッシュライト8を駆動してフラッシュライト8を発光させる。
 カメラ制御部35は、バス40を介して供給された制御信号に従い、リアカメラ7およびフロントカメラ9をそれぞれ制御する。例えば、カメラ制御部35は、制御信号に従い、リアカメラ7やフロントカメラ9のシャッタ動作を制御する。また、カメラ制御部35は、制御信号に従い、リアカメラ7やフロントカメラ9の絞り機能やズーム機能を制御する。さらに、カメラ制御部35は、例えば撮像画像に基づくCPU20による画像処理に基づき、リアカメラ7やフロントカメラ9のオートフォーカス機能を制御する。
 一例として、カメラ制御部35は、リアカメラ7およびフロントカメラ9により撮像された撮像画像を、バス40を介してCPU20に渡す。CPU20は、供給された撮像画像を、例えばRAM22に記憶させる。
 なお、カメラ制御部35は、リアカメラ7およびフロントカメラ9のそれぞれを、所定のフレーム周期(例えば60[fps(frame per second)])でシャッタ制御し、動画像を撮像することができる。以下、この動画像を撮像する動作モードを動画モードと呼び、シャッタ指示に応じたタイミングで例えば1枚の撮像画像を撮像する動作モードを静止画モードと呼ぶ。
 図2において、センサI/F36は、距離センサ37、照度センサ38および角速度センサ39に対するインタフェースである。距離センサ37は、撮像装置1から例えば被写体までの距離を計測するセンサである。距離センサ37としては、例えば赤外光の光源および受光部を備え、赤外光の反射を利用して距離を計測する距離センサを用いることができる。距離センサ37は、省略することが可能である。照度センサ38は、例えば受光部を備え、撮像装置1が存在する環境における照度を検出する。角速度センサ39は、撮像装置1の動き(姿勢の変化など)に応じた角速度を検出するセンサである。角速度センサ39としては、振動式ジャイロセンサを適用することができる。角速度センサ39は、例えばX軸、Y軸およびZ軸の3軸について、角速度を検出する。
 センサI/F36は、距離センサ37から出力される距離を示す情報(距離情報)と、照度センサ38から出力された照度を示す情報(照度情報)と、角速度センサ39から出力された、角速度を示す情報(角速度情報)と、を受信し、受信した各情報をバス40を介してCPU20に渡す。
 ここで、撮像装置1における撮像動作の例について、リアカメラ7を例にとって概略的に説明する。
 カメラ制御部35は、リアカメラ7の起動が例えばCPU20から指示されると、リアカメラ7を動画モードで駆動し、フレーム周期毎に撮像された撮像画像をCPU20に渡す。CPU20は、このフレーム周期毎の撮像画像に基づき表示制御信号を生成し、表示制御部23に渡す。表示制御部23は、この表示制御信号を、フレーム周期毎に表示画像が更新される表示信号に変換して、表示デバイス24に供給する。これにより、表示デバイス24に、リアカメラ7によりフレーム周期毎に撮像された各撮像画像が略リアルタイムに表示される。ユーザは、このフレーム周期毎の撮像画像による動画像の表示に基づき、撮像装置1に対してシャッタタイミングや、画角を指定することができる。
 カメラ制御部35は、この動画像の表示中にシャッタ動作が指示されると、動作モードを動画モードから静止画モードに切り替えて、シャッタ動作を指示されたタイミングに応じて撮像を行う。静止画モードにおいて撮像された撮像画像は、上述したように、例えばRAM22に記憶される。CPU20は、RAM22に記憶した撮像画像をストレージ26に保存すると共に、当該撮像画像に基づく表示制御信号を生成し、表示制御部23に渡す。これにより、ディスプレイ2に対して、静止画モードにおいて撮像された撮像画像に基づく画面が表示される。この画面を、プレビュー画面と呼び、プレビュー画面に表示される画像をプレビュー画像と呼ぶ。ユーザは、このプレビュー画面を見ることで、被写体の写り具合を確認することができる。
2.撮像装置の動作の概略
2-1.既存技術による動作例
 次に、実施形態に係る撮像装置動作について、概略的に説明する。実施形態に係る撮像装置1は、顔を撮像した撮像画像に基づき当該顔の肌の状態を解析する肌解析機能を備える。
 肌解析には、より高解像度の撮像画像を用いることが好ましい。そのため、肌解析を行うための顔の撮像を、裏面側11に設けられるリアカメラ7を用いて行う。より具体的には、肌解析を行いたいユーザは、撮像装置1を、裏面側11を自身の顔の方に向けて保持して撮像を行う。この場合、撮像装置1の表面側10が当該ユーザの視線の影になる方向を向くため、当該ユーザは、表面側10に設けられるディスプレイ2に表示される撮像のプレビュー画面を直接的に見ることができず、自身の顔を肌解析に対して適切な状態で撮像することが困難である。
 例えば、既存技術の例として、特許文献1には、合焦度合いに関する情報に応じて、合焦度合いが低い焦点検出領域に対応するフォーカスガイドは、合焦度合いが高い焦点検出領域に対応するフォーカスガイドよりも簡略化、あるいは小さく表示するようにした技術が開示されている。この技術によれば、撮影者は、撮影状況が適切かどうかをプレビュー画面で確認することができる。しかしながら、この場合、撮影者がプレビュー画面を見ることが前提となっており、撮影者かつ被写体であるユーザが、スマートフォンのリアカメラで撮影することは想定されておらず、このような場合は適切な撮影を行うことが難しい。
 既存技術の別の例として、特許文献2には、撮像された眼の画像に基づいて虹彩認証を行う構成が開示されている。この構成において、赤外光を照射して撮像されたユーザの眼の画像と眼の位置合わせ用の画像とを表示部に表示し、生体認証装置の使用状況に応じて、表示部における撮像された眼の画像の表示を非表示状態に制御する。眼の画像の表示を非表示状態としたときに、眼の鏡像を反射して表示可能なパネルに眼の鏡像が形成されるようにしている。
 この技術によれば、スマートフォンのサブカメラ(インカメラ)を用いて、ユーザは、ディスプレイ上に表示されたガイドを確認しながら、被写体(この場合は虹彩認証に用いる眼)を適切にガイド内に入るように撮影することが可能である。顔の部位の画像が適切に撮影されるような技術であるが、撮影者かつ被写体であるユーザがディスプレイを確認できない状況は想定されていない。
 既存技術のさらに別の例として、特許文献3には、自分撮りグループに属するユーザが全て含まれ、予め記憶された中心ユーザが中心に配置された画像データを、連続撮影手段で撮影された画像データから選択するようにした技術が開示されている。この技術によれば、連続撮影された複数の画像から、予め登録された複数のユーザが画面に収まり、かつ中心に配置すべきユーザが中心に配置されている画像を選択することが可能となる。しかしながら、この技術においては、ユーザがディスプレイを見ること無く、ユーザに対して撮像指示を提示することが想定されていない。そのため、適切に画像が撮影されたかどうかを知るためには、カメラのディスプレイを見て画像を確認する必要がある。
 ところで、フロントカメラ9とリアカメラ7とを備える、スマートフォンなどの撮像装置1で高画質の撮像画像を得るためには、リアカメラ7を用いて撮像を実行するのが一般的である。特に、顔の肌のシワ、毛穴の状態などの微細な形状を撮像画像から解析しようとする場合においては、フロントカメラ9と比較してより高解像度での撮像が可能なリアカメラ7で撮像した撮像画像を用いることが望ましい。しかしながら、リアカメラ7を用いてユーザ自身を撮像する場合、ユーザは、適切な撮像位置について、ディスプレイ2のプレビュー画面を確認しながら調整することが、極めて困難である。
2-2.実施形態に係る動作例
 実施形態に係る撮像装置1は、リアカメラ7により測定対象すなわちユーザの顔が撮像される際の状況を判定し、判定結果に基づき当該状況を更新するための指示をユーザに対して提示するようにしている。そのため、状況に応じて適切な撮像を行うことができる。
 また、実施形態に係る撮像装置1は、状況を更新するための指示を、測定対象であるユーザがディスプレイ2を直接的に見ること無しにユーザが認識可能な方法を用いてユーザに対して提示する。このような提示方法としては、撮像装置1の汎用スピーカ6から出力される音(音声)を用いた方法や、撮像装置1のバイブレータ33による振動を用いた方法、が適用できる。さらに、鏡を用いることが可能な場合、このような提示方法として、ディスプレイ2に指示の画像を表示させ、その画像を鏡に反射させる提示方法が適用できる。ユーザは、この鏡に映し出された画像に示される指示を見ながら、状況を更新することができる。さらにまた、撮像装置1のディスプレイ2の輝度の制御を用いた提示方法を適用することもできる。
3.実施形態に係る撮像装置の概略
3-1.機能の説明
 図3は、実施形態に係る撮像装置1の機能を説明するための一例の機能ブロック図である。図3において、撮像装置1は、全体制御部51と、UI(User Interface)部52と、撮像制御部53と、動き検出部54と、肌解析部55と、を含む。
 これら全体制御部51、UI部52、撮像制御部53、動き検出部54および肌解析部55は、CPU20上で所定のプログラムが動作することで実現される。これに限らず、これら全体制御部51、UI部52、撮像制御部53、動き検出部54および肌解析部55の一部または全部を、互いに協働して動作するハードウェア回路により構成することも可能である。
 全体制御部51は、撮像装置1の全体の動作を制御する。全体制御部51は、例えば撮像装置1のOS(Operating System)に対応する。
 UI部52は、ユーザに対するインタフェースを提供する。UI部52は、表示デバイス24に表示させる画面を生成する。また、UI部52は、入力デバイス25に対してなされたユーザ操作を受け付け、受け付けたユーザ操作に応じた制御情報を生成する。例えば、UI部52は、入力デバイス25に対する所定のユーザ操作に応じて、表示デバイス24に表示させる画面を更新すると共に、全体制御部50に対して当該ユーザ操作に応じた制御信号を渡す。
 撮像制御部53は、カメラ制御部35に対して、リアカメラ7あるいはフロントカメラ9による撮像を制御するための指示を出す。また、撮像制御部53は、リアカメラ7あるいはフロントカメラ9により撮像された撮像画像をRAM22やストレージ26に記憶する。動き検出部54は、角速度センサ39の出力に基づき、撮像装置1の動きを検出する。
 肌解析部55は、撮像画像に基づき顔を検出し、検出された顔の肌の検出を行う。肌解析部55は、測定処理部550と、解析処理部551と、を含む。
 測定処理部550は、本開示の技術の主体をなす部分であって、測定対象であるユーザの顔の撮像に係る状況を判定し、判定結果に基づき当該状況を更新するための指示を生成する。ここで、撮像に係る状況とは、撮像画像に含まれるユーザの顔(顔画像)の撮像状態、すなわち、当該顔が撮像画像においてどのように撮像されているか、に影響を与え得る状況を指す。撮像に係る状況は、例えば、撮像時における撮像装置1の周囲の光(照度、色温度)や、撮像画像に含まれる顔の状態、例えば撮像画像における顔の大きさ、向きなどを含む。また、測定処理部550は、撮像に係る状況が適切であると判定した場合、当該顔が含まれる撮像画像を、肌の解析の対象の画像であるとして、解析処理部551に渡す。
 解析処理部551は、測定処理部550から渡された撮像画像に基づき、当該撮像画像に含まれる顔に対して、肌の解析を行い、解析結果を表示するための解析結果表示画面を生成する。
 図4は、肌解析部55の機能をより詳細に説明するための一例の機能ブロック図である。図4において、測定処理部550は、測定部60と、測定状況判定部61と、測定指示部62と、を含む。また、解析処理部551は、解析部70と、結果表示部71と、を含む。
 測定処理部550において、測定部60は、被測定物すなわち顔の撮像を実行する。測定部60は、フラッシュライト8を点灯させながら撮像するフラッシュ有り撮像と、フラッシュライト8を消灯した状態で撮像するフラッシュ無し撮像と、を実行できる。測定部60は、フラッシュ有り撮像により取得された撮像画像(適宜、フラッシュ有り撮像画像と呼ぶ)と、フラッシュ無し撮像で取得された撮像画像(適宜、フラッシュ無し撮像画像と呼ぶ)と、を測定状況判定部61に渡す。
 なお、以下では、フラッシュ有り撮像画像とフラッシュ無し撮像画像とを特に区別しない場合は、これらを「撮像画像」として説明を行う。
 測定状況判定部61は、測定部60から渡されたフラッシュ有り撮像画像およびフラッシュ無し撮像画像に基づき、測定対象(顔)の撮像に係る状況を判定する。より具体的には、測定状況判定部61は、予め設定された理想状況と現在の状況とを比較し、現在の状況が肌解析に対して適切であるか否かを判定する。測定状況判定部61は、状況が適切であると判定した場合、撮像画像を解析処理部551に渡す。
 一方、測定状況判定部61は、状況が適切ではないと判定した場合、測定指示部62に対して、当該状況を示す情報を渡す。測定指示部62は、測定状況判定部61から渡された情報に基づき、当該状況の適切な状況への更新を促すための指示を、ユーザに提示する。ユーザは、提示された指示に応答して状況を更新することができる。このユーザ応答に応じて測定部60によりさらに撮像が実行される。
 解析処理部551において、解析部70は、測定処理部550から渡された撮像画像を解析し、測定対象としての顔の肌の状態に関する情報を取得する。解析部70は、例えば、肌の状態に関して、キメ(肌理)およびシワ(皺)、毛穴、肌の色、肌上のシミ(染み)の状態、など肌に関する各項目について解析を行い、各項目を数値化する。解析処理部551において、結果表示部71は、例えばユーザに指定された項目について、解析部70による解析結果を表示するための解析結果表示画面を生成する。
 なお、上述したUI部52、撮像制御部53および動き検出部54の一部または全部を、撮像装置1に搭載されるOSの機能に含めることができる。また、全体制御部51、UI部52、撮像制御部53および動き検出部54は、例えば撮像装置1に対して予め搭載される。これに対して、肌解析部55は、肌解析を行うためのアプリケーションソフトウェア(肌解析アプリと呼ぶ)として、撮像装置1に対して別途にインストールされ、搭載される。これに限らず、肌解析部55を、撮像装置1に対して予め搭載しておくこともできる。
 これら撮像装置1における肌解析部55に係る処理を実行するためのプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供される。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、当該プログラムを、インストール可能な形式または実行可能な形式のファイルでCD(Compact Disk)、フレキシブルディスク(FD)、DVD(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。
 撮像装置1に含まれる全体制御部51、UI部52、撮像制御部53、動き検出部54および肌解析部55を構成するための各プログラムは、これら全体制御部51、UI部52、撮像制御部53、動き検出部54および肌解析部55を含むモジュール構成となっている。実際のハードウェアとしては、CPU20がROM21やストレージ26などの記憶媒体から当該各プログラムを読み出して実行することにより、上述した各部がRAM22などの主記憶装置上にロードされ、当該各部が主記憶装置上に生成されるようになっている。
3-2.処理の概略
 次に、実施形態に係る撮像装置1における処理の流れについて、図5および図6を用いて概略的に説明する。図5は、実施形態に係る撮像装置1の使用形態を概略的に示す図である。図5において、左側の図、中央の図、右側の図、の順に時間の経過を示している。また、図6は、実施形態に係る撮像装置1における処理の流れを概略的に示す一例のフローチャートである。
 なお、以下では、肌解析部55が測定処理部550および解析処理部551を含む肌解析アプリとして撮像装置1に搭載されるものとする。そして、例えばユーザ操作により当該肌解析アプリを起動させることで、肌解析部55の機能により、顔の撮像から解析結果の表示までの一連の処理が実行される。また、リアカメラ7は、単焦点レンズによるカメラとして用い、ズーム機能などを利用しないものとする。
 先ず、図5の左側の図に示されるように、ユーザ15は、撮像装置1において肌解析アプリを起動させると共に、撮像装置1を、ディスプレイ2がユーザ15から見て影になるよう(裏面側がユーザ15の側を向くように)に保持する。このように撮像装置1を保持することで、リアカメラ7によりユーザ15の顔を撮像することが可能であり、且つ、ユーザ15が撮像装置1のディスプレイ2の画面を直接的に見ることが困難な状態となる。
 この図5の左側の図の状態において、図6のステップS10で、肌解析部55は、自動制御により、リアカメラ7による撮像を行う。これに限らず、肌解析部55は、ユーザ15による所定の操作に応じてリアカメラ7による撮像を行ってもよい。図5の中央の図に例示されるように、撮像装置1のディスプレイ2には、撮像された撮像画像を確認するためのプレビュー画面が表示される。この状態では、ユーザ15は、ディスプレイ2を直接的に見ることができないため、プレビュー画面の確認ができない。したがって、撮像した直後の時点では、ユーザ15は、撮像画像に対して自身の顔(顔画像)が適切に含まれているか否かを判断することが難しい。
 次のステップS11で、肌解析部55は、ステップS10で撮像された撮像画像を解析し、顔の撮像に係る状況を判定する。肌解析部55は、判定の結果、状況が肌解析に対して適切ではないと判定した場合(ステップS11、「NG」)、処理をステップS12に移行させる。
 詳細は後述するが、例えば、撮像画像に含まれる顔の位置が左右何れかに偏っている、顔の輝度が低すぎる(高すぎる)、などの場合、肌解析を適切に実行することが難しい可能性がある。そのため、ステップS12で、肌解析部55は、適切に顔が撮像されるように、ユーザ15に対して測定指示を提示する。測定指示は、音声や振動などを用い、ユーザ15がディスプレイ2を直接的に見ること無しに、顔の撮像に係る状況を更新可能なように提示する。
 肌解析部55は、ステップS12で測定指示を提示した後、処理をステップS10に戻し、再び撮像を行う。このとき、ユーザ15は、ステップS12の測定指示に応じて、リアカメラ7の画角に対する顔の位置や向き、撮像を行う環境の光源などの調整を行うことができる。
 一方、肌解析部55は、ステップS11で撮像に係る状況が肌解析に対して適切であると判定した場合(ステップS11、「OK」)、処理をステップS13に移行させる。ステップS13で、肌解析部55は、直前に実行されたステップS10において撮像された撮像画像に基づき、肌状態の解析を行う。次のステップS14で、肌解析部55は、肌状態を解析した解析結果を、ディスプレイ2に表示させる。
 図5の右側の図は、肌解析部55によりディスプレイ2に表示された解析結果表示画面80の例を示す。この例では、解析結果表示画面80の中央部にテンプレートとしての顔81が表示され、顔81に対して例えばユーザ15が指定した各位置に、その位置におけるスコア82a、82bおよび82cがそれぞれ表示されている。また、解析結果表示画面80の上端部には総合スコア83が表示され、下端部には、項目別スコア84および85が表示されている。なお、総合スコア83と、項目別スコア84および85は、それぞれ顔81における肌部全体に対する評価値を用いることができる。また、この例では、項目別スコア84および85は、それぞれ、肌の水分および油分に関する評価値とされている。
 このように、実施形態に係る撮像装置1は、顔の撮像に係る状況が肌解析に対して適切であるか否かを判定し、適切ではないと判定した場合に、状況の更新を促すための測定指示を、音声や振動などを用いてユーザ15に提示する。そのため、ユーザ15は、ディスプレイ2を直接的に見ること無しに、リアカメラ7の画角に対する顔の位置や、撮像を行う環境の光源などの調整を行うことができる。
4.実施形態に係る撮像装置の詳細
4-1.処理の具体例
 次に、実施形態に係る撮像装置1における処理について、より詳細に説明する。図7は、実施形態に係る撮像装置1における処理の流れをより具体的に示す一例のフローチャートである。図7のフローチャートは、上述した図6のフローチャートによる処理をより詳細に示すものである。
 図7のフローチャートによる処理に先立って、ユーザ15は、撮像装置1において肌解析アプリを起動させる。また、ユーザ15は、図5の左側の図を用いて説明したように、撮像装置1を、リアカメラ7を自身に向けて保持し、リアカメラ7によりユーザ15の顔を撮像することが可能な状態とする。
 図7において、ステップS10’で、肌解析部55は、自動制御により、リアカメラ7による撮像を行う。これに限らず、肌解析部55は、ユーザの所定の操作に応じてリアカメラ7による撮像を実行してもよい。ステップS10’による撮像は、フラッシュライト8を発光させないフラッシュ無し撮像により行う。肌解析部55は、撮像により取得したフラッシュ無し撮像画像を例えばRAM22に記憶する。
 次のステップS110で、肌解析部55は、ステップS10’で撮像されたフラッシュ無し撮像画像を解析し、撮像に係る状況を判定する。なお、ステップS110では、撮像に係る状況のうち、撮像画像に含まれる顔の状況について判定を行う。顔の状況とは、例えば、撮像画像に対する顔の大きさと、撮像画像における顔の位置および向きと、撮像の際の環境の明るさと、を含む。
 肌解析部55は、判定の結果、状況が肌解析に対して適切ではないと反対した場合(ステップS110、「NG」)、処理をステップS12aに移行させる。
 ステップS12aで、肌解析部55は、ユーザ15に対して測定指示を提示する。すなわち、肌解析部55は、図6のステップS12と同様に、適切に顔が撮像されるように、ユーザ15に対して、音声や振動などを用い、ユーザ15がディスプレイ2を直接的に見ること無しに、撮像画像における顔の状況を更新可能なように、測定指示を提示する。肌解析部55は、ステップS12aで測定指示の提示を行うと、処理をステップS10’に戻す。
 一方、肌解析部55は、状況が肌解析に対して適切であると判定した場合(ステップS110、「OK」)、処理をステップS20に移行させる。
 ステップS20で、肌解析部55は、リアカメラ7による撮像を、フラッシュライト8を発光させるフラッシュ有り撮像により実行する。肌解析部55は、撮像により取得したフラッシュ有り撮像画像を例えばRAM22に記憶する。肌解析部55は、ステップS20でフラッシュ有り撮像が実行されると、処理をステップS21に移行させる。ステップS21で、肌解析部55は、リアカメラ7によるフラッシュ無し撮像を実行する。肌解析部55は、撮像により取得したフラッシュ無し撮像画像を例えばRAM22に記憶する。
 なお、図7のフローチャートにおいて、ステップS21によるフラッシュ無し撮像を省略することができる。ステップS21の処理を省略した場合、後段の処理(ステップS111によるブレ判定処理、ステップS112による光源判定処理)において、ステップS21による撮像されたフラッシュ無し撮像画像の代わりに、ステップS10’により撮像されたフラッシュ無し撮像画像を用いる。また、図7では、ステップS20でフラッシュ有り撮像を実行した後に、ステップS21でフラッシュ無し撮像を実行しているが、ステップS20のフラッシュ有り撮像の処理と、ステップS21のフラッシュ無し撮像の処理と、の順序は逆でもよい。
 ステップS111で、肌解析部55は、ステップS20で取得されたフラッシュ有り撮像画像と、ステップS21で取得されたフラッシュ無し撮像画像と、に基づきブレを検出し、検出されたブレに対する判定を行う。肌解析部55は、所定以上のブレが検出されたと判定した場合(ステップS111、「NG」)、処理をステップS12aに移行させる。
 一方、肌解析部55は、ステップS111において、検出されたブレが所定未満であると判定した場合(ステップS111、「OK」)、処理をステップS112に移行させる。ステップS112で、肌解析部55は、ステップS20で取得されたフラッシュ有り撮像画像と、ステップS21で取得されたフラッシュ無し撮像画像とに基づき、光源に関する判定を行う。例えば、肌解析部55は、ステップS112において、撮像環境の明るさや、環境光の色温度などを検出し、検出結果に基づき光源が肌解析に対して適切であるか否かを判定する。これら撮像完了の明るさや、環境光の色温度も、撮像に係る状況に含めることができる。
 肌解析部55は、光源が肌解析に対して適切ではないと判定した場合(ステップS112、「NG」)、処理をステップS12aに移行させる。一方、肌解析部55は、光源が肌解析に対して適切であると判定した場合(ステップS112、「OK」)、処理をステップS13に移行させる。
 ステップS13で、肌解析部55は、例えばステップS20でフラッシュ有り撮像により撮像されたフラッシュ有り撮像画像と、ステップS21でフラッシュ無し撮像により撮像されたフラッシュ有り撮像画像と、に基づき、肌状態の解析を行う。次のステップS14で、肌解析部55は、肌状態を解析した解析結果を示す解析結果表示画面をディスプレイ2に表示させる。
4-2.各部の詳細
 次に、実施形態に係る撮像装置1の各部について、より詳細に説明する。
4-2-1.測定処理部
 先ず、実施形態に係る測定処理部550(図4参照)における処理について、より詳細に説明する。
4-2-1-1.測定部
 測定処理部550に含まれる測定部60について説明する。図8は、実施形態に係る測定部60の機能を説明するための一例の機能ブロック図である。図8において、測定部60は、フラッシュ制御部600と、撮像処理部601と、カメラ動き測定部602と、を含む。
 フラッシュ制御部600は、例えば測定状況判定部61からの指示に従い、フラッシュライト8の発光(点灯および消灯)を制御する。撮像処理部601は、例えば測定状況判定部61からの指示に従い、リアカメラ7による撮像を制御する。
 カメラ動き測定部602は、角速度センサ39が検出した角速度を示す情報を取得する。例えば、カメラ動き測定部602は、角速度センサ39から出力される角速度を示す情報を、所定のサンプリング周期でサンプリングする。
 図9Aおよび図9Bを用いて、実施形態に係る、測定部60による撮像処理について説明する。
 図9Aは、実施形態に係る、フラッシュ無し撮像における撮像処理を示す一例のフローチャートである。図9Aにおいて、ステップS30で、測定部60においてフラッシュ制御部600は、フラッシュライト8を消灯させる。次のステップS31で、測定部60において撮像処理部601は、リアカメラ7による撮像を行い、ステップS32で撮像画像(フラッシュ無し撮像画像)を例えばRAM22に記憶する。
 図9Bは、実施形態に係る、フラッシュ有り撮像における撮像処理を示す一例のフローチャートである。なお、図9Bに示す処理は、図7のフローチャートにおいてステップS21のフラッシュ無し撮像を実行する場合の例であり、ステップS20およびステップS21の処理に対応する。
 図9Bにおいて、ステップS40で、フラッシュ制御部600は、フラッシュライト8を点灯させる。次のステップS41で、測定部60においてカメラ動き測定部602は、角速度センサ39から出力された角速度を示す情報の記録を開始する。角速度を示す情報は、例えばRAM22に蓄積的に記憶される。次のステップS42で、撮像処理部601は、リアカメラ7による撮像を行い、次のステップS43で撮像画像(フラッシュ有り撮像画像)を例えばRAM22に記憶する。このとき、撮像処理部601は、リアカメラ7が有する撮像素子における画素毎の情報を、デモザイク処理を行わずにそのまま用いるRAWデータとしてRAM22に記憶する。
 ステップS44で、フラッシュ制御部600は、フラッシュライト8を消灯させる。次のステップS45で、撮像処理部601は、リアカメラ7による撮像を行い、次のステップS46で撮像画像(フラッシュ無し撮像画像)を例えばRAM22に記憶する。ここでも、上述したステップS43と同様に、撮像処理部601は、フラッシュ無し撮像画像をRAWデータによりRAM22に記憶する。次のステップS47で、カメラ動き測定部602は、角速度を示す情報の記録を終了する。
 ステップS43およびステップS46で記憶されたフラッシュ有り撮像画像およびフラッシュ無し撮像画像は、測定状況判定部61に渡される。また、カメラ動き測定部602により、ステップS41からステップS47までで記録された角速度を示す情報は、測定状況判定部61に渡される。
4-2-1-2.測定状況判定部
 図10は、実施形態に係る測定状況判定部61の機能を説明するための一例の機能ブロック図である。図10において、測定状況判定部61は、被写体検出部610と、画像ブレ検出部611と、環境明るさ検出部612と、環境光源検出部613と、カメラ動き検出部614と、状況判定部615と、理想状況記憶部616と、を含む。
 被写体検出部610は、リアカメラ7により撮像された撮像画像から、被写体である顔を検出し、検出された顔の状況を取得する。より具体的には、被写体検出部610は、撮像画像から顔を検出し、検出した顔から特徴点を抽出する。さらに、被写体検出部610は、抽出した顔の特徴点に基づき、顔の大きさおよび向きを特定する。また、被写体検出部610は、撮像画像における顔の位置を求める。被写体検出部610は、例えば、これら顔の大きさおよび向き、ならびに、顔の位置を、顔の状況として取得する。
 画像ブレ検出部611は、連続的に撮像された2つの撮像画像に基づき、肌解析に用いる撮像画像に含まれるブレの成分を検出する。より具体的には、画像ブレ検出部611は、図7のステップS20で撮像されたフラッシュ有り撮像画像から抽出された顔の特徴点と、ステップS21で撮像されたフラッシュ無し撮像画像から抽出された顔の特徴点と、の位置の差分に基づきブレの成分を検出する。なお、ステップS21の処理が省略される場合は、ステップS10’で撮像されたフラッシュ無し撮像画像を用いることができる。
 環境明るさ検出部612は、被測定物を撮像した環境の明るさを検出する。例えば、環境明るさ検出部612は、照度センサ38により検出された照度に基づき、環境の明るさを検出することができる。これに限らず、環境明るさ検出部612は、フラッシュ無し撮像画像とフラッシュ有り撮像画像とに基づき環境の明るさを検出することも可能である。
 環境光源検出部613は、図7のステップS20で撮像されたフラッシュ有り撮像画像と、ステップS21で撮像されたフラッシュ無し撮像画像と、に基づき環境光の光源の色温度を推測する。なお、ステップS21の処理が省略される場合は、ステップS10’で撮像されたフラッシュ無し撮像画像を用いることができる。また、環境光源検出部613は、色温度の推測結果に基づき、さらに、環境光の光源の種類を推測することができる。
 カメラ動き検出部614は、撮像装置1の動きを検出する。より具体的には、カメラ動き検出部614は、カメラ動き測定部602により記録された、フラッシュ有り撮像が行われた時点と、フラッシュ無し撮像が行われた時点との間において所定のサンプリング周期で取得した角速度の積算値を求める。この角速度の積算値が、撮像装置1の動きを示す値となる。
 理想状況記憶部616は、詳細は後述するが、肌解析を行うために理想的な状況を示す各項目の値を含む理想状況情報が予め記憶される。
 状況判定部615は、被写体検出部610で検出された顔の状況と、環境明るさ検出部612および環境光源検出部613で検出された周囲環境の状況と、を取得し、取得した各状況と、理想状況記憶部616に記憶される理想状況情報と、を比較する。状況判定部615は、比較の結果、各状況が理想的な顔の状況に対して所定範囲内にあるか否かを判定する。
 状況判定部615は、取得した各状況のうち、理想状況情報に対して所定範囲内に無い状況については、理想状況情報に対する差分を検出する。状況判定部615は、検出した差分と、当該差分が検出された状況を示す情報とを測定指示部62に渡す。一方、状況判定部615は、取得した各状況が理想的な顔の状況の各項目について所定範囲内にあると判定した場合、撮像画像(例えばフラッシュ有り撮像画像)と、被写体情報、例えば顔の特徴点の情報と、を解析処理部551に渡す。
(測定状況判定部の各部)
 次に、実施形態に係る測定状況判定部61の各部(被写体検出部610、画像ブレ検出部611、環境明るさ検出部612、環境光源検出部613、カメラ動き検出部614、状況判定部615および理想状況記憶部616)について、より詳細に説明する。
(被写体検出部)
 先ず、実施形態に係る被写体検出部610の処理について説明する。被写体検出部610は、撮像画像に対して顔検出処理を行い、検出された顔の特徴点を抽出する。また、被写体検出部610は、抽出された特徴点に基づき顔の向きの検出も行う。なお、被写体検出部610は、フラッシュ無し撮像画像およびフラッシュ有り撮像画像の何れに対しても、これら顔検出および特徴点抽出などの処理を施すことができる。
 図11は、実施形態に係る被写体検出部610の処理を示す一例のフローチャートである。ステップS50で、被写体検出部610に撮像画像が入力される。このとき、当該撮像画像は、RAW画像として被写体検出部610に入力される。
 次のステップS51で、被写体検出部610は、ステップS50でRAW画像として入力された撮像画像に対してデモザイク処理を実行し、RAW画像の各画素を例えばR(赤)色、G(緑)色およびB(青)色の各成分の値を含む画素に変換する。次のステップS52で、ステップS51でデモザイク処理された画像に対して、グレー化処理を実行する。次のステップS53で、ステップS52でグレー化処理された画像の解像度を、顔検出に適した解像度に変換する。
 次のステップS54で、被写体検出部610は、ステップS53で解像度変換された画像に基づき、顔検出処理を実行する。顔検出処理では、例えば、撮像画像から顔が検出されたか否かを示す顔検出結果が取得される。被写体検出部610は、顔が検出された場合には、さらに、検出された顔の特徴点や、顔の向きを検出する。
 次に、ステップS51のデモザイク処理について、図12Aおよび図12Bを用いて説明する。
 図12Aは、被写体検出部610に入力されるRAW画像の例を示す図である。リアカメラ7が備える撮像素子において、画素100が行列状に配置され、各画素100に対して、R色、G色、B色のカラーフィルタがそれぞれ1対1に設けられる。したがって、各画素100の画素値は、画素100に設けられるカラーフィルタに対応する波長帯域の光に応じた値となる。以下、R色のカラーフィルタが設けられる画素100をR色の画素100、G色のカラーフィルタが設けられる画素100をG色の画素100、B色のカラーフィルタが設けられる画素100をB色の画素100、と呼ぶ。
 図12Aの例では、R、GおよびB各色の画素100が、カラーフィルタの配列として一般的に用いられるベイヤ配列に従い配置される。ベイヤ(Bayer)配列は、2つのG色の画素100と、1つのR色の画素100と、1つのB色の画素100と、を含む。ベイヤ配列においては、これら4つの画素100が、2つのG色の画素100が隣接しないように、2画素×2画素の行列状に配列されて構成される。
 図12Aの例では、R色の画素100の画素値を「R」、R色の画素100の右隣に配置されるG色の画素100の画素値を「GR」、B色の画素100の画素値を「B」、B色の画素100の左隣に配置されるG色の画素100の画素値を「GB」として示している。
 デモザイク処理は、一般的には、注目する画素(注目画素とする)の画素値と、注目画素の近傍の各画素の画素値とを用いて、1つの注目画素に対してR色、G色およびB色それぞれの画素値を与える処理となる。
 実施形態に係るデモザイク処理は、図12Aにおいて枠101で囲んで示すように、ベイヤ配列を構成する4つの画素100を単位として、R色の画素100およびB色の画素100については、各画素100の画素値「R」および「B」をそのまま抽出する。一方、2つのG色の画素100については、画素値「GR」と画素値「GB」との平均値「(GR+GB)/2」を、2つのG色の画素100による画素値として抽出する。
 図12Bは、実施形態に係るデモザイク処理による画素の例を示す図である。ベイヤ配列を構成する4つの画素100を含むブロック102毎に、画素値「R」と、画素値「(GR+GB)/2」と、画素値「B」と、を与える。なお、図12Bにおいて、画素値「(GR+GB)/2」は、「G(GR+GB)/2」として示されている。このデモザイク処理によれば、R、GおよびB各色の解像度は、元のRAW画像に対して行列それぞれが1/2となる。換言すれば、実施形態に係るデモザイク処理により、ベイヤ配列を構成する4つの画素100を含むブロック102が、R、GおよびB各色の画素値(R,G(GR+GB)/2,B)を持つ1つの画素として扱われる。
 図11のフローチャートにおけるステップS52のグレー化処理について説明する。ステップS52で、被写体検出部610は、ステップS51でデモザイク処理された画素毎、すなわちブロック102毎に、下記の式(1)に従いR、GおよびB各色の画素値の平均値PAVGを求め、求めた平均値PAVGを当該ブロック102のグレー化された画素値とする。
AVG=(R+G(GR+GB)+B)/3  …(1)
 図11のフローチャートにおけるステップS53の解像度変換処理について説明する。被写体検出部610は、ステップS52でグレー化された画像の解像度を、ステップS54の顔検出処理に適した解像度に変換する。なお、変換後の解像度は、処理時間など撮像装置1における処理の負荷を考慮して決めると好ましい。一例として、リアカメラ7の解像度(撮像画像のサイズ)を4000画素×3000画素とした場合、変換後の画像の幅が1200画素になるように、解像度変換を行う。また、被写体検出部610は、解像度変換された画像に対して、バイキュービック補間処理など一般的に用いられる画像の補間処理を適用することが可能である。
 図11のフローチャートにおけるステップS54の顔検出処理について説明する。ステップS54で、被写体検出部610は、ステップS53で解像度変換された画像に含まれている顔を検出する。被写体検出部610は、当該画像から顔が検出されなかった場合、例えばその旨を状況判定部615に渡す。状況判定部615は、被写体検出部610から顔が検出されなかった旨が渡された場合、測定指示部62に対して、例えば再度の撮像を促す測定指示を提示するよう、指示を出す。
 被写体検出部610は、当該画像から顔が検出されたと判定した場合、検出された顔における各特徴点を抽出する。この、被写体検出部610における顔検出処理、および、検出された顔における特徴点の抽出処理は、既存の技術を用いて実行可能である。この、顔検出処理および特徴点抽出処理に適用可能な既存技術の例としては、非特許文献1に開示される技術が挙げられる。これに限らず、被写体検出部610は、例えばオープンソースライブラリとして公開されるプログラムの一つである、顔検出処理および特徴点抽出処理のためのプログラム(例えば「OpenFace」)を利用することも可能である。
 図13は、実施形態に係る被写体検出部610により検出された顔から抽出された特徴点の例を示す図である。図13の例では、顔90において、右目91Rの目尻および目頭が特徴点RE1およびRE2として抽出され、左目91Lの目頭および目尻が特徴点LE1およびLE2として抽出される。また、鼻92の水平方向の両端が特徴点RNおよびLNとして抽出され、口の両端が特徴点RMおよびLMとして抽出される。また、顔における、右目91Rの目尻の特徴点RE1と、左目91Lの目尻の特徴点RE2と、の間の距離を、両目の幅(両目幅)として定義する。この図13に示される各特徴点は、一例であって、顔90の他の部位を特徴点として抽出してもよい。
 被写体検出部610は、さらに、顔90の向きを検出する。図14は、実施形態において検出される顔の向きを説明するための図である。図14において、垂直方向をZ軸、Z軸に対して直角に交わるXY平面のX軸およびY軸を、図14の左上方向および左下方向にそれぞれ定義する。一例として、顔90が平面であると仮定し、右目91Rの目尻の特徴点RE1と、左目91Lの目尻の特徴点RE2と、を結ぶ線がX軸と平行であるものとし、顔90の面がXZ平面と平行であるとする。
 XYZ座標の原点を顔90の中心と一致させた場合の、顔90の向きは、Y軸を中心とした回転であるロール(roll)と、X軸を中心とした回転であるピッチ(pitch)と、Z軸を中心とした回転であるヨー(yaw)と、と用いて表すことができる。なお、ロールは、ユーザ15が自身から見て左側に首を傾げる方向が正方向、右側に首を傾げる方向が負方向とし、ピッチは、上を仰ぐ方向が正方向、俯く方向が負方向とする。また、ヨーは、ユーザ15が自身において右側に向く方向が正方向、左側に向く方向が負方向とする。
 顔の向きは、画像から抽出した顔や頭部に基づき顔や頭部の向きを推測する既存の頭部姿勢推定の技術を適用することができる。被写体検出部610は、例えばオープンソースライブラリとして公開されるプログラムの一つである、顔器官点を元にDNN(Deep Neural Network)で学習する顔向き推定のプログラムを利用して、顔90の向きを検出することができる。
 なお、顔90の中心は、顔90から抽出された各特徴点の座標に基づき計算により推測する。図15は、実施形態に係る、顔90の中心94の推定方法を説明するための図である。なお、図15において、図の水平方向をx軸、垂直方向をy軸としている。
 この図15の例では、被写体検出部610は、次式(2)および(3)により顔90の中心94の座標(Fc(x),Fc(y))を算出する。なお、式(2)および(3)において、値RE2(x)および値RE2(y)は、右目91Rの目頭に対応する特徴点RE2の座標、値LE1(x)および値LE1(y)は、左目91Lの目頭に対応する特徴点LE1の座標をそれぞれ示す。また、値RN(x)およびRN(y)と、値LN(x),LN(y)と、は、鼻92の両端の特徴点RNおよびLNの座標をそれぞれ示す。
Fc(x)=(RE2(x)+LE1(x)+RN(x)+LN(x))/4  …(2)
Fc(y)=(RE2(y)+LE1(y)+RN(y)+LN(y))/4  …(3)
 被写体検出部610は、算出した顔90の各特徴点RE1、RE2、LE1、LE2、RN、LN、RMおよびLMの情報と、顔90の中心94の座標(Fc(x),Fc(y))と、顔90の向きを示す情報(ロール、ピッチおよびヨー)と、を状況判定部615に渡す。
(環境明るさ検出部)
 次に、実施形態に係る環境明るさ検出部612の処理について説明する。環境明るさ検出部612は、以下に説明する環境明るさ検出の第1の方法、第2の方法および第3の方法のうち何れか、または、2以上の方法の組み合わせにより、環境の明るさを検出する。
 環境明るさ検出の第1の方法は、撮像装置1が有する照度センサ38の出力に基づき環境の明るさを検出する方法である。環境明るさ検出部612は、照度センサ38から出力される照度情報を取得し、取得した照度情報に基づき環境の明るさ(照度)を検出する。環境明るさ検出部612は、検出した環境の明るさを、例えば輝度情報として出力する。
 環境明るさ検出の第2の方法は、リアカメラ7により撮像された撮像画像に基づき環境の明るさを検出する方法である。図16は、実施形態に係る、環境明るさ検出部612において撮像画像に基づき環境の明るさを検出する、環境明るさ検出の第2の方法による処理を示す一例のフローチャートである。ステップS60で、環境明るさ検出部612に、図7のステップS10’においてフラッシュ無し撮像により撮像されたフラッシュ無し撮像画像が、RAW画像として入力される。
 次のステップS61で、環境明るさ検出部612は、ステップS60でRAW画像として入力された撮像画像に対してデモザイク処理を実行する。ステップS61では、図11のステップS51、ならびに、図12Aおよび図12Bを用いて説明した方法と同様にして、撮像画像に対してデモザイク処理を実行する。次のステップS62で、ステップS61でデモザイク処理された画像に対して、図11のステップS52で説明した方法と同様にして、グレー化処理を実行する。次のステップS63で、図11のステップS53で説明した方法と同様にして、グレー化処理された画像の解像度を、顔検出に適した解像度に変換する。
 なお、このステップS60~ステップS63の処理は、図11のステップS50~ステップS53の処理と共通とすることができる。例えば、環境明るさ検出部612は、図16のフローチャートのステップS60~ステップS63の諸理を省略し、図11のフローチャートにおけるステップS53の処理で解像度変換まで完了した画像を、被写体検出部610から取得してもよい。
 次のステップS64で、環境明るさ検出部612は、ステップS63で解像度が変換された画像から所定領域を切り出し、次のステップS65で、切り出した所定領域の平均輝度LmAVGを算出する。
 図17は、実施形態に係る、環境の明るさを検出する第2の方法による、ステップS64およびステップS65の処理を説明するための図である。なお、図17において、図の水平方向をx軸、垂直方向をy軸としている。
 図17において、図16のフローチャートのステップS63で解像度変換した画像の画枠110は、高さH(画素)×幅W(画素)のサイズを有するものとする。なお、図16の例では、画枠110の左上隅を原点(0,0)として示している。環境明るさ検出部612は、この画枠110内に対して、高さh(<H)×幅w(<W)の領域111を設定し、x=(W-w)/2、y=(H-h)/2として、領域111の左上隅の座標(x,y)を定める。環境明るさ検出部612は、この領域111に含まれる各画素(ブロック102)の輝度を平均して、平均輝度LmAVG1を算出し、算出した平均輝度LmAVG1を、環境の明るさとして検出する。
 環境明るさ検出の第3の方法は、上述した第2の方法と同様に、リアカメラ7により撮像された撮像画像に基づき環境の明るさを検出する。ここで、この第3の方法では、環境明るさ検出部612は、肌解析を行う解析部位に注目し、この解析部位に含まれる各画素(ブロック102)の輝度の平均値を算出し、算出したこの平均値を環境の明るさとして検出する。
 環境明るさ検出部612は、環境明るさ検出の第3の方法を上述した図16のフローチャートと共通の処理で実行する。環境明るさ検出の第3の方法は、図16のフローチャートにおけるステップS64およびステップS65の内容が、上述した環境明るさ検出の第2の方法と異なる。
 図18は、実施形態に係る、環境の明るさを検出する第3の方法による、上述したステップS64およびステップS65の処理を説明するための図である。なお、図18において、図の水平方向をx軸、垂直方向をy軸としている。図18に示されるように、環境明るさ検出部612は、顔90の頬の部分の所定領域を頬領域95として指定する。環境明るさ検出部612は、この頬領域95の平均輝度LmAVG2を、環境の明るさとして検出する。
 この図18の例では、環境明るさ検出部612は、次式(4)により、頬領域95の幅sおよび高さtを算出する。なお、式(4)において、値aは、所定の係数であって、例えばa=0.5である。値LE1(x)および値LE2(x)は、それぞれ左目91Lの両端(目頭、目尻)の特徴点LE1およびLE2のx座標を示す。
s=t=a×(LE2(x)-LE1(x))  …(4)
 また、環境明るさ検出部612は、次式(5)および(6)により頬領域95の左上隅96の座標(Fm(x),Fm(y))を算出し、頬領域95の顔90における位置を設定する。なお、式(6)において、値LN(y)は、鼻92の左端のy座標を示す。
Fm(x)=(LE1(x)+LE2(x)-s)/2  …(5)
Fm(y)=LN(y)-t  …(6)
 なお、上述の頬領域95の幅s、高さtおよび位置は、一例であって、他の方法で設定してもよい。
 環境明るさ検出部612は、上述した環境明るさ検出を行う第1、第2および第3の何れかを用いて、環境の明るさを検出する。これに限らず、環境明るさ検出を行う第1、第2および第3の方法のうち2つ以上の方法を組み合わせて環境の明るさを検出してもよい。
 以下では、上述した環境明るさ検出の第1の方法および第2の方法により検出された環境の明るさを、全体輝度と呼ぶ。また、上述した環境明るさ検出の第3の方法により検出された環境の明るさを、解析部位輝度と呼ぶ。また、環境明るさ検出部612は、環境明るさ検出の第1または第2の方法と、環境明るさ検出の第3の方法と、を実行し、全体輝度と解析部位輝度とを、環境の明るさを示す情報として取得する。環境明るさ検出部612は、検出された環境明るさを示す情報(全体輝度、解析部位輝度)を、状況判定部615に渡す。
(画像ブレ検出部)
 次に、実施形態に係る画像ブレ検出部611の処理について説明する。図19は、実施形態に係る画像ブレ検出部611による画像ブレ検出処理を示す一例のフローチャートである。
 ステップS70で、画像ブレ検出部611は、被写体検出部610からフラッシュ有り撮像画像に基づき抽出された、顔90の各特徴点を取得する。次のステップS71で、画像ブレ検出部611は、被写体検出部610からフラッシュ無し撮像画像に基づき抽出された、顔90の各特徴点を取得する。
 ステップS70およびステップS71の各特徴点の取得処理について、上述した図7のフローチャートのステップS21でフラッシュ無し撮像を実行する場合を例にとって説明する。
 被写体検出部610は、図7のステップS20でフラッシュ有り撮像を実行し、次のステップS21でフラッシュ無し撮像を実行する。被写体検出部610は、ステップS20で実行されたフラッシュ有り撮像により取得されたフラッシュ有り撮像画像に基づき、図11~図15を用いて説明した処理により顔90の検出を行い、検出された顔90の各特徴点を抽出する。同様にして、被写体検出部610は、ステップS21で実行されたフラッシュ無し撮像により取得されたフラッシュ無し撮像画像に基づき、図11~図15を用いて説明した処理により顔90の検出を行い、検出された顔90の各特徴点を抽出する。
 画像ブレ検出部611は、ステップS70およびステップS71で、被写体検出部610により連続して実行されたフラッシュ有り撮像およびフラッシュ無し撮像によりそれぞれ取得されたフラッシュ有り撮像画像およびフラッシュ無し撮像画像に基づきそれぞれ抽出された、顔90の各特徴点を取得する。
 次のステップS72で、画像ブレ検出部611は、ステップS70で取得したフラッシュ有り撮像画像に基づく各特徴点と、ステップS71で取得したフラッシュ無し撮像画像に基づく各特徴点と、において、顔90内での位置が対応する特徴点間の各距離を検出する。次のステップS73で、画像ブレ検出部611は、ステップS72で検出された各距離の平均値である平均距離を算出する。
 次のステップS74で、画像ブレ検出部611は、ステップS73で算出した平均距離が予め定めた上限値未満であるか否かを判定する。画像ブレ検出部611は、算出した平均距離が上限値未満である場合(ステップS74、「Yes」)、処理をステップS75に移行させ、ブレが無いと判定する。一方、画像ブレ検出部611は、算出した平均距離が上限値以上である場合(ステップS74、「No」)、処理をステップS76に移行させ、ブレが有ると判定する。画像ブレ検出部611は、ブレの判定結果を状況判定部615に渡す。
 図20は、上述したステップS72およびステップS73による、実施形態に係る、特徴点間の距離および平均距離を算出する処理を説明するための図である。図20において、左側にフラッシュ無し撮像による撮像画像97aを示し、右側にフラッシュ有り撮像による撮像画像97bを示している。
 図20のフラッシュ無し撮像による撮像画像97aにおいて、右目91Rの両端(目尻、目頭)の特徴点の座標をそれぞれ座標FP0 NFおよびFP1 NFとし、左目91Lの両端の特徴点の座標をそれぞれ座標FP2 NFおよびFP3 NFとする。また、鼻92の両端の座標を座標FP4 NFおよびFP5 NFとし、口93の両端の座標を座標FP6 NFおよびFP7 NFとする。
 同様に、図20のフラッシュ有り撮像による撮像画像97bにおいて、右目91Rの両端(目尻、目頭)の特徴点の座標をそれぞれ座標FP0 FおよびFP1 Fとし、左目91Lの両端の特徴点の座標をそれぞれ座標FP2 FおよびFP3 Fとする。また、鼻92の両端の座標を座標FP4 FおよびFP5 Fとし、口93の両端の座標を座標FP6 FおよびFP7 Fとする。
 フラッシュ無し撮像による撮像画像97aおよびフラッシュ有り撮像による撮像画像97bにおける各特徴点のうち、座標FP0 NFおよびFP0 Fの各特徴点、座標FP1 NFおよびFP1 Fの各特徴点、座標FP2 NFおよびFP2 Fの各特徴点、座標FP3 NFおよびFP3 Fの各特徴点、座標FP4 NFおよびFP4 Fの各特徴点、座標FP5 NFおよびFP5 Fの各特徴点、座標FP6 NFおよびFP6 Fの各特徴点、座標FP7 NFおよびFP7 Fの各特徴点、の各組が、それぞれ顔90において位置が対応する特徴点の組となる。
 次式(7)に示すように、これら特徴点の組のそれぞれにおいて、2つの特徴点の座標の差分の絶対値を算出する。全ての特徴点の組で算出された差分の絶対値を合計して特徴点の組の数で除算する。これにより、フラッシュ有り撮像画像およびフラッシュ無し撮像画像において位置が対応する特徴点間の距離の平均値である平均距離を算出できる。
Figure JPOXMLDOC01-appb-M000001
 図20の例では、フラッシュ無し撮像による撮像画像97aにおいては、顔90が画枠110の略中央に位置し、顔90の全体が画枠110に含まれている。一方、フラッシュ有り撮像による撮像画像97bにおいては、顔90の一部が画枠110の右側にはみ出ているのが分かる。画像ブレ検出部611は、この図20のような場合、フラッシュ無し撮像による撮像画像97aおよびフラッシュ有り撮像による撮像画像97bで位置が対応する各特徴点間の距離が大きくなり、平均距離が上限値以上となってしまう。
(環境光源検出部)
 次に、実施形態に係る環境光源検出部613の処理について説明する。環境光源検出部613は、フラッシュ有り撮像画像とフラッシュ無し撮像画像とを用いて、環境光の光源について、色温度や光源の種類を推定する。
 図21は、実施形態に係る環境光源検出部613における処理の流れを説明するための図である。ある色Aの下で色Scの被写体をフラッシュ無し撮像により撮像した撮像画像120において、被写体は、被写体の色Scに当該環境光の色Aが作用した色で撮像される。この色Aの環境光下の被写体の色は、色Scと色Aとの乗算により色「A×Sc」として表すことができる。
 一方、ある色Aの環境光の下で、色Scの被写体を、色Fのフラッシュライト8を点灯させて撮像したフラッシュ有り撮像による撮像画像121において、被写体は、被写体の色Scに環境光の色Aとフラッシュライト8の光の色Fとが作用した色で撮像される。この色Aの環境光下で色Fのフラッシュライト8を点灯させて撮像した被写体の色は、色「(A+F)×Sc」として表すことができる。
 フラッシュ有り撮像による撮像画像121を被減算値として、フラッシュ無し撮像による撮像画像120とで減算器122により色の減算を行う。この減算により得られる色は、「F×Sc」として表される。これは、環境光の影響が排除されたフラッシュ画像123が得られたことを示している。ここで、減算器122で得られた色「F×Sc」と、フラッシュ無し撮像による撮像画像120の色「A×Sc」と、のそれぞれの対数をとる。減算器124により、例えば色「A×Sc」の対数から色「F×Sc」の対数を減ずることで、環境光の色Aと、フラッシュライト8の光の色Fとの比率A/Fを求めることができる。フラッシュライト8の光の色Fは、既知であるため、この比率A/Fから、環境光の色Aを求めることができる。環境光源検出部613は、この色Aに基づき環境の光の色温度を求めることができる。環境光源検出部613は、求めた環境光の色Aを示す情報を状況判定部615に渡す。色Aを示す情報は、例えばケルビンを単位とした色温度が用いられる。
 なお、環境光源検出部613は、色温度の検出結果に基づき光源の種類(白熱灯、蛍光灯、太陽光など)を推測することも可能である。
(カメラ動き検出部)
 次に、実施形態に係るカメラ動き検出部614の処理について説明する。カメラ動き検出部614は、図9Bを用いて説明したフラッシュ有り撮像におけるステップS41~ステップS47の処理において記録された角速度を示す情報に基づき、撮像装置1の動きの有無を検出する。図22は、実施形態に係るカメラ動き検出部614による処理を示す一例のフローチャートである。
 ステップS80で、カメラ動き検出部614は、上述のステップS41~ステップS47で記録された角速度の積算値を算出する。次のステップS81で、カメラ動き検出部614は、ステップS80で算出した角速度の積算値が予め定めた上限値未満であるか否かを判定する。カメラ動き検出部614は、角速度の積算値が上限値未満である場合(ステップS81、「Yes」)、処理をステップS82に移行させ、撮像装置1の動きが無かったと判定する。一方、カメラ動き検出部614は、角速度の積算値が上限値以上である場合(ステップS81、「No」)、処理をステップS83に移行させ、撮像装置1の動きがあったと判定する。カメラ動き検出部614は、この判定結果をカメラ動き検出結果として状況判定部615に渡す。
(状況判定部、理想状況記憶部)
 次に、実施形態に係る状況判定部615の処理について説明する。状況判定部615は、被写体検出部610、画像ブレ検出部611、環境明るさ検出部612、環境光源検出部613およびカメラ動き検出部614から渡された各検出結果と、理想状況記憶部616に記憶される、肌解析を行うために理想的な状況を示す理想状況情報と、に基づき状況判定を行う。
 図23は、実施形態に係る理想状況記憶部616に記憶される理想状況情報の例を示す。図23の例では、理想状況情報は、被写体検出部610の検出結果に応じた項目「顔の大きさ」、「顔の位置」および「顔の向き」と、環境明るさ検出部612の検出結果に応じた項目「環境の明るさ」および「解析部位輝度」と、環境光源検出部613の検出結果に応じた項目「環境の色温度」と、画像ブレ検出部611の検出結果に応じた「画像ブレ」と、カメラ動き検出部614の検出結果に応じた「カメラ動き」と、の各項目を含む。理想状況情報は、これら各項目に対して、「上限値」および「下限値」が関連付けられている。
 これらのうち、項目「顔の向き」は、ヨー(yaw)、ロール(roll)およびピッチ(pitch)の各向きの項目を含む。項目「顔の大きさ」は、両目幅すなわち右目91Rおよび左目91Lの間の距離を示す。項目「カメラ動き」は、角速度センサ39が検出可能な各軸の情報を含む。
 理想状況情報において、一部を除いた各項目に対して、下限値および上限値が設定される。この例では、項目「環境の明るさ」に、下限値「50[lux(ルクス)]」と、上限値「100[lux]」とが関連付けられる。項目「環境の色温度」に、下限値「3000[K(ケルビン)]」と、上限値「6500[K]」とが関連付けられる。また、項目「顔の大きさ」に、下限値「1000[pix(ピクセル:画素)]」と、上限値「2500[pix]」と、が関連付けられている。
 状況判定部615は、これらの各項目に対応する検出結果の値が、当該項目に関連付けられる上限値および下限値の範囲外の値である場合に、撮像に係る状況が肌解析に対して適切な状況ではないと判定する。
 図23の例では、項目「顔の位置」については、上限値および下限値として、撮像画像に顔90の全ての特徴点が写っているか否かが関連付けられている。状況判定部615は、例えば、撮像画像に対して、図13を用いて説明した顔90における各特徴点RE1、RE2、LE1、LE2、RN、LN、RMおよびLMのうち少なくとも1つが含まれていない場合に、撮像に係る状況が肌解析に対して適切な状況ではないと判定する。
 図23において、項目「顔の向き」は、ヨー、ロールおよびピッチそれぞれについて、下限値「-10[deg(度)]」と、上限値「+10[deg]」と、が関連付けられている。項目「解析部位輝度」については、環境明るさ検出部612により、上述した、環境の明るさを検出する第3の方法により検出した、解析部位の明るさを示す輝度情報について、上限値および下限値が関連付けられている。図23の例では、画素値が10ビットのビット深度を有する場合、下限値「200」および上限値「900」が、項目「解析部位輝度」に対してそれぞれ関連付けられている。
 図23において、項目「画像ブレ」は、上限値「1.0[pix]」が関連付けられ、下限値は設定されない。また、項目「カメラ動き」は、例えば角速度センサ39が検出可能な各軸について、上限値「1.6[deg]」が関連付けられ、下限値は設定されない。
 なお、項目「カメラ動き」の上限値「1.6[deg]」は、肌解析において想定される例えば毛穴のサイズと、肌解析のための撮像における被写体(顔)とリアカメラ7との間の距離に基づき設定することが考えられる。
 例えば、毛穴のサイズを直径「0.02[cm]」とした場合、肌解析のための画像は、少なくとも毛穴サイズの1/2の0.01[cm]の解像度があると好ましい。図24に示されるように、被写体とリアカメラ7との距離を20[cm]とした場合、リアカメラ7から20[cm]の距離において0.01[cm]の解像度を実現する角度は、1.64[deg]となる。したがって、フラッシュ有り撮像(例えば図7のステップS20)から直後のフラッシュ無し撮像(例えば図7のステップS21)の間の撮像装置1の動きがこの1.64[deg]よりも小さければ、撮像画像において、肌解析に必要な解像度を実現できる。
 状況判定部615は、被写体検出部610、画像ブレ検出部611、環境明るさ検出部612、環境光源検出部613およびカメラ動き検出部614から渡された各検出結果と、理想状況記憶部616に記憶される理想状況情報に示される、それぞれ対応する各項目における上限値および下限値と、に基づき、肌解析を行うための条件を満たした撮像が実行されたか否かを判定する。
 図25は、実施形態に係る状況判定部615による状況判定処理を示す一例のフローチャートである。この図25のフローチャートによる処理は、図7のステップS110の処理に対応する。
 ステップS90で、状況判定部615は、被写体検出部610から顔検出の結果を取得する。より具体的には、状況判定部615は、被写体検出部610により検出された顔90の各特徴点の情報と、顔の向きの情報と、を取得する。次のステップS91で、状況判定部615は、環境明るさ検出部612から環境の明るさの検出結果を取得する。より具体的には、状況判定部615は、環境明るさ検出部612から、環境の明るさを示す情報として、全体輝度および解析部位輝度を取得する。
 次のステップS92で、状況判定部615は、被写体検出部610から取得した各特徴点の情報に基づき顔の位置の判定を行う。より具体的には、状況判定部615は、理想状況記憶部616に記憶される環境状況情報における項目「顔の位置」に関連付けられる上限値および下限値に従い、被写体検出部610から顔90に設定された全ての特徴点RE1、RE2、LE1、LE2、RN、LN、RMおよびLMが取得されたか否かを判定する。
 状況判定部615は、被写体検出部610から顔90に設定された全ての特徴点が取得されていると判定した場合、撮像画像における顔の位置が好ましい位置であるとし、差分を「0」とする。一方、状況判定部615は、顔90に設定された全ての特徴点のうち例えば1つ以上の特徴点が取得されていないと判定した場合、撮像画像における顔の位置が好ましくない位置であるとし、差分を「0」以外の所定値とする。
 次のステップS93で、状況判定部615は、環境明るさ検出部612から取得した全体輝度に基づき環境明るさの判定を行う。
 図26は、実施形態に係る、状況判定部615における環境明るさの判定処理を示す一例のフローチャートである。ステップS930で、状況判定部615は、理想状況記憶部616から、環境状況情報における項目「環境の明るさ」に関連付けられる上限値および下限値の各項目を読み出す。次のステップS931で、状況判定部615は、読み出した項目「環境の明るさ」に関連付けられる下限値と、環境明るさ検出部612から取得した全体輝度と、を比較する。状況判定部615は、取得した全体輝度が当該下限値より小さい値であると判定した場合(ステップS931、「Yes」)、処理をステップS932に移行させ、取得した全体輝度から下限値を減じた値を差分として算出し、次のステップS933で、算出した差分(負の値)を取得する。
 状況判定部615は、ステップS931で、取得した全体輝度が当該下限値以上の値であると判定した場合(ステップS931、「No」)、処理をステップS934に移行させる。ステップS934で、状況判定部615は、取得した全体輝度と理想状況記憶部616から読み出した理想状況情報における項目「環境の明るさ」に関連付けられる上限値とを比較する。状況判定部615は、取得した全体輝度が当該上限値以下の値であると判定した場合(ステップS934、「No」)、処理をステップS937に移行させる。ステップS937で、状況判定部615は、差分として「0」を取得する。
 一方、状況判定部615は、取得した全体輝度が当該上限値を超える値であると判定した場合(ステップS934、「Yes」)、処理をステップS935に移行させる。ステップS935で、状況判定部615は、取得した全体輝度から当該上限値を減じた値を差分として算出し、次のステップS936で、算出した差分(正の値)を取得する。
 説明は図25に戻り、次のステップS94で、状況判定部615は、被写体検出部610から取得した各特徴点に基づき、撮像画像における顔90の大きさの判定を行う。この判定は、上述した図26のフローチャートによる処理と同様にして、被写体検出部610から取得した各特徴点に基づく顔の大きさ(両目幅)と、理想状況記憶部616から読み出した理想状況情報における、項目「顔の大きさ(両目幅)」に関連付けられる上限値と下限値とを比較することで行われる。
 より具体的には、ステップS94で、状況判定部615は、理想状況記憶部616から理想状況情報を読み出し、読み出した理想状況情報から項目「顔の大きさ(両目幅)」に関連付けられる上限値と下限値とを取得する。また、状況判定部615は、図13を用いて説明したように、顔90における特徴点RE1の座標と、特徴点LE2の座標と、に基づき両目幅を求める。状況判定部615は、理想状況情報から取得した項目「顔の大きさ(両目幅)」に関連付けられる下限値と、特徴点から求めた両目幅と、を比較し、求めた両目幅が当該下限値より小さい値であれば、両目幅から当該下限値を減じた値を差分(負の値)として算出する。
 さらに、状況判定部615は、求めた両目幅が当該下限値以上の値である場合、求めた両目幅と、理想状況記憶部616から読み出した理想状況情報に含まれる、項目「顔の大きさ(両目幅)」に関連付けられる上限値と、を比較し、求めた両目幅が当該上限値以下の値であれば、差分を「0」とする。一方、状況判定部615は、求めた両目幅が当該上限値を超える値であれば、求めた両目幅から当該上限値を減じた値を差分(正の値)として算出する。
 次のステップS95で、状況判定部615は、被写体検出部610から取得した顔の向き(ヨー、ロールおよびピッチ)の情報に基づき、撮像画像における顔90の向きの判定を行う。この判定は、上述した図26のフローチャートによる処理と同様にして、被写体検出部610から取得した顔の向き(ヨー、ロールおよびピッチ)のそれぞれと、理想状況記憶部616から読み出した理想状況情報に含まれる、項目「顔の向き(yaw)」、「顔の向き(roll)」および「顔の向き(pitch)」それぞれに関連付けられる各上限値と下限値と、を比較することで行われる。
 より具体的には、ステップS95で、状況判定部615は、理想状況記憶部616から理想状況情報を読み出し、読み出した理想状況情報から、項目「顔の向き(yaw)」、「顔の向き(roll)」および「顔の向き(pitch)」それぞれに関連付けられる各上限値と下限値と、を取得する。状況判定部615は、取得した例えば項目「顔の向き(yaw)」に関連付けられる下限値と、被写体検出部610から取得した顔の向き(ヨー)とを比較し、顔の向き(ヨー)が当該下限値より小さい値であれば、取得した顔の向き(ヨー)から当該下限値を減じた値を差分(負の値)として算出する。
 さらに、状況判定部615は、顔の向き(ヨー)が当該下限値以上の値である場合、顔の向き(ヨー)と環境状況情報から取得した項目「顔の向き(yaw)」に関連付けられる上限値とを比較し、顔の向き(ヨー)が当該上限値以下の値であれば、差分を「0」とする。一方、状況判定部615は、顔の向き(ヨー)が当該上限値を超える値であれば、顔の向き(ヨー)から当該上限値を減じた値を差分(正の値)として算出する。
 状況判定部615は、被写体検出部610から取得した顔の向き(ロールおよびピッチ)についても、顔の向き(ヨー)と同様の処理を実行し、それぞれ差分を算出する。
 次のステップS96で、状況判定部615は、環境明るさ検出部612から取得した解析部位輝度に対する判定を行う。の判定は、上述した図26のフローチャートによる処理と同様にして、環境明るさ検出部612からから取得した解析部位輝度と、理想状況記憶部616から読み出した理想状況情報に含まれる、項目「解析部位輝度」に関連付けられる上限値と下限値とを比較することで行われる。
 より具体的には、ステップS96で、状況判定部615は、理想状況記憶部616から、項目「解析部位輝度」に関連付けられる上限値と下限値とを読み出す。状況判定部615は、読み出した項目「解析部位輝度」に関連付けられる下限値と、環境明るさ検出部612から取得した解析部位輝度とを比較し、解析部位輝度が当該下限値より小さい値であれば、解析部位輝度から当該下限値を減じた値を差分(負の値)として算出する。
 さらに、状況判定部615は、解析部位輝度が当該下限値以上の値である場合、解析部位輝度と理想状況記憶部616から読み出した理想状況情報に含まれる、項目「解析部位輝度」に関連付けられる上限値とを比較し、解析部位輝度が当該上限値以下の値であれば、差分を「0」とする。一方、状況判定部615は、解析部位輝度が当該上限値を超える値であれば、解析部位輝度から当該上限値を減じた値を差分(正の値)として算出する。
 次のステップS97で、状況判定部615は、上述したステップS92~ステップS96の全ての判定で差分が「0」であるか否かを判定する。状況判定部615は、ステップS92~ステップS96の全ての判定で差分が「0」であると判定した場合(ステップS97、「Yes」)、撮像に係る状況が肌解析を行うための条件を満たしているとして、図25のフローチャートによる一連の処理を終了させ、次の判定処理に移行する。
 例えば、状況判定部615は、図25のフローチャートによる一連の処理を終了させた後、図7のステップS20の処理に移行し、フラッシュ有り撮像およびフラッシュ無し撮像(ステップS21)を実行する。そして、状況判定部615は、フラッシュ有り撮像画像およびフラッシュ無し撮像画像を用いて、ステップS111のブレ判定と、ステップS112の光源判定と、を実行する。
 一方、状況判定部615は、ステップS97で、上述したステップS92~ステップS96の各判定のうち少なくとも1つの判定で差分が「0」以外の値であると判定した場合(ステップS97、「No」)、処理をステップS98に移行させる。ステップS98で、状況判定部615は、測定指示部62に対して、適切に顔が撮像されるような測定指示をユーザ15に提示するよう要求する。このとき、状況判定部615は、この要求の際に、差分が「0」以外の値である判定の項目と、当該項目において算出された差分と、を測定指示部62に渡す。
 なお、このステップS98による処理は、図7のステップS12aと対応する処理である。図25の例では、ステップS98に対する処理の移行先を省略している。
(ブレ判定処理)
 次に、実施形態に係る、図7のステップS111で実行されるブレ判定について説明する。図27は、実施形態に係るブレ判定の処理を示す一例のフローチャートである。図27のフローチャートによる処理では、画像ブレ検出部611による検出結果と、カメラ動き検出部614による検出結果と、を用いてブレ判定を行う。
 ステップS120で、状況判定部615は、画像ブレ検出部611から、図19のフローチャートを用いて説明した処理により取得されたブレの判定結果を取得する。それと共に、状況判定部615は、カメラ動き検出部614から、図22のフローチャートを用いて説明した処理により取得されたカメラ動き検出結果を取得する。
 次のステップS121で、状況判定部615は、ステップS120で取得したブレ判定結果がブレの有ることを示しているか否かを判定する。状況判定部615は、ブレ判定結果がブレの有ることを示していない、すなわち、ブレが無いことを示している場合(ステップS121、「No」)、処理をステップS122に移行させる。
 ステップS122で、状況判定部615は、ステップS120で取得したカメラ動き検出結果がカメラ(撮像装置1)の動きのあることを示しているか否かを判定する。状況判定部615は、カメラ件動き検出結果がカメラの動きが無いことを示している場合(ステップS122、「No」)、ブレが無いと最終的に判定し、図27のフローチャートによる一連の処理を終了させる。そして、状況判定部615は、解析処理部551に対して、肌解析の実行を指示する。
 一方、状況判定部615は、上述したステップS121でブレ判定結果がブレの有ることを示している場合(ステップS121、「Yes」)、処理をステップS123に移行させる。また、状況判定部615は、上述したステップS122でカメラ動き検出結果がカメラの動きが有ることを示している場合(ステップS122、「Yes」)、処理をステップS123に移行させる。
 ステップS123で、状況判定部615は、測定指示部62に対して、適切に顔が撮像されるような測定指示をユーザ15に提示するよう要求する。このとき、状況判定部615は、この要求の際に、ブレ判定結果およびカメラ動き検出結果のうち、ステップS123に処理が移行する要因となった情報を測定指示部62に渡す。なお、図27の例では、ステップS123に対する処理の移行先を省略している。
(光源判定処理)
 次に、実施形態に係る、図7のステップS112で実行される光源判定について説明する。光源判定は、環境光源検出部613により検出された環境光(色A)の色温度に対して、判定を行う。この光源判定は、上述した図26のフローチャートによる処理と同様にして、環境光源検出部613から取得した環境光の色温度と、理想状況記憶部616から読み出した理想状況情報に含まれる、項目「環境の色温度」に関連付けられる上限値および下限値と、を比較することで行われる。
 より具体的には、状況判定部615は、理想状況記憶部616から理想状況情報を読み出し、読み出した理想状況情報から項目「環境の色温度」に関連付けられる上限値および下限値を取得する。また、状況判定部615は、環境光源検出部613から、環境光の色温度を取得する状況判定部615は、理想状況記憶部616から理想状況情報を読み出し、読み出した理想状況情報から項目「環境の色温度」に関連付けられる下限値と、環境光源検出部613から取得した色温度と、を比較し、取得した色温度が当該下限値より小さい値であれば、当該色温度から当該下限値を減じた値を差分(負の値)として算出する。
 さらに、状況判定部615は、取得した色温度が当該下限値以上の値である場合、色温度と、理想状況記憶部616から理想状況情報を読み出し、読み出した理想状況情報から項目「環境の色温度」に関連付けられる上限値と、を比較し、色温度が当該上限値以下の値であれば、差分を「0」とする。一方、状況判定部615は、色温度が当該上限値を超える値であれば、色温度から当該上限値を減じた値を差分(正の値)として算出する。
4-2-1-3.測定指示部
 次に、実施形態に係る測定指示部62の構成および動作について、より詳細に説明する。図28は、実施形態に係る測定指示部62の機能を説明するための一例の機能ブロック図である。図28において、測定指示部62は、指示生成部620と、指示表記憶部621と、指示提示部622と、を含む。
 指示生成部620は、状況判定部615から渡された判定項目と、判定項目における判定結果と、指定された指示方法と、に応じて指示表記憶部621に記憶される指示表を選択し、選択した指示表に基づき指示を生成する。このとき、指示生成部620は、判定結果に基づき、撮像の状況を理想的な状況に近付けるような指示を生成する。指示生成部620は、生成した指示を示す情報を指示提示部622に渡す。指示提示部622は、指示生成部620から渡された指示情報に従い、音声、振動、光などを用いて、ユーザ15に測定指示を提示する。
4-2-1-3-1.指示表例
 図29A~図29Eは、実施形態に係る、指示表記憶部621に記憶される指示表の例を示す図である。図29A~図29Eにおいて、各指示表6210a~6213は、図23を用いて説明した、理想状況記憶部616に記憶される環境状況情報における項目「環境の明るさ」、「環境の色温度」、「顔の大きさ」、「顔の位置」、「顔の向き」、「解析部位輝度」、「画像ブレ」および「カメラ動き」それぞれに対して、「指示方法」、「差分=0」、「差分<0」および「差分>0」が関連付けられる。
 「指示方法」は、関連付けられる項目に対してユーザ15に対する測定指示の提示方法が示される。図29Aおよび図29Bは「指示方法」が「音声」である指示表6210aおよび6210bの例を示す図である。図29Cは、「指示方法」が「光」である指示表6211の例を示す図である。図29Dは、「指示方法」が「鏡面」である指示表6212の例を示す図である。また、図29Eは、「指示方法」が「振動」である指示表6213の例を示す図である。
 「差分=0」、「差分<0」および「差分>0」は、それぞれ、差分が定義されている判定結果に対して、「差分=0」、「差分<0」および「差分>0」それぞれの場合の指示内容が示される。例えば、図25のフローチャートにおけるステップS93~ステップS96の、環境明るさ、顔の大きさ、顔の向きおよび解析部位輝度の各判定結果は、差分が定義されている。また、環境光源検出部613により検出された色温度に対する状況判定部615による判定も、差分が定義されている。
 一方、差分が定義されていない判定結果に対しては、例えば指示内容を定義しないことができる。なお、図27を用いて説明したブレ判定では、ステップS121においてブレ有りと判定された場合(ステップS121、「Yes」)、および、ステップS122においてカメラ動き有りと判定された場合(ステップS122、「Yes」)は、それぞれ差分が「0」ではないとすることができる。
 図29Aおよび図29Bに示される指示表6210aおよび6210bについて説明する。指示表6210aおよび6210bは、それぞれ、各項目に対して、「指示方法」として「音声」が関連付けられている。すなわち、指示表6210aおよび6210bによれば、ユーザ15に対する測定指示が、音声を用いて提示される。
 より具体的には、指示表6210aおよび6210bにおいて、「差分<0」および「差分>0」それぞれに対して、指示内容として、関連付けられる項目に対応する差分の値に応じたテキスト情報がそれぞれ設定されている。すなわち、「差分<0」および「差分>0」それぞれに対して、関連付けられる項目に応じて、差分の値を「0」に近付けるような指示を行うテキスト情報が設定される。
 図29Aおよび図29Bを参照し、指示表6210aおよび6210bの各項目における、「差分<0」および「差分>0」での各指示内容のテキスト情報の具体的な例について説明する。項目「環境明るさ」において、「差分<0」では指示内容を「明るい部屋で撮影してください」とし、「差分>0」では指示内容を「部屋が明るすぎます」とする。
 すなわち、項目「環境の明るさ」において、例えば「差分<0」の状態は、差分が負の値であり、環境明るさが理想的な状況に対して暗い場合に相当する。そのため、環境明るさを明るくするよう促す指示内容「明るい部屋で撮影してください」を、「差分<0」の項目「環境の明るさ」に対応する指示内容として関連付ける。
 同様に、項目「顔の大きさ(両目幅)」において、「差分<0」では指示内容を「カメラを顔に少し近づけてください」とし、「差分>0」では指示内容を「カメラを顔から少し遠ざけてください」とし、撮像画像における顔90を適切な大きさとするように促す。
 項目「顔の向き(yaw)」において、「差分<0」では指示内容を「少し左に向いてください」とし、「差分>0」では指示内容を「少し右に向いてください」とする。項目「顔の向き(roll)」において、「差分<0」では指示内容を「顔が右に傾いています」とし、「差分>0」では指示内容を「顔が左に傾いています」とする。また、項目「顔の向き(pitch)」において、「差分<0」では指示内容を「顔を少し上に向けてください」とし、「差分>0」では指示内容を「顔を少し下に向けてください」とする。このように、項目「顔の向き(yaw)」、「顔の向き(roll)」および「顔の向き(pitch)」では、撮像画像における顔90の向きを適切とするように促す。
 項目「解析部位輝度」において、「差分<0」では指示内容を「頬が影になっています」とし、「差分>0」では指示内容を「頬がテカっています」とし、撮像画像における解析部位の輝度を適切とするように促す。
 なお、指示表6210aおよび6210bの例では、項目「画像ブレ」に対して、画像ブレを少なくするように促す指示内容「撮影中は静止してください」を、「差分<0」および「差分>0」で共通に、指示内容として関連付ける。
 また、図29Aに示される指示表6210aは、各項目にそれぞれ関連付けられる「差分=0」に、指示内容として、特に指示を行わないことを示す項目「-」が設定されている。一方、図29Bに示される指示表6210bは、各項目にそれぞれ関連付けられる「差分=0」に、指示内容として撮像の状況が適切であることを示すテキスト情報が設定される。例えば、項目「環境明るさ」に対して、指示内容「周囲の明るさは適切です」が「差分=0」の指示内容として関連付けられる。
 なお、図29Aおよび図29Bの指示表6210aおよび6210bにおいて、項目「環境の色温度」および「顔の位置」には、指示内容が指定されていない。これに限らず、これら項目「環境の色温度」および「顔の位置」に対して、音声を用いて提示するための指示内容を指定することもできる。
 指示表6210aによれば、各項目のうち、撮像の状況が適切な項目に対応する指示の提示が省略されるため、指示表6210bを用いた場合に比べて撮像をより早く完了することが可能である。一方、指示表6210bによれば、全ての項目について指示が提示されるため、ユーザ15は、撮像の状況についてより詳細に把握することが可能である。
 図29Cに示される指示表6211について説明する。指示表6211は、各項目に対して、「指示方法」として「光」が関連付けられている。すなわち、指示表6211によれば、ユーザ15に対する測定指示が、光を用いて提示される。より具体的には、指示生成部620は、ディスプレイ2の画面における輝度を制御する輝度制御情報を生成する。指示提示部622は、この輝度制御方法に従いディスプレイ2における画面の輝度(以下、画面輝度と呼ぶ)を制御することで、ユーザ15に対して測定指示を提示する。
 より具体的には、指示表6211において、各項目に関連付けられる「差分<0」および「差分>0」それぞれに対して、指示内容として、その項目に対応する差分の値に応じた輝度制御情報がそれぞれ設定されている。すなわち、「差分<0」および「差分>0」に対して、それぞれ関連付けられる項目に応じて、差分の値を「0」に近付けるような指示を行う輝度制御情報が設定される。図29Cの例では、説明のため、輝度制御情報を、制御内容を示す文章で表している。
 図29Cを参照し、指示表6211の各項目における、「差分<0」および「差分>0」での各制御内容の具体的な例について説明する。項目「環境明るさ」において、「差分<0」では画面輝度を徐々に高く(明るく)する制御を指示内容とし、「差分>0」では画面輝度を徐々に低く(暗く)する制御を指示内容とする。項目「環境の色温度」に対する「差分<0」では画面の色温度を徐々に高くする制御を指示内容とし、「差分>0」では画面の色温度を徐々に低くする制御を指示内容とする。
 項目「顔の向き(yaw)」に対する「差分<0」では画面の、ユーザ15から見て左側を点滅させる制御を指示内容とし、「差分>0」では画面の、ユーザ15から見て右側を点滅させる制御を指示内容とする。なお、「ユーザ15から見て左側」とは、ユーザ15が撮像装置1をリアカメラ7を自身に向けて保持した場合の、裏面側11の左側であり、ディスプレイ2に向き合った場合のディスプレイ2の右側となる。
 項目「顔の向き(roll)」に対する「差分<0」では、画面の、ユーザ15から見て右側(例えば右下隅)から上側(例えば左上隅)に向けて輝点あるいは輝線を移動させる制御を指示内容とする。また、「差分>0」では、画面の、ユーザ15から見て左側(例えば左下隅)から上側(例えば右上隅)に向けて輝点あるいは輝線を移動させる制御を指示内容とする。輝線は、例えば移動方向に対して直角の方向に伸びる輝線を用いることが考えられる。
 項目「顔の向き(pitch)」に対する「差分<0」では、画面の、ユーザ15から見て下側から上側に向けて輝点あるいは輝線を移動させる制御を指示内容とする。また、「差分>0」では、画面の、ユーザ15から見て上側から下側に向けて輝点あるいは輝線を移動させる制御を指示内容とする。
 項目「解析部位輝度」は、上述の項目「環境明るさ」と同様に、「差分<0」では画面輝度を徐々に高く(明るく)する制御を指示内容とし、「差分>0」では画面輝度を徐々に低く(暗く)する制御を指示内容とする。
 なお、図29Cの指示表6211において、項目「顔の大きさ(両目幅)」および「顔の位置」には、「差分<0」および「差分>0」の場合の輝度制御情報の指示内容が指定されていない。これに限らず、これら項目「顔の大きさ(両目幅)」および「顔の位置」に対して、「差分<0」および「差分>0」の場合の輝度制御情報の指示内容を指定することもできる。また、図29Cの例では、指示表6211において、各項目に関連付けられる「差分=0」に対して、特に指示を行わない「-」がそれぞれ設定される。
 図29Dに示される指示表6212について説明する。指示表6212は、各項目に対して、項目「指示方法」として「鏡面」が関連付けられている。具体的には、指示表6212によれば、ユーザ15に対する測定指示が、鏡文字を用いて提示される。ここで、例えば洗面台などユーザ15の前方に鏡が設けられる環境を考える。このような環境において、ディスプレイ2の画面に鏡文字を表示させてディスプレイ2を鏡に向ける。こうすると、鏡には、ディスプレイ2の画面に表示される鏡文字がさらに反転されて、通常の文字として映し出される。したがって、ユーザ15は、ディスプレイ2の画面に鏡文字を用いて表示された指示内容を、鏡を介して容易に認識することが可能である。
 なお、鏡文字を生成する方法は、様々に考えられるが、例えば、指示提示部622は、指示内容のテキスト情報に基づく文字列画像を例えばRAM22に描画する。指示提示部622は、描画された文列字画像を含む領域の左右を反転させる。これにより、RAM22上に、指示内容のテキスト情報を示す文字列画像を反転した鏡文字の画像が生成される。
 さらに、指示表6212において、「差分<0」および「差分>0」それぞれにおける指示内容に対して、図29Cを用いて説明した、光による測定指示の提示をさらに含めることが可能である。
 図29Dを参照し、指示表6212の各項目における、「差分<0」および「差分>0」での各指示内容のテキスト情報および光による測定指示の具体的な例について説明する。項目「環境明るさ」において、「差分<0」では、テキスト情報「明るい部屋で撮影してください」に基づく鏡文字の表示と、画面輝度を徐々に高く(明るく)する制御と、を指示内容とする。また、「差分>0」では、テキスト情報「部屋が明るすぎます」に基づく鏡文字の表示と、画面輝度を徐々に低く(暗く)する制御と、を指示内容とする。
 項目「環境の色温度」に対する「差分<0」では、指示内容として画面の色温度を徐々に高くする制御を行い、「差分>0」では、指示内容として画面の色温度を徐々に低くする制御を行う。図29Dの例では、項目「環境の色温度」においては、指示内容として鏡文字の表示を行わない。
 項目「顔の大きさ(両目幅)」において、「差分<0」では、テキスト情報「顔を近づけてくださいください」に基づく鏡文字の表示を指示内容とする。また、「差分>0」では、テキスト情報「顔を遠ざけてください」に基づく鏡文字の表示を指示内容とする。図29Dの例では、項目「顔の大きさ(両目幅)」においては、指示内容としての画面輝度の制御を行わない。
 項目「顔の向き(yaw)」において、「差分<0」ではテキスト情報「少し左に向いてください」に基づく鏡文字の表示を指示内容とし、「差分>0」ではテキスト情報「少し右に向いてください」に基づく鏡文字の表示を指示内容とする。項目「顔の向き(roll)」において、「差分<0」ではテキスト情報「顔が右に傾いています」に基づく鏡文字の表示を指示内容とし、「差分>0」ではテキスト情報「顔が左に傾いています」に基づく鏡文字の表示を指示内容とする。また、項目「顔の向き(pitch)」において、「差分<0」ではテキスト情報「顔を少し上に向けてください」に基づく鏡文字の表示を指示内容とし、「差分>0」ではテキスト情報「顔を少し下に向けてください」に基づく鏡文字の表示を指示内容とする。図29Dの例では、項目「顔の向き(yaw)」、「顔の向き(roll)」および「顔の向き(pitch)」では、指示内容としての画面輝度の制御を行わない。
 項目「解析部位輝度」において、「差分<0」ではテキスト情報「頬が影になっています」に基づく鏡文字の表示を指示内容とし、「差分>0」ではテキスト情報「頬がテカっています」に基づく鏡文字の表示を指示内容とする。図29Dの例では、項目「解析部位輝度」では、指示内容としての画面輝度の制御を行わない。
 なお、図29Dの例では、指示表6212において、各項目に関連付けられる「差分=0」における指示内容として、特に指示を行わないことを示す項目「-」が設定されている。これに限らず、図29Bを用いて説明したように、各項目に関連付けられる「差分=0」に対して、指示内容として撮像の状況が適切であることを示す指示内容を設定することもできる。
 また、図29Dの指示表6212において、項目「顔の位置」には、「差分<0」および「差分>0」の場合の指示内容が指定されていない。これに限らず、項目「顔の位置」に対して、「差分<0」および「差分>0」の場合の、音声を用いて提示するための指示内容を指定することもできる。
 図29Eに示される指示表6213について説明する。指示表6213は、各項目に対して、「指示方法」として「振動」が関連付けられている。また、指示表6213において、各項目に関連付けられる「差分=0」に対して、指示内容として「振動する」が設定されている。一方、各項目に関連付けられる「差分<0」および「差分>0」に対して、」指示内容として、特に指示を行わないことを示す項目「-」が設定されている。
 指示生成部620は、指示表6213において、例えば、各項目のうち、対象となる項目に対応する判定結果が「差分=0」である場合に、指示内容「振動する」に応じて、指示提示部622に対して振動の発生を指示する。指示提示部622は、この指示に応じて、ドライバ32に対して、バイブレータ33を駆動し振動を発生させるように指示する。これにより、ユーザ15は、当該対象となる項目において撮像の状況が適切であることを、ディスプレイ2を見ること無しに、知ることができる。
 これに限らず、指示生成部620は、指示表6213の全ての項目において、対応する判定結果が「差分=0」である場合に、指示提示部622に対して振動の発生を指示するようにしてもよい。また、指示生成部620は、指示表6213の各項目のうち、予め指定された項目に対応する判定結果が「差分=0」の場合に、指示提示部622に対して振動の発生を指示するようにもできる。
 さらに、図29Eに示した指示表6213では、「差分=0」の各項目として、指示内容「振動する」が設定されているが、これはこの例に限定されない。例えば、「差分<0」および「差分>0」に対して、指示内容「振動する」を設定し、「差分=0」には、指示内容を設定しないようにもできる。
 この場合において、さらに、各項目のうち、ユーザ15が顔90を動かすことで判定結果が変化する項目について、「差分<0」および「差分>0」に対して、指示内容「振動する」を設定することもできる。顔90を動かすことで判定結果が変化する項目としては、図29Eの例では、項目「顔の位置」、ならびに、「顔の向き(yaw)」、「顔の向き(roll)」および「顔の向き(pitch)」が挙げられる。
 一例として、項目「顔の向き(yaw)」に対して、「差分<0」および「差分>0」の各項目として指示内容「振動する」を設定した場合、ユーザ15は、顔90の右回転方向または左回転方向へのズレを、ディスプレイ2を見ること無しに、撮像装置1の振動により知ることができる。さらに、この場合において、「差分<0」と「差分>0」とで振動パターンを異ならせることで、ユーザ15は、顔90が右回転方向および左回転方向の何れの方向にずれているのかを、ディスプレイ2を見ること無しに知ることができる。
4-2-1-3-2.測定指示の提示の具体例
 次に、上述した指示表6210a、6210b、6211および6212による測定指示の提示について、より具体的に説明する。
 先ず、項目「環境明るさ」において判定結果が「差分<0」である場合の測定指示の提示方法について、図30、図31Aおよび図31B、ならびに、図32を用いて説明する。
 図30は、上述した指示表6210aおよび6210bに対応し、実施形態に係る、指示方法が「音声」である場合の指示内容の提示方法の例を模式的に示す図である。指示生成部620は、項目「環境明るさ」に関連付けられる、「差分<0」における指示内容のテキスト情報「明るい部屋で撮影してください」を読み出し、読み出したテキスト情報を指示内容の提示指示と共に指示提示部622に渡す。指示提示部622は、指示生成部620から受け取った提示指示に従い、当該テキスト情報を発音するための音声データを生成する。
 この音声データは、指示提示部622(CPU20)からドライバ30に渡される。ドライバ30は、指示提示部622から渡された音声データに基づき汎用スピーカ6を駆動する。図30に模式的に示すように、汎用スピーカ6は、当該音声データに応じて、指示内容のテキスト情報「明るい部屋で撮影してください」を発音した音声6220aを出力する。ユーザ15は、この汎用スピーカ6から出力される音声6220aに基づき、撮像の状況が肌解析には適しているか否かを、ディスプレイ2を見ること無しに、知ることができる。
 なお、上述の図29Aおよび図29Bでは、指示表6210aおよび6210bが、音声として提示すべき指示内容をテキスト情報として含むように説明したが、これはこの例に限定されない。例えば、指示内容を示すテキスト情報をストレージ26内の所定の位置に格納しておき、指示表6210aおよび6210bにおいてその位置を指定する位置情報を、「差分=0」、「差分<0」および「差分>0」の各指示内容として含めてもよい。
 また、指示内容のテキスト情報に従った音声データを予め録音して音声データファイルとしてストレージ26に格納しておくこともできる。この場合、指示表6210aおよび6210bにおいて、当該音声データファイルのパスを示す情報を、「差分=0」、「差分<0」および「差分>0」の各指示内容として含めてもよい。
 図31Aおよび図31Bは、上述した指示表6211に対応し、実施形態に係る、指示方法が「光」である場合の指示内容の提示方法の第1の例を模式的に示す図である。ユーザ15は、図31Aの左側図に示すように、撮像装置1を、リアカメラ7を自身に向けて保持する。したがって、撮像装置1において、ディスプレイ2は、ユーザ15から見て影になる(図31Aの右側図参照)。
 指示生成部620は、指示表6211において項目「環境明るさ」に関連付けられる、「差分<0」の指示内容から、「画面輝度を徐々に明るくする」輝度制御を行う指示内容を読み出し、読み出した指示内容を指示内容の提示指示と共に指示提示部622に渡す。指示提示部622は、この提示指示に従い、ディスプレイ2の画面輝度を最低輝度から最大輝度まで変化させるための表示制御信号を生成する。この表示制御信号は、例えば図31Bに示されるように、ディスプレイ2の画面の輝度を最低輝度(消灯状態)から最大輝度(例えば輝度「100%」)まで時間方向に所定の傾きで増加させる表示制御を行う信号である。また、この表示制御信号は、最低輝度から最高輝度まで徐々に増加させる動作を、繰り返して実行させる。
 なお、輝度の変化の幅は、「0%」~「100%」の範囲に限定されない。すなわち、輝度の変化において、最も輝度の低い状態と、最も輝度の高い状態とで、ディスプレイ2の画面の明るさに明確に差が生じる範囲であればよい。また、発光色は白が想定されるが、黄色、赤色、緑色など他の色でもよい。
 表示制御信号は、指示提示部622(CPU20)から表示制御部23に渡される。表示制御部23は、指示提示部622から渡された表示制御信号に従い表示信号を生成し、ディスプレイ2(表示デバイス24)に供給する。ディスプレイ2は、この表示信号に従い駆動され、指示内容に応じて画面輝度を最低輝度から最高輝度まで徐々に変化させる発光を行う。
 このような画面輝度の制御において、撮像装置1は、ディスプレイ2がユーザ15から見て影になるように保持されるため、ユーザ15は、ディスプレイ2における画面輝度の変化を直接的に見ることが難しい。ここで、ディスプレイ2の光は、ユーザ15が撮像装置1を保持する手の掌や、ディスプレイ2の周囲に照射されると考えられる。ユーザ15は、この掌やディスプレイ2の周囲に照射された光の変化を観察することで、ディスプレイ2を直接的に見ること無しに、撮像に係る状況を更新させることができる。
 図32は、上述した指示表6212に対応し、実施形態に係る、指示方法が「鏡面」である場合の指示内容の提示方法の例を模式的に示す図である。上述したように、ユーザ15は、撮像装置1を、リアカメラ7が自身と向き合うように保持する。また、ユーザ15は、鏡6232に向き合っているものとする。この場合、撮像装置1において、ディスプレイ2の画面を含む表面側10は、鏡6232に左右が反転された鏡像6233として映し出される。
 指示生成部620は、指示表6212において項目「環境明るさ」に関連付けられる、「差分<0」の指示内容としてテキスト情報「明るい部屋で撮影してください」を読み出し、読み出した指示内容を指示内容の提示指示と共に指示提示部622に渡す。指示提示部622は、この提示指示に従い、指示内容のテキスト情報による文字列を左右反転した鏡文字による文字列を生成し、生成した鏡文字による文字列の文字列画像6230aをディスプレイ2の画面に表示させる。
 なお、鏡文字による文字列を生成する方法は、様々に考えられるが、例えば、指示提示部622は、指示内容のテキスト情報に基づく文字列画像を例えばフレームメモリに描画する。指示提示部622は、描画された文列字画像を含む領域の左右を反転させる。これにより、フレームメモリ上に、指示内容のテキスト情報を示す文字列画像を反転した鏡文字による文字列が生成される。
 ディスプレイ2の画面に鏡文字による文字列の文字列画像6230aを表示させた状態でディスプレイ2を鏡6232に向ける。こうすると、鏡6232には、ディスプレイ2の画面に表示される鏡文字による文字列の文字列画像6230aがさらに反転されて、通常の文字による文字列画像6231aとして映し出される。したがって、ユーザ15は、ディスプレイ2の画面に鏡文字による文字列の文字列画像6230aを用いて表示された指示内容を、ディスプレイ2を直接的に見ること無しに、鏡6232を介して容易に認識することが可能である。
 次に、項目「顔の向き(yaw)」において判定結果が「差分<0」である場合の測定指示の提示方法について、図33、図34Aおよび図34B、ならびに、図35を用いて説明する。
 図33は、上述した指示表6210aおよび6210bに対応し、実施形態に係る、指示方法が「音声」である場合の指示内容の提示方法の例を模式的に示す図である。指示生成部620は、項目「顔の向き(yaw)」に関連付けられる、「差分<0」の指示内容としてテキスト情報「少し左を向いてください」を読み出し、読み出したテキスト情報を指示内容の提示指示と共に指示提示部622に渡す。指示提示部622は、指示生成部620から受け取った提示指示に従い、当該テキスト情報を発音するための音声データを生成し、生成した音声データをドライバ30に渡す。ドライバ30は、指示提示部622から渡された音声データに基づき汎用スピーカ6を駆動する。
 これにより、汎用スピーカ6から、当該音声データに応じた指示内容のテキスト情報「明るい部屋で撮影してください」を発音した音声6220bが出力される。ユーザ15は、この汎用スピーカ6から出力される音声6220bに基づき、撮像の状況が肌解析には適しているか否かを、ディスプレイ2を見ること無しに、知ることができる。
 図34Aおよび図34Bは、上述した指示表6211に対応し、実施形態に係る、指示方法が「光」である場合の指示内容の提示方法の第2の例を模式的に示す図である。
 指示生成部620は、指示表6211において項目「顔の向き(yaw)」に関連付けられる、「差分<0」の指示内容から輝度制御を伴う指示内容を読み出す。項目「顔の向き(yaw)」において、「差分<0」の場合、顔90の向きが左方向にずれていることを示しているため、指示内容を、顔90を右方向に回転させるような指示を示すものとする。ここでは、説明のため、指示内容が、ディスプレイ2の画面に対し、画面に垂直に輝線6240を表示させ、この輝線6240を、画面の左方向に移動させる輝度制御を行うものであるとする。
 指示生成部620は、当該指示内容を読み出し、読み出した指示内容を指示内容の提示指示と共に指示提示部622に渡す。指示提示部622は、この提示指示に従い、ディスプレイ2の画面の右端に垂直の輝線6240を表示させる。輝線6240は、ディスプレイ2の画面において、周囲の領域よりも輝度の高い領域である。さらに、指示提示部622は、指示内容に従い、この輝線6240を、図34Aの左側図中に矢印Aで示すように、ディスプレイ2の画面の右端から左端に移動させる輝度制御を行うための表示制御信号を生成する。
 この表示制御信号は、例えば図34Bに示されるように、輝線6240をディスプレイ2の画面の右端から左端に所定の速度で移動させる制御情報を含む。また、この指示提示部622は、この表示制御信号により、輝線6240を画面の右端から左端に移動させる動作を、繰り返して実行させる。
 このような輝線6240の制御において、撮像装置1は、ディスプレイ2がユーザ15から見て影になるように保持されるため、ユーザ15は、ディスプレイ2における輝線6240の位置の変化を直接的に見ることが難しい。ここで、ディスプレイ2の光は、図34Aの右側図に示すように、ユーザ15が撮像装置1を保持する手の掌6241に、輝線6242として照射されると考えられる。
 ディスプレイ2の画面に表示される輝線6240の右から左への移動は、掌6241において、図34Aの右側図中に矢印A’で示すように、輝線6242の左から右への移動として、掌6241に照射される。ユーザ15は、この掌6241に照射される輝線6242の左から右への移動を観察することで、顔90を右方向に回転させる動作を、ディスプレイ2を直接的に見ること無しに、直感的に把握することができ、それにより撮像に係る状況を更新させることができる。
 図35は、上述した指示表6212に対応し、実施形態に係る、指示方法が「鏡面」である場合の指示内容の提示方法の例を模式的に示す図である。上述したように、ユーザ15は、撮像装置1を、リアカメラ7が自身と向き合うように保持すると共に、鏡6232に向き合っているものとする。この場合、撮像装置1において、ディスプレイ2の画面を含む表面側10は、鏡6232に左右が反転された鏡像6233として映し出される。
 指示生成部620は、指示表6212において項目「顔の向き(yaw)」に関連付けられる、「差分<0」の指示内容としてテキスト情報「少し左を向いてください」を読み出し、読み出した指示内容を指示内容の提示指示と共に指示提示部622に渡す。指示提示部622は、この提示指示に従い、指示内容のテキスト情報による文字列を左右反転した鏡文字による文字列を生成し、生成した鏡文字による文字列の文字列画像6230bをディスプレイ2の画面に表示させる。
 ディスプレイ2の画面に鏡文字による文字列の文字列画像6230bを表示させた状態でディスプレイ2を鏡6232に向ける。こうすると、鏡6232には、ディスプレイ2の画面に表示される鏡文字による文字列の文字列画像6230bがさらに反転されて、通常の文字による文字列画像6231bとして映し出される。したがって、ユーザ15は、ディスプレイ2の画面に鏡文字による文字列の文字列画像6230bを用いて表示された指示内容を、ディスプレイ2を直接的に見ること無しに、鏡6232を介して容易に認識することが可能である。
 なお、実施形態に係る測定指示部62は、ディスプレイ2の画面に対してガイド画像を表示させることができる。図36は、実施形態に係る、ディスプレイ2の画面に表示されるガイド画像の例を示す図である。測定指示部62は、ディスプレイ2の画面に対して、顔90が適切な大きさおよび位置に撮像されるようなガイド画像6250を表示させる。ユーザ15は、撮像装置1を、リアカメラ7を自身に向け、ディスプレイ2が鏡6232に向くように保持する。これにより、鏡6232に対してガイド画像6250の鏡像6250’が映し出される。
 リアカメラ7での撮像において、ディスプレイ2の画面には、リアカメラ7で撮像される撮像画像のプレビュー画像を表示させることができる。ディスプレイ2の画面に対して、このプレビュー画像と、ガイド画像6250と、を重畳させて表示させて鏡6232に映し出す。ユーザ15は、鏡6232に映し出された、ガイド画像6250にプレビュー画像が重畳された鏡像を観察することで、ディスプレイ2の画面を直接的に見ること無しに、顔90が適切な位置および大きさで撮像されるように、容易に調整することが可能となる。
4-2-2.解析処理部
4-2-2-1.解析部
 次に、実施形態に係る解析処理部551(図4参照)における処理について、より詳細に説明する。先ず、解析処理部551に含まれる解析部70について説明する。図37は、実施形態に係る解析部70の機能を説明するための一例の機能ブロック図である。図37において、解析部70は、キメ解析部700と、シワ解析部701と、毛穴解析部702と、肌色解析部703と、シミ解析部704と、解析結果記憶部705と、を含む。
 図37の例では、キメ解析部700およびシワ解析部701は、それぞれ、図7のステップS20でフラッシュ有り撮像により取得されたフラッシュ有り撮像画像に基づき、このフラッシュ有り撮像画像に含まれる顔90における肌のキメおよびシワの解析を行う。また、毛穴解析部702は、当該フラッシュ有り撮像画像に基づき、このフラッシュ有り撮像画像に含まれる顔90における毛穴の解析を行う。
 これに限らず、キメ解析部700、シワ解析部701および毛穴解析部702は、図7のステップS21またはステップS10’で取得されたフラッシュ無し撮像画像に基づき、このフラッシュ無し撮像画像に含まれる顔90における肌のキメ、シワおよび毛穴の解析を行ってもよい。以下の説明では、キメ解析部700、シワ解析部701および毛穴解析部702は、図7のステップS20で取得されたフラッシュ有り撮像画像に基づきそれぞれの解析を行うものとする。
 キメ解析部700は、顔90における肌のキメの解析処理に対して、例えば、特許文献4に開示される、フラッシュ有り撮像により顔90において肌の表皮を撮像した表皮画像における表皮パターンに基づき肌のキメの状態を評価する技術を適用することができる。シワ解析部701も、この特許文献4の方法に基づき、顔90における肌のシワの状態を評価することができる。
 毛穴解析部702は、顔90における毛穴の解析処理に対して、例えば、特許文献5に開示される、肌画像における注目画素の画素値に対する、注目画素を囲む周辺画素の画素値の変化を示す極性と、周辺とは異なる類似した画素値の画素領域を示すスケールと、を特徴量として算出し、算出した特徴量に基づき肌画像における毛穴などを抽出する技術を適用することができる。
 肌色解析部703は、図7におけるステップS20で取得したフラッシュ有り撮像画像と、ステップS21(またはステップS10’)で取得したフラッシュ無し撮像画像と、を用いて、後述する処理により、顔90の肌の肌色解析を行う。また、シミ解析部704は、肌色解析部703の肌色解析の結果に基づき、顔90に対してシミの解析を行う。
 解析結果記憶部705は、例えばRAM22やストレージ26の所定の記憶領域と、当該記憶領域に対するデータの記憶、および、記憶したデータの読み出しを行う読み書き制御部と、を含む。以下では、解析結果記憶部705に対してデータを渡し、解析結果記憶部705画素のデータを記憶領域に記憶させることを、解析結果記憶部705にデータを記憶させる、のように記述する。同様に、解析結果記憶部705が当該記憶領域からデータを読み出すことを、解析結果記憶部705からデータを読み出す、のように記述する。
 図38は、実施形態に係る解析部70における肌解析処理を示す一例のフローチャートである。ステップS130で、解析部70は、フラッシュ有り撮像画像をRAW画像として取得し、取得したフラッシュ有り撮像画像に対してデモザイク処理を実行する。ここで、解析部70は、注目する画素(注目画素とする)の画素値と、注目画素の近傍の各画素の画素値とを用いて、注目画素に対してR色、G色およびB色それぞれの画素値を与える、一般的なデモザイク処理を実行する。したがって、デモザイク処理後の解像度は、元のRAW画像の解像度と等しくなる。
 ステップS130のデモザイク処理の後、処理は、ステップS131から開始される処理と、ステップS140から開始される処理と、が例えば並列的に実行される。これに限らず、ステップS131~ステップS135の処理と、ステップS140~ステップS145の処理と、を順次に実行してもよい。
 先ず、ステップS131から開始される処理について説明する。ステップS131で、解析部70は、ステップS130でデモザイク処理されたフラッシュ有り撮像画像に対してグレー化処理を実行する。ここでのグレー化処理は、図11のステップS52で説明したグレー化処理と同様に、デモザイク処理された画素毎に、R、GおよびB各色の画素値の平均値を求め、求めた平均値をその画素の画素値とすることで実行する。解析部70は、グレー化処理を施したフラッシュ有り撮像画像を、例えばRAM22に記憶する。
 次のステップS132で、キメ解析部700は、ステップS131でグレー化処理されたフラッシュ有り撮像画像に基づき、例えば上述した特許文献4に開示される技術を用いて、当該フラッシュ有り撮像画像に含まれる顔90のキメの解析を実行する。キメ解析部700は、一例として、肌における表皮パターンを検出し、検出した表皮パターンに基づき算出された評価値を、キメの解析結果として取得する。キメ解析部700は、キメの解析結果を解析結果記憶部705に渡す。
 次のステップS133で、シワ解析部701は、ステップS131でグレー化処理されたフラッシュ有り撮像画像に基づき、例えば上述した特許文献4に開示される技術を用いて、当該フラッシュ有り撮像画像に含まれる顔90のシワを解析する。シワ解析部701は、一例として、肌において単位面積当たりに含まれる直線形状の数、長さ、幅などを検出し、検出結果に基づく評価値と、当該直線形状の位置と、をシワの解析結果として取得する。シワ解析部133は、シワの解析結果を解析結果記憶部705に渡す。
 次のステップS134で、毛穴解析部702は、ステップS131でグレー化処理されたフラッシュ有り撮像画像に基づき、例えば上述した特許文献5に開示される技術を用いて、当該フラッシュ有り撮像画像に含まれる顔90における毛穴の解析を行う。毛穴解析部702は、例えば、肌において単位面積当たりに含まれる黒点形状の数、大きさなどを検出し、検出結果に基づく評価値と、当該黒点形状の位置と、を毛穴の解析結果として取得する。毛穴解析部702は、毛穴の解析結果を解析結果記憶部705に渡す。
 次のステップS135で、解析結果記憶部705は、ステップS132でキメ解析部700から渡されたキメの解析結果と、ステップS133でシワ解析部701から渡されたシワの解析結果と、ステップS134の毛穴解析部702から渡された毛穴の解析結果と、を記憶する。
 次に、ステップS140から開始される処理について説明する。ステップS140で、解析部70は、フラッシュ無し撮像画像をRAW画像として取得し、取得したフラッシュ無し撮像画像に対してデモザイク処理を実行する。ここで、解析部70は、ステップS130で説明したデモザイク処理と同様に、注目する画素(注目画素とする)の画素値と、注目画素の近傍の各画素の画素値とを用いて、注目画素に対してR色、G色およびB色それぞれの画素値を与える、一般的なデモザイク処理を実行する。したがって、デモザイク処理後の解像度は、元のRAW画像の解像度と等しくなる。
 次のステップS141で、肌色解析部703は、ステップS130でデモザイク処理されたフラッシュ有り撮像画像と、ステップS140でデモザイク処理されたフラッシュ無し撮像画像と、に基づき、フラッシュ有り撮像画像に含まれる顔90における肌の色を解析する色解析処理を実行する。次のステップS141で、肌色解析部703は、ステップS141の色解析処理により解析された色の色空間を、肌色を解析するために適した色空間に変換する。
 例えば、肌色解析部703は、ステップS141の色解析処理により、RGB色空間を用いて色の解析結果を取得する。肌色解析部703は、このRGB色空間を用いて表現された色の解析結果を、例えばHSV色空間を用いた表現に変換する。HSV色空間は、色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)の3つの成分(成分H、SおよびVとする)からなる色空間である。
 図39は、実施形態に適用可能な色解析処理および色空間変換処理を説明するための図である。上述した図21と同様に、ある色Aの下で色Scの被写体をフラッシュ無し撮像により撮像したフラッシュ無し撮像による撮像画像7030(図38のステップS140参照)において、被写体は、被写体の色Scに当該環境光の色Aが作用した色で撮像される。この色Aの環境光下の被写体の色は、「A×Sc」として表すことができる。
 一方、ある色Aの環境光の下で、色Scの被写体を、色Fのフラッシュライト8を点灯させて撮像したフラッシュ有り撮像による撮像画像7031(図38のステップS130参照)において、被写体は、被写体の色Scに環境光の色Aとフラッシュライト8の光の色Fとが作用した色で撮像される。この色Aの環境光下で色Fのフラッシュライト8を点灯させて撮像した被写体の色は、「(A+F)×Sc」として表すことができる。
 フラッシュ有り撮像による撮像画像7031を被減算値として、フラッシュ無し撮像による撮像画像7030とで減算器7032により色の減算を行う。この減算により得られる色は、「F×Sc」として表される。これは、被写体の色から環境光の影響が排除されたフラッシュ画像7033が得られたことを示している。フラッシュライト8の光の色Fは、既知であるため、このフラッシュ画像7033に基づき肌の色の解析が可能である。
 このフラッシュ画像7033に対して、RGB色空間をHSV色空間に変換する色変換処理7034を実行する。これにより、フラッシュ画像7033の色がHSV色空間にて表現されたHSV画像7035を取得することができる。HSV色空間(HSVモデル)は、人間と色の知覚方法が類似しているため、肌色の評価に用いて好適である。これに限らず、RGB色空間による色表現を直接的に用いて、肌色の評価を行ってもよい。
 次のステップS143で、肌色解析部703は、ステップS142で取得されたHSV画像7035に基づき、フラッシュ有り撮像による撮像画像7031に含まれる顔90について、肌色の解析を行う。肌色解析部703は、肌色の解析結果を、解析結果記憶部705に渡す。
 次のステップS144で、シミ解析部704は、フラッシュ有り撮像画像に基づき、当該フラッシュ有り撮像画像に含まれる顔90について、シミの解析を実行する。例えば、シミ解析部704は、ステップS143で解析された肌色の解析結果に基づき、顔90に含まれるシミの領域を検出する。一例として、シミ解析部704は、顔90の肌部の色の平均値を求め、平均値よりも色の濃い領域を、シミの領域として検出することが考えられる。シミ解析部704は、検出したシミの領域に対する評価と、当該領域の位置と、をシミの解析結果として解析結果記憶部705に渡す。
 次のステップS145で、解析結果記憶部705は、ステップS143で肌色解析部703から渡された肌色の解析結果と、ステップS44でシミ解析部704から渡されたシミの解析結果と、を記憶する。
4-2-2-2.結果表示部
 次に、実施形態に係る、解析処理部551(図4参照)に含まれる結果表示部71について説明する。図40は、実施形態に係る結果表示部71の機能を説明するための一例の機能ブロック図である。図40において、結果表示部71は、部位指定部710と、項目指定部711と、解析結果加工部712と、表示情報生成部713と、を含む。
 なお、ここでは、撮像装置1のディスプレイ2の画面に、例えば顔90の画像を表示させ、ユーザ15が当該画面を見ながら、解析結果を表示させたい部位を指定し、指定された部位における解析結果をグラフなどを用いて表示する場合を想定している。
 部位指定部710は、ディスプレイ2に対して、顔90において解析結果を抽出したい部位である抽出部位を指定するための画面を表示させる。部位指定部710は、当該画面に基づきタッチパネルとしてのディスプレイ2に対してなされたユーザ操作に応じて、抽出部位を決定する。
 図41は、実施形態に係る部位指定部710による抽出部位の決定処理を示す一例のフローチャートである。ステップS150で、部位指定部710は、解析表示部位を指定するための指示入力用のUI(User Interface)画面をディスプレイ2に表示させる。
 図42Aは、実施形態に適用可能な指示入力用UI画面の例を示す図である。図42Aにおいて、指示入力用UI画面7100は、例えば人の顔を簡略化したガイド画像7101と、「OK」ボタン7102と、が配される。また、ガイド画像7101内において、抽出部位7103が初期位置および初期のサイズで表示される。図42Aの例では、抽出部位7103の初期位置がガイド画像7101内の向かって右側の頬部に配置されている。
 次のステップS151で、部位指定部710は、入力デバイス25に対するユーザ操作、すなわち、タッチパネルに対する例えばユーザ15の手指によるタッチを検出する。タッチが検出されると、次のステップS152で、部位指定部710は、タッチパネル上でタッチが検出された位置が「OK」ボタン7102の位置であるか否かを判定する。部位指定部710は、タッチが検出された位置が「OK」ボタン7102の位置ではないと判定した場合(ステップS152、「No」)、処理をステップS153に移行させる。
 図42Bは、タッチが検出された位置が「OK」ボタン7102の位置ではない場合の例を示す図である。図42Bにおいて、ユーザ15の手指によりガイド画像7101内の向かって左側の頬部が押圧され、抽出部位7103が押圧された、向かって左側の頬部に移動された例を示している。
 ステップS153で、部位指定部710は、ステップS152において押圧された位置において、範囲を指定するための指示を検出する。例えば、部位指定部710は、タッチパネルに対する押圧の度合いを示す圧力情報を入力デバイス25から取得し、取得した圧力情報に応じて抽出部位7103のサイズを変化させる。この場合、部位指定部710は、圧力情報がより強い押圧の度合いを示している場合、抽出部位7103を拡大し、より小さい押圧の度合いを示している場合、抽出部位7103を縮小する。これに限らず、部位指定部710は、タッチパネルに対して同時に押圧する2点間の距離に応じて抽出部位7103のサイズを変化させてもよい(ピンチ操作)。
 次のステップS154で、部位指定部710は、ステップS153で指定された抽出部位7103の座標を算出する。図42Cは、実施形態に適用可能な、抽出部位7103の座標の算出方法の例を示す図である。図42Cにおいて、手指7104によりタッチされた位置の座標を、座標(xt,yt)とする。図42Cの例では、抽出部位7103のサイズを高さv×幅uとした場合、抽出部位7103の左上隅の座標(xr,yr)を、次式(8)により算出する。
(xr,yr)=(xt-u/2,yt-v/2)  …(8)
 なお、上述したように、部位指定部710は、圧力情報がより強い押圧の度合いを示している場合には、高さvおよび幅uの各値をより大きな値に変更し、圧力情報がより小さい押圧の度合いを示している場合、高さvおよび幅uの各値をより大きな値に変更する。また、この抽出部位7103の座標の算出方法は一例であって、この例に限定されるものではない。
 部位指定部710は、ステップS154で抽出部位7103の座標を算出すると、処理をステップS151に戻す。
 一方、部位指定部710は、上述したステップS152でタッチが検出された位置が「OK」ボタン7102の位置であると判定した場合(ステップS152、「Yes」)、処理をステップS155に移行させる。ステップS155で、部位指定部710は、抽出部位7103の位置およびサイズに基づき、解析結果の抽出部位を決定する。部位指定部710は、決定した抽出部位を示す情報(例えば座標情報)を、項目指定部711を介して解析結果加工部712に渡す。
 説明は図40に戻り、結果表示部71において項目指定部711は、ディスプレイ2に対して、部位指定部710により決定された抽出部位において表示対象とする解析結果の項目を指定する指定画面を表示させる。項目指定部711は、当該画面に基づき入力デバイス25に対してなされたユーザ操作に応じて、表示対象とする解析結果の項目を決定する。
 図43は、実施形態に適用可能な、項目指定部711により表示される指定画面の例を示す図である。図43において、指定画面7110は、項目表示部7111と、「OK」ボタン7112と、が配される。項目表示部7111は、解析結果を表示させたい解析項目の一覧が表示される。図43の例では、それぞれ毛穴の解析結果(「毛穴」)と、キメの解析結果(「キメ」)と、肌色の解析結果(「色」)と、が指定可能な解析項目として表示されている。
 項目指定部711は、項目表示部7111に表示される解析項目の一覧に対してタッチを検出すると、タッチが検出された位置に対応する項目を表示対象の解析項目として指定する。図43の例では、毛穴の解析結果(「毛穴」)、および、肌色の解析結果(「色」)のそれぞれの項目の先頭にチェックマークが付されており、これらが表示対象の解析項目として指定されている様子が示されている。
 項目指定部711は、タッチが検出された位置が「OK」ボタン7112の位置である場合、項目表示部7111にチェックマークが付された解析項目に対応する解析結果を、表示対象とする解析結果であると決定する。項目指定部711は、決定された解析項目を、解析結果加工部712に渡す。
 説明は図40に戻り、解析結果加工部712は、解析結果記憶部705から各解析結果を取得し、加工する。このとき、解析結果加工部712は、解析結果記憶部705から、部位指定部710から渡された抽出部位を示す情報と、項目指定部711から渡された項目と、に基づき解析結果を取得する。表示情報生成部713は、解析結果加工部712により加工された解析結果をディスプレイ2の画面に表示させるための表示情報を生成する。
 図44は、実施形態に係る解析結果加工部712による解析結果の加工処理を示す一例のフローチャートである。ステップS160で、解析結果加工部712は、抽出部位に関し、各解析項目について解析結果を抽出する。より詳細には、解析結果加工部712は、項目指定部711から渡された解析項目それぞれについて、部位指定部710から渡された抽出部位に示される範囲に含まれる解析結果を、解析結果記憶部705から取得する。
 次のステップS161で、解析結果加工部712は、ステップS160で抽出した解析項目の解析結果それぞれについて代表値を算出する。次のステップS162で、解析結果加工部712は、ステップS161で算出した各代表値を表示するためのグラフデータを生成する。
 図44で説明した解析結果加工部712による解析結果の加工処理を、図45A~図45C、および、図46A~図46Cを用いてより具体的に説明する。なお、ここでは、図43を用いて説明したように、肌色の解析結果および毛穴の解析結果が表示対象の解析項目として指定されているものとする。
 先ず、図45A~図45Cを用いて、肌色の解析結果の加工処理の例について説明する。図45Aは、上述した図42Bに対応する図であって、実施形態に適用可能な、指定画面7110においてガイド画像7101に対して指定された抽出部位7103の例を示す図である。図45Aの例では、ガイド画像7101内の向かって左側の頬部に抽出部位7103が指定されている。
 図45Bは、実施形態に適用可能な、表示対象の各解析項目のうち、肌色の解析結果に基づく代表値の算出方法を説明するための図である。解析結果加工部712は、抽出部位7103に含まれる各画素について、HSV空間における成分H、SおよびVをそれぞれ抽出する。具体的には、解析結果加工部712は、図45Bに示されるように、抽出部位7103に含まれるn個の画素1000、1001、…、100n-1それぞれについて、HSV色空間における各成分H、SおよびVの組(H0,S0,V0)、(H1,S1,V1)、…、(Hn-1,Sn-1,Vn-1)を抽出する(ステップS160)。解析結果加工部712は、例えば、式(9)、(10)および(11)により、成分H、SおよびVそれぞれの代表値Hbar、SbarおよびVbarを算出する(ステップS161)。
 なお、Hbar、SbarおよびVbarは、それぞれ、式(9)、(10)および(11)において「H」、「S」および「V」の直上にバーが付された値を示している。また、式(9)、(10)および(11)は、それぞれ、各成分H、SおよびVについて、画素1000、1001、…、100n-1の平均値を算出する。解析結果加工部712は、式(9)、(10)および(11)により算出された各成分H、SおよびVの各平均値を、各成分H、SおよびVの代表値Hbar、SbarおよびVbarとして用いる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 なお、上述では、解析結果加工部712は、各成分H、SおよびVの代表値Hbar、SbarおよびVbarとして、画素1000、1001、…、100n-1の各成分H、SおよびVの平均値を用いているが、これはこの例に限定されない。すなわち、各成分H、SおよびVの代表値Hbar、SbarおよびVbarとして、画素1000、1001、…、100n-1の各成分H、SおよびVの中央値や最頻値を用いてもよい。
 解析結果加工部712は、式(9)、(10)および(11)により算出された各成分H、SおよびVの代表値Hbar、SbarおよびVbarを表示するためのグラフを生成する。図45Cは、実施形態に係る、解析結果加工部712により生成された肌色の解析結果のグラフの例を示す図である。図45Cの例では、グラフ7120は、各成分H、SおよびVのうち成分Hを縦軸、成分Vを横軸とし、成分Hの代表値Hbarと、成分Vの代表値Vbarと、をプロットしている。
 次に、図46A~図46Cを用いて、毛穴の解析結果の加工処理の例について説明する。図46Aは、図45Aに示した抽出部位7103において検出された毛穴の例を示す図である。解析結果加工部712は、抽出部位7103において検出された毛穴を、そのサイズ(例えば直径)に応じて、サイズ「大」、サイズ「中」およびサイズ「小」の3段階に分類している。図46Aの例では、抽出部位7103において、サイズ「大」に分類された毛穴7121Lと、サイズ「中」に分類された毛穴7121Mと、サイズ「小」に分類された毛穴7121Sと、が検出された様子を模式的に示している。
 解析結果加工部712は、抽出部位7103において検出された毛穴の数を、図46Bに集計結果7122として示されるように、3段階に分類された毛穴の大きさ「大」、「中」および「小」毎に集計する。図46Bの例では、大きさ「大」に分類された5個の毛穴7121Lと、大きさ「中」に分類された3個の毛穴7121Mと、大きさ「小」に分類された3個の毛穴7121Sと、が抽出部位7103にて検出されたことが示されている。この例では、これら集計結果7122に示される、毛穴の各大きさに対する個数のそれぞれを、毛穴の解析結果の代表値として用いている。
 解析結果加工部712は、図46Bに示したように分類および集計された各サイズ「大」、「中」および「小」の毛穴7121L、7121Mおよび7121Sを表示するためのグラフを生成する。図46Cは、実施形態に係る、解析結果加工部712により生成された毛穴の解析結果のグラフの例を示す図である。図46Cに示されるグラフ7123は、図46Bにおいて集計された各サイズ「大」、「中」および「小」の毛穴7121L、7121Mおよび7121Sの個数を棒グラフにより示した例である。
 解析結果加工部712は、図44のステップS162で生成した各グラフデータを、表示情報生成部713に渡す。
 表示情報生成部713は、解析結果加工部712から渡された各グラフデータに基づく解析結果表示画面をディスプレイ2の画面に表示させるための表示情報を生成する。図47は、実施形態に適用可能な、表示情報生成部713により生成された表示情報に基づきディスプレイ2に表示される解析結果表示画面の例を示す図である。
 図47の例では、解析結果表示画面7130は、図45Cに示したグラフ7120に基づく画像7132と、図46Cに示したグラフ7123に基づく画像7131と、が配置されている。ユーザ15は、この解析結果表示画面7130を見ることで、肌の状態の解析結果を客観的に知ることができる。
 図47に示される解析結果表示画面7130は、解析結果を画面にて表現する場合の一例であって、この例に限定されるものではない。すなわち、図45Cに示したグラフ7120や、図46Cに示したグラフ7123は、肌色の解析結果や毛穴の解析結果を表現するための例であって、これらの例に限定されるものではない。例えば、図5の右側の図に示したように、各解析結果の評価値を求めた数値をグラフデータとして用いた解析結果表示画面により、解析結果を表現することができる。さらに例えば、各解析結果の評価値に応じた画像(アイコンなど)をグラフデータとして用いた解析結果表示画面により、解析結果を表現することも可能である。さらにまた、表示情報生成部713は、ユーザ15に対して、音声により解析結果を提示するようにもできる。
5.実施形態の第1の変形例
 次に、実施形態の第1の変形例について説明する。上述した実施形態では、リアカメラ7が単焦点レンズによるカメラであるものとして説明したが、これはこの例に限定されない。実施形態の第1の変形例は、リアカメラ7を1つのズームレンズを用いたカメラとした例である。
 実施形態の第1の変形例では、例えば、測定状況判定部61により、顔の大きさが適切ではないとされた場合(図25、ステップS94参照)、リアカメラ7のズーム機能を利用して撮像画像における顔の大きさを調整して、例えば図7のステップS10’によりフラッシュ無し撮像を行い、再度、顔の大きさに対する判定を行う。この判定により、顔の大きさが適切であるとされた場合、ズーム倍率をその倍率で固定して、例えばステップS20のフラッシュ有り撮像を実行する。一方、ズームを行っても顔の大きさが適切にならない場合、測定状況判定部61は、例えば顔をリアカメラ7から遠ざける、あるいは、リアカメラ7に近付けることを促す測定指示を提示するように、測定指示部62に対して指示を出す。
 実施形態の第1の変形例によれば、リアカメラ7と被写体との間の、より広い距離範囲において、肌解析に適切な撮像画像を取得可能である。
6.実施形態の第2の変形例
 次に、実施形態の第2の変形例について説明する。上述した実施形態では、1つのリアカメラ7を用いて、肌解析のための撮像を行っているが、これはこの例に限定されない。実施形態の第2の変形例では、撮像装置1の裏面側11に、単焦点レンズあるいはズームレンズを用いたリアカメラ7と共に、このリアカメラ7に対してより広角のレンズによるカメラ(広角カメラと呼ぶ)を設ける例である。
 実施形態の第2の変形例では、例えば、リアカメラ7による例えば図7のステップS10’によるフラッシュ無し撮像に先立って、広角カメラによる撮像を行い、その撮像画像に基づき周囲環境の状況と、リアカメラ7の画角における被写体の位置と、を特定する。リアカメラ7は、単焦点レンズのカメラでもよいし、ズームレンズを用いたカメラでもよい。測定状況判定部61は、広角カメラにより撮像された撮像画像に基づき、リアカメラ7により撮像した撮像画像における被写体の位置を推測する。測定状況判定部61は、推測された被写体の位置が適切ではないと判定した場合、リアカメラ7の画角の変更を促す測定指示を提示するように、測定指示部62に指示を出す。
 実施形態の第2の変形例によれば、広角カメラの撮像画像に基づき推測された、リアカメラ7により撮像された場合の撮像画像における被写体の位置に応じて、リアカメラ7による画角を変更できるので、肌解析のための撮像をより容易に実行することができる。
7.実施形態の第3の変形例
 次に、実施形態の第3の変形例について説明する。実施形態の第3の変形例は、上述した実施形態の第2の変形例における広角カメラの代わりに、略360°の画角を有する360°カメラを適用させた例である。360°カメラは、例えば、それぞれ略180°の画角を有する魚眼レンズを用いた2つのカメラを、撮像方向を180°異ならせて組み合わせることで構成できる。
 この実施形態の第3の変形例でも、上述した実施形態の第2の変形例と同様に、例えば、リアカメラ7による例えば図7のステップS10’によるフラッシュ無し撮像に先立って、360°カメラによる撮像を行い、その撮像画像に基づき周囲環境の状況と、リアカメラ7の画角における被写体の位置と、を特定する。リアカメラ7は、単焦点レンズのカメラでもよいし、ズームレンズを用いたカメラでもよい。測定状況判定部61は、360°カメラにより撮像された撮像画像に基づき被写体の位置が適切ではないと判定した場合、リアカメラ7の画角の変更を促す測定指示を提示するように、測定指示部62に指示を出す。
 実施形態の第3の変形例によれば、上述の実施形態の第2の変形例と同様に、360°カメラの撮像画像に基づき推測された、リアカメラ7により撮像された場合の撮像画像における被写体の位置に応じて、リアカメラ7による画角を変更できるので、肌解析のための撮像をより容易に実行することができる。
8.実施形態の第4の変形例
 次に、実施形態の第4の変形例について説明する。実施形態の第4の変形例では、被写体までの距離を測定し、測定した距離に基づき測定指示部62による測定指示の提示を行うようにした例である。
 例えば、リアカメラ7による例えば図7のステップS10’によるフラッシュ無し撮像に先立って、例えば測定状況判定部61は、距離センサ37により被写体までの距離を測定する。これに限らず、測定状況判定部61は、例えば撮像画像に基づくオートフォーカス制御に基づき距離を測定してもよい。測定状況判定部61は、測定された距離に基づきリアカメラ7により撮像した場合の撮像画像における被写体の大きさおよび位置を推測する。測定状況判定部61は、推測した大きさおよび位置が適切ではないと判定した場合、被写体の撮像画像における大きさおよび位置を適切とするように促す測定指示を提示するように、測定指示部62に対して指示を出す。
 実施形態の第4の変形例によれば、被写体までの距離の測定結果に基づきリアカメラ7により撮像した場合の撮像画像における被写体の大きさおよび位置を推測し、推測結果に応じて被写体の撮像画像における大きさおよび位置を適切とするように促す測定指示を提示する。そのため、肌解析のための撮像をより容易に実行することができる。
9.本開示の技術による効果
 スマートフォンなどの機器により自身を撮像した撮像画像に基づき自身の顔の肌の状態を解析する場合において、カメラ性能の制約からリアカメラ(メインカメラ)を使わなければならない場合が想定される。この場合、ユーザは、撮像の状況をディスプレイで確認することが困難であり、肌解析に対して適切な撮像や測定を実行することが難しい。
 実施形態および実施形態の各変形例に係る撮像装置1は、撮像画像に基づき検出した被写体の状況や、周囲環境の状況を検出し、検出結果に基づき肌解析に適切な撮像がなされているか否かを判定し、判定結果に応じて、ユーザに対して適切な撮像を促す指示を提示する。ユーザは、撮像装置1により提示された指示に従い撮像を行うことにより、肌解析に対して適切な撮像を、容易に実行できる。
 さらに、実施形態および実施形態の各変形例に係る撮像装置1は、撮像装置1から出力される音声、振動あるいは光や、鏡文字などを用いて、ユーザに対して適切な撮像を促す指示を提示する。そのため、実施形態および実施形態の各変形例に係る撮像装置1を用いることで、ディスプレイを見ること無しに、肌解析に対する適切な撮像を実行できる。
10.他の構成
 なお、本技術は以下のような構成も取ることができる。
(1)
 撮像部が測定対象の撮像を実行する状況を判定する判定部と、
 前記判定部による判定結果に基づき前記状況の更新を促す指示の提示を行う提示部と、
を備え、
 前記提示部は、
 操作者が、前記撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、前記撮像部のレンズのある面を該操作者自身に向けて撮像を行う状態で、該操作者により認識可能に前記提示を行う、
撮像装置。
(2)
 前記提示部は、
 音声を用いて前記提示を行う
前記(1)に記載の撮像装置。
(3)
 前記提示部は、
 前記ディスプレイの輝度を制御することで、前記提示を行う
前記(1)または(2)に記載の撮像装置。
(4)
 前記提示部は、
 前記判定部の判定結果に応じて前記輝度を時間方向に変化させることで、前記提示を行う
前記(3)に記載の撮像装置。
(5)
 前記提示部は、
 前記ディスプレイに周囲の領域より輝度が高い領域を表示させ、前記判定部の判定結果に応じて該領域の該ディスプレイ内における位置を時間方向に変化させることで、前記提示を行う
前記(3)に記載の撮像装置。
(6)
 前記提示部は、
 前記ディスプレイに前記判定部による判定結果に応じたテキストの鏡文字を表示させることで、前記提示を行う
前記(1)または(2)に記載の撮像装置。
(7)
 前記提示部は、
 振動を用いて前記提示を行う
前記(1)乃至(6)の何れかに記載の撮像装置。
(8)
 前記撮像部により撮像された撮像画像から前記測定対象としての顔を検出する顔検出部をさらに備え、
 前記判定部は、
 前記顔検出部により検出された前記顔に基づき前記状況を判定する
前記(1)乃至(7)の何れかに記載の撮像装置。
(9)
 前記判定部は、
 前記顔検出部により検出された前記顔の、前記撮像画像上での大きさ、位置および向きのうち少なくとも1つに基づき前記状況を判定する
前記(8)に記載の撮像装置。
(10)
 前記判定部は、
 前記撮像部の周囲の環境における光に基づき前記状況を判定する
前記(1)乃至(9)の何れかに記載の撮像装置。
(11)
 前記環境の明るさを検出する明るさ検出部をさらに備え、
 前記判定部は、
 前記明るさ検出部により検出された前記環境の明るさに基づき前記状況を判定する
前記(10)に記載の撮像装置。
(12)
 前記撮像部により撮像された撮像画像から前記測定対象としての顔を検出する顔検出部をさらに備え、
 前記判定部は、
 前記顔検出部により検出された前記顔における所定領域の明るさに基づき前記状況を判定する
前記(10)に記載の撮像装置。
(13)
 前記環境における光源の種類を検出する光源検出部をさらに備え、
 前記判定部は、
 前記光源検出部により検出された前記光源の種類に基づき前記状況を判定する
前記(10)に記載の撮像装置。
(14)
 前記撮像部により前記測定対象をフラッシュ光を用いずに撮像した第1の撮像画像に含まれる前記測定対象の位置と、前記撮像部により前記測定対象をフラッシュ光を用いて撮像した第2の撮像画像に含まれる前記測定対象の位置と、の差分を検出するブレ検出部をさらに備え、
 前記判定部は、
 前記ブレ検出部により検出された前記差分に基づき前記測定対象の状況を判定する
前記(1)乃至(13)の何れかに記載の撮像装置。
(15)
 前記撮像部の動きを検出する動き検出部をさらに備え、
 前記判定部は、
 前記動き検出部により検出された前記撮像部の前記動きに基づき前記測定対象の状況を判定する
前記(1)乃至(14)の何れかに記載の撮像装置。
(16)
 前記撮像部により前記測定対象を撮像した撮像画像に基づき該測定対象に対する解析を行う解析部をさらに備え、
 前記解析部は、
 前記判定部により前記状況が所定の条件を満たしていると判定された場合に、前記解析を行う
前記(1)乃至(15)の何れかに記載の撮像装置。
(17)
 プロセッサが、
 撮像部により測定対象の撮像を実行する状況を判定し、
 前記判定の結果に基づき前記状況の更新を促す指示の提示を、操作者が前記撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、前記撮像部のレンズのある面を該操作者自身に向けて撮像を行う状態で、該操作者により認識可能に行う、
撮像制御方法。
(18)
 撮像部により測定対象の撮像を実行する状況を判定する判定ステップと、
 前記判定ステップによる前記判定の結果に基づき前記状況の更新を促す指示の提示を行う提示ステップと、
をコンピュータに実行させ、
 前記提示ステップは、
 操作者が、前記撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、前記撮像部のレンズが設けられる面を該操作者自身に向けて撮像を行う状態で、該操作者により認識可能に前記提示を行う、
るための撮像制御プログラム。
1 撮像装置
2 ディスプレイ
6 汎用スピーカ
7 リアカメラ
8 フラッシュライト
9 フロントカメラ
10 表面側
11 裏面側
15 ユーザ
20 CPU
22 RAM
25 入力デバイス
26 ストレージ
33 バイブレータ
37 距離センサ
38 照度センサ
39 角速度センサ
55 肌解析部
60 測定部
61 測定状況判定部
62 測定指示部
70 解析部
71 結果表示部
90 顔
91L 左目
91R 右目
92 鼻
93 口
95 頬領域
97a,97b 撮像画像
100,1000,1001,100n-1 画素
110 画枠
550 測定処理部
551 解析処理部
600 フラッシュ制御部
601 撮像処理部
602 カメラ動き測定部
610 被写体検出部
611 画像ブレ検出部
612 環境明るさ検出部
613 環境光源検出部
614 カメラ動き検出部
615 状況判定部
616 理想状況記憶部
620 指示生成部
621 指示表記憶部
622 指示提示部
700 キメ解析部
701 シワ解析部
702 毛穴解析部
703 肌色解析部
704 シミ解析部
705 解析結果記憶部
710 部位指定部
711 項目指定部
712 解析結果加工部
713 表示情報生成部
6210a,6210b,6211,6212,6213 指示表
6220a,6220b 音声
6230a,6230b,6231a,6231b 文字列画像
6232 鏡
6240,6242 輝線
6250,7101 ガイド画像
7035 HSV画像
7100 指示入力用UI画面
7102,7112 「OK」ボタン
7103 抽出部位
7110 指定画面
7111 項目表示部
7120,7123 グラフ
7121L,7121M,7121S 毛穴
7122 集計結果
7130 解析結果表示画面

Claims (18)

  1.  撮像部が測定対象の撮像を実行する状況を判定する判定部と、
     前記判定部による判定結果に基づき前記状況の更新を促す指示の提示を行う提示部と、
    を備え、
     前記提示部は、
     操作者が、前記撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、前記撮像部のレンズのある面を該操作者自身に向けて撮像を行う状態で、該操作者により認識可能に前記提示を行う、
    撮像装置。
  2.  前記提示部は、
     音声を用いて前記提示を行う
    請求項1に記載の撮像装置。
  3.  前記提示部は、
     前記ディスプレイの輝度を制御することで、前記提示を行う
    請求項1に記載の撮像装置。
  4.  前記提示部は、
     前記判定部の判定結果に応じて前記輝度を時間方向に変化させることで、前記提示を行う
    請求項3に記載の撮像装置。
  5.  前記提示部は、
     前記ディスプレイに周囲の領域より輝度が高い領域を表示させ、前記判定部の判定結果に応じて該領域の該ディスプレイ内における位置を時間方向に変化させることで、前記提示を行う
    請求項3に記載の撮像装置。
  6.  前記提示部は、
     前記ディスプレイに前記判定部による判定結果に応じたテキストの鏡文字を表示させることで、前記提示を行う
    請求項1に記載の撮像装置。
  7.  前記提示部は、
     振動を用いて前記提示を行う
    請求項1に記載の撮像装置。
  8.  前記撮像部により撮像された撮像画像から前記測定対象としての顔を検出する顔検出部をさらに備え、
     前記判定部は、
     前記顔検出部により検出された前記顔に基づき前記状況を判定する
    請求項1に記載の撮像装置。
  9.  前記判定部は、
     前記顔検出部により検出された前記顔の、前記撮像画像上での大きさ、位置および向きのうち少なくとも1つに基づき前記状況を判定する
    請求項8に記載の撮像装置。
  10.  前記判定部は、
     前記撮像部の周囲の環境における光に基づき前記状況を判定する
    請求項1に記載の撮像装置。
  11.  前記環境の明るさを検出する明るさ検出部をさらに備え、
     前記判定部は、
     前記明るさ検出部により検出された前記環境の明るさに基づき前記状況を判定する
    請求項10に記載の撮像装置。
  12.  前記撮像部により撮像された撮像画像から前記測定対象としての顔を検出する顔検出部をさらに備え、
     前記判定部は、
     前記顔検出部により検出された前記顔における所定領域の明るさに基づき前記状況を判定する
    請求項10に記載の撮像装置。
  13.  前記環境における光の色温度を検出する光源検出部をさらに備え、
     前記判定部は、
     前記光源検出部により検出された前記色温度に基づき前記状況を判定する
    請求項10に記載の撮像装置。
  14.  前記撮像部により前記測定対象をフラッシュ光を用いずに撮像した第1の撮像画像に含まれる前記測定対象の位置と、前記撮像部により前記測定対象をフラッシュ光を用いて撮像した第2の撮像画像に含まれる前記測定対象の位置と、の差分を検出するブレ検出部をさらに備え、
     前記判定部は、
     前記ブレ検出部により検出された前記差分に基づき前記状況を判定する
    請求項1に記載の撮像装置。
  15.  前記撮像部の動きを検出する動き検出部をさらに備え、
     前記判定部は、
     前記動き検出部により検出された前記撮像部の前記動きに基づき前記状況を判定する
    請求項1に記載の撮像装置。
  16.  前記撮像部により前記測定対象を撮像した撮像画像に基づき該測定対象に対する解析を行う解析部をさらに備え、
     前記解析部は、
     前記判定部により前記状況が所定の条件を満たしていると判定された場合に、前記解析を行う
    請求項1に記載の撮像装置。
  17.  プロセッサが、
     撮像部により測定対象の撮像を実行する状況を判定し、
     前記判定の結果に基づき前記状況の更新を促す指示の提示を、操作者が前記撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、前記撮像部のレンズのある面を該操作者自身に向けて撮像を行う状態で、該操作者により認識可能に行う、
    撮像制御方法。
  18.  撮像部により測定対象の撮像を実行する状況を判定する判定ステップと、
     前記判定ステップによる前記判定の結果に基づき前記状況の更新を促す指示の提示を行う提示ステップと、
    をコンピュータに実行させ、
     前記提示ステップは、
     操作者が、前記撮像部による撮像におけるプレビュー画像を表示するディスプレイのある面と反対側の、前記撮像部のレンズのある面を該操作者自身に向けて撮像を行う状態で、該操作者により認識可能に前記提示を行う、
    ための撮像制御プログラム。
PCT/JP2020/011020 2019-05-29 2020-03-13 撮像装置、撮像制御方法および撮像制御プログラム WO2020240989A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019100660 2019-05-29
JP2019-100660 2019-05-29

Publications (1)

Publication Number Publication Date
WO2020240989A1 true WO2020240989A1 (ja) 2020-12-03

Family

ID=73552310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011020 WO2020240989A1 (ja) 2019-05-29 2020-03-13 撮像装置、撮像制御方法および撮像制御プログラム

Country Status (2)

Country Link
TW (1) TW202114396A (ja)
WO (1) WO2020240989A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347935A (ja) * 2004-06-01 2005-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2008118276A (ja) * 2006-11-01 2008-05-22 Sony Ericsson Mobilecommunications Japan Inc カメラ付き移動機器およびその撮影支援方法
JP2011041133A (ja) * 2009-08-17 2011-02-24 Nec Saitama Ltd 撮影装置及び撮影方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347935A (ja) * 2004-06-01 2005-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2008118276A (ja) * 2006-11-01 2008-05-22 Sony Ericsson Mobilecommunications Japan Inc カメラ付き移動機器およびその撮影支援方法
JP2011041133A (ja) * 2009-08-17 2011-02-24 Nec Saitama Ltd 撮影装置及び撮影方法

Also Published As

Publication number Publication date
TW202114396A (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
US9609206B2 (en) Image processing apparatus, method for controlling image processing apparatus and storage medium
JP4519708B2 (ja) 撮影装置および方法並びにプログラム
TWI343208B (ja)
JP6286481B2 (ja) オブジェクト向上のためのライティング・システムおよび方法
JP6090679B2 (ja) 電子ミラー装置
US9838616B2 (en) Image processing method and electronic apparatus
JP7292000B2 (ja) 動的なカメラ較正
US20140037135A1 (en) Context-driven adjustment of camera parameters
US20140177913A1 (en) Enhanced contrast for object detection and characterization by optical imaging
US20120275648A1 (en) Imaging device and imaging method and program
US10015374B2 (en) Image capturing apparatus and photo composition method thereof
JP4910975B2 (ja) 情報処理装置、指示システム及び制御プログラム
JP6799155B2 (ja) 情報処理装置、情報処理システム、および被写体情報特定方法
US20120020568A1 (en) Image processor and image processing method
US9779290B2 (en) Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
WO2020258258A1 (zh) 目标跟随的方法、系统、可读存储介质和可移动平台
JP5791577B2 (ja) 画像処理装置、画像表示方法、およびプログラム
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
JP2023500510A (ja) 環境光画像補正を実施するためのシステム
KR101674099B1 (ko) 얼굴 인증을 위한 영상 생성 장치 및 그 방법
JP6406966B2 (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
JP2011095985A (ja) 画像表示装置
JP6680294B2 (ja) 情報処理装置、情報処理方法、プログラム及び画像表示システム
WO2020240989A1 (ja) 撮像装置、撮像制御方法および撮像制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20814852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20814852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP