JP2023540273A - 眼部状態検出による画像処理方法、装置及び記憶媒体 - Google Patents
眼部状態検出による画像処理方法、装置及び記憶媒体 Download PDFInfo
- Publication number
- JP2023540273A JP2023540273A JP2023513999A JP2023513999A JP2023540273A JP 2023540273 A JP2023540273 A JP 2023540273A JP 2023513999 A JP2023513999 A JP 2023513999A JP 2023513999 A JP2023513999 A JP 2023513999A JP 2023540273 A JP2023540273 A JP 2023540273A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- target
- face
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000001815 facial effect Effects 0.000 claims description 24
- 210000000887 face Anatomy 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本開示は眼部状態検出による画像処理方法、装置、機器及び記憶媒体を開示している。前記方法は、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得し、その後、そのうちから当該ターゲット顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得するステップを含む。本開示において、眼部状態検出に基づいて、各顔のターゲット効果画像を決定し、その後、各ターゲット効果画像を基準画像上に合成することで、ターゲット画像における各顔の眼部状態の効果を向上させ、ターゲット画像の品質が保証され、ターゲット画像に対するユーザーの満足度を高める。
Description
本出願は2020年8月31日にて中国国家知識産権局に提出され、出願番号が202010899317.9であり、出願名称が「眼部状態検出による画像処理方法、装置及び記憶媒体」である中国特許出願に基づく優先権を主張し、その全内容は、援用により本出願に組み込まれる。
本開示は、ピクチャデータ処理の分野に関し、特に、眼部状態検出による画像処理方法、装置、機器及び記憶媒体に関している。
写真を撮る際に、撮られた写真において人の眼部状態は理想的ではない(例えば、「目を閉じている人がいる」)という問題が発生する恐れがあるため、ユーザーは、再撮影を必要とし、さらに繰り返して再撮影する場合がある。特に、複数の人が集合写真を撮る際に、「目を閉じている人がいる」、「レンズを見ていない人がいる」などの眼部状態が理想的ではないという問題がより発生しやすく、ひいては、繰り返して再撮影する場合があり、ユーザーの撮影エクスペリエンスに影響を与える。
現在、一般的に、ユーザーは、繰り返して撮影することで得られた複数枚の写真に基づいて、最終的な集合写真として、ほとんどの人の眼部状態が理想的な写真を手動で選択する。選択された集合写真において、人の眼部状態が理想的ではないという問題がある程度存在するため、今回の撮影中の全ての人の最適な眼部状態を集合写真において表現することができない。従って、最終的な集合写真に対するユーザーの満足度をある程度低減させる。
上記の技術問題又はその少なくとも一部を解决するために、本開示は、集合写真における全ての人の眼部状態効果を改善することができ、集合写真の品質を保証して、最終的な集合写真に対するユーザーの満足度を高めた、眼部状態検出による画像処理方法、装置、機器及び記憶媒体を提供する。
第1の態様によれば、本開示は、眼部状態検出による画像処理方法を提供し、前記方法は、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含むステップと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップと、を含む。
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含むステップと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップと、を含む。
好適な実施形態において、前記所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含む。
好適な実施形態において、前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の顔画像を決定するステップと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得するステップと、を含む。
処理対象となる画像セットからターゲット顔の顔画像を決定するステップと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得するステップと、を含む。
好適な実施形態において、前記ターゲット顔の顔画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行うステップと、を含む。
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行うステップと、を含む。
好適な実施形態において、前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の眼画像を決定するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得するステップと、を含む。
処理対象となる画像セットからターゲット顔の眼画像を決定するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得するステップと、を含む。
好適な実施形態において、前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含む。
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含む。
好適な実施形態において、前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップは、
前記ターゲット顔の眼画像を第1のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得するステップであって、前記第1のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含む。
前記ターゲット顔の眼画像を第1のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得するステップであって、前記第1のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含む。
好適な実施形態において、前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼状態値を決定するステップであって、前記眼状態値は、開状態値及び閉状態値を含むステップと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含む。
前記ターゲット顔の眼画像における眼状態値を決定するステップであって、前記眼状態値は、開状態値及び閉状態値を含むステップと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含む。
好適な実施形態において、前記ターゲット顔の眼画像における眼状態値を決定するステップは、
前記ターゲット顔の眼画像を第2のモデルに入力して、前記眼画像における眼状態値を取得するステップであって、前記第2のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含む。
前記ターゲット顔の眼画像を第2のモデルに入力して、前記眼画像における眼状態値を取得するステップであって、前記第2のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含む。
好適な実施形態において、前記眼画像に対応する眼部状態は、眼の垂直方向の開け幅と水平方向の2つの目じりの距離との比に基づいて決定され、前記眼の垂直方向の開け幅と水平方向の2つの目じりの距離との比は、前記眼キーポイントの位置情報に基づいて決定される。
好適な実施形態において、前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出するステップの前に、さらに、
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得するステップを含む。
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得するステップを含む。
好適な実施形態において、前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップの前に、さらに、
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定するステップを含む。
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定するステップを含む。
好適な実施形態において、前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップは、
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像における、眼の開閉程度値が最大であるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定するステップを含む。
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像における、眼の開閉程度値が最大であるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定するステップを含む。
好適な実施形態において、前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定するステップと、
前記顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記ターゲット顔の顔画像として決定するステップと、を含む。
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定するステップと、
前記顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記ターゲット顔の顔画像として決定するステップと、を含む。
好適な実施形態において、前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける画像ごとに顔検出を行って、顔画像を取得するステップと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定するステップと、を含む。
処理対象となる画像セットにおける画像ごとに顔検出を行って、顔画像を取得するステップと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定するステップと、を含む。
第2の態様によれば、本開示は、眼部状態検出による画像処理装置を提供し、前記装置は、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第1の検出モジュールであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含む第1の検出モジュールと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第1の決定モジュールと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュールと、を含む。
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第1の検出モジュールであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含む第1の検出モジュールと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第1の決定モジュールと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュールと、を含む。
第3の態様によれば、本開示は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には指令が記憶され、前記指令が端末機器で実行するとき、前記端末機器に上記の方法を実現させる。
第4の態様によれば、本開示は、機器を提供し、メモリと、プロセッサーと、前記メモリに記憶されて前記プロセッサーで実行可能なコンピュータプログラムとを含み、前記プロセッサーは、前記コンピュータプログラムを実行するとき、上記の方法を実現する。
従来技術に比べると、本開示によって提供される技術案は、以下の利点を備え、即ち、
本開示は、眼部状態検出による画像処理方法を提供し、まず、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得してから、眼部状態が所定の条件を満たしたターゲット領域画像から、当該ターゲット顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。本開示において、眼部状態を検出して、各顔のターゲット効果画像を決定してから、各顔のターゲット効果画像を基準画像上に合成することで、最終的に得られたターゲット画像における全ての人の眼部状態効果を向上させ、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度高めることができる。
本開示は、眼部状態検出による画像処理方法を提供し、まず、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得してから、眼部状態が所定の条件を満たしたターゲット領域画像から、当該ターゲット顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。本開示において、眼部状態を検出して、各顔のターゲット効果画像を決定してから、各顔のターゲット効果画像を基準画像上に合成することで、最終的に得られたターゲット画像における全ての人の眼部状態効果を向上させ、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度高めることができる。
ここで、図面は、明細書に組み込まれ、本明細書の一部を構成し、本開示に適合する実施例を示し、明細書とともに本開示の原理を解釈するためのものである。
本開示の実施例又は従来技術の技術案をより明らかに説明するために、以下、実施例又は従来技術の記載に使用される必要がある図面を簡単に紹介し、明らかに、当業者にとって、進歩性に値する労働をしない前提の下で、これらの図面に基づいて他の図面を取得することができる。
本開示の実施例による、眼部状態検出による画像処理方法のフローチャートである。
本開示の実施例による眼画像抽出の概略図である。
本開示の実施例による眼画像における眼キーポイントの概略図である。
本開示の実施例による別の眼部状態検出による画像処理方法のフローチャートである。
本開示の実施例による眼部状態検出による画像処理装置の構成ブロック図である。
本開示の実施例による眼部状態検出による画像処理機器の構成ブロック図である。
本開示の実施例又は従来技術の技術案をより明らかに説明するために、以下、実施例又は従来技術の記載に使用される必要がある図面を簡単に紹介し、明らかに、当業者にとって、進歩性に値する労働をしない前提の下で、これらの図面に基づいて他の図面を取得することができる。
本開示の上記の目的、特徴及び利点をより明らかに理解するために、以下、本開示の解決策をさらに説明する。なお、矛盾しない場合、本開示の実施例及び実施例における特徴を互いに組み合わせてもよい。
本開示を十分に理解しやすいために、以下の記載において、多くの具体的な細部を記載するが、本開示は、本明細書の記載とは異なっている形態で実施されてもよく、明らかに、明細書における実施例は全ての実施例ではなく、本開示の一部の実施例のみである。
画像(例えば、集合写真)における人の眼部状態は、画質を評価する要因である。画像が集合写真であることを例として、実際の撮影シーンにおいて、今回の撮影中の全ての人の最適な眼部状態を集合写真において表現するために、複数回の再撮影を繰り返すように、複数枚の集合写真を撮ってから、複数枚の集合写真から理想的な集合写真を手動で選択する。
上記の複数回の再撮影を繰り返すという方式は、人々の撮影エクスペリエンスを低減させるだけでなく、再撮影された集合写真において全ての人の眼部状態が理想的であることを保証することができず、集合写真に対するユーザーの満足度に影響を与える。
そこで、本開示は、眼部状態検出による画像処理方法を提供し、まず、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得してから、当該眼部状態が所定の条件を満たしたターゲット領域画像から、当該ターゲット顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。
上記の撮影シーンに基づいて、本開示の実施例によって提供される眼部状態検出による画像処理方法は、集合写真を撮った後、集合写真における人の眼部状態を検出して、集合写真における各顔のターゲット効果画像を決定してから、当該各顔のターゲット効果画像を元の集合写真上に合成することで、最終的な集合写真における全ての人の眼部状態効果をよりよくし、集合写真の品質を向上させ、集合写真に対するユーザーの満足度を高める。
これに基づいて、本開示の実施例は、眼部状態検出による画像処理方法を提供し、図1を参照して、本開示の実施例による眼部状態検出による画像処理方法のフローチャートであり、当該方法は以下のステップを含む。
ステップS101:処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する。
ステップS101:処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する。
当該所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含み、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含む。
好適な実施形態において、写真を撮影するシーンにおいて、シャッターボタンに対するトリガー操作(例えばシャッターボタンを押す操作)が検出された場合、現在の画像フレームを含みかつ現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、連続する複数フレームの画像として取得して、本開示の実施例における処理対象となる画像セットを取得する。
実際の応用において、カメラのプレビューモードでは、カメラのプレビューインターフェースにおけるプレビュー画像は、previewプレビューストリームという形態で記憶される。本開示の実施例において、カメラのプレビューモードでは、シャッターボタンが押されたことを検出した場合、現在の画像フレーム、即ち、カメラによって撮られた写真だけではなく、記憶されたpreviewプレビューストリームのプレビューピクチャから、最新のNフレームのプレビュー画像を取得する。そして、当該最新のNフレームのプレビュー画像を現在の画像フレームと共に処理対象となる画像セットとして構成する。一般的に、処理対象となる画像セットには8フレームの画像又は16フレームの画像が含まれ、本開示の実施例は、処理対象となる画像セットにおける画像の数を限定していない。別のいくつかの実施例において、処理対象となる画像セットには、より多くのフレームの画像が含まれてもよい。
別の好適な実施形態において、写真を撮影するシーンにおいて、現在モードが連続撮影モードである場合、シャッターボタン押しというトリガー操作を検出した場合、連続する複数フレームの画像として、連続撮影による複数フレームの画像を取得し、さらに、本開示の実施例における処理対象となる画像セットを取得する。
本開示の実施例において、処理対象となる画像セットを取得した後、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出する。ターゲット顔は、処理対象となる画像セットにおける画像上の、複数の顔のうちの同一人物に対応する顔である。
好適な実施形態において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出するステップは、処理対象となる画像セットからターゲット顔の顔画像を決定してから、当該ターゲット顔の顔画像に対して眼部状態検出を行って、当該ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像をターゲット領域画像として取得するステップを含む。
本開示の実施例は、処理対象となる画像セットからターゲット顔の顔画像を決定する次の2つの方法を少なくとも提供し、以下にそれぞれ紹介し、
好適な実施形態において、処理対象となる画像セットにおける基準画像に対して顔検出を行って、基準画像上の各顔の位置情報を決定する。そして、各顔の位置情報に基づいて、処理対象となる画像セットにおける画像上の、当該各顔におけるターゲット顔の位置情報に対応する顔画像を、当該ターゲット顔の顔画像として決定する。
好適な実施形態において、処理対象となる画像セットにおける基準画像に対して顔検出を行って、基準画像上の各顔の位置情報を決定する。そして、各顔の位置情報に基づいて、処理対象となる画像セットにおける画像上の、当該各顔におけるターゲット顔の位置情報に対応する顔画像を、当該ターゲット顔の顔画像として決定する。
実際の応用において、1回の撮影中に、シャッターボタン押しに対応する現在の画像フレームは一般的に、今回の撮影では、ほとんどの人の眼部状態がよい画像である。従って、本開示の実施例は、処理対象となる画像セットにおける、シャッターボタン押しに対応する現在の画像フレームを基準画像として決定することができる。このように、当該基準画像に基づいて、各顔の位置情報を決定してから、当該各顔の位置情報に基づいて、ターゲット顔に対応する顔画像をさらに決定し、当該ターゲット顔に対応する顔画像の正確さを向上させることができる。
本開示の実施例において、処理対象となる画像セットにおける基準画像を決定した後、機械学習モデルに基づいて基準画像に対して顔検出を行うことで、基準画像上の各顔の位置情報を決定することができる。1回の撮影中に、連続的に撮られた複数フレームの画像上の各顔の位置情報は基本的に同じであるため、基準画像上の決定された各顔の位置情報に基づいて、処理対象となる画像セットにおける他の画像上のターゲット顔に対応する顔画像をさらに決定することができる。ここで、処理対象となる画像セットにおいて、各画像上の同一位置での顔画像は、同一人物の顔画像に属する。
ターゲット顔の顔画像は、当該ターゲット顔を含む最小矩形領域であってもよい。当該ターゲット顔を含む最小矩形領域は、ターゲット顔の位置情報に基づいて決定される。
別の好適な実施形態において、顔検出及び類似度計算の方法を組み合わせて、処理対象となる画像セットからターゲット顔の顔画像を決定してもよい。具体的に、処理対象となる画像セットにおける各画像に対して顔検出を行って、顔画像を取得する。そして、類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定する。
実際の応用において、ターゲット顔の顔画像の類似度が高いため、本開示の実施例において、処理対象となる画像セットにおける各画像上の顔画像を決定した後、顔画像の類似度に基づいてターゲット顔の顔画像を決定することができる。具体的に、類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定する。
本開示の実施例において、顔画像に対して眼部状態検出を行う過程では、まず、顔画像から眼画像を抽出してから、眼画像に対して眼部状態検出を行って、対応する顔画像の眼部状態検出を完了する。本開示の実施例は、眼画像に対して眼部状態検出を行う方法を提供し、以降、説明する。
別の好適な実施形態において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出する過程では、処理対象となる画像セットからターゲット顔の眼画像を決定した後、ターゲット顔の眼画像に対して眼部状態検出を行って、ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得することができる。
実際の応用において、機械学習モデルにより処理対象となる画像セットにおける基準画像に対して眼検出を行うことで、基準画像上の眼の位置情報を決定することができる。そして、基準画像上で決定された眼の位置情報に基づいて、処理対象となる画像セットにおける各画像上の眼に対応する眼画像をさらに決定することができる。ここで、処理対象となる画像セットにおける各画像での同一位置の眼画像は、同一人物の眼画像に属する。
眼画像は、眼の最小矩形領域を含む。具体的に、眼画像は、左眼を含む最小矩形領域であってもよく、右眼を含む最小矩形領域であってもよく、さらに、左眼及び右眼を同時に含む最小矩形領域であってもよい。
別の好適な実施形態において、眼検出及び類似度計算の方法を組み合わせて、処理対象となる画像セットからターゲット顔の眼画像を決定してもよい。具体的に、処理対象となる画像セットにおける各画像に対して眼検出を行って、眼画像を取得する。そして、類似度が所定の類似閾値より大きい眼画像を、ターゲット顔の眼画像として決定する。
本開示の実施例において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出した後、各顔の眼部状態が所定の条件を満たしたターゲット領域画像を取得する。ターゲット領域画像は、顔画像であってもよいし、眼画像であってもよい。
本開示の実施例において、眼画像における眼キーポイントの位置情報又は眼状態値、或いは眼キーポイントの位置情報と眼状態値との組み合わせに基づいて、当該眼画像に対応する眼部状態を決定してもよい。本開示の実施例は、眼画像に対応する眼部状態を決定する具体的な実現形態を提供し、以降、紹介する。
ステップS102:前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する。
実際の応用において、理想的な写真において、全ての人の眼部状態は、一般的に開状態であり、また、眼が開く程度は、一定の標準に合うべきである。そこで、本開示の実施例において、まず、ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像を決定し、その後、決定されたターゲット領域画像に基づいて、各顔に対応するターゲット効果画像をさらに決定する。眼部状態が所定の条件を満たすことは、眼の開閉程度値が所定の開閉閾値より大きいことを意味する。
好適な実施形態において、ターゲット顔のターゲット領域画像における、眼の開閉程度値が最大であるターゲット領域画像を、当該ターゲット顔に対応するターゲット効果画像として決定することで、ターゲット画像における各顔の眼の開閉度を向上させ、さらに、ターゲット画像に対するユーザーの満足度を高めることができる。
別の好適な実施形態において、ターゲット顔のターゲット領域画像のうちの何れか1枚のターゲット領域画像を、当該ターゲット顔に対応するターゲット効果画像として決定することで、ターゲット画像における顔の眼部状態効果に対するユーザーの基本的な要求を満たすことができる。
好適な実施形態において、基準画像上のある顔(例えば、一人目の顔)の眼部状態が所定の条件を満たしていると決定した場合、当該一人目の顔に対して合成を行わず、画像処理の効率を向上させることができる。
ステップS103:前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する。
本開示の実施例において、各顔に対応するターゲット効果画像を決定した後、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。
ターゲット画像はターゲット効果画像に基づいて得られるため、ターゲット画像は、画像上の全ての人の眼部状態の効果を最大限に向上させることができ、それにより、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度向上させる。
好適な実施形態において、各顔に対応するターゲット効果画像は、位置情報を有し、当該ターゲット効果画像の位置情報に基づいて、当該ターゲット効果画像を基準画像上の対応位置に合成する。
なお、本開示の実施において、処理対象となる画像セットにおける何れか1枚の画像を基準画像として決定してもよい。本開示の実施例は、基準画像の決定方式を具体的に限定するものではなく、当業者は実際ニーズに応じて選択すればよい。
本開示の実施例によって提供される眼部状態検出による画像処理方法において、まず、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得し、その後、眼部状態が所定の条件を満たしたターゲット領域画像から、当該ターゲット顔に対応するターゲット効果画像を決定し、最終的に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成し、処理対象となる画像セットに対応するターゲット画像を取得する。本開示の実施例において、眼部状態を検出し、各顔のターゲット効果画像を決定し、その後、各顔のターゲット効果画像を基準画像上に合成することで、ターゲット画像における全ての人の眼部状態効果を向上させ、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度向上させることができる。
本開示の実施例によって提供される眼部状態検出による画像処理方法において、眼キーポイントの位置情報に基づいて、眼画像に対応する眼部状態を決定することができる。
好適な実施形態において、図2に示すように、8フレームの顔画像から、対応する眼画像を抽出する。そして、眼画像ごとに、当該眼画像における眼キーポイントの位置情報を決定し、次に、眼キーポイントの位置情報に基づいて、当該眼画像に対応する眼部状態を決定する。一実現形態において、当該ターゲット顔の眼画像に対応する眼部状態を、当該ターゲット顔に対応する顔画像の眼部状態とし、ここで、眼の開閉程度値で眼部状態を示すことができる。
図3に示すように、眼キーポイントはそれぞれ、眼部の左目じりキーポイント1、上眼瞼でのキーポイント2及び3、右目じりキーポイント4、下眼瞼でのキーポイント5及び6であってもよい。上記の6つの眼キーポイントを決定した後、各眼キーポイントの位置情報に基づいて眼の開閉程度値を決定する。
好適な実施形態において、図3におけるキーポイント1からキーポイント4までの間の距離を水平方向の2つの目じりの距離とし、キーポイント2からキーポイント6までの間の距離とキーポイント3からキーポイント5までの距離との平均値を、眼の垂直方向の開け幅とすることができる。そして、眼の垂直方向の開け幅と、水平方向の2つの目じりの距離との比を、眼の開閉程度値として決定する。
好適な実施形態において、機械学習モデルを使用して眼キーポイントの位置情報を決定することができる。具体的に、眼キーポイントの位置情報がマーキングされた眼画像サンプルを使用して第1のモデルを訓練し、眼画像を訓練後の第1のモデルに入力し、第1のモデルによって処理された後、当該眼画像における眼キーポイントの位置情報を出力する。
また、本開示の実施例によって提供される眼部状態検出による画像処理方法において、眼状態値に基づいて、眼画像に対応する眼部状態を決定してもよい。眼状態値は、開状態値及び閉状態値を含む。具体的に、眼状態値は[0,1]範囲内の数値であってもよく、眼状態値の数値が大きいほど、眼部開閉程度値が大きくなることを示し、逆に、眼状態値が小さいほど、眼部開閉程度値が小さくなることを示す。具体的に、閉状態値は[0、0.5]範囲内の数値であってもよく、開状態値は[0.5,1]範囲内の数値であってもよく、他のいくつかの実施例において、閉状態値は[0,0.5]範囲内の数値であってもよく、開状態値は[0.5,1]範囲内の数値であってもよい。
好適な実施形態において、機械学習モデルを使用して眼状態値を決定することができる。具体的に、眼状態値がマーキングされた眼画像サンプルを使用して第2のモデルを訓練し、眼画像を訓練後の第2のモデルに入力し、第2のモデルによって処理された後、当該眼画像の眼状態値を出力する。
本開示の実施例において、眼状態値によって眼画像に対応する眼部状態を決定し、ターゲット顔の眼状態値が最大であるターゲット領域画像をターゲット効果画像にとして決定する。
眼部状態検出の正確率を向上させるために、本開示の実施例は、眼キーポイントの位置情報及び眼状態値を組み合わせて、顔画像に対応する眼の開閉程度値を決定することで、眼の開閉程度値に基づいて決定されたターゲット効果画像の正確率を向上させ、さらに、ターゲット画像の品質を高めることできる。
本開示の実施例は、眼部状態検出による画像処理方法を提供し、図4を参照して、本開示の実施例によって提供される別の眼部状態検出による画像処理方法のフローチャートであり、当該方法は、以下のステップを含む。
ステップS401:処理対象となる画像セットに基づいて、ターゲット顔に属する顔画像を決定する。
ステップS401:処理対象となる画像セットに基づいて、ターゲット顔に属する顔画像を決定する。
前記処理対象となる画像セットは、シャッターボタン押しに対応する現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を含む。
本開示の実施例におけるステップS401について、上記の実施例の記載を参照して理解すればよく、ここで必要以上に説明することはしない。
ステップS402:前記ターゲット顔画像から眼画像を抽出する。
図2を参照して、ターゲット顔に属する顔画像を決定した後、決定されたターゲット顔の顔画像に基づいて、ターゲット顔に属する眼画像を抽出する。
好適な実施形態において、顔画像に対して眼部を検出し、顔画像における眼部の位置情報を決定し、その後、眼部の位置情報に基づいて、眼部が含まれる矩形枠領域を決定し、当該矩形枠領域を顔画像から抽出する。当該抽出された矩形領域に対応する画像を眼画像とする。眼部検出の方式について必要以上に説明することはしない。
実際の応用において、顔画像上の両眼の眼部状態は基本的に同じであると考えられるため、本開示の実施例において抽出された眼画像は、顔画像における一方の目のみを含んでもよく、これにより、画像処理の効率を向上させる。
ステップS403:前記眼画像における眼状態値及び眼キーポイントの位置情報を決定する。
本開示の実施例において、眼画像を抽出した後、眼画像における眼状態値及び眼キーポイントの位置情報を決定する。
好適な実施形態において、機械学習モデルにより眼状態値及び眼キーポイントの位置情報を決定することができる。具体的に、眼キーポイントの位置情報及び眼状態値がマーキングされた眼画像サンプルを使用して、第3のモデルを訓練し、眼画像を訓練後の第3のモデルに入力し、第3のモデルによって処理された後、当該眼画像の眼状態値及び眼キーポイントの位置情報を出力する。
ステップS404:前記眼状態値及び前記眼キーポイントの位置情報に基づいて、前記顔画像に対応する眼の開閉程度値を決定する。
本開示の実施例において、前記眼画像における眼状態値及び眼キーポイントの位置情報を決定した後、前記眼キーポイントの位置情報に基づいて、前記顔画像での眼の垂直方向の開け幅と、水平方向の2つの目じりの距離との比を決定する。そして、前記眼の垂直方向の開け幅と、水平方向の2つの目じりの距離との比、及び前記眼状態値を組み合わせて、前記顔画像に対応する眼の開閉程度値を決定する。
好適な実施形態において、図3を参照して、式(1)によって顔画像に対応する眼の開閉程度値を計算し、式(1)は次のようになる。
ここで、Open_Degree(OD)は、顔画像に対応する眼の開閉程度値を示し、H_dは、図3におけるキーポイント1とキーポイント4との間のユークリッド距離を示し、V_d_1は、図3におけるキーポイント2とキーポイント6との間のユークリッド距離を示し、V_d_2は図3におけるキーポイント3とキーポイント5との間のユークリッド距離を示し、round()は、パラメータに対して四捨五入及び切り上げを行うことを示し、Eye_Stateは眼状態値を示し、[0,1]の間にある。
ステップS405:ターゲット顔に属する顔画像から、眼の開閉程度値が所定の開閉閾値より大きい顔画像を決定する。
本開示の実施例において、ターゲット顔に属する顔画像を決定した後、何れか1つの顔の顔画像に対して、まず、眼の開閉程度値に基づいて、閉状態の顔画像を除去する。そして、眼の開閉程度値に基づいて、眼の開閉程度値が所定の開閉閾値以下である顔画像を除去する。眼の開閉程度値に基づいて、残りの顔画像をソートして、開閉程度値が所定の開閉閾値より大きい顔画像を決定してもよい。
好適な実施形態において、ある顔の顔画像において、眼の開閉程度値が所定の開閉閾値より大きい顔画像が存在しなければ、基準画像における、当該顔に対応する顔画像を処理することなく、基準画像における当該顔の効果を保留してもよい。
ステップS406:前記眼の開閉程度値が所定の開閉閾値より大きい顔画像から、前記ターゲット顔に対応するターゲット効果画像を決定する。
本開示の実施例において、各顔の眼の開閉程度値が所定の開閉閾値より大きい顔画像を決定した後、当該方法は、ターゲット顔に対応する顔画像から、眼の開閉程度値が所定の開閉閾値より大きい1枚の顔画像をランダムに選択して、ランダムに選択された顔画像を当該ターゲット顔に対応するターゲット効果画像とすることで、ターゲット画像における当該ターゲット顔での眼部状態効果を向上させる。他の顔に対応する顔画像に対して、同様の処理を行うことで、他の顔に対応するターゲット効果画像を取得することができる。
好適な実施形態において、眼の開閉程度値が大きいほど、目の開度が大きく、最適な眼部状態を表現できることを示す。従って、本開示の実施例において、眼の開閉程度値が所定の開閉閾値より大きい顔画像から、眼の開閉程度値が最大である顔画像を、当該ターゲット顔に対応するターゲット効果画像として選択することで、ターゲット画像における当該ターゲット顔での眼部状態の効果を最大限に向上させる。
ステップS407:前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する。
本開示の実施例において、各顔に対応するターゲット効果画像を決定した後、各ターゲット効果画像を何れも基準画像上に合成して、最終的に、処理対象となる画像セットに対応するターゲット画像を取得する。
複数人の撮影シーンにおいて、本開示によって提供される眼部状態検出による画像処理方法に基づいて、集合写真を1回のみ撮ることで、集合写真におけるできるだけ多くの人の眼部状態の効果をよりよくすることができ、複数回の再撮影を繰り返す必要がなく、集合写真撮影に対するユーザーのエクスペリエンスを向上させ、満足度が高い集合写真をユーザーに提供することができる。
上記の方法実施例と同一発明概念に基づいて、本開示は、眼部状態検出による画像処理装置をさらに提供し、図5を参照して、本開示の実施例によって提供される眼部状態検出による画像処理装置であり、前記装置は、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第1の検出モジュール501であって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含む第1の検出モジュール501と、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第1の決定モジュール502と、
前記ターゲット顔に対応するターゲット効果画像を、前記処理対象となる画像セットにおける所定の基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュール503と、を含む。
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第1の検出モジュール501であって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含む第1の検出モジュール501と、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第1の決定モジュール502と、
前記ターゲット顔に対応するターゲット効果画像を、前記処理対象となる画像セットにおける所定の基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュール503と、を含む。
好適な実施形態において、前記所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含む。
好適な実施形態において、前記第1の検出モジュールは、
処理対象となる画像セットからターゲット顔の顔画像を決定する第1の決定サブモジュールと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得する第1の検出サブモジュールと、を含む。
処理対象となる画像セットからターゲット顔の顔画像を決定する第1の決定サブモジュールと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得する第1の検出サブモジュールと、を含む。
好適な実施形態において、前記第1の検出サブモジュールは、
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出する抽出サブモジュールと、
前記ターゲット顔の眼画像に対して眼部状態検出を行う第2の検出サブモジュールと、を含む。
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出する抽出サブモジュールと、
前記ターゲット顔の眼画像に対して眼部状態検出を行う第2の検出サブモジュールと、を含む。
好適な実施形態において、前記第1の検出モジュールは、
処理対象となる画像セットからターゲット顔の眼画像を決定する第2の決定サブモジュールと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得する第3の検出サブモジュールと、を含む。
処理対象となる画像セットからターゲット顔の眼画像を決定する第2の決定サブモジュールと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得する第3の検出サブモジュールと、を含む。
好適な実施形態において、前記第2の検出モジュール又は前記第3の検出サブモジュールは、
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定する第3の決定サブモジュールと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定する第4の決定サブモジュールと、を含む。
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定する第3の決定サブモジュールと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定する第4の決定サブモジュールと、を含む。
好適な実施形態において、前記第3の決定サブモジュールは具体的に、
前記ターゲット顔の眼画像を第1のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得し、前記第1のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られる。
前記ターゲット顔の眼画像を第1のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得し、前記第1のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られる。
好適な実施形態において、前記第2の検出モジュール又は前記第3の検出サブモジュールは、
前記ターゲット顔の眼画像における眼状態値を決定する第5の決定サブモジュールであって、前記眼状態値が、開状態値及び閉状態値を含む第5の決定サブモジュールと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定する第6の決定サブモジュールと、を含む。
前記ターゲット顔の眼画像における眼状態値を決定する第5の決定サブモジュールであって、前記眼状態値が、開状態値及び閉状態値を含む第5の決定サブモジュールと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定する第6の決定サブモジュールと、を含む。
好適な実施形態において、前記第5の決定サブモジュールは具体的に、
前記ターゲット顔の眼画像を第2のモデルに入力して、前記眼画像における眼状態値を取得し、前記第2のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られる。
前記ターゲット顔の眼画像を第2のモデルに入力して、前記眼画像における眼状態値を取得し、前記第2のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られる。
好適な実施形態において、前記眼画像に対応する眼部状態は、眼の垂直方向の開け幅と水平方向の2つの目じりの距離との比に基づいて決定され、前記眼の垂直方向の開け幅と水平方向の2つの目じりの距離との比は、前記眼キーポイントの位置情報に基づいて決定される。
好適な実施形態において、前記装置は、
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得する取得モジュールをさらに含む。
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得する取得モジュールをさらに含む。
好適な実施形態において、前記装置は、
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定する第2の決定モジュールをさらに含む。
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定する第2の決定モジュールをさらに含む。
好適な実施形態において、前記第1の決定モジュールは具体的に、
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像のうち、眼の開閉程度値が最大であるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定する。
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像のうち、眼の開閉程度値が最大であるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定する。
好適な実施形態において、前記第1の決定サブモジュールは、
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定する第7の決定サブモジュールと、
前記各顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記顔の顔画像として決定する第8の決定サブモジュールと、を含む。
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定する第7の決定サブモジュールと、
前記各顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記顔の顔画像として決定する第8の決定サブモジュールと、を含む。
好適な実施形態において、前記第1の決定サブモジュールは、
処理対象となる画像セットにおける画像ごとにそれぞれ顔検出を行って、顔画像を取得する第4の検出サブモジュールと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定する第9の決定サブモジュールと、を含む。
処理対象となる画像セットにおける画像ごとにそれぞれ顔検出を行って、顔画像を取得する第4の検出サブモジュールと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定する第9の決定サブモジュールと、を含む。
本開示の実施例によって提供される眼部状態検出による画像処理装置において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像を取得し、眼部状態が所定の条件を満たしたターゲット領域画像から、当該顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。本開示の実施例において、眼部状態を検出し、各顔のターゲット効果画像を決定してから、各顔のターゲット効果画像を基準画像上に合成することで、最終的に得られたターゲット画像における全ての人の眼部状態効果を向上させ、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度高めることができる。
また、本開示の実施例は、眼部状態検出による画像処理機器をさらに提供し、図6を参照して示すように、
プロセッサー601、メモリ602、入力装置603及び出力装置604を含むことができる。眼部状態検出による画像処理機器におけるプロセッサー601の数は1つ又は複数であってもよく、図6において、1つのプロセッサーを例とする。本開示のいくつかの実施例において、プロセッサー601、メモリ602、入力装置603及び出力装置604はバス又は他の方式で接続されてもよく、図6において、バスによる接続を例とする。
プロセッサー601、メモリ602、入力装置603及び出力装置604を含むことができる。眼部状態検出による画像処理機器におけるプロセッサー601の数は1つ又は複数であってもよく、図6において、1つのプロセッサーを例とする。本開示のいくつかの実施例において、プロセッサー601、メモリ602、入力装置603及び出力装置604はバス又は他の方式で接続されてもよく、図6において、バスによる接続を例とする。
メモリ602は、ソフトウェアプログラム及びモジュールを記憶することができ、プロセッサー601は、メモリ602に記憶されるソフトウェアプログラム及びモジュールを実行することで、眼部状態検出による画像処理機器の様々な機能アプリケーション及びデータ処理を実行することができる。メモリ602は主にプログラム記憶領域及びデータ記憶領域を含み、プログラム記憶領域はオペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムなどを記憶する。また、メモリ602は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば少なくとも1つの磁気ディスクメモリ、フラッシュメモリ、又は他の揮発性固体メモリを含んでもよい。入力装置603は、入力された数字又は文字情報を受信し、眼部状態検出による画像処理機器のユーザー設定及び機能制御に関する信号入力を生成するために使用されることができる。
具体的に、本実施例において、プロセッサー601は以下の指令に従って、1つ又は複数のアプリケーションプログラムのプロセスに対応する実行可能なファイルをメモリ602にロードして、プロセッサー601によって、メモリ602に記憶されるアプリケーションプログラムを実行することで、上記の眼部状態検出による画像処理機器の様々な機能を実現する。
本開示の実施例は、コンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体には指令が記憶され、前記指令は、端末機器で実行されるとき、前記端末機器に上記の方法を実現させる。
なお、本明細書において、「第1」及び「第2」のような関係用語は1つのエンティティ又は操作を他のエンティティ又は操作と区別するためのものであり、これらのエンティティ又は操作同士の間にはこのような実際の関係又は順序があることを要求又は暗示するとは限らない。そして、「含む」「包含」という用語又はそれらの他の任意の変形は、非排他的包含を含むことを意図し、それにより、一連の要素を含む過程、方法、品物又は機器は、それらの要素を含むだけでなく、更に明確に列挙されていない他の要素を含み、或いは、更にこのような過程、方法、品物又は機器に固有の要素を含む。これ以上限定しない限り、「○○を含む」という文で限定された要素は、当該要素を含む過程、方法、品物又は機器には更に他の同じ要素があることを排除しない。
以上は、本開示の具体的な実施形態のみであり、これによって、当業者は、本開示を理解又は実現できる。これらの実施例に対する様々な補正は、当業者にとって自明であり、本明細書に定義された一般的な原理は、本開示の精神又は範囲から逸脱することなく、他の実施例で実現されてもよい。従って、本開示は、本明細書に記載のこれらの実施例に限定されず、本明細書が開示した原理及び新規特点と一致する最も幅広い範囲に合う。
Claims (18)
- 眼部状態検出による画像処理方法であって、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップであって、前記処理対象となる画像セットには連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含むステップと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップと、を含むことを特徴とする方法。 - 前記所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含むことを特徴とする請求項1に記載の方法。
- 前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の顔画像を決定するステップと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得するステップと、を含むことを特徴とする請求項1に記載の方法。 - 前記ターゲット顔の顔画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行うステップと、を含むことを特徴とする請求項3に記載の方法。 - 前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の眼画像を決定するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像をターゲット領域画像として取得するステップと、を含むことを特徴とする請求項1に記載の方法。 - 前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含むことを特徴とする請求項4又は5に記載の方法。 - 前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップは、
前記ターゲット顔の眼画像を第1のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得するステップであって、前記第1のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含むことを特徴とする請求項6に記載の方法。 - 前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼状態値を決定するステップであって、前記眼状態値は開状態値及び閉状態値を含むステップと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含むことを特徴とする請求項4又は5に記載の方法。 - 前記ターゲット顔の眼画像における眼状態値を決定するステップは、
前記ターゲット顔の眼画像を第2のモデルに入力して、前記眼画像における眼状態値を取得するステップであって、前記第2のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含むことを特徴とする請求項8に記載の方法。 - 前記眼画像に対応する眼部状態は、眼の垂直方向の開け幅と水平方向の2つの目じりの距離との比に基づいて決定され、前記眼の垂直方向の開け幅と、水平方向の2つの目じりの距離との比は、前記眼キーポイントの位置情報に基づいて決定されることを特徴とする請求項7に記載の方法。
- 前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出するステップの前に、さらに、
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得するステップを含むことを特徴とする請求項1に記載の方法。 - 前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップの前に、さらに、
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定するステップを含むことを特徴とする請求項1に記載の方法。 - 前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップは、
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像における、眼の開閉程度値が最大となるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定するステップを含むことを特徴とする請求項1に記載の方法。 - 前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定するステップと、
前記各顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記ターゲット顔の顔画像として決定するステップと、を含むことを特徴とする請求項3に記載の方法。 - 前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける画像ごとに顔検出を行って、顔画像を取得するステップと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定するステップと、を含むことを特徴とする請求項3に記載の方法。 - 眼部状態検出による画像処理装置であって、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第1の検出モジュールであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも1つの顔を含む第1の検出モジュールと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第1の決定モジュールと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュールと、を含むことを特徴とする装置。 - 指令が記憶されているコンピュータ可読記憶媒体であって、前記指令が端末機器で実行されるとき、請求項1から15の何れか1項に記載の方法を前記端末機器に実現させることを特徴とするコンピュータ可読記憶媒体。
- 機器であって、メモリと、プロセッサーと、前記メモリに記憶され、前記プロセッサーで実行可能なコンピュータプログラムとを含み、前記プロセッサーは、前記コンピュータプログラムを実行するとき、請求項1から15の何れか1項に記載の方法を実現することを特徴とする機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010899317.9A CN112036311A (zh) | 2020-08-31 | 2020-08-31 | 基于眼部状态检测的图像处理方法、装置及存储介质 |
CN202010899317.9 | 2020-08-31 | ||
PCT/CN2021/114881 WO2022042670A1 (zh) | 2020-08-31 | 2021-08-27 | 基于眼部状态检测的图像处理方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023540273A true JP2023540273A (ja) | 2023-09-22 |
Family
ID=73587021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023513999A Pending JP2023540273A (ja) | 2020-08-31 | 2021-08-27 | 眼部状態検出による画像処理方法、装置及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11842569B2 (ja) |
EP (1) | EP4206975A4 (ja) |
JP (1) | JP2023540273A (ja) |
CN (1) | CN112036311A (ja) |
WO (1) | WO2022042670A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036311A (zh) * | 2020-08-31 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 基于眼部状态检测的图像处理方法、装置及存储介质 |
CN113542598B (zh) * | 2021-07-02 | 2023-11-21 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
CN113747057B (zh) * | 2021-07-26 | 2022-09-30 | 荣耀终端有限公司 | 一种图像处理方法、电子设备、芯片系统和存储介质 |
CN115953389B (zh) * | 2023-02-24 | 2023-11-24 | 广州视景医疗软件有限公司 | 一种基于人脸关键点检测的斜视判别方法和装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
US7659923B1 (en) * | 2005-06-24 | 2010-02-09 | David Alan Johnson | Elimination of blink-related closed eyes in portrait photography |
JP4853320B2 (ja) * | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
JP4898532B2 (ja) * | 2007-04-13 | 2012-03-14 | 富士フイルム株式会社 | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 |
US20100302394A1 (en) * | 2009-05-28 | 2010-12-02 | Phanish Hanagal Srinivasa Rao | Blinked eye artifact removal for a digital imaging device |
KR101665130B1 (ko) * | 2009-07-15 | 2016-10-25 | 삼성전자주식회사 | 복수의 인물에 대한 이미지 생성 장치 및 방법 |
KR101728042B1 (ko) * | 2010-10-01 | 2017-04-18 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
US9336583B2 (en) * | 2013-06-17 | 2016-05-10 | Cyberlink Corp. | Systems and methods for image editing |
US9549118B2 (en) * | 2014-03-10 | 2017-01-17 | Qualcomm Incorporated | Blink and averted gaze avoidance in photographic images |
US20170032172A1 (en) * | 2015-07-29 | 2017-02-02 | Hon Hai Precision Industry Co., Ltd. | Electronic device and method for splicing images of electronic device |
US10475222B2 (en) * | 2017-09-05 | 2019-11-12 | Adobe Inc. | Automatic creation of a group shot image from a short video clip using intelligent select and merge |
CN107622483A (zh) * | 2017-09-15 | 2018-01-23 | 深圳市金立通信设备有限公司 | 一种图像合成方法及终端 |
CN107734253B (zh) * | 2017-10-13 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端和计算机可读存储介质 |
CN108574803B (zh) * | 2018-03-30 | 2020-01-14 | Oppo广东移动通信有限公司 | 图像的选取方法、装置、存储介质及电子设备 |
CN108520036B (zh) * | 2018-03-30 | 2020-08-14 | Oppo广东移动通信有限公司 | 图像的选取方法、装置、存储介质及电子设备 |
CN110163806B (zh) * | 2018-08-06 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置以及存储介质 |
CN109376624A (zh) * | 2018-10-09 | 2019-02-22 | 三星电子(中国)研发中心 | 一种闭眼照片的修正方法和装置 |
CN112036311A (zh) * | 2020-08-31 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 基于眼部状态检测的图像处理方法、装置及存储介质 |
-
2020
- 2020-08-31 CN CN202010899317.9A patent/CN112036311A/zh active Pending
-
2021
- 2021-08-27 EP EP21860504.6A patent/EP4206975A4/en active Pending
- 2021-08-27 JP JP2023513999A patent/JP2023540273A/ja active Pending
- 2021-08-27 WO PCT/CN2021/114881 patent/WO2022042670A1/zh unknown
-
2022
- 2022-12-22 US US18/087,660 patent/US11842569B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP4206975A1 (en) | 2023-07-05 |
US20230140313A1 (en) | 2023-05-04 |
WO2022042670A1 (zh) | 2022-03-03 |
CN112036311A (zh) | 2020-12-04 |
US11842569B2 (en) | 2023-12-12 |
EP4206975A4 (en) | 2024-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023540273A (ja) | 眼部状態検出による画像処理方法、装置及び記憶媒体 | |
Yan et al. | Learning the change for automatic image cropping | |
CN100502471C (zh) | 图像处理装置、图像处理方法和成像装置 | |
JP4772839B2 (ja) | 画像識別方法および撮像装置 | |
JP4908505B2 (ja) | 撮影者を利用した画像の分類 | |
JP6023058B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP6961797B2 (ja) | プレビュー写真をぼかすための方法および装置ならびにストレージ媒体 | |
JP4274233B2 (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
WO2016065999A1 (zh) | 相册管理方法和装置 | |
WO2022028184A1 (zh) | 一种拍摄控制方法、装置、电子设备及存储介质 | |
WO2019174544A1 (zh) | 图像合成的方法、装置、计算机存储介质及电子设备 | |
WO2019114508A1 (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
WO2021169686A1 (zh) | 一种拍摄控制方法、装置及计算机可读存储介质 | |
WO2018094648A1 (zh) | 拍摄构图引导方法及装置 | |
CN110730381A (zh) | 基于视频模板合成视频的方法、装置、终端及存储介质 | |
JP2011095862A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9041828B2 (en) | Imaging apparatus, imaging method, image processing apparatus, and image processing method for a set execution condition | |
CN105516590B (zh) | 一种图片处理方法及装置 | |
WO2019213818A1 (zh) | 拍摄控制方法及电子装置 | |
CN112017137A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109451234A (zh) | 优化拍照功能的方法、设备及存储介质 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN108259769B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
Rawat et al. | Context-based photography learning using crowdsourced images and social media | |
JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240426 |