JP2023513726A - 画像処理方法、装置、電子機器及び記録媒体 - Google Patents
画像処理方法、装置、電子機器及び記録媒体 Download PDFInfo
- Publication number
- JP2023513726A JP2023513726A JP2022548804A JP2022548804A JP2023513726A JP 2023513726 A JP2023513726 A JP 2023513726A JP 2022548804 A JP2022548804 A JP 2022548804A JP 2022548804 A JP2022548804 A JP 2022548804A JP 2023513726 A JP2023513726 A JP 2023513726A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- sky
- map
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 76
- 230000008569 process Effects 0.000 claims abstract description 61
- 238000001914 filtration Methods 0.000 claims abstract description 42
- 238000003709 image segmentation Methods 0.000 claims abstract description 32
- 239000000463 material Substances 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 15
- 230000003247 decreasing effect Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 12
- 238000003062 neural network model Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 238000009966 trimming Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本願は、画像処理方法、装置、電子機器及び記録媒体に関する。前記方法は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップであって、初期マスクマップには処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているステップと、初期マスクマップに基づいて処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定し、スカイリージョンの置き換え条件を満たしている場合、処理対象画像のグレースケールマップをガイドマップとして初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップと、ターゲットスカイシーンを取得するステップであって、ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるステップと、ターゲットマスクマップ及びターゲットスカイシーンに基づいて処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るステップと、を含む。本願の技術案によれば、スカイリージョンを正確に決定してスカイリージョンの置き換えを行うことができ、その効果はリアルで自然であり、写真成功率が高い。【選択図】 図2
Description
本願は、2020年04月23日に中国特許庁に提出され、出願の番号が202010327149.6であり、出願の名称が「画像処理方法、装置、電子機器及び記録媒体」の中国特許出願の優先権を主張しており、そのすべての内容は援用によって本願に組み込まれる。
本願は、画像処理技術の分野に関し、特に、画像処理方法、装置、電子機器及び記録媒体に関する。
現在、AI人物像のボケ、AI区分シーンの認識などのAI(人工知能、Artificial Intelligence)トリミング技術は、各適用シーンに幅広く適用されている。ここで、AIスカイ置き換え(画像内のスカイリージョンを特定のシーンでのスカイリージョンに置き換えること)は、AIトリミング技術が適用される典型的なシーンであり、比較的挑戦的なタスクである。ユーザによって実際に撮影された屋外の写真が様々であり、スカイには、枝、鳥、建物、電線、彩色旗、風車、ガラスなどがあり、如何にしてスカイリージョンを正確に非スカイリージョンから分割するかは容易ではなく、特に木の枝の存在するスカイや、電線などを含む細かいトランザクションがスカイに存在するシーンにおいて、スカイリージョンを如何に分割するかは非常に複雑になる。
現在の「スカイ置き換え」の機能は、主にAIトリミングによってスカイリージョンを決定してから後処理を行うことである。しかしながら、従来技術の分割効果が悪いため、スカイリージョンの決定が不正確であり、後処理が不完全でスカイのエッジの移行が不自然でなるなどの欠点があり、写真成功率が低い。
本願は、少なくとも関連技術におけるスカイリージョン置き換えの写真成功率が低いという問題を解決するために、画像処理方法、装置、電子機器及び記録媒体を提供する。本願の技術案は以下の通りである。
本願の実施例の第1の態様によれば、画像処理方法が提供され、前記画像処理方法は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているステップと、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップと、ターゲットスカイシーンを取得するステップであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるステップと、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るステップと、を含む。
本願の実施例の第2の態様によれば、画像処理装置が提供され、前記画像処理装置は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るように構成されるマスクマップ決定ユニットであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているマスクマップ決定ユニットと、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するように構成されるガイドフィルタリングユニットであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るガイドフィルタリングユニットと、ターゲットスカイシーンを取得するように構成されるスカイシーン取得ユニットであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるスカイシーン取得ユニットと、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るように構成されるスカイリージョン置き換えユニットと、を含む。
本願の実施例の第3の態様によれば、電子機器が提供され、前記電子機器は、プロセッサと、前記プロセッサによって実行可能な命令が記憶されているメモリと、を含み、ここで、前記プロセッサは、上記の画像処理方法が実現されるように、前記命令を実行するように構成される。
本願の実施例の第4の態様によれば、記録媒体が提供され、前記記録媒体内の命令が電子機器のプロセッサによって実行される場合、電子機器が上記の画像処理方法を実行できる。
本願の実施例の第5の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品が提供され、前記コンピュータプログラムが読み取り可能な記録媒体に記憶されており、機器の少なくとも1つのプロセッサは、前記読み取り可能な記録媒体から前記コンピュータプログラムを読み取って実行し、機器に上記の実施例中の画像処理方法を実行させる。
なお、以上の一般的な説明及び後の詳細な説明は、例示的かつ解釈的なものに過ぎず、本願を限定するものではない。
ここでの図面は明細書に組み込まれて本明細書の一部を構成し、本願に適合する実施例が示され、明細書とともに本願の原理を説明するために使用され、本願に対する不当な限定を構成するものではない。
例示的な一実施例に係る画像処理方法の適用環境図である。
例示的な一実施例に係る画像処理方法のフローチャートである。
例示的な一実施例に係る確率マップの概略表示図である。
例示的な一実施例に係る処理対象画像である。
例示的な一実施例に係る処理済み画像である。
例示的な一実施例に係る他の処理済み画像である。
他の例示的な実施例に係る画像処理方法のフローチャートである。
別の例示的な実施例に係る画像処理方法のフローチャートである。
例示的な実施例に係る画像処理装置のブロック図である。
当業者が本願の技術案をよりよく理解するために、以下に図面に合わせて本願の実施例中の技術案を明確かつ完全に説明する。
なお、本願の明細書及び特許請求の範囲、並びに上記の図面における「第1」、「第2」などの用語は、類似の対象を区別するためのものであり、特定の順序又は優先順位を説明するために使用されるものではない。なお、このように使用されるデータは、本明細書に記載の本願の実施例が本明細書で図示又は説明されている順序以外の順序で実施されることを可能にするために、適宜交換されてもよい。以下の例示的な実施例において説明される実施形態は、本願に一致するすべての実施形態を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳述された、本願のいくつかの態様に一致する装置及び方法の例に過ぎない。
本願の実施例によって提供される画像処理方法は、図1に示すような電子機器に適用することができる。当該電子機器は、様々なパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、ポータブルウェアラブルデバイスであってもよい。図1を参照して、電子機器100は、処理コンポーネント101、メモリ102、電源コンポーネント103、マルチメディアコンポーネント104、オーディオコンポーネント105、入力/出力(I/O)のインタフェース106、センサコンポーネント107及び通信コンポーネント108のうちの1つ又は複数のコンポーネントを含むことができる。
処理コンポーネント101は、通常、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作など、電子機器100の全体的な操作を制御する。処理コンポーネント101は、命令を実行して上記方法の全部又は一部のステップを完成するための1つ又は複数のプロセッサ109を含むことができる。また、処理コンポーネント101は、処理コンポーネント101と他のコンポーネントとの間のインタラクションを容易にするための1つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント101は、マルチメディアコンポーネント104と処理コンポーネント101との間のインタラクションを容易にするためのメディアモジュールを含むことができる。
メモリ102は、電子機器100での操作を支援するように、様々なデータを記憶するように構成される。これらのデータの例は、連絡先データ、電話帳データ、メッセージ、画像、動画などの電子機器100で操作するためのいずれかのアプリケーション又は方法の命令を含む。メモリ102は、スタティックランダムアクセスメモリ(SRAM)、電気消去可能プログラマブル読み出し専用メモリ(EEPROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、プログラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、ディスク、光ディスクなどの任意のタイプの一時的又は非一時的な記録媒体、又はそれらの組み合わせによって実現することができる。
電源コンポーネント103は、電子機器100の様々なコンポーネントに電力を提供する。電源コンポーネント103は、電源管理システム、1つ又は複数の電源、及び電子機器100の電力の生成、管理及び分配に関連する他のコンポーネントを含むことができる。
マルチメディアコンポーネント104は、前記電子機器100とユーザとの間に1つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ(LCD)及びタッチパネル(TP)を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するためのタッチスクリーンとして実現することができる。タッチパネルは、タッチ、スライド及びタッチパネル上のジェスチャーを検知するための1つ又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスライド動作の境界線を検知するだけではなく、タッチ又はスライド操作に関連する持続時間及び圧力も検出する。いくつかの実施例において、マルチメディアコンポーネント104は、1つのフロントカメラ及び/又はリアカメラを含む。フロントカメラ及び/又はリアカメラは、電子機器100が、撮影モード又はビデオモードなどの操作モードにある場合、外部のメディアデータを受信することができる。各フロントカメラ及びリアカメラは、1つの固定する光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有してもよい。
オーディオコンポーネント105は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント105は、1つのマイクロフォン(MIC)を含み、マイクロフォンは、電子機器100が呼び出しモード、記録モード及び音声認識モードなどの操作モードにある場合、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ102にさらに記憶されるか、又は通信コンポーネント108を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント105は、オーディオ信号を出力するためのスピーカーをさらに含む。
I/Oインタフェース106は、処理コンポーネント101と周辺インタフェースモジュールとの間にインタフェースを提供し、上記周辺インタフェースモジュールは、キーパッド、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、起動ボタン及びロックボタンを含むが、これらに限定されない。
センサコンポーネント107は、電子機器100のために様々な方面の状態評価を提供するための1つ又は複数のセンサを含む。例えば、センサコンポーネント107は、電子機器100のオン/オフ状態、コンポーネントの相対的な位置付けを検出することができ、例えば、コンポーネントが電子機器100のディスプレイ及びキーパッドであり、センサコンポーネント107は、電子機器100又は電子機器100の1つのコンポーネントの位置変化、ユーザと電子機器100との接触の有無、電子機器100の方位又は加速/減速及び電子機器100の温度変化を検出することもできる。センサコンポーネント107は、いずれかの物理接触もない場合、近傍の物体の存在を検出するための接近センサを含むことができる。センサコンポーネント107は、撮像アプリケーションで使用するためのCMOS又はCCD画像センサなどの光センサをさらに含むことができる。いくつかの実施例において、当該センサコンポーネント107は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含むことができる。
通信コンポーネント108は、電子機器100と他のデバイスとの有線又は無線方式の通信を容易にするように構成される。電子機器100は、WiFi、キャリアネットワーク(2G、3G、4G又は5G)、又はそれらの組み合わせなどの通信標準に基づく無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント108は、放送チャンネルを介して外部放送管理システムからの放送信号又は放送に関連する情報を受信する。例示的な一実施例において、通信コンポーネント108は、近距離通信を容易にするために、近距離通信(NFC)モジュールをさらに含む。例えば、NFCモジュールは、無線周波数認識(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(BT)技術、及び他の技術に基づいて実現することができる。
例示的な実施例において、電子機器100は、上記方法を実現するために、1つ又は複数のアプリケーション特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品によって実現することができる。
図2は、例示的な実施例に係る画像処理方法のフローチャートであり、図2に示すように、画像処理方法は、図1の電子機器に適用され、以下のステップS201~S204を含む。
ステップS201において、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得て、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれている。
ここで、処理対象画像とは、スカイリージョンの置き換えが必要な画像であり、ユーザがクライアントを介して入力した画像(例えば、クライアントを介してダウンロードした画像、クライアント上のカメラを介して撮影した画像など)であってもよいし、予め取得された画像であってもよいし、リアルタイムに取得された画像であってもよいため、入力マップと呼ぶこともできる。処理対象画像は、様々なフォーマットで、様々なシーンにスカイリージョン(スカイリージョンは大きくても小さくてもよい)が含まれている画像であってもよい。当該スカイリージョンとは、スカイに属する領域のことであり、当該スカイは、晴れ、曇り、雨上がり、夕方、夜、虹などのシーンでのスカイであってもよい。処理対象画像には、スカイリージョンのほか、建物や丘などの他の領域が含まれていてもよい。また、処理対象画像の大きさや形状は複数種類であってもよい。
処理対象画像に対して行われる画像分割(image segmentation)処理とは、画像内の画素が属する領域を分類し、すなわち、画像を互いに交差しない領域に分割することであってもよい。近年、深層学習技術の深化につれて、画像分割技術は飛躍的に発展してきて、当該技術に関連するシーンの物体分割、人体前背景分割などの技術は、すでに無人運転、拡張現実、セキュリティ監視などの業界で広く適用されている。さらに、本願において深層学習の方式によって処理対象画像に対して画像分割処理を行うことができる。例えば、ニューラルネットワークモデルを介して処理対象画像内の各画素点がスカイリージョンに属する確率値を決定することにより、処理対象画像のスカイリージョンの分割を実現する。ここで、確率値は、実際の状況に応じて値を取ることができ、値が高いほど、当該画素点がスカイリージョンに属する可能性が高いことを示す(すなわち、スカイリージョン範囲内にある画素点に属する)。例えば、値が1の場合、当該画素がスカイリージョンに属するに違いないことを示し、値が0の場合、当該画素がスカイリージョンに属さないに違いないことを示し、値が0.9の場合、当該画素がスカイリージョンに属す可能性が90%であることを示す。いくつかの例示的な実施例において、確率値は、対応する画素点のマスク(mask)情報として理解することができるため、確率値はmask値と呼ぶことができ、それに対応して、初期マスクマップは確率マスクマップと呼ぶこともできる。
さらに、各画素点の確率値が得られた後、各確率値を画素点の位置に従って配置し、初期マスクマップを得ることができ、また、各画素点の確率値を対応するグレースケール値に変換することもでき、例えば、確率値が1の場合、グレースケール値255に変換され、確率値が0.5の場合、グレースケール値127に変換され、確率値が0の場合、グレースケール値0に変換されることで、確率値に対応するグレースケール画像を出力することができ、電子機器は、初期マスクマップのグレースケール値を取得した後に対応する確率値を知ることができ、インタフェースに表示される初期マスクマップは、図3に示すことができる。
ステップS202において、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定し、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得る。
ここで、スカイリージョンの置き換え条件は、スカイリージョンの大きさ、信頼性の有無、処理対象画像のシーンなどに応じて決定することができる。選択可能な一実施形態において、処理対象画像が、スカイリージョンが小さすぎ、処理対象画像が信頼できず、夜のシーン、霧のシーンのうちの少なくとも1つに適合する際に、スカイリージョンの置き換え条件を満たさないと考えられる。
初期マスクマップを画像分割処理したものであるため、画像分割処理は、各画素点に対して量子化処理を行い(ニューラルネットワークモデルによる画像分割処理の場合、ダウンサンプリングによって画像の解像度が低下し、例えば、1画素点が5画素点になる)、量子化処理は、隣接する画素点の間の確率値の差を不正確にする可能性があり、これにより、画像の各領域の間に分断感が生じやすく、初期マスクマップ及びグレースケールマップをガイドフィルタリングのアルゴリズムに入力することになり、当該アルゴリズムは、初期マスクマップ及びグレースケールマップの情報を融合することができ、例えば、入力画像内の建物とスカイとの間に大きな色勾配が存在するが、初期マスクマップ内の建物とスカイとの間の確率値の差が小さい場合、ガイドフィルタリングすることにより初期マスクマップにおけるこのような問題を補正することができる。逆に、入力画像内の葉とスカイとの間に小さい色勾配が存在するが、初期マスクマップ内の葉とスカイとの間の確率値の差が大きい場合、ガイドフィルタリングすることにより初期マスクマップにおけるこのような問題を補正することができる。したがって、ガイドフィルタリング処理を行うことで、初期マスクマップに対するぼかし効果を実現することができ、出力された処理済み画像がより入力画像に近付き、よりリアルで自然なスカイ置き換えの効果を実現することができる。ガイドフィルタリング処理後の初期マスクマップを図3の右側の部分拡大図に示すように、当該図から分かるように、アルゴリズムが2つの画像の情報を融合し、ぼかしグラデーション(黒い領域から白い領域への段階的な移行)の効果を達成して、分断感の発生を防止し、得られた画像がぎこちなくならないようにすることができる。
ステップS203において、ターゲットスカイシーンを取得し、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択される。
ここで、ターゲットスカイシーンとは、置き換え必要があるスカイタイプであり、スカイシーン素材は、晴れ、曇り、雨上がり、虹、夕焼け、夕方、夜などのシーンであってもよい。このステップは、後で処理対象画像を処理するように、スカイシーン素材からターゲットスカイシーンを選択する。さらに、当該ターゲットスカイシーンは、ユーザによって入力されたシーン選択情報に基づいて得られてもよい。例えば、シーン選択情報が「夕焼け」である場合、ターゲットスカイシーンは夕焼けのシーンであってもよい。
ステップS204において、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得る。
スカイリージョンの置き換え処理の実現過程は、以下の通りであってもよい。ターゲットマスクマップ内のスカイリージョンを決定し、ターゲットスカイシーンを取得し、当該ターゲットスカイシーンに基づいてターゲットスカイマップ(すなわち、置き換えのためのスカイ画像)を取得し、当該ターゲットスカイマップによって当該スカイリージョンを置き換え、置き換え後の画像は、スカイリージョンの置き換え処理が行われた画像、すなわち、第1の処理済み画像とすることができる。ここで、ターゲットスカイマップは、ターゲットスカイシーンに基づいてスカイ素材ベースから取得されたスカイ画像であってもよく、例えば、ターゲットスカイシーンが夕焼けの場合、ターゲットスカイマップは、夕焼けシーンでのスカイ画像であってもよい。
例示的な一実施例において、ターゲットスカイマップの形状・大きさは、スカイリージョンの形状・大きさに基づいて決定することができ、両者の形状・大きさは一致しても、一致しなくてもよい(例えば、ターゲットスカイマップとスカイリージョンの各辺との間隔がいずれも50画素点であり、すなわち、ターゲットスカイマップの方がスカイリージョンよりも大きい)。
上記の画像処理方法において、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値を含む初期マスクマップを得て、当該初期マスクマップに基づいてスカイリージョンを正確に決定することができ、初期マスクマップに基づいて処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすと決定された場合、処理対象画像のグレースケールマップをガイドマップとして初期マスクマップに対してガイドフィルタリング処理を行ってターゲットマスクマップを得て、当該ガイドフィルタリングによって初期マスクマップに対するぼかし効果が実現され、初期マスクマップ内の隣接する画像領域の間の色勾配を正確に補正することができ、ターゲットマスクマップに基づいて得られた処理済み画像のスカイ置き換えの効果がよりリアルで自然であり、写真成功率が高い。
例示的な一実施例において、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップは、前記処理対象画像内の各画素点の青チャンネル画素値を取得するステップと、前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第1の閾値より大きい画素点を第1の画素点として決定するステップであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第1の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第1の評価領域が、前記初期マスクマップ内の前記確率値が第2の閾値より大きい画素点が存在する領域であり、前記第2の閾値が前記第1の閾値より大きいステップと、前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第2の画素点として決定するステップであって、前記ターゲット青チャンネル画素値が第2の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第2の評価領域は前記初期マスクマップ内の前記確率値が第3の閾値より大きい画素点が存在する領域であり、前記第3の閾値が前記第2の閾値より大きいステップと、前記第1の画素点の確率値を増加させ、前記第2の画素点の確率を減少させることにより、基準マスクマップを得るステップと、前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るステップと、を含む。
ここで、第1の評価領域は、初期マスクマップ内のスカイリージョンである可能性が高い領域に対応してもよいため、第2の閾値の大きさは、選択された第1の評価領域の精度をできるだけ確保するために、大きな値であってもよい。選択可能な一実施形態において、第2の閾値は、0.9、0.92などであってもよい。さらに、第1の評価領域が決定されたら、第1の評価領域内の各画素点の青チャンネル画素値を設定区間(実際の状況に応じて0から255までの区間分割が可能)に分類することができ、その中で数が最も多い区間をターゲット分布区間として決定する。
さらに、第1の画素点は、ターゲット分布区間及び確率値に基づいて決定することができ、例えば、初期マスクマップ内の確率値が予め設定された閾値(実際の状況に応じて決定することができ、例えば0.5)より大きく、かつ青チャンネル画素値がターゲット分布区間にある画素点が存在する領域を第1の画素点として決定することができる。このような処理方式によって、青チャンネル画素値及び確率値を組み合わせてより正確な第1の画素点を決定することができ、スカイリージョンの置き換えの精度を向上させることができる。ここで、青チャンネル画素値は、RGB値のB(Blue)チャンネルに対応する値である。
例示的な一実施例において、スカイリージョンである可能性が高い領域に対して確率値増加処理を行うほか、スカイリージョンではない可能性が高い領域に対して確率値低下処理を行うこともできる。ここで、第2の評価領域は、初期マスクマップ内のスカイリージョンである可能性がある領域に対応してもよく、非スカイリージョンの画素点をスカイリージョンに分類することを防止するために、第3の閾値は高い値(第2の閾値より大きくてもよく、選択可能な一実施形態において、第3の閾値は0.93、0.95などであってもよい)を取ることができ、できるだけ領域を考慮範囲内に入れてその中からターゲット青チャンネル画素値を決定し、ターゲット青チャンネル画素値を上限として初期マスクマップで第2の画素点を決定する。第2の評価領域に対応する青チャンネル画素値は、スカイリージョンの青チャンネル画素値の最低の臨界点として理解することができ、ある画素点の青チャンネル画素値が当該臨界点より小さい場合、当該画素点がスカイリージョンに属さないと考え、確率値減少処理を行う。当該ターゲット青チャンネル画素値に基づいて決定された第2の画素点は、非スカイリージョンを見落としてスカイリージョンに分類することを効果的に防止することができる。
もちろん、別のいくつかの例示的な実施例において、第2の閾値及び第3の閾値の大きさが同じであってもよく、第3の閾値は第2の閾値より小さくてもよい。
一方で、確率値増加処理は、確率値をより大きな値、例えば、1、0.99、0.98などに代入することであり、確率値低下処理は、確率値をより小さい値、例えば、0.5、0.6などに代入することである。例えば、確率値が0.9の画素点に対して、青チャンネル画素値に基づいてスカイリージョンに属する可能性が高い(例えば、青チャンネルBに対応する値が高い)と決定された場合、その確率値を1に代入することができ、確率値が0.5の画素点については、カラーチャンネル情報に基づいてスカイリージョンに属さない可能性が高いと決定された場合、その確率値を半分にするか、又は0に下げることができる。
いくつかの例示的な実施例において、第1の画素点の確率値を半分にする処理は、ある確率値を一律に減算する(例えば、0.1、0.2などを一律に減算する)などに置き換えることもできる。
上記の実施例は、スカイリージョンである可能性が高い画素点に対して確率値増加処理を行い、スカイリージョンではない可能性が高い画素点に対して確率値低下処理を行い、スカイリージョンの確率値は、その後のスカイリージョン置き換え時にこの部分の領域を正確に認識できるように強調することができ、スカイ置き換えの処理を行うことで、スカイ置き換えの精度を向上させることができる。
例示的な一実施例において、前記第1の画素点の確率値を増加させ、前記第2の画素点の確率値を減少させるステップは、前記第1の画素点の確率値を1に設定し、前記第2の画素点の確率値を半分にするステップを含む。
選択可能な一実施形態において、画素点に対して増加減少処理が行われる実現過程は、以下の通りであってもよい。処理対象画像の確率値>0.9の領域での各画素点の青チャンネル画素値のヒストグラムを計算し、ヒストグラムに基づいて青チャンネル画素点が(Q1:0~63、Q2:64~127、Q3:128~191、Q4:192~255)のどの区間において最も多いかを計算し、最も多い画素点が含まれている区間をターゲット分布区間として、Qiと表記し、ターゲット分布区間中の確率値が0.5以上であって、かつ青チャンネル値がQi区間に属する確率値を1.0とする。区間を分割する方式は実際の状況に応じて調整することができ、例えば、より大きい区間又はより小さい区間に分割することができる。
上記の実施例において、スカイリージョンである可能性が高い第1の画素点を1と設定し、スカイリージョンではない可能性が高い第2の画素点を半分にし、スカイリージョンの確率値は、その後のスカイリージョン置き換え時にこの部分の領域を正確に認識できるように強調することができ、スカイ置き換えの処理を行うことで、スカイ置き換えの精度を向上させることができる。
例示的な実施例において、第1の画素点及び第2の画素点は、青チャンネル画素値に基づいて決定するほか、赤チャンネル画素値、青チャンネル画素値などの他のチャンネル画素値に基づいて決定することもできる。選択可能な一実施形態において、主に夕方スカイリージョンの置き換え処理を行うシーンに対して、赤チャンネル画素値を利用して実現することができ、このような処理方式は、選択可能な一実施形態中のシーンに対してより正確なスカイリージョンを決定することができ、さらに正確なスカイリージョンの置き換え操作を実現し、写真成功率を向上させることができる。
また、いくつかの例示的な実施例において、第2の画素点に対して確率値減少処理を行ってから、確率値減少処理後の確率マップに対して第1の画素点の確率値増加処理を行って、候補のマスクマップを得ることができ、それぞれ初期マスクマップに対して第1の画素点の確率値増加処理を行って、初期マスクマップに対して第2の画素点の確率値減少処理を行ってもよく、2つの処理方式によって得られた確率マップを統合し(例えば、初期マスクマップ内の変化しない画素点に対してその原始の確率値を保留し、確率値増加処理のみが行われる又は確率値減少処理のみが行われる画素点に対して処理後の確率値を保留し、確率値増加処理も確率値減少処理も行われる画素点に対して、2つの処理方式によって得られた確率値の平均値を取ることができる)、候補のマスクマップを得る。その後、処理対象画像のグレースケールマップをガイドマップとして前記候補のマスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得る。
例示的な実施例において、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るステップは、前記処理対象画像内の非スカイリージョンを前景マップとして決定するステップと、前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るステップと、前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るステップであって、前記第1の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられるステップと、を含む。
ここで、処理対象画像内の非スカイリージョンの決定は、確率値が0.85未満の(他の値であってもよく、又は青チャンネル値を組み合わせて決定する)画素点を非スカイリージョンとして決定することができ、これらの非スカイリージョン画素点を統合する(例えば、散在している点を完全の領域に統合する)ことによって非スカイリージョンを得る。
選択可能な一実施形態において、ターゲットスカイマップの取得過程は、以下の通りであってもよい。スカイリージョンの最小矩形のバウンディングボックスを決定し、スカイ素材図からターゲットスカイシーンに対応する候補のスカイ素材図を取得し、アスペクト比を保持したまま、候補のスカイ素材図からターゲットスカイマップを切り出す。さらに、ターゲットスカイマップを切り出す時に中心切り出しの方式(もちろん、他の方式であってもよい)を使用することができ、例えば、前記候補のスカイ素材図の中心点を決定し、当該中心点を中心として矩形のバウンディングボックスの大きさに切り出してターゲットスカイマップを得る。さらに、候補のスカイ素材図を縮小してから切り出すことができ、もちろん、候補のスカイ素材図において切り出しを行い、切り出された画像に対してサイズ縮小処理を行って、ターゲットスカイマップを得る。
ターゲットマスクマップに基づいて前景マップとターゲットスカイマップとを組み合わせて処理済み画像を得るための実現過程は、以下の通りであってもよい。1つの空白領域内において処理対象画像のサイズに一致する領域を充填対象領域として決定し、ターゲットマスクマップに基づいて当該充填対象領域においてスカイリージョンを決定し、当該スカイリージョン内にターゲットスカイマップを充填し、残りの領域内に前景マップを充填し、処理済み画像を得る。また、ターゲットマスクマップに基づいて処理対象画像内においてスカイリージョンを決定し、当該スカイリージョン内にターゲットスカイマップを充填し、残りの領域内に前景マップを充填して処理済み画像を得る。領域の充填が完了した後、前景マップとターゲットスカイマップの間に重なる領域が存在する場合、重なる領域内の確率値を統合して最終的な確率値を得て、この最終的な確率値に基づいて領域の充填を完了することができ、例えば、スカイリージョンであると決定された場合(例えば、確率値が0.5より大きい場合)、ターゲットスカイマップを充填し、非スカイリージョンであると決定された場合、前景マップを充填する。処理対象画像を図4に示すものとすると、2つの矩形枠で構成される領域がスカイリージョン401を表しており、スカイリージョン401は現在虹のシーンである。これを晴れのシーンに置き換えると、図5に示すように、図5から分かるように、虹のシーンのスカイリージョン401が晴れのシーンのスカイリージョン501に置き換えられており、これを曇りのシーンに置き換えると、図6に示すように、図6から分かるように、虹のシーンのスカイリージョン401が曇りのシーンのスカイリージョン601に置き換えられている。
上記の処理過程から分かるように、スカイリージョンはターゲットスカイマップに置き換えられており、すなわち、建物(前景マップ)を置き換えることなくスカイリージョンの置き換え処理を実現しており、上記のプロセスはスカイリージョンと前景マップを区別して処理することで、画像内容のエイリアシングを効果的に防止し、ユーザの要求を満足しつつ、得られる処理画像のシャープネスを保証することができる。
さらに、例示的な一実施例において、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るステップは、前記ターゲットマスクマップに基づいて、前記処理対象画像から第1の領域、第2の領域及び残りの領域を決定するステップであって、前記第1の領域の内部に含まれる画素点の確率値が1であり、前記第2の領域の内部に含まれる画素点の確率値が0であり、前記残りの領域が、前記処理対象画像から前記第1の領域及び前記第2の領域を除く領域であるステップと、前記第1の領域を前記ターゲットスカイマップに置き換えるステップと、前記第2の領域を前記前景マップに置き換えるステップと、前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うステップと、カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第1の処理済み画像を得るステップと、を含む。
第1の領域は、スカイリージョンである可能性が高い領域又はスカイリージョンに違いない領域を指すことができ、第2の領域は、スカイリージョンである可能性が高い領域又はスカイリージョンではないに違いない領域を指すことができる。なお、上記の確率値が1である場合、確率値を0.98、0.99などの他の値に置き換えてもよく、上記の確率値が0の場合、確率値を0.02、0.01などの他の値に置き換えてもよい。
カラーチャンネル情報は、RGBの3つのチャンネルにおける画像の対応する値であってもよく、これらのカラーチャンネル情報によって対応する画素点の色を知ることができる。さらに、カラーチャンネル情報は、あるチャンネル又は複数のチャンネルに対応する値とすることができ、選択可能な一実施形態において、赤チャンネル画素値、緑チャンネル画素値、及び青チャンネル画素値を含むことができる。前景マップとターゲットスカイマップとを融合することは、この2つの部分に対応するカラーチャンネル情報を演算処理することであってもよく、例えば、ポジスタッキング処理、γ変換処理等を行い、処理後に得られたカラーチャンネル情報を対応する画素点のカラーチャンネル情報とする。当該カラーチャンネル情報は、RGB値の全部又は一部の情報であってもよい。例えば、ポジスタッキングは、前景マップとターゲットスカイマップに対応する画素点のRGB値を乗算する処理であってもよく、γ変換処理は、前景マップとターゲットスカイマップに対応する画素点のRGB値をべき乗する処理であってもよい。
例示的な一実施例において、前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るステップは、前記ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも1つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るステップと、前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るステップと、を含む。このような処理によって得られた第1の処理済み画像は、ターゲットスカイシーンのスタイルに適合することができる。また、前景マップに対してフィルタ美化処理を行って、当該ターゲット前景マップを得ることもできる。
選択可能な一実施形態において、本実施例の実現過程は以下の通りであってもよい。
確率値が1.0の領域に対してターゲットスカイマップを直接使用し、確率値が0.0の領域に対して前景マップを直接使用し、なお、上述した置き換え過程中の画像の位置や角度が対応する領域と一致しなければならず、例えば、垂直な状態にある建物は、第1の処理済み画像に置き換えられた後も垂直な状態にある必要がある。
確率値が0.0~1.0の領域の場合、
まず、ターゲットスカイマップと前景マップとを確率値に基づいて融合するが、この融合により得られたある画素点AのmixRGBは以下のようになる。
まず、ターゲットスカイマップと前景マップとを確率値に基づいて融合するが、この融合により得られたある画素点AのmixRGBは以下のようになる。
すなわち、mixRGB=src*(1.0-mask)+sky*maskである。ここで、srcは前景マップにおける画素点AのRGB値、maskは参照確率マップにおける画素点Aの確率値、skyはターゲットスカイマップにおける画素点AのRGB値を示す。
次に、mixRGBをポジスタッキングとγ変換で処理してtempRGBを得る。
すなわち、tempRGB=sqrt(mixRGB*sky,0.5)であり、ここで、0.5は予め設定されたパラメータであり、必要に応じて他の値に設定することもできる。
最後に、確率値が0.5~1.0の画素点の場合は、次の式を使用して融合する。
resRGB=sky*(2.0*mask-1.0)+tempRGB*(2.0-2.0*mask)
resRGB=sky*(2.0*mask-1.0)+tempRGB*(2.0-2.0*mask)
確率値が0.0~0.5の場合は、次の式を使用して融合する。
resRGB=tempRGB*(2.0*mask-1.0)+src*(2.0-2.0*mask)
resRGB=tempRGB*(2.0*mask-1.0)+src*(2.0-2.0*mask)
他の画素点は上記と同様にして融合する。
上記の前景マップとターゲットスカイマップを組み合わせる過程は、スカイリージョンであるに違いない領域をターゲットスカイマップに置き換え、スカイリージョンではないに違いない領域を前景マップに置き換え、上記の処理過程を経て、前景マップとターゲットスカイマップの間の領域は処理を行わないと前景が突然スカイリージョンに置き換わってしまうような分断感があり、本実施形態では、中間部分の領域(前景マップでもターゲットスカイマップでもない領域)を融合処理し、融合後の領域に空部分と非空部分のカラーチャンネル情報を統合することで、前景から空への自然な遷移を保証することができ、よりリアルで自然な画像を得ることができる。
例示的な一実施例において、スカイリージョン置き換え処理が完了した後、処理済み画像を補正するステップ、例えば、処理済み画像と処理対象画像とを比較し、その中の前景マップ又はターゲットスカイマップに位置、角度のずれがある場合には調整し、エッジ遷移が不自然である場合には調整するステップを含むことができる。このようにして、最終的に出力される処理済み画像が高い精度とスカイリージョン置き換え効果を持つことができ、写真成功率を向上させることができる。
例示的な一実施例において、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップは、予めトレーニングされたニューラルネットワークモデルを介して前記処理対象画像に対して画像分割処理を行い、画像分割処理結果を得るステップと、画像分割処理結果に基づいて前記処理対象画像における各画素点がスカイリージョン内の画素点に属する確率値を決定するステップと、前記処理対象画像における各画素点の確率値に基づいて前記初期マスクマップを得るステップと、を含む。
ここで、ニューラルネットワークモデルは、CNN(畳み込みニューラルネットワーク)モデルなどであってもよい。選択可能な一実施形態において、当該ニューラルネットワークは、u-net、u-netバリアント、ic-net、deeplabシリーズなどであってもよい。
さらに、例示的な一実施例において、予めトレーニングされたニューラルネットワークモデルを介して前記処理対象画像に対して画像分割処理を行う前記ステップは、前記処理対象画像のサイズを予め設定されたサイズに縮小するステップと、サイズが縮小された処理対象画像に対して正規化処理を行うステップと、正規化処理された前記処理対象画像に対して予めトレーニングされたニューラルネットワークによって画像分割処理を行うステップと、を含む。
ここで、予め設定されたサイズは、実際の状況に応じて設定することができ、例えば512*512、768*768などである。正規化処理は次のようになる。写真サンプルを取得し、これらの画像サンプルの各画素点のRGB値の平均値と分散値を決定し、処理対象画像の各画素点のRGB値から当該平均値を減算し、当該分散値で除算することにより、機械学習と特徴学習をよりよく行い、さらに処理対象画像の各画素点がスカイリージョン画素点に属するか否かを分類して確率マップを得る。
ニューラルネットワークモデルは、予め決定されたトレーニング画像によってトレーニングされてもよく、トレーニングされたニューラルネットワークモデルは、処理対象画像に対してダウンサンプリングを行って、その中の特徴情報を抽出し、特徴情報を解析して画像分割処理結果を出力することができ、その際、コンピュータ装置は、画像分割処理結果に基づいて各画素点がスカイリージョンに属する確率値を決定し、さらに初期マスクマップを得ることができる。ニューラルネットワークモデルは処理対象画像内の特徴情報を十分に分析し、従来のgraph cutの画像分割方法に比べて、この機械学習の方式はより正確に処理対象画像を分割処理し、さらに正確な確率マップを得ることができる。
上記の実施例では、処理対象画像を取得すると、それに対して前処理を行ってからニューラルネットワークモデルにより分割ネットワーク処理を行って初期マスクマップを得て、さらに、初期マスクマップに基づいて処理対象画像からスカイリージョンを正確に認識する(後処理過程と理解できる)。分割ネットワークと後処理を結合し、ニューラルネットワークモデルの正確な分割の効果を保持した上で、正確なスカイリージョンと非スカイリージョンの後処理を行い、最終的なスカイリージョン置き換え処理をより正確にする。
例示的な一実施例において、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップは、前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも1つを満たすか否かを決定し、以下の少なくとも1つを満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか1つを満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定するステップを含み、前記処理対象画像におけるスカイリージョンの第1の占有率を決定し、前記第1の占有率が予め設定された第4の閾値より小さい場合、スカイリージョンが小さすぎると判定し、前記処理対象画像における信頼できない領域の第2の占有率を決定し、前記第2の占有率が予め設定された第5の閾値より大きい場合、信頼できないと判定し、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、前記処理対象画像内のスカイリージョンの平均輝度を決定し、前記平均輝度が予め設定された第6の閾値より小さい場合、夜のシーンであると判定し、前記処理対象画像におけるターゲットダークチャンネル領域の第3の占有率を決定し、前記第3の占有率が予め設定された第7の閾値より大きい場合、霧のシーンであると判定し、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第8の閾値より小さい画素点が存在する領域である。
第4、第5、第6、第7、第8の閾値の大きさは、実際の状況に応じて決定することができ、例えば、第4の閾値は0.9、第5の閾値は0.1、第6の閾値は0.3cd/m2、第7の閾値は0.4、第8の閾値は0.8とすることができる。
確率値が1の画素点は、スカイリージョンに属するに違いないと理解することができ、確率値が0の画素点はスカイリージョンに属さないに違いないと理解することができるが、中間の確率値(例えば、0.5)の画素点についてはスカイリージョンに属す可能性もあれば属さない可能性もあり、この部分の画素点は不確定な領域、すなわち信頼できない領域に属する。選択可能な一実施形態において、信頼できない領域は、確率値が0.3~0.7の間にある領域であってもよい(区間の境界値は他の値であってもよい)。なお、本願の実施例において、スカイリージョンを決定する必要がある場合には、現在のステップで得られた確率マップから、確率値が0.9(他の値であってもよい)より大きい領域をスカイリージョンとして抽出することができ、異なる実施例におけるスカイリージョンは同一であっても異なっていてもよい。
処理対象画像内のスカイリージョンの平均輝度を決定するための実現過程としては、初期マスクマップ内の確率値が0.9より大きい領域に対応する原図(処理対象画像)領域の平均グレースケール値を計算してもよい。
スカイリージョンのダークチャンネル値を決定した後(RGBマップの場合、ダークチャンネル値はRGBの3つの値のうちの最小値であり、例えば、R/G/Bがそれぞれ10/20/30であれば、ダークチャンネル値は10になる)、ダークチャンネルマップを得ることができ、ダークチャンネルマップに基づいて処理対象画像が曇りのシーンであるか否かを判定する(ダークチャンネル値がある閾値よりも小さい領域の占有率が第7の閾値よりも大きい場合には曇りのシーンであるとみなす)。ここで、ターゲットダークチャンネル領域の第3の占有率は、ダークチャンネル値の統計情報として理解することができる。
選択可能な一実施形態において、上記の実施例の実現過程は、以下の通りであってもよい。
(1)初期マスクマップに基づいて、処理対象画像におけるスカイリージョンの画像全体における第1の占有率を統計し、第1の占有率が0.9未満であればスカイリージョンが小さすぎると判断し、
(2)初期マスクマップに基づいて処理対象画像におけるスカイリージョンの平均輝度を統計し、平均輝度が閾値0.3cd/m2より小さければ夜景と判定し、
(3)初期マスクマップに基づいて、処理対象画像における確率値が0.3~0.7の領域の画像全体における第2の占有率を統計し、第2の占有率が閾値0.1より大きい場合に初期マスクマップが信頼できないと判断し、
(4)初期マスクマップに基づいて処理対象画像におけるスカイリージョンのダークチャンネルマップを得て、ダークチャンネルマップの統計情報に基づいて霧であるか否かを判断し、ターゲットダークチャンネル値の第3の占有率が0.8未満であれば、霧のシーンであると判定する。
(1)初期マスクマップに基づいて、処理対象画像におけるスカイリージョンの画像全体における第1の占有率を統計し、第1の占有率が0.9未満であればスカイリージョンが小さすぎると判断し、
(2)初期マスクマップに基づいて処理対象画像におけるスカイリージョンの平均輝度を統計し、平均輝度が閾値0.3cd/m2より小さければ夜景と判定し、
(3)初期マスクマップに基づいて、処理対象画像における確率値が0.3~0.7の領域の画像全体における第2の占有率を統計し、第2の占有率が閾値0.1より大きい場合に初期マスクマップが信頼できないと判断し、
(4)初期マスクマップに基づいて処理対象画像におけるスカイリージョンのダークチャンネルマップを得て、ダークチャンネルマップの統計情報に基づいて霧であるか否かを判断し、ターゲットダークチャンネル値の第3の占有率が0.8未満であれば、霧のシーンであると判定する。
上記のいずれかの条件が満たされていれば、処理対象画像はスカイリージョンの置き換え処理を行うのに不適である、すなわち、スカイリージョンの置き換え処理を行うのに不適であると判定することができ、そうでなければ、上記の条件がいずれも満たされていなければ(又は、そのほとんどが満たされていなければ)、スカイリージョンの置き換え処理を行うのに適していると考えられ、以降のスカイリージョンの置き換え処理を行うことができる。
さらに、例示的な一実施例において、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップの後、スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第2の処理済み画像を得るステップをさらに含む。
選択可能な一実施形態において、処理対象画像がスカイリージョンの置き換え条件を満たしていない場合、予め設定されたターゲットスカイシーンを取得ことと、前記ターゲットスカイシーンに対応する統合フィルタを選択することと、前記統合フィルタによって前記処理対象画像を処理して第2の処理済み画像を得ることという処理を行うことができる。
例示的な一実施例において、図7に示すように、画像処理方法を提供し、前記画像処理方法は以下のステップS701~S712を含む。
S701、予めトレーニングされたニューラルネットワークモデルを介して処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて前記処理対象画像における各画素点がスカイリージョン内の画素点に属する確率値を決定し、前記確率値に基づいて初期マスクマップを得る。
S702、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定し、スカイリージョンの置き換え条件を満たしている場合、S703を実行し、スカイリージョンの置き換え条件を満たしていない場合、S712を実行する。
S703、前記処理対象画像における各画素点の青チャンネル画素値を取得する。
S704、前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第1の閾値より大きい画素点を第1の画素点として決定する。
S705、前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第2の画素点として決定する。
S706、前記第1の画素点の確率値を1に設定し、前記第2の画素点の確率値を半分にして基準マスクマップを得る。
S707、前記処理対象画像のグレースケールマップを取得し、前記グレースケールマップ内の各画素点のグレースケール値をガイドとして前記基準マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得る。
S708、前記ターゲットマスクマップに基づいて、前記処理対象画像から第1の領域、第2の領域、残りの領域を決定する。
S709、前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得る。
S710、前記処理対象画像内の非スカイリージョンを前景マップとして決定する。
S711、前記第1の領域を前記ターゲットスカイマップに置き換え、前記第2の領域を前記前景マップに置き換え、前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行い、カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第1の処理済み画像を得る。
S712、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第2の処理済み画像を得る。
上記の画像処理方法では、処理対象画像に対して画像分割処理を行い、処理対象画像内の各画素点がスカイリージョンに属する確率値を含む初期マスクマップを正確に得て、初期マスクマップ内の当該スカイリージョンに対応する画素点に対して、処理対象画像内の各画素点の青チャンネル画素値に基づいて確率値増加処理を行い、基準確率マップを得て、得られた基準確率マップはスカイリージョンと非スカイリージョンとの確率値の差をさらに拡大し、基準確率マップに基づいて処理対象画像内のスカイリージョンを正確に認識することができるので、スカイリージョンの置き換え処理によって得られた処理済み画像は精度が高く、スカイ置き換えが自然であり、スカイ置き換えの写真成功率が高い。
例示的な実施例において、図8に示すように、画像処理方法を提供し、当該方法は、モバイル端末に適用され、以下のステップを含む。
一、CNN分割ネットワークを利用してトリミングする。
1、画像の前処理を行う:処理対象画像を固定サイズに縮小してから、正規化する。
2、分割ネットワークへの送出処理:前処理後の処理対象画像を分割ネットワークに送出して確率マップを得る。
1、画像の前処理を行う:処理対象画像を固定サイズに縮小してから、正規化する。
2、分割ネットワークへの送出処理:前処理後の処理対象画像を分割ネットワークに送出して確率マップを得る。
二、分割ネットワーク出力に基づいて後処理を行う。
1、確率マップに基づいて、処理対象画像がスカイ置き換えに適しているか否かを判定する。
2、スカイ置き換えに適していない場合、ターゲットスカイシーンに基づいて対応する統合フィルタを選択して処理対象画像に作用して処理済み画像を直接得る。
3、スカイ置き換えに適している場合、
(1)統計情報に基づく確率マップの最適化:確率値>0.95の領域における処理対象画像の青チャンネルの最小値minBlueを統計し、確率値>0.9の領域における処理対象画像の青チャンネルのヒストグラムを計算し、ヒストグラムに基づいて青チャンネルの画素値が最も多い区間Qiを計算し、確率マップ内の青チャンネルがminBlueより小さい領域に対応する確率値を半分にし、確率マップ内の確率値が0.5より大きく、青チャンネルがQi区間に属する確率値を1.0に設定する。
(2)ガイドフィルタリングぼかし:処理対象画像をRGBマップからグレースケールマップに変換し、その後、グレースケールマップをガイドマップとして最適化された確率マップに対してガイドフィルタリングを行い、ぼかし確率マップを得る。
(3)スカイ素材の切り出し:ぼかし確率マップに基づいて処理対象画像内のスカイリージョンの最小矩形のバウンディングボックスを計算し、アスペクト比を保持したまま、スカイ素材を矩形のバウンディングボックスの大きさに中心切り出しを行い且つ縮小する。
(4)前景の適応調整:ターゲットスカイシーンに基づいて処理対象の画像内の前景マップの輝度、コントラスト、彩度を素材のスタイルに合わせて調整する。次に、ターゲットスカイシーンに対応する前景フィルタを使用して美化して最終的に使用される前景マップを得る。
(5)セグメント融合:ぼかし確率マップに基づいて調整後の前景マップと切り出した後のスカイ素材を融合する。
(6)ターゲットスカイシーンに基づいて対応する全体フィルタを選択し、当該全体フィルタにより融合後の画像を処理して処理済み画像を得る。
1、確率マップに基づいて、処理対象画像がスカイ置き換えに適しているか否かを判定する。
2、スカイ置き換えに適していない場合、ターゲットスカイシーンに基づいて対応する統合フィルタを選択して処理対象画像に作用して処理済み画像を直接得る。
3、スカイ置き換えに適している場合、
(1)統計情報に基づく確率マップの最適化:確率値>0.95の領域における処理対象画像の青チャンネルの最小値minBlueを統計し、確率値>0.9の領域における処理対象画像の青チャンネルのヒストグラムを計算し、ヒストグラムに基づいて青チャンネルの画素値が最も多い区間Qiを計算し、確率マップ内の青チャンネルがminBlueより小さい領域に対応する確率値を半分にし、確率マップ内の確率値が0.5より大きく、青チャンネルがQi区間に属する確率値を1.0に設定する。
(2)ガイドフィルタリングぼかし:処理対象画像をRGBマップからグレースケールマップに変換し、その後、グレースケールマップをガイドマップとして最適化された確率マップに対してガイドフィルタリングを行い、ぼかし確率マップを得る。
(3)スカイ素材の切り出し:ぼかし確率マップに基づいて処理対象画像内のスカイリージョンの最小矩形のバウンディングボックスを計算し、アスペクト比を保持したまま、スカイ素材を矩形のバウンディングボックスの大きさに中心切り出しを行い且つ縮小する。
(4)前景の適応調整:ターゲットスカイシーンに基づいて処理対象の画像内の前景マップの輝度、コントラスト、彩度を素材のスタイルに合わせて調整する。次に、ターゲットスカイシーンに対応する前景フィルタを使用して美化して最終的に使用される前景マップを得る。
(5)セグメント融合:ぼかし確率マップに基づいて調整後の前景マップと切り出した後のスカイ素材を融合する。
(6)ターゲットスカイシーンに基づいて対応する全体フィルタを選択し、当該全体フィルタにより融合後の画像を処理して処理済み画像を得る。
上記の実施例は、以下の技術的効果を有する。
1)AI分割モデルと後処理における分割結果最適化を組み合わせることで、スカイリージョンの正確なトリミングをよりよく行うことができ、空の中の電線が失われたり、木の穴中の空が置き換えられていなかったりするなど、トリミングミスによる瑕疵を効果的に回避することができる。
2)後処理では、新たなスカイリージョンと原図の背景を融合するには、セグメント化されたレイヤのエイリアシングとセグメント化された線形融合の方式を採用して、合成画像の空と空以外の場所での遷移をリアルで自然にする、
3)素材のタイプ(ターゲットスカイシーン)に基づいて非スカイリージョン、すなわち前景マップに的を絞って調整して、最後に全体的に調色して、最終的な効果図の統一と美観を確保する。
4)以上の3点を総合して、高い写真成功率の自然でリアルなスカイ切り替えの効果が実現され、ユーザがモバイル端末で屋外のスカイの写真を処理するためのワンタッチでトリミングするという体験を大幅に向上させる。
1)AI分割モデルと後処理における分割結果最適化を組み合わせることで、スカイリージョンの正確なトリミングをよりよく行うことができ、空の中の電線が失われたり、木の穴中の空が置き換えられていなかったりするなど、トリミングミスによる瑕疵を効果的に回避することができる。
2)後処理では、新たなスカイリージョンと原図の背景を融合するには、セグメント化されたレイヤのエイリアシングとセグメント化された線形融合の方式を採用して、合成画像の空と空以外の場所での遷移をリアルで自然にする、
3)素材のタイプ(ターゲットスカイシーン)に基づいて非スカイリージョン、すなわち前景マップに的を絞って調整して、最後に全体的に調色して、最終的な効果図の統一と美観を確保する。
4)以上の3点を総合して、高い写真成功率の自然でリアルなスカイ切り替えの効果が実現され、ユーザがモバイル端末で屋外のスカイの写真を処理するためのワンタッチでトリミングするという体験を大幅に向上させる。
なお、図2、図7、図8のフローチャート中の各ステップは、矢印の指示に従って順次に表示されているが、これらのステップは必ずしも矢印で示された順序で順次に実行されるわけではない。本明細書に明確的に記載されていない限り、これらのステップの実行には厳密な順序制限はなく、これらのステップは別の順序で実行されてもよい。さらに、図2、図7、図8中のステップの少なくとも一部は、複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は、必ずしも同じ時間に実行されて完了するのではなく、異なる時間に実行されてもよく、これらのステップ又は段階の実行順序は、必ずしも順次に行われるのでもなく、他のステップ又は他のステップ内のステップ又は段階の少なくとも一部と交替で又は交互に実行されてもよい。
図9は、例示的な実施例に係る画像処理装置900のブロック図である。図9を参照すると、当該装置は、マスクマップ決定ユニット901と、ガイドフィルタリングユニット902と、スカイシーン取得ユニット903と、スカイリージョン置き換えユニット904と、を備える。
マスクマップ決定ユニット901は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るように構成され、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれている。
ガイドフィルタリングユニット902は、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するように構成され、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得る。
スカイシーン取得ユニット903は、ターゲットスカイシーンを取得するように構成され、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択される。
スカイリージョン置き換えユニット904は、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るように構成される。
例示的な一実施例において、前記ガイドフィルタリングユニットは、前記処理対象画像内の各画素点の青チャンネル画素値を取得するように構成される画素値取得サブユニットと、前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第1の閾値より大きい画素点を第1の画素点として決定するように構成される第1の画素点決定サブユニットであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第1の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第1の評価領域が、前記初期マスクマップ内の前記確率値が第2の閾値より大きい画素点が存在する領域であり、前記第2の閾値が前記第1の閾値より大きい第1の画素点決定サブユニットと、前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第2の画素点として決定するように構成される第2の画素点決定サブユニットであって、前記ターゲット青チャンネル画素値が第2の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第2の評価領域は前記初期マスクマップ内の前記確率値が第3の閾値より大きい画素点が存在する領域であり、前記第3の閾値が前記第2の閾値より大きい第2の画素点決定サブユニットと、前記第1の画素点の確率値を増加させ、前記第2の画素点の確率を減少させることにより、基準マスクマップを得るように構成される確率値処理サブユニットと、前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るように構成されるガイドフィルタリングサブユニットと、を含む。
例示的な一実施例において、前記ガイドフィルタリングサブユニットは、前記第1の画素点の確率値を1に設定するように構成される第1の確率値設定モジュールと、前記第2の画素点の確率値を半分にするように構成される第2の確率値設定モジュールと、を含む。
例示的な一実施例において、前記スカイリージョン置き換えユニットは、前記処理対象画像内の非スカイリージョンを前景マップとして決定するように構成される前景マップ決定サブユニットと、前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るように構成されるスカイ素材切り出しサブユニットと、前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るように構成される第1の前景組み合わせサブユニットであって、前記第1の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられる第1の前景組み合わせサブユニットと、を含む。
例示的な一実施例において、前記スカイリージョン置き換えユニットは、前記ターゲットマスクマップに基づいて、前記処理対象画像から第1の領域、第2の領域及び残りの領域を決定するように構成される領域決定サブユニットであって、前記第1の領域の内部に含まれる画素点の確率値が1であり、前記第2の領域の内部に含まれる画素点の確率値が0であり、前記残りの領域が、前記処理対象画像から前記第1の領域及び前記第2の領域を除く領域である領域決定サブユニットと、前記第1の領域を前記ターゲットスカイマップに置き換えるように構成されるスカイマップ置き換えサブユニットと、前記第2の領域を前記前景マップに置き換えるように構成される前景マップ置き換えサブユニットと、前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うように構成されるチャンネル情報融合サブユニットと、カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第1の処理済み画像を得るように構成される処理済み画像取得サブユニットと、をさらに含む。
例示的な一実施例において、前記スカイリージョン置き換えユニットは、ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも1つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るように構成される前景マップ調整サブユニットと、前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るように構成される第2の前景組み合わせサブユニットと、をさらに含む。
例示的な一実施例において、前記ガイドフィルタリングユニットは、前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも1つの予め設定された条件を満たすか否かを決定するようにも構成され、以下の少なくとも1つの予め設定された条件を満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか1つの予め設定された条件を満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定し、
予め設定された条件1:前記処理対象画像におけるスカイリージョンの第1の占有率が予め設定された第4の閾値より小さく、
予め設定された条件2:前記処理対象画像における信頼できない領域の第2の占有率が予め設定された第5の閾値より大きく、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、
予め設定された条件3:前記処理対象画像内のスカイリージョンの平均輝度が予め設定された第6の閾値より小さく、
予め設定された条件4:前記処理対象画像におけるターゲットダークチャンネル領域の第3の占有率が予め設定された第7の閾値より大きく、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第8の閾値より小さい画素点が存在する領域である。
予め設定された条件1:前記処理対象画像におけるスカイリージョンの第1の占有率が予め設定された第4の閾値より小さく、
予め設定された条件2:前記処理対象画像における信頼できない領域の第2の占有率が予め設定された第5の閾値より大きく、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、
予め設定された条件3:前記処理対象画像内のスカイリージョンの平均輝度が予め設定された第6の閾値より小さく、
予め設定された条件4:前記処理対象画像におけるターゲットダークチャンネル領域の第3の占有率が予め設定された第7の閾値より大きく、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第8の閾値より小さい画素点が存在する領域である。
例示的な一実施例において、前記画像処理装置は、スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第2の処理済み画像を得るように構成されるフィルタ処理ユニットをさらに含む。
上記の実施例における装置について、各モジュールが動作を実行する具体的な態様については、当該方法に係わる実施例において詳細に説明したが、ここでは詳細に説明しない。
例示的な一実施形態では、命令を含む非一時的なコンピュータ読み取り可能な記録媒体、例えば命令を含むメモリ102をさらに提供し、上記の命令は、上記方法を完了するように、機器100のプロセッサ109によって実行されてもよい。例えば、前記非一時的なコンピュータ読み取り可能な記録媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピー(登録商標)ディスク、及び光データ記憶装置などとすることができる。
本願の実施例の第5の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品が提供され、前記コンピュータプログラムは、読み取り可能な記録媒体に記憶されており、機器の少なくとも1つのプロセッサは、前記読み取り可能な記録媒体から前記コンピュータプログラムを読み取って実行し、機器に以上の実施例に記載の画像処理方法を実行させる。
当業者は、明細書を考慮して本明細書に開示された発明を実施した後に、本願の他の実施態様を容易に想到し得る。本願は、本願の一般原理に従い且つ本願に開示されていない技術分野における公知の常識又は慣用技術的手段を含む本願のあらゆる変形、用途又は適応的変化をカバーすることを意図している。明細書及び実施形態は例示的なものとしてのみ扱われ、本願の真の範囲及び精神は以下の請求項によって示される。
なお、本願は、上記で説明され図面に示された正確な構造に限定されず、その範囲を逸脱することなく様々な修正及び変更を実施することができる。本願の範囲は、添付の特許請求の範囲のみによって限定される。
本願の実施例の第4の態様によれば、記録媒体が提供され、前記記録媒体内の命令が電子機器のプロセッサによって実行される場合、電子機器が上記の画像処理方法を実行できるようにする。
本願の実施例の第5の態様によれば、コンピュータプログラムが提供され、前記コンピュータプログラムがコンピュータによって実行される場合、前記コンピュータに上記の実施例中の画像処理方法を実行させる。
本願の実施例の第5の態様によれば、コンピュータプログラムが提供され、前記コンピュータプログラムがコンピュータによって実行される場合、前記コンピュータに以上の実施例に記載の画像処理方法を実行させる。
Claims (18)
- 画像処理方法であって、
処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているステップと、
前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップと、
ターゲットスカイシーンを取得するステップであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるステップと、
前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るステップと、を含む、
ことを特徴とする画像処理方法。 - 前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップは、
前記処理対象画像内の各画素点の青チャンネル画素値を取得するステップと、
前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第1の閾値より大きい画素点を第1の画素点として決定するステップであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第1の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第1の評価領域が、前記初期マスクマップ内の前記確率値が第2の閾値より大きい画素点が存在する領域であり、前記第2の閾値が前記第1の閾値より大きいステップと、
前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第2の画素点として決定するステップであって、前記ターゲット青チャンネル画素値が第2の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第2の評価領域は前記初期マスクマップ内の前記確率値が第3の閾値より大きい画素点が存在する領域であり、前記第3の閾値が前記第2の閾値より大きいステップと、
前記第1の画素点の確率値を増加させ、前記第2の画素点の確率を減少させることにより、基準マスクマップを得るステップと、
前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るステップと、を含む、
ことを特徴とする請求項1に記載の画像処理方法。 - 前記第1の画素点の確率値を増加させ、前記第2の画素点の確率を減少させるステップは、
前記第1の画素点の確率値を1に設定するステップと、
前記第2の画素点の確率値を半分にするステップと、を含む、
ことを特徴とする請求項2に記載の画像処理方法。 - 前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るステップは、
前記処理対象画像内の非スカイリージョンを前景マップとして決定するステップと、
前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るステップと、
前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るステップであって、前記第1の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられるステップと、を含む、
ことを特徴とする請求項3に記載の画像処理方法。 - 前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るステップは、
前記ターゲットマスクマップに基づいて、前記処理対象画像から第1の領域、第2の領域及び残りの領域を決定するステップであって、前記第1の領域の内部に含まれる画素点の確率値が1であり、前記第2の領域の内部に含まれる画素点の確率値が0であり、前記残りの領域が、前記処理対象画像から前記第1の領域及び前記第2の領域を除く領域であるステップと、
前記第1の領域を前記ターゲットスカイマップに置き換えるステップと、
前記第2の領域を前記前景マップに置き換えるステップと、
前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うステップと、
カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第1の処理済み画像を得るステップと、を含む、
ことを特徴とする請求項4に記載の画像処理方法。 - 前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るステップは、
前記ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも1つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るステップと、
前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るステップと、を含む、
ことを特徴とする請求項4に記載の画像処理方法。 - 前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップは、
前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも1つの予め設定された条件を満たすか否かを決定し、以下の少なくとも1つの予め設定された条件を満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか1つの予め設定された条件を満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定するステップを含み、
予め設定された条件1:前記処理対象画像におけるスカイリージョンの第1の占有率が予め設定された第4の閾値より小さく、
予め設定された条件2:前記処理対象画像における信頼できない領域の第2の占有率が予め設定された第5の閾値より大きく、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、
予め設定された条件3:前記処理対象画像内のスカイリージョンの平均輝度が予め設定された第6の閾値より小さく、
予め設定された条件4:前記処理対象画像におけるターゲットダークチャンネル領域の第3の占有率が予め設定された第7の閾値より大きく、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第8の閾値より小さい画素点が存在する領域である、
ことを特徴とする請求項1に記載の画像処理方法。 - 前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップの後、
スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第2の処理済み画像を得るステップをさらに含む、
ことを特徴とする請求項7に記載の画像処理方法。 - 画像処理装置であって、
処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るように構成されるマスクマップ決定ユニットであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているマスクマップ決定ユニットと、
前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するように構成されるガイドフィルタリングユニットであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るガイドフィルタリングユニットと、
ターゲットスカイシーンを取得するように構成されるスカイシーン取得ユニットであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるスカイシーン取得ユニットと、
前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第1の処理済み画像を得るように構成されるスカイリージョン置き換えユニットと、を含む、
ことを特徴とする画像処理装置。 - 前記ガイドフィルタリングユニットは、
前記処理対象画像内の各画素点の青チャンネル画素値を取得するように構成される画素値取得サブユニットと、
前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第1の閾値より大きい画素点を第1の画素点として決定するように構成される第1の画素点決定サブユニットであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第1の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第1の評価領域が、前記初期マスクマップ内の前記確率値が第2の閾値より大きい画素点が存在する領域であり、前記第2の閾値が前記第1の閾値より大きい第1の画素点決定サブユニットと、
前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第2の画素点として決定するように構成される第2の画素点決定サブユニットであって、前記ターゲット青チャンネル画素値が第2の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第2の評価領域は前記初期マスクマップ内の前記確率値が第3の閾値より大きい画素点が存在する領域であり、前記第3の閾値が前記第2の閾値より大きい第2の画素点決定サブユニットと、
前記第1の画素点の確率値を増加させ、前記第2の画素点の確率を減少させることにより、基準マスクマップを得るように構成される確率値処理サブユニットと、
前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るように構成されるガイドフィルタリングサブユニットと、を含む、
ことを特徴とする請求項9に記載の画像処理装置。 - 前記ガイドフィルタリングサブユニットは、
前記第1の画素点の確率値を1に設定するように構成される第1の確率値設定モジュールと、
前記第2の画素点の確率値を半分にするように構成される第2の確率値設定モジュールと、を含む、
ことを特徴とする請求項10に記載の画像処理装置。 - 前記処理対象画像内の非スカイリージョンを前景マップとして決定するように構成される前景マップ決定サブユニットと、
前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るように構成されるスカイ素材切り出しサブユニットと、
前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るように構成される第1の前景組み合わせサブユニットであって、前記第1の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられる第1の前景組み合わせサブユニットと、を含む、
ことを特徴とする請求項11に記載の画像処理装置。 - 前記スカイリージョン置き換えユニットは、
前記ターゲットマスクマップに基づいて、前記処理対象画像から第1の領域、第2の領域及び残りの領域を決定するように構成される領域決定サブユニットであって、前記第1の領域の内部に含まれる画素点の確率値が1であり、前記第2の領域の内部に含まれる画素点の確率値が0であり、前記残りの領域が、前記処理対象画像から前記第1の領域及び前記第2の領域を除く領域である領域決定サブユニットと、
前記第1の領域を前記ターゲットスカイマップに置き換えるように構成されるスカイマップ置き換えサブユニットと、
前記第2の領域を前記前景マップに置き換えるように構成される前景マップ置き換えサブユニットと、
前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うように構成されるチャンネル情報融合サブユニットと、
カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第1の処理済み画像を得るように構成される処理済み画像取得サブユニットと、をさらに含む、
ことを特徴とする請求項12に記載の画像処理装置。 - 前記スカイリージョン置き換えユニットは、
前記ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも1つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るように構成される前景マップ調整サブユニットと、
前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第1の処理済み画像を得るように構成される第2の前景組み合わせサブユニットと、をさらに含む、
ことを特徴とする請求項12に記載の画像処理装置。 - 前記ガイドフィルタリングユニットは、前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも1つの予め設定された条件を満たすか否かを決定するようにも構成され、以下の少なくとも1つの予め設定された条件を満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか1つの予め設定された条件を満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定し、
予め設定された条件1:前記処理対象画像におけるスカイリージョンの第1の占有率が予め設定された第4の閾値より小さく、
予め設定された条件2:前記処理対象画像における信頼できない領域の第2の占有率が予め設定された第5の閾値より大きく、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、
予め設定された条件3:前記処理対象画像内のスカイリージョンの平均輝度が予め設定された第6の閾値より小さく、
予め設定された条件4:前記処理対象画像におけるターゲットダークチャンネル領域の第3の占有率が予め設定された第7の閾値より大きく、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第8の閾値より小さい画素点が存在する領域である、
ことを特徴とする請求項9に記載の画像処理装置。 - 前記画像処理装置は、
スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第2の処理済み画像を得るように構成されるフィルタ処理ユニットをさらに含む、
ことを特徴とする請求項15に記載の画像処理装置。 - 電子機器であって、
プロセッサと、
前記プロセッサによって実行可能な命令が記憶されているメモリと、を含み、
ここで、前記プロセッサは、請求項1~8のいずれかに記載の画像処理方法が実現されるように、前記命令を実行するように構成される、
ことを特徴とする電子機器。 - 前記記録媒体内の命令が電子機器のプロセッサによって実行される場合、前記電子機器が請求項1~8のいずれかに記載の画像処理方法を実行できる、
ことを特徴とする記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010327149.6 | 2020-04-23 | ||
CN202010327149.6A CN113554658A (zh) | 2020-04-23 | 2020-04-23 | 图像处理方法、装置、电子设备及存储介质 |
PCT/CN2020/127564 WO2021212810A1 (zh) | 2020-04-23 | 2020-11-09 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023513726A true JP2023513726A (ja) | 2023-04-03 |
Family
ID=78129377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548804A Pending JP2023513726A (ja) | 2020-04-23 | 2020-11-09 | 画像処理方法、装置、電子機器及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220383508A1 (ja) |
JP (1) | JP2023513726A (ja) |
CN (1) | CN113554658A (ja) |
WO (1) | WO2021212810A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114004834B (zh) * | 2021-12-31 | 2022-04-19 | 山东信通电子股份有限公司 | 一种图像处理中的雾天情况分析方法、设备及装置 |
CN114494298A (zh) * | 2022-01-28 | 2022-05-13 | 北京字跳网络技术有限公司 | 对象分割方法、装置、设备及存储介质 |
US20230368339A1 (en) * | 2022-05-13 | 2023-11-16 | Adobe Inc. | Object class inpainting in digital images utilizing class-specific inpainting neural networks |
CN116363148B (zh) * | 2022-06-21 | 2024-04-02 | 上海玄戒技术有限公司 | 图像处理方法、装置、芯片及存储介质 |
CN115150390B (zh) * | 2022-06-27 | 2024-04-09 | 山东信通电子股份有限公司 | 一种图像显示方法、装置、设备及介质 |
CN116600210B (zh) * | 2023-07-18 | 2023-10-10 | 长春工业大学 | 基于机器人视觉的图像采集优化系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4366011B2 (ja) * | 2000-12-21 | 2009-11-18 | キヤノン株式会社 | 文書処理装置及び方法 |
CN105761230B (zh) * | 2016-03-16 | 2018-12-11 | 西安电子科技大学 | 基于天空区域分割处理的单幅图像去雾方法 |
US10074161B2 (en) * | 2016-04-08 | 2018-09-11 | Adobe Systems Incorporated | Sky editing based on image composition |
CN106447638A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 一种美颜处理方法及装置 |
CN107025457B (zh) * | 2017-03-29 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 一种图像处理方法和装置 |
CN108280809B (zh) * | 2017-12-26 | 2021-07-30 | 浙江工商大学 | 一种基于大气散射物理模型的有雾图像天空区域估计方法 |
CN109255759B (zh) * | 2018-08-02 | 2021-06-15 | 辽宁师范大学 | 基于天空分割和透射率自适应修正的图像去雾方法 |
CN110533616A (zh) * | 2019-08-30 | 2019-12-03 | 福建省德腾智能科技有限公司 | 一种图像天空区域分割的方法 |
CN110782407B (zh) * | 2019-10-15 | 2021-10-19 | 北京理工大学 | 一种基于天空区域概率分割的单幅图像去雾方法 |
CN111047540B (zh) * | 2019-12-27 | 2023-07-28 | 嘉应学院 | 一种基于天空分割的图像去雾方法及其应用系统 |
-
2020
- 2020-04-23 CN CN202010327149.6A patent/CN113554658A/zh active Pending
- 2020-11-09 JP JP2022548804A patent/JP2023513726A/ja active Pending
- 2020-11-09 WO PCT/CN2020/127564 patent/WO2021212810A1/zh active Application Filing
-
2022
- 2022-08-08 US US17/883,165 patent/US20220383508A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021212810A1 (zh) | 2021-10-28 |
US20220383508A1 (en) | 2022-12-01 |
CN113554658A (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023513726A (ja) | 画像処理方法、装置、電子機器及び記録媒体 | |
CN113129312B (zh) | 一种图像处理方法、装置与设备 | |
CN108764091B (zh) | 活体检测方法及装置、电子设备和存储介质 | |
US9971955B2 (en) | Photographing method, photo management method and device | |
RU2578210C1 (ru) | Способ и устройство для корректировки цвета кожи | |
US10091409B2 (en) | Improving focus in image and video capture using depth maps | |
CN105874776B (zh) | 图像处理设备和方法 | |
US9014462B2 (en) | Depth information generating device, depth information generating method, and stereo image converter | |
WO2020078026A1 (zh) | 一种图像处理方法、装置与设备 | |
WO2016101883A1 (zh) | 一种即时视频中的人脸美化方法和电子设备 | |
US10728510B2 (en) | Dynamic chroma key for video background replacement | |
CN104580910A (zh) | 基于前、后摄像头的图像合成方法及系统 | |
CN103973977A (zh) | 一种预览界面的虚化处理方法、装置及电子设备 | |
EP3933675B1 (en) | Method and apparatus for detecting finger occlusion image, and storage medium | |
WO2023015997A1 (zh) | 视频编辑方法和视频编辑装置 | |
TW202203085A (zh) | 自動相機指導和設置調整 | |
CN113411498A (zh) | 图像拍摄方法、移动终端及存储介质 | |
CN114466133B (zh) | 拍照方法及装置 | |
CN113610865B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
US20130076792A1 (en) | Image processing device, image processing method, and computer readable medium | |
CN106469446B (zh) | 深度图像的分割方法和分割装置 | |
CN113610884A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN113781330A (zh) | 图像处理方法、装置及电子系统 | |
CN111726531A (zh) | 图像拍摄方法、处理方法、装置、电子设备及存储介质 | |
CN104954688A (zh) | 图像处理方法以及图像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240109 |