JP7033674B2 - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

画像処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7033674B2
JP7033674B2 JP2020573341A JP2020573341A JP7033674B2 JP 7033674 B2 JP7033674 B2 JP 7033674B2 JP 2020573341 A JP2020573341 A JP 2020573341A JP 2020573341 A JP2020573341 A JP 2020573341A JP 7033674 B2 JP7033674 B2 JP 7033674B2
Authority
JP
Japan
Prior art keywords
image
map
feature
feature map
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020573341A
Other languages
English (en)
Other versions
JP2021530056A (ja
Inventor
周尚辰
▲張▼佳▲維▼
任思捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2021530056A publication Critical patent/JP2021530056A/ja
Application granted granted Critical
Publication of JP7033674B2 publication Critical patent/JP7033674B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

（関連出願の相互参照）
本願は、２０１９年０１月２２日に提出された、出願番号が２０１９１００６０２３８．６であり、名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、画像処理分野に関するが、これに限定されず、特に、両眼画像の画像処理方法及び装置、電子機器並びに記憶媒体に関する。
両眼視は、スマートフォン、無人運転、無人機及びロボットなどの分野において急速に成長してきた。両眼カメラは、現在、至る所にある。また、両眼画像に基づく関連課題の検討も更に進んできた。例えば、ステレオマッチング、両眼画像超解像、両眼スタイル変換などの分野に適用されている。しかしながら、適用において、一般的には、カメラブレ、焦点外れ、物体の高速運動などの要因による画像ボケが発生することがある。これについて、両眼ボケ除去分野において検討成果が僅かであり、且つ最適化方法は、性能及び効率の点で好ましくない。
本願の実施例は、両眼画像の精度を向上させる画像処理方法及び装置、電子機器並びに記憶媒体を提供する。
本願の一態様によれば、画像処理方法を提供する。前記方法は、両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む。
本願の第２態様によれば、画像処理装置を提供する。前記装置は、両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュールと、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュールと、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュールと、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュールと、を備える。
本願の第３態様によれば、電子機器を提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、第１態様におけるいずれか一項に記載の方法を実行するように構成される。
本願の実施例の第４態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、第１態様におけるいずれか一項に記載の方法を実現させる。
本願の実施例の第５態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサに、第１態様におけるいずれか一項に記載の方法を実現させる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
画像処理方法であって、前記方法は、
両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む、画像処理方法。
（項目２）
前記両眼画像の第１特徴マップを取得することは、
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることと、
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることと、
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることは、
第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることを含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることは、
それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得ることを含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることは、
前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得ることと、
前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行うことと、
前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得ることと、を含むことを特徴とする
項目２から４のうちいずれか一項に記載の方法。
（項目６）
前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することは、
前記第１画像と第２画像を組み合わせ、組み合わせビューを形成することと、
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることと、
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることと、
前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得ることと、を含むことを特徴とする
項目１から５のうちいずれか一項に記載の方法。
（項目７）
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることは、
第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得ることを含むことを特徴とする
項目６に記載の方法。
（項目８）
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることは、
それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得ることを含むことを特徴とする
項目６又は７に記載の方法。
（項目９）
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることは、
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることと、
前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることと、
前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得ることと、
前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得ることと、を含むことを特徴とする
項目１から８のうちいずれか一項に記載の方法。
（項目１０）
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることは、
両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得ることと、
両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得ることと、を含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることは、
第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得ることと、
第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得ることと、を含むことを特徴とする
項目９に記載の方法。
（項目１２）
前記第１所定の方式の表現式は、
Figure 0007033674000001
 であり、ただし、
Figure 0007033674000002
 は、第１画像の中間融合特徴を表し、
Figure 0007033674000003
 は、対応する要素の乗算を表し、
Figure 0007033674000004
 は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
Figure 0007033674000005
 は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
Figure 0007033674000006
 であり、ただし、
Figure 0007033674000007
 は、第２画像の中間融合特徴を表し、
Figure 0007033674000008
 は、対応する要素の乗算を表し、
Figure 0007033674000009
 は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
Figure 0007033674000010
 は、第２画像のマスクマップを表すことを特徴とする
項目１１に記載の方法。
（項目１３）
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることは、
前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得ることを含むことを特徴とする
項目１から１２のうちいずれか一項に記載の方法。
（項目１４）
画像処理装置であって、前記装置は、
両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュールと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュールと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュールと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュールと、を備える、画像処理装置。
（項目１５）
前記特徴抽出モジュールは、
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得て、
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得て、
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得るように構成される画像特徴抽出モジュールを備えることを特徴とする
項目１４に記載の装置。
（項目１６）
前記画像特徴抽出モジュール更に、第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得るように構成されることを特徴とする
項目１５に記載の装置。
（項目１７）
前記画像特徴抽出モジュールは更に、それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得るように構成されることを特徴とする
項目１５又は１６に記載の装置。
（項目１８）
前記画像特徴抽出モジュールは更に、前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得て、
前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行い、
前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得るように構成されることを特徴とする
項目１５から１７のうちいずれか一項に記載の装置。
（項目１９）
前記特徴抽出モジュールは、
前記第１画像と第２画像を組み合わせ、組み合わせビューを形成し、
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得て、
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得て、
前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得るように構成される奥行き特徴抽出モジュールを更に備えることを特徴とする
項目１４から１８のうちいずれか一項に記載の装置。
（項目２０）
前記奥行き特徴抽出モジュールは更に、第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得るように構成されることを特徴とする
項目１９に記載の装置。
（項目２１）
前記奥行き特徴抽出モジュールは更に、それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得るように構成されることを特徴とする
項目１９又は２０に記載の装置。
（項目２２）
前記特徴融合モジュールは更に、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得て、
前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得て、
前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得て、
前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得るように構成されることを特徴とする
項目１４から２１のうちいずれか一項に記載の装置。
（項目２３）
前記特徴融合モジュールは更に、両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得て、
両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得るように構成されることを特徴とする
項目２２に記載の装置。
（項目２４）
前記特徴融合モジュールは更に、第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得て、
第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得るように構成されることを特徴とする
項目２２に記載の装置。
（項目２５）
前記第１所定の方式の表現式は、
Figure 0007033674000011
 であり、ただし、
Figure 0007033674000012
 は、第１画像の中間融合特徴を表し、
Figure 0007033674000013
 は、対応する要素の乗算を表し、
Figure 0007033674000014
 は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
Figure 0007033674000015
 は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
Figure 0007033674000016
 であり、ただし、
Figure 0007033674000017
 は、第２画像の中間融合特徴を表し、
Figure 0007033674000018
 は、対応する要素の乗算を表し、
Figure 0007033674000019
 は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
Figure 0007033674000020
 は、第２画像のマスクマップを表すことを特徴とする
項目２４に記載の装置。
（項目２６）
前記最適化モジュールは更に、前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得るように構成されることを特徴とする
項目１４から２３のうちいずれか一項に記載の装置。
（項目２７）
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリとを備え、
前記プロセッサは、項目１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２８）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、項目１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
（項目２９）
コンピュータプログラム製品であって、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサにより実行される場合、項目１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータプログラム製品。
本願の実施例は、両眼画像を入力として、両眼画像における第１画像及び第２画像に対してそれぞれ特徴抽出処理を行うことで、対応する第１特徴マップを得て、両眼画像における第１画像及び第２画像の奥行きマップを得ることができる。続いて、得られた特徴を融合し、ビュー情報及び奥行き情報を含む融合特徴を得る。該融合特徴は、より豊かなピクチャ情報を含み、且つ空間変動によるボケに対して、より高いロバスト性を有する。最後に、融合特徴を最適化処理し、鮮明な両眼画像を得る。本願の実施例は、両眼画像に対してボケ除去処理を行うことで、画像の精度及び鮮明度を向上させる。上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
本願の実施例による画像処理方法を示すフローチャートである。 本願の実施例による画像処理方法のステップＳ２０を示すフローチャートである。 本願の実施例によるる画像処理方法を実現させるニューラルネットワークモデルを示すブロック図である。 本願の実施例によるコンテキストアウェアネスユニットの構造を示すブロック図である。 本願の実施例による画像処理方法のステップＳ２３を示すフローチャートである。 本願の実施例による画像処理方法のステップＳ２０を示すもう１つのフローチャートである。 本願の実施例による画像処理方法のステップＳ３０を示すフローチャートである。 本願の実施例による融合ネットワークモジュールを示すブロック図である。 本願の実施例による画像処理方法のステップＳ３１を示すフローチャートである。 本願の実施例による画像処理装置を示すブロック図である。 本願の実施例による電子機器８００を示すブロック図である。 本願の実施例による電子機器１９００を示すブロック図である。
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
図１は、本願の実施例による画像処理方法を示すフローチャートである。ここで、本願の実施例の画像処理方法は、両眼画像に対してボケ除去処理を行い、鮮明な両眼画像を得るために用いられる。本願の実施例の方法は、両眼カメラ、両眼撮像装置、飛行機又は撮像機能を有する他の装置に適用可能である。又は、本願の実施例は、例えば、携帯電話、コンピュータ機器などのような、画像処理機能を有する電子機器又はサーバ機器にも適用可能である。本願は、これを具体的に限定するものではなく、両眼撮像操作又は画像処理功能を実行できるものであれば、本願の実施例を適用することができる。以下、図１を参照しながら、本願の実施例を説明する。
図１に示すように、本願の実施例の画像処理方法は、以下を含んでもよい。Ｓ１０において、両眼画像を取得し、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む。
上述したように、本願の実施例の方法は、撮像装置又は画像処理装置に適用可能である。上記装置により、両眼画像を取得することができる。例えば、撮像装置により両眼画像を収集するか又は他の装置により、両眼画像を伝送する。両眼画像は、第１画像及び第２画像を含んでもよい。実際の適用過程において、両眼ビューを収集するための撮像装置は、様々な要因（例えば、装置のブレ、撮影対象物の運動など）により、画像ボケ又は鮮明度が低いことを引き起こすことがある。本願の実施例は、両眼画像に対するボケ除去処理を行い、鮮明な両眼画像を得ることができる。ここで、撮像装置の構造によれば、両眼画像における第１画像及び第２画像は、それぞれ左側画像及び右側画像としてもよく、又は、上側ビュー又は下側ビューとしてもよい。具体的には、両眼画像を収集する撮像装置のカメラの位置によって決まる。本願の実施例は、これを具体的に限定するものではない。
Ｓ２０において、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得する。
幾つかの実施例において、前記両眼画像は、同一の時刻で１つの対象に対して収集された異なる角度の画像であってもよい。従って、両眼画像の視角差により、該対象の奥行き値を決定することができる。例えば、両眼カメラにより人間の両眼を模擬して１つの対象に対して異なる角度で画像を収集する。同一の時刻でカメラにより収集された２つの画像を前記両眼画像とすることができる。両眼画像を得た後、両眼画像における特徴マップ、奥行きマップ，及び特徴及び奥行き情報を融合した特徴マップを抽出することができる。
本願の実施例は、ニューラルネットワークにより、該特徴抽出機能を実現させることができる。例えば、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。該ニューラルネットワークにより、第１画像及び第２画像の第１特徴マップ及び第１奥行きマップをそれぞれ抽出する。ニューラルネットワークは、画像特徴抽出モジュールと、奥行き特徴抽出モジュールと、を備えてもよい。両眼画像を画像特徴抽出モジュールに入力することで、第１画像の第１特徴マップ及び第２画像の第１特徴マップをそれぞれ得ることができる。両眼画像を奥行き特徴抽出モジュールに入力することで、第１画像の第１奥行きマップ及び第２画像の第１奥行きマップを得ると共に、第１画像の画像特徴と奥行き特徴を融合した第２特徴マップ、及び第２画像の画像特徴と奥行き特徴を融合した第２特徴マップをそれぞれ得ることもできる。第１特徴マップは、第１画像及び第２画像の画像特徴を表す。例えば、各画素点の画素値などの情報を表す。第１奥行きマップは、第１画像及び第２画像の奥行き特徴を表す。例えば、各画素点の奥行き情報を表す。第２特徴マップに、画像特徴と奥行き特徴が融合された。また、第１奥行きマップ、第１特徴マップ及び第２特徴マップの各画素点は、一対一に対応する。
本願の実施例は、画像特徴抽出モジュール及び奥行き特徴抽出モジュールの構造を具体的に限定するものではない。例えば、畳み込み層、プーリング層、残差モジュール又は全結合層などの構造が含まれてもよい。当業者は、必要に応じて設定してもよい。特徴抽出を実現できるものであれば、本願の実施例とすることができる。各特徴を得た後、特徴融合処理を行い、各情報を更に融合し、より正確な特徴マップを得る。
Ｓ３０において、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得る。
本願の実施例は、ステップＳ２０で得られた各特徴により、特徴融合処理を行うことができる。つまり、オリジナル画像及び対応する第１特徴マップ、第２特徴マップ及び第１奥行きマップに対して特徴融合処理を行い、融合特徴を得ることができる。該融合特徴は、より豊かなピクチャ情報（画像特徴）を含み、且つ空間変動によるボケに対して、より高いロバスト性を有する。
例えば、本願の実施例的ニューラルネットワークは、融合ネットワークモジュールを備えてもよい。該融合ネットワークモジュールは、上記ステップＳ３０を実行できる。第１画像の第１特徴マップ、第１奥行きマップ及び第２特徴マップを該融合ネットワークモジュールに入力することで、第１画像の画像情報及び奥行き情報を融合した第１画像の融合特徴マップを得ることができる。対応的に、第２画像の第１特徴マップ、第１奥行きマップ及び第２特徴マップを融合ネットワークモジュールに入力することで、第２画像の画像情報及び奥行き情報を融合した第２画像の融合特徴マップを得ることができる。得られた融合特徴マップにより、より鮮明な最適化ビューを得ることができる。ここで、本願の実施例は、特徴融合モジュールの構造を限定するものでもない。例えば、畳み込み層、プーリング層、残差モジュール又は全結合層などの構造が含まれてもよい。当業者は、必要に応じて設定してもよい。特徴融合を実現できるものであれば、本願の実施例とすることができる。
特徴マップと奥行きマップの融合を行う場合、特徴アライメントされた特徴をステッチングするという方式で融合を実現させてもよく、特徴アライメントされた特徴に対して加重平均化などの融合演算により、特徴融合を実現させてもよい。特徴融合の方式は多種であり、ここで、更に限定しない。
Ｓ４０において、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得る。ここで、本願の実施例は、畳み込み処理により、第１融合特徴マップ及び第２融合特徴マップを最適化することができる。畳み込み処理により、各融合特徴マップにおける有効な情報を利用して、正確度がより高い最適化ビューを得ることができる。本願の実施例により、両眼画像のボケ除去を実現させ、ビューの鮮明度を向上させることができる。
ここで、本願の実施例のニューラルネットワークは、最適化モジュールを更に備えてもよい。第１画像の第１融合特徴マップ及び第２画像の第１融合特徴マップをそれぞれ最適化モジュールに入力し、最適化モジュールにより少なくとも１回の畳み込み処理を行い、２つの画像の第１融合特徴マップに対して融合及び最適化を行う。最適化された融合特徴マップのスケールは、元の両眼画像のスケールに対応する。また、元の両眼画像の鮮明度を向上させる。
以下、各プロセスをそれぞれ詳しく説明する。上述したように、両眼画像を得た後、両眼画像における第１画像及び第２画像に対してそれぞれ特徴抽出処理を行うことができる。図２は、本願の実施例による画像処理方法のステップＳ２０を示すフローチャートである。ここで、前記両眼画像の第１特徴マップを取得することは、以下を含んでもよい。
Ｓ２１において、前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得る。本願の実施例において、ニューラルネットワークは、画像特徴抽出モジュール（ボケ除去ネットワークモジュール）を備えてもよい。該画像特徴抽出モジュールによりステップＳ２０を実行し、両眼画像の第１特徴マップを得ることができる。図３は、本願の実施例による画像処理方法を実現させるニューラルネットワークモデルを示すブロック図である。ここで、両眼画像を画像特徴抽出モジュールＡに入力し、両眼画像における第１画像に基づいて、第１画像の第１特徴マップＦＬを得て、第２画像に基づいて、第２画像の第１特徴マップＦＲを得る。
ここで、まず、第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行う。該第１畳み込み処理において、少なくとも１つの畳み込みユニットにより、対応する畳み込み処理を実行することができる。例えば、複数の畳み込みユニットを順次利用して、該第１畳み込み処理を実行する。ここで、前の畳み込みユニットからの出力は、次の畳み込みユニットへの入力とする。第１畳み込み処理により、２つの画像の第１中間特徴マップを得ることができる。ここで、第１中間特徴マップは、相応の画像の画像特徴情報をそれぞれ含んでもよい。本実施例において、第１畳み込み処理は、標準的な畳み込み処理を含んでもよい。標準的な畳み込み処理は、畳み込みカーネル又は所定の畳み込みステップ幅で実行される畳み込み操作である。各畳み込みユニットは、対応する畳み込みカーネルを利用して畳み込みを実行するか又は所定のステップ幅に応じて畳み込みを実行することで、第１画像の画像特徴情報を表す第１中間特徴マップ及び第２画像の画像特徴情報を表す第１中間特徴マップを最終的に得る。ここで、畳み込みカーネルは、１＊１の畳み込みカーネルであってもよく、３＊３の畳み込みカーネルであってもよい。当業者は、必要に応じて選択して設定してもよい。本願の実施例で用いられる畳み込みカーネルは、小さな畳み込みカーネルであってもよい。これにより、ニューラルネットワークの構造を簡潔化すると共に、画像処理の精度要件を満たすことができる。
Ｓ２２において、前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得る。
本願の実施例における特徴抽出ネットワークモジュールに、コンテキストアウェアネスユニットが備えられてもよい。第１中間特徴マップを得た後、第１中間特徴マップをコンテキストアウェアネスユニットに入力して、複数のスケールの第２中間特徴マップを得ることができる。
本願の実施例のコンテキストアウェアネスユニットは、第１画像の第１中間特徴マップ及び第２画像の第１中間特徴マップに対して第２畳み込み処理を行い、複数の異なるスケールの第２中間特徴マップを得ることができる。
つまり、第１畳み込み処理を行った後、得られた第１中間特徴マップをコンテキストアウェアネスユニットに入力する。本願の実施例のコンテキストアウェアネスユニットは、第１中間特徴マップに対して第２畳み込み処理を行ってもよい。該プロセスにおいて、循環処理を必要とせず、第１中間特徴マップに対応する複数のスケールの第２中間特徴マップを得ることができる。
図４は、本願の実施例によるコンテキストアウェアネスユニットの構造を示すブロック図である。ここで、コンテキストアウェアネスユニットにより、第１画像の第１中間特徴マップ及び第２画像の第１中間特徴マップに対して、更なる特徴融合及び最適化処理を行い、異なるスケールの第２中間特徴マップを得る。
ここで、第２畳み込み処理は、膨張畳み込み処理であってもよい。異なる膨張率で第１中間特徴マップに対して膨張畳み込みを行い、相応のスケールの第２中間特徴マップを得る。例えば、図４において、ｄ１、ｄ２、ｄ３及びｄ４という４つの異なる第１膨張率で、第１中間特徴マップに対して第２畳み込み処理を行い、４つの異なるスケールの第２中間特徴マップを得る。例えば、各第２中間特徴マップのスケールは、２倍で変動した関係にあってもよく、本願は、これを具体的に限定するものではない。当業者は、必要に応じて、異なる第１膨張率を選択して、対応する第２畳み込み処理を実行し、対応する第２中間特徴マップを得ることができる。なお、本願は、膨張率の数についても具体的に限定しない。膨張畳み込みの膨張率は、膨張畳み込みの拡張率（ｄｉｌａｔｅｄ ｒａｔｅｓ）と呼ばれてもよい。膨張率は、膨張畳み込みにおける畳み込みカーネルによるデータ処理時の各値のピッチを定義する。
上記プロセスにより、第１画像の第１中間特徴マップにそれぞれ対応する複数のスケールの第２中間特徴マップ、及び第２画像の第１中間特徴マップにそれぞれ対応する複数のスケールの第２中間特徴マップをそれぞれ得ることができる。得られた第２中間特徴マップに、第１中間特徴マップの、異なるスケールでの特徴情報が含まれてもよく、後続の処理プロセスを容易にする。
Ｓ２３において、前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得る。
第１画像に対応する異なるスケールの第２中間特徴マップ、及び第２画像に対応する異なるスケールの第２特徴マップを得た後、更に、コンテキストアウェアネスユニットにより、異なるスケールの第２中間特徴マップに対してそれぞれ残差処理を行い、第１画像に対応する第１特徴マップ及び第２画像に対応する第１特徴マップを得ることができる。
図５は、本願の実施例による画像処理方法のステップＳ２３を示すフローチャートである。前記第１画像及び第２画像の各スケールの第２中間特徴マップに対して残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ること（ステップＳ２３）は、以下を含む。
Ｓ２３１において、前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得る。
本願の実施例は、第１中間特徴マップに対して複数のスケール処理を行った後、得られた複数のスケールの第２中間特徴マップに対して接続処理を行い、異なるスケール情報を含む特徴マップを得ることができる。
幾つかの実施例において、第１画像の各スケールの第２中間特徴マップに対してそれぞれ接続処理を行い、第１接続特徴マップを得る。例えば、各第２中間特徴マップをチャネル情報の方向で接続する。それと同時に、第２画像の各スケールの第２中間特徴マップに対して接続処理を行い、第２接続特徴マップを得る。例えば、各第２中間特徴マップをチャネル情報の方向で接続する。これにより、第１画像及び第２画像の第２中間特徴マップの特徴を融合することができる。
Ｓ２３２において、前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行う。
ステップＳ２３１の処理結果に基づいて、畳み込みユニットにより、第１接続特徴マップ及び第２接続特徴マップに対して畳み込み処理を行う。該プロセスは、各第２中間特徴マップ内の特徴を更に融合することができる。また畳み込み処理された接続特徴マップのスケールは、第１中間特徴マップのスケールと同じである。
幾つかの実施例において、コンテキストアウェアネスユニットに、特徴符号化のための畳み込みユニットが更に備えられてもよい。接続処理により得られた第１接続特徴マップ又は第２接続特徴マップを該畳み込みユニットに入力して、対応する畳み込み処理を行い、第１接続特徴マップ又は第２接続特徴マップの特徴融合を実現させる。それと同時に、該畳み込みユニットにより畳み込み処理された第１特徴マップのスケールは、第１画像のスケールとマッチングし、畳み込みユニットにより畳み込み処理された第２特徴マップのスケールは、第２画像のスケールとマッチングする。第１特徴マップ及び第２特徴マップはそれぞれ、第１画像及び第２画像の画像特徴を表すことができる。例えば、画素点の画素値などの情報を表す。
ここで、該畳み込みユニットは、少なくとも１層の畳み込み層を含んでもよい。各層の畳み込み層は、異なる畳み込みカーネルを利用して畳み込み操作を実行することができるか、又は、同一の畳み込みカーネルを利用して畳み込み操作を実行することができる。当業者は、自由に選択することができ、本願は、これを限定するものではない。
Ｓ２３３において、前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得る。
ステップＳ２３２の処理結果に基づいて、第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して、例えば要素を対応的に加算するのような加算処理を行い、第１画像の第１特徴マップを得る。対応的に、第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、第２画像の第１特徴マップを得る。
上記設定により、ボケ除去ネットワークモジュールの全過程を実現させることができ、第１画像及び第２画像の特徴情報の最適化及び抽出プロセスを実現させることができる。本願の実施例は、多分岐型コンテキストアウェアネスユニットを導入することで、ネットワークモデルを増大させることなく、豊かな複数のスケール特徴を取得することができる。また、小さな畳み込みカーネルにより、ボケ除去ニューラルネットワークを設計することで、占有空間が小さく且つ高速である両眼ボケ除去ニューラルネットワークモデルを最終的に得ることができる。
なお、ステップＳ２０において、第１画像及び第２画像の第１奥行きマップを得ることもできる。図６は、本願の実施例による画像処理方法のステップＳ２０を示すもう１つのフローチャートである。第１画像及び第２画像の第１奥行きマップを取得することは、以下を含んでもよい。
Ｓ２０１において、前記第１画像と第２画像を組み合わせ、組み合わせビューを形成する。
本願の実施例において、ニューラルネットワークは、奥行き特徴抽出モジュールＢ（図３に示す）を更に備えてもよい。該奥行き特徴抽出モジュールにより、第１画像及び第２画像の奥行き情報を得ることができる。例えば、第１奥行きマップを得る。該第１奥行きマップは、行列の形式で表されてもよい。行列における要素は、第１画像又は第２画像に対応する画素点の奥行き値を表すことができる。
まず、第１画像と第２画像を組み合わせ、組み合わせビューを形成して、奥行き抽出モジュールに入力する。ここで、画像組み合わせ方式は、２つの画像を上下位置方向で接続してもよい。他の実施例において、左右方向での組み合わせ方式により、該２つの画像を接続することもできる。本願は、これを具体的に限定するものではない。
Ｓ２０２において、前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得る。
組み合わせビューを得た後、該組み合わせビューに対して畳み込み処理を行う。ここで、少なくとも１回の第３畳み込み処理を実行してもよい。同様に、該第３畳み込み処理は、少なくとも１つの畳み込みユニットを含んでもよい。各畳み込みユニットは、第３畳み込みカーネルを利用して畳み込みを行うか、又は第３所定のステップ幅に応じて畳み込みを行うことで、組み合わせビューの奥行き情報を表す第１中間奥行き特徴マップを最終的に得る。ここで、第３畳み込みカーネルは、１＊１の畳み込みカーネルであってもよく、３＊３の畳み込みカーネルであってもよい。第３所定のステップ幅は、２であってもよい。当業者は、必要に応じて選択して設定してもよい。本願の実施例は、これを限定するものではない。本願の実施例で用いられる畳み込みカーネルは、小さな畳み込みカーネルであってもよい。これにより、ニューラルネットワークの構造を簡潔化すると共に、画像処理の精度要件を満たすことができる。
Ｓ２０３において、前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得る。
更に、本願の実施例の奥行き抽出モジュールに、第１中間特徴マップの複数のスケール特徴を抽出するためのコンテキストアウェアネスユニットが備えられてもよい。つまり、第１中間特徴マップを得た後、コンテキストアウェアネスユニットを利用して、異なるスケールの第２中間奥行き特徴マップを得ることができる。ここで、奥行き抽出モジュールにおけるコンテキストアウェアネスユニットは、異なる第２膨張率で第１中間特徴マップに対して第４畳み込み処理を行うこともできる。例えば、図４において、ｄ１、ｄ２、ｄ３及びｄ４という４つの異なる第２膨張率で、第１中間奥行き特徴マップに対して第２畳み込み処理を行い、４つの異なるスケールの第２中間奥行き特徴マップを得る。例えば、各第２中間奥行き特徴マップのスケールは、２倍で変動した関係にあってもよく、本願は、これを具体的に限定するものではない。当業者は、必要に応じて、異なる膨張率を選択して、対応する第４畳み込みを実行し、対応する第２中間奥行き特徴マップを得ることができる。本願は、膨張率の数についても具体的に限定しない。本願の実施例の第１膨張率と第２膨張率は、同じであってもよく、異なってもよい。本願は、これを具体的に限定するものではない。
つまり、ステップＳ２０３において、第１画像の第１中間奥行き特徴マップ及び第２画像的第１中間奥行き特徴マップをそれぞれコンテキストアウェアネスユニットに入力し、コンテキストアウェアネスユニットにより、異なる第２膨張率で各第１中間奥行き特徴マップに対して膨張畳み込み処理を行い、第１画像の第１中間特徴マップに対応する複数のスケールの第２中間特徴マップ、及び第２画像の第１中間特徴マップに対応する複数のスケールの第２中間特徴マップを得る。
Ｓ２０４において、前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得る。
本願の実施例において、ステップＳ２０３の処理結果に基づいて、更に、第１画像の各スケールの第２中間奥行き特徴マップを接続することができる。例えば、チャネル方向で接続を行う。続いて、接続により得られた接続奥行きマップに対して畳み込み処理を行う。該プロセスは、各第２中間奥行き特徴マップ内の奥行き特徴を更に融合することができる。また、畳み込み処理された接続奥行きマップのスケールは、第１画像の第１中間奥行き特徴マップのスケールと同じである。対応的に、第２画像の各スケールの第２中間奥行き特徴マップを接続することができる。例えば、チャネル方向で接続を行う。続いて、接続により得られた接続奥行きマップに対して畳み込み処理を行う。該プロセスは、各第２中間奥行き特徴マップ内の奥行き特徴を更に融合することができる。また、畳み込み処理された接続奥行きマップのスケールは、第２画像の第１中間奥行き特徴マップのスケールと同じである。
続いて、畳み込み処理された特徴マップと対応する第１中間奥行き特徴マップに対して、例えば要素を対応的に加算するのような加算処理を行い、加算結果に対して畳み込み処理を行い、第１画像及び第２画像の第１奥行きマップをそれぞれ得る。
上記設定により、奥行き抽出モジュールの全過程を実現させることができ、第１画像及び第２画像の奥行き情報の抽出及び最適化プロセスを実現させることができる。本願の実施例は、多分岐型コンテキストアウェアネスユニットを導入することで、ネットワークモデルを増大させることなく、豊かな複数のスケール特徴を取得することができる。ネットワーク構造が簡単で実行速度が速いという特徴を有する。
ステップＳ２０において、前記第１画像及び第２画像の画像情報及び奥行き情報を含む第２特徴マップを得ることもできることに留意されたい。該プロセスは、奥行き抽出モジュールによる処理プロセスに基づいて得られる。奥行き抽出モジュールにおいて、少なくとも１回の第３畳み込み処理を実行することができる。ここで、少なくとも１層の第３畳み込み処理により、画像特徴を融合した奥行きマップを得ることができる。つまり、第１画像の画像特徴及び奥行き特徴を融合した第２特徴マップ、及び第２画像の画像特徴及び奥行き特徴を融合した第２特徴マップを得る。
ステップＳ２０を実行した後、得られた各特徴に対して特徴融合処理を行うことができる。図７は、本願の実施例による画像処理方法のステップＳ３０を示すフローチャートである。前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ること（ステップＳ３０）は、以下を含んでもよい。
Ｓ３１において、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得る。
本願の実施例のニューラルネットワークは、上記特徴情報の融合処理を実行するための融合ネットワークモジュールを更に備えてもよい。図８は、本願の実施例による融合ネットワークモジュールを示すブロック図である。ここで、第１画像、第１画像の第１奥行きマップ、第１画像の第１特徴マップ及び第１画像の第２特徴マップに対する融合処理の結果に基づいて、第１画像の融合特徴マップを得て、第２画像、第２画像の第１奥行きマップ、第２画像の第１特徴マップ及び第２画像の第２特徴マップに対する融合処理の結果に基づいて、第２画像の融合特徴マップを得ることができる。
幾つかの実施例において、上述したように、本願のニューラルネットワークは、特徴融合モジュールＣを更に備えてもよい。該特徴融合モジュールＣにより、特徴情報に対して更に融合及び最適化を行うことができる。
まず、本願の実施例は、両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、両眼画像における各画像の中間特徴マップを得ることができる。つまり、第１画像のキャリブレーションマップ及びマスクマップを利用して第１画像の中間融合特徴を得て、第２画像のキャリブレーションマップ及びマスクマップを利用して第２画像の中間融合特徴を得る。ここで、キャリブレーションマップは、奥行き情報によりキャリブレーション処理された特徴マップを指す。マスクマップは、画像の第１特徴マップにおける特徴情報の採択度を表す。以下、キャリブレーションマップ及びマスクマップの取得プロセスを説明する。
図９は、本願の実施例による画像処理方法のステップＳ３１を示すフローチャートである。ここで、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることは、以下を含む。
Ｓ３１１において、両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得る。
本願の実施例は、第１画像の奥行き特徴を利用して第２画像のアライメント（ｗａｒｐ）処理を行い、第１画像のキャリブレーションマップを得る。第２画像の奥行き特徴を利用して第１画像のアライメント（ｗａｒｐ）処理を行い、第２画像のキャリブレーションマップを得る。
ここで、アライメント処理プロセスは、下記式により実現される。
第１奥行き特徴＝基線＊焦点距離／画素ズレ特徴
ここで、基線は、第１画像と第２画像を取得する２つのカメラ間の距離を表す。焦点距離は、２つのカメラの焦点距離を指す。上記方式により、第１画像の第１奥行きマップに基づいて、該第１奥行きマップに対応する第１画素ズレ特徴を決定し、第２画像の第１奥行きマップに基づいて、該第１奥行きマップに対応する第２画素ズレ特徴を決定することができる。ここの画素ズレ特徴は、第１奥行きマップにおける各画素点の奥行き特徴に対応する画素値の偏差を指す。本願の実施例は、該偏差を利用して画像に対してアライメント処理を行うことができる。つまり、第１画像の第１奥行きマップに対応する第１画素ズレ特徴を第２画像に作用することで、第１画像のキャリブレーションマップを得て、第２画像の第１奥行きマップに対応する第２画素ズレ特徴を第１画像に作用することで、第２画像のキャリブレーションマップを得る。
ここで、第１画像の第１奥行きマップに対応する第１画素ズレ量を得た後、該第１画素ズレ量に応じて、第２画像に対してアライメント処理を行うことができる。つまり、第２画像の画素特徴と第１画素ズレ量を加算し、第１画像のキャリブレーションマップを得る。該第２画素ズレ量に応じて、第１画像に対してアライメント処理を行う。つまり、第１画像の対応する画素特徴と第２画素ズレ量を加算し、第１画像のキャリブレーションマップを得る。
Ｓ３１２において、両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得る。
各画像のキャリブレーションマップを得た後、各画像と対応するキャリブレーションマップに対して差分処理を行い、該差分処理の結果を利用してマスクマップを得る。
ここで、第１画像と第１画像のキャリブレーションマップとの差は、
Figure 0007033674000021
で表されてもよい。第２画像と第２画像のキャリブレーションマップとの差は、
Figure 0007033674000022
で表されてもよい。ただし、
Figure 0007033674000023
は、第１画像と第１画像のキャリブレーションマップとの第１差のキャリブレーションマップである。
Figure 0007033674000024
は、第１画像を表す。
Figure 0007033674000025
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後に得られたキャリブレーションマップを表す。
Figure 0007033674000026
は、第２画像と第２画像のキャリブレーションマップとの第２差である。
Figure 0007033674000027
は、第２画像を表す。
Figure 0007033674000028
は、第２画像のキャリブレーションマップを表す。
上記プロセスにより、第１画像と第１画像のキャリブレーションマップとの差を得ることができる。例えば、第１差及び第２差を得る。該第１差及び第２差は、それぞれ行列形式であってもよく、第１画像及び第２画像の各画素点の偏差を表すことができる。この場合、特徴融合モジュールにおけるマスクネットワークモジュールにより、該差を最適化し、第１画像及び第２画像の特徴情報に対応する採択度行列、即ち、対応するマスクマップを出力する。
ここで、前記第１画像と第１画像のキャリブレーションマップとの第１差に基づいて、第１画像のマスクマップを得て、前記第２画像と第２画像のキャリブレーションマップとの第２差に基づいて、第２画像のマスクマップを得ることができる。前記第１画像のマスクマップは、前記第１画像の第１特徴マップにおける特徴情報の採択度を表し、前記第２画像のマスクマップは、第２画像の第１特徴マップにおける特徴情報の採択度を表す。
図８に示すように、第１画像とそのキャリブレーションマップとの第１差に対して畳み込み処理を行う。例えば、２回の畳み込み処理を行う。畳み込み処理の結果とオリジナル第１差を加算する。続いて、畳み込み処理を行い、第１画像の各特徴情報に対応する採択度の行列（マスクマップ）を最終的に出力する。該採択度行列は、第１画像の各画素点の第１特徴情報の採択度を表すことができる。なお、第２画像とそのキャリブレーションマップとの第２差に対して畳み込み処理を行う。例えば、２回の畳み込み処理を行う。畳み込み処理の結果とオリジナル第２差を加算する。続いて、畳み込み処理を行い、第２画像の各特徴情報に対応する採択度の行列（マスクマップ）を最終的に出力する。該採択度行列は、第２画像の各画素点の第１特徴情報の採択度を表すことができる。該採択度は、０から１の間の任意の数値であってもよい。設計又はモデルの訓練方式によって、該数値が大きいほど、採択度が高くなることであってもよく、数値が小さいほど、採択度が高くなることであってもよく、本願は、これを具体的に限定するものではない。
Ｓ３２において、前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得る。
本願の実施例は、例えば、キャリブレーションマップ、マスクマップ及び両眼画像のような得られた上記情報を利用して、特徴融合を行い、中間融合特徴マップを得ることもできる。
幾つかの実施例において、第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得て、第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得ることができる。ここで、第１所定の方式の表現式は、
Figure 0007033674000029
である。
ただし、
Figure 0007033674000030
は、第１画像の中間融合特徴を表す。
Figure 0007033674000031
は、対応する要素の乗算を表す。
Figure 0007033674000032
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後に得られたキャリブレーションマップを表す。
Figure 0007033674000033
は、第１画像のマスクマップを表す。
第２所定の方式の表現式は、
Figure 0007033674000034
である。
ただし、
Figure 0007033674000035
は、第２画像の中間融合特徴を表す。
Figure 0007033674000036
は、対応する要素の乗算を表す。
Figure 0007033674000037
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後に得られたキャリブレーションマップを表す。
Figure 0007033674000038
は、第２画像のマスクマップを表す。
Ｓ３３において、前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得る。
更に、本願の実施例は、２つの画像の第１奥行きマップの特徴融合プロセスを実行することもできる。ここで、第１画像の第１奥行きマップ及び第１画像の第２特徴マップを利用して、第１画像の奥行き特徴融合マップを得る。つまり、画像情報及び特徴情報を含む第１画像の第２特徴マップと第１奥行きマップに対して少なくとも１回の畳み込み処理を行い、各奥行き情報及びビュー情報を更に融合し、奥行き特徴融合マップを得る。
対応的に、前記第２画像の第１奥行きマップ及び第２画像の第２特徴マップを利用して、第２画像の奥行き特徴融合マップを得る。つまり、ビュー情報及び特徴情報を含む第２画像の第２特徴マップと第１奥行きマップに対して少なくとも１回の畳み込み処理を行い、各奥行き情報及びビュー情報を更に融合し、奥行き特徴融合マップを得る。
Ｓ３４において、前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得る。
ここで、前記第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、前記第１画像の融合特徴マップを得て、前記第２画像の第１特徴マップ、第２画像の中間融合特徴マップ及び第２画像の奥行き特徴融合マップの接続結果に基づいて、前記第２画像の融合特徴マップを得ることができる。
本願の実施例において、各第１特徴マップ、中間融合特徴マップ及び奥行き特徴融合マップを得た後、上記情報に対して、例えば、チャネル方向での接続のような接続を行い、対応するビューの融合特徴マップを得ることができる。
上記方式で得られた融合特徴マップに、最適化処理された奥行き情報、ビュー情報、及び奥行き情報とビュー情報を融合した中間融合特徴が含まれる。対応するステップＳ４０において、融合特徴マップの畳み込み処理を更に行い、両眼画像に対応する最適化された両眼画像を得ることができる。ここで、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることは、
前記第１画像の融合特徴マップに対して畳み込み処理を行い、前記最適化された第１画像を得て、前記第２画像の融合特徴マップに対して畳み込み処理を行い、前記最適化された第２画像を得ることを含む。
Ｓ４０により、スケールがオリジナル両眼画像とマッチングする最適化画像を得ることができるだけでなく、各特徴を更に融合し、情報の精度を向上させることができる。
画像ボケの原因は、非常に複雑であり、例えば、カメラブレ、焦点外れ、物体の高速運動などである。従来の画像編集ツールにとって、このような複雑なぼやけた画像を復元することが非常に困難である。
本願の実施例は、上記技術的課題を克服し、両眼スマートフォンによる撮像に適用可能である。該方法により、ブレ又は高速運動による画像ボケを除去し、鮮明なピクチャを得ることができ、ユーザに、より好適な撮影体験を与える。なお、本願の実施例は、飛行機、ロボット又は自動運転視覚システムにも適用可能である。ブレ又は高速運動による画像ボケを除去することができ。得られた鮮明なピクチャは、例えば、障害物回避システム、ＳＬＡＭ再構成システムなどのような他の視覚システムがより良好な性能を発揮するのに寄与する。
本願の実施例の方法は、車両のビデオモニタリング補助解析にも適用可能である。該方法は、高速運動によるボケに対する除去性能を大幅に向上させる。高速運動中の車両の、例えばナンバープレート番号及び運転者の外貌情報のような情報をより正確に捕捉することができる。
要するに、本願の実施例は、両眼画像を入力として、両眼画像における第１画像及び第２画像に対してそれぞれ特徴抽出処理を行い、対応する第１特徴マップを得て、第１画像及び第２画像の奥行きマップを得ることができる。続いて、両眼画像の第１特徴と奥行き値を融合し、第１画像及び第２画像の画像情報及び奥行き情報を含む特徴を得る。該特徴は、より豊かなピクチャ情報を含み、且つ空間変動によるボケに対して、より高いロバスト性を有する。最後に、融合特徴をボケ除去処理の最適化処理し、鮮明な両眼画像を得る。
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
本願に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。
本願は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの画像処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
図１０は、本願の実施例による画像処理装置を示すブロック図である。図１０に示すように、前記画像処理装置は、両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュール１０と、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュール２０と、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュール３０と、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュール４０と、を備える。
幾つかの可能な実現形態において、前記特徴抽出モジュールは、前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得て、前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得て、前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得るように構成される画像特徴抽出モジュールを備える。
幾つかの可能な実現形態において、前記画像特徴抽出モジュール更に、第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得るように構成される。
幾つかの可能な実現形態において、前記画像特徴抽出モジュールは更に、それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得るように構成される。
幾つかの可能な実現形態において、前記画像特徴抽出モジュールは更に、前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得て、前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行い、前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得るように構成される。
幾つかの可能な実現形態において、前記特徴抽出モジュールは、前記第１画像と第２画像を組み合わせ、組み合わせビューを形成し、前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得て、前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得て、前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得るように構成される奥行き特徴抽出モジュールを更に備える。
幾つかの可能な実現形態において、前記奥行き特徴抽出モジュールは更に、第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得るように構成される。
幾つかの可能な実現形態において、前記奥行き特徴抽出モジュールは更に、それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得るように構成される。
幾つかの可能な実現形態において、前記特徴融合モジュールは更に、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得て、前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得て、前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得て、前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得るように構成される。
幾つかの可能な実現形態において、前記特徴融合モジュールは更に、両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得て、両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得るように構成される。
幾つかの可能な実現形態において、前記特徴融合モジュールは更に、第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得て、第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得るように構成される。
幾つかの可能な実現形態において、前記第１所定の方式の表現式は、
Figure 0007033674000039
であり、ただし、
Figure 0007033674000040
は、第１画像の中間融合特徴を表す。
Figure 0007033674000041
は、対応する要素の乗算を表す。
Figure 0007033674000042
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表す。
Figure 0007033674000043
は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
Figure 0007033674000044
であり、
ただし、
Figure 0007033674000045
は、第２画像の中間融合特徴を表す。
Figure 0007033674000046
は、対応する要素の乗算を表す。
Figure 0007033674000047
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表す。
Figure 0007033674000048
は、第２画像のマスクマップを表す。
幾つかの可能な実現形態において、前記最適化モジュールは更に、前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得るように構成される。
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、上記方法を実行するように構成される。電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
本願の実施例は、コンピュータプログラム製品を開示する。前記コンピュータプログラム製品は、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサに、前記いずれか１つの方法を実現させる。
図１１は本願の実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。図１１を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。
処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。
メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インターフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間のインターフェースを提供する。上記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。
図１２は、本願の実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図１２を参照すると、電子機器１９００は、処理コンポーネント１９２２を備える。ぞれは１つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含んでもよい。なお、処理コンポーネント１９２２は、命令を実行して、上記方法を実行するように構成される。
電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインターフェース１９５０と、入力出力（Ｉ／Ｏ）インターフェース１９５８を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、Ｕｎｉｘ（登録商標）ＴＭ、Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したものような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２により実行されて上記方法を完了する。
本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。
本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。
ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現させる。
図面におけるフローチャート及びブロック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることにも留意されたい。
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

Claims (17)

  1. 画像処理方法であって、前記方法は、
    両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、
    前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、
    前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、
    前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む、画像処理方法。
  2. 前記両眼画像の第１特徴マップを取得することは、
    前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることと、
    前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることと、
    前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることと、を含むことを特徴とする
    請求項１に記載の方法。
  3. 前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることは、
    第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることを含むことを特徴とする
    請求項２に記載の方法。
  4. 前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることは、
    それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得ることを含むことを特徴とする
    請求項２又は３に記載の方法。
  5. 前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることは、
    前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得ることと、
    前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行うことと、
    前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得ることと、を含むことを特徴とする
    請求項２から４のうちいずれか一項に記載の方法。
  6. 前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することは、
    前記第１画像と第２画像を組み合わせ、組み合わせビューを形成することと、
    前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることと、
    前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることと、
    前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得ることと、を含むことを特徴とする
    請求項１から５のうちいずれか一項に記載の方法。
  7. 前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることは、
    第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得ることを含むことを特徴とする
    請求項６に記載の方法。
  8. 前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることは、
    それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得ることを含むことを特徴とする
    請求項６又は７に記載の方法。
  9. 前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることは、
    前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることと、
    前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることと、
    前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得ることと、
    前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得ることと、を含むことを特徴とする
    請求項１から８のうちいずれか一項に記載の方法。
  10. 前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることは、
    両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得ることと、
    両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得ることと、を含むことを特徴とする
    請求項９に記載の方法。
  11. 前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることは、
    第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得ることと、
    第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得ることと、を含むことを特徴とする
    請求項９に記載の方法。
  12. 前記第１所定の方式の表現式は、
    Figure 0007033674000049
     であり、ただし、
    Figure 0007033674000050
     は、第１画像の中間融合特徴を表し、
    Figure 0007033674000051
     は、対応する要素の乗算を表し、
    Figure 0007033674000052
     は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
    Figure 0007033674000053
     は、第１画像のマスクマップを表し、
    前記第２所定の方式の表現式は、
    Figure 0007033674000054
     であり、ただし、
    Figure 0007033674000055
     は、第２画像の中間融合特徴を表し、
    Figure 0007033674000056
     は、対応する要素の乗算を表し、
    Figure 0007033674000057
     は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
    Figure 0007033674000058
     は、第２画像のマスクマップを表すことを特徴とする
    請求項１１に記載の方法。
  13. 前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることは、
    前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得ることを含むことを特徴とする
    請求項１から１２のうちいずれか一項に記載の方法。
  14. 画像処理装置であって、前記装置は、
    両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュールと、
    前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュールと、
    前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュールと、
    前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュールと、を備える、画像処理装置。
  15. 電子機器であって、前記電子機器は、
    プロセッサと、
    プロセッサによる実行可能な命令を記憶するためのメモリとを備え、
    前記プロセッサは、請求項１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
  16. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、請求項１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
  17. コンピュータプログラムであって、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサに、請求項１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータプログラム。
JP2020573341A 2019-01-22 2019-10-28 画像処理方法及び装置、電子機器並びに記憶媒体 Active JP7033674B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910060238.6 2019-01-22
CN201910060238.6A CN109829863B (zh) 2019-01-22 2019-01-22 图像处理方法及装置、电子设备和存储介质
PCT/CN2019/113749 WO2020151281A1 (zh) 2019-01-22 2019-10-28 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021530056A JP2021530056A (ja) 2021-11-04
JP7033674B2 true JP7033674B2 (ja) 2022-03-10

Family

ID=66861908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573341A Active JP7033674B2 (ja) 2019-01-22 2019-10-28 画像処理方法及び装置、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210319538A1 (ja)
JP (1) JP7033674B2 (ja)
KR (1) KR20210028218A (ja)
CN (1) CN109829863B (ja)
SG (1) SG11202106271XA (ja)
TW (1) TWI706379B (ja)
WO (1) WO2020151281A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829863B (zh) * 2019-01-22 2021-06-25 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109977847B (zh) * 2019-03-22 2021-07-16 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN110060215B (zh) * 2019-04-16 2021-09-10 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
WO2020238120A1 (en) * 2019-05-30 2020-12-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for single-modal or multi-modal style transfer and system for random stylization using the same
CN110543849B (zh) * 2019-08-30 2022-10-04 北京市商汤科技开发有限公司 检测器的配置方法及装置、电子设备和存储介质
CN111986075B (zh) * 2020-08-12 2022-08-09 兰州交通大学 一种目标边缘清晰化的风格迁移方法
CN112101302B (zh) * 2020-11-05 2021-04-27 杭州追猎科技有限公司 非法张贴物检测方法、系统和电子设备
US11669986B2 (en) * 2021-04-16 2023-06-06 Adobe Inc. Generating enhanced three-dimensional object reconstruction models from sparse set of object images
KR102554665B1 (ko) * 2021-12-20 2023-07-12 포항공과대학교 산학협력단 역커널 기반 디포커스 블러 제거 방법 및 장치
KR102664276B1 (ko) * 2022-12-02 2024-05-10 고려대학교 산학협력단 수직-수평 분할을 통한 단일 영상 잔상 제거 방법 및 이를 위한 네트워크 시스템
CN116862800B (zh) * 2023-07-11 2024-01-30 哈尔滨工业大学 一种大视场单透镜空变模糊图像复原方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766623A (zh) 2019-10-12 2020-02-07 北京工业大学 一种基于深度学习的立体图像修复方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380630B2 (en) * 2000-07-06 2013-02-19 David Paul Felsher Information record infrastructure, system and method
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
CN105516579B (zh) * 2014-09-25 2019-02-05 联想(北京)有限公司 一种图像处理方法、装置和电子设备
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10409614B2 (en) * 2017-04-24 2019-09-10 Intel Corporation Instructions having support for floating point and integer data types in the same register
US10489877B2 (en) * 2017-04-24 2019-11-26 Intel Corporation Compute optimization mechanism
CN107392868A (zh) * 2017-07-21 2017-11-24 深圳大学 基于全卷积神经网络的压缩双目图像质量增强方法及装置
CN108269280A (zh) * 2018-01-05 2018-07-10 厦门美图之家科技有限公司 一种深度图像的处理方法及移动终端
CN108596040A (zh) * 2018-03-29 2018-09-28 中山大学 一种基于双目视觉的串联通道融合行人检测方法
CN108765333B (zh) * 2018-05-24 2021-08-10 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
CN108846820A (zh) * 2018-07-10 2018-11-20 深圳市唯特视科技有限公司 一种基于尺度递归网络的深度图像去模糊方法
CN109118430B (zh) * 2018-08-24 2023-05-09 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN109829863B (zh) * 2019-01-22 2021-06-25 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766623A (zh) 2019-10-12 2020-02-07 北京工业大学 一种基于深度学习的立体图像修复方法

Also Published As

Publication number Publication date
KR20210028218A (ko) 2021-03-11
WO2020151281A9 (zh) 2020-09-10
US20210319538A1 (en) 2021-10-14
SG11202106271XA (en) 2021-07-29
JP2021530056A (ja) 2021-11-04
CN109829863A (zh) 2019-05-31
CN109829863B (zh) 2021-06-25
TWI706379B (zh) 2020-10-01
TW202029125A (zh) 2020-08-01
WO2020151281A1 (zh) 2020-07-30

Similar Documents

Publication Publication Date Title
JP7033674B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP6944051B2 (ja) キーポイント検出方法及び装置、電子機器並びに記憶媒体
JP7262659B2 (ja) 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
JP6852150B2 (ja) 生体検知方法および装置、システム、電子機器、記憶媒体
JP6986167B2 (ja) 画像生成方法および装置、電子機器並びに記憶媒体
JP7178514B2 (ja) 場面深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム
TW202042175A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
JP7026257B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP2021531566A (ja) 画像処理方法および装置、電子機器ならびに記憶媒体
JP2021533436A (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム
TWI769523B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
JP2022532322A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP2022540072A (ja) 位置姿勢決定方法及び装置、電子機器並びに記憶媒体
CN111401230B (zh) 姿态估计方法及装置、电子设备和存储介质
CN111340048A (zh) 图像处理方法及装置、电子设备和存储介质
TWI778313B (zh) 圖像處理方法、電子設備和儲存介質
CN111325786B (zh) 图像处理方法及装置、电子设备和存储介质
CN109840890B (zh) 图像处理方法及装置、电子设备和存储介质
JP2022547082A (ja) 画像再構成方法及び装置、電子機器並びに記憶媒体
CN109635926B (zh) 用于神经网络的注意力特征获取方法、装置及存储介质
CN113506321B (zh) 图像处理方法及装置、电子设备和存储介质
CN115457024A (zh) 冷冻电镜图像处理方法、装置、电子设备及存储介质
CN114549983A (zh) 计算机视觉模型训练方法及装置、电子设备和存储介质
CN112200201A (zh) 一种目标检测方法及装置、电子设备和存储介质
CN109543544B (zh) 跨光谱图像匹配方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R150 Certificate of patent or registration of utility model

Ref document number: 7033674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150