JP7426438B2 - 画像処理方法、装置、電子機器および読み取り可能記憶媒体 - Google Patents
画像処理方法、装置、電子機器および読み取り可能記憶媒体 Download PDFInfo
- Publication number
- JP7426438B2 JP7426438B2 JP2022093537A JP2022093537A JP7426438B2 JP 7426438 B2 JP7426438 B2 JP 7426438B2 JP 2022093537 A JP2022093537 A JP 2022093537A JP 2022093537 A JP2022093537 A JP 2022093537A JP 7426438 B2 JP7426438 B2 JP 7426438B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- image signal
- processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000007499 fusion processing Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 229910052754 neon Inorganic materials 0.000 description 6
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 6
- 238000002834 transmittance Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
RGBカメラから出力された第1の画像信号と、少なくとも一つのNIRカメラから出力された第2の画像信号とを取得し、前記RGBカメラと前記少なくとも一つのNIRカメラが電子機器のディスプレイの高透過領域の下に設置されていること、
前記第1の画像信号と前記第2の画像信号とに基づいて、フレア情報および/またはゴースト情報である第1の情報を取得すること、
前記第1の画像信号から前記第1の情報を除去して、処理後の第1の画像信号を得ること、
前記処理後の第1の画像信号と前記第2の画像信号に対して画像融合処理を行い、融合画像を得ること、を含む画像処理方法を提供する。
RGBカメラから出力された第1の画像信号と、少なくとも一つのNIRカメラから出力された第2の画像信号とを取得するための取得モジュールであって、前記RGBカメラと前記少なくとも一つのNIRカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール、
前記第1の画像信号と前記第2の画像信号とに基づいて、フレア情報および/またはゴースト情報である第1の情報を取得するための第1の処理モジュール、
前記第1の画像信号から前記第1の情報を除去して、処理後の第1の画像信号を得るための第2の処理モジュール、
前記処理後の第1の画像信号と前記第2の画像信号に対して画像融合処理を行い、融合画像を得るための第3の処理モジュール、を含む画像処理装置を提供する。
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、第一の面に記載の画像処理方法のステップが実現される、電子機器を提供する。
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、第一の面に記載の画像処理方法のステップが実現される、読み取り可能記憶媒体を提供する。
フレア:強い光がレンズを通るときに、一部の光がレンズのうちの各レンズに反射されて戻され、このような内部の反射により幻影が形成され、最終に写真に反映されると、フレアとなり、画像のぼけを引き起こす。
ゴースト:強い光のレンズ内での繰り返し反射によるものであって、通常、光源と対称に現れる。
図2には、電子機器のディスプレイの下に二つのカメラを配置したアンダースクリーンカメラ装置の実施態様は示されている。
図4には、電子機器のディスプレイの下に三つのカメラを配置したアンダースクリーンカメラ装置の実施態様が示されている。
図6には、図4に示したアンダースクリーンカメラ装置からの出力画像を用いたフレア/ゴースト除去および画像融合処理の概略流れ図が示されている。
RGBカメラから出力された第1の画像信号と、少なくとも一つのNIRカメラから出力された第2の画像信号とを取得するための取得モジュール701であって、RGBカメラと少なくとも一つのNIRカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール701、
第1の画像信号と第2の画像信号とに基づいて、フレア情報および/またはゴースト情報である第1の情報を取得するための第1の処理モジュール702、
第1の画像信号から第1の情報を除去して、処理後の第1の画像信号を得るための第2の処理モジュール703、
処理後の第1の画像信号と第2の画像信号に対して画像融合処理を行い、融合画像を得るための第3の処理モジュール704、を含むことができる。
第1の画像信号に対してYUV変換を行い、Y信号とUV信号を取得するための第1処理手段であって、Yが輝度を表しており、UVが色差を表している第1処理手段、
Y信号と第2の画像信号とに基づいて、第1の画像信号と第2の画像信号との間の差異を示す差分信号を取得するための第2処理手段、
差分信号に基づいて、第1の情報を得るための第3処理手段、を含む。
NIRカメラの数が1よりも大きい場合、各NIRカメラから出力される第2の画像信号に対して画像融合処理を行い、融合後の第2の画像信号を取得し、
Y信号と融合後の第2の画像信号とを比較して、差分信号を取得するためのものである。
差分信号に対して較正を行い、較正後の差分信号を取得し、
較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、第1の情報を取得するためのものである。
Y信号から第1の情報を除去して、処理後のY信号を得るための第4処理手段、
第1の情報と処理後のY信号とに基づいて、UV信号を補正し、補正後のUV信号を得るための第5処理手段、を含む。
処理後のY信号と、補正後のUV信号と、第2の画像信号とを画像融合処理し、融合画像を得るための第6処理手段、を含む。
Claims (14)
- RGBカメラから出力された第1の画像信号と、少なくとも一つのNIRカメラから出力された第2の画像信号とを取得すること、
前記第1の画像信号と前記第2の画像信号とに基づいて、フレア情報および/またはゴースト情報である第1の情報を取得すること、
前記第1の画像信号から前記第1の情報を除去して、処理後の第1の画像信号を得ること、
前記処理後の第1の画像信号と前記第2の画像信号に対して画像融合処理を行い、融合画像を得ること、を含み、
前記RGBカメラと前記少なくとも一つのNIRカメラは、電子機器のディスプレイの高透過領域の下に設置されており、
前記第1の画像信号と前記第2の画像信号とに基づいて、第1の情報を取得することは、
前記第1の画像信号に対してYUV変換を行い、Y信号とUV信号を取得し、Yが輝度を表しており、UVが色差を表していること、
前記Y信号と前記第2の画像信号とに基づいて、前記第1の画像信号と前記第2の画像信号との間の差異を示す差分信号を取得すること、
前記差分信号に基づいて、前記第1の情報を得ること、を含む
ことを特徴とする画像処理方法。 - 前記Y信号と前記第2の画像信号とに基づいて、差分信号を取得することは、
前記Y信号と各前記NIRカメラから出力される第2の画像信号とをそれぞれに比較して、N個の差分信号を取得すること、を含み、
Nの値が前記NIRカメラの数と等しい
ことを特徴とする請求項1に記載の画像処理方法。 - 前記Y信号と前記第2の画像信号とに基づいて、差分信号を取得することは、
前記NIRカメラの数が1よりも大きい場合、各前記NIRカメラから出力される第2の画像信号に対して画像融合処理を行い、融合後の第2の画像信号を取得すること
前記Y信号と前記融合後の第2の画像信号とを比較して、差分信号を取得すること、を含む
ことを特徴とする請求項1に記載の画像処理方法。 - 前記差分信号に基づいて、前記第1の情報を得ることは、
前記差分信号に対して較正を行い、較正後の差分信号を取得すること、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第1の情報を取得すること、を含む
ことを特徴とする請求項1に記載の画像処理方法。 - 前記第1の画像信号から前記第1の情報を除去して、処理後の第1の画像信号を得ることは、
前記Y信号から前記第1の情報を除去して、処理後のY信号を得ること、
前記第1の情報と前記処理後のY信号とに基づいて、前記UV信号を補正し、補正後のUV信号を得ること、を含む
ことを特徴とする請求項1に記載の画像処理方法。 - 前記処理後の第1の画像信号と前記第2の画像信号に対して画像融合処理を行い、融合画像を得ることは、
前記処理後のY信号と、前記補正後のUV信号と、前記第2の画像信号とを画像融合処理し、融合画像を得ること、を含む
ことを特徴とする請求項5に記載の画像処理方法。 - RGBカメラから出力された第1の画像信号と、少なくとも一つのNIRカメラから出力された第2の画像信号とを取得するための取得モジュールであって、前記RGBカメラと前記少なくとも一つのNIRカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール、
前記第1の画像信号と前記第2の画像信号とに基づいて、フレア情報および/またはゴースト情報である第1の情報を取得するための第1の処理モジュール、
前記第1の画像信号から前記第1の情報を除去して、処理後の第1の画像信号を得るための第2の処理モジュール、
前記処理後の第1の画像信号と前記第2の画像信号に対して画像融合処理を行い、融合画像を得るための第3の処理モジュール、を含み、
前記第1の処理モジュールは、
前記第1の画像信号に対してYUV変換を行い、Y信号とUV信号を取得するための第1処理手段であって、Yが輝度を表しており、UVが色差を表している第1処理手段、
前記Y信号と前記第2の画像信号とに基づいて、前記第1の画像信号と前記第2の画像信号との間の差異を示す差分信号を取得するための第2処理手段、
前記差分信号に基づいて、前記第1の情報を得るための第3処理手段、を含む
ことを特徴とする画像処理装置。 - 前記第2処理手段は、具体的に、前記Y信号と各前記NIRカメラから出力される第2の画像信号とをそれぞれに比較して、N個の差分信号を取得するためのものであり、
Nの値が前記NIRカメラの数と等しい
ことを特徴とする請求項7に記載の画像処理装置。 - 前記第2処理手段は、具体的に、
前記NIRカメラの数が1よりも大きい場合、各前記NIRカメラから出力される第2の画像信号に対して画像融合処理を行い、融合後の第2の画像信号を取得し、
前記Y信号と前記融合後の第2の画像信号とを比較して、差分信号を取得するためのものである
ことを特徴とする請求項7に記載の画像処理装置。 - 前記第3処理手段は、具体的に、
前記差分信号に対して較正を行い、較正後の差分信号を取得し、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第1の情報を取得するためのものである
ことを特徴とする請求項7~9のいずれか1項に記載の画像処理装置。 - 前記第2の処理モジュールは、
前記Y信号から前記第1の情報を除去して、処理後のY信号を得るための第4処理手段、
前記第1の情報と前記処理後のY信号とに基づいて、前記UV信号を補正し、補正後のUV信号を得るための第5処理手段、を含む
ことを特徴とする請求項7に記載の画像処理装置。 - 前記第3の処理モジュールは、
前記処理後のY信号と、前記補正後のUV信号と、前記第2の画像信号とを画像融合処理し、融合画像を得るための第6処理手段、を含む
ことを特徴とする請求項11に記載の画像処理装置。 - プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項1~6のいずれか1項に記載の画像処理方法のステップが実現される、
ことを特徴とする電子機器。 - プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項1~6のいずれか1項に記載の画像処理方法のステップが実現される、
ことを特徴とする読み取り可能記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022093537A JP7426438B2 (ja) | 2022-06-09 | 2022-06-09 | 画像処理方法、装置、電子機器および読み取り可能記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022093537A JP7426438B2 (ja) | 2022-06-09 | 2022-06-09 | 画像処理方法、装置、電子機器および読み取り可能記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023180331A JP2023180331A (ja) | 2023-12-21 |
JP7426438B2 true JP7426438B2 (ja) | 2024-02-01 |
Family
ID=89307177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022093537A Active JP7426438B2 (ja) | 2022-06-09 | 2022-06-09 | 画像処理方法、装置、電子機器および読み取り可能記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7426438B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180269A (ja) | 2004-12-22 | 2006-07-06 | Sony Corp | 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体 |
CN112053313A (zh) | 2020-08-31 | 2020-12-08 | 西安工业大学 | 异源图像融合的夜视抗晕光视频处理方法 |
WO2021225030A1 (ja) | 2020-05-08 | 2021-11-11 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器及び撮像装置 |
WO2023085311A1 (ja) | 2021-11-15 | 2023-05-19 | 株式会社小松製作所 | 表示システム及び表示方法 |
-
2022
- 2022-06-09 JP JP2022093537A patent/JP7426438B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180269A (ja) | 2004-12-22 | 2006-07-06 | Sony Corp | 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体 |
WO2021225030A1 (ja) | 2020-05-08 | 2021-11-11 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器及び撮像装置 |
CN112053313A (zh) | 2020-08-31 | 2020-12-08 | 西安工业大学 | 异源图像融合的夜视抗晕光视频处理方法 |
WO2023085311A1 (ja) | 2021-11-15 | 2023-05-19 | 株式会社小松製作所 | 表示システム及び表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023180331A (ja) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102247092B1 (ko) | 분광-융합의 이미지 수집 기기 | |
EP3158532B1 (en) | Local adaptive histogram equalization | |
US10194089B2 (en) | Systems and methods for implementing seamless zoom function using multiple cameras | |
EP3542347B1 (en) | Fast fourier color constancy | |
US9336582B1 (en) | Convolutional color correction | |
CN107835372A (zh) | 基于双摄像头的成像方法、装置、移动终端和存储介质 | |
CN102844788A (zh) | 图像处理装置及使用该图像处理装置的图像拾取装置 | |
CN111586273B (zh) | 电子设备及图像获取方法 | |
JP2009055610A (ja) | 映像の色収差の補正方法および装置 | |
JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
CN106296625A (zh) | 图像处理装置及图像处理方法、摄像装置及摄像方法 | |
US10567723B2 (en) | System and method for detecting light sources in a multi-illuminated environment using a composite RGB-IR sensor | |
CN106067937A (zh) | 镜头模块阵列、图像感测装置与数字缩放图像融合方法 | |
CN108156434B (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
US11418719B2 (en) | Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching | |
JP2018023077A (ja) | ビデオカメラ撮像装置 | |
JP7426438B2 (ja) | 画像処理方法、装置、電子機器および読み取り可能記憶媒体 | |
CN107959842B (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
JP4466017B2 (ja) | 画像処理装置および画像処理プログラム | |
WO2015154526A1 (zh) | 视频监控低照度图像色彩还原方法和装置 | |
WO2023174367A1 (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN112132910B (zh) | 基于红外的适用于低光环境的含半透明信息的抠像系统 | |
CN115714925A (zh) | 传感器、图像生成方法、装置及摄相机 | |
JP5858735B2 (ja) | 色補正装置及び色補正方法 | |
EP3628124B1 (en) | System and method for detecting light sources in a multi-illuminated environment using a composite rgb-ir sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7426438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |