JP7052811B2 - 画像処理装置、画像処理方法及び画像処理システム - Google Patents
画像処理装置、画像処理方法及び画像処理システム Download PDFInfo
- Publication number
- JP7052811B2 JP7052811B2 JP2019570320A JP2019570320A JP7052811B2 JP 7052811 B2 JP7052811 B2 JP 7052811B2 JP 2019570320 A JP2019570320 A JP 2019570320A JP 2019570320 A JP2019570320 A JP 2019570320A JP 7052811 B2 JP7052811 B2 JP 7052811B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mode
- black
- information
- variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 78
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 58
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 7
- 230000007704 transition Effects 0.000 description 31
- 230000008859 change Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 239000000203 mixture Substances 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Description
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
1.画像処理装置の構成例
2.合成モードの具体例
3.モード遷移のための切り換え閾値について
4.モード遷移のための他のパラメータについて
5.画像処理システムの構成例
まず、図1を参照して、本開示の一実施形態に係る画像処理装置(撮像装置)1000の概略構成について説明する。画像処理装置1000は、デジタルカメラなどの撮像装置、スマートフォンやタブレット端末などの電子機器に備えられる。画像処理装置1000は、二眼の撮像部100,110を有している。撮像部100,110のそれぞれは、撮像素子と光学レンズなどの光学系を備える。光学系は、ズーム光学系、フォーカス光学系を含むものであって良く、ズーム倍率やフォーカス位置を変更できるものであっても良い。
図2は、合成モードの例を示す模式図である。図2では、モードA、モードB、モードCの3つのモードを示している。モードAは、撮像部100が備えるBayer配列の撮像素子による単眼のみで撮像を行うモードである。つまり、モードAでは、カラー画像と白黒画像の合成は行われない。
本実施形態では、ISO感度に基づいてモードを遷移させる際に、各モードに応じてモードを判定するための閾値が設定される。より具体的には、モード遷移のためのISO感度のしきい値を、ISO感度が増加する場合とISO感度が減少する場合の双方で異なる値に設定し、ISO感度がモード切り換えの境界付近の値である場合に、モードが頻繁に切り換わることを抑制する。
上述した例では、ISO感度に基づいてモードを切り換える例を挙げたが、撮影環境に依存する他のパラメータに基づいてモードを切り換えることもできる。他のパラメータとして、例えば、シャッター速度、EV値、ズーム位置、フォーカス位置等を挙げることができる。これらのパラメータに応じてモードA~Cを切り換えることで、パラメータの値に応じた最適な画像を画像処理装置1000から出力することができる。また、複数のパラメータを組み合わせてモード制御を行っても良い。
図1に示す画像処理装置1000において、撮像部100と撮像部110は、画像処理装置1000とは別体の撮像装置として設けられていても良い。図7は、カラー画像を撮像する撮像装置1100と白黒画像を撮像する撮像装置1200を画像処理装置1000とは別に構成した画像処理システム2000の構成を示す模式図である。
(1) 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成する合成処理部と、
所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、
を備える、画像処理装置。
(2) 任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なる、前記(1)に記載の画像処理装置。
(3) 前記合成処理部は、白黒画像の前記画像情報とカラー画像の前記画像情報を合成する、前記(1)又は(2)に記載の画像処理装置。
(4) 複数の前記撮像素子は、前記被写体の動画を撮像する、前記(1)~(3)のいずれかに記載の画像処理装置。
(5) 前記所定の変数は、前記被写体を撮像する際の環境に関する変数である、前記(1)~(4)のいずれかに記載の画像処理装置。
(6) 前記所定の変数は、ISO感度、シャッター速度、EV値、ズーム倍率又はフォーカス位置である、前記(1)~(5)のいずれかに記載の画像処理装置。
(7) 前記モードは、前記カラー画像と前記白黒画像を合成せずに前記カラー画像を前記合成処理部から出力する第1のモードと、前記カラー画像を基準として前記カラー画像の情報に前記白黒画像の情報を合成する第2のモードと、前記白黒画像を基準として前記白黒画像の情報に前記カラー画像の情報を合成する第3のモードと、を含む、前記(3)に記載の画像処理装置。
(8) 前記第2のモードでは、前記カラー画像の情報に前記白黒画像の輝度情報を合成する、前記(7)に記載の画像処理装置。
(9) 前記第3のモードでは、前記白黒画像の情報に前記カラー画像の色情報を合成する、前記(7)又は(8)に記載の画像処理装置。
(10) 前記合成モード判定部は、スタインバイ動画の撮像時に録画が開始されると、録画開始時の前記モードに固定する、前記(1)~(9)のいずれかに記載の画像処理装置。
(11) 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成することと、
所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定されることと、
を備える、画像処理方法。
(12) 白黒画像を撮像する第1の撮像装置と、
カラー画像を撮像する第2の撮像装置と、
前記白黒画像の画像情報と前記カラー画像の画像情報を合成する合成処理部と、所定の変数に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、を有する、画像処理装置と、
を備える、画像処理システム。
100,110 撮像部
300 合成処理部
500 合成モード判定部
Claims (10)
- 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成する合成処理部と、
所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、
を備え、
任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なり、さらに、前記変数とは異なる他の変数に応じて、複数設定される、画像処理装置。 - 前記合成処理部は、白黒画像の前記画像情報とカラー画像の前記画像情報を合成する、請求項1に記載の画像処理装置。
- 複数の前記撮像素子は、前記被写体の動画を撮像する、請求項1に記載の画像処理装置。
- 前記所定の変数は、前記被写体を撮像する際の環境に関する変数である、請求項1に記載の画像処理装置。
- 前記所定の変数及び前記他の変数は、ISO感度、シャッター速度、EV値、ズーム倍率又はフォーカス位置である、請求項1に記載の画像処理装置。
- 前記モードは、
前記カラー画像と前記白黒画像を合成せずに前記カラー画像を前記合成処理部から出力する第1のモードと、
前記カラー画像を基準として前記カラー画像の情報に前記白黒画像の情報を合成する第2のモードと、
前記白黒画像を基準として前記白黒画像の情報に前記カラー画像の情報を合成する第3のモードと、
を含む、請求項2に記載の画像処理装置。 - 前記第2のモードでは、前記カラー画像の情報に前記白黒画像の輝度情報を合成する、請求項6に記載の画像処理装置。
- 前記第3のモードでは、前記白黒画像の情報に前記カラー画像の色情報を合成する、請求項6に記載の画像処理装置。
- 同一の被写体を撮像する複数の撮像素子のそれぞれから得られる複数の画像情報を合成することと、
所定の変数の値に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定されることと、
を備え、
任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なり、さらに、前記変数とは異なる他の変数に応じて、複数設定される、画像処理方法。 - 白黒画像を撮像する第1の撮像装置と、
カラー画像を撮像する第2の撮像装置と、
前記白黒画像の画像情報と前記カラー画像の画像情報を合成する合成処理部と、所定の変数に応じて前記合成のモードを判定し、前記モードを判定するための前記変数の閾値が複数の前記モードのそれぞれに応じて設定される合成モード判定部と、を有する、画像処理装置と、
を備え、
任意のモードと他のモードとが切り換わる境界に相当する前記閾値が、前記変数が増加する場合と前記変数が減少する場合とで異なり、さらに、前記変数とは異なる他の変数に応じて、複数設定される、画像処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018019767 | 2018-02-07 | ||
JP2018019767 | 2018-02-07 | ||
PCT/JP2018/045561 WO2019155757A1 (ja) | 2018-02-07 | 2018-12-11 | 画像処理装置、画像処理方法及び画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019155757A1 JPWO2019155757A1 (ja) | 2021-01-07 |
JP7052811B2 true JP7052811B2 (ja) | 2022-04-12 |
Family
ID=67548876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570320A Active JP7052811B2 (ja) | 2018-02-07 | 2018-12-11 | 画像処理装置、画像処理方法及び画像処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11347978B2 (ja) |
EP (1) | EP3734961A4 (ja) |
JP (1) | JP7052811B2 (ja) |
WO (1) | WO2019155757A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11803949B2 (en) * | 2020-08-06 | 2023-10-31 | Apple Inc. | Image fusion architecture with multimode operations |
CN113810601B (zh) * | 2021-08-12 | 2022-12-20 | 荣耀终端有限公司 | 终端的图像处理方法、装置和终端设备 |
CN113642654B (zh) * | 2021-08-16 | 2022-08-30 | 北京百度网讯科技有限公司 | 图像特征的融合方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007267330A (ja) | 2006-03-30 | 2007-10-11 | Olympus Imaging Corp | デジタル一眼レフカメラ |
JP2014143457A (ja) | 2013-01-22 | 2014-08-07 | Canon Inc | Hdr切り替え制御方法 |
JP2019129446A (ja) | 2018-01-25 | 2019-08-01 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103930923A (zh) * | 2011-12-02 | 2014-07-16 | 诺基亚公司 | 用于捕获图像的方法、装置和计算机程序产品 |
JP2013219525A (ja) | 2012-04-06 | 2013-10-24 | Nec Saitama Ltd | 撮像装置、その制御方法及びプログラム |
DE102013012810A1 (de) | 2013-08-01 | 2015-02-05 | Connaught Electronics Ltd. | Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug |
JP6201641B2 (ja) | 2013-10-29 | 2017-09-27 | ソニー株式会社 | 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム |
US9565361B2 (en) * | 2015-05-14 | 2017-02-07 | Altek Semiconductor Corp. | Image capturing device and hybrid image processing method thereof |
US9743015B2 (en) * | 2015-05-22 | 2017-08-22 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method of controlling the same |
CN105049718A (zh) * | 2015-07-06 | 2015-11-11 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
GB2541564B (en) | 2015-09-11 | 2018-07-04 | General Starlight Co Inc | Multi-modal optoelectronic vision system and uses thereof |
JP2017061079A (ja) * | 2015-09-24 | 2017-03-30 | キヤノン株式会社 | 画像形成装置、及びその制御方法 |
KR102446442B1 (ko) * | 2015-11-24 | 2022-09-23 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
WO2018092379A1 (ja) | 2016-11-17 | 2018-05-24 | ソニー株式会社 | 画像処理装置と画像処理方法 |
WO2018092378A1 (ja) | 2016-11-17 | 2018-05-24 | シャープ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2018
- 2018-12-11 WO PCT/JP2018/045561 patent/WO2019155757A1/ja unknown
- 2018-12-11 JP JP2019570320A patent/JP7052811B2/ja active Active
- 2018-12-11 EP EP18905319.2A patent/EP3734961A4/en not_active Withdrawn
- 2018-12-11 US US16/966,473 patent/US11347978B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007267330A (ja) | 2006-03-30 | 2007-10-11 | Olympus Imaging Corp | デジタル一眼レフカメラ |
JP2014143457A (ja) | 2013-01-22 | 2014-08-07 | Canon Inc | Hdr切り替え制御方法 |
JP2019129446A (ja) | 2018-01-25 | 2019-08-01 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3734961A4 (en) | 2021-06-09 |
EP3734961A1 (en) | 2020-11-04 |
JPWO2019155757A1 (ja) | 2021-01-07 |
US11347978B2 (en) | 2022-05-31 |
US20210049427A1 (en) | 2021-02-18 |
WO2019155757A1 (ja) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8520059B2 (en) | Stereoscopic image taking apparatus | |
EP2518995B1 (en) | Multocular image pickup apparatus and multocular image pickup method | |
JP5206796B2 (ja) | 画像入力装置 | |
JP5543616B2 (ja) | 色フィルタアレイ画像反復デノイズ | |
US10630920B2 (en) | Image processing apparatus | |
JP5749741B2 (ja) | ノイズ低減方法 | |
US9282316B2 (en) | Stereoscopic imaging device and stereoscopic imaging method | |
US9699427B2 (en) | Imaging device, imaging method, and image processing device | |
US10992854B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium | |
JP7052811B2 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
KR101120966B1 (ko) | 카메라에 대한 핸드 지터 감소 시스템 | |
JP2010213213A (ja) | 撮像装置及び撮像方法 | |
JP2010103740A (ja) | デジタルカメラ | |
CN116324882A (zh) | 多相机系统中的图像信号处理 | |
WO2019146418A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN112991245A (zh) | 双摄虚化处理方法、装置、电子设备和可读存储介质 | |
US11404455B2 (en) | Imaging apparatus | |
WO2019146419A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9106900B2 (en) | Stereoscopic imaging device and stereoscopic imaging method | |
CN109644258B (zh) | 用于变焦摄影的多相机系统 | |
JP2004088408A (ja) | デジタルカメラ | |
JP2015126416A (ja) | 画像処理装置、制御方法およびプログラム | |
JP2013012089A (ja) | 画像処理装置、カメラおよび画像処理プログラム | |
JP2023074897A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2019197305A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220314 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7052811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |