JP7465076B2 - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP7465076B2 JP7465076B2 JP2019209005A JP2019209005A JP7465076B2 JP 7465076 B2 JP7465076 B2 JP 7465076B2 JP 2019209005 A JP2019209005 A JP 2019209005A JP 2019209005 A JP2019209005 A JP 2019209005A JP 7465076 B2 JP7465076 B2 JP 7465076B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- change
- ratio
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000012545 processing Methods 0.000 title claims description 34
- 230000008859 change Effects 0.000 claims description 96
- 230000015572 biosynthetic process Effects 0.000 claims description 30
- 238000003786 synthesis reaction Methods 0.000 claims description 30
- 238000002156 mixing Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims 1
- 239000002131 composite material Substances 0.000 description 44
- 230000008569 process Effects 0.000 description 32
- 239000000203 mixture Substances 0.000 description 31
- 239000003550 marker Substances 0.000 description 28
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 14
- 238000011161 development Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
可視画像と赤外画像とを取得する画像取得手段と、
前記可視画像の輝度を取得する輝度取得手段と、
前記輝度取得手段により取得された輝度に基づいて、前記赤外画像と前記可視画像とを合成した合成画像を生成するための前記赤外画像と前記可視画像との合成比率を決定する決定手段と、
前記決定手段により決定された合成比率に基づいて前記赤外画像と前記可視画像とを合成する合成手段と、
前記合成比率の変化量が閾値を超えた場合に、前記合成比率の変化量が前記閾値を超えないように前記合成比率を補正する補正手段と、
を有する。
本発明に係る画像処理装置の第1実施形態として、可視光領域及び赤外光領域で同一の被写体の撮像を行い、撮像により得られた可視画像および赤外画像を合成して得られる合成画像をネットワーク配信するカメラ装置を例に挙げて以下に説明する。なお、以下の説明では、所定のフレームレートで可視動画像および赤外動画像を取得し、同じタイミングで取得された可視フレーム画像および赤外フレーム画像の画像ペアを合成し配信することを想定する。また、以下の説明では、合成画像として疑似カラー画像(MIX画像)を生成する形態について説明するが、モノクロ画像を生成する形態にも適用可能である。
図1は、第1実施形態におけるカメラ装置の構成を示す図である。また、図2は、カメラ装置の設置形態を説明する図である。
図4は、カメラ装置の全体動作を示すフローチャートである。具体的には、可視画像、赤外画像を取得し、MIX画像を配信するまでのカメラ装置100の動作を示している。なお、以下の説明では、あるタイミングでの注目フレーム画像(可視画像および赤外画像のペア)について記載しているが、撮像素子102、112により撮像された各フレーム画像について実行される。
第2実施形態では、急な輝度変化に対する合成比率の算出処理の他の形態について説明する。装置構成及び全体動作については第1実施形態と同様であるため説明は省略する。以下では、第1実施形態(図7~図9)と異なる部分について主に説明を行う。
図10は、時間に対する輝度値変化の他の例を示す図である。具体的には、輝度センサ107で検知した輝度値の時間推移の一例をプロットしたものである。マーカ300、301、302、303、304は、連続する5つのタイミングでの輝度値を丸印としてプロットしたものである。5つのマーカの中で、マーカ302の時間的変化が、閾値を超えて下回っている。特に、マーカ302の前後のマーカ301、303の輝度値はほぼ同じであり、マーカ302の輝度値のみが急激に落ち込んでいる。この場合、輝度判定部108はマーカ302を閾値の傾き情報に従って補正を行う。
上述の実施形態において、合成画像の合成比率を輝度値に応じて間接的に制御する例を説明したが、合成比率を直接的に制御することも可能である。例えば、合成比率が急激に変化した場合に、その変化が一時的なものであれば、その急激な変化が生じる前の合成比率の経時変化のデータに基づいて、急激な変化が生じた後の合成比率を補正する。具体的には、急激な変化が生じる前の合成比率の経時変化のデータから急激な変化が生じた後の合成比率の予測データを外挿補完し、この予測データに近づけるように合成比率を補正する。ここで、合成比率の変化が急激なものである否かは、合成比率の変化量が所定値(閾値)以上か否かにより判定する。また、合成比率の変化が一時的なものであるか否かは、合成比率の変化量が所定値(閾値)以上の状態が所定時間未満であるか否かにより判定する。以上の処理により、輝度値の急激な一時的変化が生じた場合における合成比率の急激な変動を抑制することが可能となる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (11)
- 可視画像と赤外画像とを取得する画像取得手段と、
前記可視画像の輝度を取得する輝度取得手段と、
前記輝度取得手段により取得された輝度に基づいて、前記赤外画像と前記可視画像とを合成した合成画像を生成するための前記赤外画像と前記可視画像との合成比率を決定する決定手段と、
前記決定手段により決定された合成比率に基づいて前記赤外画像と前記可視画像とを合成する合成手段と、
前記合成比率の変化量が閾値を超えた場合に、前記合成比率の変化量が前記閾値を超えないように前記合成比率を補正する補正手段と、
を有することを特徴とする画像処理装置。 - 前記補正手段は、前記輝度の変化率が閾値を超えた場合に、前記輝度の変化率が閾値を超えないように前記輝度を補正し、
前記決定手段は、前記補正手段により補正された輝度に基づいて、前記合成比率を決定する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記決定手段は、相対的に低い輝度における変化量が、相対的に高い輝度における変化量よりも小さくなるよう前記合成比率を決定する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記決定手段は、前記輝度が大きいほど、前記合成画像における前記赤外画像の割合が小さくなるように前記合成比率を決定する
ことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。 - 前記輝度取得手段は、取得される時間がそれぞれ異なる第1の輝度、第2の輝度および第3の輝度を順次取得し、
前記決定手段は、前記第1の輝度と前記第2の輝度との間の時間方向の第1の輝度変化率を算出するとともに、前記第2の輝度と前記第3の輝度との間の時間方向の第2の輝度変化率を算出し、
前記補正手段は、第1の輝度変化率と前記第2の輝度変化率とに基づいて前記第2の輝度を補正する
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - 前記決定手段は、前記第1の輝度と前記第3の輝度との間の第3の輝度変化率を算出し、
前記補正手段は、前記第3の輝度変化率が前記第1の輝度変化率より小さくかつ前記第2の輝度変化率より小さい場合に、前記第2の輝度を補正する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記画像処理装置の周辺の輝度情報を生成する輝度センサを更に有し、
前記輝度取得手段は、前記輝度センサにより生成された輝度情報に基づいて前記輝度を取得する
ことを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 - 可視画像と赤外画像とを合成する画像処理装置の制御方法であって、可視画像と赤外画像とを取得する画像取得工程と、
前記可視画像の輝度を取得する輝度取得工程と、
前記輝度取得工程により取得された輝度に基づいて、前記赤外画像と前記可視画像とを合成した合成画像を生成するための前記赤外画像と前記可視画像との合成比率を決定する決定工程と、
前記決定工程により決定された合成比率に基づいて前記赤外画像と前記可視画像とを合成する合成工程と、
前記合成比率の変化量が閾値を超えた場合に、前記合成比率の変化量が前記閾値を超えないように前記合成比率を補正する補正工程と、
を含むことを特徴とする画像処理装置の制御方法。 - 前記補正工程では、前記輝度の変化率が閾値を超えた場合に、前記輝度の変化率が閾値を超えないように前記輝度を補正し、
前記決定工程では、前記補正工程により補正された輝度に基づいて、前記合成比率を決定する、
ことを特徴とする請求項8に記載の画像処理装置の制御方法。 - 前記決定工程では、相対的に低い輝度における変化量が、相対的に高い輝度における変化量よりも小さくなるよう前記合成比率を決定する
ことを特徴とする請求項8又は9に記載の画像処理装置の制御方法。 - コンピュータを、請求項1に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/710,729 US11343434B2 (en) | 2018-12-20 | 2019-12-11 | Image processing apparatus and control method for same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018238650 | 2018-12-20 | ||
JP2018238650 | 2018-12-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020102839A JP2020102839A (ja) | 2020-07-02 |
JP7465076B2 true JP7465076B2 (ja) | 2024-04-10 |
Family
ID=71140050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019209005A Active JP7465076B2 (ja) | 2018-12-20 | 2019-11-19 | 画像処理装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7465076B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227876A (ja) | 2005-02-17 | 2006-08-31 | Denso Corp | 夜間画像による霧検出装置 |
JP2007089096A (ja) | 2005-09-26 | 2007-04-05 | Funai Electric Co Ltd | フラットパネルディスプレイ型テレビジョン受信機、および、パネル用信号生成装置 |
JP2014135627A (ja) | 2013-01-10 | 2014-07-24 | Hitachi Ltd | 撮像装置 |
WO2017099150A1 (ja) | 2015-12-08 | 2017-06-15 | 三菱電機株式会社 | 画像処理装置及び方法並びにプログラム及び記録媒体 |
JP2017157902A (ja) | 2016-02-29 | 2017-09-07 | ソニー株式会社 | 信号処理装置、撮像装置および信号処理方法 |
JP2018195085A (ja) | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
-
2019
- 2019-11-19 JP JP2019209005A patent/JP7465076B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227876A (ja) | 2005-02-17 | 2006-08-31 | Denso Corp | 夜間画像による霧検出装置 |
JP2007089096A (ja) | 2005-09-26 | 2007-04-05 | Funai Electric Co Ltd | フラットパネルディスプレイ型テレビジョン受信機、および、パネル用信号生成装置 |
JP2014135627A (ja) | 2013-01-10 | 2014-07-24 | Hitachi Ltd | 撮像装置 |
WO2017099150A1 (ja) | 2015-12-08 | 2017-06-15 | 三菱電機株式会社 | 画像処理装置及び方法並びにプログラム及び記録媒体 |
JP2017157902A (ja) | 2016-02-29 | 2017-09-07 | ソニー株式会社 | 信号処理装置、撮像装置および信号処理方法 |
JP2018195085A (ja) | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020102839A (ja) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102010228B1 (ko) | 화상처리장치, 화상처리방법, 및 프로그램 | |
US11290645B2 (en) | Imaging processing device, imaging system and imaging apparatus including the same, and image processing method | |
US8773509B2 (en) | Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images | |
US20110090341A1 (en) | Intruding object detection system and controlling method thereof | |
CN110661947B (zh) | 摄像设备及其控制方法和存储介质 | |
US8310565B2 (en) | Digital camera with face detection and electronic zoom control function | |
US11343434B2 (en) | Image processing apparatus and control method for same | |
US8620030B2 (en) | Image processing apparatus and image processing method | |
JP2009177472A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
US10237488B2 (en) | Image capturing apparatus and image capturing method | |
JPWO2019146226A1 (ja) | 画像処理装置、および出力情報制御方法、並びにプログラム | |
JP2015231118A (ja) | 画像合成装置、画像合成システム及び画像合成方法 | |
JP6040042B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20180262710A1 (en) | Video signal processing apparatus, video signal processing method, and program | |
JP2012521702A (ja) | フィルムジャダの補正方法および補正システム | |
JP5771767B1 (ja) | 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム | |
JP7465076B2 (ja) | 画像処理装置およびその制御方法 | |
US9571720B2 (en) | Image processing device, display device, imaging apparatus, image processing method, and program | |
US20180069998A1 (en) | Imaging apparatus, imaging system, and vehicle | |
JPWO2018105097A1 (ja) | 画像合成装置、画像合成方法、及び画像合成プログラム | |
US11109034B2 (en) | Image processing apparatus for alignment of images, control method for image processing apparatus, and storage medium | |
JP6943151B2 (ja) | 表示制御装置及び表示制御システム | |
CN113497877A (zh) | 摄像设备、控制方法和存储介质 | |
JP2017183983A (ja) | 撮像装置、その制御方法、および制御プログラム | |
US10070056B2 (en) | Omnidirectional camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240329 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7465076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |