JP6253030B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents
画像処理装置、撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP6253030B2 JP6253030B2 JP2015022410A JP2015022410A JP6253030B2 JP 6253030 B2 JP6253030 B2 JP 6253030B2 JP 2015022410 A JP2015022410 A JP 2015022410A JP 2015022410 A JP2015022410 A JP 2015022410A JP 6253030 B2 JP6253030 B2 JP 6253030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax correction
- correction amount
- parallax
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 19
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 97
- 239000002131 composite material Substances 0.000 claims description 54
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 238000009825 accumulation Methods 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 16
- 230000005856 abnormality Effects 0.000 description 10
- 230000002194 synthesizing effect Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 238000009966 trimming Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、第1実施形態に係る画像処理システムを示す全体構成図である。図2は、図1に示した画像処理装置3で生成されて表示装置4で表示される合成画像を示す説明図である。
Pt'=min(max(Pt−Pt−1',−A),A)+Pt−1'
Pt'=min(max(Pt/Pt−1',Bmin),Bmax)×Pt−1'
次に、第2実施形態について説明する。図7は、第2実施形態に係るカメラユニット21を示す説明図である。図8は、第2実施形態に係る画像処理装置23の概略構成を示す機能ブロック図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
次に、第3実施形態について説明する。図9は、第3実施形態に係る画像処理システムを示す全体構成図である。図10は、図9に示したPC31の概略構成を示す機能ブロック図である。図11は、図9に示した表示装置4に表示される画面を示す説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
2 カメラユニット
3 画像処理装置
4 表示装置
11 視差補正量算出部
12 フィルタ
13 視差補正量蓄積部
14 パノラマ画像生成部
15 視差補正部
16 画像合成部
21 カメラユニット
21a デプスセンサ(距離検出装置)
23 画像処理装置
24 視差補正量算出部
32 マウス(操作入力装置)
33 マウスホイール
52 警告の画像
Claims (8)
- 複数の撮像画像に対して視差補正処理および画像合成処理を行って合成画像を出力する画像処理装置であって、
隣り合う2つの前記撮像画像間の視差に対応する視差補正量を算出する処理をフレームごとに行う視差補正量算出部と、
この視差補正量算出部から出力される前記視差補正量に対して時間的な変化量を制限する処理をフレームごとに行うフィルタと、
このフィルタから出力される前記視差補正量を蓄積する視差補正量蓄積部と、
前記フィルタから出力される前記視差補正量に基づいて、前記撮像画像に対して視差補正処理をフレームごとに行う視差補正部と、
この視差補正部から出力される視差補正画像に対して画像合成処理をフレームごとに行って前記合成画像を出力する画像合成部と、
を備え、
前記フィルタは、前記視差補正量算出部で算出された今回のフレームの視差補正量を、前記視差補正量蓄積部に蓄積された前回のフレームの視差補正量からの変化量が所定の許容範囲に収まるように制限して出力することを特徴とする画像処理装置。 - 前記フィルタは、前記今回のフレームの視差補正量から前記前回のフレームの視差補正量を減算して前記変化量を算出し、この変化量が所定の制限値により規定された前記許容範囲に収まる場合には、前記今回のフレームの視差補正量をそのまま出力し、前記変化量が前記許容範囲から外れる場合には、前記前回のフレームの視差補正量に前記制限値を加算して出力することを特徴とする請求項1に記載の画像処理装置。
- 前記視差補正量算出部は、隣り合う2つの前記撮像画像間でブロックマッチングを行って、前記視差補正量を算出することを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記視差補正量算出部は、被写体までの距離を検出する距離検出装置の検出結果に基づいて、前記視差補正量を算出することを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記合成画像において異常な画像領域を検出して、その異常な画像領域に関する警告を表示装置に表示させることを特徴とする請求項1から請求項4のいずれかに記載の画像処理装置。
- 操作入力装置を用いたユーザの入力操作に応じて、前記視差補正量を設定して、その視差補正量に基づいて視差補正処理を行った上で画像合成処理を行って得られた合成画像を表示装置に表示させることを特徴とする請求項1から請求項5のいずれかに記載の画像処理装置。
- 複数の撮像素子と、この撮像素子により撮像された複数の撮像画像に対して視差補正処理および画像合成処理を行って合成画像を出力する画像処理部と、を備えた撮像装置であって、
前記画像処理部は、
隣り合う2つの前記撮像画像間の視差に対応する視差補正量を算出する処理をフレームごとに行う視差補正量算出部と、
この視差補正量算出部から出力される前記視差補正量に対して時間的な変化量を制限する処理をフレームごとに行うフィルタと、
このフィルタから出力される前記視差補正量を蓄積する視差補正量蓄積部と、
前記フィルタから出力される前記視差補正量に基づいて、前記撮像画像に対して視差補正処理をフレームごとに行う視差補正部と、
この視差補正部から出力される視差補正画像に対して画像合成処理をフレームごとに行って前記合成画像を出力する画像合成部と、
を備え、
前記フィルタは、前記視差補正量算出部で算出された今回のフレームの視差補正量を、前記視差補正量蓄積部に蓄積された前回のフレームの視差補正量からの変化量が所定の許容範囲に収まるように制限して出力することを特徴とする撮像装置。 - 複数の撮像画像に対して視差補正処理および画像合成処理を行って合成画像を出力する処理を情報処理装置に行わせる画像処理方法であって、
隣り合う2つの前記撮像画像間の視差に対応する視差補正量を算出する視差補正量算出処理をフレームごとに行うステップと、
前記視差補正量算出処理で生成した前記視差補正量に対して時間的な変化量を制限するフィルタ処理をフレームごとに行うステップと、
前記フィルタ処理で生成した前記視差補正量を蓄積するステップと、
前記フィルタ処理で生成した前記視差補正量に基づいて、前記撮像画像に対して視差補正処理をフレームごとに行うステップと、
前記視差補正処理で生成した視差補正画像に対して画像合成処理をフレームごとに行って前記合成画像を出力するステップと、
を備え、
前記フィルタ処理のステップでは、前記視差補正量算出処理で算出された今回のフレームの視差補正量を、蓄積された前回のフレームの視差補正量からの変化量が所定の許容範囲に収まるように制限して出力することを特徴とする画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022410A JP6253030B2 (ja) | 2015-02-06 | 2015-02-06 | 画像処理装置、撮像装置および画像処理方法 |
US15/003,160 US10536633B2 (en) | 2015-02-06 | 2016-01-21 | Image processing device, imaging system and imaging apparatus including the same, and image processing method |
US16/694,329 US11290645B2 (en) | 2015-02-06 | 2019-11-25 | Imaging processing device, imaging system and imaging apparatus including the same, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022410A JP6253030B2 (ja) | 2015-02-06 | 2015-02-06 | 画像処理装置、撮像装置および画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017222620A Division JP6323739B2 (ja) | 2017-11-20 | 2017-11-20 | 画像処理システム、画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016146543A JP2016146543A (ja) | 2016-08-12 |
JP6253030B2 true JP6253030B2 (ja) | 2017-12-27 |
Family
ID=56685562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015022410A Active JP6253030B2 (ja) | 2015-02-06 | 2015-02-06 | 画像処理装置、撮像装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6253030B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6235094B1 (ja) * | 2016-10-14 | 2017-11-22 | 株式会社コロプラ | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
WO2018128011A1 (ja) * | 2017-01-06 | 2018-07-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN110178365B (zh) | 2017-02-15 | 2021-10-08 | 松下知识产权经营株式会社 | 图像处理装置和图像处理方法 |
JP6331178B1 (ja) | 2017-05-12 | 2018-05-30 | パナソニックIpマネジメント株式会社 | 画像処理装置、及び、画像処理方法 |
JP7215472B2 (ja) * | 2020-12-28 | 2023-01-31 | 株式会社リコー | 撮像装置および撮像方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3983623B2 (ja) * | 2002-08-09 | 2007-09-26 | シャープ株式会社 | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 |
JP2010050842A (ja) * | 2008-08-22 | 2010-03-04 | Sony Taiwan Ltd | マルチレンズカメラシステムのための高度な動的スティッチング方法 |
JP2011171813A (ja) * | 2010-02-16 | 2011-09-01 | Fujifilm Corp | 撮像装置及び立体画像表示方法 |
JP6004741B2 (ja) * | 2012-05-22 | 2016-10-12 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置 |
-
2015
- 2015-02-06 JP JP2015022410A patent/JP6253030B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016146543A (ja) | 2016-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210073942A1 (en) | Image processing device, imaging system provided therewith, and calibration method | |
US11290645B2 (en) | Imaging processing device, imaging system and imaging apparatus including the same, and image processing method | |
JP6253030B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP5049300B2 (ja) | 障害物検出表示装置 | |
JP6029380B2 (ja) | 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム | |
US9007442B2 (en) | Stereo image display system, stereo imaging apparatus and stereo display apparatus | |
JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
JP5287702B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
US11839721B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2013062741A (ja) | 画像処理装置および撮像装置、ならびに画像処理方法 | |
JP2016063248A (ja) | 画像処理装置および画像処理方法 | |
JP6862210B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2013239986A (ja) | 補助情報生成装置、撮影画像表示システム、補助情報生成方法、撮影画像表示方法、及びコンピュータプログラム | |
JP6323739B2 (ja) | 画像処理システム、画像処理装置および画像処理方法 | |
JP6664082B2 (ja) | 画像処理システム、画像処理装置および画像処理方法 | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2009296224A (ja) | 撮像手段及びプログラム | |
JP2008282077A (ja) | 撮像装置および画像処理方法並びにそのプログラム | |
JP2018137786A (ja) | 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 | |
JP2014049895A (ja) | 画像処理方法 | |
JP2009258862A (ja) | 映像表示装置及び映像表示方法 | |
JP2016208429A (ja) | 撮像装置 | |
JP6234200B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022184139A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170605 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170605 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6253030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |