JP6608548B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6608548B2 JP6608548B2 JP2018560326A JP2018560326A JP6608548B2 JP 6608548 B2 JP6608548 B2 JP 6608548B2 JP 2018560326 A JP2018560326 A JP 2018560326A JP 2018560326 A JP2018560326 A JP 2018560326A JP 6608548 B2 JP6608548 B2 JP 6608548B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- enlargement
- combined
- reduction processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 277
- 238000003672 processing method Methods 0.000 title claims description 17
- 230000009467 reduction Effects 0.000 claims description 178
- 238000011946 reduction process Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 21
- 230000008602 contraction Effects 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims description 15
- 238000010168 coupling process Methods 0.000 claims description 15
- 238000005859 coupling reaction Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000004075 alteration Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005304 joining Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
Description
図3は、本実施形態のコンピュータ側画像処理部(画像処理装置)63の機能を示すブロック図である。コンピュータ側画像処理部63は、コンピュータ60のコンピュータコントローラ64に備えられており、画像入力部101、V方向拡縮処理部103、および結合画像生成部105を備える。
次に第2の実施形態に関して説明する。本実施形態においては、第1の実施形態とは異なり、画像を結合する方向(H方向)への拡縮も行われる。
次に、本発明で結合された結合画像の例について説明する。なお、以下に説明する結合画像の例は2枚の撮影画像により1枚の結合画像が生成されるものであるが、本発明の適用範囲はこれに限定されず、3枚以上の撮影画像により、1枚の結合画像が生成される場合にも当然に本発明は適用される。
図12は本例の結合画像を示す図である。図12では、撮影画像Fと撮影画像Gとの結合画像FGが示されている。撮影画像Fと撮影画像Gとは、撮影画像の結合部Jにおいて画像の大きさが揃えられている。具体的には、V方向拡縮処理部103は、撮影画像Fおよび/またはGを拡縮処理することにより、結合部Jにおける画像の大きさを揃える。
図13は本例の結合画像を説明する図である。図13(A)には比較のために図12によって示した結合画像FGが示されており、図13(B)には本例の結合画像が示されている。
図14は本例の結合画像を説明する図である。図14に示された結合画像FGは、図12によって説明を行った結合画像FGである。すなわち、結合部Jの端部の画像の大きさを揃える(段差を無くす)ような倍率によって拡縮処理された結合画像FGである。この場合には、例えばQ1またはQ2のように画像の中間部分において歪みが大きくなってしまう。そこで本例では、このように歪みが大きくなる部分においては異なる倍率により、拡縮処理を行う。すなわち、本例においては、V方向の位置または画素に応じて異なる倍率により拡縮処理が行われる。
図15および図16は、本例の結合画像を説明する図である。本例の結合画像は、H方向の拡縮処理も行われる。
11 被写体
12 レンズユニット
14 カメラ本体
16 レンズ
17 絞り
18 光学系操作部
20 レンズユニットコントローラ
22 レンズユニット入出力部
26 撮像素子
28 カメラ本体コントローラ
30 カメラ本体入出力部
32 入出力インターフェース
34 デバイス制御部
35 画像処理部
60 コンピュータ
62 コンピュータ入出力部
63 コンピュータ側画像処理部
64 コンピュータコントローラ
66 ディスプレイ
70 インターネット
80 サーバ
82 サーバ入出力部
84 サーバコントローラ
101 画像入力部
103 V方向拡縮処理部
105 結合画像生成部
111A〜C 撮影画像
113A〜C 中間画像
115 結合画像
123 拡縮処理部
127 H方向拡縮処理部
129 シャープネス処理部
Claims (13)
- 複数のカメラで撮影された複数の画像が入力される画像入力部と、
前記複数の画像のうちの互いに結合する2枚の画像の少なくとも一方の画像を、前記2枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理部と、
前記拡縮処理部による拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成部と、を備え、
前記拡縮処理部は、前記2枚の画像の少なくとも前記一方の画像の全体を同じ所定の倍率によって拡縮処理し、前記2枚の画像が互いに結合する結合部の画像における前記垂直な方向のずれを抑制する画像処理装置。 - 前記拡縮処理部は、前記所定の倍率によって拡縮処理し、前記結合部の画像の大きさを揃える請求項1に記載の画像処理装置。
- 複数のカメラで撮影された複数の画像が入力される画像入力部と、
前記複数の画像のうちの互いに結合する2枚の画像の少なくとも一方の画像を、前記2枚の画像を結合する方向と垂直な方向に拡縮処理する第1の拡縮処理部と、
前記2枚の画像の少なくとも前記一方の画像における前記2枚の画像が互いに結合する結合部の画像を含む一部の画像を、前記2枚の画像を結合する方向に拡縮処理する第2の拡縮処理部と、
前記第1の拡縮処理部および前記第2の拡縮処理部による拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成部と、を備え、
前記第1の拡縮処理部は、前記2枚の画像の少なくとも前記一方の画像の全体を同じ所定の第1の倍率によって拡縮処理し、前記互いに結合する前記2枚の画像の前記結合部の画像における前記垂直な方向のずれを抑制し、
前記第2の拡縮処理部は、前記一部の画像を所定の第2の倍率によって拡縮処理し、前記互いに結合する前記2枚の画像の前記結合部の画像におけるずれまたは歪みを抑制し前記結合する方向に連続させる画像処理装置。 - 前記第1の拡縮処理部は、前記所定の第1の倍率によって拡縮処理し、前記結合部の画像の大きさを揃える請求項3に記載の画像処理装置。
- 前記第2の拡縮処理部は、前記垂直な方向において前記一方の画像の位置に応じて、前記一部の画像を拡縮処理する請求項3又は4に記載の画像処理装置。
- 前記第2の拡縮処理部は、前記垂直な方向において前記一方の画像の画素に応じて、前記一部の画像を拡縮処理する請求項3から5のいずれか1項に記載の画像処理装置。
- 前記一部の画像は、前記結合する方向における前記結合する画像の一辺の長さの1%以上10%以下の幅を有する請求項3から6のいずれか1項に記載の画像処理装置。
- 前記拡縮処理が行われた前記複数の画像に、シャープネス処理を行うシャープネス処理部を備える請求項1から7のいずれか1項に記載の画像処理装置。
- 前記結合画像生成部により生成された前記結合画像は、歪みが5画素以下である請求項1から8のいずれか1項に記載の画像処理装置。
- 複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
前記複数の画像のうちの互いに結合する2枚の画像の少なくとも一方の画像を、前記2枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理ステップと、
前記拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
前記拡縮処理ステップは、前記2枚の画像の少なくとも前記一方の画像の全体を同じ所定の倍率によって拡縮処理し、前記2枚の画像が互いに結合する結合部の画像における前記垂直な方向のずれを抑制する画像処理方法。 - 複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
前記複数の画像のうちの互いに結合する2枚の画像の少なくとも一方の画像を、前記2枚の画像を結合する方向と垂直な方向に拡縮処理する第1の拡縮処理ステップと、
前記2枚の画像の少なくとも前記一方の画像における前記2枚の画像が互いに結合する結合部の画像を含む一部の画像を、前記2枚の画像を結合する方向に拡縮処理する第2の拡縮処理ステップと、
前記第1の拡縮処理ステップおよび前記第2の拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
前記第1の拡縮処理ステップは、前記2枚の画像の少なくとも前記一方の画像の全体を同じ所定の第1の倍率によって拡縮処理し、前記互いに結合する前記2枚の画像の前記結合部の画像における前記垂直な方向のずれを抑制し、
前記第2の拡縮処理ステップは、前記一部の画像を所定の第2の倍率によって拡縮処理し、前記互いに結合する前記2枚の画像の前記結合部の画像におけるずれまたは歪みを抑制し前記結合する方向に連続させる画像処理方法。 - 複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
前記複数の画像のうちの互いに結合する2枚の画像の少なくとも一方の画像を、前記2枚の画像を結合する方向と垂直な方向のみ拡縮処理する拡縮処理ステップと、
前記拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
前記拡縮処理ステップは、前記2枚の画像の少なくとも前記一方の画像の全体を同じ所定の倍率によって拡縮処理し、前記2枚の画像が互いに結合する結合部の画像における前記垂直な方向のずれを抑制する画像処理方法をコンピュータに実行させるプログラム。 - 複数のカメラで撮影された複数の画像が入力される画像入力ステップと、
前記複数の画像のうちの互いに結合する2枚の画像の少なくとも一方の画像を、前記2枚の画像を結合する方向と垂直な方向に拡縮処理する第1の拡縮処理ステップと、
前記2枚の画像の少なくとも前記一方の画像における前記2枚の画像が互いに結合する結合部の画像を含む一部の画像を、前記2枚の画像を結合する方向に拡縮処理する第2の拡縮処理ステップと、
前記第1の拡縮処理ステップおよび前記第2の拡縮処理ステップによる拡縮処理後の前記複数の画像を結合し、連続する結合画像を生成する結合画像生成ステップと、を含み、
前記第1の拡縮処理ステップは、前記2枚の画像の少なくとも前記一方の画像の全体を同じ所定の第1の倍率によって拡縮処理し、前記互いに結合する前記2枚の画像の前記結合部の画像における前記垂直な方向のずれを抑制し、
前記第2の拡縮処理ステップは、前記一部の画像を所定の第2の倍率によって拡縮処理し、前記互いに結合する前記2枚の画像の前記結合部の画像におけるずれまたは歪みを抑制し前記結合する方向に連続させる画像処理方法をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017001273 | 2017-01-06 | ||
JP2017001273 | 2017-01-06 | ||
PCT/JP2017/041232 WO2018128011A1 (ja) | 2017-01-06 | 2017-11-16 | 画像処理装置、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018128011A1 JPWO2018128011A1 (ja) | 2019-11-07 |
JP6608548B2 true JP6608548B2 (ja) | 2019-11-20 |
Family
ID=62791164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560326A Active JP6608548B2 (ja) | 2017-01-06 | 2017-11-16 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190295215A1 (ja) |
JP (1) | JP6608548B2 (ja) |
CN (1) | CN110169044B (ja) |
WO (1) | WO2018128011A1 (ja) |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69324224T2 (de) * | 1992-12-29 | 1999-10-28 | Koninkl Philips Electronics Nv | Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern |
US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
JPH11112790A (ja) * | 1997-10-06 | 1999-04-23 | Canon Inc | 画像合成装置および方法 |
US6486908B1 (en) * | 1998-05-27 | 2002-11-26 | Industrial Technology Research Institute | Image-based method and system for building spherical panoramas |
US7149367B2 (en) * | 2002-06-28 | 2006-12-12 | Microsoft Corp. | User interface for a system and method for head size equalization in 360 degree panoramic images |
JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
JP4674900B2 (ja) * | 2005-10-14 | 2011-04-20 | アルパイン株式会社 | 車載画像表示装置 |
US8164600B2 (en) * | 2007-12-06 | 2012-04-24 | Barco Nv | Method and system for combining images generated by separate sources |
US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
JP5141470B2 (ja) * | 2008-09-25 | 2013-02-13 | オムロン株式会社 | 画像合成方法および画像処理システム |
US8319823B2 (en) * | 2009-11-03 | 2012-11-27 | Jadak, Llc | System and method for panoramic image stitching |
CN101751659B (zh) * | 2009-12-24 | 2012-07-25 | 北京优纳科技有限公司 | 大容量快速图像拼接方法 |
JP5526921B2 (ja) * | 2010-03-29 | 2014-06-18 | ソニー株式会社 | 撮像装置、電子機器および表示制御方法 |
JP2012109737A (ja) * | 2010-11-16 | 2012-06-07 | Mitsubishi Electric Corp | 画像結合装置、画像結合方法、画像入出力システム、プログラム、及び記録媒体 |
JP2015156051A (ja) * | 2012-06-06 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
KR20150021353A (ko) * | 2013-08-20 | 2015-03-02 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
CN104691415B (zh) * | 2013-12-07 | 2017-02-01 | 惠州市德赛西威汽车电子股份有限公司 | 全景泊车辅助装置 |
US9196039B2 (en) * | 2014-04-01 | 2015-11-24 | Gopro, Inc. | Image sensor read window adjustment for multi-camera array tolerance |
JP6253030B2 (ja) * | 2015-02-06 | 2017-12-27 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置および画像処理方法 |
CN106023073A (zh) * | 2016-05-06 | 2016-10-12 | 安徽伟合电子科技有限公司 | 一种图像拼接系统 |
-
2017
- 2017-11-16 WO PCT/JP2017/041232 patent/WO2018128011A1/ja active Application Filing
- 2017-11-16 JP JP2018560326A patent/JP6608548B2/ja active Active
- 2017-11-16 CN CN201780082238.5A patent/CN110169044B/zh active Active
-
2019
- 2019-06-14 US US16/441,848 patent/US20190295215A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JPWO2018128011A1 (ja) | 2019-11-07 |
CN110169044B (zh) | 2021-04-23 |
CN110169044A (zh) | 2019-08-23 |
WO2018128011A1 (ja) | 2018-07-12 |
US20190295215A1 (en) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4869795B2 (ja) | 撮像制御装置、撮像システム、および撮像制御方法 | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JPH06217184A (ja) | 複眼撮像装置 | |
JP5376993B2 (ja) | 情報処理装置、撮像装置、および情報処理装置の制御方法 | |
JP5735846B2 (ja) | 画像処理装置およびその方法 | |
US20200111198A1 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium | |
WO2015186510A1 (ja) | 撮像装置および方法、並びにプログラム | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP6592622B2 (ja) | 画像処理装置、画像処理方法、およびカメラシステム | |
JP6608548B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6628908B2 (ja) | 画像処理装置、画像処理方法、およびカメラシステム | |
JP2006157432A (ja) | 立体画像撮影装置及び立体画像の撮影方法 | |
JP2004242125A (ja) | 画像処理装置 | |
JP2020057967A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
CN110784642B (zh) | 图像处理装置及其控制方法以及存储介质、摄像装置 | |
JP5278421B2 (ja) | 撮像装置 | |
KR20120069543A (ko) | 화상 처리 장치, 화상 처리 방법 및 촬상 장치 | |
JP2019176302A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5333163B2 (ja) | 撮像装置 | |
JP2018174431A (ja) | 画像処理装置、撮影装置、及び画像処理方法 | |
JP3270620B2 (ja) | 画像入力方法 | |
JP2006139697A (ja) | 画像処理装置及び画像処理方法 | |
WO2014136703A1 (ja) | 撮像装置及び画像表示方法 | |
JP2016099836A (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190618 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190618 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6608548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |