JP5602985B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5602985B2 JP5602985B2 JP2007245835A JP2007245835A JP5602985B2 JP 5602985 B2 JP5602985 B2 JP 5602985B2 JP 2007245835 A JP2007245835 A JP 2007245835A JP 2007245835 A JP2007245835 A JP 2007245835A JP 5602985 B2 JP5602985 B2 JP 5602985B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- superimposed
- calibration
- images
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000004364 calculation method Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 description 96
- 238000010586 diagram Methods 0.000 description 10
- 238000004091 panning Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
ここで、R、G、Bは、それぞれ赤色、緑色、青色を意味する。ここで、ratio_R、ratio_G、ratio_Bは、それぞれ赤色の色相数値を校正するための校正因子、緑色の色相数値を校正するための校正因子、青色の色相数値を校正するための校正因子を意味する。
G_corrected_i=G_org_i*ratio_G (3)
B_corrected_i=B_org_i*ratio_B
このとき、iは、色相を校正しようとするピクセル(すなわち、第n重畳画像を構成するそれぞれのピクセルごとに、i値は異なる)の識別記号を意味し、R_corrected_i、G_corrected_i、B_corrected_iは、それぞれ赤色の校正数値、緑色の校正数値、青色の色相数値を意味し、R_org_i、G_org_i、B_org_iは、それぞれ赤色の校正前色相数値、緑色の校正前色相数値、青色の校正前色相数値を意味する。
ステップ614で、画像整列部220は、第n撮影画像及び第n+1撮影画像のうち少なくとも一つ、または第nマッピング画像及び第n+1マッピング画像のうち少なくとも一つをステップ612で求められた適正移動量ほど移動させる。
212 画像保存部
214 読み取り部
216 マッピング部
218 適正移動量演算部
220 画像整列部
222 校正因子演算部
224 画像校正部
226 比較部
Claims (9)
- 相互連結しようとする各画像のうち少なくとも一つを、前記画像にそれぞれ含まれた色相が最大限一致するように移動させ、再整列信号に応答して反復的に移動させる画像整列部と、
現在移動された結果として重畳された前記画像で重畳される領域間の色類似度と、直前に移動された結果として重畳された前記画像で重畳される領域間の色類似度との差を臨界値と比較する比較部と、
前記比較の結果前記色類似度間の差が前記臨界値以上の場合、前記現在移動された結果として重畳された前記画像で重畳される領域の色相を考慮して校正因子を演算し、前記演算された校正因子を利用して前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域の色相を、校正し、前記再整列信号を生成する画像校正処理部と、を備え、
前記画像整列部は、前記画像で重畳される領域間の色類似度に基づいて前記画像にそれぞれ含まれた色相が最大限一致するか否かを判断して、前記画像にそれぞれ含まれた色相が最大限一致するように前記画像のうち少なくとも一つを移動させ、
前記画像整列部は、前記比較の結果前記色類似度間の差が前記臨界値未満の場合、前記現在移動された結果重畳された前記画像を用いてパノラマ画像を生成することを特徴とする画像処理装置。 - 前記画像校正処理部は、
前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに前記演算された校正因子を利用して前記少なくとも一つの色相を校正する、ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像校正処理部は、
可能な色相数値ごとに、前記可能な色相数値の校正数値を前記演算された校正因子を利用して演算数値を演算する校正数値演算部と、
前記可能な色相数値をアドレスとして前記校正数値を保存する校正数値保存部と、
前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに、前記ピクセルの色相数値をアドレスとして有する校正数値を、前記保存された校正数値のうちから読み取る校正数値読み取り部と、
をさらに備えることを特徴とする請求項1に記載の画像処理装置。 - 相互連結しようとする各画像のうち少なくとも一つを、前記画像にそれぞれ含まれた色相が最大限一致するように移動させ、再整列信号に応答して反復的に移動させる画像整列ステップと、
現在移動された結果として重畳された前記画像で重畳される領域間の色類似度と、直前に移動された結果として重畳された前記画像で重畳される領域間の色類似度との差を臨界値と比較する比較ステップと、
前記比較の結果前記色類似度間の差が前記臨界値以上の場合、前記現在移動された結果として重畳された前記画像で重畳される領域の色相を考慮して校正因子を演算し、前記演算された校正因子を利用して前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域の色相を、校正し、前記再整列信号を生成する画像校正処理ステップと、を備え、
前記画像整列ステップは、前記画像で重畳される領域間の色類似度に基づいて前記画像にそれぞれ含まれた色相が最大限一致するか否かを判断して、前記画像にそれぞれ含まれた色相が最大限一致するように前記画像のうち少なくとも一つを移動させ、
前記画像整列ステップは、前記比較の結果前記色類似度間の差が前記臨界値未満の場合、前記現在移動された結果重畳された前記画像を用いてパノラマ画像を生成することを特徴とする画像処理方法。 - 前記画像校正処理ステップは、
前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに前記演算された校正因子を利用して前記少なくとも一つの色相を校正する、ことを特徴とする請求項4に記載の画像処理方法。 - 前記画像校正処理ステップは、
可能な色相数値ごとに、前記可能な色相数値の校正数値を前記演算された校正因子を利用して演算数値を演算するステップと、
前記可能な色相数値をアドレスとして前記校正数値を保存するステップと、
前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに、前記ピクセルの色相数値をアドレスとして有する校正数値を、前記保存された校正数値のうちから読み取るステップと、
をさらに備えることを特徴とする請求項4に記載の画像処理方法。 - 画像処理装置に画像処理方法を実行させるコンピュータプログラムであって、前記画像処理方法は、
相互連結しようとする各画像のうち少なくとも一つを、前記画像にそれぞれ含まれた色相が最大限一致するように移動させ、再整列信号に応答して反復的に移動させる画像整列ステップと、
現在移動された結果として重畳された前記画像で重畳される領域間の色類似度と、直前に移動された結果として重畳された前記画像で重畳される領域間の色類似度との差を臨界値と比較する比較ステップと、
前記比較の結果前記色類似度間の差が前記臨界値以上の場合、前記現在移動された結果として重畳された前記画像で重畳される領域の色相を考慮して校正因子を演算し、前記演算された校正因子を利用して前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域の色相を、校正し、前記再整列信号を生成する画像校正処理ステップと、を備え、
前記画像整列ステップは、前記画像で重畳される領域間の色類似度に基づいて前記画像にそれぞれ含まれた色相が最大限一致するか否かを判断して、前記画像にそれぞれ含まれた色相が最大限一致するように前記画像のうち少なくとも一つを移動させ、
前記画像整列ステップは、前記比較の結果前記色類似度間の差が前記臨界値未満の場合、前記現在移動された結果重畳された前記画像を用いてパノラマ画像を生成することを特徴とする、コンピュータプログラム。 - 前記画像校正処理ステップは、
前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに前記演算された校正因子を利用して前記少なくとも一つの色相を校正する、ことを特徴とする請求項7に記載のコンピュータプログラム。 - 前記画像校正処理ステップは、
可能な色相数値ごとに、前記可能な色相数値の校正数値を前記演算された校正因子を利用して演算数値を演算するステップと、
前記可能な色相数値をアドレスとして前記校正数値を保存するステップと、
前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに、前記ピクセルの色相数値をアドレスとして有する校正数値を、前記保存された校正数値のうちから読み取るステップと、
をさらに備えることを特徴とする請求項7に記載のコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2006-0092452 | 2006-09-22 | ||
KR1020060092452A KR100790887B1 (ko) | 2006-09-22 | 2006-09-22 | 영상 처리장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008077666A JP2008077666A (ja) | 2008-04-03 |
JP5602985B2 true JP5602985B2 (ja) | 2014-10-08 |
Family
ID=38800932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007245835A Active JP5602985B2 (ja) | 2006-09-22 | 2007-09-21 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8000561B2 (ja) |
EP (1) | EP1903498B1 (ja) |
JP (1) | JP5602985B2 (ja) |
KR (1) | KR100790887B1 (ja) |
CN (1) | CN101150650B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8610741B2 (en) * | 2009-06-02 | 2013-12-17 | Microsoft Corporation | Rendering aligned perspective images |
JP2012105145A (ja) * | 2010-11-11 | 2012-05-31 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
KR101742120B1 (ko) * | 2011-06-10 | 2017-05-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US20130106990A1 (en) | 2011-11-01 | 2013-05-02 | Microsoft Corporation | Planar panorama imagery generation |
US10008021B2 (en) | 2011-12-14 | 2018-06-26 | Microsoft Technology Licensing, Llc | Parallax compensation |
CN103945087B (zh) | 2013-01-22 | 2017-10-27 | 深圳市腾讯计算机系统有限公司 | 图像色调的调节方法和调节装置 |
KR20140112909A (ko) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 파노라마 영상을 생성하는 전자 장치 및 방법 |
JP6467787B2 (ja) * | 2014-05-27 | 2019-02-13 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法およびプログラム |
KR20180051288A (ko) * | 2016-11-08 | 2018-05-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
KR102052725B1 (ko) * | 2019-03-27 | 2019-12-20 | (주)더홍 | 이미지 스티칭 기법을 이용한 차량 내부의 vr 이미지 생성 방법 및 장치 |
US11948315B2 (en) * | 2020-12-31 | 2024-04-02 | Nvidia Corporation | Image composition in multiview automotive and robotics systems |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05342344A (ja) * | 1992-06-08 | 1993-12-24 | Canon Inc | 画像処理方法及び画像処理システム |
US6038349A (en) * | 1995-09-13 | 2000-03-14 | Ricoh Company, Ltd. | Simultaneous registration of multiple image fragments |
JPH09322061A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 画像合成装置 |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
US6011558A (en) * | 1997-09-23 | 2000-01-04 | Industrial Technology Research Institute | Intelligent stitcher for panoramic image-based virtual worlds |
US6456323B1 (en) * | 1999-12-31 | 2002-09-24 | Stmicroelectronics, Inc. | Color correction estimation for panoramic digital camera |
US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
CN100338631C (zh) * | 2003-07-03 | 2007-09-19 | 马堃 | 数字成像设备现场全景成像的方法 |
US20050063608A1 (en) | 2003-09-24 | 2005-03-24 | Ian Clarke | System and method for creating a panorama image from a plurality of source images |
US7840067B2 (en) * | 2003-10-24 | 2010-11-23 | Arcsoft, Inc. | Color matching and color correction for images forming a panoramic image |
JP4321251B2 (ja) * | 2003-12-16 | 2009-08-26 | 株式会社日立製作所 | 合成画像を生成・表示する装置及び方法 |
-
2006
- 2006-09-22 KR KR1020060092452A patent/KR100790887B1/ko active IP Right Grant
-
2007
- 2007-09-21 CN CN2007101535598A patent/CN101150650B/zh active Active
- 2007-09-21 EP EP07116963.5A patent/EP1903498B1/en active Active
- 2007-09-21 US US11/902,495 patent/US8000561B2/en active Active
- 2007-09-21 JP JP2007245835A patent/JP5602985B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR100790887B1 (ko) | 2008-01-02 |
CN101150650B (zh) | 2013-02-20 |
US8000561B2 (en) | 2011-08-16 |
EP1903498A3 (en) | 2008-04-23 |
JP2008077666A (ja) | 2008-04-03 |
EP1903498B1 (en) | 2018-08-15 |
US20080170804A1 (en) | 2008-07-17 |
EP1903498A2 (en) | 2008-03-26 |
CN101150650A (zh) | 2008-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5602985B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
CN110622497B (zh) | 具备具有不同焦距的相机的设备及实现相机的方法 | |
JP5116416B2 (ja) | パノラマ映像生成装置及び方法 | |
CN104992408B (zh) | 用于用户终端的全景图像生成方法和装置 | |
KR100796849B1 (ko) | 휴대 단말기용 파노라마 모자이크 사진 촬영 방법 | |
US9600863B2 (en) | Method for combining images | |
US20040042685A1 (en) | Image warping correction in forming 360 degree panoramic images | |
CN112311965A (zh) | 虚拟拍摄方法、装置、系统及存储介质 | |
CN105144687A (zh) | 图像处理装置、图像处理方法及程序 | |
CN112655194B (zh) | 用于捕获视图的电子装置和方法 | |
JP6537231B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP2688286A2 (en) | Robust two dimensional panorama generation using light field camera capture | |
CN110611767A (zh) | 图像处理方法、装置和电子设备 | |
CN110278366B (zh) | 一种全景图像虚化方法、终端及计算机可读存储介质 | |
CN112215880A (zh) | 一种图像深度估计方法及装置、电子设备、存储介质 | |
KR100513789B1 (ko) | 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라 | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
CN110796690B (zh) | 图像匹配方法和图像匹配装置 | |
CN116245734A (zh) | 全景图像生成方法、装置、设备和存储介质 | |
JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
US10419666B1 (en) | Multiple camera panoramic images | |
JP2016039597A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113327198A (zh) | 一种远距离双目视频拼接方法及系统 | |
CN118247142B (zh) | 一种应用于大视场监控场景的多视点拼接方法及系统 | |
JP2008311907A (ja) | 画像データ照合装置、画像合成装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120417 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130212 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130220 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20130405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5602985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |