JP5704975B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP5704975B2 JP5704975B2 JP2011050092A JP2011050092A JP5704975B2 JP 5704975 B2 JP5704975 B2 JP 5704975B2 JP 2011050092 A JP2011050092 A JP 2011050092A JP 2011050092 A JP2011050092 A JP 2011050092A JP 5704975 B2 JP5704975 B2 JP 5704975B2
- Authority
- JP
- Japan
- Prior art keywords
- color information
- color
- calculating
- information
- captured images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Description
図3に、一実施形態における多眼カメラ2のカラーフィルタ構成を示す。図3(a)には、例として、5×5台の、合計25台の単眼カメラを並べ、多眼カメラ2を構成した例を図示している。図3(a)では、フィルタセットAを搭載した単眼カメラと、フィルタセットBを搭載した単眼カメラを市松状に配置している。すなわち、フィルタセットAを搭載した単眼カメラと、フィルタセットBを搭載した単眼カメラは、交互に配置されている。各単眼カメラをこのように配置することによって、各単眼カメラで撮影された撮影画像を合成する際に、冗長なデータを合成するという無駄を低減させることができる。
ここでは、S204における第一の色情報の算出処理として、輝度信号の算出処理について詳細に説明する。
ここでは、S205における、複数画像間の対応点の算出処理について詳細に説明する。複数画像間の対応点は、当該複数の画像間の第一の色情報の差分を用いて算出される。
ここでは、S206における距離情報算出処理について詳細に説明する。図8(a)に示すような、2つのカメラ(カメラ1、およびカメラ2)により撮影された撮影データから距離情報を算出する方法を考える。ここで、カメラ1の光軸がZ軸と一致するように座標軸を設定する。また、カメラ1とカメラ2の光軸は平行であり、X軸に平行に並んでいるものとする。図8(b)は、図8(a)をX-Z平面に投影した図である。3次元空間における、カメラ1の焦点を原点としたときの被写体のある一点の座標を(XO, YO, ZO)とする。また、カメラ1の撮影画像の中心を原点としたときに、被写体のこの一点が、カメラ1の撮影画像で結像する点の座標を(xL, yL)とする。さらに、カメラ2の撮影画像の中心を原点としたときに、被写体のこの一点(対応点)が、カメラ2の撮影画像で結像する点の座標を(xR, yR)とする。このとき、次の式(5)が成り立つ。
ここでは、S207における第二の色情報の算出処理として、分光反射率の算出処理について詳細に説明する。多眼カメラにて撮影された複数枚の撮影画像は、S205において、画素ごとに、画像間の対応点が算出されている。従って、各画素の色情報は、1枚の画像では、3色の色情報しか持たないものの、他の画像の対応点の情報を用いることにより、6色の色情報を持つことになる。そこで、各画素の分光反射率は、6色分の画素データ(VA1, VA2, VA3, VB1, VB2, VB3)を用いて、次の式(8)にて算出する。
ここでは、S209における画像合成処理について詳細に説明する。本実施例においては、上述したように、多眼カメラによって撮影した画像(すなわち、撮影画像入力部5から読み込まれた撮影画像)間の対応点を算出することにより、各画素についての距離情報および分光情報を算出可能である。また、予め、S208にて、例えば図9に示すようなユーザーインターフェース(以下UIと記す)により合成条件が入力され、画像合成条件設定部3に当該条件が設定されている。画像合成部11は、該合成条件に基づき、距離情報及び分光情報を用いて、撮影画像入力部5から読み込まれた複数枚の撮影画像を1枚の画像に合成する。
上記、実施例1および実施例2において、フィルタ構成は、フィルタセットAとして3種類、フィルタセットBとして3種類のカラーフィルタを用いるとして説明したが、これに限定されるものではない。すなわち、4種類以上のカラーフィルタを、異なる種類のフィルタセットに分類し、かつ、各カメラに搭載されるフィルタセットが、それぞれ同一の色情報を算出可能な構成であれば、その詳細を限定するものではない。
Claims (9)
- 2種類以上のフィルタセットのうちいずれかを搭載したカメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像のデータを処理する画像処理装置であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出することで前記複数の撮影画像における被写体の奥行き情報を算出する距離情報算出手段と、
前記被写体の色を再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段と
を備えることを特徴とする画像処理装置。 - 前記第一の色情報は、輝度値であることを特徴とする請求項1に記載の画像処理装置。
- 前記第二の色情報は、分光反射率であることを特徴とする請求項1に記載の画像処理装置。
- 前記複数の撮影画像のそれぞれは、6色のカラーフィルタを3色ずつ2セットに分けたフィルタセットのうちいずれかを搭載したカメラにより撮影されたものであることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記複数の撮影画像の合成条件を入力するための合成条件設定手段を備え、
前記合成手段は、前記入力された合成条件に基づいて合成を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 2種類以上のフィルタセットのうちいずれかを搭載したカメラをアレイ状に配置した多眼カメラと、
前記多眼カメラにより撮影された複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出することで前記複数の撮影画像における被写体の奥行き情報を算出する距離情報算出手段と、
前記被写体の色を再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段と
を備えることを特徴とする多眼カメラシステム。 - 前記多眼カメラは、異なるフィルタセットが搭載されたカメラが交互に配置されていることを特徴とする請求項6に記載の多眼カメラシステム。
- 2種類以上のフィルタセットのうちいずれかを搭載したカメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像のデータを処理する画像処理方法であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出ステップと、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出することで前記複数の撮影画像における被写体の奥行き情報を算出する距離情報算出ステップと、
前記被写体の色を再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出ステップと、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成ステップと
を含むことを特徴とする画像処理方法。 - コンピューターを、請求項1乃至5のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050092A JP5704975B2 (ja) | 2011-03-08 | 2011-03-08 | 画像処理装置、画像処理方法、およびプログラム |
US13/409,045 US9008412B2 (en) | 2011-03-08 | 2012-02-29 | Image processing device, image processing method and recording medium for combining image data using depth and color information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050092A JP5704975B2 (ja) | 2011-03-08 | 2011-03-08 | 画像処理装置、画像処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012186755A JP2012186755A (ja) | 2012-09-27 |
JP2012186755A5 JP2012186755A5 (ja) | 2014-04-17 |
JP5704975B2 true JP5704975B2 (ja) | 2015-04-22 |
Family
ID=46795632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050092A Active JP5704975B2 (ja) | 2011-03-08 | 2011-03-08 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9008412B2 (ja) |
JP (1) | JP5704975B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5926626B2 (ja) | 2012-06-11 | 2016-05-25 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
JP6082556B2 (ja) * | 2012-09-28 | 2017-02-15 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
US9183261B2 (en) | 2012-12-28 | 2015-11-10 | Shutterstock, Inc. | Lexicon based systems and methods for intelligent media search |
US9183215B2 (en) | 2012-12-29 | 2015-11-10 | Shutterstock, Inc. | Mosaic display systems and methods for intelligent media search |
JP6240012B2 (ja) | 2014-03-26 | 2017-11-29 | キヤノン株式会社 | 色処理装置およびその方法 |
JP6154781B2 (ja) * | 2014-05-22 | 2017-06-28 | 日本電信電話株式会社 | 画像処理方法及び画像処理システム |
JP5896090B1 (ja) * | 2014-05-28 | 2016-03-30 | コニカミノルタ株式会社 | 撮像装置および測色方法 |
JP6646456B2 (ja) | 2016-02-10 | 2020-02-14 | キヤノン株式会社 | 色処理装置およびその方法 |
CN105786016B (zh) * | 2016-03-31 | 2019-11-05 | 深圳奥比中光科技有限公司 | 无人机以及rgbd图像的处理方法 |
CN107666606B (zh) * | 2016-07-29 | 2019-07-12 | 东南大学 | 双目全景图像获取方法及装置 |
CN114710617B (zh) * | 2022-03-18 | 2023-09-05 | 珠海思奇科技有限公司 | 双轴线阵相机拍照方法、系统、设备及存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU5908000A (en) * | 1999-07-02 | 2001-01-22 | Hypermed Imaging, Inc. | Imaging apparatus with means for fusing thermal and hyperspectral images |
US7433102B2 (en) | 2002-05-10 | 2008-10-07 | Canon Kabushiki Kaisha | Reproduction color prediction apparatus and method |
JP2003333355A (ja) | 2002-05-10 | 2003-11-21 | Canon Inc | 色評価装置及び方法 |
JP3875660B2 (ja) | 2003-07-29 | 2007-01-31 | 株式会社東芝 | マルチ静電カメラモジュール |
JP2005059362A (ja) | 2003-08-11 | 2005-03-10 | Canon Inc | 色分解データ生成方法および画像処理装置 |
JP2006254368A (ja) | 2005-03-14 | 2006-09-21 | Canon Inc | 色処理装置およびその方法 |
US7718940B2 (en) * | 2005-07-26 | 2010-05-18 | Panasonic Corporation | Compound-eye imaging apparatus |
US7609906B2 (en) * | 2006-04-04 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring and displaying 3D light fields |
JP2008128771A (ja) | 2006-11-20 | 2008-06-05 | Toppan Printing Co Ltd | 分光情報および形状情報同時取得装置及び情報取得方法 |
JP2009284188A (ja) * | 2008-05-22 | 2009-12-03 | Panasonic Corp | カラー撮像装置 |
JP5284138B2 (ja) | 2009-02-20 | 2013-09-11 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2010276469A (ja) * | 2009-05-28 | 2010-12-09 | Konica Minolta Holdings Inc | 画像処理装置及び測距装置の画像処理方法 |
US8581995B2 (en) * | 2011-01-25 | 2013-11-12 | Aptina Imaging Corporation | Method and apparatus for parallax correction in fused array imaging systems |
-
2011
- 2011-03-08 JP JP2011050092A patent/JP5704975B2/ja active Active
-
2012
- 2012-02-29 US US13/409,045 patent/US9008412B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9008412B2 (en) | 2015-04-14 |
JP2012186755A (ja) | 2012-09-27 |
US20120230549A1 (en) | 2012-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5704975B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5751986B2 (ja) | 画像生成装置 | |
JP6299124B2 (ja) | 投影システム、画像処理装置、投影方法およびプログラム | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JP5687608B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JPH09181913A (ja) | カメラシステム | |
JP6257285B2 (ja) | 複眼撮像装置 | |
JP5704984B2 (ja) | 撮像装置 | |
JP6478511B2 (ja) | 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体 | |
JP5406151B2 (ja) | 3次元撮像装置 | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2010063067A (ja) | 画像処理装置および方法並びにプログラム | |
KR101626447B1 (ko) | 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체 | |
JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
JP2013247543A (ja) | 撮像装置、表示装置、および画像処理方法、並びにプログラム | |
US20150042782A1 (en) | Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer readable recording medium | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP6648916B2 (ja) | 撮像装置 | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR102505659B1 (ko) | 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법 | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP6103767B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP2013157713A (ja) | 画像処理装置および画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140304 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5704975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |