JP6021489B2 - 撮像装置、画像処理装置およびその方法 - Google Patents
撮像装置、画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP6021489B2 JP6021489B2 JP2012160689A JP2012160689A JP6021489B2 JP 6021489 B2 JP6021489 B2 JP 6021489B2 JP 2012160689 A JP2012160689 A JP 2012160689A JP 2012160689 A JP2012160689 A JP 2012160689A JP 6021489 B2 JP6021489 B2 JP 6021489B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging units
- imaging
- image
- row
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Description
図1は、複数の撮像部を備えた多眼方式による多視点撮像装置の一例を示す図である。撮像装置の筐体100は、カラー画像を取得する9個の撮像部101〜109及び撮影ボタン110を備えている。図1に示すように9個の撮像部は、二次元に均等に配置されている。ユーザが撮影ボタン110を押下すると、撮像部101〜109が被写体の光情報をセンサ(撮像素子)で受光し、受光した信号がA/D変換され、複数のカラー画像データ(デジタルデータ)が同時に取得される。
次に、撮像制御部208の詳細について説明する。図4は、撮像制御部208の動作を示すフローチャートである。本実施例では、画像の横方向の視差すなわち水平視差のみの表示方式の場合、各撮像部から取得した画像データのうち、視差にかかわる処理を実行するのは水平方向のみとなる。すなわち、この場合、立体表示するためには垂直視差の計算は不要なので、すべての撮像部から取得した画像データではなく、例えば図1に示す撮像部104、105および106から取得した画像データのみを立体視表示画像を算出する処理に使用すればよい。したがって、通常各撮像部はそれぞれ個別に基準値を設定し制御されるが、本実施例では水平視差のみの表示方式の場合、垂直方向に並んだ撮像部は、視差に関する処理は行わない。
次に、画像処理部212の詳細について説明する。通常、多眼方式の撮像装置で得られた複数の画像データを使用して立体表示の画像処理を行う場合は、垂直、水平を問わず画像間の視差と、それぞれの撮像部の配置情報とを用いて立体表示を行う。本実施例では、特に水平視差のみの表示方式の場合、垂直に並んだ撮像部からの画像データは立体表示処理に使用しないため、別の画像処理に使用して有効活用する。ここで、本実施例では、ハイダイナミックレンジ(HDR)合成処理を実行するが、これに限られず種々の処理を採用することができる。なお、本実施例では、立体表示処理は、垂直方向に並んだ撮像部からの画像の処理、すなわち本実施例ではHDR合成処理の後得られた水平方向の画像データを用いて実行するが、これに限られず任意のタイミングおよび任意の画像データで実行可能である。また、立体表示処理はここでは詳述しないが、本技術分野で知られたいずれの方法も使用することができ、例えば水平方向のいずれか2つの画像の視差から各画素で被写体までの距離を算出することによって立体表示を実行することができる。
実施例1では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。本実施例においては、垂直方向に並んだ撮像部により取得される画像データに立体表示以外の処理を施して、撮影装置のISO感度の数値を高く変更しても、ノイズ量を低減した多視点画像を取得する方法について説明する。
ここでは、撮像制御部208の詳細について説明する。図10は、撮像制御部208の動作を示すフローチャートである。まず、ステップS1001では、撮影条件の基準値を取得する。撮影条件の基準値は、実施例1のステップS401と同一であるため説明を省略する。
図11を参照して、画像処理部212の詳細について説明する。図11は、画像処理部212の動作を示すフローチャートである。まず、ステップS1101では、表示する視差関連情報を取得する。表示する視差関連情報は、実施例1のステップS801と同一であるため説明を省略する。次に、ステップS1102では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップS1103へ、そうでない場合はステップS1109に進む。
実施例1では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。また、立体表示画像を生成する処理については、取得した多視点画像の中から表示装置の表示形式に合わせて適切な画像を選択する方法について説明した。本実施例においては、表示装置の特性、視聴者との位置関係や観察者の視差の大きさに合わせて、多視点画像から補間した仮想的な視点からの画像を生成する方法について説明する。また、水平方向の撮像装置から被写体までの距離マップを算出し、距離マップを用いてHDR合成処理と立体表示処理とを行う方法について説明する。これにより、本技術分野で知られたHDR合成処理や立体表示処理と比較して、処理時間を短縮することができる。
ここでは、画像処理部212の詳細について説明する。図14は、画像処理部212の動作を示すフローチャートである。なお、図8に示した実施例1における画像処理部のフローチャートと処理内容が同じステップに関しては、同じ符号を付与して説明を省略する。
ここでは、図14に示すフローチャートのステップS1401で行う距離マップ算出処理の詳細について説明する。距離マップ算出処理では、位置の異なる複数の撮影画像を基に、撮像したシーンの距離を推定することにより距離マップを算出する。この距離マップ算出処理には公知の方法を用いればよい。例えば、ステレオ法やマルチベースラインステレオ法などが適用可能である。本実施例では、ステレオ法によって距離マップを算出する。以下、図15に示すフローチャートを用いて、距離マップ算出処理の詳細を説明する。
ここでは、図14に示すフローチャートのステップS1402で行うHDR合成処理の詳細について説明する。HDR合成処理では、距離マップを用いて画像位置合わせを行い、トーンマッピングによるHDR合成を行う。以下、図17に示すフローチャートを用いて、HDR合成処理の詳細を説明する。
ここでは、図14に示すフローチャートのステップS1403で行う視点位置の変更処理の詳細について説明する。視点変更処理では、距離マップを用いて視点位置への画像シフト量を算出し、視点位置を変更した画像を合成する。以下、図19に示すフローチャートを用いて、視点変更処理の詳細を説明する。なお、図17に示したHDR合成処理のフローチャートと処理内容が同じステップに関しては、同じ記号を付与して説明を省略する。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
Claims (15)
- 格子上に配置された複数の撮像部から第一の列と第二の列とを選択する選択手段であって、当該第一の列および当該第二の列はそれぞれ第一の方向に配置された複数の撮像部を含み、当該第一の列および当該第二の列は当該第一の方向と異なる第二の方向に配置される、選択手段と、
前記第一の列の複数の撮像部によって得られる複数の画像を合成して、当該第一の列に対応する第一の合成画像を生成する第一の画像合成手段と、
前記第二の列の複数の撮像部によって得られる複数の画像を合成して、当該第二の列に対応する第二の合成画像を生成する第二の画像合成手段とを備え、
前記第一の合成画像と前記第二の合成画像とは、互いに前記第二の方向に視差を有する
ことを特徴とする画像処理装置。 - 前記複数の撮像部を含む前記画像処理装置の重力方向に対する向きに基づいて、前記第一の方向と前記第二の方向とを決定する決定手段をさらに備えた
請求項1に記載の画像処理装置。 - 前記第一の列の複数の撮像部によって得られる各画像は、互いに異なる露出条件で撮像され、前記第二の列の複数の撮像部によって得られる各画像は、互いに異なる露出条件で撮像され、
前記第一の合成画像は、前記第一の列の複数の撮像部によって撮像される複数の画像のいずれよりもダイナミックレンジが広く、
前記第二の合成画像は、前記第二の列の複数の撮像部によって撮像される複数の画像のいずれよりもダイナミックレンジが広い
請求項1または請求項2に記載の画像処理装置。 - 前記第一の合成画像は、前記第一の列の複数の撮像部によって撮像される複数の画像を平均化することによって生成され、前記第二の合成画像は、前記第二の列の複数の撮像部によって撮像される複数の画像を平均化することによって生成される
請求項1から請求項3のうちのいずれか1項に記載の画像処理装置。 - 重力方向が、重力センサによって取得される
請求項2に記載の画像処理装置。 - 前記第一の合成画像は、前記第一の列の複数の撮像部によって撮像される複数の画像のみを合成して生成され、かつ前記第二の方向における当該第一の列と同じ視点位置に対応し、
前記第二の合成画像は、前記第二の列の複数の撮像部によって撮像される複数の画像のみを合成して生成され、かつ前記第二の方向における当該第二の列と同じ視点位置に対応する
請求項1から請求項5のうちのいずれか1項に記載の画像処理装置。 - 前記第一の方向は、前記第二の方向に対して垂直である
請求項1から請求項6のうちいずれか1項に記載の画像処理装置。 - 格子上に配置された複数の撮像部を含み、
前記複数の撮像部から第一の列と第二の列とを選択する選択手段であって、当該第一の列および当該第二の列はそれぞれ第一の方向に配置された複数の撮像部を含み、当該第一の列および当該第二の列は当該第一の方向と異なる第二の方向に配置される、選択手段と、
前記第一の列の各撮像部が互いに異なる露出条件で撮像するように、かつ前記第二の列の各撮像部が互いに異なる露出条件で撮像するように、前記複数の撮像部を制御する制御手段とを備え、
前記第一の列の複数の撮像部によって撮像される複数の画像は、当該第一の列に対応する第一の合成画像を生成するために合成され、
前記第二の列の複数の撮像部によって撮像される複数の画像は、当該第二の列に対応する第二の合成画像を生成するために合成され、
前記第一の合成画像と前記第二の合成画像とは、互いに前記第二の方向に視差を有する
ことを特徴とする撮像装置。 - 前記撮像装置の重力方向に対する向きに基づいて、前記第一の方向と前記第二の方向とを決定する決定手段をさらに備えた
請求項8に記載の撮像装置。 - 前記第一の合成画像は、前記第一の列の複数の撮像部によって撮像される複数の画像のいずれよりもダイナミックレンジが広く、前記第二の合成画像は、前記第二の列の複数の撮像部によって撮像される複数の画像のいずれよりもダイナミックレンジが広い
請求項8または請求項9に記載の撮像装置。 - 立体視する表示装置の視差の方向を示す情報を入力する情報入力手段と、
前記情報によって示される視差の方向が、一方向のみであるかまたは複数の方向であるかを決定する決定手段とをさらに備え、
前記制御手段は、
前記情報が一方向のみを示すときは、前記第一の列の各撮像部が互いに異なる露出条件で撮像するように、かつ前記第二の列の各撮像部が互いに異なる露出条件で撮像するように、前記複数の撮像部を制御し、
前記情報が複数の方向を示すときは、前記複数の撮像部のすべてが同じ露出条件で撮像するように、前記複数の撮像部を制御する
請求項8から請求項10のうちのいずれか1項に記載の撮像装置。 - 重力方向が、重力センサによって取得される
請求項9に記載の撮像装置。 - 格子上に配置された複数の撮像部から第一の列と第二の列とを選択する選択ステップであって、当該第一の列および当該第二の列はそれぞれ第一の方向に配置された複数の撮像部を含み、当該第一の列および当該第二の列は当該第一の方向と異なる第二の方向に配置される、選択ステップと、
前記第一の列の複数の撮像部によって得られる複数の画像を合成して、当該第一の列に対応する第一の合成画像を生成する第一の画像合成ステップと、
前記第二の列の複数の撮像部によって得られる複数の画像を合成して、当該第二の列に対応する第二の合成画像を生成する第二の画像合成ステップとを含み、
前記第一の合成画像と前記第二の合成画像とは、互いに前記第二の方向に視差を有する
ことを特徴とする画像処理方法。 - 格子上に配置された複数の撮像部を含む撮像装置における制御方法であって、
前記複数の撮像部から第一の列と第二の列とを選択する選択ステップであって、当該第一の列および当該第二の列はそれぞれ第一の方向に配置された複数の撮像部を含み、当該第一の列および当該第二の列は当該第一の方向と異なる第二の方向に配置される、選択ステップと、
前記第一の列の各撮像部が互いに異なる露出条件で撮像するように、かつ前記第二の列の各撮像部が互いに異なる露出条件で撮像するように、前記複数の撮像部を制御する制御ステップとを含み、
前記第一の列の複数の撮像部によって撮像される複数の画像は、当該第一の列に対応する第一の合成画像を生成するために合成され、
前記第二の列の複数の撮像部によって撮像される複数の画像は、当該第二の列に対応する第二の合成画像を生成するために合成され、
前記第一の合成画像と前記第二の合成画像とは、互いに前記第二の方向に視差を有する
ことを特徴とする制御方法。 - コンピュータを請求項1から請求項7のうちのいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012160689A JP6021489B2 (ja) | 2011-10-03 | 2012-07-19 | 撮像装置、画像処理装置およびその方法 |
US13/613,776 US20130083169A1 (en) | 2011-10-03 | 2012-09-13 | Image capturing apparatus, image processing apparatus, image processing method and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011219388 | 2011-10-03 | ||
JP2011219388 | 2011-10-03 | ||
JP2012160689A JP6021489B2 (ja) | 2011-10-03 | 2012-07-19 | 撮像装置、画像処理装置およびその方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013093836A JP2013093836A (ja) | 2013-05-16 |
JP2013093836A5 JP2013093836A5 (ja) | 2015-09-03 |
JP6021489B2 true JP6021489B2 (ja) | 2016-11-09 |
Family
ID=47992213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012160689A Active JP6021489B2 (ja) | 2011-10-03 | 2012-07-19 | 撮像装置、画像処理装置およびその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130083169A1 (ja) |
JP (1) | JP6021489B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI711310B (zh) * | 2013-06-21 | 2020-11-21 | 日商新力股份有限公司 | 送訊裝置、高動態範圍影像資料送訊方法、收訊裝置、高動態範圍影像資料收訊方法及程式 |
JP6429483B2 (ja) * | 2013-07-09 | 2018-11-28 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
WO2015145977A1 (ja) * | 2014-03-27 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、画像処理方法と記録媒体、ならびに、pos端末装置 |
JP2018078404A (ja) * | 2016-11-08 | 2018-05-17 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム |
JP7149615B2 (ja) * | 2017-12-05 | 2022-10-07 | 国立大学法人 筑波大学 | 画像表示装置、画像表示方法、及び画像表示システム |
JP2023057693A (ja) * | 2021-10-12 | 2023-04-24 | キヤノン株式会社 | 電子機器、制御方法、プログラム、記憶媒体 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3579585B2 (ja) * | 1998-05-26 | 2004-10-20 | 日本電信電話株式会社 | 多視点同時観察型水平配置立体画像表示システム |
JP2002171430A (ja) * | 2000-11-30 | 2002-06-14 | Canon Inc | 複眼撮像系、撮像装置および電子機器 |
JP2002281361A (ja) * | 2001-03-21 | 2002-09-27 | Ricoh Co Ltd | 多眼式カメラ |
US7538774B2 (en) * | 2003-06-20 | 2009-05-26 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
JP4775052B2 (ja) * | 2006-03-17 | 2011-09-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4448844B2 (ja) * | 2006-11-22 | 2010-04-14 | 富士フイルム株式会社 | 複眼撮像装置 |
US8724007B2 (en) * | 2008-08-29 | 2014-05-13 | Adobe Systems Incorporated | Metadata-driven method and apparatus for multi-image processing |
US9363428B2 (en) * | 2009-02-17 | 2016-06-07 | Canon Kabushiki Kaisha | Image processing apparatus and method |
WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
CN102668537B (zh) * | 2009-12-24 | 2015-03-11 | 夏普株式会社 | 多眼摄像装置及多眼摄像方法 |
JP2011182003A (ja) * | 2010-02-26 | 2011-09-15 | Let's Corporation | パノラマカメラ及び360度パノラマ立体映像システム |
US20110242355A1 (en) * | 2010-04-05 | 2011-10-06 | Qualcomm Incorporated | Combining data from multiple image sensors |
-
2012
- 2012-07-19 JP JP2012160689A patent/JP6021489B2/ja active Active
- 2012-09-13 US US13/613,776 patent/US20130083169A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2013093836A (ja) | 2013-05-16 |
US20130083169A1 (en) | 2013-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102351542B1 (ko) | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JP6100089B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5224124B2 (ja) | 撮像装置 | |
JP5456020B2 (ja) | 情報処理装置および方法 | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
WO2015081870A1 (zh) | 一种图像处理方法、装置及终端 | |
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP4939639B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
JP5370606B2 (ja) | 撮像装置、画像表示方法、及びプログラム | |
CN103959770A (zh) | 图像处理设备、图像处理方法和程序 | |
CN111108742A (zh) | 信息处理装置、信息处理方法、程序以及可互换透镜 | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
JP2010181826A (ja) | 立体画像形成装置 | |
JP5840022B2 (ja) | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 | |
JP2017060010A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
JP2013247543A (ja) | 撮像装置、表示装置、および画像処理方法、並びにプログラム | |
JPWO2012043003A1 (ja) | 立体画像表示装置および立体画像表示方法 | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6021489 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |