JP6516429B2 - 距離計測装置、撮像装置、および距離計測方法 - Google Patents
距離計測装置、撮像装置、および距離計測方法 Download PDFInfo
- Publication number
- JP6516429B2 JP6516429B2 JP2014188101A JP2014188101A JP6516429B2 JP 6516429 B2 JP6516429 B2 JP 6516429B2 JP 2014188101 A JP2014188101 A JP 2014188101A JP 2014188101 A JP2014188101 A JP 2014188101A JP 6516429 B2 JP6516429 B2 JP 6516429B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- distance
- luminance
- planes
- distance measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
と、選択されたカラープレーン間の、透過率の違いに起因する輝度ずれを調整する調整ステップと、輝度ずれが調整されたカラープレーンのぼけの違いを用いて距離情報を算出する算出ステップと、を含み、前記調整ステップでは、前記カラー画像の局所領域ごとに、それぞれのカラープレーンの輝度値の平均値に基づいて輝度のずれを調整することを特徴とする。
<システム構成>
図1は、本発明の第一実施形態に係る撮像装置のシステム構成図である。撮像装置1は、撮像光学系10、撮像素子11、制御部12、信号処理部13、距離計測部14、メモリ15、入力部16、表示部17、記憶部18を有する。
ング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などがある。信号処理部13から出力されるデジタル画像データは一時的にメモリ15に蓄積された後、表示部17への表示、記憶部18への記録(保存)、距離計測部14への出力などがされ、所望の処理が行われる。
次に、撮像装置1が行う距離計測処理について、処理の流れを示したフローチャートである図2を参照しながら詳細に説明する。
まずステップS14で、1枚のカラー画像中の複数のカラープレーンから距離計測に利用する2つのカラープレーンを選択する。このとき、予め計測によって得られた各カラープレーンの結像位置の差(軸上色収差)、または光学設計データから得られる軸上色収差の大きさを指標に用いて選択を行う。カラーフィルタの透過波長はある程度の波長幅を持
っているため、各カラープレーンの結像位置はカラーフィルタを透過する波長の光像の結像位置が合成された位置となる。結像位置は、更に被写体の分光反射率にも依存する。そこで結像位置を比較するに当たり、カラーフィルタにおいて最も透過率の高い波長や中心波長といった代表波長の光像の結像位置の違いを用いて軸上色収差を評価するのがよい。他にもカラーフィルタ中の波長に透過率に応じた重み付けをして得られる平均値(カラーフィルタの重心波長)を求め、その波長の光像の結像位置を用いて軸上色収差を評価するのも良い。
の相対的な距離であっても良い。また被写体距離は、物体距離であっても良いし像距離であっても良い。さらには、ぼけの大きさや相関量そのものを被写体距離を表す情報として用いても良い。算出された被写体距離の分布は表示部17を通して表示され、また、記録部19に保存される。
果を表している。数式5では、2つの撮影条件における光学伝達関数の比が得られ、予め光学系の設計データからこの値のデフォーカスによる変化を知ることができるため相対距離への変換が可能となる。
第二実施形態は、カラープレーンの位置合わせ処理を追加した実施形態である。第二実施形態における撮像装置1の構成は、第一実施形態と同様であり、距離計測処理も距離マップ生成処理S16を除いて同様である。以下、第一実施形態との相違点である距離マップ生成処理S16について説明する。図5は、第二実施形態における、距離マップ生成処理S16の流れを示したフローチャートである。
第三実施形態は、2つのカラープレーンの選択を局所領域別に行う場合の実施形態である。第三実施形態における撮像装置1の構成は、第一実施形態と同様である。距離計測処理の流れは第一実施形態(図2)とほぼ同様であるが、第一実施形態におけるステップS14のカラープレーンの選択を、第三実施形態ではステップS16の距離マップ生成処理の内部で行う点が異なる。すなわち、第三実施形態における距離計測処理は、第一の実施形態と比較して、図2に示すフローチャートからステップS14の処理が省略され、ステップS16の距離マップ生成処理の内容が異なる。以下、第三実施形態における距離マップ生成処理S16について説明する。図6は、第三実施形態における距離マップ生成処理S16の流れを示したフローチャートである。
物体あっても得られる相関値などの距離依存値も異なる。よって、結像位置のずれによる補正を行ったうえで結果を出力する。
第四実施形態は、選択する2つのカラープレーンを変えて複数回距離計測を行う実施形態である。第四実施形態における撮像装置1の構成は、第一実施形態と同様であり、距離計測処理の全体的な流れが相違する。以下、第一実施形態との処理の相違点について説明する。図7は、第四実施形態における距離計測処理の流れを示したフローチャートである。
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない距離計測装置として実施することもできる。また、距離計測方法として実施することもできるし、当該距離計測方法を距離計測装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、実施形態で説明した各要素技術は、任意に組み合わせてもよい。例えば、第一実施形態で説明した輝度調整処理と第二実施形態で説明した位置ずれ補正処理は、その両方を採用してもよいし、いずれか一方のみを採用してもよい。
上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置
やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器(携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む)にも本発明を適用することができる。
14 距離計測部
Claims (20)
- 一枚のカラー画像から被写体の距離情報を算出する距離計測装置であって、
前記カラー画像の複数のカラープレーンから結像位置が異なる少なくとも2つのカラープレーンを選択する選択手段と、
選択されたカラープレーン間の、透過率の違いに起因する輝度ずれを調整する調整手段と、
輝度ずれが調整されたカラープレーンのぼけの違いを用いて距離情報を算出する算出手段と、
を備え、
前記調整手段は、前記カラー画像の局所領域ごとに、それぞれのカラープレーンの輝度値の平均値に基づいて輝度のずれを調整する、
ことを特徴とする距離計測装置。 - 前記調整手段は、前記局所領域ごとに、輝度値の平均値が低い方のカラープレーンの輝度を大きくする、
ことを特徴とする請求項1に記載の距離計測装置。 - 前記調整手段は、選択されたカラープレーンのカラーフィルタの透過率の比に基づいて輝度ずれを調整する、
ことを特徴とする請求項1または2に記載の距離計測装置。 - 選択された2つのカラープレーン間の位置ずれを補正する補正手段を更に備え、
前記算出手段は、輝度ずれおよび位置ずれが補正されたカラープレーンに基づいて前記距離情報を算出する、
ことを特徴とする請求項1から3のいずれか1項に記載の距離計測装置。 - 前記補正手段は、撮像光学系の倍率色収差情報を用いて、いずれか一方のカラープレーンに拡大縮小処理を施すことで、倍率色収差に基づく位置ずれを補正する、
ことを特徴とする請求項4に記載の距離計測装置。 - 前記選択手段は、撮像光学系の軸上色収差情報を用いて、複数のカラープレーンのうち結像位置のずれが最も大きい2つのカラープレーンを選択する、
請求項1から5のいずれか1項に記載の距離計測装置。 - 前記選択手段は、撮像光学系の焦点距離ごとに選択するカラープレーンを格納したテーブルを保持し、撮影時の焦点距離に対応したカラープレーンを選択する、
請求項1から5のいずれか1項に記載の距離計測装置。 - 前記選択手段は、前記カラー画像の局所領域ごとにカラープレーンの選択を行い、
前記局所領域ごとに、選択されたカラープレーンに基づいて距離情報の算出を行う、
請求項1から5のいずれか1項に記載の距離計測装置。 - 前記カラー画像は、3つ以上のカラープレーンからなり、
前記選択手段は、2つのカラープレーンからなる組み合わせを複数選択し、
前記算出手段は、前記複数の組み合わせのそれぞれのカラープレーンに基づいて複数の距離情報を算出し、複数の距離情報を統合した距離情報を出力する、
請求項1から5のいずれか1項に記載の距離計測装置。 - 撮像光学系と、
複数のカラープレーンからなるカラー画像を取得する撮像素子と、
請求項1から9のいずれか1項に記載の距離計測装置と、
を備える撮像装置。 - 一枚のカラー画像から被写体の距離情報を算出する距離計測装置が行う距離計測方法であって、
前記カラー画像の複数のカラープレーンから結像位置が異なる少なくとも2つのカラープレーンを選択する選択ステップと、
選択されたカラープレーン間の、透過率の違いに起因する輝度ずれを調整する調整ステップと、
輝度ずれが調整されたカラープレーンのぼけの違いを用いて距離情報を算出する算出ステップと、
を含み、
前記調整ステップでは、前記カラー画像の局所領域ごとに、それぞれのカラープレーンの輝度値の平均値に基づいて輝度のずれを調整する、
ことを特徴とする距離計測方法。 - 前記調整ステップでは、前記局所領域ごとに、輝度値の平均値が低い方のカラープレーンの輝度を大きくする、
ことを特徴とする請求項11に記載の距離計測方法。 - 前記調整ステップでは、選択されたカラープレーンのカラーフィルタの透過率の比に基づいて輝度ずれを調整する、
ことを特徴とする請求項11または12に記載の距離計測方法。 - 選択された2つのカラープレーン間の位置ずれを補正する補正ステップを更に含み、
前記算出ステップでは、輝度ずれおよび位置ずれが補正されたカラープレーンに基づいて前記距離情報を算出する、
ことを特徴とする請求項11から13のいずれか1項に記載の距離計測方法。 - 前記補正ステップでは、撮像光学系の倍率色収差情報を用いて、いずれか一方のカラー
プレーンに拡大縮小処理を施すことで、倍率色収差に基づく位置ずれを補正する、
ことを特徴とする請求項14に記載の距離計測方法。 - 前記選択ステップでは、撮像光学系の軸上色収差情報を用いて、複数のカラープレーンのうち結像位置のずれが最も大きい2つのカラープレーンを選択する、
請求項11から15のいずれか1項に記載の距離計測方法。 - 前記選択ステップでは、撮像光学系の焦点距離ごとに選択するカラープレーンを格納したテーブルを参照して、撮影時の焦点距離に対応したカラープレーンを選択する、
請求項11から15のいずれか1項に記載の距離計測方法。 - 前記選択ステップでは、前記カラー画像の局所領域ごとにカラープレーンの選択を行い、
前記局所領域ごとに、選択されたカラープレーンに基づいて距離情報の算出を行う、
請求項11から15のいずれか1項に記載の距離計測方法。 - 前記カラー画像は、3つ以上のカラープレーンからなり、
前記選択ステップでは、2つのカラープレーンからなる組み合わせを複数選択し、
前記算出ステップでは、前記複数の組み合わせのそれぞれのカラープレーンに基づいて複数の距離情報を算出し、複数の距離情報を統合した距離情報を出力する、
請求項11から15のいずれか1項に記載の距離計測方法。 - 請求項11から19のいずれか1項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014188101A JP6516429B2 (ja) | 2014-09-16 | 2014-09-16 | 距離計測装置、撮像装置、および距離計測方法 |
US14/845,581 US20160080727A1 (en) | 2014-09-16 | 2015-09-04 | Depth measurement apparatus, imaging apparatus, and depth measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014188101A JP6516429B2 (ja) | 2014-09-16 | 2014-09-16 | 距離計測装置、撮像装置、および距離計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016061609A JP2016061609A (ja) | 2016-04-25 |
JP6516429B2 true JP6516429B2 (ja) | 2019-05-22 |
Family
ID=55456116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014188101A Active JP6516429B2 (ja) | 2014-09-16 | 2014-09-16 | 距離計測装置、撮像装置、および距離計測方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160080727A1 (ja) |
JP (1) | JP6516429B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9491442B2 (en) * | 2014-04-28 | 2016-11-08 | Samsung Electronics Co., Ltd. | Image processing device and mobile computing device having the same |
EP3228977A4 (en) * | 2014-12-01 | 2018-07-04 | Sony Corporation | Image-processing device and image-processing method |
DE102015122415A1 (de) * | 2015-12-21 | 2017-06-22 | Connaught Electronics Ltd. | Verfahren zum Erkennen einer bandbegrenzenden Fehlfunktion einer Kamera, Kamerasystem und Kraftfahrzeug |
KR102537416B1 (ko) * | 2016-06-03 | 2023-05-26 | 우트쿠 부육사힌 | 3d 이미지를 캡처 및 생성하기 위한 시스템 및 방법 |
CN106548489B (zh) * | 2016-09-20 | 2019-05-10 | 深圳奥比中光科技有限公司 | 一种深度图像与彩色图像的配准方法、三维图像采集装置 |
JP6983531B2 (ja) * | 2017-04-24 | 2021-12-17 | キヤノン株式会社 | 測距装置、測距システム、および測距方法 |
CN107343121B (zh) * | 2017-06-30 | 2019-01-25 | 维沃移动通信有限公司 | 一种图像数据的处理方法和移动终端 |
DE102017115365B4 (de) * | 2017-07-10 | 2020-10-15 | Carl Zeiss Smt Gmbh | Inspektionsvorrichtung für Masken für die Halbleiterlithographie und Verfahren |
CN108459417B (zh) * | 2018-02-05 | 2020-06-26 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
KR102646750B1 (ko) | 2018-03-21 | 2024-03-13 | 삼성전자주식회사 | 표시 객체의 확산 정도에 기반하여 초점을 조절하는 방법 및 이를 구현한 전자 장치 |
CN109151432B (zh) * | 2018-09-12 | 2019-10-25 | 宁波大学 | 一种立体图像颜色和深度编辑方法 |
CN110336993B (zh) * | 2019-07-02 | 2021-07-09 | Oppo广东移动通信有限公司 | 深度摄像头控制方法、装置、电子设备和存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4964696A (en) * | 1988-01-12 | 1990-10-23 | Asahi Kogaku Kogyo Kabushiki Kaisha | Color separating optical apparatus |
JPH01246516A (ja) * | 1988-03-29 | 1989-10-02 | Sony Corp | 焦点位置検出装置 |
TWI268397B (en) * | 2002-08-23 | 2006-12-11 | Pentax Corp | Digital camera |
JP2007017401A (ja) * | 2005-07-11 | 2007-01-25 | Central Res Inst Of Electric Power Ind | 立体画像情報取得方法並びに装置 |
US8488868B2 (en) * | 2007-04-03 | 2013-07-16 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
JP2009074867A (ja) * | 2007-09-19 | 2009-04-09 | Nikon Corp | 計測装置およびその計測方法 |
JP5043595B2 (ja) * | 2007-10-23 | 2012-10-10 | 富士フイルム株式会社 | 撮影装置および内視鏡システム |
JP2010127723A (ja) * | 2008-11-27 | 2010-06-10 | Nikon Corp | 形状測定装置 |
JP5459768B2 (ja) * | 2009-10-28 | 2014-04-02 | 京セラ株式会社 | 被写体距離推定装置 |
JP2012002859A (ja) * | 2010-06-14 | 2012-01-05 | Nikon Corp | 撮像装置 |
US8705801B2 (en) * | 2010-06-17 | 2014-04-22 | Panasonic Corporation | Distance estimation device, distance estimation method, integrated circuit, and computer program |
US8363085B2 (en) * | 2010-07-06 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Scene background blurring including determining a depth map |
JP5830348B2 (ja) * | 2011-10-26 | 2015-12-09 | オリンパス株式会社 | 撮像装置 |
WO2014107434A1 (en) * | 2013-01-02 | 2014-07-10 | California Institute Of Technology | Single-sensor system for extracting depth information from image blur |
-
2014
- 2014-09-16 JP JP2014188101A patent/JP6516429B2/ja active Active
-
2015
- 2015-09-04 US US14/845,581 patent/US20160080727A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2016061609A (ja) | 2016-04-25 |
US20160080727A1 (en) | 2016-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6516429B2 (ja) | 距離計測装置、撮像装置、および距離計測方法 | |
US10212334B2 (en) | Focusing adjustment apparatus and focusing adjustment method | |
US8947523B2 (en) | Image processing apparatus and associated methodology for blurring digital images | |
JP5361535B2 (ja) | 撮像装置 | |
US9667938B2 (en) | Image processing device, imaging device, image processing method, and computer readable medium | |
US9928598B2 (en) | Depth measurement apparatus, imaging apparatus and depth measurement method that calculate depth information of a target pixel using a color plane of which a correlation value is at most a threshold | |
US9106825B2 (en) | Image capture apparatus, image capture method and storage medium | |
US20150042839A1 (en) | Distance measuring apparatus, imaging apparatus, and distance measuring method | |
JP2014017619A (ja) | 画像処理装置および画像処理システム | |
JP2012049773A (ja) | 撮像装置および方法、並びにプログラム | |
JP2016038414A (ja) | 焦点検出装置およびその制御方法、並びに撮像装置 | |
JP2016133674A (ja) | フォーカス制御装置及びその方法、プログラム、記憶媒体 | |
JP6555990B2 (ja) | 距離計測装置、撮像装置、および距離計測方法 | |
US10015386B2 (en) | Focus control apparatus, image capturing apparatus, interchangeable lens, focus control method, and storage medium storing focus control program | |
JP5348258B2 (ja) | 撮像装置 | |
JP5528139B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2013097154A (ja) | 距離測定装置、撮像装置、距離測定方法 | |
JP6700818B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP2012256118A (ja) | 画像復元装置およびその方法 | |
JP2011160255A5 (ja) | ||
JP2014215436A (ja) | 撮像装置、その制御方法、および制御プログラム | |
CN106993110B (zh) | 摄像设备及其控制方法 | |
JPWO2019202984A1 (ja) | 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 | |
JP6370004B2 (ja) | 撮像装置および撮像方法 | |
US10623671B2 (en) | Image-capturing apparatus and control method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190416 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6516429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |