JP5949314B2 - 視差マップ生成装置および視差マップ生成装置用のプログラム - Google Patents
視差マップ生成装置および視差マップ生成装置用のプログラム Download PDFInfo
- Publication number
- JP5949314B2 JP5949314B2 JP2012181587A JP2012181587A JP5949314B2 JP 5949314 B2 JP5949314 B2 JP 5949314B2 JP 2012181587 A JP2012181587 A JP 2012181587A JP 2012181587 A JP2012181587 A JP 2012181587A JP 5949314 B2 JP5949314 B2 JP 5949314B2
- Authority
- JP
- Japan
- Prior art keywords
- weight
- target pixel
- image
- pixel
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 16
- 238000003708 edge detection Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Description
また、請求項2に記載の発明は、カメラ(1、2)によって互いに異なる視点からによって撮影された第1の画像(21)および第2の画像(22)を取得する画像取得手段(31)と、取得された第1の画像と第2の画像との各々対応する画素毎の画素位置の差で表される視差を含む視差マップを生成する視差マップ生成手段(32)と、視差マップ中の補正対象画素(41)および補正対象画素の周辺に存在する周辺画素に対して補正に対する寄与度となる重みを決定する重み決定手段(33)と、決定された重みに基づいた加重平均により補正対象画素の視差を補正する視差マップ補正手段(34)と、を備え、重み決定手段(33)は、重みを算出する対象の重み算出対象画素の位置においてエッジが検出されなかった場合、重み算出対象画素の重みをゼロとすることを特徴とする。
これによると、請求項1に記載の発明と同様の効果を得ることができる。
ed=er×tan(π/2−θ)
となる(図10の例ではed、erはマイナスの値を持つ)。つまり、視差誤差edは、0≦θ<πの範囲内では、θ=π/2のとき(すなわち、エッジが水平ラインに対して直交しているとき)最小であり、θ=π/2から離れるほど(すなわち、エッジが水平に近づくほど)大きくなる。
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
3 演算回路
21、22 カメラ画像
31 画像取得部
32 視差マップ生成部
33 重み決定部
34 視差マップ補正部
Claims (8)
- カメラ(1、2)によって互いに異なる視点からによって撮影された第1の画像(21)および第2の画像(22)を取得する画像取得手段(31)と、
前記取得された前記第1の画像と前記第2の画像との各々対応する画素毎の画素位置の差で表される視差を含む視差マップを生成する視差マップ生成手段(32)と、
前記視差マップ中の補正対象画素(41)および前記補正対象画素の周辺に存在する周辺画素に対して補正に対する寄与度となる重みを決定する重み決定手段(33)と、
決定された前記重みに基づいた加重平均により前記補正対象画素の視差を補正する視差マップ補正手段(34)と、を備え、
前記視差マップ生成手段(32)は、前記第1の画像中の注目画素に対応付ける画素を、前記第2の画像中で、注目画素と同じ上下位置において水平に探索し、
前記重み決定手段(33)は、前記重み算出対象画素の位置において検出されるエッジの傾きが水平に近いほど、前記重み算出対象画素の重みを小さくすることを特徴とする視差マップ生成装置。 - カメラ(1、2)によって互いに異なる視点からによって撮影された第1の画像(21)および第2の画像(22)を取得する画像取得手段(31)と、
前記取得された前記第1の画像と前記第2の画像との各々対応する画素毎の画素位置の差で表される視差を含む視差マップを生成する視差マップ生成手段(32)と、
前記視差マップ中の補正対象画素(41)および前記補正対象画素の周辺に存在する周辺画素に対して補正に対する寄与度となる重みを決定する重み決定手段(33)と、
決定された前記重みに基づいた加重平均により前記補正対象画素の視差を補正する視差マップ補正手段(34)と、を備え、
前記重み決定手段(33)は、重みを算出する対象の重み算出対象画素の位置においてエッジが検出されなかった場合、前記重み算出対象画素の重みをゼロとすることを特徴とする視差マップ生成装置。 - 前記重み決定手段(33)は、前記第1の画像における前記補正対象画素の輝度値と重みを算出する対象の重み算出対象画素の輝度値に基づいて、前記重み算出対象画素の重みを決定することを特徴とする請求項1または2に記載の視差マップ生成装置。
- 前記重み決定手段(33)は、前記第1の画像における前記補正対象画素の輝度値と重みを算出する対象の重み算出対象画素の輝度値との差が大きくなるほど、前記重み算出対象画素の重みを小さくすることを特徴とする請求項3に記載の視差マップ生成装置。
- 前記重み決定手段(33)は、前記補正対象画素と重みを算出する対象の重み算出対象画素との画像座標上の距離が長くなるほど、前記重み算出対象画素の重みを小さくすることを特徴とする請求項1ないし4のいずれか1つに記載の視差マップ生成装置。
- 前記重み決定手段(33)は、前記補正対象画素の視差と重みを算出する対象の重み算出対象画素の視差との差が大きくなるほど、前記重み算出対象画素の重みを小さくすることを特徴とする請求項1ないし5のいずれか1つに記載の視差マップ生成装置。
- 視差マップ生成装置を、
互いに異なる視点から撮影された第1の画像(21)および第2の画像(22)を取得する画像取得手段(31)、
前記取得された前記第1の画像と前記第2の画像との各々対応する画素毎の画素位置の差で表される視差を含む視差マップを生成するとともに、前記第1の画像中の注目画素に対応付ける画素を、前記第2の画像中で、注目画素と同じ上下位置において水平に探索する視差マップ生成手段(32)、
前記視差マップ中の補正対象画素(41)および前記補正対象画素の周辺に存在する周辺画素に対して補正に対する寄与度となる重みを決定するとともに、前記重み算出対象画素の位置において検出されるエッジの傾きが水平に近いほど、前記重み算出対象画素の重みを小さくする重み決定手段(33)、および
決定された前記重みに基づいて加重平均により前記補正対象画素の視差を補正する視差マップ補正手段(34)として機能させるプログラム。 - 視差マップ生成装置を、
互いに異なる視点から撮影された第1の画像(21)および第2の画像(22)を取得する画像取得手段(31)、
前記取得された前記第1の画像と前記第2の画像との各々対応する画素毎の画素位置の差で表される視差を含む視差マップを生成する視差マップ生成手段(32)、
前記視差マップ中の補正対象画素(41)および前記補正対象画素の周辺に存在する周辺画素に対して補正に対する寄与度となる重みを決定するとともに、重みを算出する対象の重み算出対象画素の位置においてエッジが検出されなかった場合、前記重み算出対象画素の重みをゼロとする重み決定手段(33)、および
決定された前記重みに基づいて加重平均により前記補正対象画素の視差を補正する視差マップ補正手段(34)として機能させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012181587A JP5949314B2 (ja) | 2012-08-20 | 2012-08-20 | 視差マップ生成装置および視差マップ生成装置用のプログラム |
US14/422,502 US9361668B2 (en) | 2012-08-20 | 2013-08-20 | Method and apparatus for generating disparity map |
PCT/JP2013/072156 WO2014030630A1 (ja) | 2012-08-20 | 2013-08-20 | 視差マップを生成する装置及びその方法 |
DE112013004103.0T DE112013004103B4 (de) | 2012-08-20 | 2013-08-20 | Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012181587A JP5949314B2 (ja) | 2012-08-20 | 2012-08-20 | 視差マップ生成装置および視差マップ生成装置用のプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014038546A JP2014038546A (ja) | 2014-02-27 |
JP5949314B2 true JP5949314B2 (ja) | 2016-07-06 |
Family
ID=50149939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012181587A Active JP5949314B2 (ja) | 2012-08-20 | 2012-08-20 | 視差マップ生成装置および視差マップ生成装置用のプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9361668B2 (ja) |
JP (1) | JP5949314B2 (ja) |
DE (1) | DE112013004103B4 (ja) |
WO (1) | WO2014030630A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9058657B2 (en) * | 2011-04-28 | 2015-06-16 | Technologies Holdings Corp. | System and method for filtering data captured by a 3D camera |
CN104322061B (zh) * | 2012-06-22 | 2017-01-18 | 株式会社尼康 | 图像处理装置、摄像装置及图像处理方法 |
US20150346115A1 (en) * | 2014-05-30 | 2015-12-03 | Eric J. Seibel | 3d optical metrology of internal surfaces |
JP6377970B2 (ja) * | 2014-06-12 | 2018-08-22 | トヨタ自動車株式会社 | 視差画像生成装置及び視差画像生成方法 |
CN105120255B (zh) * | 2015-09-15 | 2018-11-20 | Tcl集团股份有限公司 | 一种视差图的平滑方法、装置及电子设备 |
US10554947B1 (en) * | 2015-12-16 | 2020-02-04 | Marvell International Ltd. | Method and apparatus for stereo vision matching including disparity refinement based on matching merit values |
JP6707022B2 (ja) * | 2016-12-26 | 2020-06-10 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
CN108254738A (zh) * | 2018-01-31 | 2018-07-06 | 沈阳上博智像科技有限公司 | 避障告警方法、装置及存储介质 |
US11245888B2 (en) * | 2018-03-19 | 2022-02-08 | Ricoh Company, Ltd. | Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels |
US10902556B2 (en) | 2018-07-16 | 2021-01-26 | Nvidia Corporation | Compensating for disparity variation when viewing captured multi video image streams |
JP7417166B2 (ja) * | 2020-07-22 | 2024-01-18 | 日本電信電話株式会社 | デプスマップの精度向上装置、方法、およびプログラム |
CN112767293B (zh) * | 2021-01-11 | 2023-04-11 | 达闼机器人股份有限公司 | 获取视差图像的方法、电子设备及存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3826236B2 (ja) | 1995-05-08 | 2006-09-27 | 松下電器産業株式会社 | 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置 |
JPH10289315A (ja) * | 1997-04-16 | 1998-10-27 | Sony Corp | 視差算出装置、距離算出装置およびこれらの方法 |
GB9823689D0 (en) | 1998-10-30 | 1998-12-23 | Greenagate Limited | Improved methods and apparatus for 3-D imaging |
JP2001351200A (ja) | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | 車載用物体検知装置 |
US7035451B2 (en) * | 2000-08-09 | 2006-04-25 | Dynamic Digital Depth Research Pty Ltd. | Image conversion and encoding techniques |
JP2003209858A (ja) | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
US7257272B2 (en) * | 2004-04-16 | 2007-08-14 | Microsoft Corporation | Virtual image generation |
US7292735B2 (en) * | 2004-04-16 | 2007-11-06 | Microsoft Corporation | Virtual image artifact detection |
US7330593B2 (en) * | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
CN102428501A (zh) * | 2009-09-18 | 2012-04-25 | 株式会社东芝 | 图像处理装置 |
JP5387377B2 (ja) | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011203811A (ja) | 2010-03-24 | 2011-10-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ |
JP4875762B2 (ja) * | 2010-05-26 | 2012-02-15 | シャープ株式会社 | 画像処理装置、画像表示装置および画像撮像装置 |
JP5752618B2 (ja) | 2012-02-10 | 2015-07-22 | トヨタ自動車株式会社 | ステレオ視差算出装置 |
US20140009462A1 (en) * | 2012-04-17 | 2014-01-09 | 3Dmedia Corporation | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects |
-
2012
- 2012-08-20 JP JP2012181587A patent/JP5949314B2/ja active Active
-
2013
- 2013-08-20 DE DE112013004103.0T patent/DE112013004103B4/de active Active
- 2013-08-20 WO PCT/JP2013/072156 patent/WO2014030630A1/ja active Application Filing
- 2013-08-20 US US14/422,502 patent/US9361668B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2014030630A1 (ja) | 2014-02-27 |
US9361668B2 (en) | 2016-06-07 |
DE112013004103B4 (de) | 2018-09-13 |
JP2014038546A (ja) | 2014-02-27 |
DE112013004103T5 (de) | 2015-05-28 |
US20150228057A1 (en) | 2015-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5949314B2 (ja) | 視差マップ生成装置および視差マップ生成装置用のプログラム | |
JP6013884B2 (ja) | 物体検出装置及び物体検出方法 | |
JP5752618B2 (ja) | ステレオ視差算出装置 | |
CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
CN105551020B (zh) | 一种检测目标物尺寸的方法及装置 | |
JP6020471B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
KR20120068470A (ko) | 스테레오 영상 정합 장치 및 그 방법 | |
JP4772494B2 (ja) | データ処理装置 | |
US10205928B2 (en) | Image processing apparatus that estimates distance information, method of controlling the same, and storage medium | |
JP2015194487A (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム | |
KR101875532B1 (ko) | 계층적 스테레오 매칭 장치 및 방법 | |
JP2004028727A (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
US20080226159A1 (en) | Method and System For Calculating Depth Information of Object in Image | |
KR101888969B1 (ko) | 영상특성을 이용한 스테레오 매칭장치 | |
JP4696925B2 (ja) | 画像処理装置 | |
CN111260538B (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
JP2015184121A (ja) | 距離算出装置 | |
JP6668740B2 (ja) | 道路面推定装置 | |
US20120154388A1 (en) | Stereo image processing method, stereo image processing device and display device | |
US10430971B2 (en) | Parallax calculating apparatus | |
JP2016111585A (ja) | 画像処理装置、システム、画像処理方法、およびプログラム | |
JP4410521B2 (ja) | 画像処理装置および画像処理方法 | |
WO2016047220A1 (ja) | 撮像装置及び撮像方法 | |
JP7146608B2 (ja) | 画像処理装置 | |
KR101813371B1 (ko) | 영상 처리 장치 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5949314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |