TW201123842A - Apparatus for acquiring distance information and images - Google Patents

Apparatus for acquiring distance information and images Download PDF

Info

Publication number
TW201123842A
TW201123842A TW099121333A TW99121333A TW201123842A TW 201123842 A TW201123842 A TW 201123842A TW 099121333 A TW099121333 A TW 099121333A TW 99121333 A TW99121333 A TW 99121333A TW 201123842 A TW201123842 A TW 201123842A
Authority
TW
Taiwan
Prior art keywords
image
distance information
image sensor
images
acquiring
Prior art date
Application number
TW099121333A
Other languages
English (en)
Inventor
Byoung-Su Lee
Original Assignee
Siliconfile Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siliconfile Technologies Inc filed Critical Siliconfile Technologies Inc
Publication of TW201123842A publication Critical patent/TW201123842A/zh

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

201123842 六、發明說明: 【發明所屬之技術領域】 陳]本㈣涉祕祕料料料置,更具舰涉及獲取 三維距離資訊和影像的裝置,其能夠透過將由中心影像 感測器獲取的影像和由左與右影像感測 器獲取的影像相 取關於目㈣距離資訊,並透過利用操取的位 置資訊在特定位置輸出影像,中心影像感測器、左影像 感測器和右影像感測器設置在—個板上。 [先前技術;1 剛隨著纽通信技術的發展,憑藉高速處理字元、語音和 '影像的數位終端,已經提供了支援么维影像和聲音的多 媒體服務,並已經積極進摘媒體服務 的三維資訊通信服務的研究〃。 [0003] 一般而言,具有立體效果的三維影像可透過雙眼根據立 體視覺原理獲取。立體效果的重要因素是雙眼的視差, ^ ' 1! 即由雙眼間的間隔(大約65關)引起的雙眼視差。這樣 〇 ’人透過左右眼看見不同的二難,影像,兩個影像經過視 網膜傳遞給大腦’大腦結合該兩個影像以產生三維影像 原始深度和實際效果,其通常被稱為立體空間圖形。 [0004] 近來,已經進行了立體視覺系統的研究,該系統能夠檢 測位於系統前面的目標的距離。這種立體視覺系統使用 兩個立體相機’其透過預期變換將三維空間映射到二維 空間中’並透過立體相機的幾何佈置恢復三維資訊。 099121333 根據上述付到距離資訊的現有方法,使用兩個相機獲取 左邊影像資料和右邊影像資料。對該左邊影像資料和右 表單編號Α0101 第3頁/共12頁 0992037583-0 [0005] 201123842 [0006] [0007] [0008] [0009] [0010] 099121333 邊影像資料進行輪靡檢測處理,發現該左邊影像資料和 右邊影像資料之間的匹配點,從而獲取距離資訊。 然而,在上述方法中,需要複雜的計算以透過比較兩個 影像來發現相同的點。在大多數情況下,操取影像邊緣 ’角等被認為是相同的點,並且獲取深度資訊。由於這 種影像處理和相同點的確定等是複雜的’並且在距離測 量的準確性方面存在不便,所以不能準確測量距離,並 且需要用於校正的多個不便的處理。 近來,已經進行了圓片級立體相機的研究,其透過處理 由提供在一個板上的左右影像感測器所獲取的影像而在 短距離上掏取三維資訊。 然而,當有障礙位於這種圓片級立體相機前面時,由於 在左右影像上的隱藏物體或閉塞區的存弈,因而不能容 易地擷取準確的距離資訊。 【發明内容】 因此,努力作出本發明以解決在現有技術中出現的問題 ,且本發明的目的在於提供獲取三維距離資訊和影像的 裝置,其中圓片級包括中心影像感測器、左影像感測器 、以及右影像感測H的立體域,可以透過將由中心影 像感測器獲取的影像與由左影像感測器和右影像感測器 獲取的影像相比較’揭取關於參照物的準確距離資訊, 並使用所棘的距離資財料位錄出影像。 為了實現上述目的’根據本發明的—方面,提供了一種 獲取三維距離資訊和影像的I置,包括:影像感測器單 第4頁/共12頁 表單編號A0101 0992037583-0 201123842 元,其具有左影像感測器、中心影像感測器和右影像Λ * 測器,該左影像感測器、該中心影像感測器和該右影像 感測器被設置在一個板上並以預定間隔彼此:開,以及 距離資訊擷取單元,其透過將由中心影像感測器獲取的 參照物影像和由左影像感測器獲取的參照物影像及由右 影像感測器獲取的參照物影像相比較,擷取距離資訊。 [0011] 獲取三維距離資訊和影像的裴置可以進一步包括影像處 理單元’其根據所獲取的距離資訊在特定的位置擷取參
照物的影像。 [0012] 由於根據本發明的獲取三維距離資訊和影像的裝置以圓 片級排列’因此不需要針對排列的單獨校正處理,便於 距離資訊的操取’並且其計算處理較簡單。 [0013] 而且,將由中心影像感測器獲取的影像和由左影像感測 器獲取的影像及由右影像感測器獲取的影像相比較’從 而能夠擷取沒有隱藏物.體的卑確的距離資訊β 【實施方式】. 1; [〇014] 下面將更詳細地描述本發明的優選實施方式,其示例在 附圖中圊示。 [001¾ 第一圈所示為根據本發明的實施方式獲取三維距離實訊 和影像的裝置構造的示意圖。 [0016] 參照第一圖,本發明獲取三維距離資訊和影像的裝置100 包括影像感測器單元110、距離資訊擷取單元12〇和影像 處理單元130。 [0017] 影像感測器單元11 〇包括左影像感測器111、中心影像感 099121333 表單編號 Α0101 第 5 頁/共 12 頁 0992037583-0 201123842 [0018] [0019] [0020] [0021] [0022] 099121333 測器112和右影像感測器113,左影像感測器111、中心 影像感測器112和右影像感測器113被安置在一個板(圖未 示)上並以預定間隔彼此分開。左影像感測器111、中心 影像感測器112和右影像感測器113分別獲取關於參照物 的左影像、中心影像和右影像。 距離資訊操取單元12〇比較並將由 中心 影像感測器112獲 取的參照物中心影像與由左影像感測器111獲取的參照物 左影像及由右影像感測器113獲取的參照物右影像相互匹 配,從而擷取關於參照物的滚有隱藏物體的準確距離資 ......... 訊。 ^ * y 也就是說,將中心影像與左影像及右影像相互匹配,從 而中心影像上的一點與左影像或右影像的至少一點相互 匹配,使得移位的不確定面積消失,並使得距離資訊準 確性提高。 影像處理單元130輸出參照物的中心影像,其透過中心影 像感測器112獲取。而且’影像處理單元1 3 0能夠透過使 用由距離資訊擷取單元120擷取的距離資訊和中心影像, 在特定位置擷取影像。 第二圖所示為根據本發明獲取三維距離資訊和影像的裝 置輸出距離資訊和影像的方法的示意圖。 如第二圖所示,中心影像上的一點與左影像或右影像的 至少一點相互匹配。該中心影像透過影像處理單元130被 輸出到裝置1 〇 〇的外面。 同時’中心影像與左影像及右影像相互匹配,以棟取關 表單編號A0101 第6頁/共12頁 [0023] 201123842 於參照物的距離資訊。此時’在梅取的深度圖上形成根 據距離的不連續影像。這種深度圖不連續影像與中心邊 緣影像相結合以校正深度圖,使得距離資訊準確性提高 [0024] 第三圖是示意性地示出根據本發明獲取三維距離資訊和 影像的裝置在特定位置擷取影像的方法的示意圖。
[0025] 如第三圖所示,左影像感測器“相機L” 、中心影像感剩 器“相機c”和右影像感測器“相機R”分別擷取線影像 。接下來,將中心影像感測器“相機c”的線影像與左影 像感測器“相機L ”及右影像感測器“拽機R ”的線影像 相互匹配,以擷取距離資訊’從而獲取深度®。 [0026] 接下來,虛擬相機“相機Γ位於影像將被獲取的特定觀 察點,並且使用擷取的距離資訊獲取虛擬相機“相機V” 的線影像,從而可以在左影像或右影像的特定位置擷取 影像。
[0027] 如上所述,本發明的特徵在於將中心影像與左影像及右 影像相互匹配,以擷取關於參照物的距離資訊,並且根 據擷取的距離資訊在左影像或右影像的任意位置擷取影 像。 [0028] 雖然為說明的目的描述了本發明的優選實施方式,但本 領域技術人員應理解,在不脫離本發明所附權利要求書 公開的範圍和精神的情況下,可進行不同的改進、附加 和替代。 【圖式簡單說明】 099121333 表單編號Α0101 第7頁/共12頁 0992037583-0 201123842 [0029] [0030] [0031] [0032] [0033] [0034] [0035] [0036] [0037] [0038] 第一圖所示為根據本發明的實施方式獲取三維距離資訊 和影像的裝置的構造的示意圖; 第二圖所示為根據本發明獲取三維距離資訊和影像的裝 置輸出距離資訊和影像的方法的示意圖;以及 第三圖是示意性地示出根據本發明獲取三維距離資訊和 影像的裝置在特定位置擷取影像的方法的示意圖。 【主要元件符號說明】 獲取三維距離資訊和影像的裝置100 影像感測器單元110 左影像感測器111 中心影像感測器112 右影像感測器113 距離資訊擷取單元120 影像處理單元130 099121333 表單編號A0101 第8頁/共12頁 0992037583-0

Claims (1)

  1. 201123842 七、申請專利範圍: 1 . 一種獲取三維距離資訊和影像的裝置,包括: 一影像感測器單元,包括左影像感測器、中心影像感測器 以及右影像感測器,該左影像感測器、該中心影像感測器 以及該右影像感測器被排列在一個板上,並以預定間隔彼 此分開;以及 一距離資訊擷取單元,透過將由該中心影像感測器獲取的 參照物的影像與由該左影像感測器獲取的該參照物的影像 及由該右影像感測器獲取的該參照物的影像相比較,擷取 〇 距離資訊。 2 .如申請專利範圍第1項所述的獲取三維距離資訊和影像的 裝置,更包括一影像處理單元,其使用擷取的距離資訊在 特定位置擷取該參照物的影像。 3 .如申請專利範圍第1項所述的獲取三維距離資訊和影像的 裝置,其中該距離資訊擷取單元透過將由該中心影像感測 器獲取的影像的邊緣影像與深度圖不連績影像相結合來校 正該距離資訊,從而擷取校正的距離資訊。 〇 4 .如申請專利範圍第2項所述沾ϋ:Ξ:維距離資訊和影像的 裝置,其中該距離資訊擷取單元透過將由該中心影像感測 器獲取的影像的邊緣影像與深度圖不連續影像相結合來校 正該距離資訊,從而擷取校正的距離資訊。 099121333 表單編號Α0101 第9頁/共12頁 0992037583-0
TW099121333A 2009-06-29 2010-06-29 Apparatus for acquiring distance information and images TW201123842A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090058146A KR20110000848A (ko) 2009-06-29 2009-06-29 3차원 거리정보 및 영상 획득 장치

Publications (1)

Publication Number Publication Date
TW201123842A true TW201123842A (en) 2011-07-01

Family

ID=42320733

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099121333A TW201123842A (en) 2009-06-29 2010-06-29 Apparatus for acquiring distance information and images

Country Status (5)

Country Link
US (1) US20100328457A1 (zh)
EP (1) EP2271123A3 (zh)
KR (1) KR20110000848A (zh)
CN (1) CN101936731A (zh)
TW (1) TW201123842A (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011010865A1 (de) * 2011-02-10 2012-03-08 Daimler Ag Fahrzeug mit einer Vorrichtung zur Erfassung einer Fahrzeugumgebung
GB2490872B (en) * 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
JP2013089981A (ja) * 2011-10-13 2013-05-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20130329985A1 (en) * 2012-06-07 2013-12-12 Microsoft Corporation Generating a three-dimensional image
US9282265B2 (en) 2013-09-09 2016-03-08 Omnivision Technologies, Inc. Camera devices and systems based on a single image sensor and methods for manufacturing the same
KR101654071B1 (ko) * 2014-12-11 2016-09-05 한국항공우주연구원 이미지 센서를 다각도로 결합한 카메라
US20170359565A1 (en) * 2015-02-20 2017-12-14 Sony Corporation Image pickup device and image pickup method
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
KR102224637B1 (ko) 2019-07-05 2021-03-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102275300B1 (ko) 2019-07-05 2021-07-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102361130B1 (ko) 2019-07-11 2022-02-09 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102297496B1 (ko) * 2019-07-11 2021-09-02 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102302575B1 (ko) 2019-07-16 2021-09-14 엘지전자 주식회사 이동 로봇 및 그 제어방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
US20020047798A1 (en) * 1999-06-25 2002-04-25 Timothy James Platt Image acquisition and retrieval system employing position data
KR100424287B1 (ko) * 2001-09-10 2004-03-24 주식회사 제이앤에이치테크놀러지 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
KR100762098B1 (ko) * 2006-03-09 2007-10-01 (주)실리콘화일 3차원 영상 획득용 씨모스 스테레오 카메라
JP2008066773A (ja) * 2006-09-04 2008-03-21 Funai Electric Co Ltd オーディオ機器
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
US8442267B2 (en) * 2008-12-24 2013-05-14 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body posture and hand posture

Also Published As

Publication number Publication date
CN101936731A (zh) 2011-01-05
KR20110000848A (ko) 2011-01-06
US20100328457A1 (en) 2010-12-30
EP2271123A2 (en) 2011-01-05
EP2271123A3 (en) 2012-01-04

Similar Documents

Publication Publication Date Title
TW201123842A (en) Apparatus for acquiring distance information and images
US20210000551A1 (en) Tracking system and tracking method using same
TW201100760A (en) Distance measuring apparatus having dual stereo cameras
JP2014102766A5 (zh)
JP2012182581A5 (ja) 撮像装置、撮像方法及び撮像装置の制御プログラム
JP2020529685A5 (zh)
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
JP5715735B2 (ja) 3次元測定方法、装置、及びシステム、並びに画像処理装置
CN103871045B (zh) 显示系统和方法
EP4290485A3 (en) Facial recognition authentication system including path parameters
TW200943197A (en) Face expressions identification
CN103248822A (zh) 摄像终端的对焦方法及摄像终端
JP2012103865A5 (zh)
JP2009529824A (ja) 3次元映像獲得用cmosステレオカメラ
KR100962552B1 (ko) 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
JP2009089126A5 (zh)
JP2016531470A (ja) 視聴場所についてのステレオ情報の取得、送信および受信、ならびに、眼点系のその自動測定のためのtvマルチアングル法
WO2020059575A1 (ja) 3次元画像生成装置、3次元画像生成方法、及びプログラム
JP2011217229A (ja) 撮像装置および表示方法
WO2015154491A1 (zh) 一种照片拍摄方法、显示方法及装置
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법
JPWO2021124553A5 (zh)
JP2012023589A (ja) 立体画像処理装置、立体画像撮影装置、立体画像表示装置、及び立体画像処理方法