TW591247B - System, method and program for perspective projection image creation, and recording medium storing the same program - Google Patents

Description

591247 A7 B7 五、發明説明（1 ) 發明背景 1 ·發明領域： 本發明係有關一種包含一全方向視覺感測器之透視投射 影像產生系統、一種透視投射影像產生方法、一種透視投 射影像產生程式、及一種用來儲存該透視投射影像產生程 式之記錄媒體。 2.相關技藝說明·· 在最近數年中，已經對其中包括一相機..及一監視器且係 安裝在諸如車輛等的移動體之一種影像顯示系統積極地進 仃了研究，以便在該監視器上顯示在駕駛人盲區忙區中之 影像。此種影像顯示系統的一代表性例子包含一安裝在一 車輛上的後視監視器，用以在一駕駛人停車時減輕對該駕 •it人的負擔。 二=而，在傳統‘的影像顯示系統中，車輛右後方的視角是 2的，因而監視器上顯示的資訊受到了限制。目此，目 月J而要種包含一具有一較寬視角的相冑之之影像顯示系 :，且，相機能得到車輛與障礙物間之位置關係有關的更 月確之貝訊，以便進一步減輕駕駛人的負擔。 此外’錢如包含一後視監視器的_影像 傳統影像顯示系統中，俜大致Α、、Λ古p + 監視器的顯示螢幕上顯；相機過處理的情形下在 像所涵蓋的範圍影像，顯示影 的一（¾½ 、寺疋的視％，例如受限於車輛後 :。制㈣統的影像顯示系統時， 人可看到位於該車麵正後方的障礙物，或㈣駕 591247

AT B7 五、發明説明（2 別該車輛可後退多$。然而’該駕駛人無法得到與該車輛 正後方區域以外的周圍環境有關之資訊，例如，該駕駛人 無法識別該車輛與障礙物或類似物體間之位置^係"，例 如，無法識別用來指示-停車空間㈣、4停在該駕敬人 車輛旁邊的各相鄰車輛。 因此，車輛的駕駛人在檢查監視器上顯示的影像時或查 看後視鏡及（或）側視鏡時，需要善於利用.其駕駛經驗，才 能駕駛車輛或停車。此種情形對無經驗的..駕駛人造成相當 大的負擔，且讓該駕駛人無法安全駕馱。 有鑑於前文所述之情況，目前需要一種用來作為一駕駛 辅助系統的影像顯示系統，該駕駛輔助系統將諸如停車場 等的與車輛周圍環境有關之精確位置資訊提供給車輛駕驗 人。日本特許申請案2_-3 1260揭示了 一種移動體周圍監視 裝置，該裝置包含一使用一安裝在車輛的一規定位置的雙 曲面鏡之全方向視覺感測器，因而該全方向感測器之視= 係向下導向地面，亦即，該全方向感測器以好比是直接自 上方檢視地面之方式捕獲地面之影像。亦即，該移動體周 圍監視裝置根據該全方向視覺感測器所得到的一透視投射 影像，而提供地面的一鳥瞰圖’因而提供了與諸如一車輛 等的一移動體相對於地面的一位置有關之資訊。 然而，日本特許申請案2〇〇〇_3126〇所揭示的該傳統的移動 體周圍監視裝置係利用以實際上並未存在於地面的車輛好 比是存在於地面的方式所得到之透視投射影像，來產生該 鳥瞰圖，因而該車輛的該鳥瞰圖有嚴重的失真，因而難以 591247 A7 B7 五、發明説明（3 ) 判定車輛與地面間之位置關係，且因而難以判定位於地面 上的障礙物。 曰本特許申請案2000-3 1260亦揭示了一種組態，該組態將 該鳥瞰圖上的該車輛之失真影像與好比自上方檢視該車輛 之方式示出邊車輛之影像結合，而可使車輛與地面間之位 置關係在該鳥瞰圖中變得精確且明顯。然而，日本特許申 請案2000-3 1260並未提供用來產生此種結合影像的一方法之 詳細說明，而實際上係由車輛駕駛人一，面檢視一顯示螢 幕，一面經由嘗試錯誤法重複調整該顯示螢幕，而產生該 結合景> 像。因此’駕驶人不易對顯示的影像作出諸如放大 或縮小等的輕微改變。此外，並未提供可讓駕駛人識別自 車輛至障礙物或用來指示一停車空間的線等的實際距離之 機構。 發明概述 根據本發明的一個方面，提供了一種透視投射影像產生 系統，該系統包含：一光學系統，該光學系統包含一雙曲 面鏡，該雙曲面鏡具有雙葉雙曲面中的一葉之雙曲面形 狀，一成像部分，該成像部分接收在該雙曲面鏡對面的一 透鏡所集中的光線，以便產生輸入影像資料；一影像變換 部分’用以將該成像部分所得到的輸入影像資料變換為一 透視投影之影像資料，而該透視投影具有在該雙曲面鏡的 一焦點上之投影中心；一比例模型產生部分，用以根據該 雙曲面鏡的該焦點與該物體平面間之一距離及該雙曲面鏡 的該焦點與一透視投射影像平面間之一距離之比率，而將 -6- 591247 A7 B7 五、發明説明（4 ) 垂直於延伸經過該雙曲面鏡的一焦點的一條線的一物體平 面中的一物體之影像資料變換為該物體的一比例模型之影 像資料，因而該物體的該比例模型之一尺寸對應於一透視 投射影像中的該物體之尺寸；一影像結合部分，用以結合 該透視投射影像資料及該比例模型的影像資料，而產生結 合後的影像資料；以及一顯示部分，用以顯示該結合後的 影像資料。 ' 在本發明的一實施例中，該物體平面是 > 地面。 在本發明的一實施例中，係以像素（每一像素代表影像解 析度之一最小單位）的數目來表示該投影中心與該透視投射 影像平面間之該距離。 在本發明的一實施例中，係根據與該物體平面中的該比 例模型的一目標物體有關之資訊，而產生該比例模型之影 像資料。 在本發明的一實施例中，該資訊包含原始的影像資料， 也就是該目標物體的影像資料、該目標物體的實際尺寸、 以及與該雙曲面鏡的該焦點與該物體平面間之該距離有關 之資料。 在本發明的一實施例中，該比例模型產生部分根據該雙 曲面鏡的該焦點與該物體平面間之該距離及該雙曲面鏡的 該焦點與一透視投射影像平面間之該距離之該比率，放大/ 縮小係為一目標物體的影像資料之該原始影像資料之一尺 寸，而產生該比例模型之影像資料。 在本發明的一實施例中，該透視投射影像產生系統進一

W247 A7 B7 發明説明 V匕3 類似於該第一光學系統之第二光學系統，該系統 根據该比例模型產生部分所產生的該比例模型之影像資 料’計算該第二光學系統中的一雙曲面鏡的一焦點與在該 第一光學系統中的該焦點上具有一投影中心的一透視投射 衫像平面間之—距離，而產生在該第二光學系統的該雙曲 面鏡的該焦點上具有一投影中心且對應於該比例模型之透 視投射影像資料。 = _ 在本發明的一實施例中，該比例模型的〃該影像資料是用 來代表一影像中的一長度之一量規模型。 根據本發明的另一方面，提供了一種產生透視投射影像 之方法’該方法包含下列步驟：利用一全方向視覺感測器 取得輸入影像資料，該全方向感測器包含一光學系統，該 光學系統包含一雙曲面鏡，該雙曲面鏡具有雙葉雙曲面中 的一葉之雙曲面形狀，且該全方向感測器包含一成像部 分，該成像部分接收在該雙曲面鏡對面的一透鏡所集中的 光線’以便產生輸入影像資料；將該成像部分所得到的輸 入影像資料變換為一透視投影之影像資料，而該透視投影 具有在該雙曲面鏡的一焦點上之投影中心；根據該雙曲面 鏡的該焦點與該物體平面間之一距離及該雙曲面鏡的該焦 點與一透視投射影像平面間之一距離之比率，將垂直於延 伸經過該雙曲面鏡的一焦點的一條線的一物體平面中的一 物體之影像資料變換為該物體的一比例模型之影像資料， 而產生一比例模型，因而該物體的該比例模型之一尺寸對 應於一透視投射影像中的該物體之尺寸；結合該透視投射 -8 - 本紙張尺度適用中國攔家標準(CNS) Λ4規格（]1〇Χ297公釐） 591247 A7 __B7 五、發明説明（6 ) 影像資料及該比例模型的影像資料，而產生結合後的影像 資料；以及顯示該結合後的影像資料。 根據本發明的又一方面，提供了一種用來執行該產生透 視投射影像的方法之透視投射影像產生程式。 根據本發明的又一方面，提供了一種電腦可讀取的記錄 媒體，该圯錄媒體係儲存一用來執行該產生透視投射影像 的方法之透視投射影像產生程式。 因此，本文所述的本發明之優點在於提供了 ··一種透視 投射影像產生系統，該系統可提供一透視投射影像，該透 視投射影像精確地指示了一車輛與該影像中所捕獲的物體 間之一位置關係；一種用來產生該透視投射影像之方法； 一種用來產生該透視投射影像之程式；以及一種用來儲存 該透視投射影像產生程式之記錄媒體。 熟習此項技藝‘者若配合各附圖而參閱並了解了下文中之 詳細說明，將可易於了解本發明的上述這些及其他的優 圖式簡述 圖1是一全方向視覺感測器的一光學系統之示意圖。 圖2示出沿著圖1所示全方向視覺感測器的該光學系統的 一 z軸而取的一平面。 圖3是根據本發明的透視投射影像產生系統的一概要結構 之方塊圖。 圖4是其中包含根據本發明的全方向視覺感測器的一車輛 之示意圖。 -9- 本紙張义度適州中蹦國家標準(CNS) Λ4规格（2]〇x 297公釐） 591247

圆3不出儲存在 分的一程式之概要結構 圖6是與一透視投射影像平面 測器的-雙曲面鏡的焦點0m與一實門：方向現覺感 視圖。 貫際地面間之一關係之透

7是表示其令包含若干全方向視覺感測器的車輛的一 尺寸70、該車輛的一原始影像之一尺寸^、及該車輛 比例模型72之平視圖 圖8是一個四米量規模型影像之示意圖。 圖9是用來產生一鳥瞰圖影像的一程序之流程圖。 _圖1〇示出根據安裝在其中包含該等全方向視覺感測器的 一車輛前面的一全方向視覺感測器所捕獲的一輸入影像而 產生之一透視投射影像。 / 圖11示出根據安裝在其中包含該等全方向視覺感測器的 該車輛後面的一全方向視覺感測器所捕獲的一輸入影像而 產生之一透視投射影像。 圖12是在一影像結合步驟中產生一鳥瞰圖影像時用來黏 貼（結合）各透視投射影像的各區域之示意圖。 圖13是一完整的鳥瞰圖影像之示意圖。 較佳實施例之說明 現在將參照該等圖式而說明本發明之各實施例。 根據本發明的一透視投射影像產生系統根據一使用一雙 曲面鏡的全方向視覺感測器所得到的輸入影像資料，而產 生一透視投射影像，該透視投射影像具有在該雙曲面鏡的 -10 - 本紙張尺度遴州中國國家標準(CNS) A4規格< mo X 297公釐） 591247 A7 __B7 五、發明説明（8 ) 一焦點上之一投影中心。 首先將於下文中說明使用該雙曲面鏡之該全方向視覺感 測器。 曰本早期公開專利公告6-295333中詳細說明了一種使用一 雙曲面鏡之全方向視覺感測器，本發明特此引用該文件之 全文以供參照，且本發明因而只說明此種全方向視覺感測 器之一特徵。 7 圖1示出該全方向視覺感測器的一光學系統之一結構。如 圖1所示’該全方向視覺感測器的光學系統包含一雙曲面鏡 10。雙曲面鏡1〇包含一旋轉體，該旋轉體具有一作為該雙 曲面鏡的一外圓周表面之反射表面。在圖1中，雙曲面鏡 的一旋轉軸線係位於三維座標系（X，y，z)的一 Z軸上。雙曲 面鏡10的焦點Om係位於該z軸上。朝向雙曲面鏡1 〇的焦點 Om射出的光線被雙曲面鏡1〇的反射表面反射，且係集中在 z軸的點Oc上。點〇c對應於其中包括雙曲面鏡1〇的雙葉雙曲 面之另一焦點。一透鏡14係位於點Oc上。作為諸如一電荷 耦合裝置（CCD)等的一成像裝置的一光接收平面之一影像 平面1 1係位於離開透鏡14為焦距f之處，以便垂直於z轴。 點Oc是透鏡14的一透鏡主點（principal point)。 在該光學系統中’考慮自一實際空間平面13的點p朝向雙 曲面鏡10的焦點Om射出的光線。該實際空間平面13包含位 於離開雙曲面鏡10的焦點Om有一距離D之點G，而實際空^ 平面1 3係垂直於自焦點Om向點G延伸的一條直線（一檢視方 向）。係以x-y-z軸座標（X，γ，Z)來表示點P。雙曲面鏡1〇 -11 - ----— 本紙張尺度適用中國阐家橾準(CNS) A4規格(210X297公釐） 591247 A7 ______B7 五、發明説明（9 ) 將自點P射向焦點0m的光線朝向透鏡1 4的透鏡主點&反 射，因而透鏡14在影像平面丨丨的點ρ(χ ’ y)上形成一影像。 在影像平面1 1的點p上形成的該影像便成一輸入影像。在該 光學系統中，雙曲面鏡10係位於繞著作為一中央軸的z軸旋 轉的一旋轉體之圓周表面上，且自雙曲面鏡1〇反射的光線 產生的ό亥輸入影像因而是·一圓形影像。 下文中之說明係有關利用一輸入影像而·將與一光學系統 的周圍環境有關之部分資訊變換為具有在雙曲面鏡丨〇的焦 點Om上的一投影中心之一透視投影。 現在考慮一包含沿著實際空間平面丨3的一檢視方向的〇. G線上的點g之透視投射影像平面12，該投射影像平面12係 垂直於Om-G線。透視投射影像平面12上的點g離開雙曲面 鏡1 〇的焦點Om有一距離d，其中投射影像平面丨2係平行於 貫際空間平面1 3。在並沒有使光線無法在實際空間平面13 與焦點Om之間通過的物體且透視投射影像平面12具有在焦 點Om上的一投影中心之情形中，自點p( X , γ，z)發射的光 線係投射在投射點Pt( tx，ty ’ tz)上。如前文所述，在實際 空間平面13的點P(X，Y ’ Z)上之光線形成影像平面n的點 p( X，y)上之一影像，且係根據點p( x，y)的值而決定投射點 Pt( tx，ty，tz)的值。利用影像平面11上的那些值計算透視 投射影像平面12上的投射點之每一值，即可得到具有在焦 點Om上的一投影中心之一透視投射影像。 在此種情形中，如圖1所示’經過透視投射影像平面1 2上 的點g及pt的一條線以及雙曲面鏡1 〇的焦點〇m所形成之一個 -12- 本紙張尺度適用辛國國家標準(CNS) A4规格(210 X 297公梦） 591247

二角形Om-g-pt、與實際空間平面13上的點G&p以及雙曲面 鏡10的焦點Om形成之一個三角形〇m-G-p具有一經過、 g、及G的共同軸線。該等三角形〇m-g-pt&〇m_G_p具有〆 共同的頂點角，匕，該等三角形―屮及⑽心是相似 的三角形。 因此，係以焦點0m與透視投射影像平面12的點g間之一 距離及焦點〇m與實際空間平面13:間之一距離的比率d/D來 表示透視投射影像平面12的點g與pt間之一距離及實際空間 平面13的點G與P間之一距離的比率。 在該透視投射影像是一數位影像的情形中，可以很方便 地以構成該數位影像的像素之數目來代表透視投射影像平 面12上的該數位影像之尺寸。像素是數位影像解析度的一 最小單位。以像素數目表示透視投射影像平面1 2與雙曲面 鏡1 0的焦點Om間之距離d ’並以釐米（cm)表示實際空間平 面13上任何兩點間之一距離D，則可以[像素/釐米]來表示 5亥距離比率d/ D ,此即意指··代表實際空間平面13上一個一 釐米的距離所需之像素數目為d/D。 圖2示出沿著圖1所示全方向視覺感測器的該光學系統的z 車由而取的一平面。 現在考慮如圖2所示其中包含z軸的該平面中之該光學系 統，係以利用常數a、b、及c界定雙曲面鏡1 〇的形狀之下式 (1)來代表朝向雙曲面鏡10的焦點Om通過的光線22的入射角 α與朝向一透鏡主點2 1反射的光線23的入射（反射）角^間 之一關係。 -13-

本紙張尺度通州中國國家標準(CNS) Λ4规格（210:< 297公D

裝 訂

591247 A7 B7 五、發明説明（11 ) a = tan-丨—i^±£_2)s 丨 np-2bc …

(b2-c2)cosP 根據公式（1)’彳’丁、由用來界定雙曲面鏡1 〇的形狀之常數 a、b、及c以及光線22之入射角α來界定反射光線23之入射 角/5 。 然後將說明根據本發明且利用前文所述的全方向視覺感 測器之一透視投射影像產生系統。= 在根據本發明的該透視投射影像產生系…统中，為了要在 實際空間平面13上表現一具有一已知尺寸的目標物體，係 將該目標物體的一原始影像之尺寸放大或縮小，或者利用 該距離比率d/ D產生用來代表該物體的一個新影像，並產生 該目標物體的一比例模型，以便具有一對應於透視投射影 像平面12的尺寸之一尺寸。 該比例模型是數位影像資料，且係產生該數位影像資 料，而具有一符合該距離比率d/ D之一尺寸，以便在透視投 射影像平面12上表現在實際空間平面13上具有一已知尺寸 之該目標物體。例如，在將該全方向視覺感測器安裝在一 車輛且該目標物體是該車輛在地面上的一陰影之情形中， 產生景> 像資料，作為用來代表該車輛的尺寸之比例模型， 而可識別該車輛與地面上的障礙物間之一位置關係。 圖3是根據本發明的透視投射影像產生系統的一概要結構 之方塊圖。該實施例中說明的用於一車輛的一全方向視覺 系統包含一全方向視覺感測器，該全方向視覺感測器具有 安裝在一車輛的每一右前面及左後面的圖1所示之光學系 、’充用以產生可協助駕駛遠車輛的駕駛人之該車輛之一鳥 本紙張尺度適财8 8家料(CNS) Α4·(21() χ 2ϋ董)~~ -一 591247 A7 發明説明 峨·圖。 八如圖3所示，根據本發明的該透視投射影像產生系統包 ^ 一第一全方向視覺感測器3丨；一第二全方向視覺感測 ""32、，一儲存部分33，用以儲存與其中包含若干全方向視 覺感測為、以及該第—及第二全方向視覺感測器3 1及W的車 輛有關之貝料，用來輸入各種資料之一輸入部分34，· 一顯 示部分35，用以顯示根據第一及第二全方.向視覺感測器^ 及3 2的輸出而產生之影像；一影像資料儲〃存部分％，用以 暫時儲存第-及第二全方向視覺感測器3 i及32所得到的資 料，以及控制部分3 〇，用以控制該透視投射影像產生系 統的這些元件。 下文中將說明每一上述的元件。 圖4是其中包含根據圖3所示實施例的全方向視覺感測器 的一車輛之示意圖。 如圖4所示，第一全方向視覺感測器3丨係位於其中包含該 等全方向視覺感測器的車輛之右前端，因而一 CCD ( —影像 平面）係沿著相對於地面的一垂直方向而向上，位置在該 CCD相機之上的第一全方向視覺感測器3 1的一雙曲面鏡之 曲面係沿著相對於地面的一垂直方向而向下，且地面與 該雙曲面鏡的焦點間之距離是D 1。第一全方向視覺感測器 3 1取得與在該車輛的右前端上捕獲的一影像有關之資料， 作為第一輸入影像資料。 第二全方向視覺感測器3 2係位於該車輛之左後端，因而 一 CCD相機（一影像平面）係沿著相對於地面的一垂直方向 -15-

-----J 本紙張尺度適用t®國家標準(CNS) A4規格（210X297公釐） 591247 A7

591247

不的影像；選擇一量規模型；指定顯示/不顯示該旦 型：以及指定顯示/不顯示第一與第二全方向二” 與32間之一邊界線。 泛列為31 影像資料儲存部分36是一記憶體，用以暫時儲存諸々一 一及第二全方向視覺感測器31及32所取得的輪= 料，且影像資料儲存部分36包含第一至第七儲存區=,貝 即圖3所示之儲存區域3以至36g。： 5 亦 第一儲存區域36a儲存與第一全方向視覺感測器3丨取得的 該車輛的右前端周圍環境有關之第一輸入影像資料。^二 儲存區域36b儲存與第二全方向視覺感測器32取得的該車: 的左後端周圍環境有關之第二輸入影像資料。 第三儲存區域36c儲存將第一儲存區域36a中儲存的該第 一輸入影像資料變換為透視投射影像資料而產生的第一透 視投射影像資料。第四儲存區域36d儲存將第二儲存區域 36b中儲存的該第二輸入影像資料變換為透視投射影像資料 而產生的第二透視投射影像資料。 第五儲存區域36e儲存與放大或縮小儲存部分33中儲存的 該車輛的影像資料之尺寸而產生的該車輛的一比例模型有 關之影像資料。 第六儲存區域36f儲存用來代表與地面有關的一影像之比 例的一量規模型之影像資料。 第七儲存區域36g儲存結合後的影像資料，且係結合第三 儲存區域36c中儲存的該第一透視投射影像資料、第四儲存 區域36d中儲存的遠第一透視投射影像資料、及第五儲存區 ____ -17- ^紙張尺度適财家料(CNS) A4規格(210X297公釐) 591247 A7 B7 五 域36e中儲存的該車輛之該比例模型，而產生該結合後的影 像負料。凊注思’當駕驶人利用輸入部分3 4來選擇顯示第 六儲存區域3 6 f中儲存的該量規模型時，係將第丄 不/、贿仔區域 36f中儲存的該量規模型連同該結合後的影像資料儲存在第 七儲存區域36g中。 顯示部分35是諸如一用於車輛導航裝置中的液晶顯示器 等的一顯示裝置，並顯示由該結合後的影·像資料所代表的 一影像。 ^ 控制部分3 0疋一電腦’用以儲存用來產生鳥瞰圖的一程 式（後文中將其稱為一 ‘‘鳥瞰圖產生程式5〇，，），且控制部分 3 0根據所儲存的該鳥瞰圖產生程式5 〇而控制該全方向視覺 系統的前文所述之各元件。 下文中將說明控制部分30中所儲存的該鳥瞰圖產生程式 50。 圖5示出儲存在控制部分3〇的鳥瞰圖產生程式5〇之概要結 構。 該鳥瞰圖產生程式50執行一影像變換步驟5丨、一放大/縮 小步驟52、一比例量規產生步驟53、以及對影像資料儲存 部分36及健存部分33中儲存的各影像資料進行之一影像結 合步驟54。 在該影像變換步驟5 1中，係根據第一全方向視覺感測器 3 1所得到的且係儲存在影像資料儲存部分36的第一儲存區 域3 6a之該第一輸入影像資料，而產生透視投射影像資料’ 並將所產生的透視投射影像資料儲存在影像資料儲存部分 591247 A7 B7 五、發明説明（16 ) 36的第三儲存區域36c中。同樣地，係根據第二全方向視覺 感測器3 2所產生的且係儲存在影像資料儲存部分3 6的第一 儲存區域36b之該第二輸入影像資料，而產生不同的透視投 射影像資料，並將所產生的透視投射影像資料儲存在影像 資料儲存部分36的第四儲存區域36d中。用來產生影像變換 步驟51中的該透視投射影像資料之一演算法係述於日本早 期公開專利公告6-295333，且本#明中將、因而省略該演算 法之詳細說明。 在放大及縮小步驟52中，控制部分30自儲存部分33讀取 與其中包含該等全方向視覺感測器的車輛有關之原始影像 資料，並將该資料儲存在該控制部分3 〇之記憶體中。放大/ 縮小該車輛的該原始影像之尺寸，而產生該車輛的一比例 模i係將所產生的該車輛之該比例模型儲存在影像資料 儲存部分36的第五儲存區域36e中。用來產生該比例模型的 一演算法是一傳統的且廣泛使用的影像處理方法，例如利 用-像素間線性内插法之放大技術、以及用來減小像素值 或平均像素值的一縮小方法。 ,在比例里規產生步驟53中，產生一量規模型之影像資 料’而在該量規模型中’係將一影像中的諸如丨米或4米的 -規定長度增加/減少到一規定比例的一長度。係將所產生 的量規模型影像資料儲存在影像資料儲存部分36的第六儲 存，域36f中你j如’在要求與其中包含該等全方向視覺感 、j器的4輛與位於该車輛的右端或左端的一目才票物體間 之一位置關係有關的資訊之情形中，係將該量規模型影像 L __ - 19 - 591247 A7 ___ B7 五、發明説明（17 ) 資料產生成為具有相當於1米或4米的一長度及一任意寬度 的一區塊之全彩（24位元）影像資料。 在影像結合步驟54中，係結合第三儲存區域36c中儲存的 泫第一透視投射影像資料、第四儲存區域36d中儲存的該第 二透視投射影像資料、第五儲存區域36e中儲存的與該車輛 的邊比例模型有關之影像資料、以及第六儲存區域36f中儲 存的與該量規模型有關之影像資料，而產生一烏瞰圖影 像。係將所產生的該鳥瞰圖儲存在影像資料儲存部分36的 第七儲存區域36g中。將所產生的鳥瞰圖影像之影像資料傳 送到顯示部分3 5，且由顯示部分3 5顯示該烏瞰圖影像。 然後將詳細說明利用根據本發明的全方向視覺感測器來 產生比例模型及量規模型之一種方法。 圖6是與一透視投射影像平面61有關的第一全方向視覺感 測器31的一雙曲面鏡1〇的焦點〇m與一實際地面62間之一關 係之透視圖。在該實施例實施例中，圖1所示之直線〇m_G 及Om-g對應於z軸，且第一全方向視覺感測器η之位置係為 垂直於地面62 ’因而其中包含作為一平面中心的焦點〇m的 一 XY平面相對於地面62之傾角是〇。。因此，係為透視投射 影像平面61的一垂直軸線之直線〇m-g與該XY平面間之一傾 斜角63是-90。，因而所產生之透視投射影像平面61係平行於 地面62。在以此種方式定位的該全方向視覺感測器中，透 視投射影像平面6 1與雙曲面鏡10的焦點Om間之距離是d 1， 且地面62與雙曲面鏡1〇的焦點〇m間之距離（亦即，焦點〇m 所在處相對於地面62之高度）是D 1。量測第一全方向視覺感 -20- 本紙張尺度適用肀國國家標準(CNS) /V丨規格（210X 297公釐） 591247 A7 ____ B7 五、發明説明（18 ) 測器3 1連接到該車輛處相對於地面62之高度，而計算出距 離D 1。係將距離D 1儲存在儲存部分3 3中，且由控制部分3 〇 讀取該距離D 1。係以像素數目表示一單位的距離以。係以 釐米（cm)表示一單位的D1。當利用輸入部分34而放地或縮 小一影像時，係將距離dl用來作為一參數。 如前文所述，透視投射影像平面61及地面62是相似的， 因而當d 1與D 1間之比率d 1/D 1是n 1時，係以下式（2)來表示 η 1 〇 n dl nl = 一5T一 [像素/釐米]……(2)， 其？已1!.堯在農視投射影像平面6 1上顯示一對應於地® 62 上的1釐米所需之像素數目—。… 〜 圖7是表示其中包含該等全方向視覺感測器的車輛的一實 際尺寸70、儲存部分33中儲存的該車輛的一原始影像之一 尺寸7 1、及根據該原始影像7 1而產生的該車輛的比例模型 72之平視圖。當以wo (寬度）XL0 (總長度）來表示該車輛 的實際尺寸70時，係將以釐米單位表示的該等w〇及L0之值 儲存在儲存部分33中。 根據公式（2) ’以下式（3)及（4)分別計算以像素數目單位 來表示的該車輛的比例模型之寬度W2及總長度L2。係以 W2xL2來表示經由放大/縮小透視投射影像平面6丨的尺寸而 產生的比例模型72之一影像尺寸。 W2 = WO X nl .···· (3) L2 = L0 X nl ..... (4) 在儲存部分33中儲存的原始影像71之影像尺寸是WixL1 之情形中，需要放大/縮小原始影像7 1之尺寸，以便等於該 -21 -_ 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公货) " ' 591247

車輛的比例杈型72之尺寸，亦即W2 χ L2。原始影像7丨沿著 比例杈型72的見度方向之一玫大率是W2/ w 1，且原始影像 71沿著比例模型72的長度方向之一放大率是L2/L1。 根據该實施例，在放大/縮小步驟52中，係將原始影像7 ^ 變換為具有W2xL2的一尺寸之一放大後或縮小後之影像， 且係將該放大後或縮小後之影像用來作為透視投射影像平 面6 1中之一比例模型。 : 然後將說明用來產生一量規模型之一種方法。在本發明 的該實施例中，說明了產生一米及四米量規模型之方式。 係以下式（5)及（6)來表示對應於圖6所示地面62中的各別長 度1米及4米的透視投射影像平面6丨中之像素數目。 1 米=nl X 100 ........... (5) 4 米=η 1 X 400 ........... ( 6) 圖8不出根據公式（6)的一個四米量規模型。該四米量規 模型具有ηΐ χ400 [像素]的一長度，且係以斷點來指示一米 的間隔。 然後將參照圖9所示之一程式流程圖而說明根據該實施例 的該透視投射影像產生系統。 在步驟1中，決定是否需要改變其中包含該等全方向視覺 感測器的車輛之比例模型。如果決定需要對該車輛之比例 模型進行任何改變，則在步驟2中，係自儲存部分33讀取該 車輛在一貫際比例上的寬度及長度值、該車輛的影像資 料、以及地面與第一全方向視覺感測器3 1的一個雙葉雙曲 面鏡的一焦點間之距離D 1。在控制部分30中，執行（圖5所 ______-22- 木紙張尺度適料!情⑽準(CNS) Λ4規格(21()χ 裝 訂

A 591247 A7 ______ B7______ 五、發明説明（2〇 ) 示之）放大/縮小步驟5 2，以便產生該車輛的影像之一比例 模型。將所產生的比例模型儲存在影像資料儲存部分3 6的 第五儲存區域3 6 e。 然後在步驟3中，係利用公式（5)或（6)計算一個一米或四 米量規模型中之像素數目，並產生該量規模型的影像資 料，且將該影像資料儲存在影像資料儲存部分36之第六儲 存區域3 6 f。 在步驟4中，對於需要或不需要改變該土例模型的任一種 情形中，控制部分30自影像資料儲存部分36的儲存區域36a 讀取第一全方向視覺感測器3 1所得到的第一輸入影像資 料，並執行（圖5所示之）影像變換步驟5 1，以便根據該第一 輸入影像資料而產生第一透視投射影像資料。將所產生的 第一透視投射影像資料儲存在影像資料儲存部分36的第三 儲存區域36c。 圖10是根據第一全方向視覺感測器3 1所捕獲的一輸入影 像而產生的一透視投射影像1 〇〇之示意圖。在圖10中，係將 投射到第一全方向視覺感測器3 1的雙曲面鏡之一 CCD相機 之一影像10 1投射成透視投射影像1 〇〇，且該CCD相機的該 影像101之一中心係對應於圖1所示之點g。 在（圖5所示之）影像變換步驟5 1中，係將該第一輸入影像 資料變換為該第一透視投射影像資料，因而該CCd相機的 影像中心101上之座標移到該第一透視投射影像的中心點QC 之右方有W2/ 2之距離’該距離是該車輛的比例模型中的寬 度之一半’且該影像中心1 〇 1上之座標移到該第一透視投射 _____-23-_ 本紙張尺度適用中® ®家標準(CNS) A4規格Ql()x 297公發) 一 一 ' 裝 訂

591247

影像的中心點〇c之上方有L2/2之距離，且該距離是該車輛 的比例模型中的長度之一半。雖然係將第一全方向視覺感 測器3 1安裝在其中包含該等全方向視覺感測器的：二 上’使一焦點對應於該車輛的右前端，但是在第一全方向 視覺感測器31的位置使得其焦點離開該車輛的右前端之情 形中，需要根據公式（2)而計算自該車輛的右前端至第一全 方向視覺感測器31的一距離（釐米_)，以便可以像素數目來 表示該距離。 在圖10所示之透視投射影像100中，在相機影像1〇1左下 方的一區域（亦即，圖1〇所示之陰影線區域）對應於該車輛 之一陰影，因而並不將該區域中之地面標示為一影像。 然後請再參閱圖9，在步驟5中，控制部分3 0自影像資料 儲存部分36的第二儲存區域36b讀取第二全方向視覺感測器 32所得到的該第二輸入影像資料，並執行影像變換步驟 5 1 ’以便根據該第二輸入影像資料而產生該第二透視投射 影像資料。將所產生的第二透視投射影像資料儲存在影像 資料儲存部分36的第四儲存區域36d。 圖1 1是根據第二全方向視覺感測器32所捕獲的一輸入影 像而產生的一透視投射影像1 1 〇之示意圖。在圖丨丨中，係將 投射到第二全方向規覺感測器32的雙曲面鏡之一 CCd相機 之一影像1 1 1投射成透視投射影像1 1 〇，且該CCD相機的該 影像1 1 1之一中心係對應於圖1所示之點g。 在（圖5所示之）影像變換步驟5 1中，係將該第二輸入影像 資料變換為該第二透視投射影像資料，因而該CCD相機的 -24- 本紙張尺度適用中國國家標準(CNS) Λ4規格（210 X 297公飧） 591247 A7 B7 五、發明説明（22 ) 衫像中心1 1 1上之座標移到該第二透視投射影像的中心點〇 c 之左方有W2/ 2之距離，該距離是該車輛的比例模型中的寬 度之一半，且該影像中心1 Π上之座標移到該第二透視投射 影像的中心點0C之下方有L2/2之距離，且該距離是該車輛 的比例模型中的總長度之一半。雖然係將第二全方向視覺 感測器32安裝在其中包含該等全方向視覺感測器的該車輛 上’使一焦點對應於該車輛的左後端，但> 是在第二全方向 視覺感測器32的位置使得其焦點離開該車·輛的左後端之情 形中’需要根據公式（2)而計算自該車輛的左後端至第二全 方向視覺感測器3 2的一距離（釐米），以便可以像素數目來 表示該距離。 在圖11所示之透視投射影像11〇中，在相機影像n丨右上 方的一區域（亦即，圖11所示之陰影線區域）對應於該車輛 之一陰影’因而並不將該區域中之地面標示為一影像。 如前文所述，當執行該第一及第二輸入影像的影像變換 時，係根據第一全方向視覺感測器3 1的該第一透視投射影 像平面與該雙曲面鏡的焦點〇m間之距離d 1，而產生該車輛 的該比例模型。然後根據所產生的該車輛之比例模型，而 決疋第二全方向視覺感測器32的該雙曲面鏡之焦點〇m與該 第二透視投射影像平面間之距離。當第二全方向視覺感測 器3 2中產生的該透視投射影像平面與地面間之一距離的比 率是n2時，將建立以公式（7)表示的下列關係。 …d2 W2 L2 dl n2------=nl = — D2 WO L0 Dl _ _:25- 本紙張尺度適州中國國家標準(CMS) Λ4规格（210 x 297公货） ⑺

裝 訂

591247 A7 B7 五、發明説明（23 ) 在公式（7)中，該雙曲面鏡的焦點與該（第二）透視投射影 像平面間之距離是d 2，且地面與該雙曲面鏡的焦點間之距 離是D2。距離D2是用來將第二全方向視覺感測器32安裝在 該車輛上的-位置所界定之n且係將該常數預先健 存在儲存部分33中。 因為距離D2是一常數，所以係根據下式（8)而計算該雙曲 面鏡的焦點與該透視投射影像平面間之距離“。控制部分 30執行（圖5所示之）影像變換步驟51，以便根據所計算出的 距離d2而產生該第二透視投射影像資料。 d2 = D2 X nl ...... (8) 請再參閱圖9，在步驟6中，控制部分3〇執行（圖5所示之） 影像結合步驟54 ,以便產生一示出該車輛的一俯視圖之一 鳥瞰圖影像。係將該鳥瞰圖影像儲存在影像資料儲存部分 36之第七儲存區域36g中。 圖12疋在該影像結合步驟54中產生的一示意鳥瞰圖影 像。 在影像結合步驟54中，係將影像資料儲存部分36的第五 儲存區域36e中儲存的該車輛之比例模型貼到（結合到）該鳥 瞰圖影像的一中心。係將根據第一全方向視覺感測器31所 捕獲的輸入影像資料之該第一透視投射影像資料（亦即對應 於第一區域121的該第一透視投射影像資料）部分地貼在圖 1 2所示之一第一區域1 2 1中。此外，係將根據第二全方向視 覺感測器32所捕獲的輸入影像資料之該第二透視投射影像 資料（亦即對應於第二區域丨22的該第二透視投射影像資料） -26- 本紙張尺度適用中國國冬標準(CNS) /\4規格（2〗〇 X 297公资） 裝 訂 線 591247

部分地貼在圖12所示之一第二區域122中。 係將根據第一全方向視覺感測器3丨所捕獲的輸入影像資 料之邊第一透視投射影像資料、或根據第二全方向視覺感 測器32所捕獲的輸入影像資料之該第二透視投射影像資料 (亦即，對應於第一區域121)的該第一透視投射影像資料、 或對應於第二區域122的該第二透視投射影像資料）貼在圖 12所示之第三及第四區域丨23及ι24。在替.代實施例中，係 將一背景影像貼在第三及第四區域123及124。 當一車輛駕駛人想要在監視器上顯示一量規模型時，該 駕駛人操作輸入部分34，以便將影像資料儲存部分36的第 六儲存區域36f中儲存的該量規模型之影像資料輸入控制部 分30 ’並讓控制部分3〇執行影像結合步驟54，而將該量規 模型貼到（結合到）該鳥瞰圖影像中。 在此種情形中，可在該鳥瞰圖影像的任何位置中顯示該 量規模型，且可操作輸入部分3 4，而自由地改變該量規模 型的位置。此外，可利用輸入部分34而自由地改變該量規 模型的方向。 圖13是以上述方法產生的一鳥瞰圖影像13〇的完整狀態之 不意圖。係將該烏瞰圖影像i 3〇儲存在影像資料儲存部分％ 的第七儲存區域36g，且係由顯示部分35在一顯示螢幕（監 視杰）上顯不該鳥瞰圖影像丨3〇。藉由操作輸入部分34，即 可在鳥瞰圖影像13〇中顯示量規模型131、以及第一全方向 視覺感測器3 1所捕獲的一影像與第二全方向視覺感測器32 所捕獲的一影像間之一邊界1 3 2。 -27- 本紙張尺度適用中國國家標準(CNS) A4規^Iu) X 297公犛） 591247 A7 B7 五、發明説明（25 ) 藉由重複圖9所示之舟驟^ * 又步驟1至6，而連續地產生圖Η所示之 烏瞰圖影像，亦即，所·姦4 ^ 所產生的鳥瞰圖影像係隨著時間而變 化，且係在一顯示螢暮上纟表鋒 里’上連續地顯不，亥等鳥瞰圖影像。因 此’ 一車輛駕駛人觀看所顯示的鳥瞰圖影像，gp可即時精 確地掌握車輛周圍的狀況。 在圖9所示的流程圖之作業中，在沒有因諸如放大或縮小 等作業而改變參數之情形中，不需要在每次產生透視投射 影像時即改變該車辆的比例模型。心，.該作業繼續進入 用來產生透視投射影像之步驟4。而無須執行用來產生該車 輛的比例模型之步驟2、及用來產生量規模型之步驟3。 根據本發明的該實施例之控制部分3〇分別執行用於影像 變換、影像放大/縮小、比例量規產生、及影像結合的所設 定之步驟51至54。藉由製作諸如專用1(：等的硬體，而執行 步驟5 1至54，或者利用儲存一程式的電腦可讀取的記錄媒 體來執行步驟5 1至54，即可大幅提升該等步驟的處理速 度，因而穩定且持續地將一即時鳥瞰圖影像提供給駕驶 人。 根據本發明的透視投射影像產生系統可用來產生日本特 許申請案2000-3 1260中揭示的一種移動體周圍環境監視系統 之鳥瞰圖。在本發明的透視投射影像產生系統中，例如當 駕敎人對其中包含該等全方向視覺感測器的一車輛進行倒 車（倒退）時’將用來表示該車輛是處於一倒車齒輪之資訊 傳送到用來控制該車輛中的主要處理之一控制部分，且該 控制部分回應該資訊，而判定該車輛是否處於一倒車齒 28- 本紙張尺度適用中國國家標準(CNS) A4規格（210 X 297公绛） 裝 訂 線 591247 A7 ________B7 ___ 五、發明説明（26 ) 輪’且該控制部分所執行的處理自該主要處理例行程序變 換到鳥嗽圖的處理例行程序。在此種情形中，駕駛人可根 據其判斷及輸入資訊而操作該輸入部分，以便指示該控制 部分顯示一鳥瞰圖，因而將該控制部分的作業自主要處理 例行程序變換到該鳥瞰圖處理例行程序。 如前文所述’本發明提供了一種透視投射影像產生系 統，其中係利用其中包含一雙曲面鏡的一·光學系統之一焦 點與目標物體的一表面間之一距離及該雙曲面鏡的該焦點 與一透視投射影像平面間之一距離之比率，而提供對應於 一透視投射影像的尺寸的一目標物體之一比例模型，且係 連同該透視投射影像而一起顯示該比例模型，因而駕駛人 可易於理％車輛與各目標物體間之位置關係、以及自車輛 至該等目標物體之距離等的資訊。例如，將本發明的透視 投射影像產生系統應用於一全方向視覺系統，以便用於一 可協助一車輛駕駛人之車輛，即可在一駕駛人停車或駕皱 車輛通過狹窄街道時，減輕該駕駛人的負擔。 在不脫離本發明的精神及範圍下，熟習此項技蔽者將。 易於作出各種其他的修改。因此，最後的申請直 巧兮刊範圍之 範圍將不限於本文中述及的說明，而是要廣義蚰 匕畔釋該等 申請專利範圍。 -29- 本紙张尺度適用中國國家標準(CNS) Α4规格(210Χ 297公釐）

Claims (1)

1. 591247 Λ8 B8 C8 D8 _ _ 六、申請專利範圍 ι· 一種透視投射影像產生系統，包含： 一光學系統，該光學系統包含一雙曲面鏡，該雙曲面 鏡具有雙葉雙曲面中的一葉之雙曲面形狀； 一成像部分，該成像部分接收在該雙曲面鏡對面的一 透鏡所集中的光線，以便產生輸入影像資料； 一影像變換部分，用以將該成像部分所得到的輸入影 像資料變換為一透視投影之影樣資料，而該透視投影具 有在該雙曲面鏡的一焦點上之投影中心； 一比例模型產生部分，用以根據該雙曲面鏡的一焦點 與該物體平面間之一距離及該雙曲面鏡的該焦點與一透 視投射影像平面間之一距離之一比率，而將垂直於延伸 經過該雙曲面鏡的該焦點的一條線的一物體平面中的一 物體之影像資料變換為該物體的一比例模型之影像資 料’因而該物·體的該比例模型之一尺寸對應於一透視投 射影像中的該物體之尺寸； 一影像結合部分，用以結合該透視投射影像資料及該 比例模型的影像資料，而產生結合後的影像資料；以及 一顯示部分，用以顯示該結合後的影像資料。 2·如申請專利範圍第1項之透視投射影像產生系統，其中 该物體平面是一地面。 3.如申請專利範圍第丨項之透視投射影像產生系統，其中 係以像素（每一像素代表影像解析度之一最小單 一 -Τ*议j的數 目來表示該投影中心與該透視投射影像平面 J <邊距 30 本紙張尺度適用中國阈家標準(CNS) A4規格（210 X 297公釐） 591247 AS B8 C8

   4·如申請專利範圍第1項之透視投射影像產生系統，其中 係根據與该物體平面中的該比例模型的一目標物體有關 之資訊，而產生該比例模型之該影像資料。 5·如申請專利範圍第4項之透視投射影像產生系統，其中 σ亥資Λ包含原始的影像資料，而該原始的影像資料係為 5亥目標物體的影像資料、該目標物體的實際尺寸、以及 與該雙曲面鏡的該焦點與該物體平面間之該距離有關之 資料。 6·如申請專利範圍第1項之透視投射影像產生系統，其中 該比例模型產生部分根據該雙曲面鏡的該焦點與該物體 平面間之該距離及該雙曲面鏡的該焦點與一透視投射影 像平面間之該距離之該比率，放大/縮小係為一目標物 體的影像資料之該原始影像資料之一尺寸，而產生該比 例模型之該影·像資料。 7. 如申請專利範圍第1項之透視投射影像產生系統，進一 步包含一類似於該第一光學系統之第二光學系統，該系 統根據該比例模型產生部分所產生的該比例模型之該影 像資料’計算該第二光學系統中的一雙曲面鏡的一焦點 與在該第二光學系統中的該焦點上具有一投影中心的一 透視投射影像平面間之一距離’而產生在該第二光學系 統的該雙曲面鏡的該焦點上具有一投影中心且對應於該 比例模型之透視投射影像資料。 8. 如申請專利範圍第1項之透視投射影像產生系統，其中 該比例模型的該影像資料是用來代表一影像中的一長度 -31 - 本紙張尺度適用中國國家標準(CNS) Α4規格（210 X ‘297公釐）

   裝 訂

   591247 Λ 8 Β8 C8 D8

   之一量規模型。 該方法包含下列步 一種產生一透視投射影像之方法，該方法包

   ，該全方 收在該雙曲面鏡對面的一 C ’該光學系統包含一雙曲面 $雙曲面中的一葉之雙曲面形 含一成像部分·，該成像部分接 透鏡所集中的先線，以便得到 輸入影像資料； 將該成像部分所得到的輸入影像資料變換為一透視投 影之影像資料，而該透視投影具有在該雙曲面鏡的一焦 點上之一投影中心； 根據該雙曲面鏡的該焦點與該物體平面間之一距離及 邊雙曲面鏡的該焦點與一透視投射影像平面間之一距離 之比率，將垂直於延伸經過該雙曲面鏡的一焦點的一條 線的一物體平面中的一物體之影像資料變換為該物體的 一比例模型之影像資料，而產生一比例模型，因而該物 體的該比例模型之一尺寸對應於一透視投射影像中的該 物體之尺寸； 結合該透視投射影像資料及該比例模型的影像資料， 而產生結合後的影像資料；以及 顯示該結合後的影像資料。 10· —種透視投射影像產生程式，該程式係用來執行如申請 專利範圍第9項之產生透視投射影像的方法。 本紙張尺度適用中國國家標準(CNS) A4規格（210 X 297公釐） 591247 8 8 8 8 A BCD 々、申請專利範圍 11. 一種電腦可讀取的記錄媒體，該電腦可讀取的記錄媒體 係儲存一用來執行如申請專利範圍第9項之產生透視投 射影像的方法之透視投射影像產生程式。 -33- 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐）