TWI614735B - 全景視覺系統 - Google Patents

全景視覺系統 Download PDF

Info

Publication number
TWI614735B
TWI614735B TW105141390A TW105141390A TWI614735B TW I614735 B TWI614735 B TW I614735B TW 105141390 A TW105141390 A TW 105141390A TW 105141390 A TW105141390 A TW 105141390A TW I614735 B TWI614735 B TW I614735B
Authority
TW
Taiwan
Prior art keywords
vision system
emitting diode
panoramic vision
light
pixels
Prior art date
Application number
TW105141390A
Other languages
English (en)
Other versions
TW201822172A (zh
Inventor
李中裕
陳世溥
林依萍
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW105141390A priority Critical patent/TWI614735B/zh
Priority to US15/605,355 priority patent/US10171735B2/en
Application granted granted Critical
Publication of TWI614735B publication Critical patent/TWI614735B/zh
Publication of TW201822172A publication Critical patent/TW201822172A/zh

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/08Projecting images onto non-planar surfaces, e.g. geodetic screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Projection Apparatus (AREA)

Abstract

一種全景視覺系統,包含:一處理器,用以將所接收的影像轉換為球座標的影像;一記憶體,耦合該處理器,用以儲存該球座標的影像;以及一球型顯示器,該球型顯示器耦合該處理器,該球型顯示器具有一球心,該球型顯示器包含複數個發光二極體像素,該複數個發光二極體像素係按照該球座標排列,該複數個發光二極體像素的各發光二極體像素與該球心之間具有一相同徑向距離,該複數個發光二極體像素中,在具有一天頂角度的兩相鄰發光二極體像素之間具有一相同方位角間距,在具有一方位角度的兩相鄰該複數個發光二極體像素之間具有一相同天頂角間距。

Description

全景視覺系統
本案係關於全景視覺系統。
現有飛行模擬機大多利用投影槍建立外部視野,若要類似人眼視覺建立廣角視野,通常需要合併多個投影槍的影像。為了建立景深效果,目前最常見的投影系統為準直(Collimated)投影系統,利用多次反射與折射建立景深效果。影像經過多次反射後,光強度會減弱,使得影像與實際光強度有差異。在實際的飛行時,飛行員可能遭遇窗外強烈的逆光而影響視覺,或光線由窗外射入座艙內影響操作。準直投影系統受限於投影的光學機構,故部分視角受限制。
本揭露之一實施例提供一種全景視覺系統,該全景視覺系統包含:一處理器,用以將所接收的影像轉換為球座標的影像;一記憶體,耦合該處理器,用以儲存該球座標的影像;以及一球型顯示器,該球型顯示器耦合該處理器,該球型顯示器具有一球心,該球型顯示器包含複數個發光二極體像素,該複數個發光二極體像素係按照該球座標排 列,該複數個發光二極體像素的各發光二極體像素與該球心之間具有一相同徑向距離,該複數個發光二極體像素中,在具有一天頂角度的兩相鄰發光二極體像素之間具有一相同方位角間距,並且在具有一方位角度的兩相鄰發光二極體像素之間具有一相同天頂角間距。
20‧‧‧處理器
30‧‧‧記憶體
50‧‧‧球型顯示器
52‧‧‧球心
54‧‧‧發光二極體像素
56‧‧‧圓圈
58‧‧‧連線
59‧‧‧連線
61‧‧‧圓圈
62‧‧‧連線
63‧‧‧連線
65‧‧‧連線
66‧‧‧連線
71‧‧‧使用者
72‧‧‧圓圈
73‧‧‧發光二極體像素
75‧‧‧圓圈
76‧‧‧圓圈
78‧‧‧發光二極體像素
79‧‧‧發光二極體像素
81‧‧‧發光二極體像素
82‧‧‧發光面
85‧‧‧紅色子像素
86‧‧‧綠色子像素
87‧‧‧藍色子像素
91‧‧‧發光二極體像素
93‧‧‧微透鏡
95‧‧‧光行進方向
96‧‧‧光行進方向
100‧‧‧全景視覺系統
110‧‧‧球型顯示器
120‧‧‧處理器
130‧‧‧記憶體
136‧‧‧飛行器座艙
137‧‧‧球心
139‧‧‧動態系統
140‧‧‧三維虛擬物件
142‧‧‧顯示畫面
145‧‧‧感測器
200‧‧‧全景視覺系統
dΦ‧‧‧方位角間距
dΦ1‧‧‧方位角間距
dΦ2‧‧‧方位角間距
dΦ7‧‧‧方位角間距
dΦ8‧‧‧方位角間距
d θ‧‧‧天頂角間距
d θ 4‧‧‧天頂角間距
L‧‧‧寬度
R‧‧‧徑向距離
X‧‧‧X軸
Z‧‧‧Z軸
Φ3‧‧‧方位角度
θ‧‧‧天頂角度
θ 1‧‧‧天頂角度
θ 5‧‧‧天頂角度
θ 6‧‧‧天頂角度
第1圖係根據一些實施例說明全景視覺系統的示意圖。
第2圖係根據一些實施例說明全景視覺系統的側視剖面圖。
第3圖係根據一些實施例說明全景視覺系統的上視剖面圖。
第4圖係根據一些實施例說明全景視覺系統的示意圖。
第5圖係根據一些實施例說明發光二極體像素的示意圖。
第6圖係根據一些實施例說明發光二極體像素的示意圖。
第7圖係根據一些實施例說明全景視覺系統的示意圖。
本案提供一種全景視覺系統,以球座標系為定位基準,進行最密堆積排列發光二極體(light emitting diode,LED)像素,這些發光二極體像素可以分布在球型、半球 型、曲面或任意形狀的封閉結構內。本案全景視覺系統可應用於飛行模擬器,此全景視覺系統建立駕駛艙的外部視野,提供機師對於飛機之外部環境的視覺感受與位置感知。
第1圖係根據一些實施例說明全景視覺系統100的示意圖。全景視覺系統100包含:處理器20,用以將所接收的影像轉換為球座標影像;記憶體30,耦合處理器20,用以儲存球座標影像;以及球型顯示器50,球型顯示器50耦合處理器20,球型顯示器50具有球心52,球型顯示器50包含複數個發光二極體像素54,此複數個發光二極體像素54係按照球座標排列,此複數個發光二極體像素54中,兩相鄰的發光二極體像素54與球心52之間具有一相同徑向距離R,在具有一天頂角度θ 1的兩相鄰發光二極體像素54之間具有一相同方位角間距dΦ2。並且,在具有一方位角度Φ3的兩相鄰發光二極體像素54之間具有一相同天頂角間距d θ 4。
詳言之,球座標係為球座標系(Spherical coordinate system)是一種利用徑向距離R、方位角度Φ、天頂角度θ來表示一個點在三維空間的位置。在天頂角度θ 1下,發光二極體像素54可視為一圓圈56,該圓圈56的發光二極體像素54與Z軸距離為RxSin(θ 1),圓圈56上任兩個相鄰的發光二極體像素54之間有相等距離,等同一發光二極體像素54的中心與Z軸連線58,且一相鄰的發光二極體像素54的中心與Z軸連線59,連線58與連線59的夾角為方位角間距dΦ2。在天頂角度θ為90度下,發光二極 體像素54可視為一圓圈61,該圓圈61的發光二極體像素54與Z軸距離為徑向距離R,圓圈61上任兩個相鄰的發光二極體像素54之間有相等距離,等同一發光二極體像素54的中心與Z軸連線62,且一相鄰的發光二極體像素54的中心與Z軸連線63,連線62與連線63的夾角為方位角間距dΦ1。可以得知,在不同的天頂角度θ下,各平面(如圓圈56、61)的兩相鄰發光二極體像素54之間的方位角間距不同。
在方位角度Φ3下,複數個發光二極體像素54之間具有一相同天頂角間距d θ 4。換言之,發光二極體像素54與球心52之連線65,一相鄰的發光二極體像素54與球心52之連線66,連線65與連線66的夾角為方位角間距d θ 4。並且在不同的方位角度Φ下,各縱切面的發光二極體像素54之間的間距仍相同。
在一實施例中,球型顯示器50可由鋼骨結構或其他板材所支撐,發光二極體像素54直接或間接組合在板材上。
處理器20係採用可程式化且能進行運算的晶片,例如:中央處理器(Central Processing Unit)或微處理器(micro-processor)等。在一實施例中,處理器20將自外部擷取的影像(直角坐標系)轉換為球座標的影像,或計算三維的模擬場景並轉換為球座標的影像,使得球座標系的影像與球型顯示器50彼此相容。在一實施例中,處理器20經編程後,採用二維加景深影像演算法(2D-plus-Depth),球型顯示器50的複數個發光二極體像素54藉由此二維加 景深影像演算法,使得球座標的影像與球型顯示器50彼此相容,近距離的影像亮度較亮,遠距離的影像亮度較暗,利用陰影的方式產生三維立體效果。
記憶體30係用來儲存影像資料,可採用例如:非揮發性記憶體(Non-volatile memory)或揮發性記憶體(Volatile memory)。在一實施例中,記憶體30儲存飛行模擬的影像資料,例如飛行訓練時,機艙外的影像。
在一實施例中,顯示器係曲面形狀,發光二極體像素仍然按照上述球座標系的排列,各發光二極體像素與球心之間具有相同的徑向距離,用以取得密集堆疊的像素結構。在一實施例中,顯示器係半開放的半球結構,顯示器具有開口,發光二極體像素仍然按照上述球座標系的排列。
第2圖係根據一些實施例說明全景視覺系統100的側視剖面圖。圓圈72代表任一方位角度Φ的縱向剖面圖,若球型顯示器50為完整球型,發光二極體像素73分佈於θ=0度至θ=180度之間,若球型顯示器為半球型,θ=90度至θ=180度之間為地面,最大天頂角度與球型顯示器的結構有關。假設使用者71位於球心52,天頂角度θ係使用者71的仰角。各發光二極體像素73與球心52距離為徑向距離R。任兩相鄰的發光二極體像素73之間距為d θ,由θ=0度起算,其發光二極體像素73的角度分別為θ=0、d θ、1d θ、2d θ、3d θ…nd θ…θ=90度。在一實施例中,天頂角間距d θ等於360/(2 π R/L),R係徑向距離,L係各發光二極體像素73之發光面之一寬度。在一實施例 中,在任一方位角度Φ下,發光二極體像素73的個數為π R/2L,R係該徑向距離,L係各發光二極體像素73之發光面之一寬度,一方位角度Φ等同四分之一的圓圈72,故(2 π R/L)*1/4。在一實施例中,在另一方位角度的兩相鄰的發光二極體像素之間,仍然具有相同的天頂角間距d θ。
第3圖係根據一些實施例說明全景視覺系統100的上視剖面圖。根據一實施例,複數個發光二極體像素(78或79)中,在一天頂角度θ(θ 6或θ=90°)的兩相鄰的發光二極體像素之間具有一相同方位角間距dΦ,該方位角間距dΦ等於360/(2 π RSin(θ)/L),R係該徑向距離,L係該複數個發光二極體像素的各發光二極體像素之發光面之一寬度,該θ係該天頂角度,複數個發光二極體像素的個數為2 π RSin(θ)/L。圓圈75、及76分別代表不同天頂角度θ的水平剖面圖,圓圈75代表θ=90度的發光二極體像素78的分佈。圓圈76代表天頂角度θ 6的發光二極體像素79的分佈。圓圈75、及76的方位角度Φ的範圍皆從0度至360度。最大方位角度與該球型顯示器的結構有關。假設使用者71位於球心52。在一實施例中,圓圈75(θ=90度的水平面)上,複數個發光二極體像素78的任兩相鄰發光二極體像素78的方位角間距dΦ7等於360/(2 π RSin(90°)/L),簡化為360/(2 π R/L),R係徑向距離,L係複數個發光二極體像素78的各發光二極體像素78之發光面之一寬度,圓圈75的發光二極體像素78個數為2 π RSin(90°)/L,簡化為2 π R/L。在一實施例中,圓圈76(天 頂角度θ 6水平面)上,複數個發光二極體像素79的任兩相鄰發光二極體像素79的方位角間距dΦ8等於360/(2 π RSin(θ 6)/L),R係徑向距離,L係複數個發光二極體像素79的各發光二極體像素78之發光面之一寬度,圓圈76的發光二極體像素79個數為2 π RSin(θ 6)/L。
因此,利用球座標系為基準,隨著天頂角度θ降低(由90°到0°),圓圈75逐漸縮小至圓圈76,並到達球極處,發光二極體像素79的個數逐漸減少,取得發光二極體像素79的密集堆積。根據一實施例,複數個發光二極體像素中,在另一天頂角度的兩相鄰的發光二極體像素之間具有另一方位角間距,換言之,不同天頂角度(如天頂角度θ=90度和天頂角度θ 6),具有不同的方位角間距(如方位角間距dΦ7和方位角間距dΦ8)。此外,上述球座標系的密集堆積相較於直角座標系的堆疊方式,直角座標的像素堆積會產生空隙。一般直角座標的像素排列為了解決空隙問題,需利用類似高爾夫球結構的多邊型的平面模組,組合成類似球型的封閉空間,除了無法達成球型的功效,所顯示的影像也會因為多邊形而產生不自然的轉折。因此球面座標的像素排列除了可提升影像的解析度,也可使畫面因為球型底座無折角的形狀而顯得更加平滑與自然。
第4圖係根據一些實施例說明全景視覺系統100的示意圖。一般而言,顯示器所產生的畫面是由各直角座標的像素所構成,其畫面產生原理是先利用軟體將各像素所需要的光色與亮度先行定義,再利用硬體介面傳送相對應的 電流訊號去驅動各相對應的直角座標像素,進而使各像素呈現正確的光色與亮度。因此直角座標的影像可直接對應至直角座標的像素,進而產生正確的畫面。在一實施例中,像素是以球座標定義,則此一硬體介面需重新設計為符合球座標定義的架構。此一問題可藉由軟體端進行數學轉換來解決。球座標所定義的像素,可由一數學關係轉換為直角座標的矩陣。例如在球頂端θ=0的像素可定義為X=0,Y=0。天頂角間距如上述之定義為d θ,最頂端θ=0為起始排列,各天頂角度下可視為一圈的像素(如第4圖下方,各天頂角度係一長條像素排列),各天頂角度依序為1xd θ、2xd θ、3xd θ、nxd θ…到90度。在天頂角度θ=0下,具有一顆像素,該像素為球面頂端的畫素。在天頂角度1xd θ下,畫素排列可從Φ=0開始,依序定義為:1xdΦd θ,2xdΦd θ,3xdΦd θ…360/dΦd θ。上述數列的係數1,2,3…n,可定義為矩陣的X座標,矩陣的Y座標則可定義為d θ/d θ=1。相鄰的天頂角為2xd θ,其像素堆積的數列為1xdΦ2d θ,2xdΦ2d θ,3xdΦ2d θ,4xdΦ2d θ…360/dΦ2d θ。同理,矩陣的X座標可定義為上述數列的係數,矩陣的Y座標則定義為2xd θ/d θ=2。相鄰的天頂角為3xd θ,其像素堆積的數列為1xdΦ3d θ,2xdΦ3d θ,3xdΦ3d θ,4xdΦ3d θ,5xdΦ3d θ…360/dΦ3d θ。以此類推,可利用此數學關係,將圖形中每一個像素所相對應的球座標(r,Φ,θ)排列轉換為直角座標的矩陣形式(r,X=Φ/dΦnd θ,Y=θ/d θ)。當球座標轉換為直角矩陣後,就可定義在矩陣中各像素的驅動資料,並利用現 有直角座標矩陣的硬體介面驅動該像素,不需修改硬體介面就可在球型顯示器50中產生正確的影像,此一軟體的數學轉換可大幅節省特殊的球型介面開發成本。
第5圖係根據一些實施例說明發光二極體像素81的示意圖。在一實施例中,發光二極體像素81係自體發光的半導體電子元件,其種類例如:無機發光二極體(Light Emitting Diode)、有機發光二極體(Organic Light Emitting Diode)。在一實施例中,球型顯示器50由複數個發光二極體像素81所組成,複數個發光二極體像素81的各發光二極體像素之發光面82係正方形,任一邊長為L,其中各發光二極體像素係包含一紅色子像素85、一綠色子像素86及一藍色子像素87。在一實施例中,複數個發光二極體像素81的各發光二極體像素之發光面係圓形。在一實施例中,此複數個發光二極體像素81採用微發光二極體顯示器(Micro Light Emitting Diode),具有反應速度快、色彩豔麗、發光強度高、適合大面積應用等優勢。
在一實施例中,多個發光二極體像素81先組合成可撓式的像素燈條(light bar),再將各像素燈條依照上述球座標的天頂角間距、方位角間距進行環狀排列,並且組合成球型顯示器。在一實施例中,多個發光二極體像素81先組合成小面積模組,例如六邊形排列,再將各個小面積模組依照上述球座標的天頂角間距、方位角間距進行環狀排列,並且組合成球型顯示器。
一般顯示畫素具有256階的亮度設定,可顯示影像畫 面所需的明暗程度。此複數個發光二極體像素81本身具有高亮度光源的特性,其最高亮度可遠高於一般畫面像素所需的最高亮度,因此可以控制個別像素的發光強度。如果影像需要發出強烈的光線,例如日光、燈光、反射光等,可在特定的像素上調整其發光強度,使得部分像素的亮度大於周圍顯示一般畫面像素的最大亮度設定,產生明顯的亮度差異。相較於投影系統,投影系統整體畫面的畫素最高亮度是由投影槍的燈泡所決定,因此投影槍的投射畫面皆為一致的亮度標準。
第6圖係根據一些實施例說明每一發光二極體像素91的示意圖。根據一實施例,發光二極體像素91的發光面上另外配置微透鏡93(micro lens),微透鏡93位於各發光二極體像素91上。每一發光二極體像素91的法線向量對準球心52,再利用微透鏡93讓發射光路產生分離,如光行進方向95、及光行進方向96所示,使得操作者的視覺產生三維影像。
在一實施例中,發光二極體像素91的發光面上另外配置光柵片(未繪出),該光柵片位於發光二極體像素91上。光柵片產生三維影像效果。
第7圖係根據一些實施例說明全景視覺系統200的示意圖。全景視覺系統200包含球型顯示器110、處理器120以及記憶體130,球型顯示器110由複數個發光二極體所構成,並且按照前述球型顯示器50的排列方式。在一實施例中,全景視覺系統200另包含飛行器座艙136,位於球 心137且耦合處理器120,飛行器座艙136與球型顯示器110用以模擬飛行環境。藉由發光二極體的自體發光的特性,球型顯示器110可模擬座艙外部的日光或物體反光等強光,強光所對應的發光二極體像素產生較大亮度,使得日光與其他影像產生差異化,進而模擬日間的逆光情境,增加模擬環境的真實效果。並且,具有全景的球型顯示器110提供戰鬥機飛行員各方位的視角,特別是正後方的視角,讓戰鬥機飛行員不僅能練習前方的攻擊,亦能練習後方的防禦。
在一實施例中,虛擬的三維物體在球型顯示器110的各二極體像素所呈現的影像是由處理器120以及記憶體130等硬體所計算,一般三維的模擬場景計算是以直角座標(X,Y,Z)做為標準,於場景中的三維物體也是以直角座標建立模型。由於球型顯示器110的像素是以球座標做為位置標準,因此投影在球型顯示器110的顯示影像需轉換為球座標,才能定義適當的顯示像素產生發光並產生影像。可由以下方法所計算:以使用者的眼球為球心137,此球心137也同時定義為座標的原點(0,0,0),一般真實世界的影像產生原理是將物體表面多個點所產生的所有光線直射到眼球後,由眼球接收後在腦部產生該三維物體的表面影像。在此全景視覺系統200中,假設虛擬物體140的表面是由複數個點所組成,其中虛擬物體140某一個點的位置是位於(xo,yo,zo),此點至球心137可有一直線,若該直線未穿越其他物體,則該直線與半徑為R的球型顯示器 110的交點,即為該物體點在球型顯示器110的顯示像素的投影位置。該顯示像素的球座標位置(r=R,θ=Sin-1((xo 2+yo 2)1/2/(xo 2+yo 2+zo 2)1/2),Φ=Cos-1(xo/(xo 2+yo 2)1/2),其中R為球型顯示器110的半徑,Φ=0與Φ=180平行X軸,θ=0與θ=180度平行Z軸。集合該三維的虛擬物體140所有像素在球型顯示器110表面的交點,就可在球型顯示器110的表面定義出顯示該物體的顯示畫面142,也可藉由軟體計算定義顯示畫面142所需發出的光色與強度,該球型顯示器110在上述之顯示像素可發射出光線至球心137,使用者便可產生與真實世界類似的三維影像視覺效果。此外,一般的模擬機是利用複數個投影槍所產生的影像進行拼接,或利用複數個平面顯示器模組拼接影像,由於各投影槍或顯示器模組皆有不同的角度配置,整個視覺系統同時具有多個參考點位置,因此需要利用複雜的軟體計算進行校正,同時調整投影槍的位置與角度,或調整平面顯示模組的位置與角度,才能進行模組之間的地平線歸一化校正,並使得各模組所顯示的場景地平線能接在一起,產生一致且連續的外部景觀。本案在球型顯示器110表面產生投影的計算方式,並不需要進行地平線歸一化校正,因為所有位於球型顯示器110內的像素與顯示畫面142,皆是面對同一個球心137做為統一的標準,因此也具有同樣的地平線標準。換言之,本案與一般技術相較,本案顯像的發光單元與投影的畫面具有一致性的結構,不需進行顯像畫面的角度校正。反之,在一般技術中,其顯像 的發光單元與實際的投影畫面相較,其結構與角度皆不一致,因此本案具有容易施工與設計的優勢。
在一實施例中,飛行器座艙136具有動態系統139,動態系統139係連接球型顯示器110,動態系統139用以產生振動與旋轉位移。搭配全景視覺系統200,依照操作者的指令,動態系統139產生相對應的姿態。
在一實施例中,全景視覺系統200另包含一跑步機或地面滑板(未繪出),跑步機位於球心137且耦合處理器120,跑步機允許任意方向行走。該跑步機與球型顯示器110用以模擬行走環境。跑步機接收操作者的步行速度與方位,處理器120計算出以操作者為中心的360度全景視野,並將全景視野顯示在球型顯示器110。使操作者藉由頭部轉動直接觀察各方位景象而不需配戴頭戴裝置。在一實施例中,地面滑板可為主動式,地面滑板偵測操作者的步行速度後產生相對應速度的捲動,使操作者步行時能保持在固定位置(相對於球心137)。
在一實施例中,全景視覺系統200可應用於無人駕駛機(Unmanned Aerial Vehicle)/無人駕駛船(USV Unmanned Surface Vehicle,USV)/無人太空載具(Unmanned Space Vehicle)的控制中心。無人駕駛機所擷取的影像回傳到全景視覺系統200,全景視覺系統200產生360度視野,除了大幅增加操作者的空間立體感,也可增加周遭環境的感知能力,避免視角受限以及不自然的目視操作環境,提供駕駛員完整的環境圖像,從而強化相關作業的執行效率。在 一實施例中,全景視覺系統200另包含無人駕駛載具(未繪出),無人駕駛載具耦合處理器120,該無人駕駛載用以擷取外部環境影像並回傳到處理器120,該環境影像顯示於球型顯示器110。
在一實施例中,處理器120接收從外部所擷取的影像後,將影像的物件轉換為三維虛擬物件140,進一步計算虛擬物件140在球型顯示器110上的顯示畫面142,使得三維虛擬物件140轉為具有球座標性質的顯示畫面142,使整個球型顯示器110顯示出360度畫面。
在一實施例中,全景視覺系統200另包含一感測器145,此感測器145捕捉操作者的動作,並且將訊號傳至處理器120,處理器120計算出相對應的360度畫面,操作者只需轉動頭部就可觀看各方向的畫面,接近現實環境的虛擬實境,操作者並不需要配戴頭戴式裝置。
在一實施例中,全景視覺系統200另包含一交通工具之座艙(未繪出),位於球心137且耦合處理器120,該座艙與球型顯示器110用以模擬駕駛環境。
在一實施例中,全景視覺系統200另包含一光學薄膜(未繪出),位於球型顯示器110的複數個發光二極體像素上,該光學薄膜用以過濾藍光。
本案全景視覺系統以球座標系為基準,堆疊發光二極體像素,達成密集堆積而提升影像的解析度,並且能避免像素分佈密度不均勻。相較於投影式系統,本案全景視覺系統不採用多個投影機、光學反射鏡及折射鏡,使得體積 較小,並且能模擬不同的光強度。本案全景視覺系統提供360度的視角,讓操作者如同身歷其境。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
20‧‧‧處理器
30‧‧‧記憶體
50‧‧‧球型顯示器
52‧‧‧球心
54‧‧‧發光二極體像素
56‧‧‧圓圈
58‧‧‧連線
59‧‧‧連線
61‧‧‧圓圈
62‧‧‧連線
63‧‧‧連線
65‧‧‧連線
66‧‧‧連線
100‧‧‧全景視覺系統
dΦ1‧‧‧方位角間距
dΦ2‧‧‧方位角間距
d θ 4‧‧‧天頂角間距
R‧‧‧徑向距離
X‧‧‧X軸
Z‧‧‧Z軸
θ 1‧‧‧天頂角度
Φ3‧‧‧方位角度

Claims (23)

  1. 一種全景視覺系統,該全景視覺系統包含:一處理器,用以將所接收的影像轉換為球座標的影像;一記憶體,耦合該處理器,用以儲存該球座標的影像;以及一球型顯示器,該球型顯示器耦合該處理器,該球型顯示器具有一球心,該球型顯示器包含複數個發光二極體像素,該複數個發光二極體像素係按照該球座標排列,該複數個發光二極體像素的各發光二極體像素與該球心之間具有一相同徑向距離,該複數個發光二極體像素中,在具有一天頂角度的兩相鄰的發光二極體像素之間具有一相同方位角間距,並且在具有一方位角度的兩相鄰的發光二極體像素之間具有一相同天頂角間距。
  2. 如申請專利範圍第1項所述之全景視覺系統,其中該複數個發光二極體像素中,在具有另一方位角度的兩相鄰的發光二極體像素之間具有該天頂角間距。
  3. 如申請專利範圍第1項所述之全景視覺系統,其中該複數個發光二極體像素中,在具有另一天頂角度的兩相鄰的發光二極體像素之間具有另一相同方位角間距。
  4. 如申請專利範圍第1項所述之全景視覺系統,其中該天頂角度的範圍從0度至180度。
  5. 如申請專利範圍第1項所述之全景視覺系統,其中該方位角度的範圍從0度至360度。
  6. 如申請專利範圍第1項所述之全景視覺系統,其中該複 數個發光二極體像素之各發光二極體像素的發光面係正方形。
  7. 如申請專利範圍第1項所述之全景視覺系統,其中該複數個發光二極體像素之各發光二極體像素的發光面係圓形。
  8. 如申請專利範圍第1項所述之全景視覺系統,其中該複數個發光二極體像素之各發光二極體像素係包含一紅色、一綠色及一藍色子像素。
  9. 如申請專利範圍第1項所述之全景視覺系統,其中該天頂角間距等於360/(2 π R/L),R係該徑向距離,L係該複數個發光二極體像素的各發光二極體像素之發光面之一寬度。
  10. 如申請專利範圍第1項所述之全景視覺系統,其中該方位角間距等於360/(2 π RSin(θ)/L),R係該徑向距離,L係該複數個發光二極體像素的各發光二極體像素之發光面之一寬度,θ係該天頂角度。
  11. 如申請專利範圍第1項所述之全景視覺系統,其中在該天頂角度下,該複數個發光二極體像素的個數為2 π RSin(θ)/L,R係該徑向距離,L係該複數個發光二極體像素的各發光二極體像素之發光面之一寬度,θ係該天頂角度。
  12. 如申請專利範圍第1項所述之全景視覺系統,其中在該方位角度下,該複數個發光二極體像素的個數為π R/2L,R係該徑向距離,L係該複數個發光二極體像 素的各發光二極體像素之發光面之一寬度。
  13. 如申請專利範圍第1項所述之全景視覺系統,該全景視覺系統另包含:一飛行器座艙,位於該球心且耦合該處理器,該飛行器座艙與該球型顯示器用以模擬飛行環境。
  14. 如申請專利範圍第13項所述之全景視覺系統,其中該飛行器座艙具有一動態系統,該動態系統係連接該球型顯示器,該動態系統用以產生振動與旋轉位移。
  15. 如申請專利範圍第1項所述之全景視覺系統,該全景視覺系統另包含:一交通工具之座艙,位於該球心且耦合該處理器,該座艙與該球型顯示器用以模擬駕駛環境。
  16. 如申請專利範圍第1項所述之全景視覺系統,其中該全景視覺系統另包含:一微透鏡,位於該複數個發光二極體像素的各發光二極體像素上。
  17. 如申請專利範圍第1項所述之全景視覺系統,其中該全景視覺系統另包含:一光柵片,位於該複數個發光二極體像素的各發光二極體像素上。
  18. 如申請專利範圍第1項所述之全景視覺系統,其中該處理器採用二維加景深影像演算法,使得該球座標的影像與該球型顯示器彼此相容。
  19. 如申請專利範圍第1項所述之全景視覺系統,另包含: 一跑步機,位於該球心且耦合該處理器,該跑步機允許任意方向行走,該跑步機與該球型顯示器用以模擬行走環境。
  20. 如申請專利範圍第1項所述之全景視覺系統,另包含:一無人駕駛載具,耦合該處理器,該無人駕駛載具用以擷取環境影像並回傳到該處理器,該環境影像顯示於該球型顯示器。
  21. 如申請專利範圍第1項所述之全景視覺系統,其中該處理器用以轉換該複數個發光二極體像素之其中一發光二極體像素的球座標(r,Φ,θ)為一直角座標矩陣(r,X=Φ/dΦnd θ,Y=θ/d θ),r係該徑向距離,d θ係該天頂角間距,θ係該天頂角度,dΦ係該方位角間距,Φ係該方位角度,n係正整數。
  22. 如申請專利範圍第1項所述之全景視覺系統,其中該處理器用以將距離該球心的一虛擬點的直角座標(xo,yo,zo)轉換為該複數個發光二極體像素之其中一發光二極體像素的球座標位置(r=R,θ=Sin-1((xo 2+yo 2)1/2/(xo 2+yo 2+zo 2)1/2),Φ=Cos-1(xo/(xo 2+yo 2)1/2)),其中R係該徑向距離,Φ係該方位角度,θ係該天頂角度。
  23. 如申請專利範圍第1項所述之全景視覺系統,該全景視覺系統另包含:一光學薄膜,位於該球型顯示器的該複數個發光二極體像素上,該光學薄膜用以過濾藍光。
TW105141390A 2016-12-14 2016-12-14 全景視覺系統 TWI614735B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105141390A TWI614735B (zh) 2016-12-14 2016-12-14 全景視覺系統
US15/605,355 US10171735B2 (en) 2016-12-14 2017-05-25 Panoramic vision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105141390A TWI614735B (zh) 2016-12-14 2016-12-14 全景視覺系統

Publications (2)

Publication Number Publication Date
TWI614735B true TWI614735B (zh) 2018-02-11
TW201822172A TW201822172A (zh) 2018-06-16

Family

ID=62016143

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105141390A TWI614735B (zh) 2016-12-14 2016-12-14 全景視覺系統

Country Status (2)

Country Link
US (1) US10171735B2 (zh)
TW (1) TWI614735B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410827A (zh) * 2018-11-02 2019-03-01 东南大学 一种基于全景球面显示器的纬线方向寻址显示方法
CN111338097A (zh) * 2020-04-18 2020-06-26 彭昊 一种球形三维显示器
TWI734116B (zh) * 2019-05-21 2021-07-21 國立陽明交通大學 球型相機影像拼接方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018216500A1 (ja) * 2017-05-26 2018-11-29 ソニー株式会社 画像処理装置および方法
US11130471B2 (en) * 2019-04-15 2021-09-28 Hyundai Motor Company Fingerprint recognition vehicle control method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202487092U (zh) * 2012-03-20 2012-10-10 詹富强 一种led 360°球面显示屏
CN102980513A (zh) * 2012-11-02 2013-03-20 浙江工业大学 以物为中心的单目全景立体视觉传感器
TW201322106A (zh) * 2011-11-29 2013-06-01 Chunghwa Wideband Best Network Co Ltd 三維網頁展示及頁面快速轉換之瀏覽系統
US20150061988A1 (en) * 2013-09-05 2015-03-05 Texas Instruments Incorporated Adaptive Power Savings on a Device Display
CN105869110A (zh) * 2016-03-28 2016-08-17 腾讯科技(深圳)有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3718989A (en) 1970-09-28 1973-03-06 Singer Co Aircraft simulator visual system
GB2253825B (en) 1991-03-20 1994-06-22 Rediffusion Simulation Ltd Vehicle simulator
US6152739A (en) * 1998-11-20 2000-11-28 Mcdonnell Douglas Corporation Visual display system for producing a continuous virtual image
US6814578B2 (en) * 2002-04-11 2004-11-09 The Boeing Company Visual display system and method for displaying images utilizing a holographic collimator
US20040125151A1 (en) * 2002-09-06 2004-07-01 The Regents Of The University Of Colorado, A Body Corporate Black hole flight simulator
US7708561B2 (en) 2005-09-23 2010-05-04 Q4 Services Llc Method and apparatus for modifying aircraft simulator wide-angled infinity display equipment mirror to enlarge field of vision and for reskinning aircraft simulator spherical mirror cell to minimize mirror stress and distortion
WO2008022463A1 (en) 2006-08-25 2008-02-28 Imaginum Inc. Integrated circuit with digitally switched components to drive an output to which is connected a load
US8547295B2 (en) * 2008-10-16 2013-10-01 Video Display Corporation Motion simulator and display system typically using light-emitting diodes
US8403502B2 (en) * 2008-11-18 2013-03-26 Barco N.V. Collimated visual display with elliptical front projection screen
US20120178054A1 (en) 2009-06-16 2012-07-12 Saab Ab Method and arrangement of a flight simulator system
GB2478538B (en) * 2010-03-09 2015-04-29 Equipe Electronics Ltd Method for extending field of vision in a collimated visual display system
US9599715B2 (en) * 2010-08-03 2017-03-21 Faro Technologies, Inc. Scanner display
US8704879B1 (en) 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
CN201930207U (zh) 2011-01-28 2011-08-17 中山大学中山眼科中心 一种可调控刺激光源的视觉训练仪
CN202795801U (zh) 2012-08-24 2013-03-13 郭建鸿 一种球体飞行模拟装置
TWI531213B (zh) * 2013-01-18 2016-04-21 國立成功大學 應用於裸視3d顯示之影像轉換方法與模組
US20150017609A1 (en) 2013-07-09 2015-01-15 General Electric Company Method and apparatus for generating or updating an aviation simulation scenario
WO2015011758A1 (ja) * 2013-07-22 2015-01-29 株式会社 東芝 表示システム
US9602811B2 (en) * 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201322106A (zh) * 2011-11-29 2013-06-01 Chunghwa Wideband Best Network Co Ltd 三維網頁展示及頁面快速轉換之瀏覽系統
CN202487092U (zh) * 2012-03-20 2012-10-10 詹富强 一种led 360°球面显示屏
CN102980513A (zh) * 2012-11-02 2013-03-20 浙江工业大学 以物为中心的单目全景立体视觉传感器
US20150061988A1 (en) * 2013-09-05 2015-03-05 Texas Instruments Incorporated Adaptive Power Savings on a Device Display
CN105869110A (zh) * 2016-03-28 2016-08-17 腾讯科技(深圳)有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410827A (zh) * 2018-11-02 2019-03-01 东南大学 一种基于全景球面显示器的纬线方向寻址显示方法
TWI734116B (zh) * 2019-05-21 2021-07-21 國立陽明交通大學 球型相機影像拼接方法
CN111338097A (zh) * 2020-04-18 2020-06-26 彭昊 一种球形三维显示器

Also Published As

Publication number Publication date
US20180167555A1 (en) 2018-06-14
TW201822172A (zh) 2018-06-16
US10171735B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
TWI614735B (zh) 全景視覺系統
CN104156916B (zh) 一种用于场景光照恢复的光场投影方法
US11238761B2 (en) Curved screen or dome having convex quadrilateral tiles
US11156843B2 (en) End-to-end artificial reality calibration testing
Krum et al. Augmented reality using personal projection and retroreflection
WO2014144989A4 (en) 3d light field displays and methods with improved viewing angle depth and resolution
CN105929587A (zh) 一种显示装置
CN109997167A (zh) 用于球面图像内容的定向图像拼接
WO2020117459A1 (en) Eccentric incident luminance pupil tracking
US20210235064A1 (en) Method and apparatus for perspective adjustment of images for a user at different positions
JP2022516456A (ja) マルチビューディスプレイ、システム、及び動的なカラーサブピクセルの再マッピングを有する方法
CN105282535B (zh) 三维空间环境下的3d立体投影系统及其投影方法
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting
US20200209806A1 (en) Active Light-Field Holographic Elements, Light-Field Display Devices, and Methods
CN110082960B (zh) 一种基于高亮分区背光的光场显示装置及其光场优化算法
AU2019218741B2 (en) Plenoptic cellular imaging system
US8860783B2 (en) Quasi-three-dimensional display apparatus
CN111128052A (zh) 一种基于旋转线阵显示像源的大视场视景系统
US20170228926A1 (en) Determining Two-Dimensional Images Using Three-Dimensional Models
Zhang et al. An interactive multiview 3D display system
US9924144B2 (en) Light field illuminating method, device and system
CN113192373B (zh) 一种基于沉浸式人机交互仿真系统的潜望镜仿真成像方法
CN111766714B (zh) 3d立体图像显示设备
US20240061249A1 (en) Single pupil rgb light source
US20210366365A1 (en) Artificial window and method for manufacturing the same