TWI673654B - 軌道識別裝置及程式 - Google Patents

軌道識別裝置及程式 Download PDF

Info

Publication number
TWI673654B
TWI673654B TW107112844A TW107112844A TWI673654B TW I673654 B TWI673654 B TW I673654B TW 107112844 A TW107112844 A TW 107112844A TW 107112844 A TW107112844 A TW 107112844A TW I673654 B TWI673654 B TW I673654B
Authority
TW
Taiwan
Prior art keywords
image
unit
initial
search unit
index
Prior art date
Application number
TW107112844A
Other languages
English (en)
Other versions
TW201903646A (zh
Inventor
二神拓也
高橋雄介
小林広幸
鴨雄史
Original Assignee
日商東芝股份有限公司
日商東芝基礎設施系統股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商東芝股份有限公司, 日商東芝基礎設施系統股份有限公司 filed Critical 日商東芝股份有限公司
Publication of TW201903646A publication Critical patent/TW201903646A/zh
Application granted granted Critical
Publication of TWI673654B publication Critical patent/TWI673654B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

實施形態之軌道識別裝置，係具有：指標導出部；初始搜索部；二次搜索部；及路線導出部。指標導出部，係依圖像的各像素或各像素群，導出表示鐵路之路線性的指標。初始搜索部，係在圖像中，抽出將初始區域之上端之任意的一部位與下端之任意的一部位連結之複數個線段，並選擇一個「線段上之指標的評估值比其他線段大」的線段。二次搜索部，係重覆執行如下述者：將所選擇之線段之上端的位置作為最初的基準位置，在朝向圖像的上方擴展之搜索區域所包含的線段中，選擇指標之評估值比其他線段大的線段，並將選擇之線段的上端作為下一個基準位置。路線導出部，係根據前述初始搜索部及前述二次搜索部所致之處理結果，導出鐵路的路線。

Description

軌道識別裝置及程式
本發明之實施形態，係關於軌道識別裝置及程式(program)。
以往，以鐵路之路線的檢查或檢測存在於路線內之障礙物為目的，已知一種從圖像檢測路線的裝置。像這樣的裝置，係例如藉由將所拍攝到之圖像與事先準備之模板(template)進行匹配(matching)的方式來檢測路線，或使用藉由立體攝影機(sterio camera)所拍攝到之圖像，檢測自身車輛行駛中的路線。然而，在以往的裝置中，係有無法精度良好地檢測路線的情況。作為如此者，有日本公開專利公報、特開第2016-91506號公報(以下，稱為專利文獻1)及同樣日本公開專利公報、特開第2000-32601號公報(以下，稱為專利文獻2)。
[本發明所欲解決之課題]
本發明所欲解決之課題，係提供一種可更精度良好地檢測鐵路之路線的軌道識別裝置及程式。 [用以解決課題之手段]
實施形態之軌道識別裝置，係具有：指標導出部；初始搜索部；二次搜索部；及路線導出部。指標導出部，係依拍攝了鐵道車輛的進行方向之圖像的各像素或各像素群，導出表示鐵路之路線性的指標。初始搜索部，係在前述圖像中所預先設定的初始區域(area)內，抽出將前述初始區域之上端之任意的一部位與下端之任意的一部位連結之複數個線段，並選擇一個「線段上之藉由前述指標導出部所導出之指標的評估值比其他線段大」的線段。二次搜索部，係重覆執行如下述者：將藉由前述初始搜索部所選擇之線段之上端的位置作為最初的基準位置，在朝向圖像的上方擴展之搜索區域所包含的線段中，選擇指標之評估值比其他線段大的線段，並將前述選擇之線段的上端作為下一個基準位置。路線導出部，係根據前述初始搜索部及前述二次搜索部所致之處理結果，導出鐵路的路線。
以下，參閱圖面，說明實施形態之軌道識別裝置及程式。
(第1實施形態) 　　[構成] 圖1，係包含軌道識別裝置20之車輛系統1的構成圖。車輛系統1，係被搭載於鐵路車輛RV(Rail Vehicle)，該鐵道車輛RV，係在路線R(Rail)上行駛。車輛系統1，係例如具備有：攝像部10；顯示部12；及軌道識別裝置20。攝像部10，係被設置於鐵道車輛RV的駕駛座等，對鐵道車輛RV之進行方向進行拍攝。顯示部12，係顯示各種圖像。
圖2，係軌道識別裝置20的功能構成圖。軌道識別裝置20，係例如具備有圖像取得部22、指標導出部24、圖像變換部26、初始搜索部28、二次搜索部30、位置搜索部32、導軌(rail)識別部(路線導出部)34、判定區域特定部36、注視物監視部38、輸出控制部40及記憶部50。圖像取得部22、指標導出部24、圖像變換部26、初始搜索部28、二次搜索部30、位置搜索部32、導軌識別部34、判定區域特定部36、注視物監視部38及輸出控制部40中的一部分或全部，係例如藉由「以CPU(Central Processing Unit)等的處理器(processor)執行被記憶於記憶部50之程式」的方式而實現。又，該些功能部中之一部分或全部，係藉由LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等的硬體(hardware)而實現，並亦可具有用以實現該些功能部之功能的電路構成，或亦可藉由軟體(software)與硬體之協同作用而實現。
記憶部50，係例如藉由ROM(Read Only Memory)、快閃記憶體(flash memory)、HDD(Hard Disk Drive)、SD卡等的非揮發性記憶媒體與RAM(Random Access Memory)、暫存器(register)等的揮發性記憶媒體而實現。記憶部50，係儲存有處理器所執行的程式，或後述的初始區域資訊52、圖像變換資訊54、位置資訊56、注視物資訊58等。
圖像取得部22，係取得藉由攝像部10所拍攝的圖像。所取得之圖像，係例如彩色(color)圖像(image)。指標導出部24，係例如將彩色圖像變換成灰階(gray scale)圖像或二值化圖像，在經變換之圖像的各像素，導出表示鐵路之路線性的指標。該結果，可獲得將指標對像素建立對應的指標圖像。又，取而代之，指標導出部24，係亦可在將預定數之像素群組(group)化的各像素群，導出表示鐵路之路線性的指標。圖像變換部26，係將藉由指標導出部24所生成之指標圖像變換成從上空觀看到的鳥瞰圖像。
初始搜索部28，係在從指標圖像變換之鳥瞰圖像中所預先設定的初始區域內，網羅地抽出將初始區域之上端之任意的一部位與下端之任意的一部位連結之複數個線段。「線」，係指像素或將像素群組化之像素群在預定方向上相連的區域。初始搜索部28，係選擇一個「線上之藉由指標導出部24所導出之指標的評估值比其他線段大」的線段。評估值，係表示路線性的值。例如，評估值越高，對應於其評估值之線段，係路線的機率越高。評估值，係亦可為指標之平均值，或亦可為使用預定之評估函數來處理指標的值。在以下的說明中，係作為一例，以評估值為指標之平均值者進行說明。
二次搜索部30，係重覆執行如下述者：將藉由初始搜索部28所選擇之線段之上端的位置作為最初的基準位置，在朝向圖像的上方擴展之搜索區域所包含的線段中，選擇指標之評估值比其他線段大的線段，並將選擇之線段的上端作為下一個基準位置。朝向圖像之上方擴展的搜索區域，係指例如呈以基準位置(或特徵位置)為中心之扇形形狀的區域。
位置搜索部32，係對包含藉由初始搜索部28或二次搜索部30所選擇之線段的上端之預定範圍進行搜索，特定指標比其他部分大的特徵位置，並將基準位置修正成特徵位置。
導軌識別部34，係根據初始搜索部28及二次搜索部30所致之處理結果，導出鐵路的路線。具體而言，導軌識別部34，係導出將藉由位置搜索部32所特定之特徵位置連接而獲得的線，作為鐵路的路線。
判定區域特定部36，係根據導軌(rail)識別部(discrimination portion)34所導出之路線的資訊，在圖像上特定判定區域(詳細如後述)。注視物監視部38，係判定注視物是否存在於判定區域內。輸出控制部40，係在藉由注視物監視部38判定為注視物存在於判定區域內的情況下，將表示存在有注視物之資訊與藉由攝像部10所拍攝到的圖像建立對應，且使其圖像顯示於顯示部12。
[處理流程(flow)]以下，參閱流程圖，說明關於上述之各功能部的處理。圖3，係表示藉由軌道識別裝置20所執行之處理流程的流程圖。
首先，圖像取得部22取得藉由攝像部10所拍攝到的圖像(原圖像)(步驟(step)S100)。其次，指標導出部24根據步驟S100所取得的圖像，導出指標(步驟S102)。指標，係指表示鐵路之路線性的標度，例如根據著眼的像素中之相鄰像素之間的亮度梯度所導出的指標。又，指標，係亦可藉由SOBEL濾波器(filter)、Laplacian濾波器、Robinson濾波器、Canny濾波器等而導出。
圖4，係示意地表示藉由攝像部10所拍攝到之圖像的圖。另外，在以下的說明中，係將藉由攝像部10所拍攝到之圖像或藉由圖像變換部26所變換之圖像的上方向定義為上端側U，將下方向定義為下端側L，將右方向定義為右端側Ri，將左方向定義為左端側Le。
圖5，係表示根據圖4所示之圖像求得了亮度梯度之結果的圖。路線，係例如由鋼等的材質所形成，由於鋼，係與鋪滿於路線之周邊的石頭(碎石(ballast))相比，光的反射率低，因此，對應於路線部分之像素與其周邊之像素的亮度差會變大。該結果，如圖5所示，在對應於路線部分的區域中，係亮度梯度會變大。
其次，圖像變換部26，係參閱圖像變換資訊54，將步驟S100所取得的原圖像變換成鳥瞰圖像(步驟S104)。原圖像中之指標，係被賦予至對應於導出其指標之位置的鳥瞰畫像中之位置。圖像變換資訊54，係表示「用以將藉由攝像部10所拍攝到的原圖像變換成鳥瞰圖像」之預先設定之變換規則的資訊。圖像變換資訊54，係亦可為而將鳥瞰圖像之像素對原圖像之像素建立對應的圖(map)，或亦可為當輸入原圖像中之座標時，輸出鳥瞰圖像中之座標的函數。圖6，係表示求得了亮度梯度後之鳥瞰圖像之一例的圖。圖6之詳細說明，係如後述。
其次，初始搜索部28，係參閱被記憶於記憶部50之初始區域資訊52(步驟S106)，在鳥瞰圖像中，設定將初始區域之上端之任意的一部位與下端之任意的一部位連結之複數條線(步驟S108)。初始區域資訊52，係表示「鳥瞰圖像中所預先設定的區域，且包含鐵道車輛RV行駛的路線且位於鳥瞰圖像之下端側L的區域之範圍」的資訊。初始區域資訊52，係例如可根據「安裝有鐵道車輛RV之攝像部10的位置及攝像部10從安裝之位置拍攝的區域」而預先求得。在前述之圖6的例子中，包含右端側Ri之路線R1的初始區域AR1與包含左端側Le之路線R2的初始區域AR2，係相當於初始區域。
圖7，係表示在初始區域AR1設定複數條線之態樣的圖。在圖7中，網羅地設定將初始區域AR1之上端側U的像素PU1~PUn中任意的一部位與初始區域AR1之下端側L的像素PL1~PLn中任意的一部位連結之複數條線(「n」，係任意的自然數)。另外，在圖示的例子中，雖係表示將像素PL1與各PU1~PUn連結的情形，但在步驟S108的處理中，係設定將各像素PL1~PLn與各PU1~PUn網羅地連結的線。又，即便在初始區域AR2，亦進行相同的處理。
其次，初始搜索部28，係在初始區域AR1及AR2中，分別選擇一條「設定之線所包含的指標之平均值比其他線所包含之指標值大」的線(步驟S110)。更具體而言，初始搜索部28，係參閱圖像變換資訊54，根據對應於鳥瞰圖像中之複數條線所包含的像素之指標，選擇指標之平均值為最大的線。藉由本處理，選擇與「將對應於前述圖6之圖像的路線R1及R2之像素連接而獲得的線」近似的線。
其次，位置搜索部32，係對包含藉由初始搜索部28所選擇的線之上端(基準位置)的鳥瞰圖像之預定範圍進行搜索，特定「與其他部分相比，指標為最大」的特徵位置，並將基準位置修正成特徵位置(步驟S112)。預定範圍，係指從藉由位置搜索部32所特定之基準位置，在左右方向上具有預定寬度的線段區域。另外，預定範圍，係亦可設成為從藉由位置搜索部32所特定之基準位置，在縱方向上亦具有寬度的矩形區域。又，所特定之特徵位置的資訊(座標)，係被記憶於記憶部50作為後述的位置資訊56。
圖8，係用以說明關於特定特徵位置之處理的圖。省略關於與圖7相同的說明。例如，初始搜索部28，係在步驟S110的處理中，選擇將初始區域AR1所包含之像素PL10與像素PU10連結的線作為指標之平均值最大的線。在該情況下，位置搜索部32，係比較像素PU10、延伸於像素PU10之左右方向的像素PU7~PU9及像素PU11~PU13各自的指標，且例如選擇指標最大之像素作為特徵位置。在本實施形態中，像素PU11被選擇作為特徵位置。
其次，二次搜索部30，係在鳥瞰圖像中，根據藉由位置搜索部32所特定之特徵位置，在扇形的區域設定複數條線(步驟S114)。圖9，係用以說明根據特徵位置來設定複數條線之處理的圖。例如，二次搜索部30，係如圖9(A)所示，根據位置搜索部32所特定之特徵位置PU11，設定扇形的區域。扇形的區域，係指將藉由初始搜索部28所選擇的線L設成為中心，且將藉由位置搜索部32所特定的特徵位置PU11作為起點，以成為右端側Ri及左端側Le的角度θ，由延伸於上端側U方向的假想線VR及VL所區劃的區域。
另外，角度θ，係預先設定之角度，例如為可涵蓋(控制)由鐵路之路線的規格等所規定之最大曲率(mazimum curvature)之範圍的角度。又，假想線VR及VL的長度，係預先設定的長度。而且，二次搜索部30，係如圖9(B)所示，設定將扇形之區域的上端之任意的一部位與特徵位置PU1網羅地連結的複數條線。另外，二次搜索部30，係根據在初始區域AR2所特定之特徵位置，進行與上述之處理相同的處理。
其次，二次搜索部30，係在設定的複數條線中，選擇「與其他線相比，指標之平均值為最大」的線(步驟S116)。更具體而言，二次搜索部30，係參閱圖像變換資訊54，根據對應於鳥瞰圖像中之複數條線所包含的像素之指標，選擇「與其他線相比，指標之平均值為最大」的線。
其次，位置搜索部32，係對包含藉由二次搜索部30所選擇的線之上端(基準位置)的鳥瞰圖像之預定範圍進行搜索，特定「與其他部分相比，指標為最大」的特徵位置，並將基準位置修正成特徵位置(步驟S118)。
其次，位置搜索部32，係判定是否滿足結束條件(步驟S120)。結束條件，係指將初始區域AR1及初始區域AR2特定為起點之2個基準位置(或特徵位置)的間隔成為了閾值(threshold value)以下之情況、執行特定藉由位置搜索部32所進行之基準位置的處理預定次數之情況、藉由位置搜索部32所特定之基準位置位於鳥瞰圖像中比預定位置更上端側之情況等。
在未滿足結束條件的情況下，重複步驟S114~S118之處理。在該情況下，二次搜索部30，係根據由步驟S118所特定之特徵位置，在步驟S114設定複數條線。如此一來，藉由重複步驟S114~S118之處理的方式，朝向上端側U而以預定間隔設定特徵位置。
說明關於前述之圖6。如圖示所示，根據初始區域AR1之特徵位置設定特徵位置CPr1，根據特徵位置CPr1特定特徵位置CPr2，･･･特定特徵位置CPr12。相同地，根據初始區域AR2之特徵位置設定特徵位置CPl1，根據特徵位置CPl1特定特徵位置CPl2，･･･特定特徵位置CPl12。
又，所設定之特徵位置的資訊(座標)，係被記憶於記憶部50作為位置資訊56。圖10，係表示位置資訊56之內容的圖。位置資訊56，係表示藉由位置搜索部32所特定之特徵位置的圖像(鳥瞰圖像)上之標的資訊。位置資訊56，係例如依照所特定之特徵位置的順序進行排列。具體而言，在位置資訊56中，特徵位置，係按照藉由初始搜索部28而在初始區域內所選擇之線的起點、藉由位置搜索部32所特定之最初的特徵位置、藉由位置搜索部32所特定的第2個特徵位置･･･藉由位置搜索部32所特定的第N(「N」，係任意的自然數)個特徵位置之順序排列。又，在位置資訊56中，將表示右端側之特徵位置的識別資訊或表示左端側之特徵位置的識別資訊對藉由位置搜索部32所特定之特徵位置建立對應。
在滿足結束條件的情況下，導軌識別部34參閱位置資訊56，將藉由位置搜索部32所特定之特徵位置連接而特定被推估為路線的區域(步驟S122)。具體而言，導軌識別部34，係參閱位置資訊56，將藉由位置搜索部32所特定之特徵位置描繪成原圖像。圖11，係表示描繪出特徵位置之原圖像的圖。例如，如圖示所示，描繪出(plot)藉由位置搜索部32所特定的特徵位置(CPl0、CPr0(=PUr10))、藉由位置搜索部32所特定之最初的特徵位置(CPl1，CPr1)~第N個(例如CPl2，CPr2~CPl6，CPr6等)的特徵位置。
而且，導軌識別部34，係參閱位置資訊56，將在初始區域內所選擇之線的始點(PL10、PL10#)與藉由位置搜索部32所特定之最初的特徵位置連結，並將最初的特徵位置與第2個特徵位置連結，･･･將N-1的特徵位置與第N個特徵位置連結。另外，對左端側的特徵位置及右端側的特徵位置進行該處理。藉由像這樣進行處理的方式，特定被推估為路線的區域R1及R2。另外，在上述之處理中，位置資訊56所包含之特徵位置的座標，係亦可維持對應於鳥瞰圖像之座標而被輸出至其他功能部或裝置，特徵位置，係亦可被描繪成鳥瞰圖像。
其次，軌道識別裝置20判定注視物是否存在於路線附近，並在存在有注視物的情況下，使警報顯示於顯示部12(步驟S124)。例如，首先，判定區域特定部36特定判定區域。判定區域，係指藉由路線R1及R2所區劃的區域及其附近的區域，且不允許存在注視物的區域。
圖12，係用以說明關於判定區域之一例的圖。判定區域特定部36，係例如於原圖像上的預定位置，特定與導軌R1及導軌R2之橫方向有關之間隔的中心即中心線C，並特定法線方向上從路線R2延伸至中心線C之線的長度LA。又，判定區域特定部36，係根據特定之長度LA，特定長度LB(基準長度)。長度LB，係對長度LA之左端加上長度XL的長度。長度XL，係例如在鐵道車輛RV行駛路線的情況下，鐵道車輛RV自路線R2之寬度方向超出的長度，或超出之長度加上預定長度的長度。長度XL，係例如被記憶於記憶部50。
而且，判定區域特定部36，係例如於原圖像上，在比前次求得了長度LB的位置更上端側中，特定與導軌R1及導軌R2之橫方向有關之間隔的中心即中心線C，並特定法線方向上從路線R2延伸至中心線C之線的長度LA#。又，判定區域特定部36，係根據特定之長度LA#，特定長度LB#(基準長度)。長度LA#與長度LB#之比率，係與長度LA與長度LB之比率相同。判定區域特定部36，係在比前次求得了基準長度之位置更上端側U中，直至原圖像中路線消失的附近為止，求得基準長度。在路線R1側，相同地進行上述之處理。而且，判定區域特定部36，係將由假想線V1及假想線V2所區劃之區域視作為判定區域，該假想線V1，係依求得了基準長度之左端彼此的順序連結，假想線V2，係依求得了基準長度之右端彼此的順序連結。
又，注視物監視部38，係例如參閱注視物資訊58，且使用藉由指標導出部24所導出的指標，在原圖像中之判定區域內，判定是否存在有與注視物之模板(template)一致的圖像區域。在注視物資訊58，係例如記憶有複數個注視物之模板。一致，係不限於完全一致，例如包含對於圖像區域之形狀與和注視物之模板建立對應之形狀，類似性為閾值以上的情形。另外，注視物監視部38，係亦可取得藉由立體攝影機所拍攝到之圖像，根據取得的圖像與注視物資訊58，判定是否存在有注視物。在該情況下，在注視物資訊58，係包含有表示注視物之立體形狀的模板。
輸出控制部40，係在藉由注視物監視部38判定為注視物存在於判定區域內的情況下，從注視物監視部38取得相當於注視物之圖像區域的資訊，以特定所取得之圖像區域，並且使「表示對所特定之圖像區域存在有注視物的資訊」在原圖像中建立對應。而且，輸出控制部40，係使進行了上述之處理的加工圖像顯示於顯示部12。圖13，係示意地表示加工圖像的圖。例如，在藉由攝像部10拍攝到人進入至判定區域內之時機的情況下，在顯示部12，係顯示有加工圖像，該加工圖像，係包含表示存在有注視物的資訊。另外，輸出控制部40，係亦可使警報輸出至被設置於鐵道車輛RV的揚聲器等。藉此，鐵道車輛RV之乘員，係可辨識注視物存在於鐵道車輛RV的進行方向。而且，乘員，係可考慮注視物的存在而控制鐵道車輛RV。
藉由上述之處理，軌道識別裝置20，係可更精度良好地檢測鐵路的路線。又，軌道識別裝置20，係在注視物存在於檢測到之路線內的情況下，可向乘員通知表示存在有注視物的資訊。
又，在上述之處理中，亦可在藉由步驟S110或步驟S116之處理所求得的線之傾斜度的差成為基準角度以上，進行調整角度之修正。藉此，即便為物體在單向之路線(右側或左側之路線)產生干涉而選擇了與路線不同之線的情況，亦可根據另一方之路線，補足被推估為物體干涉的路線。該結果，在圖像中，可特定與物體干涉之路線近似的區域。
又，在上述之處理中，初始搜索部28或二次搜索部30，係亦可在選擇之2條線的間隔超過根據路線之間隔所預先設定的閾值之情況下，將2條線的間隔調整成閾值以下。例如，在該情況下，初始搜索部28，係例如使2條路線均等地彼此靠近。藉此，可更精度良好地檢測路線。
又，在上述之處理中，二次搜索部30，係在鳥瞰圖像中所設定之扇形的區域中，從設定的複數條線中，選擇「與其他線相比，指標之平均值為最大」的線，藉此，可更精度良好地特定基準位置。特別是，可精度良好地特定原圖像的上端側U(亦即遠離於列車的區域)中之基準位置。
又，在上述之處理中，搜索包含初始搜索部28或二次搜索部30所選擇之線的上端之鳥瞰圖像的預定範圍，並特定「與其他部分相比，指標為最大」的特徵位置。像這樣，將指標最大之像素選擇作為特徵位置，藉此，即便為在步驟S110或步驟S116中根據平均值所選擇之線的前端與對應於實際路線之像素不同的情況，亦可在對應於實際路線之像素修正線的前端側。又，即便在實際路線彎曲的情況下，亦藉由修正所選擇之線之前端的方式，更精度良好地特定對應於路線的位置。
另外，亦可省略基準位置被修正成特徵位置的處理。在該情況下，在位置資訊56，係記憶有基準位置之資訊。而且，推估為路線之區域，係成為將基準位置連結的區域。又，在該情況下，搜索區域，係以基準位置為中心之扇形形狀的區域。
又，在上述之處理中，在二次搜索部30設定複數條線的情況下，雖以藉由初始搜索部28或二次搜索部30所選擇的線L為中心，設定假想線VR及VL，但並不限於此。例如，二次搜索部30，係亦可考慮比前次更之前的處理所選擇之線，設定假想線VR及VL。
圖14，係用以說明關於假想線之設定的圖。例如，基準位置CPrx1~CPrx3按照該順序被予以特定。又，在根據基準位置CPrx1設定複數條線之際，將設定假想線時之成為基準(中心)的線L1與延伸於鳥瞰圖像之橫方向的線所構成之角度設成為角度θ1。在根據基準位置CPrx2設定複數條線之際，將設定假想線時之成為基準的線L2與延伸於鳥瞰圖像之橫方向的線所構成之角度設成為角度θ2。又，在根據基準位置CPrx3設定複數條線之際，將設定假想線時之成為基準的線L3與延伸於鳥瞰圖像之橫方向的線所構成之角度設成為角度θ3。在該情況下，角度θ3，係根據式(1)而求得。如此一來，藉由求得角度θ3的方式，可設定反映出導軌之曲率的複數條線，並可更確實地在搜索區域包含路線。另外，圖中之角度θ，係可涵蓋由圖9中所說明的鐵路之路線的規格等所規定之最大曲率之範圍的角度θ。θ3=θ2+(θ2-θ1)…(1)
根據以上說明的第1實施形態，軌道識別裝置20，係藉由具有初始搜索部28、二次搜索部30及導軌識別部34的方式，可更精度良好地檢測鐵路的路線，該初始搜索部28，係在圖像中所預先設定的初始區域內，抽出將初始區域之上端之任意的一部位與下端之任意的一部位連結之複數個條線段，並選擇一個「表示線段上之藉由指標導出部24所導出之鐵路的路線性之指標的評估值比其他線段大」的線段，該二次搜索部30，係重覆執行如下述者：將藉由初始搜索部28所選擇之線段之上端的位置作為最初的基準位置，在朝向圖像的上方擴展之搜索區域所包含的線段中，選擇指標之評估值比其他線段大的線段，並將選擇之線段的上端作為下一個基準位置，該導軌識別部34，係根據初始搜索部28及二次搜索部30所致之處理結果，導出鐵路的路線。
(第2實施形態)在第2實施形態中，係以特定單軌(single track)者進行說明。相對於此，在第2實施形態中，係特定雙軌(double track)。以下，以與第1實施形態的不同點作為中心而進行說明。
在第2實施形態之記憶部50，係例如記憶有路線分布資訊60。路線分布資訊60，係表示在圖像(原圖像或鳥瞰圖像)上被推估為存在有路線之可能性高之區域的資訊。路線分布資訊60，係例如以實驗所求得出的資訊。圖15，係表示反映出路線分布資訊60之原圖像之一例的圖。圖中，區域DA，係被推估為存在有路線之可能性高的分布區域。區域DA，係包含有區域DA1、區域DA2及區域D3。區域DA1，係可能存在鐵道車輛RV行駛之左右的導軌中之左側導軌的分布區域，區域DA2，係可能存在鐵道車輛RV行駛之左右的導軌中之右側導軌的分布區域。又，區域DA3，係可能存在鐵道車輛RV行駛之左側或右側的導軌，抑或左側及右側導軌的分布區域。
又，在路線分布資訊60中，係將初始區域AR#建立對應。在圖示的例子中，雖係表示對應於搭載了軌道識別裝置20之鐵道車輛RV行駛的路線之區域DA，但在路線分布資訊60，係更包含有被推估為存在與搭載了軌道識別裝置20之鐵道車輛RV行駛的路線不同之路線(例如相鄰之路線)的分布區域。
初始搜索部28，係在初始區域AR#內，抽出將初始區域AR#之上端之任意的一部位與下端之任意的一部位連結之複數條線，並選擇二條「與其他線所包含之指標的評估值相比，抽出的線所包含之藉由指標導出部24而導出之指標的評估值為最大」的線，以推估為路線。又，初始搜索部28，係在對應於與搭載了軌道識別裝置20之鐵道車輛RV行駛的路線不同之路線的初始區域內，進行與上述之處理相同的處理，推估與搭載了軌道識別裝置20之鐵道車輛RV行駛的路線不同之路線。而且，初始搜索部28，係在經推估的二條路線滿足預定條件的情況下，將經推估之路線特定為路線。預定條件，係指例如滿足「設定了與二條路線之各自的左側(或右側)之路線之鳥瞰圖像的橫方向有關之間隔」的基準(距離之範圍)。
在之後的處理中，位置搜索部32，係對所選擇的線之各個進行與第1實施形態相同的處理，並設定對應於鐵道車輛RV行駛之路線及與該路線不同之路線的基準位置。
根據以上說明的第2實施形態，軌道識別裝置20，係在圖像中依各路線所預先設定的初始區域內，抽出將初始區域之上端之任意的一部位與下端之任意的一部位連結之複數條線，並選擇一條「與其他線所包含之指標的評估值相比，抽出的線所包含之指標的評估值為最大」的線，並對選擇的線之各個進行與第1實施形態相同的處理，藉此，可特定雙軌。
(第3實施形態)在第3實施形態中，係參閱軌道識別裝置20之過去的處理結果，特定路線。以下，以與第1實施形態的不同點作為中心而進行說明。
圖16，係表示第3實施形態之軌道識別裝置20A之功能構成的圖。軌道識別裝置20A，係具備初始搜索部28A及記憶部50A以代替第1實施形態之初始搜索部28及記憶部50。在記憶部50A，係記憶有特定導軌資訊62。特定導軌資訊62，係過去所特定之基準位置的資訊及被推估為藉由導軌識別部34所特定之路線之區域的資訊。
初始搜索部28A，係參閱特定導軌資訊62，設定初始區域。圖17，係用以說明關於設定初始區域之處理的圖。初始搜索部28A，係在處理對象之鳥瞰圖像上，描繪特定導軌資訊62所包含之前次推估為路線的區域R1及R2，並將包含有經描繪之區域R1及區域R2的預定區域設定為初始區域AR#1。初始搜索部28，係在初始區域AR#1內，抽出將初始區域AR#1之上端之任意的一部位與下端之任意的一部位連結之複數條線，並選擇一條「與其他線所包含之指標的評估值相比，抽出的線所包含之藉由指標導出部24而導出之指標的評估值為最大」的線。而且，軌道識別裝置20A，係與第1實施形態相同地特定基準位置，且特定被推估為路線的區域。
根據以上說明的第3實施形態，軌道識別裝置20，係參閱特定導軌資訊62所包含之前次推估為路線的區域R1及R2，決定初始區域AR#1，藉此，可發揮與第1實施形態相同的效果。
根據以上說明的至少1個實施形態，藉由具有指標導出部、初始搜索部、二次搜索部及導軌識別部的方式，可更精度良好地檢測鐵路的路線，該指標導出部，係依拍攝了鐵道車輛的進行方向之圖像的各像素或各像素群，導出表示鐵路之路線性的指標，該初始搜索部，係在前述圖像中所預先設定的初始區域內，抽出將前述初始區域之上端之任意的一部位與下端之任意的一部位連結之複數個線段，並選擇一個「線段上之藉由前述指標導出部所導出之指標的評估值比其他線段大」的線段，該二次搜索部，係重覆執行如下述者：將藉由前述初始搜索部所選擇之線段之上端的位置作為最初的基準位置，在朝向圖像的上方擴展之搜索區域所包含的線段中，選擇指標之評估值比其他線段大的線段，並將前述選擇之線段的上端作為下一個基準位置，該導軌識別部，係根據前述初始搜索部及前述二次搜索部所致之處理結果，導出鐵路的路線。
雖然說明了本發明的幾個實施形態，但該些實施形態係作為例子所提出之樣態，並非意圖限定發明的範圍。該些實施形態，係可由其他各種形態而實施，在不脫離發明之主旨的範圍內可進行各種省略、置換、變更。該些實施形態或其變形，係與被包含於發明之範圍或主旨內相同地，被包含於申請專利範圍所記載的發明與其均等的範圍內。
1‧‧‧車輛系統
10‧‧‧攝像部
20‧‧‧軌道識別裝置
22‧‧‧圖像取得部
24‧‧‧指標導出部
26‧‧‧圖像變換部
28‧‧‧初始搜索部
30‧‧‧二次搜索部
32‧‧‧位置搜索部
34‧‧‧導軌識別部(路線導出部)
RV‧‧‧鐵道車輛
[圖1]包含軌道識別裝置20之車輛系統(system)1的構成圖。 　　[圖2]軌道識別裝置20的功能構成圖。 　　[圖3]表示藉由軌道識別裝置20所執行之處理流程的流程圖(flow chart)。 　　[圖4]示意地表示藉由攝像部10所拍攝到之圖像的圖。 　　[圖5]表示根據圖4所示之圖像求得了亮度梯度之結果的圖。 　　[圖6]表示求得了亮度梯度後之鳥瞰圖像之一例的圖。 　　[圖7]表示在初始區域AR1設定複數條線之態樣的圖。 　　[圖8]用以說明關於特定特徵位置的處理。 　　[圖9]用以說明根據特徵位置來設定複數條線之處理的圖。 　　[圖10]表示位置資訊56之內容的圖。 　　[圖11]表示描繪出特徵位置之原圖像的圖。 　　[圖12]用以說明關於判定區域之一例的圖。 　　[圖13]示意地表示加工圖像的圖。 　　[圖14]用以說明關於假想線之設定的圖。 　　[圖15]表示反映出路線分布資訊60之原圖像之一例的圖。 　　[圖16]表示第3實施形態之軌道識別裝置20A之功能構成的圖。 　　[圖17]用以說明關於設定初始區域之處理的圖。

Claims (6)

  1. 一種軌道識別裝置，其特徵係，具備有：指標導出部，依拍攝了鐵道車輛的進行方向之圖像的各像素或各像素群，導出表示鐵路之路線性的指標；初始搜索部，係在前述圖像中所預先設定的初始區域內，抽出將前述初始區域之上端之任意的一部位與下端之任意的一部位連結之複數個線段，並選擇一個「線段上之藉由前述指標導出部所導出之指標的評估值比其他線段大」的線段；二次搜索部，重覆執行如下述者：將藉由前述初始搜索部所選擇之線段之上端的位置作為最初的基準位置，在朝向圖像的上方擴展之搜索區域所包含的線段中，選擇指標之評估值比其他線段大的線段，並將前述選擇之線段的上端作為下一個基準位置；及路線導出部，根據前述初始搜索部及前述二次搜索部所致之處理結果，導出鐵路的路線。
  2. 如申請專利範圍第1項之軌道識別裝置，其中，前述搜索區域，係以前述基準位置為中心而朝向前述圖像之上方擴展成扇形的區域。
  3. 如申請專利範圍第1或2項之軌道識別裝置，其中，更具備有： 位置搜索部，對包含藉由前述初始搜索部或前述二次搜索部所選擇之線段的上端之預定範圍進行搜索，特定前述指標比其他部分大的特徵位置，並將前述基準位置修正成前述特徵位置。
  4. 如申請專利範圍第3項之軌道識別裝置，其中，前述預定範圍，係以前述上端作為中心而在圖像橫方向擴展的線段區域或在圖像縱方向上亦具有寬度的矩形區域。
  5. 如申請專利範圍第4項之軌道識別裝置，其中，更具備有：變換部，將前述圖像變換成從上空觀看到的圖像，前述初始搜索部及前述二次搜索部，係在藉由前述變換部所變換的圖像中，設定前述基準位置。
  6. 一種軌道識別裝置之程式，其特徵係，在電腦中，依拍攝了鐵道車輛的進行方向之圖像的各像素或各像素群，導出表示鐵路之路線性的指標，在前述圖像中所預先設定的初始區域內，抽出將前述初始區域之上端之任意的一部位與下端之任意的一部位連結之複數個線段，並選擇一個「線段上之前述所導出之指標的評估值比 其他線段大」的線段，重覆執行如下述者：將前述所選擇之線段之上端的位置作為最初的基準位置，在朝向圖像的上方擴展之搜索區域所包含的線段中，選擇指標之評估值比其他線段大的線段，並將前述選擇之線段的上端作為下一個基準位置，根據前述選擇之處理結果，導出鐵路的路線。
TW107112844A 2017-04-21 2018-04-16 軌道識別裝置及程式 TWI673654B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017084556A JP6903477B2 (ja) 2017-04-21 2017-04-21 軌道識別装置、およびプログラム
JP2017-084556 2017-04-21

Publications (2)

Publication Number Publication Date
TW201903646A TW201903646A (zh) 2019-01-16
TWI673654B true TWI673654B (zh) 2019-10-01

Family

ID=63855788

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107112844A TWI673654B (zh) 2017-04-21 2018-04-16 軌道識別裝置及程式

Country Status (7)

Country Link
US (1) US11210548B2 (zh)
EP (1) EP3614342A4 (zh)
JP (1) JP6903477B2 (zh)
CN (1) CN110537206B (zh)
SG (1) SG11201909533TA (zh)
TW (1) TWI673654B (zh)
WO (1) WO2018194158A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021044564A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 前方監視装置及び前方監視装置のキャリブレーション方法
JP7481872B2 (ja) * 2020-03-27 2024-05-13 日立造船株式会社 画像による鉄道レールの検出方法
JP7542342B2 (ja) 2020-07-07 2024-08-30 株式会社東芝 撮影装置
DE112020007667T5 (de) 2020-12-08 2023-09-07 Mitsubishi Electric Corporation Schienenerfassungsvorrichtung und schienenerfassungsverfahren

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002485A (ja) * 2000-06-21 2002-01-09 Fuji Heavy Ind Ltd 軌道認識装置及び軌道認識装置を用いた鉄道車両
TW201216711A (en) * 2010-10-12 2012-04-16 Hon Hai Prec Ind Co Ltd TOF image capturing device and image monitoring method using the TOF image capturing device
JP2014062415A (ja) * 2012-09-21 2014-04-10 Mitsubishi Electric Corp 軌道検出装置及び軌道監視装置
TWI466545B (zh) * 2010-10-12 2014-12-21 Hon Hai Prec Ind Co Ltd 攝影機裝置及利用其進行影像監控的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032601A (ja) 1998-07-09 2000-01-28 Fuji Heavy Ind Ltd 軌道認識装置
JP2002008019A (ja) 2000-06-21 2002-01-11 Fuji Heavy Ind Ltd 軌道認識装置及び軌道認識装置を用いた鉄道車両
JP5884560B2 (ja) * 2012-03-05 2016-03-15 オムロン株式会社 文字認識のための画像処理方法、およびこの方法を用いた文字認識装置およびプログラム
CN102663352B (zh) * 2012-03-23 2014-07-30 华南理工大学 一种轨道识别方法
JP2014017611A (ja) 2012-07-06 2014-01-30 Toshiba Corp 軌道点検装置
JP6034767B2 (ja) 2013-09-02 2016-11-30 公益財団法人鉄道総合技術研究所 レール検出装置、鉄道用前方監視カメラ装置、鉄道車両、およびレール検出方法ならびに制御方法
JP6278790B2 (ja) * 2014-03-31 2018-02-14 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN105335681B (zh) * 2014-07-14 2017-09-22 株式会社理光 条形码识别装置、文档图像管理系统以及条形码识别方法
JP6572411B2 (ja) 2014-11-11 2019-09-11 株式会社明電舎 レール検出装置
JP6307037B2 (ja) 2015-03-31 2018-04-04 公益財団法人鉄道総合技術研究所 障害物検知方法およびその装置
CN106023076B (zh) 2016-05-11 2019-04-23 北京交通大学 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002485A (ja) * 2000-06-21 2002-01-09 Fuji Heavy Ind Ltd 軌道認識装置及び軌道認識装置を用いた鉄道車両
TW201216711A (en) * 2010-10-12 2012-04-16 Hon Hai Prec Ind Co Ltd TOF image capturing device and image monitoring method using the TOF image capturing device
TWI466545B (zh) * 2010-10-12 2014-12-21 Hon Hai Prec Ind Co Ltd 攝影機裝置及利用其進行影像監控的方法
JP2014062415A (ja) * 2012-09-21 2014-04-10 Mitsubishi Electric Corp 軌道検出装置及び軌道監視装置

Also Published As

Publication number Publication date
CN110537206B (zh) 2023-07-28
EP3614342A4 (en) 2021-01-13
TW201903646A (zh) 2019-01-16
CN110537206A (zh) 2019-12-03
JP6903477B2 (ja) 2021-07-14
US20200050882A1 (en) 2020-02-13
JP2018181254A (ja) 2018-11-15
US11210548B2 (en) 2021-12-28
WO2018194158A1 (ja) 2018-10-25
EP3614342A1 (en) 2020-02-26
SG11201909533TA (en) 2019-11-28

Similar Documents

Publication Publication Date Title
TWI673654B (zh) 軌道識別裝置及程式
US10943131B2 (en) Image based lane marking classification
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US11482013B2 (en) Object tracking method, object tracking apparatus, vehicle having the same, and computer-program product
EP3705371A1 (en) Obstacle detecting device
JP4930046B2 (ja) 路面判別方法および路面判別装置
JP6156400B2 (ja) 走行路面検出装置及び走行路面検出方法
CN103366154B (zh) 可重配置的畅通路径检测系统
US20140218485A1 (en) Parallax calculation method and parallax calculation device
JP5959073B2 (ja) 検出装置、検出方法、及び、プログラム
JP2016004287A (ja) 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
JP2018190082A (ja) 車種判別装置、車種判別方法、および車種判別システム
JP2009301495A (ja) 画像処理装置及び画像処理方法
CN109558765B (zh) 汽车及车道线的检测方法、装置
JP2018055597A (ja) 車種判別装置および車種判別方法
Skodras et al. Rear lights vehicle detection for collision avoidance
WO2019203354A1 (ja) 軌道識別装置
WO2019149213A1 (zh) 基于影像识别路锥的方法、装置、存储介质以及车辆
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
JP2006201817A (ja) 車体色判別方法及び装置。
US9792511B2 (en) Method for the operation of an assistance system of a motor vehicle, as well as assistance system
JP2010286995A (ja) 車両用画像処理システム
JP6316154B2 (ja) 車両検出装置、調整支援装置、車両検出方法及び調整方法
CN111192283A (zh) 一种限高杆检测和高度计算方法
KR101907852B1 (ko) 스테레오 영상 처리 방법 및 장치