TWI613905B - 異常圖像檢測裝置、包含異常圖像檢測裝置之圖像處理系統及搭載圖像處理系統之車輛 - Google Patents

異常圖像檢測裝置、包含異常圖像檢測裝置之圖像處理系統及搭載圖像處理系統之車輛 Download PDF

Info

Publication number
TWI613905B
TWI613905B TW105123796A TW105123796A TWI613905B TW I613905 B TWI613905 B TW I613905B TW 105123796 A TW105123796 A TW 105123796A TW 105123796 A TW105123796 A TW 105123796A TW I613905 B TWI613905 B TW I613905B
Authority
TW
Taiwan
Prior art keywords
image
parallax
abnormal
value
pixels
Prior art date
Application number
TW105123796A
Other languages
English (en)
Other versions
TW201717616A (zh
Inventor
Takashi Akasaka
Takahiro Ishii
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015157183A external-priority patent/JP6690904B2/ja
Priority claimed from JP2015175792A external-priority patent/JP6651313B2/ja
Priority claimed from JP2016127534A external-priority patent/JP6657034B2/ja
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of TW201717616A publication Critical patent/TW201717616A/zh
Application granted granted Critical
Publication of TWI613905B publication Critical patent/TWI613905B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)

Abstract

本發明提供一種異常圖像檢測裝置，其於利用複數個攝像部中之任一個攝像部拍攝實質上不同之場景之圖像之情形時，可基於可靠度較低之像素之總數而檢測出異常圖像。
異常圖像檢測裝置2具有：可靠度判定部24，其判定視差圖像之像素是否為低可靠度；運算部25，其算出由可靠度判定部24所判定之低可靠度之像素之總數；及異常判斷部26，其於由運算部25獲得之低可靠度之像素之總數超過特定值之情形時，判定視差圖像為異常。可靠度判定部24具有邊緣強度判定部241，該邊緣強度判定部241係於原圖像之各像素之邊緣強度至少小於閾值或等於閾值之情形時，將由該像素製作之視差圖像中之像素判定為低可靠度之像素。

Description

異常圖像檢測裝置、包含異常圖像檢測裝置之圖像處理系統及搭載圖像處理系統之車輛
本發明係關於一種檢測視差圖像及與視差圖像製作相關之原圖像之異常之異常圖像檢測裝置、包含異常圖像檢測裝置之圖像處理系統及搭載圖像處理系統之車輛。
提出一種搭載有立體攝影機之車輛，該立體攝影機可基於由使用複數個攝像部拍攝之圖像所製作之視差圖像而求出至被攝體之距離。
作為搭載於車輛上之立體攝影機之異常原因，例如除立體攝影機本身之故障(例如光學性、機械性、電氣故障)之外，還可舉出因使用基於在逆光或暗處等明暗強烈之條件下拍攝之圖像所製作之視差圖像而無法準確地算出深度距離等。
提出一種異常診斷裝置，其不會受到逆光或暗處等明暗強烈之條件之影響而能夠判別立體攝影機之異常狀態(例如，參照專利文獻l)。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2014-6243號公報
然而，對於搭載於車輛上之立體攝影機，有左右之攝像機拍攝實質上不同之場景之圖像之情形。例如，於僅任一方之攝像機附著有污物等之狀態下拍攝之情形時，紋理變小，故即便進行立體匹配亦無法獲得正確之視差值(視差圖像)。又，除污物等附著以外，亦可能有左右之攝像機拍攝不同之場景之情形。
於上述專利文獻1之異常診斷裝置中，視差圖像資料之異常判斷係根據視差值分佈或視差值分佈之變化量(N圖框圖像之視差值圖像與N+1圖框圖像之視差值圖像之變化量)而判別。具體之判斷方法為以下之(1)~(4)：(1)判斷是否未檢測出視差；(2)判斷是否存在最大視差值以上之視差；(3)判斷視差值之峰值數是否為閾值以上；(4)判斷與前一個圖框之視差值分佈之類似度是否較低。然而，有如下之情形：該等(1)~(4)之判斷方法不易判斷於上述「僅一方之攝像機上附著有污物等之條件」下所拍攝之圖像相關之視差圖像資料是否異常，從而所有判斷結果成為「NO」，判斷視差圖像資料為正常。
本發明之目的在於提供一種異常圖像檢測裝置，其於利用複數個攝像部中之任一個攝像部拍攝與其他攝像部實質上不同之場景之圖像之情形時，可基於可靠度較低之像素之總數而檢測異常圖像。又，本發明之目的在於提供一種包含上述異常圖像檢測裝置之圖像處理系統。又，本發明之目的在於提供一種搭載上述圖像處理系統之車輛。
本發明係一種異常圖像檢測裝置，其檢測自複數個攝像部獲得且用於視差圖像之製作之複數個原圖像中之至少1個原圖像為異常，且具有：可靠度判定部，其判定上述視差圖像之像素是否為低可靠度；運算部，其算出由上述可靠度判定部判定之低可靠度之像素之總數；及 異常判斷部，其於由上述運算部算出之低可靠度之像素之總數超過特定值之情形時，判斷上述視差圖像為異常；上述可靠度判定部具有邊緣強度判定部，該邊緣強度判定部係於上述原圖像之各像素之邊緣強度至少小於閾值或等於閾值之情形時，將基於該像素製作之視差圖像中之像素判定為低可靠度之像素。
於上述構成中，可靠度判定部使用與視差圖像製作相關之原圖像之像素而判定視差圖像之像素之可靠度。將邊緣較弱之像素設為可靠度較低之像素(低可靠度之像素)，於該像素之總數超過特定值之情形時判斷視差圖像為異常。藉此，於利用複數個攝像部中之任一個攝像部拍攝與其他攝像部實質上不同之場景之圖像(原圖像)之情形時，亦可精度良好地檢測出異常之視差圖像。若根據直接使用低可靠度之像素之視差圖像而算出深度距離，則精度變差，故障礙物之檢測精度降低。
上述邊緣強度判定部亦可對原圖像之各像素之各者判定邊緣強度。將與判定為邊緣強度小於閾值或等於閾值之像素(原像素之像素)對應之視差圖像中之像素判定為低可靠度之像素。
於判定原圖像之各像素之邊緣強度之情形時，各像素可舉出原圖像之全區域之像素、一部分區域之像素、及自全區域除去端區域後之中心側區域之像素等。關於端區域，因複數個攝像部之攝像區互不相同，故較佳為預先除外。
此處，「邊緣強度至少小於閾值或等於閾值」中之「閾值」係預先設定之值，例如可採用經驗性地、實驗性地求出之值。例如，可求出測試行駛中所拍攝之圖像或視差圖像之邊緣強度，且根據其平均值、最大值、最小值、及標準偏差之指標而設定閾值。
作為上述發明之一實施形態，上述可靠度判定部具有視差值判 定部，該視差值判定部係於上述視差圖像各像素之視差值不在特定範圍內之情形時，判定該像素為低可靠度。
根據該構成，除邊緣強度判定外，將視差值不在特定範圍內之像素設為低可靠度之像素，於該像素之總數超過特定值之情形時可判斷視差圖像為異常。於邊緣強度判定中無法進行異常檢測之情形時，亦能夠利用該視差值判定而判定異常之視差圖像。藉由包含邊緣強度判定與視差值判定而能夠更確實地進行視差圖像之異常判定。
於判定視差圖像之各像素之視差值之情形時，各像素可舉出視差圖像之全區域之像素、一部分區域之像素、及自全區域除去端區域後之中心側區域之像素等。關於端區域，因複數個攝像部之攝像區互不相同，故較佳為預先除外。
此處，「視差值在特定範圍內」中之「特定範圍」係預先設定之值，例如可採用經驗性地、實驗性地求出之值。特定範圍係由上限與下限之閾值而構成，但亦可僅為其中任一者。
作為上述發明之一實施形態，上述視差圖像至少包含以上述複數個原圖像中之第1原圖像(A)為基準而製作之第1視差圖像(Ab)、與以上述複數個原圖像中之第2原圖像(B)為基準而製作之第2視差圖像(Ba)， 上述可靠度判定部具有視差值差判定部，該視差值差判定部係於上述第1視差圖像(Ab)之第1像素(pA)之第1視差值(d1)、與對應於該第1像素(pA)之上述第2視差圖像(Ba)之第2像素(pB)之第2視差值(d2)之差(d1-d2)不在特定範圍內之情形時，判定該第1像素(pA)為低可靠度。
根據該構成，除邊緣強度判定、或邊緣強度判定及視差值判定以外，將第1、第2視差值之差(d1-d2)不在特定範圍內之像素設為低可靠度之像素，且於該像素之總數超過特定值之情形時可判斷視差圖 像為異常。於無法由邊緣強度判定或視差值判定進行異常檢測之情形時，亦能夠利用該視差值差判定而判定異常之視差圖像。藉由包含邊緣強度判定、視差值判定及視差值差判定而能夠更確實地進行視差圖像之異常判定。例如，亦可為第1原圖像(A)為左原圖像，第2原圖像(B)為右原圖像。
第1像素(pA)可舉出第1視差圖像(Ab)之全區域之各像素、一部分區域之各像素、及自全區域除去端區域後之中心側區域之各像素等。關於端區域，因複數個攝像部之攝像區互不相同，故較佳為預先除外。
此處，「差(d1-d2)在特定範圍內」中之「特定範圍」係預先設定之值，例如可採用經驗性地、實驗性地求出之值。特定範圍係由上限與下限之閾值而構成，但亦可僅為其中任一者，例如亦可僅為上限之閾值。
作為上述發明之一實施形態，上述複數個攝像部可舉出例如包含左右配置之攝像部之立體攝影機、包含上下配置之攝像部之立體攝影機、包含配置於正三角形之頂點之3個攝像部之立體攝影機、及具有3個以上之攝像部之立體攝影機。
作為上述發明之一實施形態，異常圖像檢測裝置進而具有記憶部，該記憶部保存上述原圖像、對上述原圖像實施邊緣強調處理後之邊緣強調圖像、及選自上述視差圖像之1個以上之資料。記憶部亦可為臨時記憶部。
作為上述發明之一實施形態，異常圖像檢測裝置進而具有取得部，該取得部自外部裝置取得上述原圖像、對上述原圖像實施邊緣強調處理後之邊緣強調圖像、及選自上述視差圖像之1個以上之資料。取得部可舉出例如通訊機構(無線、有線)、記憶媒體之讀取機構。
又，另一本發明係一種圖像處理系統，其具有：複數個攝像 部；視差圖像製作部，其基於自該攝像部獲得之複數個原圖像而製作視差圖像；及距離運算部，其基於由該視差圖像製作部所製作之視差圖像而算出深度距離；且具備：上述記載之異常圖像檢測裝置；及輸出部，其於上述異常圖像檢測裝置檢測出視差圖像之異常之情形時，輸出異常資訊。又，作為一實施形態，圖像處理系統進而具有圖像修正部，該圖像修正部對上述複數個原圖像進行修正處理。作為修正處理，可舉出例如對邊緣進行強調之邊緣強調處理。
又，作為一實施形態，亦可為，上述距離運算部於由上述視差圖像製作部所製作之視差圖像中，基於除低可靠度之像素以外之視差圖像而算出深度距離。低可靠度之像素係由上述可靠度判定部判定為低可靠度之像素。
又，作為一實施形態，亦可為，上述距離運算部基於除被檢測出異常之視差圖像以外之視差圖像而算出深度距離。
又，作為一實施形態，亦可為，上述距離運算部於使用被檢測出異常之視差圖像而算出深度距離之情形時，使用除低可靠度之像素以外之視差圖像。
又，另一本發明係一種車輛，其搭載上述圖像處理系統。作為一實施形態，上述車輛為如下構成：於攝像部之攝像方向前方具備前窗，且上述前窗不具備刮刷器。
根據本發明，可提供一種異常圖像檢測裝置，其於利用複數個攝像部中之任一個攝像部拍攝與其他攝像部實質上不同之場景之圖像之情形時，可基於可靠度較低之像素之總數而檢測異常圖像。又，可提供一種包含該異常圖像檢測裝置之圖像處理系統。又，可提供一種搭載該圖像處理系統之車輛。
1‧‧‧車輛
2‧‧‧異常圖像檢測裝置
5‧‧‧圖像處理系統
6‧‧‧自主行駛控制部
7‧‧‧警告輸出部
9‧‧‧行駛速度控制部
11‧‧‧驅動馬達
12‧‧‧車輪
21‧‧‧通訊部
22‧‧‧記憶部
24‧‧‧可靠度判定部
25‧‧‧運算部
26‧‧‧異常判斷部
51‧‧‧攝像部
52‧‧‧視差圖像製作部
53‧‧‧距離運算部
54‧‧‧輸出部
55‧‧‧障礙物檢測裝置
241‧‧‧邊緣強度判定部
242‧‧‧視差值判定部
243‧‧‧視差值差判定部
511‧‧‧左圖像感測器
512‧‧‧右圖像感測器
Wd‧‧‧塗黑區
W‧‧‧第1區域
S1~S27‧‧‧步驟
圖1A係實施形態1之車輛之前視圖。
圖1B係實施形態1之車輛之功能方塊圖。
圖2係實施形態1之圖像處理系統之功能方塊圖。
圖3係實施形態1之異常圖像檢測裝置之功能方塊圖。
圖4(a)、(b)係左原圖像及右原圖像之一例。
圖5係使用圖4之原圖像製作之視差圖像之一例。
圖6係邊緣強度判定部之可靠度判定之流程圖。
圖7係視差值判定部之可靠度判定之流程圖。
圖8係視差值差判定部之可靠度判定之流程圖。
圖9(a)、(b)係用以求出視差值差之說明圖。
圖10係對圖4之左原圖像進行邊緣強調後之圖像之一例。
圖11(a)、(b)係未附著污物之狀態之原圖像之一例。
圖12係使用圖11之原圖像製作之視差圖像之一例。
圖13係表示圖12之視差圖像之視差分佈之圖。
圖14係表示圖5之視差圖像之視差分佈之圖。
圖15係實施形態2之異常圖像檢測裝置之功能方塊圖。
(實施形態1)
一面參照圖式，一面對包含實施形態1之異常圖像檢測裝置之車輛進行說明。於以下之說明中，作為車輛，以自主行駛之高爾夫球車(golf cart)為例進行說明，但並不限制於高爾夫球車。「前後」及「左右」係以車輛前進之方向作為基準。於本實施形態中，作為實質上不同之場景之圖像，使用附著有污物之狀態之圖像，但並不限制於此，亦可為其他實質上不同之場景之圖像。
(車輛之概略構成)
圖1A所示之車輛1係於高爾夫球場內自動或手動行駛之高爾夫球 車。車輛1可由自埋入至跑道中之感應線發出之電磁波感應而自主行駛。車輛1上搭載有圖像處理系統5，該圖像處理系統5具有：攝像部51；視差圖像製作部52，其基於由攝像部51獲得之複數個原圖像而製作視差圖像；距離運算部53，其基於由視差圖像製作部52製作之視差圖像而算出深度距離；異常圖像檢測裝置2，其檢測基於由攝像部51獲得之複數個原圖像所製作之視差圖像及該原圖像中之至少1個原圖像是否為異常；及輸出部54，其於異常圖像檢測裝置2檢測出視差圖像之異常之情形時，輸出異常資訊。又，圖像處理系統5亦可具有障礙物檢測裝置55，該障礙物檢測裝置55檢測車輛1行駛之跑道上之障礙物。本實施形態1中，車輛1係由感應線感應之能夠自立行駛之車輛，但本發明並不限制於此，亦能夠由騎乘者進行手動行駛，且車輛於無感應線之跑道上亦能夠自由地行駛。
又，於圖1B所示之車輛1上設置有：自主行駛控制部6，其控制車輛1沿感應線自主行駛；警告輸出部7，其於障礙物檢測裝置55檢測出障礙物時對騎乘者及周圍發出警告；行駛速度控制部9，其根據檢測出障礙物而進行減速或停止之控制；及驅動馬達11，其驅動車輪12，藉由行駛速度控制部9而控制轉數。於本實施形態1中，車輛1係由馬達驅動，但並不限於此，亦可藉由引擎而驅動。
(圖像處理系統之構成)
一面參照圖2一面說明圖像處理系統5。攝像部51設置於車輛1之擋風玻璃之上中央部。攝像部51係具有左圖像感測器511與右圖像感測器512之立體攝影機。作為另一實施形態，立體攝影機亦可由2個以上之圖像感測器而構成。作為左圖像感測器511、右圖像感測器512,可舉出例如可見光攝像機。左圖像感測器511及右圖像感測器512係以分別平行立體之位置關係而配置。本實施形態中只要未特別明示，則將左圖像感測器511設為基準攝像機，將由左圖像感測器511所拍攝之 圖像設為基準圖像。圖像處理系統5係具有微處理器與記憶體且實現各構成部之功能之構成。
視差圖像製作部52係將由左圖像感測器511所拍攝之圖像設為左原圖像，將由右圖像感測器512所拍攝之圖像設為右原圖像而製作視差圖像。圖4(a)表示左原圖像之一例，圖4(b)表示右原圖像之一例。左原圖像之中央部之塗黑區wd係指於左圖像感測器511之鏡頭前表面附著有污物之狀態下所拍攝。
視差圖像製作部52製作將左原圖像作為基準圖像之視差圖像。視差圖像可對所有圖框製作，亦可抽選任意之圖框而製作，但於本實施形態中，抽選每特定間隔之圖框而製作。圖5係使用圖4之左原圖像、右原圖像而製作之視差圖像。又，視差圖像製作部52亦製作將右原圖像作為基準圖像之視差圖像，以便於視差值差判定部之可靠度判定中使用。視差圖像例如可藉由立體匹配等而製作。作為立體匹配，使用面積關聯法。面積關聯法係以關注像素為中心且以固定大小之視窗為單位而計算各圖像之一致度，以使一致度變為最高之方式進行立體匹配。進而，算出一致度最高之狀態下之關注像素之視差。此處之視差表示複數個圖像間之像素之偏移量。於實施形態1中，視差係右原圖像(左原圖像)相對於作為基準圖像之左原圖像(或右原圖像)之像素之偏移量。
距離運算部53基於由視差圖像製作部52製作之視差圖像而算出深度距離。距離運算部53於正常之視差圖像與異常之視差圖像之任一者中，均使用除去了低可靠度之像素之視差圖像而算出深度距離。即，距離運算部53於判斷為正常之視差圖像中包含低可靠度之像素之情形時，使用除去了該低可靠度之像素之視差圖像算出深度距離，於判斷為異常之視差圖像中，使用除去了低可靠度之像素之視差圖像而算出深度距離。藉由不使用低可靠度之像素而獲得高精度之深度距 離。深度距離被提供給障礙物檢測裝置55、及行駛速度控制部9等。
輸出部54於異常圖像檢測裝置2檢測出視差圖像之異常之情形時，輸出異常資訊。作為輸出，可舉出例如將表示異常之資訊顯示於顯示機構、以聲音或聲頻輸出至揚聲器、以點亮機構輸出、及將表示異常之資訊發送至外部裝置等。
(異常圖像檢測裝置)
圖3所示之異常圖像檢測裝置2具有：可靠度判定部24，其判定視差圖像之像素是否為低可靠度；運算部25，其算出由可靠度判定部24所判定之低可靠度之像素之總數；及異常判斷部26，其於由運算部25獲得之低可靠度之像素之總數超過特定值之情形時，判斷視差圖像為異常。
可靠度判定部24具有邊緣強度判定部241、視差值判定部242、及視差值差判定部243。以下，對各判定部之判定進行詳細敍述。
一面參照圖6一面對邊緣強度判定部之判定方法進行說明。邊緣強度判定部241判定視差圖像之第1區域w內之像素之左原圖像及右原圖像之各者之像素的邊緣強度是否為閾值以下。以下，就並行進行對左原圖像之像素之判定、與對右原圖像之像素之判定之方法進行說明。圖5所示之視差圖像係對圖4(a)所示之左原圖像及圖4(b)所示之右原圖像進行立體匹配而製作。邊緣強度判定部241求出視差圖像之第1區域w內之像素p(u，v)中之左原圖像之像素之邊緣強度eL(u，v)。同樣地，邊緣強度判定部241求出像素p(u，v)中之右原圖像之像素之邊緣強度eR(u，v)(S1)。邊緣強度可藉由通常之邊緣檢測而求出。
於本實施形態中，求出第1區域w內之像素p(u，v)中之左原圖像之像素之邊緣強度eL(u，v)及右原圖像之像素之邊緣強度eR(u，v)，但並不限制於此，作為另一實施形態，亦可求出視差圖像之區域wL內之像素pL中之左原圖像之像素之邊緣強度eL，且求出視差圖像之 區域wR(與區域wL不同之區域)內之像素pR中之右原圖像之像素之邊緣強度eR。
其次，邊緣強度判定部241求出邊緣強度eL是否為閾值EL1以下。同樣地，邊緣強度判定部241求出邊緣強度eR是否為閾值ER1以下(S2)。此處，閾值EL1與閾值ER1可為相同之值，亦可為不同之值。
於邊緣強度eL為閾值EL1以下之情形時，邊緣強度判定部241判定左原圖像之像素為低可靠度之像素。同樣地，於邊緣強度eR為閾值ER1以下之情形時，邊緣強度判定部241判定右原圖像之像素為低可靠度之像素(S3-1)。運算部25對左原圖像中被判定為低可靠度之像素之總數TL1進行計數。同樣地，運算部25對右原圖像中被判定為低可靠度之像素之總數TR1進行計數(S4)。
另一方面，於邊緣強度eL並非為閾值EL1以下之情形時，邊緣強度判定部241判定左原圖像之像素並非低可靠度之像素而是高可靠度之像素。同樣地，於邊緣強度eR並非為閾值ER1以下之情形時，邊緣強度判定部241判定右原圖像之像素並非低可靠度之像素而是高可靠度之像素(S3-2)。將並未判定為低可靠度之像素之像素稱為高可靠度之像素。對第1區域w內之像素中之左原圖像及右原圖像之所有像素反覆執行S2~S4(S5)。
其次，異常判斷部26判定低可靠度之像素之總數TL1是否超過特定值QL1。同樣地，異常判斷部26判定總數TR1是否超過特定值QR1(S6)。特定值QL1、QR1係預先設定。特定值QL1與特定值QR1可為相同之值，亦可為不同之值。異常判斷部26於低可靠度之像素之總數TL1超過特定值QL1之情形時判斷左原圖像為異常(非正常)。同樣地，異常判斷部26於總數TR1超過特定值QR1之情形時判斷右原圖像為異常(非正常)(S7)。異常判斷部26於判斷為至少其中一個原圖像為 異常之情形時，判斷視差圖像亦為異常。上述輸出部54可輸出該意旨之資訊、例如檢測出異常之視差圖像之意旨。又，距離運算部53對於正常之視差圖像與異常之視差圖像之任一者，均使用除低可靠度之像素以外之視差圖像而算出深度距離。於低可靠度之像素之總數TL1未超過特定值QL1、且總數TR1未超過特定值QR1之情形時，執行視差值判定部242之判定。
一面參照圖7一面對視差值判定部之判定方法進行說明。於本實施形態中，將與判定相關之視差圖像之第1區域、第2區域、第3區域設為相同區域w而說明，但並不限制於此，作為另一實施形態，第1區域、第2區域、第3區域亦可為分別不同之區域。
視差值判定部242於視差圖像之第2區域w之像素p(u，v)之視差值d(u，v)不在特定範圍內之情形時，判定該像素p(u，v)為低可靠度。首先，視差值判定部242求出像素p(u，v)之視差值d(u，v)(S11)。視差值係藉由先前之方法而求出。
視差值判定部242求出視差值d(u，v)是否為下限值D1以上且上限值D2以下(S12)。下限值D1、上限值D2係預先設定。於視差值d(u，v)為下限值D1以上且上限值D2以下之情形時，視差值判定部242判定為低可靠度之像素(S13-1)。於判定為低可靠度之像素之情形時，運算部25對該低可靠度之像素之總數T2進行計數(S14)。另一方面，於視差值d(u，v)並非為下限值D1以上且上限值D2以下之情形時，視差值判定部242判定為並非低可靠度之像素而是高可靠度之像素(S13-2)。對第2區域w之全部像素反覆執行S12~S14(S15)。
其次，異常判斷部26判定低可靠度之像素之總數T2是否超過特定值Q2(S16)。特定值Q2係預先設定。異常判斷部26於低可靠度之像素之總數T2超過特定值Q2之情形時判斷視差圖像及至少其中一個原圖像為異常(非正常)(S17)。於判斷為異常之情形時，上述輸出部54可 輸出該意旨之資訊、例如檢測出異常之視差圖像之意旨。又，距離運算部53對於正常之視差圖像與異常之視差圖像之任一者，均使用除低可靠度之像素以外之視差圖像而算出深度距離。於低可靠度之像素之總數T2未超過特定值Q2之情形時，執行視差值差判定部243之判定。
一面參照圖8一面對視差值差判定部之判定方法進行說明。視差值差判定部243例如若於左原圖像基準之視差圖像中設定第3區域w，且使該區域w內之像素pL(u，v)之視差值dL(u，v)=d，則當其與對應於該像素pL(u，v)之右原圖像基準之視差圖像之像素pR(u-d，v)之視差值dR(u-d，v)之差(dL-dR)不在特定範圍內之情形時，將像素pL(u，v)判定為低可靠度。再者，作為另一實施形態，亦可於右原圖像基準之視差圖像中設定第4區域w，且對像素pR(u，v)判定可靠度。於該情形時，與右原圖像基準之視差圖像之視差值dR(u，v)=d對應的左原圖像基準之視差圖像之視差值為dL(u+d，v)，當差(dL-dR)不在特定範圍內之情形時，將像素pR(u，v)判定為低可靠度。此處，第3區域與第4區域可為相同之區域，亦可為分別不同之區域。左原圖像基準之視差圖像與右原圖像基準之視差圖像係由視差圖像製作部52製作。首先，視差值差判定部243求出視差值差(dL-dR)(S21)。
視差值差判定部243求出視差值差(dL-dR)是否為下限值D3以上且上限值D4以下(S22)。下限值D3、上限值D4係預先設定。於視差值差(dL-dR)為下限值D3以上且上限值D4以下之情形時，視差值差判定部243將像素pL(u，v)判定為低可靠度之像素(S23-1)。
一面參照圖9，一面對求出視差值差之一例進行說明。圖9(a)係左原圖像基準之視差圖像之視差值，圖9(b)係右原圖像基準之視差圖像之視差值，選取分別相同之座標。對左原圖像基準之視差圖像與右原圖像基準之視差圖像加以比較。於左原圖像基準之視差圖像之框內，於u座標為18時視差值為4。u座標之差(偏移量)為4，右原圖像基 準之視差圖像之相同的v座標之u座標為14(=18-4)，該u座標14之視差值為9。視差值差為「5(=9-4)」。於D3=0、D4=1之情形時，視差值差「5」超過D4，故判定該座標之像素為低可靠度。
於判定為低可靠度之像素之情形時，運算部25對該低可靠度之像素之總數T3進行計數(S24)。另一方面，於視差值差(dL-dR)並非下限值D3以上且上限值D4以下之情形時，視差值差判定部243判定像素pL(u，v)並非低可靠度之像素而是高可靠度之像素(S23-2)。對第3區域w之全部像素反覆執行S22~S24(S25)。
其次，異常判斷部26判定低可靠度之像素之總數T3是否超過特定值Q3(S26)。特定值Q3係預先設定。於低可靠度之像素之總數T3超過特定值Q3之情形時，異常判斷部26判斷視差圖像及至少其中一個原圖像為異常(非正常)(S27)。於判斷為異常之情形時，上述輸出部54可輸出該意旨之資訊、例如檢測出異常之視差圖像之意旨。又，距離運算部53對於正常之視差圖像與異常之視差圖像之任一者，均使用除低可靠度之像素以外之視差圖像而算出深度距離。於低可靠度之像素之總數T3未超過特定值Q3之情形時，異常判斷部26判斷視差圖像及原圖像並非異常。
(實施形態1之其他構成例)
於上述實施形態1中，邊緣強度判定部241判定邊緣強度是否為閾值以下，但並不限制於此，亦可判定邊緣強度是否處於特定範圍。
於上述實施形態1中，邊緣強度例如亦可作為實施SOBEL濾波器等之邊緣強調手段後之值(亮度值)。圖10中表示對圖4之左原圖像進行邊緣強調後之圖之一例。
於上述實施形態1中，視差值判定部242亦可於視差值d(u，v)為閾值以下之情形時，判定該像素p(u，v)為低可靠度。
於上述實施形態1中，視差值差判定部242亦可於視差值差(dL- dR)為閾值以下之情形時，判定為低可靠度之像素。
於上述實施形態1中，邊緣強度判定部241並行進行對左原圖像與右原圖像之處理(S1~S7)，但並不限制於此，亦可在對其中一個原圖像進行處理之後，執行對另一個原圖像之處理。
於上述實施形態1中，以邊緣強度判定部241、視差值判定部242、視差值差判定部243之處理順序執行，但並不限制於此，亦可為邊緣強度判定部241、視差值差判定部243、視差值判定部242之處理順序。
於上述實施形態1中，異常圖像檢測裝置2亦可為未搭載於車輛1之構成，於該情形時，圖像處理系統5與異常圖像檢測裝置2係經由網路而連接。又，圖像處理系統5亦可為未搭載於車輛1之構成。於該情形時，將搭載於車輛1之攝像部51之攝影圖像經由網路而發送至圖像處理系統5。
於上述實施形態1中，視差圖像製作部52亦可根據對由左圖像感測器511、右圖像感測器512所拍攝之圖像實施各種修正後之圖像而製作視差圖像。於該情形時，圖像處理系統5具有對各圖像進行各種修正處理之圖像修正部(未圖示)。將經圖像修正部修正之各圖像輸出至視差圖像製作部52。作為圖像之修正處理，可舉出例如對由於鏡頭之口徑色等而導致的複數個圖像感測器間之亮度不均進行修正之亮度修正處理、或對各圖像感測器之鏡頭之畸變進行修正之畸變像差修正處理、或對所拍攝之圖像之邊緣進行強調之邊緣強調處理。作為圖像修正，實施該等圖像處理之至少1種。藉由實施對左、右圖像感測器511、512間之亮度進行修正之處理、或對鏡頭畸變進行修正之處理、或對邊緣進行強調之處理中之至少1種處理作為圖像修正，可使起因於左、右圖像感測器511、512之固有特性之圖像之特性平均化。藉由降低左、右圖像感測器511、512之個體差異，可提高以所拍攝之各圖 像為基礎而製作之視差圖像之精度，從而可精度良好地檢測視差不連續部分。
上述實施形態1進而具有指標運算部，該指標運算部算出視差圖像之特定區域(像素)之視差值之標準偏差(分散)之指標，異常判斷部於由指標運算部所算出之指標不在特定範圍內之情形(或超過上限閾值之情形)時，判斷上述視差圖像為異常。根據該構成，藉由判定視差值之不均較大而可判斷原圖像為異常。此處，「視差圖像之特定區域」可舉出例如全像素區域、全像素區域中除端區域以外之中心區域等。關於端區域，因複數個攝像部之攝像區互不相同，故較佳為預先除外。又，「視差圖像之特定區域」可為與上述之「視差圖像之第1區域」、「視差圖像之第2區域」、「視差圖像之第3區域」中之任一者相同之區域，亦可為不同之區域。
又，上述之「視差圖像之第1區域」、「視差圖像之第2區域」、「視差圖像之第3區域」係自全區域除去端區域後之中心側區域，但並不限制於此，亦可為全區域。
上述實施形態1進而具有：像素值差計算部，其對於原圖像中之至少2個原圖像之特定區域，計算原圖像中相同座標之像素之像素值(亮度值)之差；及指標計算部，其計算選自由像素值差計算部求出之上述像素值之差之合計、平均、最大值、最小值及標準偏差中之1個或1個以上的指標；異常判斷部於上述指標不在特定範圍內之情形(或超過上限閾值之情形)時，判斷上述2個原圖像中之至少一個原圖像為異常。根據該構成，藉由判定亮度值之差較大而可判斷原圖像為異常。此處，「原圖像之特定區域」可舉出例如全像素區域、全像素區域中除端區域以外之中心區域等。
上述實施形態1之車輛1係於攝像部之攝像方向前方設置有前窗之構成，但並不限制於此，例如攝像部亦可設置於車輛之前部。
於上述實施形態1中，距離運算部53係對於正常之視差圖像與異常之視差圖像之任一者，均使用除低可靠度之像素以外之視差圖像而算出深度距離，但並不限制於此，亦可為以下之構成。距離運算部亦可基於除被檢測出異常之視差圖像以外之視差圖像而算出深度距離。又，距離運算部於使用被檢測出異常之視差圖像而算出深度距離之情形時，亦可使用除低可靠度之像素以外之視差圖像。
(實施形態2)
實施形態2之異常圖像檢測裝置2係作為與圖像處理系統5不同之裝置而構成。圖15所示之異常圖像檢測裝置2係進而具有以下部分之構成，即，通訊部21(相當於取得部)，其自外部裝置接收左原圖像、右原圖像及視差圖像；及記憶部22，其保存由通訊部21接收之右原圖像、左原圖像及視差圖像。通訊部21具有將與判斷為異常之原圖像及視差圖像相關之資訊發送至上述外部裝置或其他裝置之功能。通訊部21例如將原圖像及視差圖像之識別資訊發送至上述外部裝置或其他裝置。外部裝置可為圖像處理系統5，亦可為與異常圖像檢測裝置2經由網路而連接之伺服器或資訊處理裝置。
[實施例]
使用附著有污物之狀態與非此狀態下之視差圖像，進行上述實施形態1之可靠度判定、及上述專利文獻1中之使用視差分佈之可靠度判定。圖11(a)中表示未附著污物之左原圖像，圖11(b)中表示右原圖像，將其視差圖像示於圖12。附著有污物之視差圖像為圖5。圖13中表示圖12之視差圖像之視差分佈，圖14中表示圖5之視差圖像之視差分佈。視差分佈圖中，橫軸表示視差值，縱軸表示其頻度。
於上述實施形態1中，可將附著有污物之左原圖像判斷為異常。另一方面，於上述專利文獻1之使用視差分佈之判定中，附著有污物之情形時之視差分佈相對於未附著污物時之視差分佈為某些視差之頻 度變小之程度。因此，專利文獻1之判斷方法難以準確地判斷為異常圖像。
(其他實施形態)
另一實施形態之異常圖像檢測裝置係：
檢測基於由複數個攝像部獲得之複數個原圖像而製作之視差圖像及該原圖像中之至少1個原圖像是否為異常，且具有：指標運算部，其算出上述視差圖像之特定區域(像素)之視差值之標準偏差(分散)之指標；及異常判斷部，其於由上述指標運算部算出之指標不在特定範圍內之情形(或超過上限閾值之情形)時，判斷上述視差圖像為異常。根據該構成，藉由判定視差值之不均較大而可判斷原圖像為異常。又，異常圖像檢測裝置亦可進而具有上述實施形態1或2之異常圖像檢測裝置2之構成要素及其功能。
又一實施形態之異常圖像檢測裝置係：
檢測基於由複數個攝像部獲得之複數個原圖像而製作之視差圖像及該原圖像中之至少1個原圖像是否為異常，具有：像素值差計算部，其對於上述原圖像中之至少2個原圖像之特定區域，計算原圖像中相同座標之像素之像素值(亮度值)之差；指標計算部，其計算選自由上述像素值差計算部所求出之上述像素值之差之合計、平均、最大值、最小值及標準偏差中之1個或1個以上的指標；及異常判斷部，其於上述指標不在特定範圍內之情形(或超過上限閾值之情形)，判斷上述2個原圖像中之至少一個原圖像為異常。根據該構成，藉由判定亮度值之差較大而可判斷原圖像為異常。又，異常圖像檢測裝置亦可進而具有上述實施形態1或2之異常圖像檢測裝置2之構成要素及其功能。
再者，本案發明之「閾值」亦可為預先規定之固定值或基於環境狀態或行駛狀態等而對固定值修正後之修正值。
再者，關於本案發明之「特定範圍內」，於將特定之值設為A,將特定之值設為B，且A小於B之情形時，包含以下所有條件。大於A且小於B之情形、大於A且小於或等於B之情形、大於或等於A且小於或等於B之情形、或者大於或等於A且小於B之情形。
再者，本案發明之車輛並不限定於高爾夫球車。車輛並不受車輪之數量之限定。車輛亦可為跨坐型車輛。跨坐型車輛包含除速克達以外之形式之機車。又，跨坐型車輛亦可為ATV(All Terrain Vehicle，全地形車)等機車以外之車輛。再者，跨坐型車輛係指騎乘者跨開乘坐之車輛。
2‧‧‧異常圖像檢測裝置
24‧‧‧可靠度判定部
25‧‧‧運算部
26‧‧‧異常判斷部
241‧‧‧邊緣強度判定部
242‧‧‧視差值判定部
243‧‧‧視差值差判定部

Claims (10)

  1. 一種異常圖像檢測裝置，其係檢測自複數個攝像部獲得且用於視差圖像之製作之複數個原圖像中之至少1個原圖像為異常者，且具有：可靠度判定部，其判定上述視差圖像之像素是否為低可靠度；運算部，其算出由上述可靠度判定部判定之低可靠度之像素之總數；及異常判斷部，其於由上述運算部算出之低可靠度之像素之總數超過特定值之情形時，判斷上述視差圖像為異常；上述可靠度判定部具有邊緣強度判定部，該邊緣強度判定部係於上述原圖像之各像素之邊緣強度至少小於閾值或等於閾值之情形時，將基於該像素製作之視差圖像中之像素判定為低可靠度之像素。
  2. 如請求項1之異常圖像檢測裝置，其中上述可靠度判定部具有視差值判定部，該視差值判定部係於上述視差圖像各像素之視差值不在特定範圍內之情形時，判定該像素為低可靠度。
  3. 如請求項1或2之異常圖像檢測裝置，其中上述視差圖像至少包含：以上述複數個原圖像中之第1原圖像(A)為基準而製作之第1視差圖像(Ab)、及以上述複數個原圖像中之第2原圖像(B)為基準而製作之第2視差圖像(Ba)，上述可靠度判定部具有視差值差判定部，該視差值差判定部係於上述第1視差圖像(Ab)之第1像素(pA)之第1視差值(d1)、與對應於該第1像素(pA)之上述第2視差圖像(Ba)之第2像素(pB)之 第2視差值(d2)之差(d1-d2)不在特定範圍內之情形時，判定該第1像素(pA)為低可靠度。
  4. 如請求項1之異常圖像檢測裝置，其進而具有：指標運算部，其算出視差圖像之特定區域之視差值之標準偏差及/或分散之指標；上述異常判斷部係：在由上述指標運算部所算出之上述指標不在特定範圍內或超過上限閾值之情形時，判斷上述視差圖像為異常。
  5. 如請求項1之異常圖像檢測裝置，其進而具有：像素值差計算部，其在上述複數個原圖像中之至少2個原圖像之特定區域中，計算該等原圖像中相同座標之像素之像素值之差；及指標計算部，其計算自由上述像素值差計算部求出之上述像素值之差之合計、平均、最大值、最小值及標準偏差中選擇之1個或1個以上的指標；上述異常判斷部係：於上述指標不在特定範圍內或超過上限閾值之情形時，判斷上述2個原圖像中之至少一個原圖像為異常。
  6. 一種圖像處理系統，其具有：複數個攝像部；視差圖像製作部，其基於自該攝像部獲得之複數個原圖像而製作視差圖像；及距離運算部，其基於由該視差圖像製作部製作之視差圖像而算出深度距離；且該圖像處理系統具備：如請求項1至5中任一項之異常圖像檢測裝置；及輸出部，其於上述異常圖像檢測裝置檢測出原圖像之異常之情形時，輸出異常資訊。
  7. 如請求項6之圖像處理系統，其中上述距離運算部係基於被檢測 出異常之視差圖像以外之視差圖像而算出深度距離。
  8. 如請求項6之圖像處理系統，其中上述距離運算部係於由上述視差圖像製作部製作之視差圖像中，基於除去了低可靠度之像素之視差圖像而算出深度距離。
  9. 一種車輛，其搭載如請求項6至8中任一項之圖像處理系統。
  10. 如請求項9之車輛，其中上述車輛係於攝像部之攝像方向前方具備前窗，且上述前窗上不具備刮刷器。
TW105123796A 2015-07-29 2016-07-27 異常圖像檢測裝置、包含異常圖像檢測裝置之圖像處理系統及搭載圖像處理系統之車輛 TWI613905B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015149524 2015-07-29
JP2015157183A JP6690904B2 (ja) 2015-08-07 2015-08-07 自動走行車両
JP2015175792A JP6651313B2 (ja) 2015-09-07 2015-09-07 自動走行車両及びこれを含む自動走行システム
JP2016043199 2016-03-07
JP2016127534A JP6657034B2 (ja) 2015-07-29 2016-06-28 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両

Publications (2)

Publication Number Publication Date
TW201717616A TW201717616A (zh) 2017-05-16
TWI613905B true TWI613905B (zh) 2018-02-01

Family

ID=56990207

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105123796A TWI613905B (zh) 2015-07-29 2016-07-27 異常圖像檢測裝置、包含異常圖像檢測裝置之圖像處理系統及搭載圖像處理系統之車輛

Country Status (5)

Country Link
US (1) US10043262B2 (zh)
EP (1) EP3125197A1 (zh)
KR (1) KR101832189B1 (zh)
CN (2) CN110458155B (zh)
TW (1) TWI613905B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610282B2 (en) 2020-06-09 2023-03-21 Axis Ab Aligning digital images

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
US11400860B2 (en) * 2016-10-06 2022-08-02 SMR Patents S.à.r.l. CMS systems and processing methods for vehicles
JP6889059B2 (ja) * 2017-07-19 2021-06-18 株式会社東芝 情報処理装置、情報処理方法及びコンピュータプログラム
JP6859907B2 (ja) 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
TWI637350B (zh) * 2018-01-09 2018-10-01 緯創資通股份有限公司 產生視差圖的方法及其影像處理裝置與系統
CN111868784B (zh) * 2018-03-22 2023-09-01 日立安斯泰莫株式会社 车载立体摄像机
US20190347786A1 (en) * 2018-05-08 2019-11-14 Pixart Imaging Inc. Method, apparatus, and electronic device having living body detection capability
CN108762260A (zh) * 2018-05-16 2018-11-06 南京理工大学 基于差分gps的履带式自主导航机器人及其导航方法
JP7064400B2 (ja) * 2018-07-19 2022-05-10 日立Astemo株式会社 物体検知装置
JP7234614B2 (ja) * 2018-12-10 2023-03-08 トヨタ自動車株式会社 異常検出装置、異常検出システム及び異常検出プログラム
JP7211169B2 (ja) * 2019-03-07 2023-01-24 コニカミノルタ株式会社 画像検査装置、および画像形成システム
US11182623B2 (en) * 2019-04-30 2021-11-23 Baidu Usa Llc Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles
JP7173062B2 (ja) * 2020-01-23 2022-11-16 トヨタ自動車株式会社 変化点検出装置及び地図情報配信システム
CN111476194B (zh) * 2020-04-20 2024-02-27 海信集团有限公司 一种感知模组工作状态检测方法及冰箱
TWI756723B (zh) * 2020-06-29 2022-03-01 大陸商北京集創北方科技股份有限公司 用於摺疊式觸控顯示裝置之疊屏誤觸識別方法、摺疊式觸控顯示裝置及資訊處理裝置
CN111818330A (zh) * 2020-07-02 2020-10-23 浙江大华技术股份有限公司 图像异常检测方法及装置、存储介质、电子装置
CN112116644B (zh) * 2020-08-28 2023-05-23 辽宁石油化工大学 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN118379436B (zh) * 2024-06-21 2024-08-16 云士康（深圳）智能科技有限公司 三维虚拟场景的生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187308A1 (en) * 2008-01-18 2009-07-23 Noboru Morimitsu Vehicle Surroundings Monitoring Apparatus
TW201107913A (en) * 2009-08-20 2011-03-01 Nat Univ Tsing Hua Automatic searching system and method
CN102646343A (zh) * 2011-02-16 2012-08-22 富士重工业株式会社 车辆检测装置
EP2670147A2 (en) * 2012-05-28 2013-12-04 Ricoh Company, Ltd. Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3355354B2 (ja) 1993-10-12 2002-12-09 ヤマハ発動機株式会社 軌道走行車両における定点情報判別装置
TW375583B (en) 1996-02-28 1999-12-01 Nat Science Council Development of an intelligent automotive steering system cooperative copilot
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
JP4925498B2 (ja) * 2000-07-12 2012-04-25 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
JP4953498B2 (ja) * 2000-07-12 2012-06-13 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
TWM335688U (en) 2008-01-03 2008-07-01 Univ Kao Yuan Route positioning navigation system for unmanned ground vehicle
US8494251B2 (en) * 2008-01-11 2013-07-23 Sri International System and method for measuring image quality
JP2009271608A (ja) 2008-04-30 2009-11-19 Murata Mach Ltd 走行車及び走行車システム
KR101214474B1 (ko) * 2009-09-15 2012-12-24 한국전자통신연구원 네비게이션 장치 및 이를 이용한 주행 경로 정보 제공 방법, 자동 주행 시스템 및 그 방법
CN102666185B (zh) 2009-11-19 2014-10-15 株式会社冈村制作所 物品搬运装置
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP5420076B2 (ja) * 2010-06-30 2014-02-19 富士フイルム株式会社 再生装置、複眼撮像装置、再生方法及びプログラム
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
SG182880A1 (en) * 2011-02-01 2012-08-30 Univ Singapore A method and system for interaction with micro-objects
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
TWI426241B (zh) 2011-05-16 2014-02-11 Nat Univ Chung Hsing Self - propelled device for the tracking system
CN103874960B (zh) * 2011-09-13 2017-02-15 富士胶片株式会社 单眼立体摄影装置、摄影方法及程序
CN103946907A (zh) * 2011-11-25 2014-07-23 本田技研工业株式会社 车辆周围监视装置
TWI455073B (zh) 2011-12-14 2014-10-01 Ind Tech Res Inst 車用特定路況警示裝置、系統與方法
JP5948983B2 (ja) * 2012-03-09 2016-07-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
EP2846531A4 (en) * 2012-05-01 2015-12-02 Central Engineering Co Ltd STEREO CAMERA AND STEREO CAMERA SYSTEM
KR20150038008A (ko) * 2012-07-13 2015-04-08 램 스리칸쓰 밀래이 카메라용 가변형 3차원 어댑터 어셈블리
CN104641625B (zh) * 2012-09-19 2018-05-11 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN103092202B (zh) 2012-12-31 2015-07-08 浙江国自机器人技术有限公司 一种机器人轨道定位方法及系统
JP6072892B2 (ja) * 2013-02-27 2017-02-01 日立オートモティブシステムズ株式会社 撮像装置及び車両制御装置
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
KR101319526B1 (ko) 2013-03-26 2013-10-21 고려대학교 산학협력단 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
JP6121776B2 (ja) * 2013-03-29 2017-04-26 ソニー株式会社 画像処理装置及び画像処理方法
TW201444543A (zh) 2013-05-21 2014-12-01 Univ Nat Chiao Tung 自主式行動車
KR101463464B1 (ko) 2013-06-03 2014-11-21 국방과학연구소 주행가능영역 추정장치 및 이를 포함하는 이동체와 주행가능영역 추정방법
JP6110256B2 (ja) * 2013-08-21 2017-04-05 株式会社日本自動車部品総合研究所 対象物推定装置および対象物推定方法
TWI535589B (zh) 2013-09-24 2016-06-01 Active automatic driving assistance system and method
CN104574342B (zh) * 2013-10-14 2017-06-23 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置
JP6248533B2 (ja) * 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
TWI570424B (zh) 2013-11-27 2017-02-11 財團法人資訊工業策進會 定位方法及其電子裝置
JP6261361B2 (ja) 2014-02-04 2018-01-17 キヤノン株式会社 固体撮像装置およびカメラ
JP6247122B2 (ja) 2014-03-17 2017-12-13 セイコーインスツル株式会社 電子デバイス
KR101565007B1 (ko) * 2014-05-30 2015-11-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US10018574B2 (en) * 2014-07-14 2018-07-10 Nova Measuring Instruments Ltd. Optical method and system for defects detection in three-dimensional structures
JP2016043199A (ja) 2014-08-26 2016-04-04 ネット株式会社 遊技機
EP3002550B1 (en) * 2014-10-03 2017-08-30 Ricoh Company, Ltd. Information processing system and information processing method for distance measurement
US10810715B2 (en) * 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US20160137125A1 (en) * 2014-11-17 2016-05-19 Caterpillar Inc. Imaging system using virtual projection geometry
EP3249902A4 (en) * 2015-01-20 2018-08-22 Hitachi Automotive Systems, Ltd. On-vehicle camera device
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
JP2015157183A (ja) 2015-06-10 2015-09-03 株式会社三洋物産 遊技機
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
US9565363B1 (en) * 2015-08-10 2017-02-07 X Development Llc Stabilization of captured images for teleoperated walking biped robots
US9989965B2 (en) * 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
KR102065477B1 (ko) * 2015-09-30 2020-01-13 가부시키가이샤 고마쓰 세이사쿠쇼 촬상 장치
US10011228B2 (en) * 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US10127459B2 (en) * 2015-12-17 2018-11-13 Ford Global Technologies, Llc Trailer type identification system
US9827818B2 (en) * 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US10155478B2 (en) * 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187308A1 (en) * 2008-01-18 2009-07-23 Noboru Morimitsu Vehicle Surroundings Monitoring Apparatus
TW201107913A (en) * 2009-08-20 2011-03-01 Nat Univ Tsing Hua Automatic searching system and method
CN102646343A (zh) * 2011-02-16 2012-08-22 富士重工业株式会社 车辆检测装置
EP2670147A2 (en) * 2012-05-28 2013-12-04 Ricoh Company, Ltd. Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610282B2 (en) 2020-06-09 2023-03-21 Axis Ab Aligning digital images
TWI800835B (zh) * 2020-06-09 2023-05-01 瑞典商安訊士有限公司 用於對準數位影像之電腦實施方法、數位相機及非暫時性電腦可讀儲存媒體

Also Published As

Publication number Publication date
CN110458155A (zh) 2019-11-15
CN106412551A (zh) 2017-02-15
TW201717616A (zh) 2017-05-16
KR101832189B1 (ko) 2018-02-26
CN110458155B (zh) 2023-04-07
US20170032517A1 (en) 2017-02-02
CN106412551B (zh) 2019-10-25
US10043262B2 (en) 2018-08-07
EP3125197A1 (en) 2017-02-01
KR20170015154A (ko) 2017-02-08

Similar Documents

Publication Publication Date Title
TWI613905B (zh) 異常圖像檢測裝置、包含異常圖像檢測裝置之圖像處理系統及搭載圖像處理系統之車輛
KR101839813B1 (ko) 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
JP6657034B2 (ja) 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
US8244027B2 (en) Vehicle environment recognition system
US8077199B2 (en) Target position identifying apparatus
KR102263725B1 (ko) 주행 정보 제공 장치 및 주행 정보 제공 방법
US10099615B2 (en) All-round view monitoring system for a motor vehicle
CN104854637A (zh) 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
US20160012283A1 (en) Stereoscopic Camera Apparatus
TWI530409B (zh) 自動追蹤防撞警示系統及其方法
KR20170111504A (ko) Avm 시스템 어라운드 영상 정합성 평가방법 및 장치
JP2012105090A (ja) 駐車支援装置
JP5955404B2 (ja) 距離測定装置及びそれを用いた車両
JPWO2014054752A1 (ja) 画像処理装置及び車両前方監視装置
US20200193184A1 (en) Image processing device and image processing method
US20120128211A1 (en) Distance calculation device for vehicle
JP2001111989A (ja) 車載用撮像装置
JP6204844B2 (ja) 車両のステレオカメラシステム
CN114872790B (zh) 基于视觉的拖挂车的转向夹角的检测方法及检测系统
JP5166111B2 (ja) 車両周辺監視装置
KR101774603B1 (ko) 차량의 카메라 노출 제어 방법 및 이러한 방법을 사용하는 장치
JP6981881B2 (ja) カメラずれ検出装置およびカメラずれ検出方法
CN113170057A (zh) 摄像部控制装置
JP2007030753A (ja) 障害物表示システム、及び障害物表示方法
KR101317839B1 (ko) 이미지 객체 검출 장치 및 그 방법