TW201835850A - 影像處理裝置及半導體裝置 - Google Patents

影像處理裝置及半導體裝置 Download PDF

Info

Publication number
TW201835850A
TW201835850A TW106143436A TW106143436A TW201835850A TW 201835850 A TW201835850 A TW 201835850A TW 106143436 A TW106143436 A TW 106143436A TW 106143436 A TW106143436 A TW 106143436A TW 201835850 A TW201835850 A TW 201835850A
Authority
TW
Taiwan
Prior art keywords
circuit
hash
picture
hash value
memory
Prior art date
Application number
TW106143436A
Other languages
English (en)
Inventor
加谷俊之
望月誠二
松原勝重
橋本亮司
今岡連
Original Assignee
日商瑞薩電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商瑞薩電子股份有限公司 filed Critical 日商瑞薩電子股份有限公司
Publication of TW201835850A publication Critical patent/TW201835850A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G09G3/2037—Display of intermediate tones by time modulation using two or more time intervals using sub-frames with specific control of sub-frames corresponding to the least significant bits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32283—Hashing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Abstract

本發明之目的在於能夠在具有相機或其圖像傳遞途徑(相機輸入)之系統中進行相機輸入之故障偵測。本發明之影像處理裝置包含雜湊導出電路，其具有：運算器，計算輸入畫面之雜湊值；以及記憶電路，記憶前述雜湊值。影像處理裝置藉由在多數影格間比較前述雜湊而判斷畫面在變化中或停止中，於停止中之情形則偵測為故障。

Description

影像處理裝置及半導體裝置
本揭示係關於影像處理裝置，可應用於例如將相機影像加以輸入之影像處理裝置。
在車輛的先進駕駛支援系統(ADAS：Advanced Driver Assistance System)，已有人研究、開發一種系統，由自相機輸入的影像而於車輛行駛中探測歩行者或障礙物等，而支援駕駛者的駕駛。又，此種技術在實現自動駕駛亦係必要。 [先前技術文獻] [專利文獻]
專利文獻1：日本特開2001-36927號公報
(發明所欲解決之問題)
例如，在前述系統等具有相機或相機圖像傳遞之途徑(以下稱為相機輸入。)之裝置或系統中，進行相機輸入之故障偵測係極為重要的功能，並係所欲解決的問題。 其它所欲解決的問題與新穎特徵當自本說明書之敘述及附加圖式可明瞭。 (解決問題之技術手段)
本揭示之中，若簡單地說明代表性發明之概要，則如下所述。 亦即，影像處理裝置尋求多數之輸入畫面的雜湊值，或求取多數之輸入畫面的直方圖資料，而進行故障偵測。 (發明之功效)
依據上述半導體裝置，能夠偵測相機輸入之故障。
(實施發明之較佳形態)
以下使用圖式來說明實施形態及實施例。其中，以下說明有時在同一構成元件標註同一元件符號並省略重複說明。
圖1係顯示實施形態之ADAS系統的構成之方塊圖。ADAS系統1包含：相機裝置2；影像處理裝置3；第一表示裝置4；網路5；圖像、資訊處理裝置6；及第二表示裝置7。使影像處理裝置3對於自相機裝置2輸入的圖像進行處理，並圖像表示於第一表示裝置4且將圖像信號輸出至網路5。在網路5後層的圖像、資訊處理裝置6中，將傳送的圖像信號直接或與來自其它感測器的資訊整合而表示於第二表示裝置7。
在網路5後層的圖像、資訊處理裝置6中，進行例如將傳送的編碼圖像信號加以解碼並表示，或再與來自其它感測器的資訊整合而進行圖像加工。
圖2係顯示圖1之影像處理裝置的構成之方塊圖。圖2中係著眼於例示功能方塊，而省略控制用的CPU或其主記憶裝置等。影像處理裝置3包含：圖像信號處理電路31；表示處理電路32；影片編碼電路33；及網路傳送電路34。圖像信號處理電路31包含：相機信號處理電路311；影像辨識電路312；及圖形處理電路313。影像處理裝置3的功能係各式各樣，例如進行自車外圖像進行白線探測或障礙物探測而將資訊重疊在圖像並加以表示之類的。將自相機裝置2輸入的信號以相機信號處理電路311進行圖像信號化，並以影像辨識電路312及圖形處理電路313進行各式各樣的探測處理及圖像重疊等，以表示處理電路32輸出至第一表示裝置4。又，為了網路傳送之資料量削減，亦進行將圖像加以編碼並輸出。將圖形處理電路313的輸出影像以影片編碼電路33加以編碼、壓縮，網路傳送電路34往網路5輸出。
在此種系統中，能進行相機輸入之故障偵測係極為重要的功能。
相機輸入的故障可思及各種類型，就其代表性的一者而言，為畫面定格。意即如下的故障：由於物理性或系統性的某種要因，相同畫面持續多數影格期間，呈現為畫面停止中。圖3係畫面定格之概略圖，上顯示正常狀態，下顯示異常狀態(畫面定格狀態)。在正常狀態下畫面G0～G6中畫面進行變化。但是，在異常狀態下畫面G0～G2中畫面進行變化，但畫面G3～G6中畫面變成相同，成為畫面定格狀態。
在實施形態中，提供一種以簡便的手法偵測此畫面定格故障之構成及方法。亦即，在實施形態中，求取多數之輸入畫面的雜湊值，或求取多數之輸入畫面的直方圖資料，而進行故障偵測。例如，將多數畫面份量之雜湊值加以導出、保存，並在多數圖片間加以比較，而能偵測如畫面停止的故障。藉此，相機故障為黒畫面或固定色的一樣畫面以外之故障模式，亦能加以偵測。藉由在處理相機圖像並表示或編碼之前偵測故障，而能偵測出在相機裝置及圖像傳遞途徑的任一者產生的故障。
使用實施例及變形例來說明實施形態的一例。另，實施例等構成係用於說明實施形態的一例，亦可係不同的構成。 [實施例]
在實施例中利用圖2所示的影像處理裝置內之影片編碼電路及其控制程式進行定格故障偵測。
圖4係顯示著眼於影片編碼電路的影像處理裝置之構成。影像處理裝置3包含：圖像信號處理電路31；影片編碼電路33；網路傳送電路34；CPU35；記憶體36；CPU匯流排37；及記憶體匯流排38。圖2的相機信號處理電路311、影像辨識電路312、圖形處理電路313總括顯示為圖像信號處理電路31，並省略表示處理電路32。且將圖2省略的CPU35與記憶體36加以顯示。自相機裝置2輸入的信號在圖像信號處理電路31處理後，往影片編碼電路33輸入並編碼、壓縮，並往網路傳送電路34輸入而往網路5輸出。各電路之間的資料傳輸係經由記憶體匯流排38及記憶體36而進行。在CPU35動作的程式儲存於記憶體36，CPU35經由CPU匯流排37而控制各電路。影像處理裝置3係以一個或多數之半導體晶片構成的半導體裝置。例如，圖像信號處理電路31、表示處理電路32、影片編碼電路33、網路傳送電路34、CPU35、CPU匯流排37、及記憶體匯流排38係以一個半導體晶片構成，記憶體36係以1個或多數之SDRAM等半導體記憶體晶片構成。影像處理裝置3亦可係將一個或多數之半導體晶片封裝於一個封裝體而構成。
圖5係顯示故障偵測之概要。定格偵測處理係藉由影片編碼電路33具備的電路與在CPU35上動作的影片編碼電路33之控制程式而實現。以下例示將輸入畫面的畫面G0至畫面G4依序逐次輸入至影片編碼電路33，其中畫面G3與畫面G4定格中的狀態。在影片編碼電路33中，導出輸入畫面的每一影格之雜湊值。在此，H0～H4分別係畫面G0～G4之雜湊值。CPU35上的程式對於每一影格讀出所導出的雜湊值，並在前後2影格份量進行雜湊值之比較。在前後2影格有雜湊值變化時視為輸入畫面有變化，判定為正常。另一方面，在前後2影格為雜湊值係同一時視為輸入畫面無變化，判定為定格故障。在圖5中H0～H3進行變化，但H3與H4係為同一，而偵測到定格故障。
在此，雜湊值之特徵在於：能依存於輸入資料而算出的位元列，自同一輸入資料獲得同一值，自不同輸入則獲得不同值。一般而言存在有各種雜湊函數。已知有例如公開為IETF RFC1321(參考文獻1)的MD5(Message Digest 5，訊息摘要)、IETF RFC3174(參考文獻2)、或SHA-1等。在本實施例使用的雜湊運算法不受限定。又，亦可使用循環冗餘校驗(CRC：Cyclic Redundancy Check)等錯誤偵測碼。 [參考文獻1]R. Rivest,“The MD5 Message-Digest Algorithm”, April 1992, Network Working Group Request for Comments: 1321, [2016年9月5日閱覽]，網際網路(URL：https://tools.ietf.org/html/rfc1321) [參考文獻2]D. Eastlake, 3rd et.al.,“US Secure Hash Algorithm 1 (SHA1)”, September 2001, Network Working Group Request for Comments: 3174Category: Informational, [2016年9月5日閱覽]，網際網路(URL：https://tools.ietf.org/html/rfc3174) 圖6係在CPU上的程式進行的故障判定之流程圖。故障偵測電路即CPU35將編碼完畢的上個畫面之雜湊值與編碼中的目前畫面之湊值加以比較，於係同一時判定為偵測到定格故障，並進行偵測到故障時之處理。另，偵測到故障時之處理可考慮例如不發送該畫面並回到下一畫面之處理或利用警報鈴通知之處理等。以下說明各步驟。
步驟S1：CPU35如下述地進行變數之初始化。
畫面編號：n=0 上個畫面雜湊保存變數：PrevHashVar=0 目前畫面雜湊保存變數：CurrHashVar=0 步驟S2：CPU35藉由指示控制電路331而使影片編碼電路33開始進行影片編碼(StartVideoEncode(畫面Gn))。
步驟S3：CPU35探測來自影片編碼電路33的影片編碼完畢(DetectVideoEncodeEnd(畫面Gn))。另，控制電路331輸出顯示影片編碼完畢之信號、設置旗標、或輸出中斷要求。
步驟S4：CPU35將上個畫面G(n-1)之雜湊值退位至CPU內的暫存器(PrevHashVar=CurrHashVar)。
步驟S5：CPU35自影片編碼電路33讀出編碼完畢畫面Gn之雜湊值(CurrHashVar=Read(Hash Gn))。在此，編碼完畢畫面Gn之雜湊值係編碼已完畢的畫面Gn之輸入畫面之雜湊值。
步驟S6：CPU35判斷是否為開頭畫面(n==0?)。否之情形移至步驟S7，是之情形移至步驟S8。
步驟S7：CPU35判斷目前畫面之雜湊值是否與上個畫面之雜湊值相同(PrevHashVar==CurrHashVar?)。否(變化)之情形移至步驟S8，是(同一)之情形移至步驟S9。
步驟S8：CPU35更新畫面編號(n++)，回到步驟S2。
步驟S9：CPU35偵測為定格故障。
步驟SA：CPU35進行偵測到故障時之處理。
其次說明在影片編碼電路進行的影片編碼。圖7係顯示將畫面影格分割成大區塊的模樣。圖8係顯示影片編碼之中的畫面內預測與畫面間預測之概要。圖9係顯示內部預測畫面(I-picture)、前向預測畫面(P-picture)、雙向預測畫面(B-picture)之時間性編碼的模樣。
在影片編碼電路進行的影片編碼係MPEG、H.264，H.265等規格所知的影片壓縮處理。本實施形態於任一規格均能應用，但在本實施例中便宜上就H.264進行說明。主要以將畫面分割棋盤格狀的矩形區塊單位依序逐次進行處理。就單位區塊而言，雖依規格而稱為各種名稱，但在此稱為「大區塊」。如圖7所示，自畫面左上往右下依水平掃描順序處理大區塊。畫面為YCbCr4：2：0格式時，一個大區塊係由16×16像素的明度Y與8×8像素的色差Cb、8×8像素的色差Cr共3個色差成分(component)之組合構成。
在影片編碼中使用畫面內預測、畫面間預測之類的技術。如圖8所示，影片編碼中具有3種類型的編碼模式。在內部預測畫面編碼中，係進行：畫面內預測，自同一畫面內的已編碼位置之大區塊預測編碼對象的大區塊。在前向預測畫面編碼中，係進行：畫面間預測，自已編碼的其它畫面預測編碼對象的大區塊。在雙向預測畫面編碼中，係自已編碼的2個畫面進行畫面間預測。在此，簡單而言「預測」係指尋找並決定與編碼對象之大區塊相似的畫面，藉由與該預測畫面取得差異而能提昇壓縮率。在畫面間預測使用於預測的已編碼之其它畫面稱為「參照畫面」。另，在前向預測畫面、雙向預測畫面中亦使用畫面內預測。
如圖9所示，關於期間4的前向預測畫面即P4，係自參照畫面即期間2的前向預測畫面P2進行畫面預測。關於期間5的雙向預測畫面即B3，則係自P2與P4共2個參照畫面進行畫面預測。同樣地，關於期間(2n)的前向預測畫面即P(2n)，則係自參照畫面即期間(2n-2)的前向預測畫面P(2n-2)進行畫面預測。關於期間(2n+1)的雙向預測畫面即(2n-1)，則係自P(2n-2)與P(2n)共2個參照畫面進行畫面預測。
其次，使用圖10來說明影片編碼電路之構成。圖10係顯示圖4之影片編碼電路的構成之方塊圖。影片編碼電路33包含：控制電路331；記憶體介面電路332；畫面預測電路333；畫面編碼電路334；熵編碼電路335；局部畫面解碼電路336；及雜湊導出電路33F。
控制電路331利用與CPU匯流排37的介面而進行與CPU35之通信，並進行影片編碼電路33的各電路之控制。記憶體介面電路332利用與記憶體匯流排38的介面而進行與影片編碼電路33外部的記憶體36之資料輸入輸出。畫面預測電路333自輸入畫面與參照畫面(時間上而言為過去的局部解碼畫面，關於局部解碼畫面將後述)進行畫面內預測或畫面間預測。在畫面編碼電路334中進行與預測畫面之差異計算、往頻率空間之轉換、量子化等而導出資料量壓縮後的係數列。在熵編碼電路335中將來自畫面編碼電路334的係數列使用可變長度編碼或算術編碼等技術而產生編碼位元列。編碼位元列係影片編碼電路33的輸出，保存於記憶體36。另一方面，在局部畫面解碼電路336進行畫面編碼電路334的反向轉換，進行畫面的解碼。解碼的畫面(局部解碼畫面)保存於記憶體36，作為下一畫面以後的參照畫面來利用。影片編碼電路33的各電路以大區塊為單位進行處理。在各電路之間定為分別具有可將數個大區塊量的資料加以累積的資料緩衝區337、338、339、33A、33B、33C、33D、33E之構成。資料緩衝區337、339儲存輸入畫面像素資料，資料緩衝區338、33A儲存參照畫面像素資料，資料緩衝區33B、33D儲存編碼的中間資料，資料緩衝區33E儲存局部解碼畫面像素資料，資料緩衝區33C儲存編碼位元列資料。資料緩衝區337內的輸入影像資料係通過畫面預測電路333而儲存於資料緩衝區339。
影片編碼電路33包含定格偵測用電路即雜湊導出電路33F，雜湊導出電路33F係如下電路：將往畫面編碼電路334輸入的輸入畫面之資料加以輸入，並導出獨一(unique)地表示輸入畫面之雜湊值。導出的雜湊值可經由控制電路331而由CPU35讀出。
其次使用圖11～13，說明利用影片編碼電路進行的雜湊導出。圖11係顯示圖10之雜湊導出電路的構成之方塊圖。圖12係說明圖10之雜湊運算器的動作。圖13係顯示1個畫面之資料處理順序。
圖11係顯示雜湊導出電路之方塊圖。雜湊導出電路33F包含：像素資料取得電路33F1，自資料緩衝區339取得像素資料；雜湊運算器33F2，進行雜湊運算；及雜湊記憶電路33F3，將導出的雜湊值加以記憶；且自輸入畫面用的資料緩衝區339將輸入畫面的像素資料依序逐次輸入，進行雜湊運算。雜湊記憶電路33F3例如利用暫存器構成。
雜湊導出電路33F與影片編碼電路33的其它電路區塊同步而以大區塊為單位進行處理。雜湊運算器33F2使用MD5作為雜湊函數。如圖12所示，在MD5中基於512位元的輸入資料，並依照某種運算法而進行64次的依序逐次計算。亦即成為圖中的i=0至63為止的迴圈。圖中的A、B、C、D係各32位元的變數，將A[i+1]、B[i+1]、C[i+1]、D[i+1]予以位元結合者成為128位元的雜湊。輸入係自儲存於輸入畫面用資料緩衝區的大區塊資料依序逐次供給512位元。在圖例中顯示每單位像素假定8位元的明度大區塊，以8×8像素的合計64像素為單位進行雜湊運算。自左上的明度Y0起、明度Y1、明度Y2、明度Y3、色差Cb、色差Cr依序逐次進行處理而在結束色差Cr的處理時，該大區塊之處理成為完畢。將此對於畫面內的全部大區塊，將上個大區塊之結果使用於下個大區塊之雜湊導出，繼承結果並且進行處理。
如圖13上側所示的畫面影格標註的箭頭所示，1個畫面的資料處理係第零大區塊、第一大區塊、第二大區塊、…地依大區塊處理順序而依序逐次執行，畫面右下的大區塊完畢時進行導出最終雜湊值的運算而成為完畢。最終雜湊值係儲存於圖11的雜湊記憶電路33F3，由CPU35讀出。另，在此所示的資料之輸入順序係一例。
如圖12所示，雜湊運算成為依序逐次更新以往之雜湊值的處理。所以，考慮定為將以往之雜湊值加以保存而使用於下次迴圈之構成。在圖12中A[i+1]、B[i+1]、C[i+1]、D[i+1]相當於此。亦可使圖11的雜湊記憶電路33F3與雜湊運算器33F2內的保存以往雜湊之記憶為共享。
依據實施例，能導出、保存2個畫面份量的雜湊值，並藉由在2個畫面間進行比較而偵測出如畫面停止中的故障。藉由將雜湊值導出電路設在配置於資料即將輸出前的影片編碼部，能偵測出相機輸入系統全體的任一者所產生的故障。
＜變形例＞ 以下，例示數個代表性變形例。在以下的變形例之說明忠，對於與上述實施例所說明者具有同樣構成及功能的部分，定為可使用與上述實施例同樣的符號。並且，此種部分之說明只要在技術上不矛盾的範圍內，定為能適當援用上述實施例之中的說明。變形例係上述實施例的一部分構成之變形時，上述實施例的其它構成當然能與變形例組合。又，上述實施例的一部分及多數之變形例的全部或一部分，在技術上不矛盾的範圍內，能夠適當複合性地應用。
(變形例1) 在圖11、圖12、圖13的實施例中，顯示將1個畫面的明度Y、色差Cb、色差Cr全部序列地進行處理之例。因為就雜湊運算之特徵而言必須串列地進行運算而無法並列化，所以變成為了串列處理1個畫面的全部資料而需要執行時間。無法隱藏於既存的編碼處理之執行時間時，有可能形成問題。又，係以每單位像素8位元之資料進行說明，但設想為使用於例如每單位像素10位元或12位元之信號。此時多將10位元擴充成16位元(2位元組)而進行處理，雜湊運算中串列處理的資料量更多，執行時間的問題更為顯著的浮現。
使用圖14～16說明將每單位像素10位元的資料加以分割而並列執行之例。圖14係顯示將10位元信號往16位元擴充之例。圖15係顯示變形例1的雜湊導出電路之方塊圖。圖16係顯示每單位像素10位元時的資料處理順序之例。
首先說明將10位元信號往16位元擴充之例。雖亦有考慮於10位元擴充6位元的‘0’之方法，但因為有高機率損及雜湊運算結果之值的獨一性，所以採取如圖14所示將原本10位元的下位6位元加以結合之手法。在明度方面定為將擴充後16位元的上位8位元作為YH、下位8位元作為YL加以處置。在色差方面將16位元作為C加以處置。另，將12位元信號擴充成16位元時，係將原本的12位元的下位4位元加以結合。亦即，像素資料長於1位元組而短於2位元組時，在短於2位元組的部分的資料分配結合有原本資料的下位側資料而將像素資料擴充成2位元組。藉此，能降低使雜湊運算的結果之值的獨一性受到損及的機率。
如圖15所示，雜湊導出電路33FA包含第一雜湊運算器33F2_1與第一雜湊記憶電路33F3_1、第二雜湊運算器33F2_2與第二雜湊記憶電路33F3_2、第三雜湊運算器33F2_3與第三雜湊記憶電路33F3_3共3組。第一雜湊記憶電路33F3_1、第二雜湊記憶電路33F3_2及第三雜湊記憶電路33F3_3的任一者係由選擇器33F4而選擇，雜湊值係由CPU35而讀出。藉此，能將3組的雜湊導出並列化進行。亦即，藉由在第一雜湊運算器33F2_1中訂為YH的資料，第二雜湊運算器33F2_2定為YL的資料，第三雜湊運算器33F2_3定為C的資料，而能在1個畫面完畢時獲得3個雜湊值。因為各個雜湊運算器的處置資料量幾乎成為3等分，所以能夠達到執行時間的縮短而解決問題。
如圖16所示，明度Y因為將16位元以上下8位元的方式分割，所以利用YH區塊(明度YH0、明度YH1、明度YH2、明度YH3)與YL區塊(明度YL0、明度YL1、明度YL2、明度YL3)來表示。另一方面，因為色差Cb及色差Cr分別成為16位元資料，所以利用相較於圖13而言橫向寬度為2倍的區塊來表示。第一雜湊運算器33F2_1、第二雜湊運算器33F2_2及第三雜湊運算器33F2_3的各雜湊運算器之處置資料量成為3等分。第一雜湊運算器33F2_1依各大區塊的明度YH0、明度YH1、明度YH2、明度YH3的順序進行處理，第二雜湊運算器33F2_2依各大區塊的明度YL0、明度YL1、明度YL2、明度YL3的順序進行處理，第三雜湊運算器33F2_3依各大區塊的色差Cb、色差Cr的順序進行處理。
進行1個畫面處理後獲得的3個雜湊值，利用CPU35上的程式分別獨立地進行利用與上個畫面比較的故障偵測。藉此而能以分割的區域單位進行故障偵測，能進行故障之處的特定。另，3個雜湊值亦可藉由加法或邏輯互斥或而作為1個資料來處置。
以上顯示像素資料位元的上位與下位區分之例，但亦可考慮以像素資料的順序區分之例。例如定為能同時輸入連續的3像素，並將該3像素定為像素(3m)、像素(3m+1)、像素(3m+2)時，亦可考慮將像素(3m)分配第一雜湊運算器33F2_1，像素(3m+1)分配第二雜湊運算器33F2_2，像素(3m+2)分配第三雜湊運算器33F2_3來並列處理(在此m=0，1，2，…)。已顯示3個分離之例，當然亦可採取分離成2組以上的任意組數之構成。另，將圖14的10位元信號往16位元擴充不限定於變形例1，能應用於實施例及後述變形例。
(變形例2) 在實施例及變形例1中，係確認影像的嚴格一致並於1位元均無不同之情形判定為故障。但是，依據情況不同，而有過度嚴格而漏失故障的危險性。亦即，設想有即使畫面因故障而停止，亦由於某種雜訊使得像素的下位數位元變化而判斷為「並非故障」的場面。為了對應此事，於雜湊運算前施加將像素資料的下位位元予以捨入的處理。
使用圖17A、17B說明將像素資料予以捨入而給予模糊性之手法。圖17A、17B係顯示將像素資料予以捨入而給予模糊性之手法的一例，圖17A係8位元／像素之情形，圖17B係10位元／像素之情形。例如，如圖17A所示，8位元／像素時將下位2位元以0予以遮罩；因為將像素值的0～3，4～7，…，252～255各者之組視為同值，所以容易成為同一雜湊。亦即於偵測出現曖昧程度，降低雜訊所致的故障漏失。此控制宜係因應於單位像素的位元色深來控制。例如，如圖17B所示，若8位元遮罩下位2位元遮罩則10位元時為下位4位元遮罩之類的控制。
雖已顯示下位位元遮罩之例，但此係一例，於像素值給予曖昧程度的手法例如亦可係低通濾鏡等其它機構。另，圖17A、17B的下位位元遮罩不限定於實施例及變形例1，亦可應用於後述變形例。
(變形例3) 在之前的實施例、變形例1、2中，係將連續的2個畫面的全資料或部分資料一致時定為故障。亦設想有依據應用方式而言2個畫面即判定為故障並不好的情形。吾人思及將雜湊值保存3個以上的多數畫面，並在個以上的多數畫面進行故障判定。
關於利用3個以上的多數畫面進行故障判定之例使用圖18～21來說明。圖18係利用K幅的多數畫面之故障判定的流程圖。圖19係說明過去5個畫面內出現相同畫面時定為故障之例。圖20係說明過去3個畫面連續出現相同畫面時定為故障之例。圖21係說明相同畫面組合重複出現時定為故障之例。
如圖18所示，將保存雜湊值的變數定為HashVar[i](i=0,1,…,K-1)。每次圖片完畢自影片編碼電路33的雜湊記憶電路33F3取出雜湊值而儲存於HashVar[0]。此前HashVar[ ]變數係FIFO(First-In First-Out，先入先出)動作，保存過去K幅份量的雜湊值。該HashVar[ ]變數符合預先決定的故障條件時，定為偵測到故障。以下，說明各步驟。
步驟S1C：CPU35如下述方式進行變數之初始化。
畫面編號：n=0 雜湊保存變數：for(i=0；i＜K；i++) HashVar[i]=0 步驟S2：CPU35藉由指示控制電路331，而使影片編碼電路33開始影片編碼(StartVideoEncode(畫面Gn))。
步驟S3：CPU35探測來自影片編碼電路33的影片編碼完畢(DetectVideoEncodeEnd(畫面Gn))。
步驟S4C：CPU35更新過去(K-1)畫面份量的雜湊保存變數。for(i=1；i＜K； i++) HashVar[i]=HashVar[i-1] 步驟S5C：CPU35自影片編碼電路33讀出編碼完畢畫面Gn的雜湊值(HashVar[0]=Read(Hash Gn))。
步驟S6：CPU35判斷是否為開頭畫面(n==0?)。若否，則移至步驟S7；若是，則移至步驟S8。
步驟S7C：CPU35判斷HashVar[ ]變數群是否適合故障條件。若否(非適合)，則移至步驟S8；若是(適合)，則移至步驟S9。
步驟S8：CPU35更新畫面編號(n++)，回到步驟S2。
步驟S9：CPU35偵測為定格故障。
步驟SA：CPU35進行偵測到故障時之處理。
可考慮各種故障判定條件。圖19係說明過去5個畫面內出現相同畫面時定為故障之例。圖20係說明3個畫面連續出現相同畫面時定為故障之例。圖21係說明相同畫面組合重複出現時定為故障之例。
例如設想影片編碼電路33的前一層有多數之畫面緩衝區，其一部分有所故障而定期性地輸入相同畫面等故障。此時，如圖19所示，現雜湊與過去4個雜湊的任一者一致時判定為故障。另，圖19係以時間順序顯示故障判定條件之模樣的K=5之例。HashVar[0]保存現圖片之雜湊，HashVar[1]～HashVar[4]保存過去4個畫面之雜湊值。顯示依第一時刻(T1)～第六時刻(T6)之順序全部6個畫面份量的雜湊記憶內之資料變遷。在第一時刻(T1)將最初之雜湊值H00儲存於HashVar[0]。在第二時刻(T2)將HashVar[0]的H00往HashVar[1]移動，將下一雜湊值H01往HashVar[0]儲存。如此在HashVar[0]～HashVar[4]為止以FIFO動作進行更新。故障判定係以HashVar[0]內之值是否與保存於其它HashVar[1]～HashVar[4]之值一致來進行。因為至第五時刻(T5)為止全部不同，故判定為無故障。在第六時刻(T6)中，將雜湊值H02儲存於HashVar[0]，此係與HashVar[3]內者一致，而判定為故障。
就故障判定條件而言，考慮其它如圖20所示，HashVar[0]～HashVar[2]之雜湊值係H03，連續3個雜湊值一致時定為故障之例。在此故障判定條件中，亦能訂為不使用HashVar[ ]而僅使用PrevHashVar與CurrHashVar的流程。具有將同值所連續的次數加以計數的計數器，並與決定的閾值加以比較。在ADAS與無人機等強烈要求即時性、強健性的應用方式宜係以較少幅數來判定，在通常畫面變化較少的監視相機宜係在較長期間中判定。
又，吾人亦思及如圖21所示，HashVar[0]～HashVar[3]之雜湊值分別係H04、H03、H02、H01，HashVar[4]～HashVar[7]之雜湊值分別係H04、H03、H02、H01，相同模式迴圈出現等。亦可將此種故障模式偵測為故障(定為故障判定條件)。
(變形例4) 在實施例、變形例1～3中顯示將雜湊導出電路33F設於影片編碼電路33，以控制程式進行故障判定之例。故障判定亦能以雜湊導出電路內的電路來實現。
使用圖22說明雜湊導出電路內具備故障偵測電路之例。圖22係顯示變形例4之雜湊導出電路的方塊圖。變形例4之雜湊導出電路33FD包含：像素資料取得電路33F1；雜湊運算器33F2；目前畫面雜湊記憶電路33F3_C；上個畫面雜湊記憶電路33F3_P；及雜湊比較器33F5。自控制電路331輸入畫面完畢信號，在該時機進行雜湊比較。就結果而言，係回傳故障通知。另，目前畫面雜湊記憶電路33F3_C儲存目前畫面之雜湊值，目前畫面雜湊記憶電路33F3_C之雜湊值依畫面完畢信號而移動至上個畫面雜湊記憶電路33F3_P，上個畫面雜湊記憶電路33F3_P儲存上個畫面之雜湊值。藉由連故障偵測均以硬體進行，能構成可不牽涉軟體地進行故障偵測及故障時處理的自行動作裝置。
在實施例、變形例1～4中，能藉由於影像處理裝置內的影片編碼電路設置將獨一地表示輸入畫面之雜湊值加以導出的電路，而在控制程式上或在導出雜湊值的電路將多數畫面間之雜湊值加以比較。藉此，能簡便地確認在多數畫面間畫面是否有變化，能容易地進行依據無變化變化而係定格故障之判定。又，能簡便地將成為固定色的故障以外的故障加以偵測。又，能藉由將畫面內加以分割並分別導出雜湊值、加以比較，而特定出故障之處。
(變形例5) 在實施例、變形例1～4中係以1個畫面為單位來進行故障偵測，但亦可將1個畫面加以分割，並藉由依其分割區域每者計算雜湊值而以區域為單位進行故障偵測。
使用圖23、24說明分割成具有畫面的區域而依區域每者進行故障偵測之例。圖23係顯示將畫面於垂直方向分割成n區域之例。圖24係顯示變形例5的雜湊導出電路之方塊圖。
如圖23所示，畫面於垂直方向分割成n個區域R0、R1、R3，…，R(n-1)。
如圖24所示，雜湊導出電路33FE包含：像素資料取得電路33F1；區域選擇器33F6；R0用雜湊運算器33F2_R0～R(n-1)用雜湊運算器33F2_R(n-1)；R0用雜湊記憶電路33F3_R0～R(n-1)用雜湊記憶電路33F3_R(n-1)；及選擇器33F4。
R0用雜湊運算器33F2_R0～R(n-1)用雜湊運算器33F2_R(n-1)運算區域R0～R(n-1)各者之雜湊值，R0用雜湊記憶電路33F3_R0～R(n-1)用雜湊記憶電路33F3_R(n-1)保存區域R0～R(n-1)各者之雜湊值。區域選擇器33F6依照自控制電路331給予的區域選擇信號而選擇R0用雜湊運算器33F2_R0～R(n-1)用雜湊運算器33F2_R(n-1)任一個雜湊運算器。例如，在區域選擇器33F6選擇的R0用雜湊運算器33F2_R0中，自屬於區域R0的像素導出雜湊值，並寫入至R0用雜湊記憶電路33F3_R0。對於全n區域實施相同處理，於1個畫面完畢後，R0用雜湊記憶電路33F3_R0～R(n-1)用雜湊記憶電路33F3_R(n-1)的全部雜湊記憶電路成為有效。利用此種分割方法，例如1個區域定為1像素寬度的欄位時，能進行相機裝置2之拍攝元件的一例及CMOS感測器就1欄位故障之狀況的偵測。分割方法可進行各種考慮，定為適合相機等輸入裝置之故障模式的分割方法。可考慮以行為單位之分割、矩形為單位之分割等例。 另，畫面之資料處理順序(掃描順序)與分割形狀之組合使得輸入畫面用的資料緩衝區339之容量、儲存格式改變，又有時須要額外的緩衝區。
依據變形例5，因為能利用分割的區域單位細緻地進行故障偵測，所以故障原因、處所之特定變得容易。又，進行故障處所之遮蔽時，能止於小範圍。能夠進行針對如CMOS感測器的欄位故障的、感測器特有的故障模式而特化的偵測。
(變形例6) 如前所述，亦可使保存最終結果的雜湊記憶電路與雜湊記憶內的更新用之記憶電路為共享。此時，R0用雜湊運算器～R(n-1)用雜湊運算器與作為區域專用的雜湊運算器能以1個來共享。
圖25係顯示變形例6之雜湊導出電路的方塊圖。
變形例6之雜湊導出電路33FF包含：像素資料取得電路33F1；雜湊運算器33F2；區域選擇器33F6；R0用雜湊記憶電路33F3_R0～R(n-1)用雜湊記憶電路33F3_R(n-1)；及區域選擇器33F7。
R0用雜湊記憶電路33F3_R0～R(n-1)用雜湊記憶電路33F3_R(n-1)保存區域R0～R(n-1)各者之雜湊值。區域選擇器33F6依照自控制電路331給予的區域選擇信號而選擇R0用雜湊記憶電路33F3_R0～R(n-1)用雜湊記憶電路33F3_R(n-1)的任一個雜湊記憶電路。在雜湊運算器33F2中，例如自屬於區域R0的像素導出雜湊值，並寫入至區域選擇器33F6所選擇的R0用雜湊記憶電路33F3_R0。另，例如在將屬於區域R0的像素之雜湊值加以導出期間，雜湊運算器33F2將更新前之雜湊值自R0用雜湊記憶電路33F3_R0讀出並運算新的雜湊值而更新雜湊值，並將更新後之雜湊值儲存於R0用雜湊記憶電路33F3_R0。
(變形例7) 在實施例及變形例1～6中係使用雜湊值來進行故障判定，但亦能以雜湊值以外的方式進行故障判定。
以下使用圖26～29說明以像素值直方圖代替雜湊值進行判定之例。圖26係顯示畫面某處定格在固定像素值之故障的模樣。圖27係藉由像素值直方圖進行故障判定之概念圖。圖28係顯示變形例6之直方圖導出電路的方塊圖。圖29係顯示控制程式的動作流程之流程圖。
考量如圖26所示的、畫面內某處定格在固定像素值之故障。並設想故障之處以外係構成畫面G0～G5的各畫面有所變化的動態圖像之畫面。
如圖27所示，取得畫面的像素值直方圖亦即各像素值使用幾次的頻率，在多數畫面中進行累計，因為故障之處僅顯示固定像素值，所以推測該像素值的頻率變大。就例子而言，定為像素值定格在53之情形，設想為像素值僅有53由於畫面累計而突出。進行與預先決定的故障判定閾值之比較，而判定為故障。
累計直方圖的畫面幅數、故障判定閾值的決定方法不受限制。又，直方圖亦可並非以單獨的像素值為單位而係各個像素值範圍(例如50～54等)。
在本變形例中，與圖2、4、10同樣的構成具備直方圖導出電路代替雜湊導出電路。如圖28所示，直方圖導出電路33FG包含：像素資料取得電路33F1；像素值直方圖運算器33F2G；及直方圖資料記憶電路33F3G。基於像素資料取得電路33F1所取得的像素資料，利用像素值直方圖運算器33F2G導出如圖27所示的每一像素值之直方圖，並於直方圖資料記憶電路33F3G保持圖片的結果。另，直方圖運算例如揭示於日本特開2008-300980號公報(美國專利公開第2008／0298685號說明書)。
圖29顯示控制程式的動作流程。以下說明各步驟。
步驟S1F：CPU35如下述方式進行變數之初始化。
畫面編號：n=0 直方圖保存變數：for(i=0；i＜K；i++) HistVar[i]=0 步驟S2：CPU35藉由指示控制電路331，而使影片編碼電路33開始影片編碼(StartVideoEncode(畫面Gn))。
步驟S3：CPU35探測來自影片編碼電路33的影片編碼完畢(DetectVideoEncodeEnd(畫面Gn))。
步驟S4F：CPU35更新過去(K-1)畫面份量的直方圖保存變數。for(i=1；i＜K； i++) HistVar[i] = HistVar[i-1] 步驟S5F：CPU35自影片編碼電路33讀出編碼完畢畫面Gn的直方圖資料(HistVar[0]=Read(Hist Gn))。
步驟SB：CPU35將過去K畫面份量的直方圖資料加以累計。TotalHistVar= 0 for(i=0；i＜K；i++) TotalHistVar += HistVar[i] 步驟S6F：CPU35判斷畫面編號是否為K以上(n＞=K?)。若否，則移至步驟S7F；若是，則移至步驟S8。
步驟S7F：CPU35判斷TotalHistVar變數群是否適合故障條件。若否(非適合)，則移至步驟S8；若是(適合)，則移至步驟S9。
步驟S8：CPU35更新畫面編號(n++)，回到步驟S2。
步驟S9：CPU35偵測為定格故障。
步驟SA：CPU35進行偵測到故障時之處理。
實施例的畫面單位之雜湊的情形，無法進行一部分定格的偵測。此係因為即使只有一部分有變化，雜湊值亦成為不同。相對於此，在本實施例中能夠偵測一部分定格所致的故障。
變形例7能藉由與變形例5或變形例6所示的畫面分割組合，而判別畫面內何處存在有故障。例如每1像素進行判定時，能夠探測像點故障。變形例7亦能進行如變形例1所示的明度、色差每者的資料分割之組合。
以上，根據實施形態、實施例及變形例而具體說明本發明者所進行的發明，但本發明當然不限定於上述實施形態、實施例及變形例，可進行各種變更。
例如，在實施例及其變形例使用輸入畫面之雜湊進行故障偵測，但亦可使其並非使用雜湊，而使用輸入畫面之像素資料本身來進行故障偵測。
又，在實施例及變形例中係說明將雜湊導出電路或直方圖導出電路應用於影像處理裝置內的影片編碼電路之例，但並非限定於此。例如，亦可設於圖2的相機信號處理電路、影像辨識電路、圖形處理電路、表示處理電路的任一者，亦可多數或全數地設置雜湊導出電路或直方圖導出電路。藉此而能進行在各電路的故障偵測，能特定出在哪處發生故障。
又，在實施例中係以ADAS系統為例說明，但可應用於將相機圖像作為輸入的裝置與系統及將相機圖像以外的影像作為輸入的裝置與系統。例如，能應用於依據相機輸入而進行自行動作或遠隔操作的機器人、無人機、車載相機、行車紀錄器、網路相機、或監視相機。
又，在實施例及變形例中係說明影片編碼電路利用專用硬體來構成之例，但亦可將一部分或全部以CPU所執行的軟體來構成。例如，畫面預測處理、雜湊導出處理、畫面編碼處理、局部畫面解碼處理、熵編碼處理等者，亦可構成為將程式記憶於記憶體，並藉由CPU將其加以執行。此時，程式例如儲存於記憶體36等記憶裝置。全部以CPU來執行時，影像處理裝置330例如圖30地包含CPU(運算電路)35與記憶體(記憶電路)36，程式儲存於記憶體36。因為利用軟體進行處理則無須專用之硬體，而能縮小晶片面積。
＜附註＞ 以下記載實施形態的一態樣。 (1) 影像處理裝置包含：直方圖導出電路，具有計算輸入畫面之像素值的直方圖資料之運算器及記憶前述直方圖資料的記憶電路；及故障偵測電路，藉由在多數畫面間累積前述直方圖資料，而偵測畫面是否變化中或停止中，並於停止中時偵測為故障。 (2) 在上述(1)之影像處理裝置中， 前述故障偵測電路包含：CPU，藉由讀出前述記憶電路的直方圖資料並在多數畫面間累積，而判斷畫面變化中或停止中，並於停止中時偵測為故障。 (3) 在上述(2)之影像處理裝置中，更包含： 影片編碼電路，進行影片壓縮處理； 且前述直方圖導出電路係包含於前述影片編碼電路中，將輸入畫面的直方圖資料依影片編碼之處理區塊順序而依序逐次加以計算。 (4) 在上述(3)之影像處理裝置中， 前述直方圖導出電路包含多數之前述運算器及多數之前述記憶電路， 且前述直方圖導出電路將輸入畫面的像素以位元列或明度、色差的方式分割，並依分割出的各個元素各自不同的直方圖資料以前述多數之運算器並列地計算，並將前述直方圖資料各自保存於前述多數之記憶電路， 前述CPU讀出前述多數之記憶電路的直方圖資料依各個元素每者在多數畫面間累積，而偵測故障。 (5) 在上述(3)之影像處理裝置中， 前述直方圖導出電路，更包含：區域選擇器；多數之運算器；及多數之前述記憶電路； 且前述區域選擇器根據區域選擇信號而將分割成多數之區域的輸入畫面輸入至前述多數之運算器的任一者， 前述多數之運算器各者，依分割到的各個區域每者計算出不同的直方圖資料， 前述多數之記憶電路保存前述直方圖資料各者， 前述CPU讀出前述多數之記憶電路的直方圖資料並依各個區域每者在多數畫面間累積，而偵測故障。 (6) 在上述(3)之影像處理裝置中， 前述直方圖導出電路包含：區域選擇器；及多數之前述記憶電路； 且前述直方圖導出電路將輸入畫面分割成多數之區域，並依分割的各個區域每者計算不同的直方圖資料，前述區域選擇器根據區域選擇信號而將前述直方圖資料各自保存於前述多數之記憶電路， 前述CPU讀出前述多數之記憶電路的直方圖資料並依各個區域每者在多數畫面間累積，而偵測故障。 (7) 在上述(3)之影像處理裝置中，更包含： 圖像信號處理電路，將來自相機裝置的圖像信號加以處理； 且前述輸入畫面係在前述圖像信號處理電路處理的影像。 (8) 在上述(3)之影像處理裝置中， 前述影片編碼電路包含：畫面預測電路；畫面編碼電路；局部畫面解碼電路；及熵解碼電路； 且前述輸入畫面係自前述畫面預測電路輸出而輸入至前述畫面編碼電路的畫面。
1‧‧‧ADAS系統
2‧‧‧相機裝置
3‧‧‧影像處理裝置
31‧‧‧圖像信號勝利裝置
311‧‧‧相機信號處理電路
312‧‧‧影像辨識電路
313‧‧‧圖形處理電路
32‧‧‧表示處理電路
33‧‧‧影片編碼電路
331‧‧‧控制電路
332‧‧‧記憶體介面電路
333‧‧‧影像預測電路
334‧‧‧畫面編碼電路
335‧‧‧熵編碼電路
336‧‧‧局部畫面解碼電路
337~33E‧‧‧資料緩衝區
33F‧‧‧雜湊導出電路
33F1‧‧‧像素資料取得電路
33F2‧‧‧雜湊運算器
33F2_1~33F2_3‧‧‧第一雜湊運算器~第三雜湊運算器
33F2G‧‧‧像素值直方圖運算器
33F2_R0~33F2_R(n-1)‧‧‧R0用雜湊運算器~
R(n-1)用雜湊運算器
33F3‧‧‧雜湊記憶電路
33F3G‧‧‧直方圖資料記憶電路
33F3_1~33F3_3‧‧‧第一雜湊記憶電路～第三雜湊記憶電路
33F3_C‧‧‧目前畫面雜湊記憶電路
33F3_P‧‧‧上個畫面雜湊記憶電路
33F3R0~33F3R(n-1)‧‧‧R0用雜湊記憶電路～R(n-1)用雜湊記憶電路
33F4‧‧‧選擇器
33F6‧‧‧區域選擇器
33F7‧‧‧區域選擇器
33FA‧‧‧雜湊導出電路
33FD‧‧‧雜湊導出電路
33FE‧‧‧雜湊導出電路
33FF‧‧‧雜湊導出電路
33FG‧‧‧直方圖導出電路
34‧‧‧網路傳送電路
35‧‧‧CPU
36‧‧‧記憶體
37‧‧‧CPU匯流排
38‧‧‧記憶體匯流排
4‧‧‧第一表示裝置
5‧‧‧網路
6‧‧‧圖像、資訊處理裝置
7‧‧‧第二表示裝置
G0~G6‧‧‧畫面
H0~H4‧‧‧雜湊值
圖1係顯示實施形態之ADAS系統的構成之方塊圖。 圖2係顯示圖1的影像處理裝置的構成之方塊圖。 圖3係說明定格故障之概略。 圖4係顯示實施例之影像處理裝置的構成之方塊圖。 圖5係說明故障偵測手法之概略。 圖6係顯示利用在圖4的CPU進行動作之控制程式而進行的故障判定之流程圖。 圖7係說明影像影格與大區塊之關係。 圖8係顯示影片編碼之中的畫面內預測與畫面間預測之概要。 圖9係顯示內部預測畫面、前向預測畫面、雙向預測畫面的時間性編碼的模樣。 圖10係顯示圖4之影片編碼電路的構成之方塊圖。 圖11係顯示圖10之雜湊導出電路的構成之方塊圖 圖12係說明圖10之雜湊運算器的動作。 圖13係說明圖11之雜湊導出電路的1個畫面之資料處理順序。 圖14係說明單位像素10位元色深之資料處置處置。 圖15係顯示變形例1之雜湊導出電路的構成之方塊圖 圖16係說明圖15之雜湊導出電路的1個畫面之資料處理順序 圖17A係說明變形例2之對於像素資料進行捨入而給予模糊性之手法。 圖17B係說明變形例2之對於像素資料進行捨入而給予模糊性之手法。 圖18係自過去3個畫面以上的畫面進行故障判定之情形的流程圖。 圖19係說明於過去5個畫面內顯現相同畫面之情形定為故障之例。 圖20係說明於3個畫面連續顯現相同畫面之情形定為故障之例。 圖21係說明於相同畫面組合反覆出現之情形定為故障之例。 圖22係顯示變形例4之雜湊導出電路的構成之方塊圖。 圖23係說明將畫面於垂直方向分割成n個區域之例。 圖24係顯示變形例5之雜湊導出電路的構成之方塊圖。 圖25係顯示變形例6之雜湊導出電路的構成之方塊圖。 圖26係說明畫面的某處定格於固定像素值之故障的模樣。 圖27係藉由像素值直方圖進行故障判定之概念圖。 圖28係顯示實施例2之直方圖導出電路的構成之方塊圖 圖29係利用像素值直方圖進行之故障判定的情形之流程圖 圖30係顯示圖4之影片編碼電路的其它構成例之方塊圖

Claims (20)

  1. 一種影像處理裝置，包含： 雜湊導出電路，具有計算輸入影片的畫面之雜湊值的運算器、與記憶該雜湊值的記憶電路；及 故障偵測電路，藉由在該輸入影片的多數畫面間比較該雜湊值，判斷畫面有變化或無變化，並於無變化時偵測為故障。
  2. 如申請專利範圍第1項之影像處理裝置，其中， 該故障偵測電路，更包含：CPU，藉由讀出該記憶電路之雜湊值並在多數畫面間進行比較而判斷畫面有變化或無變化，並於無變化時偵測為故障。
  3. 如申請專利範圍第2項之影像處理裝置，其中，更包含： 影片編碼電路，進行影片壓縮處理； 且該雜湊導出電路係包含於該影片編碼電路，依影片編碼之處理區塊順序而依序逐次計算輸入畫面之雜湊值。
  4. 如申請專利範圍第3項之影像處理裝置，其中， 該雜湊導出電路，更包含： 多數之該運算器；及 多數之該記憶電路； 且該雜湊導出電路將輸入畫面之像素以位元列或者明度、色差的方式加以分割，利用該多數之運算器並列地計算依分割的各個元素各自不同的雜湊值，並將該雜湊值各自保存於該多數之記憶電路， 該CPU讀出該多數之記憶電路之雜湊值，並使用該讀出的雜湊值在多數畫面間進行比較，而偵測故障。
  5. 如申請專利範圍第3項之影像處理裝置，其中， 該雜湊導出電路，更包含： 區域選擇器； 多數之運算器；及 多數之該記憶電路； 且該區域選擇器根據區域選擇信號而將分割成多數之區域的輸入畫面輸入至該多數之運算器其中任一者， 該多數之運算器各自計算依分割的各個區域各自不同的雜湊值， 該多數之記憶電路保存各個該雜湊值， 該CPU讀出該多數之記憶電路之雜湊值，並使用該讀出的雜湊值在多數畫面間進行比較，而偵測故障。
  6. 如申請專利範圍第3項之影像處理裝置，其中， 該雜湊導出電路，更包含： 區域選擇器；及 多數之該記憶電路； 且該雜湊導出電路將輸入畫面分割成多數之區域，並以該運算器計算出依分割的各個區域各自不同的雜湊值，該區域選擇器根據區域選擇信號而將該雜湊值各自保存於該多數之記憶電路， 該CPU讀出該多數之記憶電路的雜湊值，並使用該讀出的雜湊值而在多數畫面間進行比較，而偵測故障。
  7. 如申請專利範圍第1項之影像處理裝置，其中， 於該輸入畫面之像素資料係長於1位元組且短於2位元組時，將短於2位元組的部分之資料結合原本資料的下位側之資料結合而將該像素資料擴充成2位元組。
  8. 如申請專利範圍第1項之影像處理裝置，其中， 該雜湊導出電路在利用該運算器計算雜湊值之前，將輸入畫面之像素資料的下位位元加以遮罩。
  9. 如申請專利範圍第2項之影像處理裝置，其中， 該CPU於連續畫面之雜湊值為多數連續中一致時偵測為故障。
  10. 如申請專利範圍第2項之影像處理裝置，其中， 該CPU於連續畫面之雜湊值為多數連續中一致的次數有既定數以上時偵測為故障。
  11. 如申請專利範圍第2項之影像處理裝置，其中， 該CPU保存過去的既定數的畫面之雜湊值，並於現在畫面之雜湊值與該過去的既定數的畫面之雜湊值其中任一者一致時偵測為故障。
  12. 如申請專利範圍第3項之影像處理裝置，其中， 更包含：圖像信號處理電路，處理來自相機裝置的圖像信號； 且該輸入畫面係經該圖像信號處理電路處理過的影像。
  13. 如申請專利範圍第3項之影像處理裝置，其中， 該影片編碼電路，更包含： 畫面預測電路； 畫面編碼電路； 局部畫面解碼電路；及 熵解碼電路； 且該輸入畫面係自該畫面預測電路輸出而輸入至該畫面編碼電路的畫面。
  14. 如申請專利範圍第1項之影像處理裝置，其中， 該記憶電路，更包含： 第一記憶電路，記憶目前畫面之雜湊值； 第二記憶電路，記憶上個畫面之雜湊值； 該雜湊導出電路，更包含： 比較器，將記憶於該第一記憶電路之雜湊值與記憶於該第二記憶電路之雜湊值加以比較； 該故障偵測電路係該比較器，並於該比較器偵測為一致時，偵測為故障。
  15. 一種半導體裝置，包含： 影片編碼電路，具有根據輸入畫面與預測畫面而將資料量壓縮之係數列加以導出的畫面編碼電路以及計算該輸入畫面之雜湊值的雜湊導出電路；及 CPU，控制該影片編碼電路； 該雜湊導出電路，包含： 第一運算器，計算第一像素之雜湊值； 第二運算器，計算第二像素之雜湊值； 第三運算器，計算第三像素之雜湊值； 第一記憶電路，儲存利用該第一運算器所計算的雜湊值； 第二記憶電路，儲存利用該第二運算器所計算的雜湊值；及 第三記憶電路，儲存利用該第三運算器所計算的雜湊值； 且該雜湊導出電路將輸入畫面的像素以第一明度、第二明度及色差的方式分割，並依分割的各元素逐一利用該第一運算器、第二運算器及第三運算器並列地計算三個雜湊值，將該三個雜湊值各自保存於該第一記憶電路、第二記憶電路及第三記憶電路， 該CPU讀出該第一記憶電路、第二記憶電路及第三記憶電路的三個雜湊值，並使用該讀出的雜湊值在多數畫面間進行比較，而偵測故障。
  16. 如申請專利範圍第15項之半導體裝置，其中， 該影片編碼電路更包含： 畫面預測電路，自輸入畫面與參照畫面進行畫面內預測或畫面間預測； 局部畫面解碼電路，進行該畫面編碼電路之反向轉換，並進行畫面之解碼； 熵解碼電路，從自畫面編碼電路輸出的係數列產生編碼位元列。
  17. 如申請專利範圍第15項之半導體裝置，其中， 該輸入畫面分割成多數之大區塊，該影片編碼電路對於大區塊逐一進行編碼及雜湊之導出。
  18. 如申請專利範圍第15項之半導體裝置，其中， 該輸入畫面的像素資料係構成為：於資料為10位元長時將該資料的下位側6位元之資料結合至上位側，於資料為12位元長時將該資料的下位側4位元之資料結合至上位側，藉此而擴充成16位元長。
  19. 如申請專利範圍第15項之半導體裝置，其中，更包含： 圖像信號處理電路，處理來自相機裝置的圖像信號； 網路傳送電路；及 記憶體，儲存有由該CPU控制該影片編碼電路的程式； 且自該圖像信號處理電路輸出的資料，係經由該記憶體而輸入至該影片編碼電路， 自該影片編碼電路輸出的資料，係經由該記憶體而輸入至該網路傳送電路。
  20. 一種影像處理裝置，包含運算電路及記憶電路， 該運算電路， 計算輸入之影片的畫面之雜湊值， 將該雜湊值記憶於該記憶電路， 並藉由在該輸入影片的多數畫面間比較該雜湊值而判斷畫面有變化或無變化，並於無變化之情形偵測為故障。
TW106143436A 2016-12-26 2017-12-12 影像處理裝置及半導體裝置 TW201835850A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-251112 2016-12-26
JP2016251112A JP2018107588A (ja) 2016-12-26 2016-12-26 画像処理装置および半導体装置

Publications (1)

Publication Number Publication Date
TW201835850A true TW201835850A (zh) 2018-10-01

Family

ID=60937496

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106143436A TW201835850A (zh) 2016-12-26 2017-12-12 影像處理裝置及半導體裝置

Country Status (6)

Country Link
US (1) US20180184080A1 (zh)
EP (1) EP3340631A1 (zh)
JP (1) JP2018107588A (zh)
KR (1) KR20180075402A (zh)
CN (1) CN108243336A (zh)
TW (1) TW201835850A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI812365B (zh) * 2022-07-25 2023-08-11 臺灣發展軟體科技股份有限公司 故障減輕方法及資料處理電路

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614613B2 (en) * 2017-07-28 2020-04-07 Nvidia Corporation Reducing noise during rendering by performing parallel path space filtering utilizing hashing
GB2579591B (en) * 2018-12-04 2022-10-26 Imagination Tech Ltd Buffer checker
GB2579590B (en) 2018-12-04 2021-10-13 Imagination Tech Ltd Workload repetition redundancy
CN111510669A (zh) * 2019-01-30 2020-08-07 拉碧斯半导体株式会社 视频信号处理装置、视频冻结检测电路和视频冻结的检测方法
JP7247760B2 (ja) * 2019-06-03 2023-03-29 株式会社デンソー 固着判断装置および固着判断方法
CN112669195A (zh) * 2020-12-23 2021-04-16 深圳开立生物医疗科技股份有限公司 一种超声图像处理方法、装置、设备及存储介质
WO2023067689A1 (ja) * 2021-10-19 2023-04-27 日産自動車株式会社 異常検出装置及び異常検出方法
CN114153409B (zh) * 2021-11-26 2023-12-08 珠海格力电器股份有限公司 光栅操作电路、装置、显示控制系统及显示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036927A (ja) 1999-07-23 2001-02-09 Canon Inc カメラの故障検出装置、検出方法及び記憶媒体
EP1678677A4 (en) * 2003-09-26 2008-02-20 Agency Science Tech & Res METHOD AND SYSTEM FOR PROTECTING AND AUTHENTICATING A DIGITAL IMAGE
US20080278508A1 (en) * 2007-05-11 2008-11-13 Swen Anderson Architecture and Method for Remote Platform Control Management
JP2008300980A (ja) 2007-05-29 2008-12-11 Canon Inc 画像処理装置および画像処理方法
CN105959688B (zh) * 2009-12-01 2019-01-29 数码士有限公司 用于解码高分辨率图像的方法
JP5914888B2 (ja) * 2011-04-28 2016-05-11 パナソニックＩｐマネジメント株式会社 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
CN103780899B (zh) * 2012-10-25 2016-08-17 华为技术有限公司 一种检测摄像机是否被干扰的方法、装置及视频监控系统
US20140369413A1 (en) * 2013-06-18 2014-12-18 Vmware, Inc. Systems and methods for compressing video data using image block matching
US9641809B2 (en) * 2014-03-25 2017-05-02 Nxp Usa, Inc. Circuit arrangement and method for processing a digital video stream and for detecting a fault in a digital video stream, digital video system and computer readable program product
JP6442910B2 (ja) * 2014-08-07 2018-12-26 株式会社デンソー 表示装置
JP6468846B2 (ja) * 2015-01-07 2019-02-13 ルネサスエレクトロニクス株式会社 画像符号化復号システムおよびその診断方法
US11095877B2 (en) * 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI812365B (zh) * 2022-07-25 2023-08-11 臺灣發展軟體科技股份有限公司 故障減輕方法及資料處理電路

Also Published As

Publication number Publication date
US20180184080A1 (en) 2018-06-28
JP2018107588A (ja) 2018-07-05
KR20180075402A (ko) 2018-07-04
CN108243336A (zh) 2018-07-03
EP3340631A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
TW201835850A (zh) 影像處理裝置及半導體裝置
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
JP5921469B2 (ja) 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム
US20180343461A1 (en) Video encoding/decoding system and diagnosis method thereof
JP3764505B2 (ja) 階層的動き推定を採用した動きベクトル決定方法
JP5869047B2 (ja) デジタルビデオデータを符号化するための方法
JP2011188243A5 (zh)
US8565315B2 (en) Image decoding device and image decoding method
JP2012244574A (ja) 映像監視装置
JP2008219141A (ja) 動きベクトル検出装置、それを用いた画像符号化装置および撮像装置
TW201820867A (zh) 用於編碼視訊之方法與編碼系統
JP2010258576A (ja) シーンチェンジ検出装置および映像記録装置
JP2006517363A (ja) モーションベクトルの予測方法及びシステム
JP2006203597A (ja) ディジタル画像復号装置及び方法
JP2019216354A (ja) 映像信号検出装置
JP2017069617A (ja) 半導体装置および画像符号化方法
JP2008028707A (ja) 画質評価装置、符号化装置及び画質評価方法
JP6225137B2 (ja) 車載カメラ画像処理装置
JP2016103808A (ja) 画像処理装置、画像処理方法及びプログラム
US9723326B2 (en) Image encoding method and image encoding appartaus
JP2002300600A (ja) 立体像符号化装置および立体像復号装置
JP2014195169A (ja) 画像処理装置
JP2897669B2 (ja) 動きベクトル検出装置
JP2000184380A (ja) 動画像圧縮符号化装置及び動画像圧縮復号装置
JP5880737B2 (ja) 動画像符号化装置