JP7385484B2 - 映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法 - Google Patents

映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法 Download PDF

Info

Publication number
JP7385484B2
JP7385484B2 JP2020011750A JP2020011750A JP7385484B2 JP 7385484 B2 JP7385484 B2 JP 7385484B2 JP 2020011750 A JP2020011750 A JP 2020011750A JP 2020011750 A JP2020011750 A JP 2020011750A JP 7385484 B2 JP7385484 B2 JP 7385484B2
Authority
JP
Japan
Prior art keywords
video
change
divided
video signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020011750A
Other languages
English (en)
Other versions
JP2020123950A (ja
Inventor
知行 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lapis Semiconductor Co Ltd
Original Assignee
Lapis Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lapis Semiconductor Co Ltd filed Critical Lapis Semiconductor Co Ltd
Publication of JP2020123950A publication Critical patent/JP2020123950A/ja
Priority to US17/152,299 priority Critical patent/US11652953B2/en
Priority to CN202110072628.2A priority patent/CN113259623A/zh
Application granted granted Critical
Publication of JP7385484B2 publication Critical patent/JP7385484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、映像信号の無変化を検出する映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法に関する。
現在、車両の運転者に対する運転支援を行うために、車載のカメラで撮影された車両前方の映像又は後方の映像を車載ディスプレイで表示させるようにした車両用表示システムが提案されている(例えば特許文献1参照)。
かかる車両用表示システムでは、カメラの撮影対象となっている風景が変化しているにも拘わらず、当該カメラで撮影された撮影映像信号に基づく映像が変化しない、いわゆる映像のフリーズを検出した場合に、その旨を知らせるフリーズ対応処理を行っている。このような映像のフリーズは、例えば走行中の風景を撮影しているカメラが故障し、当該故障したカメラが、故障直前の1フレーム分の撮影映像データを繰り返し出力するという状態に陥った場合に生じる。
そこで、上記した車両用表示システムでは、カメラで撮影された現フレームの映像データと、1フレーム前の映像データと、を比較し両者が一致している場合に映像がフリーズしたと判断している。尚、一般的に映像データのデータ量は大きいため、映像データ同士を直に比較すると、その比較処理に大きな負荷が掛かることになる。そこで、このような負荷を軽減させるため、かかる車両用表示システムでは、映像データ同士を比較するのではなく、例えばSHA、MD5、CRC(Cyclic Redundancy Check)等を映像データに施して得たハッシュ値同士を比較することを提案している。
特開2018-79839号公報
しかしながら、前述したような故障がカメラに生じている際にカメラ及びディスプレイ装置間の伝送路にノイズ等が混入すると、例えばハッシュ値としてのCRCの検査値は、当該ノイズの影響でフレーム毎に変化してしまう。
よって、この際、カメラで撮影された映像信号がフリーズしているにも拘わらず、伝送路上における現フレームの映像データと、1フレーム前の映像データとが不一致となることから、映像信号がフリーズしていることを検出することができない虞があった。
そこで、本発明は、例えばノイズ環境下においても、映像信号がフリーズしていることを正しく検出することが可能な映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法を提供することを目的とする。
本発明に係る映像信号処理装置は、一連のフレームからなる映像信号を受け、前記映像信号を前記フレーム毎に第1~第kの分割映像信号に分割する映像信号分割部と、前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成する映像変化検出部と、前記第1~第kの映像変化検出信号のうちで、前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数が所定数よりも多い場合に、前記映像信号に変化が無いことを表す映像無変化信号を生成する映像無変化判断部と、を含み、前記映像信号は、各フレーム毎に各画素の輝度レベルを第1~第k(kは2以上の整数)のビットで表すn(nは2以上の整数)個の画素データ片の系列を含み、前記映像信号分割部は、前記n個の前記画素データ片各々の前記第1~第kのビットを前記第1~第kの分割映像信号に夫々対応させてビット毎に分割し、対応したもの同士で前記n個の前記画素データ片各々の各ビットをグループ化することによって得た第1~第kのビット群を、前記第1~第kの分割映像信号として生成する
本発明に係る映像フリーズ検出回路は、一連のフレームからなる映像信号を受け、前記映像信号を前記フレーム毎に第1~第k(kは2以上の整数)の分割映像信号に分割する映像信号分割部と、前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成する映像変化検出部と、前記第1~第kの映像変化検出信号のうちで、前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数のM(Mは2以上の整数)フレーム期間内での平均数を求め、前記平均数が所定数より多い場合に、前記映像信号がフリーズしていることを表すフリーズ検出信号を出力するフリーズ判断部と、を含む。
本発明に係る映像フリーズの検出方法は、一連のフレームからなる映像信号をフレーム毎に第1~第k(kは2以上の整数)の分割映像信号に分割し、前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成し、前記第1~第kの映像変化検出信号のうちで前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数のM(Mは2以上の整数)フレーム期間内での平均数を求め、前記平均数が所定数より多い場合に、前記映像信号がフリーズしていることを表すフリーズ検出信号を出力する。
本発明は、フレーム毎に映像信号を複数の分割映像信号に分割し、分割映像信号の各々毎に、各フレーム間で映像変化が無いか否かを検出し、変化が無いことを表す映像変化検出信号の数が所定数よりも多い場合に、映像信号に変化が無いことを表す映像無変化信号を出力する。
かかる構成によれば、映像信号にフリーズが生じているにも拘らずノイズ等の影響で各フレームに対応した映像信号同士の一部に差異が生じていても、映像信号にフリーズが生じているという正しい検出結果を得ることが可能となる。
本発明に係る映像信号処理装置を含む運転支援システム10の概略構成を示すブロック図である。 撮影映像信号VDに含まれる画素データPDのデータフォーマットの一例を示す図である。 映像フリーズ検出回路21の内部構成の一例を示すブロック図である。 映像信号分割部211による撮影映像信号VDを分割する際の分割形態の一例を示す図である。 映像フリーズ検出回路21の内部構成の他の一例を示すブロック図である。 映像信号分割部211による撮影映像信号VDの分割形態の他の一例を示す図である。 映像信号分割部211による撮影映像信号VDの分割形態の他の一例を示す図である。 映像信号分割部211による撮影映像信号VDを分割する際の分割形態の更に他の一例を示す図である。 撮影映像信号VDに生じている映像フリーズとしての周期フリーズの形態の一例を示す図である。 周期フリーズを検出することが可能な映像フリーズ検出回路21Aの内部構成の一例を示すブロック図である。 周期フリーズが生じている撮影映像信号VDの一例と、イネーブル信号E1~E4とを示すタイムチャートである。 順不同フリーズを検出することが可能な映像フリーズ検出回路21Bの内部構成の一例を示すブロック図である。 順不同フリーズを検出することが可能な映像フリーズ検出回路21Bの内部構成の一例を示すブロック図である。 制御部CTaの内部構成を示すブロック図である。 順不同フリーズが生じている撮影映像信号VDの一例と、イネーブル信号M1~M4とを示すタイムチャートである。 順不同フリーズを検出することが可能な他の実施例としての映像フリーズ検出回路21Cの内部構成の一例を示すブロック図である。 フリーズ判定部220の内部構成を示すブロック図である。 順不同フリーズが生じている撮影映像信号VDの一例と、フリーズ判定部220の動作とを表すタイムチャートである。
図1は、本発明に係る映像信号処理装置を含む運転支援システム10の概略構成を示すブロック図である。
図1に示すように、運転支援システム10は、カメラ100、映像信号処理装置200、走行支援装置300及び表示デバイス400を有する。
カメラ100は、車両に設置されており、車両の前方、後方、及び車両の両サイドの風景を撮影して、各画素に対応した画素データ片の系列を含む映像信号を生成し、これを撮影映像信号VDとして映像信号処理装置200に供給する。
図2は、撮影映像信号VDにおける1画素分の画素データPDのデータフォーマットの一例を示す図である。
図2に示すように、画素データPDは、例えば赤色の輝度レベルを8ビットで表すビットR7~R0と、緑色の輝度レベルを8ビットで表すビットG7~G0と、青色の輝度レベルを8ビットで表すビットB7~B0と、を有する合計24ビットのデータである。よって、撮影映像信号VDにおける1フレームの画素数がn(nは2以上の整数)個である場合、1フレーム毎に、図2に示すデータフォーマットを有する画素データPDをn個含む撮影映像信号VDが映像信号処理装置200に供給される。
映像信号処理装置200は、映像フリーズ検出回路21及び映像調整回路22を含む。映像フリーズ検出回路21は、撮影映像信号VDに基づき、カメラ100で撮影された撮影映像が変化していない状態、いわゆるフリーズした状態にあるか否かを検出し、その検出結果を示すフリーズ検出信号FSを映像調整回路22に供給する。つまり、映像フリーズ検出回路21は、撮影映像がフリーズ状態にある場合には「フリーズ有り」、フリーズ状態では無い場合には「フリーズ無し」を示すフリーズ検出信号FSを映像調整回路22に供給する。
映像調整回路22は、「フリーズ無し」を示すフリーズ検出信号FSを受けた場合には、撮影映像信号VDに対して色合い、輝度、コントラスト等の調整を施して得られた信号を撮影映像信号VCDとして走行支援装置300に供給する。一方、「フリーズ有り」を示すフリーズ検出信号FSを受けた場合には、映像調整回路22は、その旨を表す映像信号を撮影映像信号VCDとして走行支援装置300に供給する。例えば、映像調整回路22は、撮影映像がフリーズ状態にあることを文字、或いは全画面単一色(例えば青色)で表す撮影映像信号VCDを走行支援装置300に供給する。
走行支援装置300は、撮影映像信号VCDに基づき、例えば前方車両との距離を一定に保って自車両を走行させる車間制御、走行車線に沿った走行を促す車線逸脱防止制御、他車両の近接を知らせる近接通知制御、衝突回避制御等の各種の走行支援制御を行う。この際、走行支援装置300は、当該走行支援制御に伴う各種の警告又は指示メッセ―ジを表す映像を、走行支援画像信号として表示部400に供給する。尚、走行支援装置300は、撮影映像信号VCDに基づく映像に上記した警告又は指示メッセ―ジを重畳させた映像信号、或いは撮影映像信号VCD自体を、モニタ映像信号として表示部400に供給するようにしても良い。
更に、走行支援装置300は、自身の現在位置、及び目的地までの道案内を行うナビゲーション機能を有し、当該自身の現在位置を含む周辺の地図画像を表す地図画像信号を表示部400に供給する。
表示部400は、上記した地図画像信号及び走行支援画像信号に基づく映像を表示するメインディスプレイの他に、例えば、ドアミラーに搭載されている発光指示器、又は室内ミラーを担う後方モニタ用ディスプレイを含む。例えば、カメラ100が車両の後方の風景を撮影する場合に、後方モニタ用ディスプレイは、撮影映像信号VCDに基づく映像を表示する。尚、メインディスプレイ及び後方モニタ用ディスプレイは、映像フリーズ検出回路21が、カメラ100による撮影映像がフリーズ状態にあると検出した場合には、その旨を文字、或いは全面単一色で表す映像を表示する。
以下に、かかる映像フリーズ検出回路21の詳細な構成について説明する。
図3は、映像フリーズ検出回路21の内部構成の一例を示すブロック図である。
図3に示すように、映像フリーズ検出回路21は、映像信号分割部211、映像変化検出部CR1~CR24、映像無変化判断部212、及び継続判定部213を含む。
映像信号分割部211は、カメラ100からの撮影映像信号VDを受け、当該撮影映像信号VDの1フレーム毎にこの撮影映像信号VDを24個に分割して、分割映像信号SP1~SP24を得る。
例えば、映像信号分割部211は、1フレーム分(n個)の画素データPDの各々を、図2に示す24ビット(R7~R0、G7~G0、B7~B0)のビット桁毎に24個に分割する。そして、映像信号分割部211は、n個の画素データPDの各々をビット桁毎に24分割した各ビットを同一ビット桁同士でグループ化することで24系統分のビット系列を生成し、夫々を表す分割映像信号SP1~SP24を得る。例えば、映像信号分割部211は、n個のビットR7の系列からなるビット系列を表す分割映像信号SP1、n個のビットR6の系列からなるビット系列を表す分割映像信号SP2、・・・、n個のビットB0の系列からなるビット系列を表す分割映像信号SP24を得る。尚、分割映像信号SP1~SP24は、映像変化検出部CR1~CR24と一対一の関係で対応している。
映像信号分割部211は、分割映像信号SP1~SP24を映像変化検出部CR1~CR24に供給する。すなわち、映像信号分割部211は、分割映像信号SPk(kは1~24の整数)を映像変化検出部CRkに供給する。
映像変化検出部CR1~CR24は夫々同一の内部構成、すなわちCRC演算回路Q1、1F遅延回路Q2及び比較回路Q3を有する。
以下に、映像変化検出部CR1~CR24のうちのCR1を抜粋して、その内部構成について説明する。
映像変化検出部CR1のCRC演算回路Q1は、分割映像信号SP1におけるビットR7の系列を1フレーム分(n個)毎に取り込み、そのn個のビットR7の系列からなるnビットのビット系列に対してCRC(Cyclic Redundancy Check)演算を施す。つまり、CRC演算回路Q1は、各フレームに対応したnビットのビット系列を所定の生成多項式で除算した際の余りを算出する。そして、CRC演算回路Q1は、このように各フレーム毎に算出した余りを検査値Crとして、1F遅延回路Q2及び比較回路Q3に供給する。1F遅延回路Q2は、当該検査値Crを1フレーム期間の分だけ遅延したものを遅延検査値Crdとして比較回路Q3に供給する。比較回路Q3は、検査値Crと、遅延検査値Crdとが同一であるか否かを判定し、両者が同一である場合には「変化無し」、両者が互いに異なっていれば「変化有り」を示す映像変化検出信号C1を映像無変化判断部212に供給する。
かかる構成により、映像変化検出部CR1は、先ず、分割映像信号SP1にて表されるnビットのビット系列、つまり1フレーム分のn個の画素データPD各々のビットR7だけをグループ化して構成したビット系列にCRC演算を施して検査値を得る。ここで、映像変化検出部CR1は、現フレームにおける検査値(Cr)と、1フレーム前のフレームにおける検査値(Crd)と、が一致している場合には、隣接するフレーム間で映像変化が無いと判断し、「変化無し」を表す映像変化検出信号C1を生成する。一方、現フレームにおける検査値(Cr)と、1フレーム前のフレームにおける検査値(Crd)と、が一致していない場合には、映像変化検出部CR1は、隣接するフレーム間で映像変化が有ると判断し、「変化有り」を表す映像変化検出信号C1を生成する。
よって、上記したCRC演算回路Q1、1F遅延回路Q2及び比較回路Q3を夫々含む映像変化検出部CR1~CR24は、夫々が受けた分割映像信号SP1~SP24に対してフレーム毎にCRC演算を施すことでCRCの検査値を得る。
そして、映像変化検出部CR1~CR24の各々は、隣接するフレーム間で検査値同士を比較することによって映像の変化が無いか否かを検出し、その検出結果を個別に示す映像変化検出信号C3~C24を生成する。
映像無変化判断部212は、映像変化検出信号C1~C24のうちで「変化無し」を表す映像変化検出信号の数が所定数Lよりも多い場合に、撮影映像信号VDに基づく映像に変化が無いと判断し、その旨を示す映像無変化信号JSを継続判定部213に供給する。
継続判定部213は、映像無変化信号JSがM(Mは1以上の整数)フレーム以上の期間に亘り継続する場合に「フリーズ有り」を示すフリーズ検出信号FSを出力し、それ以外の期間中は「フリーズ無し」を示すフリーズ検出信号FSを出力する。
よって、図3に示す映像フリーズ検出回路21では、撮影映像がフリーズしているにも拘わらずノイズ等の混入によって各フレームに対応した映像信号同士の一部に差異が生じていても、「フリーズ有り」を示すフリーズ検出信号FSを出力することが可能となる。
つまり、映像フリーズ検出回路21は、分割映像信号SP1~SP24のうちで映像変化が検出された分割映像信号の数が所定数L以下である場合には、これはノイズの影響等に伴う映像の変化であるとし、撮影映像自体には映像変化が生じていないと判断する。そして、このような状態がMフレームに亘って継続した場合に、映像フリーズ検出回路21は、撮影映像がフリーズしていると判断し、「フリーズ有り」を示すフリーズ検出信号FSを出力するのである。
従って、映像フリーズ検出回路21によれば、ノイズ環境下においても、カメラ100による撮影映像がフリーズしていることを正しく検出することが可能となる。
尚、上記した実施例では、映像信号分割部211にて撮影映像信号VDを分割するにあたり、フレーム毎に、夫々24ビットからなるn個の画素データPDを同一ビット桁同士でグループ化することで、24個の分割映像信号SP1~SP24を得ている。
しかしながら、映像信号分割部211としては、n個の画素データPD各々の各ビット桁を分割映像信号SP1~SP24に夫々対応させて分割するにあたり、各ビット桁と分割映像信号SP1~SP24との対応関係を画素データPD毎に変化させても良い。
図4は、かかる点に鑑みて為された、分割映像信号SP1~SP24の各々に含まれるビット群の形態の一例を示す図である。
つまり、映像信号分割部211は、1フレーム分の画素データPD1~PD(n)各々の各色(赤、緑、青)に対応したビット群を、図4の破線に示す形態で分割映像信号SP1~SP24に夫々対応づけしてグループ化する。
例えば、映像信号分割部211は、図4に示すように、画素データPD1~PD(n)の各々から各色の第7ビット群(R7、G7、B7)及び第0ビット群(R0、G0、B0)のうちの1ビットを選択し、グループ化したものを分割映像信号SP1とする。また、映像信号分割部211は、図4に示すように、画素データPD1~PD(n)の各々から各色の第6ビット群(R6、G6、B6)及び第1ビット群(R1、G1、B1)のうちの1ビットを選択し、グループ化したものを分割映像信号SP2とする。また、映像信号分割部211は、図4に示すように、画素データPD1~PD(n)の各々から各色の第5ビット群(R5、G5、B5)及び第2ビット群(R2、G2、B2)のうちの1ビットを選択し、グループ化したものを分割映像信号SP3とする。また、映像信号分割部211は、図4に示すように、画素データPD1~PD(n)の各々から各色の第4ビット群(R4、G4、B4)及び第3ビット群(R3、G3、B3)のうちの1ビットを選択し、グループ化したものを分割映像信号SP4とする。
以下に、図2に代えて図4に示すような形態で撮影映像信号VDを分割する理由を説明する。
つまり、CRCの検査値に基づき各フレーム間の映像の変化を検出する場合、例えフレーム毎に映像信号が変化していても、隣接するフレーム同士の検査値が互いに一致する可能性がある。
特に、図2に示す形態で分割した分割映像信号SP1~SP24を用いてフリーズ検出を行うと、例え撮影映像にフリーズが生じていなくても、撮影映像中の一部の色及びビットのみしか変化していない場合には、フリーズが生じていると誤判定する虞がある。
例えば、1フレーム分のn個の画素データPDにおいてビットR0及びR1のみがフレーム毎に変化するような撮影映像信号VDを受けた場合、その影響は分割映像信号SP1~SP24のうちのSP7及びSP8だけに表れる。これにより、映像変化検出部CR1~CR24のうちでCR7及びCR8が「変化有り」の検出結果を得る一方、CR7及びCR8を除く全ての映像変化検出部が「変化無し」の検出結果を得る。よって、この際、撮影映像にフリーズが生じていないにも拘らず、映像フリーズ検出回路21は、「フリーズ有り」を表す、誤ったフリーズ検出信号FSを出力する虞がある。
一方、図4に示す形態で分割した分割映像信号SP1~SP24を用いてフリーズ検出を行うと、画素データPD中の各ビット(R7~R0、G7~G0、B7~B0)は、複数の分割映像信号に分散して表れることになる。例えば、図4に示す一例では、各画素データPDのビットR0及びR1は、分割映像信号SP1、SP2、SP7、SP8、SP15~SP18、SP23及びSP24に表れる。よって、映像変化検出部CR1~CR24のうちの多くの映像変化検出部(CR1、CR2、CR7、CR8、CR15~CR18、CR23及びCR24)で「変化有り」の検出結果となるので、フリーズが生じているという誤検出の確率を下げることができる。
尚、上記した実施例では、撮影映像信号VDをフレーム毎に24個の分割映像信号(SP1~SP24)に分割し、分割映像信号の各々毎に映像が変化しているか否かを検出しているが、撮影映像信号VDを分割する数は24個に限定されない。また、撮影映像信号VDを分割する方法についても上記した実施例に限定されるものではない。例えば、上記した実施例のように画素データPDのビット単位で分割するのではなく、1画面の全領域を区分けする複数の領域毎に、その領域に属する画素データPDの単位で分割するようにしても良い。
また、上記実施例では、映像フリーズ検出回路21が、カメラ100で撮影された撮影映像信号VDに対して前述したようなフリーズ検出を施しているが、映像信号が予め記憶されているメモリから読み出された映像信号に対してフリーズ検出を行っても良い。また、上記実施例では、図2に示すデータフォーマットのように、赤色、緑色及び青色の輝度レベルを表す画素データPDを含む撮影映像信号VDを入力対象としているが、それ以外のデータフォーマットを有する映像信号を入力対象としても良い。要するに、誤り検出符号や誤り訂正符号を含まないものであれば、入力対象となる映像信号のデータフォーマットに制限はない。
また、上記実施例では、分割映像信号毎に映像が変化しているか否かを検出するにあたりCRCの検査値を用いているが、当該CRCの検査値に代わり、SHA(Secure Hash Algorithm)、或いはMD5(Message Digest Algorithm 5)等によるハッシュ値を用いても良い。
要するに、本発明に係る映像信号処理装置としては、以下の映像信号分割部、映像変化検出部、及び映像無変化判断部を含むものであれば良い。
映像信号分割部(211)は、映像信号(VD)を受け、この映像信号をフレーム毎にそのフレームに対応した第1~第k(kは2以上の整数)の分割映像信号(SP1~SP24)に分割する。映像変化検出部(CR1~CR24)は、第1~第kの分割映像信号の各々毎に、その分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号(C1~C24)を生成する。映像無変化判断部(212)は、第1~第kの映像変化検出信号のうちで、分割映像信号に基づく映像に変化が無いことを表す映像変化検出信号の数が所定数(L)よりも多い場合に、映像信号に変化が無いことを表す映像無変化信号(JS)を出力する。
尚、図3に示す実施例では、映像無変化判断部212及び継続判定部213が、映像変化検出信号C1~C24に基づき、撮影映像信号VDにフリーズが生じているか否かを判断し、その判断結果としてフリーズ検出信号FSを出力するようにしている。
そこで、映像無変化判断部212及び継続判定部213をフリーズ判断部として捉えるようにしても良い。
図5は、かかる点に鑑みて為された映像フリーズ検出回路21の構成の他の一例を示すブロック図である。
尚、図5に示される構成では、図3に示される映像無変化判断部212及び継続判定部213に代えてフリーズ判断部214を採用したものであり、映像信号分割部211及び映像変化検出部CR1~CR24の構成及び動作は、図3に示されるものと同一である。
フリーズ判断部214は、映像無変化判断部212及び継続判定部213と同様な動作で、映像変化検出信号C1~C24に基づきフリーズ検出信号FSを出力する。尚、フリーズ判断部214としては、映像変化検出信号C1~C24のうちで映像に変化が無いことを表す映像変化検出信号の数のM(Mは2以上の整数)フレーム期間内での平均数を求め、この平均数が所定数Lより多い場合に、撮影映像信号VDがフリーズしていることを表すフリーズ検出信号FSを出力するようにしても良い。
また、図1に示す一例では、映像フリーズ検出回路21を、映像信号のフリーズ状態を検出する為に用いているが、映像信号が静止画であるか否かを検出する静止画検出に用いることも可能である。
また、上記した実施例では、映像信号分割部211が図2又は図4に示すような形態で撮影映像信号VDを24個の分割映像信号SP1~SP24に分割しているが、このような分割の形態に限定されない。
図6A及び図6Bは、映像信号分割部211による撮影映像信号VDの分割形態の他の一例を示す図である。
映像信号分割部211は、図6Aに示すように、撮影映像信号VDに基づくフレームFMの画像領域を、複数の分割画像領域BKに区分けして捉える。そして、分割画像領域BK毎に、その分割画像領域BKでの表示を担う複数の画素データPDの各々を、複数のビットからなるビット群に分割し、互いに異なる画素データPD同士で当該ビット群をグループ化したものを、分割映像信号SP1~SP24に割り当てる。
例えば、図6Bに示す一例では、映像信号分割部211は、先ず、夫々が24ビットからなる画素データPD1~PD6を、夫々が3ビットからなる以下の第1~第8のビット群に分割する。
第1のビット群(R7~R5)、
第2のビット群(R4~R2)、
第3のビット群(R1、R0、G7)、
第4のビット群(G6~G4)、
第5のビット群(G3~G1)、
第6のビット群(G0、B7、B6)、
第7のビット群(B5~B3)、
第8のビット群(B2~B0)
ここで、映像信号分割211は、図6Bの破線に囲まれているように、画素データPD1及びPD2各々の第1のビット群(R7~R5)同士をグループ化したものを、分割映像信号SP1として割り当てる。また、映像信号分割211は、画素データPD1及びPD2各々の第2のビット群(R4~R2)同士をグループ化したものを、分割映像信号SP2として割り当てる。
このように、映像信号分割211は、画素データPD1及びPD2各々の第1~第8のビット群に対して同一のビット群同士をグループ化したものを、分割映像信号SP1~SP8として割り当てる。同様に、映像信号分割211は、画素データPD3及びPD4各々の第1~第8のビット群に対して同一のビット群同士をグループ化したものを、分割映像信号SP9~SP16として割り当てる。更に、映像信号分割211は、画素データPD5及びPD6各々の第1~第8のビット群に対して同一のビット群同士をグループ化したものを、分割映像信号SP17~SP24として割り当てる。
そして、映像信号分割211は、フレームFM内で、同一桁の分割映像信号SP同士をグループ化して得た分割映像信号SP1~SP24を、図3に示す映像無変化判断部212又は図5に示すフリーズ判断部214に供給する。
以下に、図2又は図4に代えて図6A及び図6Bに示す形態で撮影映像信号VDを分割する理由を説明する。
図2又は図4に示す形態で分割した分割映像信号SP1~SP24を用いたフリーズ検出によると、1つの画素データPDを除く全ての画素データPDにフリーズが生じている、例えば1つの画素データのR7~R0、G7~G0、B7~B0がフレーム期間毎に変化しているがそれ以外全ての画素データは変化しないという特殊な状況下で、映像変化検出信号C1~C24の全てが「変化有り」を示すものとなる。このような特殊な状況が発生する用途においては図2又は図4に示す形態での分割は適さない。
これに対して、図6A及び図6Bに示す形態で分割した分割映像信号SP1~SP24によれば、1つの画素データPDを除く全ての画素データPDにフリーズが生じている場合には、映像変化検出信号C1~C24のうちの大半が「変化無し」を示すものとなる。
例えば、フレームFM内の画素データPD1にフレーム期間毎の映像変化があり、他の画素データPD2~PD(n)がフリーズしている場合、映像変化検出信号C1~C24のうちで画素データPD1に関与している分割映像信号SP1~SP3に対応した3つのC1~C3が共に「変化有り」を示す。すなわち、映像変化検出信号C1~C3を除く他の映像変化検出信号C4~C24は全て「変化無し」を示す。よって、この際、映像無変化判断部212は、撮影映像信号VDに基づく映像に変化が無いと判断し、その旨を示す映像無変化信号JSを出力する。
従って、図6A及び図6Bに示すような映像分割によれば、撮影映像信号VDにおいてフレームFM内の一部の画素データだけにフレーム期間毎の映像変化が表れるという、実質的なフリーズ状態を確実に検出することが可能となる。
尚、図6A及び図6Bに示す一例では、互いに隣接する2つの画素に夫々対応した画素データ同士をグループ化しているが、この形態に限定されない。
要するに、映像信号分割部211は、映像信号に基づく1フレームの画像領域を複数の分割画像領域に区分けした分割画像領域毎に、その分割画像領域の表示を担う複数の画素データ片の各々を複数のビット群に分割する。そして、映像信号分割部211は、互いに異なる画素データ片同士で当該ビット群をグループ化して第1~第kのグループを得て、これら複数の分割画像領域各々の第1~第kのグループを同一のグループ同士でグループ化したものを第1~第kの分割映像信号とすれば良い。
図7は、映像信号分割部211による撮影映像信号VDの分割形態の他の一例を示す図である。
すなわち、映像信号分割部211は、図7に示すように、撮影映像信号VDに基づくフレームFMの画像領域を、24個に分割した第1~第24の分割画像領域に区分けする。この際、第1~第24の分割画像領域は、図7に示すように分割映像信号SP1~SP24に夫々対応している。
つまり、映像信号分割部211は、第1~第24の分割画像領域毎に、その分割画像領域の表示を担う画素データPDの各ビットをグループ化したものを分割映像信号SPとする。例えば、映像信号分割部211は、第1の分割画像領域での表示を担う各画素データPDの各ビットをグループ化したものを分割映像信号SP1、第2の分割画像領域での表示を担う各画素データPDの各ビットをグループ化したものを分割映像信号SP2とする。
映像信号分割部211は、図7に示すようにフレームFMの撮影映像信号VDを、図7に示すように、フレームFMを24個に分割した分割画像領域の単位で分割した分割映像信号SP1~SP24を映像無変化判断部212又はフリーズ判断部214に供給する。
以下に、図2又は図4に代えて図7に示す形態で撮影映像信号VDを分割する理由を説明する。
図2又は図4に示す形態で撮影映像信号VDを分割した分割映像信号SP1~SP24を用いたフリーズ検出には、前述したように、1つの画素データPDを除く全ての画素データPDにフリーズが生じるという特殊な状況が発生する用途には適さない。
これに対して図7に示すような分割形態によれば、フレームFMの一部の分割画像領域内で映像変化が有り、それ以外の他の分割画像領域が全てフリーズ状態になっている場合には、この一部の分割画像領域に対応した分割映像信号SPに基づく映像変化検出信号Cのみが「変化有り」を示す。よって、この際、映像無変化判断部212は、撮影映像信号VDに基づく映像に変化が無いと判断し、その旨を示す映像無変化信号JSを出力する。
従って、図7に示すような映像分割によれば、撮影映像信号VDにおいてフレームFM内の一部の画素データだけにフレーム期間毎の映像変化が表れるという、実質的なフリーズ状態を確実に検出することが可能となる。
尚、上記実施例では、フレームFMを24個に分割して夫々に対応した24個の分割映像信号SP1~SP24を生成しているが、その分割数は24個に限定されない。
要するに、映像信号分割部211は、映像信号に基づく1フレームの画像領域をk個の分割画像領域に区分けし、k個の前記分割画像領域各々の表示を担う複数の画素データ片を夫々第1~第kの分割映像信号として生成するものであれば良い。
ところで、撮影映像信号VDのフリーズ状態としては、上記したような互いに隣接するフレーム間で同一又は約同一の映像が継続する状態の他に、夫々が異なる映像を表す複数のフレームが周期的に繰り返される状態(以降、周期フリーズと称する)が考えられる。
例えば、カメラ100として、夫々が1フレーム分の撮影映像信号の格納が可能な複数の出力バッファを含み、各出力バッファから順に読み出した撮影映像信号を撮影映像信号VDとして出力するものを採用した場合に、上記したような周期フリーズが生じる。
図8は、カメラ100として4つの出力バッファを有するものを採用した場合に、当該カメラ100の故障に伴い撮影映像信号VDに生じる周期フリーズの一例を表す図である。
尚、図8に示す一例では、夫々が異なる映像内容を有する1フレーム毎の映像A、映像B、映像C、映像Dを表す撮影映像信号が夫々第1~第4のバッファに格納された状態でカメラ100が故障した際に、カメラ100から出力される撮影映像信号VDを表している。すなわち、このようなカメラ100を採用した場合に当該カメラ100が故障すると、4フレーム周期にて、夫々がフレーム毎に異なる内容の撮影映像A~Dがその順番で繰り返し表れるという周期フリーズが生じる。
図9は、かかる点に鑑みて為された、図8に示すような4フレーム周期での周期フリーズを検出することが可能な映像フリーズ検出回路21Aの内部構成を示すブロック図である。
映像フリーズ検出回路21Aは、上記した映像フリーズ検出回路21と同様に、撮影映像信号VDを図2、図4、図6A及び図6B、又は図7に示すように分割した分割映像信号SP1~SP24を生成する映像信号分割部211を有する。
尚、映像フリーズ検出回路21Aは、更に、図3に示す映像無変化判断部及び継続判定部213を含んでいるが、図9では記載を省略している。
すなわち、映像フリーズ検出回路21Aは、制御部CTを新たに設け、且つ図3に示す映像変化検出部CR1~CR24に代えて映像変化検出部CR1e~CR24eを採用した点を除く他の構成は、図3又は図5に示す映像フリーズ検出回路21と同一である。
ここで、図9に示す映像変化検出部CR1e~CR24eの各々は、イネーブル信号に応じて、自身を動作状態(イネーブル状態)及び停止状態(ディスエイブル状態)のうちの一方に設定する機能を有する点を除き、映像変化検出部CR1~CR24の各々と同一である。すなわち、映像変化検出部CR1e~CR24eの各々は、映像変化検出部CR1~CR24の各々と同様に、図3に示すCRC演算回路Q1、1F遅延回路Q2及び比較回路Q3を有する。ただし、これらCRC演算回路Q1、1F遅延回路Q2及び比較回路Q3は、例えば論理レベル1のイネーブル信号が供給されている間は前述した動作を行うものの、論理レベル0のイネーブル信号が供給されている間はその動作を停止する。
尚、1F遅延回路Q2は、論理レベル1のイネーブル信号が供給されている間は、CRC演算回路Q1から供給された検査値Crを取り込んで保持し、これを1フレーム期間の経過後に遅延検査値Crdとして出力するバッファメモリで構成されている。一方、論理レベル0のイネーブル信号が供給されている間は、1F遅延回路Q2は、検査値Crの取り込み動作を停止して、保持されている検査値Crを遅延検査値Crdとして出力する。
制御部CTは、かかるイネーブル信号として、撮影映像信号VDにおける各フレームに同期して、図10に示すイネーブル信号E1~E4を生成する。
すなわち、制御部CTは、撮影映像信号VDにおける第(4m-3)番目(mは2以上の整数)のフレームではイネーブル状態を示す論理レベル1を有し、それ以外のフレームではディスエイブル状態を示す論理レベル0を有するイネーブル信号E1を生成する。また、制御部CTは、撮影映像信号VDにおける第(4m-2)番目のフレームではイネーブル状態を示す論理レベル1を有し、それ以外のフレームではディスエイブル状態を示す論理レベル0を有するイネーブル信号E2を生成する。また、制御部CTは、撮影映像信号VDにおける第(4m-1)番目のフレームではイネーブル状態を示す論理レベル1を有し、それ以外のフレームではディスエイブル状態を示す論理レベル0を有するイネーブル信号E3を生成する。更に、制御部CTは、撮影映像信号VDにおける第(4m)番目のフレームではイネーブル状態を示す論理レベル1を有し、それ以外のフレームではディスエイブル状態を示す論理レベル0を有するイネーブル信号E4を生成する。
制御部CTは、イネーブル信号E1を、分割映像信号SP1~SP6を夫々受ける映像変化検出部CR1e~CR6eからなる第1の検出回路U1に供給する。また、制御部CTは、イネーブル信号E2を、分割映像信号SP7~SP12を夫々受ける映像変化検出部CR7e~CR12eからなる第2の検出回路U2に供給する。また、制御部CTは、イネーブル信号E3を、分割映像信号SP13~SP18を夫々受ける映像変化検出部CR13e~CR18eからなる第3の検出回路U3に供給する。更に、制御部CTは、イネーブル信号E4を、分割映像信号SP19~SP24を夫々受ける映像変化検出部CR19e~CR24eからなる第4の検出回路U4に供給する。
これにより、例えば図10に示すフレーム1では、論理レベル1のイネーブル信号E1に応じて、第1の検出回路U1に含まれる映像変化検出部CR1e~CR6eが動作状態となる。これにより、映像変化検出部CR1e~CR6eでは、このフレーム1の撮影映像Aに対応した分割映像信号SP1~SP6の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれる。尚、フレーム1に続くフレーム2~4では、図10に示すように、イネーブル信号E1は論理レベル0となり、映像変化検出部CR1e~CR6eは動作停止状態となる。よって、この間、映像変化検出部CR1e~CR6e各々の1F遅延回路Q2は、撮影映像Aに対応した分割映像信号SP1~SP6の各々に基づく検査値Crが保持された状態となる。
そして、図10に示すフレーム5での論理レベル1のイネーブル信号E1に応じて、映像変化検出部CR1e~CR6eが動作状態となる。これにより、映像変化検出部CR1e~CR6eでは、このフレーム5の撮影映像に対応した分割映像信号SP1~SP6の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれると共に、比較回路Q3に供給される。更に、この間、映像変化検出部CR1e~CR6e各々の1F遅延回路Q2に保持されていた、フレーム1の撮影映像Aに対応した分割映像信号SP1~SP6の各々に基づく検査値Crが1F遅延回路Q2から出力され、遅延検査値Crdとして比較回路Q3に供給される。ここで、図10に示すように、フレーム1及び5の撮影映像は共に撮影映像Aである。よって、フレーム5の時点で、映像変化検出部CR1e~CR6eは、夫々が「変化無し」を示す、映像変化検出信号C1~C6を映像無変化判断部212に供給する。
また、例えば図10に示すフレーム2では、論理レベル1のイネーブル信号E2に応じて、第2の検出回路U2に含まれる映像変化検出部CR7e~CR12eが動作状態となる。これにより、映像変化検出部CR7e~CR12eでは、このフレーム2の撮影映像Bに対応した分割映像信号SP7~SP12の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれる。尚、フレーム2に続くフレーム3~5では、図10に示すように、イネーブル信号E2は論理レベル0となり、映像変化検出部CR7e~CR12eは動作停止状態となる。よって、この間、映像変化検出部CR7e~CR12e各々の1F遅延回路Q2は、撮影映像Bに対応した分割映像信号SP7~SP12の各々に基づく検査値Crが保持された状態となる。
そして、図10に示すフレーム6での論理レベル1のイネーブル信号E2に応じて、映像変化検出部CR7e~CR12eが動作状態となる。これにより、映像変化検出部CR7e~CR12eでは、このフレーム6の撮影映像に対応した分割映像信号SP7~SP12の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれると共に、比較回路Q3に供給される。更に、この間、映像変化検出部CR7e~CR12e各々の1F遅延回路Q2に保持されていた、フレーム2の撮影映像Bに対応した分割映像信号SP7~SP12の各々に基づく検査値Crが1F遅延回路Q2から出力され、遅延検査値Crdとして比較回路Q3に供給される。ここで、図10に示すように、フレーム2及び6の撮影映像は共に撮影映像Bである。よって、フレーム6の時点で、映像変化検出部CR7e~CR12eは、夫々が「変化無し」を示す、映像変化検出信号C7~C12を映像無変化判断部212に供給する。
また、例えば図10に示すフレーム3では、論理レベル1のイネーブル信号E3に応じて、第3の検出回路U3に含まれる映像変化検出部CR13e~CR18eが動作状態となる。これにより、映像変化検出部CR13e~CR18eでは、このフレーム3の撮影映像Cに対応した分割映像信号SP13~SP18の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれる。尚、フレーム3に続くフレーム4~6では、図10に示すように、イネーブル信号E3は論理レベル0となり、映像変化検出部CR13e~CR18eは動作停止状態となる。よって、この間、映像変化検出部CR13e~CR18e各々の1F遅延回路Q2は、撮影映像Cに対応した分割映像信号SP13~SP18の各々に基づく検査値Crが保持された状態となる。
そして、図10に示すフレーム7での論理レベル1のイネーブル信号E3に応じて、映像変化検出部CR13e~CR18eが動作状態となる。これにより、映像変化検出部CR13e~CR18eでは、このフレーム7の撮影映像に対応した分割映像信号SP13~SP18の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれると共に、比較回路Q3に供給される。更に、この間、映像変化検出部CR13e~CR18e各々の1F遅延回路Q2に保持されていた、フレーム3の撮影映像Cに対応した分割映像信号SP13~SP18の各々に基づく検査値Crが1F遅延回路Q2から出力され、遅延検査値Crdとして比較回路Q3に供給される。ここで、図10に示すように、フレーム3及び7の撮影映像は共に撮影映像Cである。よって、フレーム7の時点で、映像変化検出部CR13e~CR18eは、夫々が「変化無し」を示す、映像変化検出信号C13~C18を映像無変化判断部212に供給する。
また、例えば図10に示すフレーム4では、論理レベル1のイネーブル信号E4に応じて、第4の検出回路U4に含まれる映像変化検出部CR19e~CR24eが動作状態となる。これにより、映像変化検出部CR19e~CR24eでは、このフレーム4の撮影映像Dに対応した分割映像信号SP19~SP24の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれる。尚、フレーム4に続くフレーム5~7では、図10に示すように、イネーブル信号E4は論理レベル0となり、映像変化検出部CR19e~CR24eは動作停止状態となる。よって、この間、映像変化検出部CR19e~CR24e各々の1F遅延回路Q2は、撮影映像Dに対応した分割映像信号SP19~SP24の各々に基づく検査値Crが保持された状態となる。
そして、図10に示すフレーム8での論理レベル1のイネーブル信号E4に応じて、映像変化検出部CR19e~CR24eが動作状態となる。これにより、映像変化検出部CR19e~CR24eでは、このフレーム8の撮影映像に対応した分割映像信号SP19~SP24の各々に基づく検査値Crが、夫々の1F遅延回路Q2に取り込まれると共に、比較回路Q3に供給される。更に、この間、映像変化検出部CR19e~CR24e各々の1F遅延回路Q2に保持されていた、フレーム4の撮影映像Dに対応した分割映像信号SP19~SP24の各々に基づく検査値Crが1F遅延回路Q2から出力され、遅延検査値Crdとして比較回路Q3に供給される。ここで、図10に示すように、フレーム4及び8の撮影映像は共に撮影映像Dである。よって、フレーム8の時点で、映像変化検出部CR19e~CR24eは、夫々が「変化無し」を示す映像変化検出信号C19~C24を映像無変化判断部212に供給する。
これにより、映像無変化判断部212及び継続判断部213は、映像変化検出信号C1~C24に基づき、4フレーム周期にて夫々フレーム毎に異なる内容の4つの撮影映像がその順番で繰り返し表れる周期フリーズが生じているか否かを示すフリーズ検出信号FSを出力することが可能となる。
尚、上記実施例では、分割映像信号に対してCRC演算を施したもので、フレーム毎の映像変化を検出しているが、CRC演算以外の処理を適用しても良い。
要するに、映像変化検出部CRとしては、第1~第kの分割映像信号(SP)毎に、分割映像信号における各フレームの映像と、当該フレームから所定数フレームだけ後方のフレームの映像との間に変化が無いか否かを検出し、夫々の検出結果を第1~第kの映像変化検出信号(C)として生成するものであれば良い。
また、上記実施例では、1F遅延回路Q2の取込み動作を制御部CTで制御するようにしているが、制御部CTを省き、制御部CTの機能を1F遅延回路Q2に設けるようにしても良い。
要するに、映像変化検出部CRとしては、以下のCRC演算回路、第1~第kの遅延回路、及び比較回路を含むものであれば良い。つまり、CRC演算回路は、第1~第kの分割映像信号に対して個別にCRC(Cyclic Redundancy Check)演算を施して第1~第kの検査値(Cr)を算出する。第1~第kの遅延回路(Q2)は、第1~第kの検査値を所定数フレームの周期で取り込んで保持し、保持した第1~第kの検査値を第1~第kの遅延検査値(Crd)として出力する。比較回路(Q3)は、第1~第kの検査値の各々と第1~第kの遅延検査値の各々とを対応するもの同士で同一であるか否かの判定を行い、その判定結果を個別に示すk個の信号を第1~第kの映像変化検出信号(C)として生成する。
ところで、上記した周期フリーズの形態としては、上述したようにフレーム毎に映像内容が異なる第1~第4の撮影映像がその順番で繰り返し表れるのではなく、順不同にて表れる場合(順不同フリーズと称する)が考えられる。
図11A~図11Cは、このような順不同フリーズを検出することが可能な映像フリーズ検出回路21Bの内部構成を示すブロック図である。
尚、映像フリーズ検出回路21Bは、制御部CTに代えて制御部CTaを採用し、映像変化検出部CR1e~CR24eに代えて映像変化検出部CR1f~CR24fを採用したものである。更に、映像フリーズ検出回路21Bは、映像無変化判断部212に代えて、図11Bに示す映像無変化判断部212a~212dを採用したものであり、それ以外の構成は、図9に示す映像フリーズ検出回路21Aと同一である。
映像変化検出部CR1f~CR24fの各々は、映像変化検出部CR1e~CR24eの各々と同様に、図3に示すCRC演算回路Q1、1F遅延回路Q2及び比較回路Q3を有する。
ただし、映像変化検出部CR1f~CR24fの各々では、CRC演算回路Q1、1F遅延回路Q2及び比較回路Q3のうちの1F遅延回路Q2だけがイネーブル信号の制御対象となる。つまり、1F遅延回路Q2は、イネーブル状態を示す論理レベル1のイネーブル信号を受けている間は検査値Crの取込みを行い、その検査値Crを保持しつつ遅延検査値Crdとして出力する。一方、ディスエイブル状態を示す論理レベル0のイネーブル信号を受けた場合には、1F遅延回路Q2は、検査値Crの取込み動作を停止し、つまり新たな検査値Crへの更新を停止し、現段階で保持している遅延検査値Crdを引き続き出力する。
映像無変化判断部212aは、映像変化検出部CR1f~CR6fから供給された検査値C1~C6のうちで「変化無し」を表す映像変化検出信号の数が所定数よりも多い場合に、分割映像信号SP1~SP6に基づく映像に変化が無いと判断し、その旨を示す映像無変化信号JS1を制御部CTaに供給する。
映像無変化判断部212bは、映像変化検出部CR7f~CR12fから供給された検査値C7~C12のうちで「変化無し」を表す映像変化検出信号の数が所定数よりも多い場合に、分割映像信号SP7~SP12に基づく映像に変化が無いと判断し、その旨を示す映像無変化信号JS2を制御部CTaに供給する。
映像無変化判断部212cは、映像変化検出部CR13f~CR18fから供給された検査値C13~C18のうちで「変化無し」を表す映像変化検出信号の数が所定数よりも多い場合に、分割映像信号SP13~SP18に基づく映像に変化が無いと判断し、その旨を示す映像無変化信号JS3を制御部CTaに供給する。
映像無変化判断部212dは、映像変化検出部CR19f~CR24fから供給された検査値C19~C24のうちで「変化無し」を表す映像変化検出信号の数が所定数よりも多い場合に、分割映像信号SP19~SP24に基づく映像に変化が無いと判断し、その旨を示す映像無変化信号JS4を制御部CTaに供給する。
制御部CTaは、映像無変化信号JSに基づき、撮影映像信号VDにおける各フレームに同期して例えば図12に示すイネーブル信号M1~M4を生成する。
図11Cは、制御部CTaの内部構成を示すブロック図である。
図11Cにおいて、更新番号設定部NSCは、イネーブル信号M1~M4のうちで、論理レベル0の状態からイネーブル状態を表す論理レベル1に遷移したイネーブル信号の番号(つまり、1~4のうちの1つ)を、前回の分割映像信号の更新に用いたイネーブル信号の番号として表す前回更新番号として検知する。更新番号設定部NSCは、かかる前回更新番号をイネーブル信号生成部EGCに供給する。
イネーブル信号生成部EGCは、映像無変化信号JS1~JS4のうちのいずれか1つを受けた場合には、ディスエイブル状態を表す論理レベル0のイネーブル信号M1~M4を生成する。
また、イネーブル信号生成部EGCは、更新番号設定部NSCから供給された前回更新番号に1を加算したものを、イネーブル状態の次期候補となるイネーブル信号の番号を表すイネーブル候補番号nとしてを求める。
ここで、イネーブル信号生成部EGCは、映像無変化信号JS1~JS4を一切受けていない場合、つまり撮影映像信号に変化がある場合には、イネーブル信号M1~M4のうちでイネーブル候補番号nにて表されるイネーブル信号Mnを論理レベル1、その他のイネーブル信号Mを全て論理レベル0とした、イネーブル信号M1~M4を生成する。
このように、制御部CTaは、映像変化検出部CR1f~CR24fに含まれる24個の遅延回路Q2aを4個のグループ(U1~U4)に区分けした第1~第4の遅延回路群の各々に対して、連続するフレームのうちの夫々異なるフレームのタイミング、つまりイネーブル信号M1~M4が論理レベル1となるタイミングで検査値Crを取り込ませる制御を施す。この際、制御部CTaは、分割映像信号SP1~SP24のうちの一部が映像変化無しを表す場合には、各遅延回路Q2aによる検査値Crの取込み動作を停止させる。尚、分割映像信号SP1~SP24が映像変化有りを表す状態に変化したときには、制御部CTaは、連続するフレームのうちで、取込み動作を停止させた直前のフレームの次のフレームのタイミングから検査値Crの取込み動作を再開させる。
つまり、制御部CTaは、撮影映像信号VDにおけるフレーム毎に、イネーブル信号M1~M4に対して1つずつ順にイネーブル状態を示す論理レベル1に変化させ、それ以外のイネーブル信号M1~M4はディスエイブル状態を示す論理レベル0を有するようなイネーブル信号M1~M4を生成する。
要するに、制御部CTaは、映像信号に変化が無いことを表す映像無変化信号に応じて、映像変化検出部CR1f~CR24fの各々に含まれる遅延回路Q2による検査値Crの取込み動作を停止させる制御を行うのである。
一方、映像無変化信号JS1~JS4を受けたときには、制御部CTaは、イネーブル信号M1~M4を全て、ディスエイブル状態を示す論理レベル0に固定する。
以下に、図12に示す撮影映像信号VDを例にとって、映像フリーズ検出回路21による順不同フリーズの検出動作について説明する。尚、図12では、フレーム毎に異なる内容の撮影映像A~Dが順不同にて表れる順不同フリーズが生じている状態を示している。
先ず、図12に示すフレーム1~フレーム4の期間中は、夫々異なる内容の撮影映像B、D、C、Aが撮影映像信号VDに表れる。尚、フレーム1の直前では、映像変化検出信号C1~C24が全て「変化有り」を示すものとする。ここで、フレーム1~フレーム4の期間中は、フレーム毎に内容が異なる撮影映像A~Dが撮影映像信号VDに表れるので、映像変化検出信号C1~C24は全て「変化有り」を示すものとなる。
よって、かかる「変化有り」を示す映像変化検出信号C1~C24により、制御部CTaは、図12に示すように、フレーム1~フレーム4に対して順に論理レべル1の状態となるイネーブル信号M1~M4を検出回路U1~U4に供給する。
これにより、先ず、フレーム1では、論理レベル1のイネーブル信号M1に応じて、撮影映像Bに基づく検査値Crが映像変化検出部CR1f~CR6f各々の1F遅延回路Q2に取り込まれ保持される。
フレーム1に続くフレーム2では、論理レベル1のイネーブル信号M2に応じて、撮影映像Dに基づく検査値Crが映像変化検出部CR7f~CR12f各々の1F遅延回路Q2に取り込まれ保持される。
フレーム2に続くフレーム3では、論理レベル1のイネーブル信号M3に応じて、撮影映像Aに基づく検査値Crが映像変化検出部CR13f~CR18f各々の1F遅延回路Q2に取り込まれ保持される。
フレーム3に続くフレーム4では、論理レベル1のイネーブル信号M4に応じて、撮影映像Cに基づく検査値Crが映像変化検出部CR19f~CR24f各々の1F遅延回路Q2に取り込まれ保持される。
ここで、フレーム2~4において、映像変化検出部CR1f~CR6f各々の比較回路Q3は、1F遅延回路Q2に保持されている撮影映像Bに基づく遅延検査値Crdと、当該フレーム2~4で表れる撮影映像D、A、Cの各々に基づく各検査値Crと、を順に比較する。
また、フレーム3及び4において、映像変化検出部CR7f~CR12f各々の比較回路Q3は、1F遅延回路Q2に保持されている撮影映像Dに基づく遅延検査値Crdと、当該フレーム3、4で表れる撮影映像A、Cの各々に基づく各検査値Crと、を順に比較する。
また、フレーム4において、映像変化検出部CR13f~CR18f各々の比較回路Q3は、1F遅延回路Q2に保持されている撮影映像Aに基づく遅延検査値Crdと、当該フレーム4で表れる撮影映像Cに基づく各検査値Crと、を比較する。この際、フレーム1~4において表れる撮影映像A~Dは全て異なる内容の映像であるので、映像変化検出部CR1f~CR24は、「変化有り」を示す映像変化検出信号C1~C24を出力する。
ところで、フレーム4に続くフレーム5では、撮影映像Aに基づく各検査値Crが、映像変化検出部CR1f~CR24f各々の比較回路Q3に供給される。この際、映像変化検出部CR13f~CR18f各々の1F遅延回路Q2には、フレーム3の撮影映像Aに基づく検査値Crが保持されており、この検査値Crに対応した遅延検査値Crdが比較回路Q3に供給されている。従って、映像変化検出部CR13f~CR18f各々の比較回路Q3は、フレーム3の撮影映像Aとフレーム5の撮影映像Aとが同一であることから、「変化無し」を示す映像変化検出信号C13~C18を出力する。
よって、「変化無し」を示す映像変化検出信号C13~C18により、制御部CTaは、フレーム5において、映像変化検出部CR1f~CR24f各々の1F遅延回路Q2の検査値Crの取込み動作を停止させるために、イネーブル信号M1~M4を論理レベル0に固定する。
フレーム5に続くフレーム6では、映像変化検出部CR7f~CR12f各々の1F遅延回路Q2には、フレーム2の撮影映像Dに基づく検査値Crが保持されており、この検査値Crに対応した遅延検査値Crdが比較回路Q3に供給されている。また、当該フレーム6では、撮影映像信号VDに表れた撮影映像Dに基づく検査値Crが映像変化検出部CR1f~CR24f各々の比較回路Q3に供給される。従って、映像変化検出部CR7f~CR12f各々の比較回路Q3は、フレーム2の撮影映像Dとフレーム6の撮影映像Dとが同一であることから、かかるフレーム6において、「変化無し」を示す映像変化検出信号C7~C12を出力する。
また、フレーム6に続くフレーム7では、映像変化検出部CR1f~CR6f各々の1F遅延回路Q2には、フレーム1の撮影映像Bに基づく検査値Crが保持されており、この検査値Crに対応した遅延検査値Crdが比較回路Q3に供給されている。また、当該フレーム7では、撮影映像信号VDに表れた撮影映像Bに基づく検査値Crが映像変化検出部CR1f~CR24f各々の比較回路Q3に供給される。従って、映像変化検出部CR1f~CR6f各々の比較回路Q3は、フレーム1の撮影映像Bとフレーム7の撮影映像Bとが同一であることから、かかるフレーム7において、「変化無し」を示す映像変化検出信号C1~C6を出力する。
また、フレーム7に続くフレーム8では、映像変化検出部CR19f~CR24f各々の1F遅延回路Q2には、フレーム4の撮影映像Cに基づく検査値Crが保持されており、この検査値Crに対応した遅延検査値Crdが比較回路Q3に供給されている。また、当該フレーム8では、撮影映像信号VDに表れた撮影映像Cに基づく検査値Crが映像変化検出部CR1f~CR24f各々の比較回路Q3に供給される。従って、映像変化検出部CR19f~CR24f各々の比較回路Q3は、フレーム4の撮影映像Cとフレーム8の撮影映像Cとが同一であることから、かかるフレーム8において、「変化無し」を示す映像変化検出信号C19~C24を出力する。
上記した映像変化検出信号C1~C24により、映像無変化判断部及び継続判定部213は、撮影映像信号VDに順不同フリーズが生じているか否かを表すフリーズ検出信号FSを生成することが可能となる。
図13は、上記したような順不同フリーズを検出することが可能な映像フリーズ検出回路の他の一例としての映像フリーズ検出回路21Cの内部構成を示すブロック図である。尚、映像フリーズ検出回路21Cは、映像変化検出部CR1~CR24に代えて映像変化検出部CR1g~CR24gを採用し、且つ継続判定部213に代えてフリーズ判定部220を採用した点を除く他の構成は、図3に示すものと同一である。
映像変化検出部CR1g~CR24g各々の内部構成についても、1F遅延回路Q2に代えて1F遅延回路Q2aを採用した点を除く他の構成は図3に示すものと同一である。
1F遅延回路Q2aは、例えば論理レベル1のイネーブル信号が供給されている間は、CRC演算回路Q1から供給された検査値Crを取り込んで保持し、これを1フレーム期間の経過後に遅延検査値Crdとして出力するバッファメモリで構成されている。一方、論理レベル0のイネーブル信号が供給されている間は、1F遅延回路Q2aは、検査値Crの取り込み動作を停止して、保持されている検査値Crを遅延検査値Crdとして出力する。
フリーズ判定部220は、映像無変化判断部212から供給された映像無変化信号JSに基づき、継続判定部213と同様に、撮影映像信号VDにフリーズが生じているか否かを示すフリーズ検出信号FSを出力する。
更に、フリーズ判定部220は、映像無変化信号JSに基づき、イネーブル状態を示す論理レベル1又はディスエイブル状態を示す論理レベル0を有するイネーブル信号MEを生成し、映像変化検出部CR1g~CR24g各々の1F遅延回路Q2aに供給する。
図14は、フリーズ判定部220の内部構成を示すブロック図である。
図14に示すように、フリーズ判定部220は、不一致フレームカウンタ221及び継続判定部213Aを含む。
不一致フレームカウンタ221は、当該映像無変化信号JSを受けていない場合、つまり、互いに隣接するフレーム同士の映像内容が不一致であることを示している間は、撮影映像信号VDにおけるフレームの数を1つずつカウントする。この際、そのカウント値が所定の第1カウント値に到達するまでの間に亘り、不一致フレームカウンタ221は、ディスエイブル状態を示す論理レベル0のイネーブル信号MEを生成する。その後、当該カウント値が第1カウント値に到達すると、不一致フレームカウンタ221は、イネーブル信号MEを論理レベル0からイネーブル状態を示す論理レベル1に遷移すると共に、そのカウント値をゼロにリセットする。
不一致フレームカウンタ221は、かかるイネーブル信号MEを、継続判定部213A及び映像変化検出部CR1g~CR24g各々の1F遅延回路Q2aに供給する。
継続判定部213Aは、例えば図14に示す一致フレームカウンタ2220から構成される。
一致フレームカウンタ2220は、当該映像無変化信号JSを受けた場合、つまり、互いに隣接するフレーム同士の映像内容が一致していることを示している間に亘り、そのフレームの数を1つずつカウントする。尚、一致フレームカウンタ2220は、不一致フレームカウンタ221から論理レベル1のイネーブル信号MEが供給された場合には、自身のカウント値をゼロにリセットする。
一致フレームカウンタ2220は、自身のカウント値が所定の第2カウント値に到達するまでの間に亘り、撮影映像信号VDにフリーズが生じていないことを示す例えば論理レベル0のフリーズ検出信号FSを出力する。一方、自身のカウント値が第2カウント値に到達したら、一致フレームカウンタ2220は、撮影映像信号VDにフリーズが生じていることを示す例えば論理レベル1のフリーズ検出信号FSを出力する。
次に、かかるフリーズ判定部220による順不同周期フレームの検出動作について、上記した第1カウント値を「12」及び第2カウント値を「3」として、図15に示すタイムチャートに沿って説明する。
尚、図15に示すタイムチャートでは、撮影映像信号VD中に、互いに異なる映像内容からなるフレーム毎の映像X1~X13が順に表れ、引き続き、互いに異なる映像内容からなるフレーム毎の映像A~Dが順不同にて4フレーム周期で表れた状態を示している。
また、図15に示すタイムチャートでは、映像X1のフレームにおいて、論理レベル1のイネーブル信号MEに応じて1F遅延回路Q2aには、映像X1に基づく検査値が保持されているものとする。
その後、映像内容が映像X1とは一致しない映像X2~X13が順に現れることから、この間、不一致フレームカウンタ221は、自身のカウント値をフレーム毎に1ずつ増加してゆく。更に、この間、イネーブル信号MEは論理レベル0の状態を維持するので、1F遅延回路Q2aの内容は更新されない。よって、1F遅延回路Q2aは、映像X1に基づく検査値の保持状態を継続する。
ここで、撮影映像信号VD中に、映像X13の次のフレームで映像Aが表れた時点で、不一致フレームカウンタ221のカウント値が第1カウント値である「12」に至ると、イネーブル信号MEが論理レベル0から論理レベル1に遷移する。これにより、1F遅延回路Q2aには、映像Aに基づく検査値が取り込まれ、これが保持される。更に、この論理レベル1のイネーブル信号MEに応じて不一致フレームカウンタ221のカウント値はゼロにリセットされる。そして、映像無変化信号JSを受けた場合、つまり撮影映像信号VD中に再び映像Aが表れる状態に至るまでの間に亘り、不一致フレームカウンタ221は、フレーム毎にそのカウント値を1つずつ増加してゆく。また、不一致フレームカウンタ221のカウント値がゼロにリセットされることで、イネーブル信号MEは論理レベル1から論理レベル0に遷移し、この状態を不一致フレームカウンタ221のカウント値が「12」に至るまで継続する。
尚、図15に示す実施例では、映像Aに続く、各フレームで映像B、C、C、D、B、Cが表れた次のフレーム、つまり、不一致フレームカウンタ221のカウント値が「5」となるフレームで、再び撮影映像信号VD中に映像Aが表れる。よって、映像無変化信号JSが供給され、不一致フレームカウンタ221のカウント値はゼロにリセットされる。更に、このフレームで映像無変化信号JSを受けることから、一致フレームカウンタ2220は、自身のカウント値を1つ増加して「1」にする。
引き続き、映像D、C、D、Bが表れた次のフレーム、つまり、不一致フレームカウンタ221のカウント値が「4」となるフレームで、再び撮影映像信号VD中に映像Aが表れる。よって、映像無変化信号JSが供給され、不一致フレームカウンタ221のカウント値はゼロにリセットされる。更に、このフレームで、一致フレームカウンタ2220は、自身のカウント値を1つ増加して「2」にする。
引き続き、映像B、Dが表れた次のフレーム、つまり、不一致フレームカウンタ221のカウント値が「2」となるフレームで、再び撮影映像信号VD中に映像Aが表れる。よって、映像無変化信号JSが供給され、不一致フレームカウンタ221のカウント値はゼロにリセットされる。更に、このフレームで、一致フレームカウンタ2220は、自身のカウント値を1つ増加して「3」にする。
この際、一致フレームカウンタ2220は、自身のカウント値が第2カウント値である「3」に至ったことから、順不同フリーズが生じていることを示す論理レベル1のフリーズ検出信号FSを出力する。
このように、映像フリーズ検出回路21Cでは、1フレームの映像と同一の映像が、そのフレームに続く第1の所定数(図15では第1カウント値「12」に1を加えた「13」)のフレームにおいて表れなかった場合にだけ、映像変化検出部CR1g~CR24g各々の1F遅延回路2aの保持内容を更新する。ここで、連続する所定数のフレーム内で1F遅延回路2aに保持された検査値に対応した映像と同一の映像が撮影映像信号VD中に表れる状態が、第2の所定数(図15では第2カウント値「3」)だけ連続したら、映像フリーズ検出回路21Cは、順不同フリーズが生じていることを示すフリーズ検出信号FSを出力する。
映像フリーズ検出回路21Cによれば、映像フリーズ検出回路21Bに比べて小規模な構成で、順不同フリーズを検出することが可能となる。
尚、映像フリーズ検出回路21C、不一致フレームカウンタ221、及び継続判定部213Aの構成及びその動作は、前述した構成及び動作に限定されない。
要するに、映像フリーズ検出回路21Cとしては、以下のCRC演算回路、第1~第kの遅延回路及び比較回路を含む映像変化検出部と、フリーズ判定部と、を含むものであれば良い。
つまり、CRC演算回路は、第1~第kの分割映像信号に対して個別にCRC(Cyclic Redundancy Check)演算を施して第1~第kの検査値(Cr)を算出する。第1~第kの遅延回路(Q2a)は、イネーブル状態を表すイネーブル信号(ME)に応じて第1~第kの検査値を取り込んで保持し、保持した第1~第kの検査値を第1~第kの遅延検査値(Crd)として出力する。比較回路(Q3)は、第1~第kの検査値の各々と第1~第kの遅延検査値の各々とを対応するもの同士で、同一であるか否かの判定を行い、その判定結果を個別に示すk個の信号を第1~第kの映像変化検出信号(C)として生成する。
フリーズ判定部(220)は、不一致フレームカウンタ及び継続判定部を含む。
不一致フレームカウンタ(221)は、映像無変化信号(JS)を受けていない状態において映像信号におけるフレームの数をカウントしそのカウント値が所定のM(Mは2以上の整数)フレーム数に到達したら、イネーブル状態を示すイネーブル信号(ME)を第1~第kの遅延回路に供給し、映像無変化信号を受けた場合にはそのカウント値を初期値(例えばゼロ)にリセットする。
継続判定部(213A)は、Mフレームの期間内で少なくとも1度、映像無変化信号を受ける状態が、後続するフレーム群において連続して所定回数に亘り継続した場合に映像フリーズが生じていることを示すフリーズ検出信号(FS)を生成する。
かかる構成により、フリーズ判定部は、映像信号中に互いに異なる映像内容の複数のフレームが順不同にて複数フレームの周期毎に現れる、順不同フリーズが生じているか否かを表すフリーズ検出信号を生成する。
10 運転支援システム
21 映像フリーズ検出回路
100 カメラ
200 映像信号処理装置
211 映像信号分割部
212 映像無変化判断部
213 継続判定部
214 フリーズ判断部
CR1~CR24 映像変化検出部
Q1 CRC演算回路
Q2 1F遅延回路
Q3 比較回路

Claims (13)

  1. 一連のフレームからなる映像信号を受け、前記映像信号を前記フレーム毎に第1~第k(kは2以上の整数)の分割映像信号に分割する映像信号分割部と、
    前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成する映像変化検出部と、
    前記第1~第kの映像変化検出信号のうちで、前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数が所定数よりも多い場合に、前記映像信号に変化が無いことを表す映像無変化信号を生成する映像無変化判断部と、を含み、
    前記映像信号は、各フレーム毎に各画素の輝度レベルを第1~第k(kは2以上の整数)のビットで表すn(nは2以上の整数)個の画素データ片の系列を含み、
    前記映像信号分割部は、
    前記n個の前記画素データ片各々の前記第1~第kのビットを前記第1~第kの分割映像信号に夫々対応させてビット毎に分割し、対応したもの同士で前記n個の前記画素データ片各々の各ビットをグループ化することによって得た第1~第kのビット群を、前記第1~第kの分割映像信号として生成することを特徴とする映像信号処理装置。
  2. 前記映像無変化信号がM(Mは2以上の整数)フレームの期間に亘り継続した場合に前記映像信号がフリーズしていることを表すフリーズ検出信号を出力する継続判定部を含むことを特徴とする請求項1に記載の映像信号処理装置。
  3. 前記映像変化検出部は、
    前記第1~第kの分割映像信号に対して個別にCRC(Cyclic Redundancy Check)演算を施して第1~第kの検査値を算出する第1~第kのCRC演算回路を含み、
    前記第1~第kの検査値の各々毎に前記検査値が隣接するフレーム間で変化しているか否かを判定し、その判定結果を個別に示すk個の信号を前記第1~第kの映像変化検出信号として生成することを特徴とする請求項1又は2に記載の映像信号処理装置。
  4. 前記映像信号分割部は、前記n個の前記画素データ片各々の前記第1~第kのビットを同一ビット桁同士でグループ化することを特徴とする請求項に記載の映像信号処理装置。
  5. 前記映像信号分割部は、
    前記n個の前記画素データ片各々の前記第1~第kのビットを前記第1~第kの分割映像信号に夫々対応させてビット毎に分割するにあたり、前記第1~第kのビットと前記第1~第kの分割映像信号との対応関係を前記画素データ片毎に変化させることを特徴とする請求項に記載の映像信号処理装置。
  6. 一連のフレームからなる映像信号を受け、前記映像信号を前記フレーム毎に第1~第k(kは2以上の整数)の分割映像信号に分割する映像信号分割部と、
    前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成する映像変化検出部と、
    前記第1~第kの映像変化検出信号のうちで、前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数のM(Mは2以上の整数)フレーム期間内での平均数を求め、前記平均数が所定数より多い場合に、前記映像信号がフリーズしていることを表すフリーズ検出信号を出力するフリーズ判断部と、を含むことを特徴とするフリーズ検出回路。
  7. 一連のフレームからなる映像信号をフレーム毎に第1~第k(kは2以上の整数)の分割映像信号に分割し、
    前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成し、
    前記第1~第kの映像変化検出信号のうちで前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数のM(Mは2以上の整数)フレーム期間内での平均数を求め、前記平均数が所定数より多い場合に、前記映像信号がフリーズしていることを表すフリーズ検出信号を出力することを特徴とするフリーズ検出方法。
  8. 一連のフレームからなる映像信号を受け、前記映像信号を前記フレーム毎に第1~第k(kは2以上の整数)の分割映像信号に分割する映像信号分割部と、
    前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成する映像変化検出部と、
    前記第1~第kの映像変化検出信号のうちで、前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数が所定数よりも多い場合に、前記映像信号に変化が無いことを表す映像無変化信号を生成する映像無変化判断部と、を含み、
    前記映像信号はフレーム毎に各画素の輝度レベルを複数のビットで表す複数の画素データ片の系列を含み、
    前記映像信号分割部は、前記映像信号に基づく1フレームの画像領域を複数の分割画像領域に区分けした前記分割画像領域毎に、その分割画像領域の表示を担う複数の画素データ片の各々を複数のビット群に分割し、互いに異なる画素データ片同士で前記ビット群をグループ化して第1~第kのグループを得て、前記複数の分割画像領域各々の前記第1~第kのグループを同一のグループ同士でグループ化したものを前記第1~第kの分割映像信号とすることを特徴とする映像信号処理装置。
  9. 一連のフレームからなる映像信号を受け、前記映像信号を前記フレーム毎に第1~第k(kは2以上の整数)の分割映像信号に分割する映像信号分割部と、
    前記第1~第kの分割映像信号の各々毎に、前記分割映像信号に基づく各フレーム間の映像に変化が無いか否かを検出し、夫々の検出結果を表す第1~第kの映像変化検出信号を生成する映像変化検出部と、
    前記第1~第kの映像変化検出信号のうちで、前記分割映像信号に基づく映像に変化が無いことを表す前記映像変化検出信号の数が所定数よりも多い場合に、前記映像信号に変化が無いことを表す映像無変化信号を生成する映像無変化判断部と、を含み、
    前記映像信号分割部は、前記映像信号に基づく1フレームの画像領域をk個の分割画像領域に区分けし、k個の前記分割画像領域各々の表示を担う複数の画素データ片を夫々前記第1~第kの分割映像信号とすることを特徴とする映像信号処理装置。
  10. 前記映像変化検出部は、前記第1~第kの分割映像信号毎に、前記分割映像信号における各フレームの映像と、当該フレームから所定数のフレームだけ後方のフレームの映像との間に変化が無いか否かを検出し、夫々の検出結果を前記第1~第kの映像変化検出信号として生成することを特徴とする請求項1又は2に記載の映像信号処理装置。
  11. 前記映像変化検出部は、
    前記第1~第kの分割映像信号に対して個別にCRC(Cyclic Redundancy Check)演算を施して第1~第kの検査値を算出するCRC演算回路と、
    前記第1~第kの検査値を前記所定数フレームの周期で取り込んで保持し、保持した前記第1~第kの検査値を第1~第kの遅延検査値として出力する第1~第kの遅延回路と、
    前記第1~第kの検査値の各々と前記第1~第kの遅延検査値の各々とを対応するもの同士で同一であるか否かの判定を行い、その判定結果を個別に示すk個の信号を前記第1~第kの映像変化検出信号として生成する比較回路と、を含むことを特徴とする請求項10に記載の映像信号処理装置。
  12. 前記所定数をj(jは2以上であり且つk未満の整数)とし、
    前記第1~第kの遅延回路をj個のグループに区分けした第1~第jの遅延回路群の各々に対して、連続するフレームのうちの夫々異なるフレームのタイミングで前記検査値を取り込ませる制御を施す制御部を含み、
    前記制御部は、前記第1~第kの分割映像信号のうちの一部が映像変化無しを表す場合には、第1~第jの遅延回路群による前記検査値の取込み動作を停止させ、前記第1~第kの分割映像信号が映像変化有りを表す状態に変化したときには、連続するフレームのうちで、取込み動作を停止させた直前のフレームの次のフレームのタイミングから前記検査値の取込み動作を行わせることを特徴とする請求項11に記載の映像信号処理装置。
  13. 前記映像信号中に互いに異なる映像内容の複数のフレームが順不同にて前記複数のフレームの周期毎に現れる映像フリーズが生じているか否かを表すフリーズ検出信号を生成するフリーズ判定部を含み、
    前記映像変化検出部は、
    前記第1~第kの分割映像信号に対して個別にCRC(Cyclic Redundancy Check)演算を施して第1~第kの検査値を算出するCRC演算回路と、
    イネーブル状態を表すイネーブル信号に応じて前記第1~第kの検査値を取り込んで保持し、保持した前記第1~第kの検査値を第1~第kの遅延検査値として出力する第1~第kの遅延回路と、
    前記第1~第kの検査値の各々と前記第1~第kの遅延検査値の各々とを対応するもの同士で同一であるか否かの判定を行い、その判定結果を個別に示すk個の信号を前記第1~第kの映像変化検出信号として生成する比較回路と、を含み、
    前記映像無変化判断部は、前記映像無変化信号を生成した場合には前記映像無変化信号を前記フリーズ判定部に供給し、
    前記フリーズ判定部は、
    前記映像無変化信号を受けていない状態において前記映像信号におけるフレームの数をカウントしそのカウント値が所定のM(Mは2以上の整数)フレーム数に到達したら、前記イネーブル状態を示す前記イネーブル信号を前記第1~第kの遅延回路に供給し、前記映像無変化信号を受けた場合には前記カウント値を初期値にリセットする不一致フレームカウンタと、
    前記Mフレームの期間内で少なくとも1度、前記映像無変化信号を受ける状態が後続するフレーム群において連続して所定回数に亘り継続した場合に、前記映像フリーズが生じていることを示す信号を前記フリーズ検出信号として生成する継続判定部と、を含むことを特徴とする請求項1に記載の映像信号処理装置。
JP2020011750A 2019-01-30 2020-01-28 映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法 Active JP7385484B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/152,299 US11652953B2 (en) 2019-01-30 2021-01-19 Video signal processing device, video freeze detection circuit and video freeze detection method
CN202110072628.2A CN113259623A (zh) 2019-01-30 2021-01-20 视频信号处理装置、视频冻结检测电路和视频冻结的检测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019014013 2019-01-30
JP2019014013 2019-01-30

Publications (2)

Publication Number Publication Date
JP2020123950A JP2020123950A (ja) 2020-08-13
JP7385484B2 true JP7385484B2 (ja) 2023-11-22

Family

ID=71731842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020011750A Active JP7385484B2 (ja) 2019-01-30 2020-01-28 映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法

Country Status (3)

Country Link
US (2) US11611686B2 (ja)
JP (1) JP7385484B2 (ja)
CN (2) CN111510669A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333135B2 (ja) * 2019-07-18 2023-08-24 ラピスセミコンダクタ株式会社 信号処理回路
EP3985988A4 (en) * 2019-07-25 2023-09-27 Shenzhen Skyworth-Rgb Electronic Co., Ltd DETECTION METHOD FOR STILL IMAGE OF A VIDEO, TERMINAL DEVICE AND COMPUTER-READABLE STORAGE MEDIUM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242223A (ja) 2003-02-10 2004-08-26 Nec Engineering Ltd フリーズ障害検知装置及び検知方法
JP2018107588A (ja) 2016-12-26 2018-07-05 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633329B2 (en) * 2001-02-06 2003-10-14 Tektronix, Inc. Frozen field detection of formerly encoded video
US7002637B2 (en) * 2001-03-16 2006-02-21 Evertz Microsystems Ltd. System and method for detecting picture freeze within a video signal
JP2004214970A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
US8165226B2 (en) * 2007-12-06 2012-04-24 The Boeing Company Imaging frame freeze detection
EP2112835A1 (en) * 2008-04-24 2009-10-28 Psytechnics Ltd Method and apparatus for generation of a video quality parameter
KR20140096320A (ko) * 2011-11-28 2014-08-05 톰슨 라이센싱 왜곡/품질 측정
US9113133B2 (en) * 2012-01-31 2015-08-18 Prime Image Delaware, Inc. Method and system for detecting a vertical cut in a video signal for the purpose of time alteration
CN103945214B (zh) * 2013-01-23 2016-03-30 中兴通讯股份有限公司 终端侧时间域视频质量评价方法及装置
US9641809B2 (en) * 2014-03-25 2017-05-02 Nxp Usa, Inc. Circuit arrangement and method for processing a digital video stream and for detecting a fault in a digital video stream, digital video system and computer readable program product
WO2015182751A1 (ja) * 2014-05-30 2015-12-03 株式会社日立国際電気 監視システムおよびカメラ装置
US9665934B2 (en) * 2014-10-28 2017-05-30 Texas Instruments Incorporated Apparatus for detecting faults in video frames of video sequence
JP6891460B2 (ja) 2016-11-17 2021-06-18 株式会社デンソー 車両用表示システムおよびフリーズ検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242223A (ja) 2003-02-10 2004-08-26 Nec Engineering Ltd フリーズ障害検知装置及び検知方法
JP2018107588A (ja) 2016-12-26 2018-07-05 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置

Also Published As

Publication number Publication date
US11652953B2 (en) 2023-05-16
JP2020123950A (ja) 2020-08-13
US11611686B2 (en) 2023-03-21
US20210144362A1 (en) 2021-05-13
CN111510669A (zh) 2020-08-07
US20200244841A1 (en) 2020-07-30
CN113259623A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
JP7385484B2 (ja) 映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法
JP6060282B2 (ja) 車載カメラ画像処理装置
JP6441543B1 (ja) ディスプレイサブシステムのテスティング
US7978194B2 (en) Method and apparatus for hierarchical Z buffering and stenciling
US10134139B2 (en) Data content integrity in display subsystem for safety critical use cases
CN110728936A (zh) Led显示屏故障监控管理系统
US9641809B2 (en) Circuit arrangement and method for processing a digital video stream and for detecting a fault in a digital video stream, digital video system and computer readable program product
JP5970055B2 (ja) 自動車
US10412320B1 (en) Method and system for switching display from first video source to second video source
JP2003308041A (ja) プラズマディスプレイ装置
JP5207823B2 (ja) 画像判断装置および画像判断方法
JP2014142938A (ja) ピクセルキャッシュ及びピクセルキャッシュの動作方法
JP5562473B1 (ja) 航空障害灯の故障検出システム及び故障検出方法
JP7333135B2 (ja) 信号処理回路
JP3945333B2 (ja) 撮像表示システム
JP2019536388A (ja) 拡張画像を生成するテレビジョン放送システム
JP2023144519A (ja) 映像信号処理装置
JP2019071066A (ja) 半導体装置
US20230281950A1 (en) Real-time image transformation monitoring for display systems
EP4390830A1 (en) Stream based video frame correction
US20220329723A1 (en) Method and system for mitigating image flicker from strobed lighting systems
JP2002027433A (ja) 画像処理回路、道路監視画像前処理回路及び監視画像処理方法
JP2018005389A (ja) 画像変形回路、画像処理装置、及び画像変形方法
JPH08285940A (ja) 自動引継追尾装置
JP2011139124A (ja) 動きベクトル生成装置、表示装置、集積回路、動きベクトル生成プログラムおよび動きベクトル生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230710

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231110

R150 Certificate of patent or registration of utility model

Ref document number: 7385484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150