JP7544647B2 - 映像処理装置及び表示装置 - Google Patents

映像処理装置及び表示装置 Download PDF

Info

Publication number
JP7544647B2
JP7544647B2 JP2021056619A JP2021056619A JP7544647B2 JP 7544647 B2 JP7544647 B2 JP 7544647B2 JP 2021056619 A JP2021056619 A JP 2021056619A JP 2021056619 A JP2021056619 A JP 2021056619A JP 7544647 B2 JP7544647 B2 JP 7544647B2
Authority
JP
Japan
Prior art keywords
image
unit
regions
input
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021056619A
Other languages
English (en)
Other versions
JP2022153871A (ja
Inventor
拓人 小原
祐基 今任
拓哉 本橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lapis Technology Co Ltd
Original Assignee
Lapis Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lapis Technology Co Ltd filed Critical Lapis Technology Co Ltd
Priority to JP2021056619A priority Critical patent/JP7544647B2/ja
Priority to US17/696,634 priority patent/US11756504B2/en
Priority to CN202210269108.5A priority patent/CN115148169A/zh
Publication of JP2022153871A publication Critical patent/JP2022153871A/ja
Application granted granted Critical
Publication of JP7544647B2 publication Critical patent/JP7544647B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、映像処理装置及び表示装置に関する。
近年、車両運転時における速度計やエンジン回転計（タコメーター）等のメーターの視認性を高めるため、これらの情報を液晶パネル等からなる車載用表示装置のディスプレイに表示させることが広く行われている。また、各種メーターの表示に加えて、ＯＳＤ（On Screen Display）の機能を用いて、オイルランプ（油圧警告灯）等の警告灯を重ねて表示することが行われている。
このような車載用表示装置において、一部に故障が発生した場合にも必要な情報の表示を可能とするため、複数の表示装置のうち故障と判定された表示装置の映像に代えて正常と判定された表示装置の映像を表示する車両用映像表示システムが提案されている（例えば、特許文献１）。
特許６６５８３９１号
上記のようなＯＳＤ機能を用いた警告灯等の表示（以下、警告表示と称する）は、運転者の安全に関わるため、常に正しい映像を表示することが要求される。しかし、入力映像を生成する映像生成部に故障等の異常が発生した場合、正しい警告表示を含む映像を表示することができない。そこで、入力映像に含まれる警告表示に代替するＯＳＤ画像を表示装置の内部で生成し、映像生成部に異常が発生した場合に、内部で生成したＯＳＤ画像を入力映像に合成して表示することが行われる。
しかしながら、合成映像自体が壊れていないとは限らないため、結果的に誤った表示がなされてしまう場合がある。その結果、警告表示のような重大なサインについて運転者に適切に報知することができない虞があるという問題があった。
本発明は上記問題点に鑑みてなされたものであり、入力映像に含まれる重大な表示について異常が発生した際に、当該異常を検知して適切な映像を表示することが可能な映像処理装置を提供することを目的とする。
本発明に係る映像処理装置は、逐次生成される画像の各々の１または複数の領域に外部からの情報に基づいて所定の重畳画像が逐次選択的に重畳された画像を入力画像として順次受信する受信部と、前記外部からの情報に基づいて前記入力画像の前記１または複数の領域に合成する合成用画像を順次生成する合成用画像生成部と、前記入力画像の前記１または複数の領域の部分を前記合成用画像で置換することにより前記入力画像に前記合成用画像を合成した合成画像を順次生成する映像合成部と、前記合成画像の前記１または複数の領域に異常があるか否かを検知する合成異常検知部と、前記合成画像の前記１または複数の領域に異常がないと検知された場合に、前記入力画像及び前記合成画像の各々の前記１または複数の領域を比較して両者が一致するか否かを判定する比較部と、前記入力画像及び前記合成画像の各々の前記１または複数の領域が一致すると判定された場合には前記入力画像を出力し、一致しないと判定された場合には前記合成画像を出力する出力制御部と、を有することを特徴とする。
本発明に係る表示装置は、経時的に変化する状態を示す画像を逐次生成し、当該逐次生成した画像の各々の１または複数の領域に外部からの情報に基づいて所定の重畳画像を選択的に重畳することにより入力画像を生成する映像生成部と、前記入力画像を順次受信する受信部と、前記外部からの情報に基づいて前記入力画像の前記１または複数の領域に合成する合成用画像を順次生成する合成用画像生成部と、前記入力画像の前記１または複数の領域の部分を前記合成用画像で置換することにより前記入力画像に前記合成用画像を合成した合成画像を順次生成する映像合成部と、前記合成画像の前記１または複数の領域に異常があるか否かを検知する合成異常検知部と、前記合成画像の前記１または複数の領域に異常がないと検知された場合に、前記入力画像及び前記合成画像の各々の前記１または複数の領域を比較して両者が一致するか否かを判定する比較部と、前記入力画像及び前記合成画像の各々の前記１または複数の領域が一致すると判定された場合には前記入力画像を出力し、一致しないと判定された場合には前記合成画像を出力する出力制御部と、前記出力制御部により出力された前記入力画像又は前記合成画像を表示する表示部と、を有することを特徴とする。
本発明に係る映像処理装置によれば、入力映像に含まれる重大な表示について異常が発生した際に、当該異常を検知して適切な映像を表示することが可能となる。
本発明の実施例１に係る映像処理装置を含む表示装置の構成を示すブロック図である。 本発明の実施例１に係る映像処理装置が実行する合成異常検知処理の処理ルーチンを示すフローチャートである。 本発明の実施例１に係る映像処理装置が実行する入力映像異常検知処理の処理ルーチンを示すフローチャートである。 本発明の実施例２に係る映像処理装置を含む表示装置の構成を示すブロック図である。 本発明の実施例２に係る映像処理装置が実行する制御信号監視処理の処理ルーチンを示すフローチャートである。
以下に本発明の好適な実施例を詳細に説明する。なお、以下の各実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。
図１は、本実施例の表示装置１００の構成を示すブロック図である。表示装置１００は、例えば自動車等の車両に搭載される車載用の表示装置であり、車両の速度計や燃料計を示す映像（以下、メーター映像と称する）をディスプレイに表示させる。また、表示装置１００は、ОＳＤ（On Screen Display）の機能を用いて、これらの映像にオイルランプ（油圧警告灯）等の警告灯の表示（以下、警告表示と称する）を表す画像を合成して表示する。
表示装置１００は、制御ＭＣＵ１１、映像生成部１２、ディスプレイ１３、及び映像補正ＬＳＩ１４から構成されている。
制御ＭＣＵ（Memory Control Unit）１１は、表示装置１００の各部の動作を制御する処理制御部である。制御ＭＣＵ１１は、車両内部の各種センサ（図示せず）が取得した情報に基づいて、表示装置１００を搭載する車両が警告灯の表示を必要とする状態（例えば、エンジンオイルの油圧が低下した状態）であることを検知し、警告表示を含む映像の表示を要求する表示要求信号ＤＲを映像生成部１２及び映像補正ＬＳＩ１４に供給する。表示要求信号ＤＲは、複数の警告灯の表示のうちのいずれを警告表示として表示するかについての情報を含む。
また、制御ＭＣＵ１１は、警告表示の画像についてのＣＲＣ期待値を映像補正ＬＳＩ１４に供給し、映像補正ＬＳＩ１４が生成した合成映像ＣＶに異常がないかどうかを検知させる。
映像生成部１２は、経時的に変化する速度計や燃料計等の状態を表す画像を逐次生成する。この逐次生成される画像が複数フレームに亘って連続することにより、メーター映像が生成される。
また、映像生成部１２は、映像補正ＬＳＩ１４の外部に位置する制御ＭＣＵ１１から供給される情報である表示要求信号ＤＲに基づいて、警告表示の画像を生成する。警告表示の画像は、ＯＳＤ機能によりメーター映像に重畳される重畳画像（以下、ＯＳＤ画像と称する）である。映像生成部１２は、警告表示の画像をメーター映像に逐次選択的に重畳することにより、入力映像ＩＶを生成する。警告表示の画像は、メーター映像内の所定の領域に重畳して表示される。以下の説明では、入力映像ＩＶにおいて警告表示の画像が重畳される領域をＯＳＤ領域と称する。
なお、映像生成部１２は、制御ＭＣＵ１１から表示要求信号ＤＲが供給された際に、メーター映像に警告表示の画像が合成された入力映像ＩＶを生成する。制御ＭＣＵから表示要求信号ＤＲが供給されない場合、映像生成部１２は警告表示の画像を含まないメーター映像のみの入力映像ＩＶを生成する。映像生成部１２は、生成した入力映像ＩＶを映像補正ＬＳＩ１４に供給する。
ディスプレイ１３は、例えば液晶表示パネルから構成されている。ディスプレイ１３は、映像補正ＬＳＩ１４の制御に応じて、入力映像ＩＶ又は合成映像ＣＶを画面に表示する。また、映像補正ＬＳＩ１４において合成映像ＣＶの異常が検知された場合、ディスプレイ１３は、制御ＭＣＵ１１の制御に応じて、合成映像ＣＶに異常があることを報知するメッセージを画面に表示する。
映像補正ＬＳＩ（Large Scale Integration）１４は、入力映像ＩＶの入力を受け、これに基づいてディスプレイ１３に表示する映像を生成及び出力する映像処理装置である。映像補正ＬＳＩ１４は、受信部２０、メモリ２１、ＯＳＤ生成部２２、合成部２３、ＯＳＤ比較部２４、合成異常検知部２５、ＯＳＤ制御部２６及び出力制御部２７から構成されている。これらの各部は１チップのＬＳＩに形成されている。
受信部２０は、映像生成部１２から出力された入力映像ＩＶを受信する。上記の通り、入力映像ＩＶは複数フレームに亘って連続した画像から構成されており、受信部２０は当該画像を順次受信する。
メモリ２１は、不揮発性の半導体メモリからなる記憶部であり、例えば映像補正ＬＳＩに内蔵された内部メモリ、又は映像補正ＬＳＩに装着可能なフラッシュメモリ等の外部メモリから構成されている。メモリ２１は、ＯＳＤ生成部２２が警告表示をなすＯＳＤ画像を生成するための画像データを記憶する。
ＯＳＤ生成部２２は、メモリ２１から読み出した画像データに基づいて、合成部２３が合成画像ＣＶを生成するための合成用画像として、警告表示を表すＯＳＤ画像を生成する。なお、ＯＳＤ生成部２２が生成するＯＳＤ画像は、映像生成部１２が生成する警告表示と同じ内容を表す警告表示を、映像生成部１２とは別にＯＳＤ生成部２２が独自に生成するものである。
合成部２３は、ＯＳＤ生成部２２が生成したＯＳＤ画像を入力映像ＩＶに合成することにより、合成映像ＣＶを生成する。より詳細には、合成部２３は、入力映像ＩＶのＯＳＤ領域の画像をＯＳＤ生成部２２によって生成されたＯＳＤ画像で置換することにより、合成映像ＣＶを生成する。
ＯＳＤ比較部２４は、入力映像ＩＶのＯＳＤ領域の画像と合成映像ＣＶのＯＳＤ領域の画像とを比較し、両者が一致するか否かを判定する。ＯＳＤ比較部２４は、ＯＳＤ領域の全ピクセルについて一致するか否かを判定する。なお、本実施例では、一致率が９９％以上である状態を「全ピクセルが一致する」と称し、一致率が９９％未満である状態を「一致しないピクセルがある」と称する。また、一致率に設定される数値については一例であって適宜変更しても良い。
合成異常検知部２５は、合成部２３により生成された合成映像ＣＶに異常があるか否かを検知する。具体的には、合成異常検知部２５は、合成映像ＣＶのＯＳＤ領域についてＣＲＣ値を算出し、制御МＣＵ１１から供給されたＣＲＣ期待値と比較することにより、合成映像ＣＶのＯＳＤ領域に異常があるか否かを検知する。
ＯＳＤ制御部２６は、制御ＭＣＵ１１からの表示要求信号ＤＲに基づいてＯＳＤ生成部２２を制御し、ＯＳＤ画像の生成を実行させる。例えば、ＯＳＤ制御部２６は、表示要求信号ＤＲに含まれる警告表示についての情報（例えば、複数の警告灯のうちのいずれを表示するかについての情報）に基づいて、対応する警告表示の画像を生成するようにＯＳＤ生成部２２を制御する。
出力制御部２７は、制御ＭＣＵ１１の制御に応じて、映像生成部１２から供給された入力映像ＩＶ又は合成部２３により生成された合成映像ＣＶのいずれか一方を出力映像としてディスプレイ１３に供給する。
本実施例の表示装置１００は、映像補正ＬＳＩ１４の内部で生成されたＯＳＤ画像を含む合成映像ＣＶに異常がないかどうかを検知する「合成異常検知処理」、及び入力映像ＩＶと合成映像ＣＶとを比較して入力映像ＩＶに異常がないかどうかを判定する「入力映像異常検知処理」を実行する。以下、これらの処理動作について説明する。
まず、合成異常検知処理の処理動作について、図２のフローチャートを参照して説明する。なお、本実施例の合成異常検知処理は、制御ＭＣＵ１１からＯＳＤ制御部２６への表示要求信号ＤＲの供給に応じて行われる。
ＯＳＤ生成部２２は、メモリ２１から画像データの読み出しを行う（ＳＴＥＰ１０１）。
ＯＳＤ生成部２２は、読み出した画像データを用いてＯＳＤ画像を生成する（ＳＴＥＰ１０２）。
合成部２３は、ＯＳＤ生成部２２が生成したＯＳＤ画像を映像生成部１２から供給された入力映像ＩＶと合成し、合成映像ＣＶを生成する（ＳＴＥＰ１０３）。
合成異常検知部２５は、合成映像ＣＶのＯＳＤ領域についてＣＲＣ値を算出し、算出したＣＲＣ値と制御ＭＣＵから供給されたＣＲＣ期待値とを比較する（ＳＴＥＰ１０４）。
合成異常検知部２５は、毎映像フレーム毎に比較を行い、算出したＣＲＣ値とＣＲＣ期待値とが一致するか否か、すなわち合成映像ＣＶに異常がないかどうかを監視する（ＳＴＥＰ１０５）。
算出したＣＲＣ値とＣＲＣ期待値とに不一致があると判定すると（ＳＴＥＰ１０５：ＹＥＳ）、合成異常検知部２５は、合成映像ＣＶに異常があることを示す異常検出通知信号を制御ＭＣＵに送信する（ＳＴＥＰ１０６）。
制御ＭＣＵ１１は、合成異常検知部２５からの異常検出通知信号の受信に応じて、合成映像ＣＶに異常があることを報知するメッセージを表示するように要求する要求信号を出力制御部２７に供給する。出力制御部２７は、ディスプレイ１３を制御し、合成映像ＣＶに異常があることを報知するメッセージを表示させる（ＳＴＥＰ１０７）。
一方、ＳＴＥＰ１０５でＣＲＣ値とＣＲＣ期待値とに不一致がないと判定すると（ＳＴＥＰ１０５：ＮＯ）、合成映像ＣＶに異常がないとして処理を終了する。
以上のように、本実施例の表示装置１００では、映像補正ＬＳＩ１４の内部に設けられたＯＳＤ生成部２２がＯＳＤ画像を生成し、合成異常検知部２５がそのＯＳＤ画像を含む合成映像ＣＶ（厳密には、合成映像ＣＶのＯＳＤ領域）についてＣＲＣ値を用いて異常があるか否かを判定する。これにより、映像補正ＬＳＩ１４の内部で生成されるＯＳＤ画像に異常がないことが担保される。
次に、入力映像異常検知処理の処理動作について、図３のフローチャートを参照して説明する。
映像生成部１２は、警告映像を含む入力映像ＩＶを要求する表示要求信号ＤＲが制御ＭＣＵ１１から供給されたか否かを判定する（ＳＴＥＰ２０１）。
表示要求信号ＤＲが供給されていないと判定すると（ＳＴＥＰ２０１：ＮＯ）、映像生成部１２は警告表示を含まない入力映像ＩＶ（すなわち、警告表示を示すＯＳＤ画像を含まないメーター映像のみの入力映像ＩＶ）の生成及び出力を行う。
一方、表示要求信号ＤＲがあると判定すると（ＳＴＥＰ２０１：ＹＥＳ）、ＯＳＤ比較部２４は、映像生成部１２から供給された警告映像を含む入力映像ＩＶと、ＯＳＤ生成部２２が生成したＯＳＤ画像を用いて合成部２３により生成された合成映像ＣＶと、を比較する（ＳＴＥＰ２０２）。
ＯＳＤ比較部２４は、入力映像ＩＶ及び合成映像ＣＶの全ピクセルについて比較を行い、一致しないピクセルがあるか否かを判定する（ＳＴＥＰ２０３）。ＯＳＤ比較部２４は、判定結果を制御ＭＣＵ１１に供給する。
制御ＭＣＵ１１は、ＯＳＤ比較部２４から一致しないピクセルがあることを示す判定結果を受けると（ＳＴＥＰ２０３：ＹＥＳ）、入力映像ＩＶに異常があると判定し、出力制御部２７を制御して、合成映像ＣＶをディスプレイ１３に出力させる（ＳＴＥＰ２０４）。
ディスプレイ１３は、映像補正ＬＳＩ１４の内部で生成されたＯＳＤ画像を含む映像である合成映像ＣＶを画面に表示する（ＳＴＥＰ２０５）。
一方、一致しないピクセルはない（すなわち、全ピクセルで一致する）ことを示す判定結果をＯＳＤ比較部２４から受けると（ＳＴＥＰ２０３：ＮＯ）、制御ＭＣＵ１１は、入力映像ＩＶは正常であると判定し、出力制御部２７を制御して、入力映像ＩＶをディスプレイ１３に出力させる（ＳＴＥＰ２０６）。
ディスプレイ１３は、映像生成部１２で生成されたＯＳＤ画像を含む映像である入力映像ＩＶを画面に表示する（ＳＴＥＰ２０７）。
以上のように、本実施例の表示装置１００では、映像生成部１２から供給された入力映像ＩＶと映像補正ＬＳＩ１４の内部で生成されたＯＳＤ画像を含む合成映像ＣＶとの一致比較を行う。上記の通り、合成異常検知処理によって合成映像ＣＶに異常がないことは担保されているため、入力映像ＩＶと合成映像ＣＶとが一致する場合には入力映像ＩＶに異常がないと判定され、入力映像ＩＶがそのままディスプレイ１３に表示される。一方、入力映像ＩＶと合成映像ＣＶとが一致しない場合には入力映像ＩＶに異常があると判定され、入力映像ＩＶの代わりに合成映像ＣＶがディスプレイ１３に表示される。
本実施例の表示装置１００によれば、映像生成部の故障等に起因する入力映像の異常が発生しているかどうかを検知し、異常発生時には入力映像に代えて適切な映像を表示することが可能となる。
次に、本発明の実施例２について説明する。図４は、本実施例の表示装置２００の構成を示すブロック図である。表示装置２００は、映像補正ＬＳＩ１４の内部に制御ＭＣＵ１１からの信号を監視する制御信号監視部３１を有する点で、実施例１の表示装置１００と異なる。
本実施例の制御ＭＣＵ１１は、制御信号ＣＳを所定の時間間隔で映像補正ＬＳＩ１４に供給する。この制御信号ＣＳは、表示要求信号ＤＲとは異なり、警告表示が必要であるか否かに関わらず、周期的に映像補正ＬＳＩ１１４に供給される。
制御信号監視部３１は、制御ＭＣＵ１１からの制御信号ＣＳを監視し、監視結果に基づいて出力制御部２７を制御する。具体的には、制御信号監視部３１は、制御ＭＣＵ１１からの制御信号ＣＳを受信後、次の制御信号ＣＳを所定時間内に受信したか否かを判定する。所定時間内に制御信号ＣＳを受信していないと判定した場合、制御信号監視部３１は、制御ＭＣＵ１１に異常があることを報知するメッセージを表示するように要求する要求信号を出力制御部２７に供給する。出力制御部２７は、ディスプレイ１３を制御し、制御ＭＣＵ１１に異常があることを報知するメッセージを表示させる。
本実施例の表示装置２００が実行する制御信号監視処理の処理動作について、図５のフローチャートを参照して説明する。
映像補正ＬＳＩ１４の制御信号監視部３１は、制御ＭＣＵ１１からの制御信号ＣＳを監視する（ＳＴＥＰ３０１）。
制御信号監視部３１は、前の制御信号ＣＳを受信してから所定時間以内に次の制御信号ＣＳを受信したか否かを判定する（ＳＴＥＰ３０２）。
所定時間以内に制御信号ＣＳを受信したと判定すると（ＳＴＥＰ３０２：ＹＥＳ）、制御ＭＣＵ１１に異常がないと判定し（ＳＴＥＰ３０３）、処理を終了する。
一方、所定時間以内に制御信号ＣＳを受信していないと判定すると（ＳＴＥＰ３０２：ＮＯ）、制御信号監視部３１は、制御ＭＣＵ１１に異常があると判定する（ＳＴＥＰ３０４）。
制御信号監視部３１は、制御ＭＣＵ１１に異常があることを報知するメッセージを表示するように要求する要求信号を出力制御部２７に供給する。出力制御部２７は、ディスプレイ１３を制御し、制御ＭＣＵ１１に異常があることを報知するメッセージを表示させる（ＳＴＥＰ３０５）。
以上のように、本実施例の表示装置２００では、制御信号監視部３１が制御ＭＣＵ１１からの制御信号ＣＳを監視し、所定時間内に制御信号ＣＳを受信しない場合には、制御ＭＣＵ１１に異常が発生していることを報知するメッセージをＯＳＤ画像として含む映像をディスプレイ１３に表示する。
本実施例の表示装置２００によれば、映像生成部１２の故障等に起因する入力映像ＩＶの異常に加えて、制御ＭＣＵ１１の異常を検知し、その検知結果を報知することが可能となる。
なお、本発明は上記実施形態に限定されない。例えば、上記実施例では、速度計や燃料計等のメーター映像を表示する場合を例として説明したが、これ以外にもカーナビゲーションの映像をディスプレイ１３に表示するように構成されていてもよい。また、警告表示として表示するОＳＤ画像はオイルランプに限られず、バッテリーランプやブレーキアシストシステムの警告灯等を警告表示として表示する構成であってもよい。
また、上記実施例では、警告表示の画像がメーター映像内の所定の領域に重畳して表示されるとして説明を行ったが、当該所定の領域は１か所に限られず複数の領域であってもよい。すなわち、画面内の複数の位置に複数の警告表示の画像が表示されるように構成されていてもよい。
また、上記実施例では、制御ＭＣＵ１１からＯＳＤ制御部２６への表示要求信号ＤＲの供給に応じて合成異常検知処理を実行する場合を例として説明した。しかし、これとは異なり、制御ＭＣＵ１１がＯＳＤ制御部２６に合成異常検知処理の実行を要求する要求信号を所定の時間間隔で供給し、これに応じてＯＳＤ生成部によるＯＳＤ画像の生成、合成部２３による合成映像ＣＶの生成、及び合成異常検知部２５による合成異常の検知を定期的に実行するように構成してもよい。かかる構成によれば、合成映像ＣＶが正常であることを安定して担保することが可能となる。
また、上記実施例の合成異常検知処理では、ＯＳＤ画像を生成後、入力映像ＩＶにＯＳＤ画像を合成して得られた合成映像ＣＶについてＣＲＣ値を用いて異常検知を行う例について説明した。しかし、入力映像ＩＶとの合成前、すなわちＯＳＤ画像の段階でＣＲＣ値を用いて異常検知を行ってもよい。
また、上記実施例では、警告表示を要求する表示要求信号ＤＲに応じて、入力映像異常検知処理を実行する場合を例として説明した。しかし、警告表示が要求されない場面でも入力映像検知処理を実行するように構成してもよい。例えば、制御ＭＣＵ１１は、警告表示の要求がない所定のタイミングでテスト信号を映像補正ＬＳＩ１４に供給する。映像補正ＬＳＩは、テスト信号に応じて、入力映像ＩＶと合成映像ＣＶとの比較を行う。かかる構成によれば、本来警告表示を行う必要がない場面で誤って警告表示がなされてしまうような不具合を防ぐことが可能となる。
１００，２００ 表示装置
１１ 制御ＭＣＵ
１２ 映像生成部
１３ ディスプレイ
１４ 映像補正ＬＳＩ
２１ メモリ
２２ ＯＳＤ生成部
２３ 合成部
２４ ＯＳＤ比較部
２５ 合成異常検知部
２６ ＯＳＤ制御部
２７ 出力制御部
３１ 制御信号監視部

Claims (7)

  1. 逐次生成される画像の各々の１または複数の領域に外部からの情報に基づいて所定の重畳画像が逐次選択的に重畳された画像を入力画像として順次受信する受信部と、
    前記外部からの情報に基づいて前記入力画像の前記１または複数の領域に合成する合成用画像を順次生成する合成用画像生成部と、
    前記入力画像の前記１または複数の領域の部分を前記合成用画像で置換することにより前記入力画像に前記合成用画像を合成した合成画像を順次生成する映像合成部と、
    前記合成画像の前記１または複数の領域に異常があるか否かを検知する合成異常検知部と、
    前記合成画像の前記１または複数の領域に異常がないと検知された場合に、前記入力画像及び前記合成画像の各々の前記１または複数の領域を比較して両者が一致するか否かを判定する比較部と、
    前記入力画像及び前記合成画像の各々の前記１または複数の領域が一致すると判定された場合には前記入力画像を出力し、一致しないと判定された場合には前記合成画像を出力する出力制御部と、
    を有することを特徴とする映像処理装置。
  2. 前記出力制御部は、前記合成異常検知部により前記合成画像の前記１または複数の領域に異常があると検知された場合、前記合成画像に異常があることを報知する画像を出力することを特徴とする請求項１に記載の映像処理装置。
  3. 前記合成異常検知部は、誤り検出符号を用いて前記合成用画像について算出した値と所定の期待値とを比較することにより、前記合成画像の前記１または複数の領域に異常があるか否かを検知することを特徴とする請求項１又は２に記載の映像処理装置。
  4. 前記比較部は、前記入力画像における前記重畳画像の画像領域と前記合成画像における前記重畳画像の画像領域とを比較することにより、両者が一致するか否かを判定することを特徴とする請求項１乃至３のいずれか１に記載の映像処理装置。
  5. 前記映像処理装置は、車両に搭載された表示装置の映像処理を行う装置であり、
    前記所定の重畳画像は、前記車両についての警告表示を表す画像であることを特徴とする請求項１乃至４のいずれか１に記載の映像処理装置。
  6. 経時的に変化する状態を示す画像を逐次生成し、当該逐次生成した画像の各々の１または複数の領域に外部からの情報に基づいて所定の重畳画像を選択的に重畳することにより入力画像を生成する映像生成部と、
    前記入力画像を順次受信する受信部と、
    前記外部からの情報に基づいて前記入力画像の前記１または複数の領域に合成する合成用画像を順次生成する合成用画像生成部と、
    前記入力画像の前記１または複数の領域の部分を前記合成用画像で置換することにより前記入力画像に前記合成用画像を合成した合成画像を順次生成する映像合成部と、
    前記合成画像の前記１または複数の領域に異常があるか否かを検知する合成異常検知部と、
    前記合成画像の前記１または複数の領域に異常がないと検知された場合に、前記入力画像及び前記合成画像の各々の前記１または複数の領域を比較して両者が一致するか否かを判定する比較部と、
    前記入力画像及び前記合成画像の各々の前記１または複数の領域が一致すると判定された場合には前記入力画像を出力し、一致しないと判定された場合には前記合成画像を出力する出力制御部と、
    前記出力制御部により出力された前記入力画像又は前記合成画像を表示する表示部と、
    を有することを特徴とする表示装置。
  7. 制御信号を生成し、所定の時間間隔で出力する制御部と、
    前記制御信号が前記所定の時間間隔で出力されているか否かを監視する監視部と、
    を有し、
    前記出力制御部は、前記監視部により前記制御信号が出力されていないと判定された場合には、前記制御部に異常があることを報知する報知画像を前記表示部に出力することを特徴とする請求項６に記載の表示装置。
JP2021056619A 2021-03-30 2021-03-30 映像処理装置及び表示装置 Active JP7544647B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021056619A JP7544647B2 (ja) 2021-03-30 2021-03-30 映像処理装置及び表示装置
US17/696,634 US11756504B2 (en) 2021-03-30 2022-03-16 Video processing device and display device
CN202210269108.5A CN115148169A (zh) 2021-03-30 2022-03-18 影像处理装置以及显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021056619A JP7544647B2 (ja) 2021-03-30 2021-03-30 映像処理装置及び表示装置

Publications (2)

Publication Number Publication Date
JP2022153871A JP2022153871A (ja) 2022-10-13
JP7544647B2 true JP7544647B2 (ja) 2024-09-03

Family

ID=83405441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021056619A Active JP7544647B2 (ja) 2021-03-30 2021-03-30 映像処理装置及び表示装置

Country Status (3)

Country Link
US (1) US11756504B2 (ja)
JP (1) JP7544647B2 (ja)
CN (1) CN115148169A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022077197A (ja) * 2020-11-11 2022-05-23 ラピステクノロジー株式会社 映像処理装置、映像固着判定方法及び表示システム
CN116828168A (zh) * 2022-03-28 2023-09-29 蓝碧石科技株式会社 视频信号处理装置
JP2025057555A (ja) 2023-09-28 2025-04-09 セイコーエプソン株式会社 回路装置及び表示システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008300983A (ja) 2007-05-29 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2011116157A (ja) 2009-11-30 2011-06-16 Fujitsu Ten Ltd 映像処理装置
DE102015012889A1 (de) 2015-10-06 2017-04-06 Audi Ag Anzeigevorrichtung und Verfahren zur Überprüfung von Anzeigeinhalten
JP2020107351A (ja) 2016-08-15 2020-07-09 セイコーエプソン株式会社 回路装置、電子機器及びエラー検出方法
JP2020177058A (ja) 2019-04-16 2020-10-29 アルパイン株式会社 表示装置およびアイコンの故障判定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014416A (ja) * 2007-07-03 2009-01-22 Nippon Seiki Co Ltd 車両用表示装置
US9313485B2 (en) * 2014-02-21 2016-04-12 Semiconductor Components Industries, Llc Imagers with error checking capabilities
JP6658391B2 (ja) 2016-08-02 2020-03-04 株式会社デンソー 車両用映像表示システム
JP7155530B2 (ja) * 2018-02-14 2022-10-19 セイコーエプソン株式会社 回路装置、電子機器及びエラー検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008300983A (ja) 2007-05-29 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2011116157A (ja) 2009-11-30 2011-06-16 Fujitsu Ten Ltd 映像処理装置
DE102015012889A1 (de) 2015-10-06 2017-04-06 Audi Ag Anzeigevorrichtung und Verfahren zur Überprüfung von Anzeigeinhalten
JP2020107351A (ja) 2016-08-15 2020-07-09 セイコーエプソン株式会社 回路装置、電子機器及びエラー検出方法
JP2020177058A (ja) 2019-04-16 2020-10-29 アルパイン株式会社 表示装置およびアイコンの故障判定方法

Also Published As

Publication number Publication date
US20220319464A1 (en) 2022-10-06
JP2022153871A (ja) 2022-10-13
US11756504B2 (en) 2023-09-12
CN115148169A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
JP6451550B2 (ja) 車載表示システム、制御装置、表示装置
CN114802059B (zh) 一种液晶仪表系统用车辆故障报警方法及系统
US10268535B2 (en) Vehicular image display system
US11756504B2 (en) Video processing device and display device
JP7011783B2 (ja) 車両用表示装置
CN110718198B (zh) 显示装置及其驱动方法
US11186294B2 (en) In-vehicle timing controller and vehicle using the same
US11348495B2 (en) Image display system for vehicle
JP2019501401A (ja) ディスプレイサブシステムのテスティング
JP2016502954A (ja) 物理的な計測値を表示する測定信号を出力するための装置
CN104396235A (zh) 图像监视装置、可移动体、程序及故障判断方法
CN104054059B (zh) 信息处理装置和信息处理方法
KR102672154B1 (ko) 사용자 경고 이미지를 제공하는 차량 정보 제공 장치 및 그 방법
JP7317442B2 (ja) 表示装置およびアイコンの故障判定方法
JP7790220B2 (ja) 車両用表示装置
JP6664548B2 (ja) 異常検出装置及び異常検出方法
KR101459794B1 (ko) 디지털 클러스터의 불량 감지시스템
CN108153610B (zh) 一种基于硬件异构多核的图像安全检测方法
JP7281658B2 (ja) 車両用表示システムおよび車両用表示システムの画像表示方法
JP7435435B2 (ja) 車両用装置
JP7229646B2 (ja) 画像表示装置
JP2003182473A (ja) 車両用表示装置の自己診断装置
JP2012083608A (ja) 表示機構監視装置
JP2024057115A (ja) 車両用表示制御システム
JP2007118949A (ja) 車両用表示装置の自己診断装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20231227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240822

R150 Certificate of patent or registration of utility model

Ref document number: 7544647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150