JP2024513771A - 自動車の表示装置上にasil関連データを安全に表示するための方法及び装置 - Google Patents

自動車の表示装置上にasil関連データを安全に表示するための方法及び装置 Download PDF

Info

Publication number
JP2024513771A
JP2024513771A JP2023558675A JP2023558675A JP2024513771A JP 2024513771 A JP2024513771 A JP 2024513771A JP 2023558675 A JP2023558675 A JP 2023558675A JP 2023558675 A JP2023558675 A JP 2023558675A JP 2024513771 A JP2024513771 A JP 2024513771A
Authority
JP
Japan
Prior art keywords
image
pixel
binary code
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023558675A
Other languages
English (en)
Inventor
アックスマン,ベンヤミン
イーヴン,クリストフ
クロイツァー,マークス
プロス,アヒム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of JP2024513771A publication Critical patent/JP2024513771A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85Arrangements for transferring vehicle- or driver-related data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0796Safety measures, i.e. ensuring safe condition in the event of error, e.g. for controlling element
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523Matrix displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/583Data transfer between instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Instrument Panels (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本発明は、送信ユニットと、受信ユニットと、受信ユニットによって生成された画像を表示するための表示ユニットと、を含む、自動車の表示装置上にASIL関連データを安全に表示するための方法に関する。本発明によれば、安全性等級がより高い画像は、安全性等級がより低い画像よりも修正が少なく、画像強調処理によって表示装置上に表示される。本方法では、表示される画像の安全性等級に関する情報は、送信ユニットを使用して、ピクセルマトリクスを介して表示される画像の少なくとも1つのピクセルの色ビット情報における分類バイナリコードによって、データストリームに導入されて、画像強調処理中に画像データを出力する送信ユニットに関連する画像エンハンサにおいて、すべての安全性等級の画像に対して、画像の変化を制御する。

Description

本発明は、自動車の表示装置上にASIL関連データを信頼性高く表示するための方法であって、本方法では、安全性等級がより高い表示は、安全性等級がより低い表示よりも、表示ユニットによって画像強調処理により修正が少なく表示される、方法、及び本方法を実行するための装置に関する。
特許文献1は、安全性の低い装置を使用するASIL D情報の表示を開示している。その場合、異なる安全性等級(なし、又はASIL A、B、C、D)を持つデータは、等級がより高い表示が、等級がより低い表示と比較して、表示ユニットによって(輝度、色の最適化などの)修正が少なく又は修正されずに表示されるように様々に処理される。
特許文献2には、自動車の表示装置上にASIL関連データを安全に表示するための方法が記載されている。その場合、安全性が重要なデータと安全性が重要ではないデータとは分離され、互いに独立して処理されて、安全性が重要ではない表示要素及び安全性が重要な表示要素を生成する。その場合、安全性が重要な表示要素は、表示装置を使用して表示された状態で、安全性が重要ではない表示要素にグラフィック的にオーバーレイして表示される。その場合、安全性が重要な画像データと安全性が重要ではない画像データとは、互いに分離することができ、追加的に又は代替的に、互いに独立して読み込むことができる。更に、安全性が重要な表示要素と安全性が重要ではない表示要素とは、互いに分離することができ、追加的に又は代替的に互いに独立して出力することができる。
独国特許出願公開第102019205237号明細書 独国特許出願公開第102015200292号明細書
本発明の課題は、自動車の表示装置上にASIL関連データを安全に表示するための方法及び装置を提供することであり、表示装置は、表示される画像の正確な表示内容への推論を可能にする正確かつ詳細な情報を提供する。
本発明は、独立請求項の特徴から明らかとなる。有利な発展形態及び構成は、従属請求項の主題である。本発明の更なる特徴、適用可能性及び利点は、以下の説明及び図に示される本発明の例示的な実施例の説明から明らかになる。
本課題は、冒頭で説明した方法を用いて、表示される画像の安全性等級に関する情報が、ピクセルマトリクスを介して表示される画像の少なくとも1つのピクセルの色ビット情報のバイナリコードによって、データストリームに導入されて、画像の安全性関連の表示の変更を画像強調処理中に制御することによって、すなわち最小化又は完全に防止することによって解決される。バイナリコードによって、ピクセルレベルでの色情報を超える情報が提供される。それにより、それぞれ転送されたピクセルの種類又は性質についての推論が可能であり、それにより、画像の正確な表示内容を逆にたどることができる。ピクセルレベルでのこのメタデータ情報は、オリジナルの画像信号を品質低下させることなく、ビットレベルでの画像情報に更に追加される。ピクセルに分解された画像データは、最初に生成された方法に従ってユーザに表示される。
有利には、バイナリーコードは、画像データ生成ユニットによって色ビット情報に追加され、画像データ生成ユニットは、色ビット情報のデータストリームを、画像データ出力ユニットに送信する。レンダリングユニットにおいて、画像データは、レンダリングされ、分類バイナリコードは、画像データの安全性等級に対応して導入される。画像作成時にレンダリングユニットにおいてできるだけ早く画像データを分類することにより、画像データ出力ユニット及び関連する画像エンハンサによる画像データの誤った取り扱いが回避される。画像エンハンサとは、先行技術から公知のソフトウェアモジュール又はソフトウェアモジュールを備えた装置と理解されたく、その装置は、画像強調技術を使用して、表示装置に表示される前に、画像を、例えば、色、コントラスト、明度、シャープネス、解像度、ノイズなどに関して最適化する。画像という用語は、本開示の意味において、表示装置上のすべての種類の表示、すなわち、例えば、シンボル、画像、テキスト又はアニメーションを含む。
一実施形態では、分類バイナリコードを含む少なくとも1つのピクセルは、表示される画像が表示ユニットに送信される前に、画像データを生成かつ出力するユニットによって受信されたデータストリームから読み取られ、少なくとも1つのピクセルの分類バイナリコードに応じて、画像強調の実行の種類に関する決定は、表示ユニットへの送信前に行われ、それに対応して変換される。画像データ及びバイナリコードに関する情報を分離することにより、バイナリコードを正確に評価することができ、表示する画像の安全性等級を、画像を表示する前に正確に特定することができる。
一変形例では、少なくとも1つのピクセルの読み出された分類バイナリコードは、バイナリコードの前にピクセルに元々保存されていた色値ビットによって置き換えられ、表示される画像は、画像内の関連する分類バイナリコードに対応して画像強調処理において修正される。画像エンハンサが分類バイナリコードを読み取った後に画像強調処理を実行する方法に関する指示を受信した後、画像強調処理の前に、分類バイナリコードは、バイナリコードが導入される前にピクセルに保存されていた元の色値ビットによって置き換えられる。有利には、画像エンハンサに供給される画像の色値は、分類バイナリコードが導入される前の画像の色値に正確に相当する。安全関連「ASIL」として等級分類された色ピクセルは、品質を損なうことなく、定義された安全性等級に関する要件を満たし、重要ではないと分類されたピクセルは、画像強調処理において完全に最適化することができる。
一実施形態では、画像強調処理後に出力される、表示される画像の色値ビットは、出力される画像が関連するバイナリコードによって規定された安全性等級に応じて出力されるかどうかが検証される。このために、バイナリコードが導入される前にレンダリングユニットによって生成された画像が、表示される画像と比較される。特に、ASIL等級が高い画像について、すなわち、バイナリコードが導入される前の画像と、受信ユニットによって表示ユニットに送信された画像とが一致する必要がある画像について比較することによって、エラー又は偏差を確実に検知して、必要に応じて安全警告を出力したり、又は是正措置を講じることができる。これにより、表示される画像の安全性等級を再度検証するという冗長性が実現される。
更なる実施形態では、RGB情報の特定の色におけるバイナリコードのために1ビットが予約される。これにより、2つの分類状態が生じる。
代替形態では、RGB情報の各色の1ピクセルがバイナリコードのために予約される。これにより、分類状態の数が増加する。
新しいデータフレームごとにバイナリコード用にRGB色のビット情報で1ビットを交互に予約すると、分類状態の数を更に増やすことが可能になる。更に、画像データ出力ユニットによって、色値のビット情報の間で分類ビットが変化しなくなるとすぐに、画像のフリーズが認識される。
あるいは、バイナリコード用に指定された色深度のフレームに、追加のLSB情報が提供される。これにより、色ごとに任意の数のピクセルを追加することが可能になり、これにより、高度な分類の多様性が可能になる。
更なる実施形態では、色符号化、すなわち、例えば、透明性用に提供されたRGBA色符号化のビット又は白色成分用に提供されたRGBW符号化のビットのうちの1つ以上の追加チャネルが、ASIL分類バイナリコード用にメタ情報として使用される。補助チャネルは、複数のビット又は1バイトを含む。原則として、それぞれ色符号化を追加するAチャネル(アルファ)及びWチャネルは、R、G及びBの3つの色バイトをそれぞれバイナリコードが導入される4番目のバイトで補完する。RGBデータは、例えば、レンダリングユニットとして構成された送信ユニットから画像処理かつ画像出力する受信ユニットまでのデータチャネルにおいて送信するデータ量を低減するために、圧縮フォーマットで送信される。有利には、補助チャネルに対して、すなわち、Aチャネル又はWチャネルのバイトに対しても圧縮は行われないので、圧縮エラー又は解凍エラーによる誤った分類バイナリコードの出力が排除されている。
本発明の更なる態様は、データストリームを介して通信する、画像データ生成ユニットと、画像データ出力ユニットとを備える、自動車の表示装置上にASIL関連データを安全に表示する装置であって、画像データ出力ユニットは、表示ユニットに接続されている、装置に関する。画像データ生成ユニットは、表示される画像データの安全性等級に関する追加情報を、画像データの少なくとも1つのピクセルの色ビット情報における分類バイナリコードによってデータストリームに導入し、それにより画像データを安全性等級に関して分類して、画像データ出力ユニットによる画像強調処理中に安全性関連の画像表示の変化を制御し、画像強調処理が最小限に抑えるか又は完全に防止する。
更なる利点、特徴及び詳細は、必要に応じて図面を参照しながら、少なくとも1つの実施例が詳細に説明される以下の説明から明らかになる。説明かつ/又は図示された特徴は、それ自体で、又は任意の意味のある組み合わせで、場合によっては特許請求の範囲とは無関係に、本発明の主題を形成することができ、特に、1つ以上の別個の出願の主題とすることもできる。同一の部品、類似する部品及び/又は機能的に同一の部品には、同じ参照符号が付けられている。
本発明による装置の概略図である。 受信ユニットにおける2段階の機能安全プロセスを備えた図1による装置を用いた本発明による方法の実施例の図である。 受信ユニットにおけるフローチャートの実施例の図である。 受信ユニットにおいてASIL分類ピクセルを処理するための実施例の図である。 受信ユニットにおいて非ASIL分類ピクセルを処理するための実施例の図である。 分類ビットを導入して、続いて元の画像データのビットと置き換える実施例の図である。
図1には、本発明による装置の概略図が示されている。装置100は、送信ユニット110及び受信ユニット120から構成され、これらは両方とも、受信ユニット120の一部である表示ユニット130に表示される画像データを処理する。生データから画像を生成するためのレンダリングユニットとなる送信ユニット110は、第1レイヤー140を含み、第1レイヤー140では、重要ではないと分類されたピクセルレイヤーが画像に導入される。安全なユニットとして形成されている第2レイヤー150では、安全性が重要であると分類された画像要素が画像に導入される。画像の生成に使用されるピクセルレイヤーの重要性は、例えば、画像が自動運転用のシステムなどのASIL関連システムの表示をレンダリングするか、又はエンターテインメントシステムなどの非安全性システムの表示をレンダリングするかにより異なる。送信ユニット110側で完全にレンダリングされ、かつピクセルレベルで分類された画像コンテンツは、シリアライザ160において圧縮データストリームに形成され、圧縮データストリームは、ビデオ伝送路170を介して受信ユニット120に送信され、受信ユニット120においてデシリアライザ180を使用して元通りに解凍されて、画像情報に変換される。受信ユニット120は、送信された画像情報をコントローラ190を使用して受け取る。安全性等級への分類を可能にするピクセルコンテンツマッピングによって決定される、画像情報のピクセルが安全性が重要である(ASIL関連)か又は重要ではないかに応じて、表示される画像は、画像エンハンサ(125)において、すなわち、画像強調処理において修正されるか又は修正されずに、受信ユニット120の表示ユニット130に供給される。
図2は、受信ユニット120における2段階の機能安全プロセスを備えた図1による装置100を用いた本発明による方法の実施例を示す。機能1では、可視化関連の内部情報及び外部情報、好適には車両情報が、送信ユニット110に収集される。可視化関連パラメータは、画像合成のための画像情報、この場合はピクセルカラーコンテンツに関連付けられる。次に、機能2では画像情報を、画像情報の安全性等級を分類するバイナリコードを含むメタデータと、画像情報に対してピクセル精度で類型化するためにマージ、すなわち、レンダリングする。レンダリングされた画像情報が送信ユニット110から受信ユニット120への送信(機能3)後、機能4は、表示される画像のデータストリームをピクセルごとに表示情報(色及び位置)とメタデータ(分類及び位置)とに分離する。その場合、メタデータは、安全性等級におけるASIL関連の分類に関するピクセル精度の情報を提供し、表示情報は、ピクセルの色を決定する。第1の機能安全性等級5では、各ピクセルの等級分類の検証が行われる。検知されたASIL関連のメタデータに応答して、システムでは、例えば、ルックアップテーブルで導出される事前定義されたパラメータに従って、画像強調プロセス及び表示プロセスに対するルールを含む対応するフィードバックが行われる。これらのルールは、画像強調プロセス及び表示ユニット130に供給される。これらのルール及び機能安全等級5の結果に応じて、機能6では、ピクセル分類の関数として適用されるルールに従って、画像強調プロセスが各ピクセルを処理する。機能7によれば、目的の表示に対するピクセルベースの修正又は最適化に適用されるルールが遵守されているかどうかが検証される。この場合、受信ユニットによって受信された値は、表示ユニットに出力される値と、例えば、ハッシュ値アルゴリズムを用いてピクセルごとに比較される。値が一致する場合、機能8において、画像情報は、表示ユニットで可視化するためにドライバに転送される。
上述したように、ビデオ伝送路170上で送信ユニット110と受信ユニット120との間で送信される各フレームごとに、送信ユニット110側では画像のピクセルに、それがどのタイプのピクセルであるかに関する情報を追加する。これは、RGBピクセル分類マッピングによって行われる。RGBピクセルレベルでの分類は、提供されるビット数に依存し、RGBマトリクスの各LSBデータ(最下位ビットデータ)で実行される。分類オプションは、8ビットRGBピクセルを用いて示されるものとする。
以下では、RGBに基づくピクセルフォーマット方式のいくつかの可能な形式を例示的に説明する。
1.青色BにおけるLSBピクセルの予約により2つの分類状態が生じる
R=8,G=8,B=8 → R=8,G=8,B=7+x
RRRRRRRR GGGGGGGG BBBBBBBB → RRRRRRRR GGGGGGGG BBBBBBBx
2.色ごとの1ビットの予約により、8つの分類状態が生じる
R=8,G=8,B=8 → R=7+x,G=7+x,B=7+x
RRRRRRRR GGGGGGGG BBBBBBBB → RRRRRRRx GGGGGGGx BBBBBBBx
3.データフレームごとに1ビットの色を予約することにより、3つのデータフレームにわたって8つの分類状態が生じる。これは、顕著な画像損失を伴わない、フレームベースの反復ピクセル分類である。フレームごとに、分類ビットは、赤、緑及び青のビットコーディングの間で交互に切り替わる。
データフレーム1
R=8,G=8,B=8 → R=7+x,G=8,B=8
RRRRRRRR GGGGGGGG BBBBBBBB → RRRRRRRx GGGGGGGG BBBBBBBB
データフレーム2:
R=8,G=8,B=8 → R=8,G=7+x,B=8
RRRRRRRR GGGGGGGG BBBBBBBB → RRRRRRRR GGGGGGGx BBBBBBBB
データフレーム3:
R=8,G=8,B=8 → R=8,G=8,B=7+x
RRRRRRRR GGGGGGGG BBBBBBBB → RRRRRRRR GGGGGGGG BBBBBBBx
4.10ビット色深度を有する個々の画像にLSB情報を追加提供することにより、分類状態1~Nが生じる
R=10,G=10,B=10 → R=10-n+n*x,G=10-n+n*x,B=10-n+n*x;
n=3の場合
RRRRRRRRRR GGGGGGGGGG BBBBBBBBBB → RRRRRRRRxxx GGGGGGGGxxx BBBBBBBBxxx
5.追加チャネル(アルファ及びホワイト)におけるコーディングによるメタ情報の追加提供
R=8,G=8,B=8,A=8 → R=8,G=8,B=8,A=(A+x)=8
RRRRRRRR GGGGGGGG BBBBBBBB aaaaaaaa → RRRRRRRR GGGGGGGG BBBBBBBB aaaaxxxx
提示された分類のすべての事例において、xは、LSBフォーマット用の予約ビットを指す。
図3は、受信ユニット120のコントローラ190におけるフローチャートの実施例を示す。ブロック200において、画像全体がマトリクスピクセルデータの形式で読み込まれる。ブロック210において、個々のピクセルが抽出され、その個々のピクセルは、ブロック220において検証プロセスで読み取られる。次に、ブロック230において、個々のピクセルについて、そのピクセルがどのピクセルタイプであるかが検証される。分類バイナリコードに基づいて安全性が重要なピクセル内容が検知された場合、ブロック240に移行し、ブロック240において、ピクセル操作の制限基準が定義される。これは、例えば、変更に対する保護であり得る。次にプロセスはブロック250に進み、ブロック250では、ブロック230において重要ではない内容が検知されたピクセルのデータも転送される。このブロック250において、検証されたピクセルが重要ではないピクセル内容を含む場合、画像データの画像強調が行われる。安全性が重要な内容を含むピクセルがブロック230において検知された場合、画像データは、許可された制限基準の範囲内のみに限定されて処理される。プロセスがブロック250からブロック260に移行し、ブロック260において、適用可能な検証基準への準拠が検証され、この検証基準は、同様にブロック240において安全性が重要な内容を有するピクセルについて定義される。ブロック270において、ピクセル分類は、画像データから除去され、その画像データは、ブロック280において元の単一ピクセルデータによって置き換えられる。
受信ユニット120においてASIL分類ピクセルを処理するための実施例が図4に示されている。機能3では、既に説明したように、画像データが送信ユニット110から受信ユニット120に送信され、画像データは、受信ユニット120において画像全体のピクセルマトリクスに変換される。機能4では、画像全体がピクセルごとに分離される。以下では、例えば、表示情報(色00000000 00000000 00000001)及びメタデータ(分類1)として含む青色の値の8ビット目(B8)について考察する。第1の機能安全性レベル5では、ビットB8の分類の検証が実行される。評価の結果は、分類レベル1=ASILピクセルである。機能ステップ6において、分類ビットは、元の画像情報に属する一時的に保存されたビットによって交換される、すなわち、この場合、ビットB8が置き換えられる、すなわち、そのビットは、1から画像値0にリセットされる。更に、機能6では、RGB画像情報のピクセルを処理するための画像強調処理は、ASILピクセル分類によって与えられるパラメータに応じて適用される基準に従って実行される。これによれば、バイナリコード1は、ビットB8に関連付けられた画像のピクセル画像強調を行ってはいけないことを意味する(第1の機能安全性レベル5)。機能7では、第1の機能安全レベル5で規定されたピクセルベースの修正又は最適化の基準が遵守されているかどうかの検証が行われる。結果が肯定的である場合、画像データは、機能8でドライバに転送され、表示ユニット130において可視化される。結果が否定的である場合、緊急対策が講じられ、例えば、画像強調の機能がオフにされるか、代替値が形成されるか、又は車両ユーザに故障に関するメッセージが出力される。
図5には、受信ユニット120において非ASILに分類されたピクセルを処理するための実施例が示されている。その場合、機能3及び機能4は、図4に関連して説明した機能に相当する。この場合、両方の値が0であるため、分類ビットを元の画像の色値ビットと交換する必要はない。ただし、この場合、分類ビットB8は、安全性が重要ではない内容を指す分類ビット情報として0を含み、そのため、画像強調処理中にビットB8に関連付けられた画像への変更が許可されおり、これは、機能6でもまた行われる。ここでも、第1の機能安全レベル5で規定された基準は、機能7により検証される。ピクセルB8を含む画像は、重要ではない内容を有するため、追加の検証基準は存在しないため、ピクセル値は、機能6で変更された形式、すなわち、画像強調された形式で表示ユニット130に出力される。
図6において詳細に示されるように、メタ情報は、最後の画像又は前の画像の、メタ情報の元の色情報によって置き換えられ、これは、特に、コントローラ190内にピクセル当たりの可能な変更された色値ビットの数をバッファリングすることによって行われる。本実施例では、分類ビットがRGB色値のビット情報に交互に書き込まれる、上記3.に記載したピクセルフォーマット方式に基づいて、バッファリングを説明する。機能2又は関連する方法ステップにおける図2に関する説明によれば、ASIL分類ビット1は、分類バイナリコードとして青のLSBビットに符号化されている。符号化前に有効であった元のピクセルの青のLSB色値ビットは、矢印で示すように、赤及び緑の色値ビットとともにバッファリングされている(図6aを参照)。分類ビットは、そのビットに関連付けられたピクセル又は画像のASIL関連性を定義するために、図4の機能5に対応して読み出される。機能6では、分類ビットは、色値についてバッファリングされたビットによって再度上書きされる、すなわち、図6bに示すように、分類ビットは、値0に置き換えられる。したがって符号化前に存在する元のピクセル又はピクセルに関連付けられた元の画像は、読み出された分類ビットに対応して画像エンハンサにおいて処理される、すなわち、この場合、強調なしで出力される。したがって、赤又は青の色で符号化された分類ビットは、画像エンハンサに送信される前に、元の画像のバッファリングされたLSBビットに置き換えられる。

Claims (9)

  1. 送信ユニット(110)と、受信ユニット(120)と、前記受信ユニット(120)によって出力された画像を表示するための表示ユニット(130)と、を含む、自動車の表示装置上にASIL関連データを安全に表示するための方法であって、
    安全性等級がより高い画像は、安全性等級がより低い画像よりも画像強調処理による修正が少なく、前記表示ユニット(130)上に表示され、
    表示される画像の前記安全性等級に関する情報は、前記送信ユニット(110)を使用して、ピクセルマトリクスを介して表示される前記画像の少なくとも1つのピクセルの色ビット情報における分類バイナリコードによって、データストリームに導入されて、前記画像強調処理中に前記画像データが出力される前記受信ユニット(120)に関連する画像エンハンサ(125)において、すべての安全性等級の画像に対して、前記画像の変化を制御する、方法。
  2. 少なくとも1つのピクセルの分類バイナリコードは、前記ピクセルを含む前記表示される画像が前記表示ユニット(130)に送信される前に、前記画像データを出力する前記受信ユニット(120)によって受信された前記データストリームから読み取られ、前記少なくとも1つのピクセルのバイナリコードに応じて、画像強調の実行に関する決定が行われることを特徴とする、請求項1に記載の方法。
  3. 前記少なくとも1つのピクセルの前記読み取られたバイナリコードは、前記バイナリコードの前にピクセルに本来格納されていた色値ビットによって置き換えられ、前記表示される画像は、前記画像強調処理において関連する分類バイナリコードに対応して修正されることを特徴とする、請求項1又は2に記載の方法。
  4. 前記出力される画像が前記関連するバイナリコードによって指定される前記安全性等級に応じて出力されるかどうか、前記画像強調処理後に出力される、前記表示される画像の前記色値ビットを検証することを特徴とする、請求項1~3の少なくとも一項に記載の方法。
  5. RGB情報の所定の色における前記バイナリコードのために、1ビットが予約されることを特徴とする、請求項1~4の少なくとも一項に記載の方法。
  6. 前記バイナリコードのために、1ピクセルは、前記RGB情報の各色に予約されていること特徴とする、請求項1~4の少なくとも一項に記載の方法。
  7. 前記バイナリコードのために、所定の色のビットは、各データフレームにおいて交互に予約されることを特徴とする、請求項1~4の少なくとも一項に記載の方法。
  8. 前記バイナリコードのために、LSB情報が、所定の色深度を持つフレームに追加で提供されるか、又はビットが、色エンコーディング、好適には、RGBAエンコーディング若しくはRGBWエンコーディングの補助チャネル内に予約されることを特徴とする、請求項1~4の少なくとも一項に記載の方法。
  9. データストリームを介して通信する、画像データを生成する送信ユニット(110)及び画像データを出力する受信ユニット(120)を備える、自動車の表示装置上にASIL関連データを安全に表示するための装置であって、画像データを出力する前記出力ユニット(120)は、前記画像を表示する表示ユニット(130)と接続されている、装置において、
    前記画像データを生成する前記送信ユニット(110)は、前記画像の修正を制御するために、すべての安全性等級の画像に対する画像データを出力する前記受信ユニット(120)に関連付けられた画像エンハンサ(125)における画像強調処理中、前記表示される画像データの安全性等級に関する追加情報を、分類バイナリコードを前記画像データのピクセルに導入する、装置。
JP2023558675A 2021-03-30 2022-03-16 自動車の表示装置上にasil関連データを安全に表示するための方法及び装置 Pending JP2024513771A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021001673.4A DE102021001673B3 (de) 2021-03-30 2021-03-30 Verfahren und Vorrichtung zur sicheren Anzeige von ASIL-relevanten Daten auf einer Anzeigevorrichtung eines Kraftfahrzeuges
DE102021001673.4 2021-03-30
PCT/EP2022/056824 WO2022207323A1 (de) 2021-03-30 2022-03-16 Verfahren und vorrichtung zur sicheren anzeige von asil-relevanten daten auf einer anzeigevorrichtung eines kraftfahrzeuges

Publications (1)

Publication Number Publication Date
JP2024513771A true JP2024513771A (ja) 2024-03-27

Family

ID=81307001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023558675A Pending JP2024513771A (ja) 2021-03-30 2022-03-16 自動車の表示装置上にasil関連データを安全に表示するための方法及び装置

Country Status (6)

Country Link
US (1) US12091038B2 (ja)
EP (1) EP4114679B1 (ja)
JP (1) JP2024513771A (ja)
CN (1) CN117042998A (ja)
DE (1) DE102021001673B3 (ja)
WO (1) WO2022207323A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463732B1 (ko) * 2022-01-03 2022-11-04 주식회사 브이웨이 머신 러닝 기반의 고장 형태 영향 분석 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4167777B2 (ja) 1999-07-19 2008-10-22 三菱電機株式会社 映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体
JP2003061089A (ja) 2001-08-17 2003-02-28 Hitachi Ltd ビットストリーム変換器、これを用いたデータ送信システム及び通信端末装置
DE102012207439A1 (de) 2012-05-04 2013-11-07 Cassidian Airborne Solutions Gmbh Verfahren zur Darstellung sicherheitskritischer Daten durch eine Anzeigeneinheit; Anzeigeneinheit
ES2619190T3 (es) 2014-12-30 2017-06-23 Matthias Auchmann Método y sistema para la visualización segura de información relevante para la seguridad
DE102015200292A1 (de) 2015-01-13 2016-07-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ansteuern eines Anzeigegerätes und Anzeigesystem
US9811932B2 (en) * 2015-04-17 2017-11-07 Nxp Usa, Inc. Display controller, heads-up image display system and method thereof
JP6992256B2 (ja) 2017-02-20 2022-01-13 セイコーエプソン株式会社 ドライバー、電気光学装置及び電子機器
DE102019205237B4 (de) 2019-04-11 2022-06-15 Audi Ag Anzeigen einer ASIL-D-Information mittels eines weniger sicheren Geräts

Also Published As

Publication number Publication date
EP4114679C0 (de) 2023-10-11
DE102021001673B3 (de) 2022-06-15
CN117042998A (zh) 2023-11-10
WO2022207323A1 (de) 2022-10-06
EP4114679B1 (de) 2023-10-11
EP4114679A1 (de) 2023-01-11
US20240083450A1 (en) 2024-03-14
US12091038B2 (en) 2024-09-17

Similar Documents

Publication Publication Date Title
US9538046B2 (en) Image reproduction using a particular color space
JP5801624B2 (ja) 表示装置、及び、表示装置制御回路
KR101548337B1 (ko) 와이드 컬러 개멋 디스플레이 시스템
US8238677B2 (en) Adaptive lossless data compression method for compression of color image data
JP2024513771A (ja) 自動車の表示装置上にasil関連データを安全に表示するための方法及び装置
JP2006121645A (ja) 画像圧縮装置および画像圧縮プログラム
US8331612B2 (en) Method and system for document annotation that includes outlining
US20100226565A1 (en) Image reproduction using a particular color space
US20090074232A1 (en) History image generating system, history image generating method, and recording medium in which is recorded a computer program
CN111903116B (zh) 用于打印图像的方法和设备、以及机器可读存储介质
US8335344B2 (en) Method and system for document annotation
US7088463B2 (en) Binary data transmission over an image data channel
CN111918021B (zh) 显示系统以及相关的车辆和方法
US20200285860A1 (en) Image processing apparatus
JP6355345B2 (ja) 画像処理装置、画像処理方法、表示装置、表示方法、及び、プログラム
US6781714B1 (en) Color image processing system and method
CN114593394B (zh) 在高清前照灯中推断降低的图像刷新频率的方法和系统
WO2022153476A1 (ja) 映像処理装置、映像処理方法、及び、映像処理プログラム
US20050231509A1 (en) Method of controlling operation of a plastics processing machine from a remote location using true imaging
JP4708743B2 (ja) プロジェクタ
JP6684164B2 (ja) 色処理装置、色処理方法
CN118014816A (zh) 一种水印嵌入方法、装置及电子设备
JP2016208153A (ja) 符号化装置及び符号化方法
WO2002039752A2 (en) High quality color key extraction apparatus
JPS63174473A (ja) 画像圧縮動作の診断方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230922

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241003