JP7097507B2 - 半導体装置、それを用いた車載用ディスプレイシステム、電子機器 - Google Patents

半導体装置、それを用いた車載用ディスプレイシステム、電子機器 Download PDF

Info

Publication number
JP7097507B2
JP7097507B2 JP2021511864A JP2021511864A JP7097507B2 JP 7097507 B2 JP7097507 B2 JP 7097507B2 JP 2021511864 A JP2021511864 A JP 2021511864A JP 2021511864 A JP2021511864 A JP 2021511864A JP 7097507 B2 JP7097507 B2 JP 7097507B2
Authority
JP
Japan
Prior art keywords
semiconductor device
visibility
character
osd
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021511864A
Other languages
English (en)
Other versions
JPWO2020203547A1 (ja
Inventor
洋治 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rohm Co Ltd
Original Assignee
Rohm Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rohm Co Ltd filed Critical Rohm Co Ltd
Publication of JPWO2020203547A1 publication Critical patent/JPWO2020203547A1/ja
Application granted granted Critical
Publication of JP7097507B2 publication Critical patent/JP7097507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12Test circuits or failure detection circuits included in a display system, as permanent part thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/42Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of patterns using a display memory without fixed position correspondence between the display memory contents and the display position on the screen

Description

本発明は、デジタルビデオ信号のインタフェースを有する半導体装置に関する。
図1は、画像表示システムのブロック図である。画像表示システム100Rは、液晶パネルや有機ELパネルなどのディスプレイパネル102と、ゲートドライバ104、ソースドライバ106、グラフィックコントローラ110およびタイミングコントローラ200Rを備える。グラフィックコントローラ110は、ディスプレイパネル102に表示すべき画像データを生成する。この画像データに含まれるピクセル(RGB)データは、シリアル形式で、タイミングコントローラ200Rに伝送される。
タイミングコントローラ200Rは、画像データを受け、各種の制御/同期信号を生成する。ゲートドライバ104は、タイミングコントローラ200Rからの信号と同期してディスプレイパネル102の走査線Lを順に選択する。またRGBデータは、ソースドライバ106に供給される。
タイミングコントローラ200Rは、受信回路202、送信回路204、ロジック回路210を備える。受信回路202は、グラフィックコントローラ110からシリアル形式で画像データを受信する。外付けのROM111には、ディスプレイパネル102のID(識別情報)、解像度やリフレッシュレートなどが格納されている。ロジック回路210は、受信回路202が受信した画像データにもとづいて、制御/同期信号を生成する。送信回路204は、制御信号や画像データを、ゲートドライバ104およびソースドライバ106に出力する。
タイミングコントローラ200Rには、受信回路202が受信する画像データとは別に、あらかじめ決められた文字、図形、アイコンなどを表示するOSD(On Screen Display)機能が要求される場合がある。このためにロジック回路210は、OSD回路212を備える。以下、文字、図形、アイコンなどをOSDキャラクタと総称する。
ROM111には、いくつかのOSDキャラクタのビットマップデータが格納されている。タイミングコントローラ200Rは、画像データとは別に入力される制御信号に応じたOSDキャラクタのビットマップデータをROM111から読み出し、ディスプレイパネル102に表示させる。
図2(a)は、OSDキャラクタの一例を示す図であり、図2(b)は、OSDキャラクタを画像データにオーバーレイした状態を示す図である。図2(b)に示すように、OSDキャラクタの色や明度と、その下地となる画像データの色や明度の関係によっては、OSDキャラクタの視認性が著しく低下する場合がある。
この問題を解決するために、タイミングコントローラには、視認性検出(Visibility Detection)機能が実装される場合がある。視認性検出機能は、OSDキャラクタと背景の色や明度の差分をしきい値と比較し、OSDキャラクタの視認性を判定する機能である。判定結果はグラフィックコントローラ110に通知され、視認性が低い場合はグラフィックコントローラ110側で対応する。
特開平6-317782号公報 特開2002-169524号公報
OSD機能が、グラフィックコントローラ110側に実装される場合がある。この場合、グラフィックコントローラ110自体が、OSDキャラクタをオーバーレイした後の画像データについて、視認性検出を行うべきである。しかしながら、グラフィックコントローラ110は、OSDキャラクタについての視認性検出を行っていないのが実情である。
またグラフィックコントローラ110からタイミングコントローラ200Rへの画像データの伝送中にノイズが混入する可能性がある。そうすると、仮にグラフィックコントローラ110に視認性検出の機能を実装したとしても、ノイズによってOSDキャラクタの視認性が低下する可能性があり、そのような画像がディスプレイパネル102に表示されることは好ましくない。
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、グラフィックコントローラが生成したビデオデータについて、視認性検出が可能な半導体装置の提供にある。
本発明のある態様は、半導体装置に関する。半導体装置は、既知のキャラクタが描画されうるビデオデータを受信するビデオ入力インタフェースと、キャラクタを記述する基準図形データを保持するメモリと、基準図形データにもとづいて、ビデオデータに描画されるキャラクタの視認性をチェックする視認性検出器と、を備える。
なお、以上の構成要素を任意に組み合わせたもの、あるいは本発明の表現を、方法、装置などの間で変換したものもまた、本発明の態様として有効である。
本発明のある態様によれば、グラフィックコントローラが生成したビデオデータの視認性を外部の半導体装置によってチェックできる。
画像表示システムのブロック図である。 図2(a)は、OSDキャラクタの一例を示す図であり、図2(b)は、OSDキャラクタを画像データにオーバーレイした状態を示す図である。 実施の形態1に係る半導体装置を備える画像表示システムのブロック図である。 基準図形データを示す図である。 視認性検出器による視認性のチェックを説明する図である。 視認性検出器の構成例を示すブロック図である。 視認性の判定を説明する図である。 実施の形態2に係る半導体装置のブロック図である。 画像エラー検出器の構成例を示すブロック図である。 視認性検出器と画像エラー検出器が統合されたブロック図である。 実施の形態3に係る半導体装置のブロック図である。 図12(a)~(d)は、半導体装置の具体的なアプリケーションを示す図である。 図13(a)~(c)は、実施の形態に係る車載用ディスプレイ装置を示す図である。 電子機器を示す斜視図である。
(実施の形態の概要)
本明細書に開示される一実施の形態は、半導体装置に関する。半導体装置は、既知のキャラクタが描画されうるビデオデータを受信するビデオ入力インタフェースと、既知のキャラクタを記述する基準図形データを保持するメモリと、基準図形データにもとづいて、ビデオデータに描画される既知のキャラクタの視認性をチェックする視認性検出器と、を備える。
グラフィックコントローラがビデオデータ内に描画する可能性がある既知のキャラクタの情報を基準図形データとして半導体装置に記憶しておくことで、半導体装置において視認性をチェックすることが可能となる。半導体装置に、視認性検出の機能を実装することで、グラフィックコントローラから半導体装置へのビデオデータの伝送中のノイズや、ビデオインタフェースの故障や異常によって、キャラクタの視認性が低下した場合にも、それを検出することができる。
視認性検出器は、既知のキャラクタが描画されるターゲット領域に含まれる背景部分を構成する複数のピクセルそれぞれについて、視認性の良否を判定してもよい。視認性検出器は、視認性が悪いピクセルの個数がピクセルカウントしきい値を超えると、既知のキャラクタの視認性が悪いと判定してもよい。
半導体装置は、基準図形データにもとづいて、ビデオデータに描画される既知のキャラクタの正常、異常を判定する描画エラー検出器をさらに備えてもよい。これにより、ビデオインタフェースやグラフィックコントローラの異常や、ノイズによる画像乱れを、半導体装置において検出することができる。
視認性検出器と描画エラー検出器は、1フレーム毎に交互に動作してもよい。
半導体装置は、ビデオ入力インタフェースとは別に設けられた制御入力インタフェースをさらに備え、外部のプロセッサと通信可能に構成されてもよい。
既知のキャラクタの表示位置は可変であってもよい。制御入力インタフェースがプロセッサから受信する制御信号は、既知のキャラクタの表示位置を示す位置情報を含んでもよい。視認性検出器は、この位置情報にもとづいて、キャラクタの位置を知ることができる。
半導体装置は、ビデオ入力インタフェースとは別に設けられた制御入力インタフェースをさらに備え、外部のプロセッサと通信可能に構成されてもよい。制御入力インタフェースがプロセッサから受信する制御信号は、既知のキャラクタが、視認性検出器もしくは描画エラー検出器による判定対象か否かを示す情報、現在のフレームが、視認性検出器もしくは描画エラー検出器による判定対象か否かを示す情報、の少なくとも一方を含んでもよい。
半導体装置は、ビデオデータ上に、OSD(On Screen Display)キャラクタを描画するOSD回路をさらに備えてもよい。この場合、グラフィックコントローラによるOSD機能とは別に、追加のOSD機能を提供できる。
OSD回路は、基準図形データが記述する既知のキャラクタを、OSDキャラクタとして描画可能であってもよい。この場合、グラフィックコントローラにおけるOSD機能が故障した場合などにおいて、その代替として、半導体装置のOSD回路を動作させることができるため、画像表示システムの堅牢性を高めることができる。
(実施の形態)
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
本明細書において、「部材Aが、部材Bと接続された状態」とは、部材Aと部材Bが物理的に直接的に接続される場合のほか、部材Aと部材Bが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
同様に、「部材Cが、部材Aと部材Bの間に設けられた状態」とは、部材Aと部材C、あるいは部材Bと部材Cが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
図3は、実施の形態1に係る半導体装置300を備える画像表示システム100のブロック図である。画像表示システム100は、半導体装置300、ディスプレイパネル102、グラフィックコントローラ110、ホストプロセッサ120を備える。
グラフィックコントローラ110は、GPU(Graphics Processing Unit)などであり、ビデオデータ400を生成する。グラフィックコントローラ110は、HDMI(登録商標)規格やDisplayPort規格あるいはDVI(Digital Visual Interface)規格などに準拠したトランスミッタ(ビデオ出力インタフェース)を含み、ビデオ伝送ライン130を介して半導体装置300と接続される。ビデオデータ400を含むデジタルビデオ信号Sは、シリアル形式で半導体装置300に伝送される。
ビデオデータ400には、既知のキャラクタが描画されうる。たとえばグラフィックコントローラ110は、OSD回路114を含み、ビデオデータに、予め決められたキャラクタ(OSDキャラクタともいう)402をオーバーレイする。
ホストプロセッサ120は、画像表示システム100を統合的に制御する。ホストプロセッサ120と半導体装置300とは、ビデオ伝送ライン130とは別系統の制御ライン132を介して接続される。制御ライン132には、ICインタフェースやSPIを用いることができる。
たとえばグラフィックコントローラ110は、ホストプロセッサ120からの制御指令Sに応じて、OSDキャラクタ402をビデオデータ400に描画する。この場合、ホストプロセッサ120は、現在、どのようなキャラクタがビデオデータ400に描画されているかを知っている。グラフィックコントローラ110とホストプロセッサ120は統合されていてもよい。
半導体装置300は、ビデオ入力インタフェース310、制御入力インタフェース320、視認性検出器340、メモリ342を備える。ビデオ入力インタフェース310は、グラフィックコントローラ110からのデジタルビデオ信号Sを受信する。デジタルビデオ信号Sに含まれるビデオデータ400は、ディスプレイパネル102に供給され、表示される。
制御入力インタフェース320は、ホストプロセッサ120から制御データSを受信する。制御データSは、現在伝送されているビデオデータ400に描画されるOSDキャラクタ402に関する情報Sを含むことができる。この情報Sは、OSDキャラクタの種類を示すIDを含んでもよい。またOSDキャラクタ402の描画位置が可変である場合、この情報Sは、OSDキャラクタ402の描画位置を含みうる。
メモリ342は、既知のキャラクタ402を記述する基準図形データ344を保持する。図4は、基準図形データ344を示す図である。基準図形データ344は、OSD回路114において描画されるOSDキャラクタのデータのレプリカと把握できる。基準図形データ344は、キャラクタ402ごとに用意されており、キャラクタ402が複数存在する場合、基準図形データ344も複数用意される。
基準図形データ344は、実際にキャラクタが描画される描画領域346と、描画領域346以外の背景が描画される背景領域348を区別するために用いられる。基準図形データ344は、各画素の透明度(あるいは不透明度)を示すα値を含んでもよい。α値が透明であるピクセルを背景領域348と判定し、α値が不透明であるピクセルを描画領域346と判定してもよい。基準図形データ344は、描画領域346の各ピクセルの色に関する情報をさらに含んでもよい。
基準図形データ344は、キャラクタ402の形状を記述するビットマップデータそのものであってもよいし、それを圧縮したデータであってもよい。圧縮方法は特に限定されないが、たとえばランレングス圧縮などを用いることができる。基準図形データ344は、半導体装置300のメモリ342に不揮発的に格納しておいてもよいし、半導体装置300の起動時に、ホストプロセッサ120あるいはグラフィックコントローラ110からロードするようにしてもよい。
図3に戻る。視認性検出器340は、ビデオデータ400を受け、基準図形データ344にもとづいて、ビデオデータ400に描画される既知のキャラクタ402の視認性をチェックする。視認性が悪いときには、エラー信号VSB_ERRをアサート(たとえばハイ)する。視認性検出器340による判定結果は、制御入力インタフェース320を経由してホストプロセッサ120に通知される。ホストプロセッサ120は、OSDキャラクタの色を変更するなどのエラー処理を行ってもよい。
視認性検出器340は、情報Sにもとづいて、現在のフレームに、チェック対象のキャラクタ402が含まれているか、どの位置にキャラクタ402が描画されているかなどを知ることができる。
以上が半導体装置300の構成である。続いてその動作を説明する図である。図5は、視認性検出器340による視認性のチェックを説明する図である。ビデオデータ400には、OSDキャラクタ402が描画されている。視認性検出器340は、OSDキャラクタ402が描画されるターゲット領域404を、チェック対象とする。ターゲット領域404のサイズは、図4の基準図形データ344のサイズと同一である。
視認性検出器340は、基準図形データ344にもとづいて、ターゲット領域404の中から、背景領域348を抽出し、背景領域348にもとづいて、視認性の良否を判定する。視認性のチェックの方式は特に限定されないが、たとえば、視認性検出器340は、背景領域348に含まれるいくつかの、あるいは全ピクセルについて、そのピクセルのピクセル値(Ri,Gi,Gi)と、OSDキャラクタ402の色にもとづく基準色のRGB値(Rr,Gr,Br)の関係にもとづいてピクセルごとの良否を判定し、複数のピクセルの良否の判定結果を統合して、ターゲット領域404全体としての視認性を判定してもよい。
以上が半導体装置300の動作である。この半導体装置300によれば、グラフィックコントローラ110がビデオデータ400内に描画する可能性がある既知のキャラクタ402の情報を基準図形データ344として半導体装置300のメモリ342に記憶しておくことで、半導体装置300において視認性をチェックすることが可能となる。
これにより、グラフィックコントローラ110が視認性検出の機能を備えない場合に、半導体装置300を設けることで視認性チェックの機能を提供できる。
またグラフィックコントローラ110が視認性検出の機能を備える場合には、グラフィックコントローラ110と半導体装置300とで2重のチェックを行うことができる。さらに、ビデオ入力インタフェース310や、半導体装置300のビデオ入力インタフェース310に異常、故障があったり、ビデオ伝送ライン130の混入するノイズによって、ビデオデータ400が乱れ、キャラクタ402の視認性が低下することが起こりうる。この場合には、グラフィックコントローラ110の視認性検出器では異常を検出できないが、半導体装置300の視認性検出器340によって異常を検出できるため、画像表示システム100の堅牢性を高めることができる。
本発明は、図2のブロック図や回路図として把握され、あるいは上述の説明から導かれるさまざまな装置、方法に及ぶものであり、特定の構成に限定されるものではない。以下、本発明の範囲を狭めるためではなく、発明の本質や動作の理解を助け、またそれらを明確化するために、より具体的な構成例や実施例を説明する。
続いて視認性検出器340について詳細に説明する。図6は、視認性検出器340の構成例を示すブロック図である。視認性検出器340は、背景ピクセル抽出部349と判定部350を備える。背景ピクセル抽出部349は、ビデオデータ400のターゲット領域404の中から、背景領域348に含まれるピクセルを抽出する。抽出されたピクセルの画素値をRi,Gi,Biとする。
判定部350は、背景領域348に含まれるピクセルの画素値(Ri,Gi,Bi)と基準画素値(Rr,Gr,Br)にもとづいて、そのピクセルの良否を判定する。
判定部350は、ピクセル判定部352、領域判定部364、最終判定部366を含む。ピクセル判定部352は、背景領域348に含まれる複数のピクセルそれぞれについて、視認性の良否を判定し、視認性が悪いときにピクセルエラー信号PIX_ERRをアサートする。
領域判定部364は、視認性が悪いピクセルの個数をカウントし、カウントしたピクセル数num_err_pixが、ピクセルカウントしきい値pを超えると、そのフレームにおけるOSDキャラクタの視認性が悪いと判定し、RGN_ERR信号をアサートする。ターゲット領域404に含まれる総ピクセル数(すなわちキャラクタサイズ)、もしくは背景領域348の全ピクセル数に、係数Pを乗ずることにより、ピクセルカウントしきい値pを得ることができる。係数Pは、エラーを許容する比率を表す。たとえばPは、0.05%~62.5%の範囲でレジスタにより設定可能である。
最終判定部366は、RGN_ERR信号が所定数フレームQにわたり連続してアサートされると、最終的なエラーVSB_ERRをアサートする。たとえばQは0~15の範囲でレジスタによって設定可能である。
ピクセル判定部352には、背景領域348に含まれるピクセルの画素値(以下、背景色という)(Ri,Gi,Bi)と、基準色(Rr,Gr,Br)が入力される。基準色(Rr,Gr,Br)は、OSDキャラクタ402ごとに一意に定められた色である。OSDキャラクタ402が1色で構成される場合、基準色(Rr,Gr,Br)は、OSDキャラクタ402の色と一致してもよい。OSDキャラクタ402が複数の色で構成される場合、基準色(Rr,Gr,Br)は、複数の色にもとづいて決定される。
本実施の形態において、ピクセル判定部352は、背景色(Ri,Gi,Bi)と、基準色(Rr,Gr,Br)の色差(Color Difference)CDiと、明度差(Brightness Difference)BDiにもとづいて、エラーをチェックする。より詳しくは、色差CDiが色差しきい値Tより小さいか、あるいは明度差BDiが明度差しきい値Uより小さいときに、ピクセルエラーPIX_ERRがアサートされる。
ピクセル判定部352は、色差計算部354、色差エラー検出部356、明度差計算部358、明度差エラー検出部360、ORゲート362を含む。色差計算部354は、式(1)にもとづいて色差CDiを計算する。
CDi=|Ri-Rr|+|Gi-Gr|+|Bi-Br| …(1)
色差エラー検出部356は、色差CDiを色差しきい値Tと比較し、CDi<Tのときにエラーと判定し、ハイを出力する。
明度差計算部358は、式(2)にもとづいて明度差BDiを計算する。
BDi=|Ri-Rr|×0.299+|Gi-Gr|×0.587+|Bi-Br|×0.114 …(2)
明度差エラー検出部360は、明度差BDiを明度差しきい値Uと比較し、BDi<Uのときにエラーと判定し、ハイを出力する。
色差しきい値Tおよび明度差しきい値Uを、
T=32×N
U=32×M
のように定めてもよい。N、Mは、レジスタで設定される設定値であり、0~15を取り得る。
図7は、視認性の判定を説明する図である。ハッチングを付した領域が、視認性が高いとされる領域であり、それ以外が、エラーとなる領域である。
(実施の形態2)
図8は、実施の形態2に係る半導体装置300Aのブロック図である。半導体装置300Aは、図3の半導体装置300に加えて、画像エラー検出器370を備える。
画像エラー検出器370は、メモリ342に格納される基準図形データ344にもとづいて、ビデオデータ400に描画されるキャラクタ402の正常、異常を判定する。
画像エラー検出器370は、描画領域346に含まれるピクセルの画素値をその期待値と比較し、一致、不一致を判定してもよい。たとえば画像エラー検出器370は、あるピクセルの画素値と期待値の誤差が所定のしきい値を超えると、エラーと判定してもよい。画像エラー検出器370の処理を、IMC(Image Comparison)と称する。画像エラー検出器370は、たとえばエラーピクセルの個数がしきい値を超えると、画像エラー信号(IMC_ERR)をアサートしてもよい。画像エラー検出器370による判定結果は、制御入力インタフェース320を経由してホストプロセッサ120に通知される。
以上が半導体装置300Aの構成である。半導体装置300Aによれば、ビデオ入力インタフェース310やグラフィックコントローラ110の異常、ノイズによる画像乱れを、画像エラー検出器370によって検出することができる。
基準図形データ344を、視認性検出器340と画像エラー検出器370によって共有できるため、メモリ342の容量の増加を抑制できるという利点がある。
図9は、画像エラー検出器370の構成例を示すブロック図である。画像エラー検出器370は、描画ピクセル抽出部372、ピクセル判定部374、領域判定部376、最終判定部378を含む。
描画ピクセル抽出部372は、ビデオデータ400のターゲット領域404の中から、描画領域346に含まれるピクセルを抽出する。抽出されたピクセルの画素値をRj,Gj,Bjとする。
ピクセル判定部374は、描画領域346に含まれる複数のピクセルそれぞれの画素値Rj,Gj,Bjと、期待値との誤差にもとづいて、各ピクセルのエラーの有無を判定する。各ピクセルの期待値をOSD_R,OSD_G,OSD_Bとする。
ピクセル判定部374は2つの判定モードをサポートしてもよい。第1の判定モードでは、
|Rj-OSD_R|>16×L
|Gj-OSD_G|>16×L
|Bj-OSD_B|>16×L
のいずれかを満たすとき、そのピクセルをエラーと判定する。Lは、しきい値を設定するパラメータであり、0~15の範囲でレジスタによって設定可能である。この判定モードは、キャラクタが正しく点灯していないことをエラーとして検出するものである。
第2の判定モードでは、
|Rj-OSD_R|≦16×L
|Gj-OSD_G|≦16×L
|Bj-OSD_B|≦16×L
のすべてを満たすとき、そのピクセルをエラーと判定する。この判定モードは、キャラクタが正しく消灯していないことをエラーとして検出するものである。
領域判定部376は、視認性が悪いピクセルの個数をカウントし、カウントしたピクセル数num_err_pixが、ピクセルカウントしきい値pを超えると、そのフレームにおけるOSDキャラクタの視認性が悪いと判定し、RGN_ERR信号をアサートする。ターゲット領域404に含まれる総ピクセル数(すなわちキャラクタサイズ)、もしくは背景領域348の全ピクセル数に、係数Pを乗ずることにより、ピクセルカウントしきい値pを得ることができる。係数Pは、エラーを許容する比率を表す。たとえばPは、0.05%~62.5%の範囲でレジスタにより設定可能である。
最終判定部378は、RGN_ERR信号が所定数フレームQにわたり連続してアサートされると、最終的なエラーVSB_ERRをアサートする。たとえばQは0~15の範囲でレジスタによって設定可能である。
視認性検出器340と画像エラー検出器370は1フレーム毎に交互にエラーを検出してもよい。
図10は、視認性検出器340と画像エラー検出器370が統合されたブロック図である。領域判定部364と領域判定部376が共通化され、最終判定部366と最終判定部378が共通化される。セレクタSEL1は、1フレーム毎に、ピクセル判定部352の出力とピクセル判定部374の出力を交互に選択する。たとえば奇数フレームでは、視認性検出器340が有効となり視認性のチェックを行い、偶数フレームでは視認性検出器340が有効となり、IMCを行ってもよい。セレクタSEL2によって、領域判定部364(376)のしきい値Pを、フレームごとに、視認性チェック用の値P_VDとIMC用の値P_IMCで切りかえてもよい。
図10の構成によれば、カウンタなどを共通化することでハードウェアの増加を抑制できる。
(実施の形態3)
図11は、実施の形態3に係る半導体装置300Bのブロック図である。半導体装置300Bは、図8の半導体装置300Aに加えて、(あるいは図3の半導体装置300に加えて)、OSD回路330を備える。
ホストプロセッサ120から制御入力インタフェース320に送信される制御データSは、OSDの表示コマンドSを含む。
OSD回路330は、表示コマンドSに対応するOSDキャラクタを、ビデオデータ400上のターゲットとなる領域にOSDキャラクタをオーバーレイする。
この実施の形態において、基準図形データ344を、OSDキャラクタとして用いることができる。
たとえば、画像エラー検出器370によってエラーが検出された場合に、ホストプロセッサ120は、グラフィックコントローラ110によるOSDキャラクタの描画から、OSD回路330によるキャラクタの描画に切り替えてもよい。OSD回路330は、ビデオ入力インタフェース310よりも後段に設けられるため、ビデオ入力インタフェース310の異常や、ノイズの影響を受けにくいため、異常時においても、正常なキャラクタを表示することが可能となる。
続いて半導体装置300のアプリケーションを説明する。図12(a)~(d)は、半導体装置300の具体的なアプリケーションを示す図である。図12(a)において、半導体装置300は、タイミングコントローラ200である。タイミングコントローラ200は、グラフィックコントローラ110からのデジタルビデオ信号を受け、ゲートドライバ104およびソースドライバ106を制御する。
図12(b)において、半導体装置300は、ブリッジチップ150である。ブリッジチップ150は、グラフィックコントローラ110とタイミングコントローラ200の間に設けられ、グラフィックコントローラ110の出力インタフェースと、タイミングコントローラの入力インタフェースの橋渡しをする。
図12(c)において、半導体装置300は、ブリッジチップ160である。ブリッジチップ160は、グラフィックコントローラ110からのビデオ信号を、複数系統に分岐する。ブリッジチップ160は、複数の系統に、入力されたビデオ信号と同じビデオ信号を分配してもよい。あるいは、ブリッジチップ160は、入力されたビデオ信号を複数の領域(画面)に分割して、複数の系統に分配してもよい。
図12(d)において、半導体装置300は、ワンチップドライバ170である。ワンチップドライバ170は、タイミングコントローラの機能とディスプレイドライバ(ソースドライバ)の機能を備える。
図12(a)~(d)の画像表示システムは、車載用ディスプレイや医療用ディスプレイ、テレビ、PC用のディスプレイを初めとするさまざまなディスプレイ装置に用いることができる。あるいは、画像表示システムは、ノートコンピュータやタブレット端末、スマートフォン、デジタルカメラやデジタルビデオカメラなどの電子機器に内蔵することもできる。
図13(a)は、実施の形態に係る車載用ディスプレイ装置600を示す図である。車載用ディスプレイ装置600は、コクピット正面のコンソール602に埋め込まれており、車両側のプロセッサから、スピードメータ604、エンジンの回転数を示すタコメータ606、燃料の残量608、ハイブリッド自動車や電気自動車にあってはバッテリの残量などを含むデジタルビデオ信号(ビデオデータ)Sを受け、それを表示する(図13(a))。
従来では、図13(b)に示すような、何らかの異常や、バッテリ上がりを示す表示灯や警告灯(以下、単に警告灯と総称する)は、ディスプレイパネルの外に、独立したLEDを用いて表示していた。ディスプレイパネル上に警告灯を表示させない理由は以下の通りである。すなわち半導体装置300(タイミングコントローラ200)とグラフィックコントローラ110の間は、差動シリアルインタフェースで接続され、システムの起動開始から、タイミングコントローラ200とグラフィックコントローラ110の間のシリアルインタフェースのリンクが確立するまでの間、画像データの伝送ができず、したがってディスプレイパネル102に画像を表示できない。あるいは、一旦リンクが確立した後に、ノイズなどの影響でリンクが切断されると、再びリンクが確立するまでの間、ディスプレイパネル102に画像を表示できない。そのほか、ケーブルの抜け、断線が生じた場合、シリアルインタフェースやグラフィックコントローラ110の一部が故障した場合も同様である。これらのように、画像が表示できない状態を、「表示不能状態」と称する。
警告灯は、ドライバに知らせるべき重要な情報を含んでいるため、表示不能状態であっても点灯可能であることが要求される。かかる事情から警告灯はディスプレイパネルの外部に設ける必要があった。
これに対して、実施の形態に係るタイミングコントローラ200あるいは半導体装置300のその他の形態を利用し、警告灯を、OSD機能によってディスプレイパネル上に表示することが可能となる。OSDの表示には、差動シリアルインタフェースの通信を必要としないからである。これによりLEDやその駆動回路が不要となるため、コストを下げることができる。またICなどのECUの標準機能を用いることができるため、さらにコストを下げることができる。
また、車載用ディスプレイ装置600において、ビデオデータSが表示できない状況(表示不能状態)が生ずると、ディスプレイパネル102がブラックアウトし、運転に支障をきたす。そこで数字やアルファベットなどを、OSDキャラクタとして用意しておいてもよい。図13(c)に示すように、走行中に何らかの異常が発生し、スピードメータ604やタコメータ606が表示不能となった場合に、OSD機能を利用して、車速情報610やエンジンの回転数の情報612をリアルタイムで表示することができ、安全性を高めることができる。
あるいは、自動車のイグニションオンに際して、車載用ディスプレイ装置600が起動する際に、ビデオデータSを表示できるようになるまでの間、”PLEASE WAIT...”や、現在の時刻などの文字列を、OSD機能を利用して表示することが可能となる。
半導体装置300の一形態であるタイミングコントローラ200は、医療用ディスプレイ装置に用いることもできる。医療用ディスプレイ装置は、診察、治療あるいは手術中に、医師や看護師が必要な情報を表示する。医療用ディスプレイ装置においては、ビデオデータSを表示できない状況においても、重要な情報(たとえば患者の心拍数、血圧など)をOSD機能を用いて表示することが可能となる。
図14は、電子機器500を示す斜視図である。図14の電子機器500は、ラップトップコンピュータやタブレット端末、スマートフォン、ポータブルゲーム機、オーディオプレイヤなどであり得る。電子機器500は、筐体502に内蔵されたグラフィックコントローラ110、ディスプレイパネル102、ゲートドライバ104、ソースドライバ106を備える。タイミングコントローラ200とグラフィックコントローラ110の間には、差動トランスミッタ、伝送路および差動レシーバを含む伝送装置112が設けられてもよい。
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
(変形例1)
判定部350における判定手法は、実施の形態で説明したそれに限定されない。たとえば色差のみ、明度差のみにもとづいて判定してもよい。あるいはそれらに代えて、あるいはそれらに加えて、コントラストにもとづいて判定を行ってもよい。
(変形例2)
実施の形態では、OSDキャラクタ402の視認性のチェックについて説明したが、チェック対象のキャラクタ402は、OSDによって描画されたものには限定されない。
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
本発明は、デジタルビデオ信号の伝送に関する。
100 画像表示システム
102 ディスプレイパネル
104 ゲートドライバ
106 ソースドライバ
110 グラフィックコントローラ
112 OSD回路
120 ホストプロセッサ
130 ビデオ伝送ライン
132 制御ライン
140 不揮発性メモリ
300 半導体装置
310 ビデオ入力インタフェース
320 制御入力インタフェース
330 OSD回路
332 メモリ
334 エンコーダ
336 デコーダ
340 視認性検出器
342 メモリ
344 基準図形データ
346 描画領域
348 背景領域
349 背景ピクセル抽出部
350 判定部
352 ピクセル判定部
354 色差計算部
356 色差エラー検出部
358 明度差計算部
360 明度差エラー検出部
362 ORゲート
364 領域判定部
366 最終判定部
370 画像エラー検出器
372 描画ピクセル抽出部
374 ピクセル判定部
376 領域判定部
378 最終判定部
400 ビデオデータ
402 OSDキャラクタ
404 ターゲット領域
500 電子機器
600 車載用ディスプレイ装置

Claims (12)

  1. 既知のキャラクタが描画されうるビデオデータを受信するビデオ入力インタフェースと、
    前記既知のキャラクタを記述する基準図形データを保持するメモリと、
    前記基準図形データにもとづいて、前記ビデオデータに描画される前記既知のキャラクタの視認性をチェックする視認性検出器と、
    前記基準図形データにもとづいて、前記ビデオデータに描画される前記既知のキャラクタの正常、異常を判定する描画エラー検出器と、
    を備え、
    前記視認性検出器と前記描画エラー検出器は、1フレーム毎に交互に動作することを特徴とする半導体装置。
  2. 前記視認性検出器は、前記既知のキャラクタが描画されるターゲット領域に含まれる背景部分を構成する複数のピクセルそれぞれについて、視認性の良否を判定することを特徴とする請求項1に記載の半導体装置。
  3. 前記視認性が悪いピクセルの個数がピクセルカウントしきい値を超えると、前記既知のキャラクタの視認性が悪いと判定することを特徴とする請求項2に記載の半導体装置。
  4. 前記ビデオ入力インタフェースとは別に設けられた制御入力インタフェースをさらに備え、外部のプロセッサと通信可能に構成されることを特徴とする請求項1からのいずれかに記載の半導体装置。
  5. 前記既知のキャラクタの表示位置は可変であり、
    前記制御入力インタフェースが前記プロセッサから受信する制御信号は、前記既知のキャラクタの前記表示位置を示す位置情報を含むことを特徴とする請求項に記載の半導体装置。
  6. 前記ビデオデータ上に、OSD(On Screen Display)キャラクタを描画するOSD回路をさらに備えることを特徴とする請求項1からのいずれかに記載の半導体装置。
  7. 前記OSD回路は、前記基準図形データが記述する前記既知のキャラクタを、前記OSDキャラクタとして描画可能であることを特徴とする請求項に記載の半導体装置。
  8. タイミングコントローラであることを特徴とする請求項1からのいずれかに記載の半導体装置。
  9. タイミングコントローラとソースドライバの機能を備えるワンチップドライバであることを特徴とする請求項1からのいずれかに記載の半導体装置。
  10. M入力、N出力(M≧1、N≧1)を有するブリッジ回路であることを特徴とする請求項1からのいずれかに記載の半導体装置。
  11. 請求項1から10のいずれかに記載の半導体装置を備えることを特徴とする車載用ディスプレイシステム。
  12. 請求項1から10のいずれかに記載の半導体装置を備えることを特徴とする電子機器。
JP2021511864A 2019-03-29 2020-03-25 半導体装置、それを用いた車載用ディスプレイシステム、電子機器 Active JP7097507B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019066742 2019-03-29
JP2019066742 2019-03-29
PCT/JP2020/013318 WO2020203547A1 (ja) 2019-03-29 2020-03-25 半導体装置、それを用いた車載用ディスプレイシステム、電子機器

Publications (2)

Publication Number Publication Date
JPWO2020203547A1 JPWO2020203547A1 (ja) 2020-10-08
JP7097507B2 true JP7097507B2 (ja) 2022-07-07

Family

ID=72667791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021511864A Active JP7097507B2 (ja) 2019-03-29 2020-03-25 半導体装置、それを用いた車載用ディスプレイシステム、電子機器

Country Status (5)

Country Link
US (1) US11854513B2 (ja)
JP (1) JP7097507B2 (ja)
CN (1) CN113544002B (ja)
DE (1) DE112020001685T5 (ja)
WO (1) WO2020203547A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033667A (ja) 2004-07-21 2006-02-02 Hitachi Ltd Osd表示装置
JP2016084020A (ja) 2014-10-27 2016-05-19 三菱電機株式会社 車載表示制御装置及び車載表示システム
JP2018132648A (ja) 2017-02-15 2018-08-23 Necプラットフォームズ株式会社 画像表示制御装置、画像表示制御方法、及び、画像表示制御プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165452A (ja) * 1991-12-17 1993-07-02 Mitsubishi Electric Corp フォントデータのテスト方式
JPH06317782A (ja) 1993-03-25 1994-11-15 Toshiba Corp 表示装置
JP3400175B2 (ja) * 1995-03-29 2003-04-28 株式会社クボタ 表示装置
US6118452A (en) * 1997-08-05 2000-09-12 Hewlett-Packard Company Fragment visibility pretest system and methodology for improved performance of a graphics system
JPH11328441A (ja) * 1998-05-11 1999-11-30 Hitachi Ltd グラフィックス表示制御方法およびコンピュータグラフイックス
JP2002169524A (ja) 2000-12-01 2002-06-14 Sony Corp 通信方法および装置、ならびに、表示方法および装置
JP4480289B2 (ja) * 2001-03-16 2010-06-16 株式会社リコー 表示制御装置
JP4079147B2 (ja) * 2005-01-14 2008-04-23 船井電機株式会社 液晶テレビ
JP4530058B2 (ja) * 2008-02-18 2010-08-25 セイコーエプソン株式会社 プロジェクタ、強調表示方法
TW201224744A (en) * 2010-12-07 2012-06-16 Asustek Comp Inc Motherboard and method of display host system parameter
US9282294B2 (en) * 2012-12-19 2016-03-08 2236008 Ontario, Inc. Integrated system for media playback during startup
JP6480100B2 (ja) * 2013-11-28 2019-03-06 ラピスセミコンダクタ株式会社 半導体装置、映像表示システム、及び信号処理方法
WO2015181897A1 (ja) * 2014-05-27 2015-12-03 株式会社日立製作所 情報システムを管理する管理システム
JP6698412B2 (ja) * 2016-02-03 2020-05-27 ローム株式会社 タイミングコントローラ、それを用いた電子機器、車載用または医療用ディスプレイ装置
CN109643446B (zh) * 2016-08-15 2023-07-04 精工爱普生株式会社 电路装置、电子设备以及错误检测方法
JP2018120067A (ja) * 2017-01-24 2018-08-02 株式会社リコー 画像データ生成装置、画像データ生成方法、画像データ生成プログラム及び情報表示システム
US20210362598A1 (en) * 2019-02-15 2021-11-25 Lg Electronics Inc. Information display method and system using vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033667A (ja) 2004-07-21 2006-02-02 Hitachi Ltd Osd表示装置
JP2016084020A (ja) 2014-10-27 2016-05-19 三菱電機株式会社 車載表示制御装置及び車載表示システム
JP2018132648A (ja) 2017-02-15 2018-08-23 Necプラットフォームズ株式会社 画像表示制御装置、画像表示制御方法、及び、画像表示制御プログラム

Also Published As

Publication number Publication date
CN113544002A (zh) 2021-10-22
US11854513B2 (en) 2023-12-26
CN113544002B (zh) 2024-04-23
US20220020341A1 (en) 2022-01-20
DE112020001685T5 (de) 2022-06-09
WO2020203547A1 (ja) 2020-10-08
JPWO2020203547A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
US10778247B2 (en) Circuit device, electro-optical device, electronic apparatus, mobile body, and error detection method
WO2018003669A1 (ja) タイミングコントローラ、それを用いた電子機器、車載用ディスプレイ装置、医療用ディスプレイ装置
US20080055189A1 (en) System and Method for Displaying Computer Data in a Multi-Screen Display System
KR100690581B1 (ko) 디스플레이장치
US20100283858A1 (en) Test device, display device, and method for checking a validity of display signals
US11250766B2 (en) Semiconductor apparatus
KR102532971B1 (ko) 표시장치 및 이의 구동방법
US11186294B2 (en) In-vehicle timing controller and vehicle using the same
US20240021116A1 (en) Device and method for detecting screen freeze error of display of vehicle
JP7097507B2 (ja) 半導体装置、それを用いた車載用ディスプレイシステム、電子機器
US10235931B2 (en) Timing controller
WO2020203549A1 (ja) 半導体装置、それを用いた車載用ディスプレイシステム、電子機器
JPWO2019146567A1 (ja) 半導体装置、それを用いた電子機器、ディスプレイ装置
CN216139827U (zh) 显示车辆安全状态的系统及车辆
US11715442B2 (en) Semiconductor apparatus with OSD function
WO2019146568A1 (ja) ブリッジ回路、それを用いた電子機器、ディスプレイ装置
JP2022150350A (ja) 画像処理回路、回路装置及び電子機器
CN111918021A (zh) 显示系统以及相关的车辆和方法
US11176906B2 (en) System and method to identify a serial display interface malfunction and provide remediation
JP2021043403A (ja) 半導体装置、それを用いた自動車、ディスプレイ装置
CN115723566A (zh) 显示车辆安全状态的方法及系统
CN117097852A (zh) 一种汽车电子仪表屏的图标显示方法及装置
CN117743019A (zh) 显示装置及用于检查其图像数据的方法
CN116982104A (zh) 图像显示系统、图像显示方法、以及图像显示程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R150 Certificate of patent or registration of utility model

Ref document number: 7097507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150