JP2023551931A - 後方カメラ映像処理装置および方法 - Google Patents

後方カメラ映像処理装置および方法 Download PDF

Info

Publication number
JP2023551931A
JP2023551931A JP2023533706A JP2023533706A JP2023551931A JP 2023551931 A JP2023551931 A JP 2023551931A JP 2023533706 A JP2023533706 A JP 2023533706A JP 2023533706 A JP2023533706 A JP 2023533706A JP 2023551931 A JP2023551931 A JP 2023551931A
Authority
JP
Japan
Prior art keywords
image
output
video
rear camera
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023533706A
Other languages
English (en)
Inventor
ソン,インソク
キム,ユジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telechips Inc
Original Assignee
Telechips Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210071970A external-priority patent/KR102478458B1/ko
Application filed by Telechips Inc filed Critical Telechips Inc
Publication of JP2023551931A publication Critical patent/JP2023551931A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

少なくとも一つのプロセッサーにより動作する後方カメラ映像処理装置が後方カメラが収集した原本後方映像を処理する方法であって、後方カメラが原本後方映像を収集すると、原本後方映像を第1経路および第2経路でそれぞれ処理して、第1経路を通じて生成された出力映像はディスプレイ装置に伝達され、第2経路を通じて生成された縮小後方映像は臨時に保存する。第1経路を通じて生成された出力映像の有効性を判断し、出力映像が有効でなければ、臨時に保存された縮小後方映像を後方出力映像として生成して、ディスプレイ装置に伝達する。

Description

本発明は、後方カメラ映像処理装置および方法に関し、車両用S-RVC(Safety Rear View Camera)機能を支援するために歪み補正機能に安全メカニズム(safety mechanism)を適用して、後方カメラが収集した映像の歪みを安全に補正するシステムおよび映像処理方法に関する技術である。
後方カメラ(RVC:Rear View Camera)は、車両の後方の車両周辺状況を映像で運転者に示すことによって、運転者が安全に後進したり駐車することができるように支援する。このような重要度のため、後方カメラが収集した映像を処理する構成は安全メカニズムが必ず適用されなければならない。安全メカニズムは、自動車機能安全性標準であるISO26262ガイドラインで定義したもので、車両用ソフトウエアの単位テストおよび統合テストまたはハードウエアのテスト時に安全メカニズムが良好に作動しなければならない。
後方カメラに適用される安全メカニズムは、データの有効性確認ともいう。そして、後方カメラが収集した映像を処理する構成要素には安全メカニズム機能が適用されなければならない。
現在、後方カメラにはISP(Image Signal Processor、イメージ信号プロセッサー)、デワープ(Dewarp)、S-RVC、OpenLDI(Open LDI(Low-Voltage Differential Signaling) Display Interface)に安全メカニズムが適用されている。しかし、映像や信号が送受信されるメインバス(main bus)と、後方カメラが収集した映像が保存されるDRAMには、安全メカニズムが適用されていない。
安全メカニズムを適用するためには、メインバスに終端間エラー訂正コード(End-to-End Error Correction Code)機能を追加することが一般的である。この場合、メインバスに連結された他のDMA(Direct Memory Access)やサブシステムに全て安全メカニズムが適用されなければならない。したがって、後方カメラが収集した映像を処理するチップに安全メカニズムの適用のための機能を挿入しなければならないという困難がある。
また、DRAMの場合には、データを読取り/書込み時にエラー訂正コードビット(ECC-bit)を設けてデータの有効性を判断しなければならない。しかし、メインバスに安全メカニズムを適用することが難しいため、DRAMにのみこの機能を追加することはデータ有効性の判断に大きな効果を得ることができない。
したがって、メインバスや他の構成要素に問題が発生すると、後方カメラで使用するDRAMのデータに対する有効性を保障することができない。結局、全ての信号経路に対する安全メカニズム機能が満たされないという問題点が発生する。
このような問題点によりフレームメモリを後方カメラが単独で使用することができるように変形する方法も研究されている。しかし、後方カメラが収集する2048×1440解像度の映像を保存するためにはSRAMの容量が12MB程度でなければならないため、チップサイズが大きくなるという問題点が発生する。
したがって、本発明は、デワープ機能に安全メカニズムを適用して、後方カメラが収集した映像を処理するメイン経路上に問題が発生しても、安全メカニズムにより後方カメラが収集した映像を運転者に安全に提供することができる後方カメラ映像処理装置および方法を提供する。
本発明の技術的課題を達成するための本発明の一つの特徴である後方カメラ映像処理装置であって、
後方カメラが収集した原本後方映像を処理して後方映像を生成するイメージ信号プロセッサー、前記後方映像の歪み現象を補正して歪み補正映像を生成し、ディスプレイ装置を通じてディスプレイ可能な出力映像として生成する第1処理部、前記後方映像の解像度を縮小して縮小後方映像として生成して臨時保存し、動作制御信号を受信すると前記臨時保存した縮小後方映像の歪み現象を補正した後、解像度を前記後方映像の解像度に復元させて出力後方映像を生成する第2処理部、そして前記第1処理部が生成した前記出力映像を前記ディスプレイ装置に伝達し、初期動作時に外部から伝送される設定信号に基づいて前記出力映像の有効性を判断し、前記出力映像が有効でなければ前記第2処理部が動作するように前記動作制御信号を生成する映像付加処理部を含む。
前記第1処理部は、前記後方映像の歪み現象を補正して歪み補正映像を生成する非安全領域デワープ、前記歪み補正映像を保存するメモリ、そして前記メモリに保存された歪み補正映像を受信し、前記ディスプレイ装置を通じてディスプレイ可能な出力映像に変換するディスプレイコントローラーを含むことができる。
前記第1処理部は、前記映像付加処理部から前記出力映像または出力後方映像のうちのいずれか一つの映像を受信し、受信した映像を前記ディスプレイ装置に伝達するOpen LDIをさらに含むことができる。
前記ディスプレイコントローラーは、外部から受信したギヤ状態情報に基づいて前記出力映像を前記映像付加処理部または前記Open LDIのうちのいずれか一つに伝送することができる。
前記第2処理部は、前記後方映像を受信し、前記後方映像の解像度を縮小して前記縮小後方映像として生成する第1解像度調節部、前記縮小後方映像を臨時保存する内部メモリ、前記動作制御信号を受信すると、前記内部メモリに臨時保存された縮小後方映像を受信して歪み現象を補正して縮小補正映像を生成する安全領域デワープ、そして前記縮小補正映像の解像度を前記後方映像の解像度に復元させて前記出力後方映像として生成する第2解像度調節部を含むことができる。
前記映像付加処理部は、前記第1処理部から前記出力映像および映像情報を受信し、前記設定信号および前記映像情報を比較して前記出力映像の有効性を判断することができる。
前記設定信号は、動作クロック、映像の水平同期信号および垂直同期信号を含み、前記映像情報は、前記出力映像の水平同期情報および垂直同期情報を含むことができる。
本発明の技術的課題を達成するための本発明の他の特徴である少なくとも一つのプロセッサーにより動作する後方カメラ映像処理装置が後方カメラが収集した原本後方映像を処理する方法であって、
前記後方カメラが原本後方映像を収集すると、前記原本後方映像を第1経路および第2経路でそれぞれ処理する段階、前記第1経路を通じて生成された出力映像はディスプレイ装置に伝達され、前記第2経路を通じて生成された縮小補正映像は臨時に保存する段階、前記第1経路を通じて生成された出力映像の有効性を判断する段階、前記出力映像が有効でなければ、臨時に保存された前記縮小補正映像を後方出力映像として生成する段階、そして前記後方出力映像をディスプレイ装置に伝達する段階を含む。
前記第1経路および第2経路でそれぞれ処理する段階の前に、外部から設定信号が入力されると、動作準備状態に変換する段階を含み、前記設定信号は、動作クロック、映像の水平同期信号および垂直同期信号を含むことができる。
前記第1経路および第2経路でそれぞれ処理する段階は、前記第1経路を通じて、前記原本後方映像をイメージ信号処理して後方映像を生成する段階、前記後方映像の歪み現象を補正して歪み補正映像として生成する段階、そして前記歪み補正映像をメモリに保存し、前記保存した歪み補正映像を前記ディスプレイ装置でディスプレイ可能な前記出力映像として生成する段階を含むことができる。
前記第1経路および第2経路でそれぞれ処理する段階は、前記第2経路を通じて、前記後方映像の解像度を縮小させて縮小後方映像を生成する段階を含むことができる。
前記後方出力映像として生成する段階は、動作制御信号が入力されると、前記縮小後方映像の歪み現象を補正して縮小補正映像として生成する段階、そして前記縮小補正映像の解像度を前記後方映像の解像度に復元して前記後方出力映像として生成する段階を含むことができる。
本発明によれば、非安全領域に設けられた構成が誤動作を発生させても、安全領域で後方カメラ映像を処理することができるため、安全に後方カメラの映像歪みを補正して運転者に提供することができる。
また、映像の解像度を調節して提供することによって、チップ全体のサイズに影響を与えることなくデワープ機能のためのメモリを安全領域に具現することができる。
一般的に後方カメラで収集した映像を提供する例示図である。 一般的に後方カメラで収集した映像を提供する例示図である。 本発明の実施形態による後方カメラ映像処理装置の構造図である。 本発明の実施形態による後方カメラ映像処理方法のフローチャートである。 本発明の実施形態により提供される歪みが補正された後方カメラ映像の例示図である。
以下、添付した図面を参照して本発明の実施形態について本発明が属する技術分野における通常の知識を有する者が容易に実施することができるように詳しく説明する。しかし、本発明は、多様な異なる形態に具現することができ、ここで説明する実施形態に限定されない。そして図面において、本発明を明確に説明するために説明上不必要な部分は省略し、明細書全体にわたって類似の部分については類似の図面符号を付した。
明細書全体において、ある部分がある構成要素を「含む」という時、これは特に反対になる記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができることを意味する。
以下、図面を参照して、本発明の実施形態による後方カメラ映像歪み補正装置および方法について説明する。本発明の実施形態について説明する前に、一般的な後方カメラで収集した映像を提供する例について図1aおよび図1bを参照して先に説明する。
図1aおよび図1bは一般的に後方カメラで収集した映像を提供する例示図である。
一般的な状況で自動車の後方カメラ50が収集した映像を処理する経路は、図1aに示されたとおりである。この時、映像処理装置10は、ISP21、デワープ22、S-RVC23、Open LDI 24、そしてディスプレイコントローラー31がバス25を通じて連結されている。そしてメインバス32を通じて映像処理装置10はDRAM40と連結され得る。
ISP21は、後方カメラ50が収集した映像を加工、処理する機能を遂行する。つまり、ISP21は、後方カメラ50の映像センサー(CCD,CIS)で取得した映像を受信し、輝度と色を基本的に処理し、フォーカス、反転、モザイク(Mosaic)、CIS(CMOS Image Sensor)、映像フォーマットなどの機能を追加的にも遂行する。ISP21の機能は既に知られているため、本発明の実施形態では詳細な説明を省略する。
デワープ22は、ISP21で処理された映像の歪み現象を補正する。デワープ22が映像で歪み現象を補正するためには歪み補正パラメータの設定値が必要であるが、この設定値はISP21で計算することができる。この時、デワープ22は、DRAM40に保存された映像を数回読み取って歪み現象を補正する。デワープ22が歪み現象を補正する機能は既に知られているため、本発明の実施形態では詳細な説明を省略する。
S-RVC23は、基本的にはディスプレイコントローラー31から伝送される映像信号を受信し、受信した映像信号に駐車線を描画したり警告メッセージを映像信号に追加するなど、付加映像処理を行う。ここで、映像信号は、歪み現象が補正された映像をOpen LDI 24が受けてディスプレイ装置60にディスプレイすることができるように、ディスプレイコントローラー31で変換された映像信号である。
また、S-RVC23は、ディスプレイコントローラー31にエラーが発生すると、デワープ22で歪み現象が補正された映像を受けて付加映像処理を行い、Open LDI 24に伝送する。
Open LDI 24は、高速データの伝送のための汎用のデジタルビデオインターフェース標準であって、ビット速度は高め、電力は低め、向上したノイズ制御性能を提供する。Open LDI 24の制御により付加映像処理された映像または歪み現象が補正された映像をディスプレイ装置60に伝送する。ここで、Open LDI 24の機能は既に知られているため、本発明の実施形態では詳細な説明を省略する。
ここで、IPS21、デワープ22、S-RVC23、そしてOpen LDI 24は、安全メカニズムが適用されているため、この構成要素を含む領域を安全領域20と称する。そして、ディスプレイコントローラー31およびメインバス32は、安全メカニズムが適用されていないため、この二つの構成要素を含む領域を非安全領域30と称する。
図1aに示されているように一般的な状況で後方カメラ50が収集した映像は、ISP21、デワープ22、メインバス32を経てDRAM40に保存される。この時、非安全領域30に構成されているディスプレイコントローラー31、メインバス32、またはDRAM40のうちのいずれか一つに問題が発生する場合、図1bに示されているように映像が伝送される経路が一般的な状況で伝送される経路とは異なるように変更される。
Figure 2023551931000002
Figure 2023551931000003
この時、DRAM40やメインバス32に問題が発生すると、DRAM40に保存された映像をデワープ22が再び読み出すことができないため、ディスプレイ装置60を通じて後方カメラ50が収集した映像をディスプレイできなくなる。
したがって、本発明の実施形態では、非安全領域に位置する構成要素にエラーが発生しても、後方カメラ50が収集した映像を安全にディスプレイ装置でディスプレイして運転者に提供することができる技術を提案する。
図2は本発明の実施形態による後方カメラ映像処理装置の構造図である。
図2に示されているように、後方カメラ150が収集した映像を処理する後方カメラ映像処理装置100は、安全メカニズム反映領域(以下、説明の便宜のために「安全領域」または「第1処理部」と称する)110と、安全メカニズム非反映領域(以下、説明の便宜のために「非安全領域」または「第2処理部」と称する)120と、に区分されて後方カメラ収集映像を処理する構成要素が具現されている。
安全領域110には、ISP111、安全領域デワープ112、第1解像度調節部113、内部SRAM114、第2解像度調節部115、映像付加処理部116、そしてOpen LDI 118が位置する。一方、非安全領域120には、非安全領域デワープ119とメインバス130、そしてDRAM140が具現されている。
後方カメラ映像処理装置100は、後方カメラ150およびディスプレイ装置160とも連動する。後方カメラ映像処理装置100は、一つのチップで具現可能であり、本発明の実施形態では具現されるチップの形態はいずれか一つのものに限定しない。
後方カメラ150が収集した後方映像は、後方カメラ映像処理装置100で二つの経路を通じて同時に映像が処理される。しかし、ディスプレイ装置160を通じては二つの経路のうち、いずれか一つの経路で処理された映像がディスプレイされる。
Figure 2023551931000004
説明の便宜のために、まず映像が一般経路で伝達される時の構成要素について先に説明し、非常経路で伝達される時の構成要素を続いて説明する。しかし、実際には一般経路と非常経路で映像が同時に伝達される。
ISP111は、後方カメラ150の映像センサー(CCD,CIS)で取得した原本後方映像を受信すると、後方映像の輝度、色、フォーカス、反転などの一般的な映像処理機能を遂行して後方映像を生成する。ISP111の機能は既に知られているため、本発明の実施形態では詳細な説明を省略する。
ISP111で生成された後方映像は、非安全領域デワープ119に伝達される。非安全領域デワープ119は、ISP111で処理された後方映像の歪み現象を補正して歪み補正映像を生成する。非安全領域デワープ119が映像で歪み現象を補正するためには歪み補正パラメータの設定値が必要であるが、この設定値はISP111で計算することができる。これは既に知られている技術であるため、本発明の実施形態では詳細な説明を省略する。
非安全領域デワープ119が生成した歪み補正映像は、メインバス130を通じてDRAM140に保存される。本発明の実施形態では非安全領域デワープ119で一度歪み現象を補正してDRAM140に保存するものと示したが、DRAM140に保存された歪み補正映像を非安全領域デワープ119で読み取って繰り返して歪み現象を補正することもできる。
ディスプレイコントローラー117は、DRAM140に保存された歪み補正映像を読み取り、歪み補正映像をOpen LDI 118が処理することができる形態に変換して出力映像として生成する。そして、出力映像と出力映像に対する垂直/水平同期情報を含む映像情報を生成する。ディスプレイコントローラー117が歪み補正映像を処理して出力映像として生成する方法、そして出力映像に対する垂直同期と水平同期情報を獲得する方法は既に知られている技術であるため、本発明の実施形態では詳細な説明を省略する。
ディスプレイコントローラー117は、車両のメインプロセッサー(図示せず)から伝送される車両状態情報に基づいて、映像情報を映像付加処理部116に伝達したり、Open LDI 118に伝達する。ここで車両状態情報は、車両が現在走行状態あるか、または駐車のために運転者が操作したギヤ状態情報を含み、ディスプレイコントローラー117が車両状態情報を収集する方法は多様に実行され得るため、本発明の実施形態ではいずれか一つの方法に限定しない。
ディスプレイコントローラー117は、車両状態情報が走行状態である場合、映像情報をOpen LDI 118に伝達する。しかし、車両状態情報が駐車を試みるためにギヤが変更された場合であれば、ディスプレイコントローラー117は出力映像に駐車線や通知メッセージなど付加イメージを提供するために、映像付加処理部116に映像情報を伝達する。
Open LDI 116は、映像付加処理部116またはディスプレイコントローラー117から出力映像を受信し、ディスプレイ装置160に出力映像を伝達する。Open LDI 116は、高速データの伝送のための汎用のインターフェース標準であって、出力映像のビット速度は高め、電力は低め、向上したノイズ制御性能を提供する。
一方、非常経路で後方映像が伝達される順序により構成要素を説明すると、第1解像度調節部113は、ISP111で生成した後方映像を受信して映像解像度を調節して、縮小後方映像として生成する。本発明の実施形態では後方映像の解像度を2048*1440であると例に挙げて説明し、第1解像度調節部113では後方映像の解像度を1/4に縮小して512*360の解像度に生成することを例として説明する。
この時、第1解像度調節部113は、安全領域デワープ112で歪み現象が補正された歪み補正映像を受信して解像度を調節することもできる。本発明の実施形態では、説明の便宜のためにISP111で生成した後方映像で歪み現象を補正することなく解像度を調節することを例として説明するが、必ずしもこのように限定されるのではない。
内部SRAM114は、第1解像度調節部113で生成した縮小後方映像を保存する。内部SRAM114は、縮小後方映像を保存する機能以外にも、ECC機能をエラー訂正コードとして保存された縮小後方映像の有効性を判断することもできる。ECC機能は既に知られているため、本発明の実施形態では詳細な説明は省略する。また、内部SRAM114でECC機能を遂行することを例として説明するが、必ずしもこのように限定されるのではない。
安全領域デワープ112は、映像付加処理部116から動作制御信号を受信すると、内部SRAM114に保存された縮小後方映像を読み取って歪み現象を補正した後、縮小補正映像を生成する。また他の実施形態として安全領域デワープ112は、ISP111で生成された後方映像で歪み現象を補正した後、第1解像度調節部113に伝達することもできる。
第2解像度調節部115は、安全領域デワープ112で生成した縮小補正映像を受信し、縮少された解像度を後方映像の解像度に復元させて、出力後方映像を生成する。第2解像度調節部115が縮少された映像の解像度を復元させる方法は既に知られているため、本発明の実施形態では詳細な説明を省略する。
第2解像度調節部115は、追加的に出力後方映像に対する映像情報を生成することもできる。映像情報には出力後方映像と出力後方映像に対する垂直/水平同期情報などを含むことができる。
映像付加処理部116は、ディスプレイコントローラー117から出力映像を受信したり、または第2解像度調節部115から出力後方映像を受信すると、各映像に駐車線を付加したり警告メッセージを映像に追加するなど、付加的な情報を提供するための映像処理手続を行う。映像付加処理部116が映像に付加的な情報を提供するために映像を処理する方法は多様な方法で実行され得るため、本発明の実施形態ではいずれか一つの方法に限定しない。
また、映像付加処理部116は、各出力映像に含まれている映像情報に基づいて出力映像の有効性を確認する。出力映像から有効性を確認するために、映像付加処理部116は車両の電気装置を制御する制御装置(図示せず)から設定信号を受信する。
ここで、設定信号は、映像付加処理部116の動作クロック、映像に対する水平同期信号と垂直同期信号を含むものであり、車両に始動がかかって後方カメラ映像処理装置100が実行されると、制御装置から設定信号を受信する。ここで動作クロックは、同期信号の有効性判断に使用される基準クロックであり、本発明の実施形態では24MHz XINクロックを意味する。映像付加処理部116は、設定信号に基づいて、出力映像の有効性を判断する。
つまり、映像付加処理部116は、出力映像と映像情報を受信すると、映像情報に含まれているクロック、水平同期情報、垂直同期情報を既受信した設定信号と比較して設定値だけ出力映像が入力されているか否かを判断する。そして停止した映像だけ継続して入力されているのか、単色からなる映像が入力されているのか、設定信号と異なる映像情報が入力されるのか、などを確認して、非安全領域に設けられた構成要素に誤りがあるか否かを確認する。
もし誤りがあると判断すると、映像付加処理部116はイメージを受信する経路を一般経路から非常経路への転換を試みる。そして、第2解像度調節部115から解像度が調節された映像を受信するために、安全領域デワープ112に動作制御信号を伝送する。これによって非安全領域に具現されているDRAM140、メインバス130などにエラーが発生しても、内部SRAM114に保存された後方カメラ映像をディスプレイ装置160に伝達することができる。
以上で説明した後方カメラ映像処理装置100が後方カメラの映像を処理する方法について図3を参照して説明する。
図3は本発明の実施形態による後方カメラ映像処理方法のフローチャートである。
図3に示されているように、後方カメラ映像処理装置100が初期駆動される(S100)。この時、後方カメラ映像処理装置100を構成する全ての構成要素は動作準備状態に変更され、特に映像付加処理部116は設定信号を制御装置から受信する。また、映像付加処理部116はまず一般経路を通じて映像を受信する準備状態に設定される。
後方カメラ150が映像を収集すると(S101)、一般経路と非常経路を通じて収集した原本後方映像が伝送され、映像がそれぞれ処理される(S102)。この時、一般経路を通じて処理された出力映像が先に提供されるように後方カメラ映像処理装置100が設定されている。
したがって、後方カメラ映像処理装置100の映像付加処理部116は、一般経路を通じて生成された出力映像の有効性を判断する(S103)。映像付加処理部116は、出力映像に含まれている映像情報と段階S100で初期駆動時に制御装置から受信した設定信号とに基づいて、出力映像が有効であるか否かを確認する(S104)。
もし、出力映像が有効であると確認すると、後方カメラ映像処理装置100は一般経路で処理された出力映像をディスプレイ装置160を通じてディスプレイする(S105)。
反面、出力映像が有効でないと確認すると、後方カメラ映像処理装置100の映像付加処理部116は、非常経路で処理された後方出力映像を受信するために制御信号を生成する(S106)。制御信号により内部SRAM114に保存された縮小後方映像を第2解像度調節部115が出力後方映像として生成し、生成した出力後方映像をディスプレイ装置160を通じてディスプレイする(S107)。
図4は本発明の実施形態により提供される歪みが補正された後方カメラ映像の例示図である。
図4の(a)は後方カメラ150が収集した原本後方映像である。そして図4の(b)は一般経路で処理された出力映像であり、図4の(c)は非常経路で処理された後方出力映像である。
図4の(b)で一般経路で処理された出力映像に比べて図4の(c)で非常経路で処理された後方出力映像は、解像度の縮小/拡大により画質劣化はあり得る。しかし、後方映像処理システム100の非安全領域に具現された構成要素に問題が発生しても、運転者は後方カメラ150の動作を正常と確認することができる。
以上で本発明の実施形態について詳細に説明したが、本発明の権利範囲は、これに限定されるのではなく、特許請求の範囲で定義している本発明の基本概念を利用した当業者の多様な変形および改良形態も本発明の権利範囲に属する。

Claims (12)

  1. 後方カメラ映像処理装置であって、
    後方カメラが収集した原本後方映像を処理して後方映像を生成するイメージ信号プロセッサー、
    前記後方映像の歪み現象を補正して歪み補正映像を生成し、ディスプレイ装置を通じてディスプレイ可能な出力映像として生成する第1処理部、
    前記後方映像の解像度を縮小して縮小後方映像として生成して臨時保存し、動作制御信号を受信すると前記臨時保存した縮小後方映像の歪み現象を補正した後、解像度を前記後方映像の解像度に復元させて出力後方映像を生成する第2処理部、そして
    前記第1処理部が生成した前記出力映像を前記ディスプレイ装置に伝達し、初期動作時に外部から伝送される設定信号に基づいて前記出力映像の有効性を判断し、前記出力映像が有効でなければ前記第2処理部が動作するように前記動作制御信号を生成する映像付加処理部を含む、後方カメラ映像処理装置。
  2. 前記第1処理部は、前記後方映像の歪み現象を補正して歪み補正映像を生成する非安全領域デワープ、
    前記歪み補正映像を保存するメモリ、そして
    前記メモリに保存された歪み補正映像を受信し、前記ディスプレイ装置を通じてディスプレイ可能な出力映像に変換するディスプレイコントローラーを含む、請求項1に記載の後方カメラ映像処理装置。
  3. 前記第1処理部は、前記映像付加処理部から前記出力映像または出力後方映像のうちのいずれか一つの映像を受信し、受信した映像を前記ディスプレイ装置に伝達するOpen LDIをさらに含む、請求項2に記載の後方カメラ映像処理装置。
  4. 前記ディスプレイコントローラーは、外部から受信したギヤ状態情報に基づいて前記出力映像を前記映像付加処理部または前記Open LDIのうちのいずれか一つに伝送する、請求項2に記載の後方カメラ映像処理装置。
  5. 前記第2処理部は、前記後方映像を受信し、前記後方映像の解像度を縮小して前記縮小後方映像として生成する第1解像度調節部、
    前記縮小後方映像を臨時保存する内部メモリ、
    前記動作制御信号を受信すると、前記内部メモリに臨時保存された縮小後方映像を受信して歪み現象を補正して縮小補正映像を生成する安全領域デワープ、そして
    前記縮小補正映像の解像度を前記後方映像の解像度に復元させて前記出力後方映像として生成する第2解像度調節部を含む、請求項4に記載の後方カメラ映像処理装置。
  6. 前記映像付加処理部は、前記第1処理部から前記出力映像および映像情報を受信し、前記設定信号および前記映像情報を比較して前記出力映像の有効性を判断する、請求項5に記載の後方カメラ映像処理装置。
  7. 前記設定信号は、動作クロック、映像の水平同期信号および垂直同期信号を含み、前記映像情報は、前記出力映像の水平同期情報および垂直同期情報を含む、請求項6に記載の後方カメラ映像処理装置。
  8. 少なくとも一つのプロセッサーにより動作する後方カメラ映像処理装置が後方カメラが収集した原本後方映像を処理する方法であって、
    前記後方カメラが原本後方映像を収集すると、前記原本後方映像を第1経路および第2経路でそれぞれ処理する段階、
    前記第1経路を通じて生成された出力映像はディスプレイ装置に伝達され、前記第2経路を通じて生成された縮小補正映像は臨時に保存する段階、
    前記第1経路を通じて生成された出力映像の有効性を判断する段階、
    前記出力映像が有効でなければ、臨時に保存された前記縮小補正映像を後方出力映像として生成する段階、そして
    前記後方出力映像をディスプレイ装置に伝達する段階を含む、後方カメラ映像処理方法。
  9. 前記第1経路および第2経路でそれぞれ処理する段階の前に、外部から設定信号が入力されると、動作準備状態に変換する段階を含み、
    前記設定信号は、動作クロック、映像の水平同期信号および垂直同期信号を含む、請求項8に記載の後方カメラ映像処理方法。
  10. 前記第1経路および第2経路でそれぞれ処理する段階は、
    前記第1経路を通じて、前記原本後方映像をイメージ信号処理して後方映像を生成する段階、
    前記後方映像の歪み現象を補正して歪み補正映像として生成する段階、そして
    前記歪み補正映像をメモリに保存し、前記保存した歪み補正映像を前記ディスプレイ装置でディスプレイ可能な前記出力映像として生成する段階を含む、請求項9に記載の後方カメラ映像処理方法。
  11. 前記第1経路および第2経路でそれぞれ処理する段階は、前記第2経路を通じて、前記後方映像の解像度を縮小させて縮小後方映像を生成する段階を含む、請求項10に記載の後方カメラ映像処理方法。
  12. 前記後方出力映像として生成する段階は、動作制御信号が入力されると、前記縮小後方映像の歪み現象を補正して縮小補正映像として生成する段階、そして
    前記縮小補正映像の解像度を前記後方映像の解像度に復元して前記後方出力映像として生成する段階を含む、請求項11に記載の後方カメラ映像処理方法。
JP2023533706A 2020-12-02 2021-11-22 後方カメラ映像処理装置および方法 Pending JP2023551931A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2020-0167005 2020-12-02
KR20200167005 2020-12-02
KR10-2021-0071970 2021-06-03
KR1020210071970A KR102478458B1 (ko) 2020-12-02 2021-06-03 후방 카메라 영상 처리 장치 및 방법
PCT/KR2021/017185 WO2022119205A1 (ko) 2020-12-02 2021-11-22 후방 카메라 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2023551931A true JP2023551931A (ja) 2023-12-13

Family

ID=81854156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023533706A Pending JP2023551931A (ja) 2020-12-02 2021-11-22 後方カメラ映像処理装置および方法

Country Status (4)

Country Link
US (1) US20230385996A1 (ja)
JP (1) JP2023551931A (ja)
DE (1) DE112021006264T5 (ja)
WO (1) WO2022119205A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984974B2 (ja) * 2007-03-02 2012-07-25 富士通株式会社 運転支援システム及び車載装置
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
JP2012199877A (ja) * 2011-03-23 2012-10-18 Sony Corp 画像処理装置、画像処理方法、並びにプログラム
JP2014179959A (ja) * 2013-03-15 2014-09-25 Ricoh Co Ltd 画像歪み補正装置、画像歪み補正方法、及びコンピュータが実行可能なプログラム。
KR101825343B1 (ko) * 2016-12-08 2018-02-05 주식회사 엠씨넥스 차량의 후방 뷰 영상 처리 장치 및 시스템

Also Published As

Publication number Publication date
DE112021006264T5 (de) 2023-11-02
WO2022119205A1 (ko) 2022-06-09
US20230385996A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
US9628787B2 (en) Ensuring imaging subsystem integrity in camera based safety systems
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
CN112672004B (zh) 车辆及控制车辆的方法
US11849912B2 (en) Endoscopic camera system and image signal transmission method thereof
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP3112392U (ja) Hdtv
JP2023551931A (ja) 後方カメラ映像処理装置および方法
CN113781302B (zh) 多路图像拼接方法、系统、可读存储介质、及无人车
KR102478458B1 (ko) 후방 카메라 영상 처리 장치 및 방법
WO2016157873A1 (ja) 撮像装置、撮像システム、および車両
KR101887496B1 (ko) 차량의 카메라 영상 전송 장치와 방법, 및 처리 시스템
CN116757939A (zh) 基于fpga的图像畸变矫正方法及电子后视镜
KR20150053323A (ko) 영상 왜곡 보정 방법 및 이를 위한 장치
JP7122547B2 (ja) 映像処理装置および映像処理システム
US7142328B2 (en) Image reduction method, image processing device and method of controlling image processing device
KR20210060690A (ko) 차량 및 그 후방 영상 제공 방법
CN112542115A (zh) 错误检测系统、错误检测方法以及影像显示控制系统
US20220118908A1 (en) Side Camera for Vehicle And Control Method Therefor
CN117336590A (zh) 照相机监视系统及其控制方法、信息处理设备和存储介质
US11485277B2 (en) Method and system for deducing a reduced image refresh frequency in high definition headlights
US11176907B2 (en) Video data displaying device
US20220375046A1 (en) Image distortion correction system and method
US20240083450A1 (en) Method and device for securely displaying asil-relevant data on a display device of a motor vehicle
JP4405355B2 (ja) 撮像装置におけるデータ通信調停方式及びそのデータ通信調停回路
CN117325786A (zh) 车载后视镜的视频显示方法、系统、介质及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230728