JP7350655B2 - ３ｄビューシステムへのシームレスな遷移を備えるサラウンドビュー及び方法 - Google Patents

３ｄビューシステムへのシームレスな遷移を備えるサラウンドビュー及び方法 Download PDF

Info

Publication number
JP7350655B2
JP7350655B2 JP2019563748A JP2019563748A JP7350655B2 JP 7350655 B2 JP7350655 B2 JP 7350655B2 JP 2019563748 A JP2019563748 A JP 2019563748A JP 2019563748 A JP2019563748 A JP 2019563748A JP 7350655 B2 JP7350655 B2 JP 7350655B2
Authority
JP
Japan
Prior art keywords
view
processing chain
images
series
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563748A
Other languages
English (en)
Other versions
JP2020521231A (ja
Inventor
カーティック シャーヴァン
クリシュナン ゴヴィンダラヤン スリラマ
ラオ マンデラ ヴェンカテスワラ
Original Assignee
テキサス インスツルメンツ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テキサス インスツルメンツ インコーポレイテッド filed Critical テキサス インスツルメンツ インコーポレイテッド
Publication of JP2020521231A publication Critical patent/JP2020521231A/ja
Application granted granted Critical
Publication of JP7350655B2 publication Critical patent/JP7350655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本願は、３Ｄビューへのシームレスな遷移を備えるサラウンドビューシステムに関する。
３次元サラウンドビュー（３Ｄ‐ＳＲＶ）システムは、概して、ハイレベルオペレーティングシステム（ＨＬＯＳ：high level operating system）によって管理されるグラフィカル処理ユニット（ＧＰＵ）を用いる。インフォテイメントシステムにおいて、ＨＬＯＳがソフトウェアセキュリティ脆弱性のためクラッシュする恐れがある。ＨＬＯＳがクラッシュした場合、３Ｄ‐ＳＲＶディスプレイはフリーズし、このフリーズは、運転手がリアルタイムディスプレイからの視覚的出力を用いて車を操縦している間に起こると、事故につながる恐れがある。従って、故障が検出されてディスプレイがフリーズ又はグリッチするとき、２Ｄサラウンドビュー又は別のビューにシームレスに遷移する必要がある。
サラウンドビュー（ＳＲＶ）は、複数の方位に沿って視野を混合することによって、オブジェクトのパノラマビューをスティッチング（繋ぎ合わせ）している。４方向に沿って捕捉されたビデオは、複数のアルゴリズム、すなわち、幾何学的整合（alignment）、測光整合、及び混合を介して処理されて、パノラマビューを生成する。ＳＲＶは、オーバーヘッドとして見える、オブジェクトの２Ｄ‐ＳＲＶ鳥瞰図と、異なるビューポートに沿った３Ｄ‐ＳＲＶパノラマビューとに大別される。図１（０１００）は、概して、スクリーン上に表示される画像の、従来の３Ｄ ＳＲＶ（０１０３）と２Ｄ ＳＲＶ（０１０４）を図示する。入力画像（０１０１）は、複数のカメラによって捕捉され得、幾何学的修正エンジン（０１０２）が、これらの画像を補正し、整合し、３Ｄ ＳＲＶ又は２Ｄ ＳＲＶに混合し得る。
図２は、概して、画像の３Ｄ ＳＲＶ処理エンジン及び２Ｄ ＳＲＶ処理エンジンの従来のブロック図を図示する。２Ｄ処理エンジンは、チャネル捕捉ブロック（０２０１）、整合及び混合ブロック（０２０２）、スティッチングブロック（０２０３）、及びディスプレイブロック（０２０４）を含む。３Ｄ ＳＲＶ処理エンジンは、チャネル捕捉ブロック（０２１１）、グラフィカル処理ユニット（ＧＰＵ）提供（rendering）ブロック（０２１２）、スティッチングブロック（０２１３）、及びディスプレイブロック（０２１４）を含む。２Ｄ ＳＲＶ処理エンジン及び３Ｄ ＳＲＶ処理エンジンは、ハイレベルオペレーティングシステム（ＨＬＯＳ）（０２１６）及びリアルタイムオペレーティングシステム（ＲＴＯＳ）（０２１５）と共に作動され得る。従来のシステムは、２Ｄ処理エンジン又は３Ｄ処理エンジンのいずれかを実装する。従って、システムが２Ｄ処理エンジンを実装しているときであってディスプレイブロック（０２０４）上の画像がフリーズする場合に、３Ｄ処理エンジンにシームレスに切り替えることができない。或いは、システムが３Ｄ処理エンジンを実装しているときであってディスプレイブロック（０２１４）上の画像がフリーズする場合に、２Ｄ処理エンジンにシームレスに切り替えることができない。２Ｄ処理エンジンと３Ｄ処理エンジンとの間の切り替えの失敗は、運転手がリアルタイムディスプレイからの視覚的出力を用いて車を操縦している間の事故につながる恐れがある。従って、２Ｄ処理エンジンと３Ｄ処理エンジンの両方を並列に又はその他の様式で実装及び作動させて、特に自動車における安全上の問題を緩和しつつ、これらのエンジン間のシームレスな切り替えが存在するようにする必要がある。３Ｄ ＳＲＶ処理エンジンがクラッシュした場合に、周辺の鳥瞰図をユーザーに提供する耐故障性のシステムが必要とされている。３Ｄ‐ＳＲＶアプリケーションを作動させる従来のデバイスは、ＨＬＯＳクラッシュの際に頼るべくフェールセーフ冗長性を教示しておらず、ボード全体をリブートしなければならない。
２Ｄサラウンドビューから３Ｄサラウンドビューへのシームレスな遷移のための或る方法において、この方法は、２Ｄ‐ＳＲＶ処理チェーンを初期化すること、ＨＬＯＳハンドシェイクが完了するのを待機する間及びＨＬＯＳハンドシェイクの完了の際に２Ｄサラウンドビューを表示すること、３Ｄ‐ＳＲＶ処理チェーンを初期化し、３Ｄ‐ＳＲＶバッファ出力を待機すること、２Ｄ‐ＳＲＶディスプレイパイプラインを無効化し、３Ｄ‐ＳＲＶディスプレイパイプラインを有効化すること、スイッチバックモニタを有効化すること、３Ｄサラウンドビューにシームレスかつグリッチフリーで原子的に切り替えること、及び、３Ｄサラウンドビューをモニタに表示することを含む。別の方法が、ＨＬＯＳにおけるクラッシュを検出すること、及び、３Ｄサラウンドビューから２Ｄサラウンドビューにシームレスに切り替えることを含む。
出力３Ｄフレーム及び出力２Ｄフレームに幾何学的に変換される従来の入力フレームを図示する。
従来のサラウンドビュー処理方法を図示する。
例示の実施例の一態様に従ったブートアップルーチンの例示的なスクリーンショットを示す。
例示の実施例の一態様に従った、図３において図示したブートアップ後の２Ｄサラウンドビューの例示的なスクリーンショットを示す。
例示の実施例の一態様に従った、図４の２Ｄサラウンドビューから３Ｄサラウンドビューへのシームレスな切り替えの例示的なスクリーンショットを示す。
例示の実施例の一態様に従った、故障を検出した後の図４の３Ｄサラウンドビューから２Ｄサラウンドビューへのシームレスな切り替えの例示的なスクリーンショットを示す。
例示の実施例の一態様に従った、２Ｄ‐ＳＲＶ処理チェーン及び３Ｄ‐ＳＲＶ処理チェーンとの入力画像の同時処理の例示的な装置を示す。
例示の実施例の一態様に従った、２Ｄサラウンドビューディスプレイから３Ｄサラウンドビューディスプレイへの例示的なシームレスな遷移方法を示す。
例示の実施例の一態様に従った、故障の検出の際に３Ｄサラウンドビューディスプレイから２Ｄサラウンドビューディスプレイに遷移するための例示的なフェールセーフな方法を示す。
例示の実施例の一態様に従った、２Ｄサラウンドビューディスプレイから３Ｄサラウンドビューディスプレイへのシームレスな遷移の例示的なブロック図を示す。
例示の実施例の一態様に従った、２Ｄサラウンドビューディスプレイから３Ｄサラウンドビューディスプレイへのシームレスな遷移の例示的なタイミングフローチャートを図示する。
例示の実施例の一態様に従った故障検出方法の例示的なフローチャートである。
本願の多くの革新的な教示は、好ましい実施例を特に参考にして説明されており、これらの革新的な教示は、有利にも、２Ｄサラウンドビューから３Ｄサラウンドビューへのシームレスでグリッチフリーな遷移の特定の問題に適用される。しかしながら、この実施例は、本明細書における革新的な教示の多くの有利な用途の一例に過ぎない。概して、本願の本明細書において成される記述は、必ずしもこれらの種々の実施例のいずれかを限定するものではない。また、幾つかの記述は、幾つかの特徴に適用されるが他の特徴には適用されない場合もある。
例示の実施例は、ブートアップの際の２Ｄサラウンドビューから３Ｄサラウンドビューへのシームレスな遷移、及び、故障の検出の際の３Ｄサラウンドビューから２Ｄサラウンドビューへのシームレスな遷移に関する。例示の実施例は、オートモーティブ、ＡＤＡＳ、又はインフォテイメントシステムを含む。
「３Ｄ‐ＳＲＶ」、「３Ｄ ＳＲＶ」、「３Ｄサラウンドビュー」、「３Ｄビュー」という用語は、本明細書において、オブジェクト又は場所を囲む、３次元ビューを定義するために交換可能に用いられる。同様に、「２Ｄ‐ＳＲＶ」、「２Ｄ ＳＲＶ」、「２Ｄサラウンドビュー」、「２Ｄビュー」は、本明細書において、オブジェクト又は場所を囲む、２次元鳥瞰図を定義するために交換可能に用いられる。「出力画像」及び「出力フレーム」という用語は、本明細書において、スクリーン上に表示される画像を示すために交換可能に用いられる。また、「入力画像」及び「入力フレーム」という用語は、本明細書において、カメラによって捕捉される画像を示すために交換可能に用いられる。
図３は、一つの好ましい実施例に従ったブートアップルーチンの例示的なスクリーンショットを示す。スクリーンショット（０３００）は、例示的な装置（０３１２）を用いて生成される事象（０３０１、０３０２、０３０３、及び０３０４）のタイムラインを図示する。時間（０３０１）において電源投入及びブートすると、プロセッサが、ブートコードを実行し得、カメラのビューポート、及びＨＬＯＳをロードするためのポインタなどのその他のパラメータを初期化し得る。図４（０４００）は、好ましい実施例に従った、図３に図示したブートアップ後の２Ｄサラウンドビューの例示的なスクリーンショットを示す。時間（０３０２）において、スクリーン（０４０１）上に周辺の鳥瞰図を示す２Ｄ ＳＲＶが表示され得る。図５（０５００）は、好ましい実施例に従った、図４の２Ｄサラウンドビューから３Ｄサラウンドビューへのシームレスな切り替えの例示的なスクリーンショットを示す。時間（０３０３）において、３Ｄサラウンド処理エンジン及び３Ｄパイプラインディスプレイが有効化されると、ディスプレイは、グリッチなしに２Ｄ ＳＲＶビューから３Ｄ ＳＲＶビューにシームレスに切り替わる。図６（０６００）は、例示の一実施例に従った、故障を検出した後の、図４の３Ｄサラウンドビューから２Ｄサラウンドビューへのシームレスな切り替えの例示的なスクリーンショットを示す。時間（０３０４）において、３Ｄ ＳＲＶエンジン又は３Ｄ ＳＲＶパイプラインディスプレイにおいて何らかの故障が検出されると、例示的な装置（０７００）は、ユーザーディスプレイ上の画像を２Ｄ ＳＲＶビューにシームレスに切り替える。
図７は、好ましい実施例に従った、２Ｄ‐ＳＲＶ処理チェーン及び３Ｄ‐ＳＲＶ処理チェーンを用いる、入力画像の同時処理の例示的な装置及びデータフローを示す。装置（０７００）は、チャネル捕捉ブロック（０７０１）、整合及び混合ブロック（０７０２）、２Ｄスティッチングブロック（０７０３）、ＧＰＵ提供ブロック（０７１１）、３Ｄスティッチングブロック（０７１２）、フェールセーフモニタ（０７１３）、及びディスプレイブロック（０７１４）を含む。チャネル捕捉ブロック（０７０１）は、一つ又は複数のカメラからの画像を捕捉し得る。補助コア又はプロセッサ（図示せず）上で作動するＲＴＯＳ（０７０４）が、ＧＰＵ提供ブロック（０７１１）を除くブロック間の情報の流れを制御し得る。ＬｉｎｕｘオペレーティングシステムなどのＨＬＯＳ（０７０６）が、埋め込みプロセッサ（図示せず）上で作動している可能性があり、ＨＬＯＳが初期化され、ロードされ、準備が整うと、ＧＰＵ提供ブロック（０７１１）を介して画像が処理され得る。ＲＴＯＳ（０７０４）及びＨＬＯＳ（０７０６）は、ハンドシェイクプロトコルを実施して、３Ｄ ＳＲＶのための捕捉された画像の処理を可能にし得る。カメラは、例えば、左、右、中央、及び後部などの異なる位置で自動車に取り付けられ得る。また、カメラは、異なった視野又は視野角を有し得る。カメラの数は、１～２０個、より好ましくは１～４個とし得る。カメラによって捕捉される画像の数は、１～２０個、より好ましくは１～４個とし得る。画像を捕捉すると、チャネル捕捉ブロック（０７０１）は、整合及び混合ブロック（０７０２）に、及びＧＰＵ提供ブロック（０７１１）に、画像を最小の処理で転送し得る。画像は、整合及び混合ブロック（０７０２）における更なる処理の後に、整合され得、一つの画像に混合され得る。画像の各々は、変換され得、後方又は前方にマッピングされ得、歪みに対して幾何学的に補正され得、２Ｄスティッチングブロック（０７０３）に転送される出力画像に混合され得る。入力画像から処理された出力画像は、一つの２Ｄ ＳＲＶ出力画像にスティッチングされ得、ディスプレイデバイス（０７１４）上のディスプレイのためにフェールセーフモニタ（０７１３）を通過し得る。２Ｄ ＳＲＶ画像は、補助コアとＲＴＯＳが作動している限り、表示スクリーン上のディスプレイのために常に利用可能である。ＲＴＯＳは、クラッシュの影響を受けやすく、欠陥耐性があると証明されることが多い。しかし、ボードの電源が投入されている限り、補助コアは作動している可能性がある。従って、一実施例に従って、２Ｄ‐ＳＲＶバッファは、ディスプレイのために常に利用可能である。入力画像及び出力画像の画素フォーマットのために、任意の利用可能な業界標準が選択され得る。ＲＴＯＳとＨＬＯＳとの間のハンドシェイクの後、３Ｄ ＳＲＶ処理エンジンが初期化され得、ＧＰＵが準備できたとき、捕捉ブロックによって捕捉された入力画像は、ＧＰＵ提供ユニット（０７１１）を介して処理され得る。次いで、処理された入力画像は、３Ｄ ＳＲＶスティッチングングブロック（０７１２）において３Ｄ ＳＲＶ画像にスティッチングされ得る。３Ｄスティッチングブロックからの３Ｄ ＳＲＶ画像は、フェールセーフモニタ（０７１３）を介して流れ、３ＤパイプラインディスプレイがＨＬＯＳによって有効化されると、ディスプレイデバイス（０７１４）上に表示される。フェールセーフモニタは、補助コア上で連続的に作動しており、２Ｄスティッチングブロック及び３Ｄスティッチングブロック両方から入力を受け取る。好ましい実施例に従って、出力画像の表示は、３Ｄ ＳＲＶが初期化され、表示のための準備ができた後に、２Ｄ ＳＲＶから３Ｄ ＳＲＶにシームレスに切り替わる。別の好ましい実施例に従って、フェールセーフモニタ（０７１３）における故障を検出すると、出力画像のディスプレイが、２Ｄ ＳＲＶにシームレスに切り替わる。更に別の例示の実施例に従って、入力画像は、２Ｄ ＳＲＶ処理エンジン及び３Ｄ ＳＲＶ処理エンジンを介して同時に処理される。フェールセーフモニタは、図８Ｂ（０８１０）において後述するように、誤差を監視し得る。
図８Ａ（０８００）のフローチャートに概して示されるように、２Ｄサラウンドビューディスプレイから３Ｄサラウンドビューへの例示的なシームレスな遷移方法は、下記のステップに関して概して説明され得る。
１． ＜２Ｄ－ＳＲＶ処理チェーンを初期化し、２Ｄサラウンドビューを表示するステップ（０８０１）＞
このステップは更に、ブートローダからブートすること、及び、２Ｄ‐ＳＲＶディスプレイパイプラインを有効化することを含む。２Ｄ－ＳＲＶディスプレイパイプラインは、初期設定で自動的に有効化され得る。ブートする時間は、１ミリ秒から１０ミリ秒までの範囲である。２Ｄ－ＳＲＶアプリケーションのためのブート時間（ボードの電源投入からの時間）は、用いられているカメラ及びセンサの数に応じて、３００ｍｓ～１０ｓまでの範囲であり得る。
２． ＜ＨＬＯＳハンドシェイクが完了するのを待機している間に２Ｄサラウンドビューを表示するステップ（０８０２）＞
図７において説明したように２Ｄサラウンドビューを表示するステップは、概して、下記のステップに関して説明され得る。
ａ． 少なくとも一つの光学的デバイスで一つ又はそれ以上の入力画像を捕捉するステップ、
ｂ． 入力画像を整合及び混合するステップ、
ｃ． 画像を一つの出力画像にスティッチングするステップ、
ｄ． ２Ｄ‐ＳＲＶディスプレイパイプラインが有効化されているかをチェックするステップ、及び
ｅ． ２Ｄサラウンドビューを表示するステップ。
図１０のタイミングフローチャートにおいて説明するように、ＨＬＯＳハンドシェイクを待機するステップは、概して、下記のステップに関して説明され得る。
ａ． ＧＰＵを初期化するステップ、
ｂ． ＨＬＯＳが準備できているかをチェックするステップ（ＧＰＵの初期化は、ＨＬＯＳが準備できているときにのみ行われ、従って、ポイントａ及びｂを入れ替える必要がある）、及び
ｃ． ＧＰＵが３Ｄサラウンドビューを提供する準備ができているかをチェックするステップ。
３． ＜ＨＬＯＳハンドシェイクが完了した場合、３Ｄ‐ＳＲＶ処理チェーンを初期化し、完了していない場合、ステップ（０８０２）に進むステップ（０８０３）＞
好ましい実施例に従って、３Ｄ‐ＳＲＶ処理チェーンが初期化及び有効化されるとき、２Ｄ処理チェーン及び３Ｄ処理チェーンは、同時にかつ並列に作動している。３Ｄ ＳＲＶ処理エンジン及び２Ｄ ＳＲＶ処理エンジン両方への入力画像の同時提示は、システムが、２Ｄ ＳＲＶビューから３Ｄ ＳＲＶビューに切り替わることを可能にし、故障が検出されるとき、３Ｄ ＳＲＶビューから２Ｄ ＳＲＶビューへの切り替えを可能にする。
４． ＜３Ｄ－ＳＲＶバッファ出力を待機するステップ（０８０４）＞
３Ｄ ＳＲＶ処理エンジンが初期化及び有効化されると、入力フレームは、入力フレームがＧＰＵブロックに流れることを可能にする３Ｄ‐ＳＲＶバッファに渡され得る。
５． ＜２Ｄ－ＳＲＶディスプレイパイプラインを無効化し、３Ｄ－ＳＲＶディスプレイパイプラインを有効化するステップ（０８０５）＞
レジスタマップにおける或るレジスタビットが１又は０に書き込まれ得、２Ｄ‐ＳＲＶディスプレイパイプラインが無効化され得る。同様に、レジスタマップにおける或るレジスタビットが１又は０に書き込まれ得、３Ｄ‐ＳＲＶディスプレイパイプラインが有効化され得る。レジスタマップは、所定のアドレス指定位置を有する内部メモリに維持され得る。
６． ＜スイッチバックモニタを有効化するステップ（０８０６）＞
７． ＜３Ｄサラウンドビューに原子的に切り替わるステップ（０８０７）＞
例示の一実施例に従って、２Ｄサラウンドビューと３Ｄサラウンドビューとの間で表示を原子的に切り替えるレイテンシーは、実質的に０である。より好ましい実施例に従って、２Ｄサラウンドビューと３Ｄサラウンドビューとの間で表示を原子的に切り替えるレイテンシーは、３０ミリ秒～１分３０秒である。表示が３０フレーム／秒（ＦＰＳ）でリフレッシュされる場合、レイテンシーは３０ｍｓから５００ｍｓまでの範囲であり得、表示が６０ＦＰＳでリフレッシュされる場合、レイテンシーは１５ｍｓ～２５０ｍｓの間で変化し得る。更に別の例示の実施例に従って、２Ｄサラウンドビューと３Ｄサラウンドビューとの間で表示を原子的に切り替えるレイテンシーは、入力フレームを失うことなく行われる。
８． ＜３Ｄサラウンドビューをモニタに表示するステップ（０８０８）＞
図７において説明したような３Ｄサラウンドビューを表示する方法は、概して下記のステップに関して説明され得る。
ａ． 少なくとも一つの光学的デバイスで一つ又はそれ以上の入力画像を捕捉するステップ、
ｂ． ＧＰＵ提供ブロックを介して処理するステップ、
ｃ． 画像を一つの出力画像にスティッチングするステップ、
ｄ． ３Ｄ‐ＳＲＶディスプレイパイプラインが有効化されているかをチェックするステップ、及び
ｅ． ３Ｄサラウンドビューを表示するステップ。
好ましい実施例に従って、入力画像が、ビューポートを介して捕捉され、２Ｄ処理チェーン及び３Ｄ処理チェーンに同時に提示される。処理及び表示の状態を追跡し続けるために、状態機械が実装され得る。状態機械は、表示エンジン及びカウンタの状態を追跡し続けるために、システムオンチップ（ＳＯＣ）において実装され得る。方法ステップの各々は、処理の状態に対応し得る。誤差、３Ｄと２Ｄとの間の切り替え、ディスプレイパイプラインの有効化及び無効化などの、所定のトリガ条件に基づいて、各クロックサイクル上で状態機械が現在の状態から次の状態へ遷移するように、現在の状態及び次の状態の変数が実装され得る。フェールセーフモニタは、事象によってトリガされる状態機械とし得る。これらの事象は、現在、３Ｄ‐ＳＲＶバッファの利用可能性を含み、これは、パイプライン及びバッファ管理を有効化／無効化への状態の変更をトリガする（捕捉されたバッファが３Ｄ‐ＳＲＶ処理チェーンと共有されるべきかを決定する）。
図８Ｂ（０８１０）のフローチャートに概して示されるように、故障の検出の際に３Ｄサラウンドビューディスプレイから２Ｄサラウンドビューディスプレイに遷移するための好ましいフェールセーフな方法は、下記のステップに関して概して説明され得る。
１． ＜新しいフレームを捕捉するステップ（０８１１）＞
２． ＜３Ｄ処理チェーンが有効化される場合、３Ｄサラウンドビューを表示し、有効化されない場合、ステップ（０８１８）で２Ｄサラウンドビューを表示するステップ（０８１２）＞
３． ＜３Ｄサラウンドビューが有効化された場合、新しいフレームのタイプが３Ｄフレームであるかをチェックし、３Ｄフレームである場合は、ステップ（０８１４）で故障検出アルゴリズムを有効化し、３Ｄ ＳＲＶを表示し、３Ｄフレームでない場合は、ステップ（０８１４）で故障検出アルゴリズムを有効化し、ステップ（０８１５）で故障が検出されたかをチェックするステップ（０８１３）＞
４． ＜故障検出アルゴリズムを有効化するステップ（０８１４）＞
５． ＜故障が検出された場合、ステップ（０８１６）に進み、故障が検出されない場合、フレームを適切にドロップするステップ（０８１５）＞
図１１に示されるように故障を検出する方法は、概して下記のステップに関して説明され得る。
ａ． 新しいフレームを捕捉するステップ、
ｂ． 捕捉されたフレームが３Ｄタイプフレームでない場合、遅延カウンタを１だけインクリメントし、３Ｄタイプフレームである場合、遅延カウンタをリセットするステップ、及び
ｃ． 遅延カウンタが閾値を超えているかをチェックし、超えている場合、故障を検出するステップ。
６． ＜２Ｄサラウンドビューに原子的に切り替え、３Ｄ－ＳＲＶディスプレイパイプラインを無効化し、２Ｄ－ＳＲＶディスプレイパイプラインを有効化するステップ（０８１６）＞
７． ＜３Ｄ処理チェーンを無効化し、強制的なバッファリクレーム（reclaim）を有効化する（０８１７）ステップ＞
ＨＬＯＳによって入力フレームをストアするために用いられるバッファは、故障が検出され、ＨＬＯＳがクラッシュされるときに解放されない場合がある。例示の一実施例に従って、バッファは、フレームがドロップされないように強制的にリクレームされる。ブックキーピングメカニズムを利用して、ＨＬＯＳを作動しているコアと共有されるバッファ（入力フレーム）の追跡を継続し得る。ブックキーピングメカニズムは、提供するためにＧＰＵに転送される前に、ペンディングのバッファリストにキューされる（queued）バッファアドレスを含み得る。故障のためにＧＰＵによって返されたバッファの場合、そのバッファに対応するバッファアドレスはデキュー（de-queued）され得る。ＨＬＯＳクラッシュの際、ペンディングのバッファリスト内のすべてのバッファは、リストが空になるまで強制的にクリアされる。強制的なバッファリクレームは、システムの性能が劣化しないことを保証する。例えば、３０フレーム／秒（ＦＰＳ）で画像又はフレームを表示するには、バッファリクレームが必要となり得る。バッファリクレームが有効化されていない場合、性能は１５ＦＰＳまで落ちる可能性がある。ＨＬＯＳ及びＲＴＯＳは、捕捉されたビデオバッファなどの共有資源を共有し得、ＨＬＯＳによって保持されたＨＬＯＳクラッシュバッファが解放されないと、ビデオ出力を捕捉するために再び用いることができない。これは、書き込みに利用可能なバッファが限られている捕捉ソースでのボトルネックにつながる恐れがある。ＨＬＯＳ故障の検出のレイテンシーに応じて、ＨＬＯＳが保持する捕捉バッファの数は変化し得る。レイテンシーが高ければ高いほど、ＨＬＯＳによって保持されているバッファの数が多くなり、その後、捕捉ソースにおいて利用可能なバッファが少なくなる。従って、クラッシュ検出後にシステムが２Ｄ‐ＳＲＶに切り替わるとき、２Ｄ‐ＳＲＶ処理チェーンがそのバッファに戻らない限り、捕捉ソースはバッファに書き込むことができないので、フレームレートは著しく下がる。ＨＬＯＳ故障検出のレイテンシーが高く、バッファリクレームが実装されていない場合、フレームレートは５～１０ＦＰＳまで落ちることがある。バッファリクレームが実装される場合、捕捉ソースが書き込むためにすべてのバッファが利用可能であるので、フレームレートは一定（３０ＦＰＳ/６０ＦＰＳ）であり得る。
２Ｄ ＳＲＶビューへの切り替えは、フレームをドロップすることなく、また性能を失うことなく、シームレスに行われる。
８． ＜２Ｄサラウンドビューをモニタに表示するステップ（０８１８）＞
図９は、好ましい実施例に従った、２Ｄサラウンドビューディスプレイから３Ｄサラウンドビューディスプレイへのシームレスな遷移の例示的なブロック図を示す。図７（０７００）と同様に、図９（０９００）は、２Ｄ ＳＲＶアルゴリズムブロック（０９０７）によって生成される２Ｄ ＳＲＶ画像（０９０６）と、３Ｄ ＳＲＶアルゴリズムブロック（０９０３）によって生成される３Ｄ ＳＲＶ画像（０９０４）とを同時に受け取るフェールセーフモニタブロック（０９０５）を含む。入力画像又はフレームが、ビデオ捕捉ブロック（０９０１）によって捕捉され得、２Ｄ ＳＲＶアルゴリズムブロック（０９０７）及び３Ｄ ＳＲＶアルゴリズムブロック（０９０３）の両方に提示され得る。フェールセーフモニタ（０９０５）は、シームレス遷移ブロック（０９１５）及びディスプレイ切り替えブロック（０９２５）を更に含む。シームレス遷移ブロック（０９１５）は、故障が検出されない限り、ディスプレイが、デフォルトの２Ｄ ＳＲＶビューから３Ｄ ＳＲＶビューに切り替えられることを可能にする。ディスプレイ切り替えブロック（０９２５）は、図１１に記載されるように、故障の検出の際に、ディスプレイ（０９０８）を３Ｄ ＳＲＶビューから２Ｄ ＳＲＶビューに切り替える。また、フェールセーフモニタブロックは、３Ｄ処理エンジンを有効化又は無効化することを示すために、３Ｄ有効化ブロック（０９０２）への３Ｄ有効化信号を生成し得る。３Ｄ有効化ブロックは、ビデオ捕捉ブロック（０９０１）から３Ｄ ＳＲＶアルゴリズムブロック（０９０３）への入力フレームの流れを可能にするゲートとして機能し得る。フェールセーフモニタが３Ｄ処理の誤差を検出した場合、３Ｄ有効化ブロックは無効化され得、３Ｄ ＳＲＶアルゴリズムブロックへの入力フレームの流れをブロックし得る（０９０３）。
図１０は、好ましい実施例に従った、２Ｄサラウンドビューディスプレイから３Ｄサラウンドビューディスプレイへのシームレスな遷移の例示的なタイミングフローチャートを図示する。電源が投入されると、埋め込みプロセッサが、まずブートし得、数ミリ秒間ｒｏｍコード（１００１）からブートｒｏｍを作動し得る。ブットローダ（１００２）が、ブートロムからの命令を複数段階で実行し得、時間（１０１０）の一段階において補助コアが初期化され得、時間（１０１２）の別の段階においてＤＳＰアルゴリズムが初期化され得、２Ｄ ＳＲＶを作動させる。２Ｄ ＳＲＶエンジンは、時間（１０１２）に初期化され、時間（１０１３）に準備される。ブートローダをロードするための時間は、一次コア上で１～１０ミリ秒であり得るが、ブート、ファームウェアの初期化、及びその後の補助コア上でのアプリケーションの作動は、用いられるセンサのタイプ及びカメラの数に応じて３００ミリ秒から１０秒までの範囲であり得る。その後、２Ｄ ＳＲＶ処理エンジンが作動し、３Ｄ ＳＲＶエンジンが初期化されて作動するまで、２Ｄ ＳＲＶ画像がディスプレイスクリーンに表示される。次に、埋め込みプロセッサは、カーネルを介してＨＬＯＳをロードし得る（１００３）。一例において、ＨＬＯＳはＬｉｎｕｘＯＳであり得、他の例においてＨＬＯＳはＡｎｄｒｏｉｄ又はＱＮＸであり得る。ＧＰＵ（１００４）が、２Ｄ ＳＲＶエンジンが作動している間、カーネル実行中に初期化され得る。ＨＬＯＳは、ＧＰＵ初期化が完了するのを待機し得、次いで、３Ｄ ＳＲＶ処理エンジンを初期化する（１００５）ために適切なハンドシェイクを実施し得る。時間（１０１４）において３Ｄ ＳＲＶ処理エンジン初期化が完了すると、ディスプレイは、ブロック（０９１５）と同様のシームレス遷移ブロック（１００６）を介して、３Ｄ ＳＲＶディスプレイにシームレスに切り替わり得る。３Ｄ ＳＲＶディスプレイパイプライン（１００７）は、２Ｄ ＳＲＶビューから３Ｄ ＳＲＶビューへのシームレスな遷移の際に有効化される。ブートローダは、一次コア上で作動され、補助コア上のファームウェアをロードし（１０１０及び１０１２に示すように）、これらのコアに関連するクロックをリセットして、それぞれのコア上のファームウェアの初期化を可能にする。リセットがトリガされると、ブートローダは、（一次コア自体にロードされた）カーネルをロードするようにジャンプし、ファームウェアが補助コア上の初期化を完了するのを待機しない可能性がある。これは、ファームウェアができるだけ早く補助コア上にロードされることを保証し、ＨＬＯＳとは独立して作動するアプリケーションが非常に迅速にサービスされることを保証する。また、ブートローダは、ファームウェア初期化が完了するのを待機する必要なく、迅速にカーネル初期化にジャンプし得る。各コア（一次及び補助）は、その他のコア状態のチェックを維持するために作動しているタスクを有し、それぞれのコア上で作動するＯＳ（ＲＴＯＳ/ＨＬＯＳ）が準備されると、コアとの通信メカニズムを確立する。この通信メカニズムは、コア間のバッファの流れを確立するのに役立ち、また、ＳＲＶアプリケーション間の切り替えを容易にする事象をトリガする。
図１１のフローチャート（１１００）に概して示されるように、故障の検出の際に３Ｄサラウンドビューディスプレイから２Ｄサラウンドビューディスプレイに遷移するための好ましいフェールセーフな検出方法が、概して下記のステップに関して説明され得る。
１． 新しいフレームを捕捉し、３Ｄ ＳＲＶ処理が有効化されているかをチェックし、有効化されている場合はステップ（１１０２）に進み、有効化されていない場合はステップ（１１１０）に進むステップ（１１０１）、
２． 新しいフレームが３Ｄタイプフレームであるかをチェックし、３Ｄタイプフレームであればステップ（１１０３）に進み、３Ｄタイプフレームでなければステップ（１１０５）に進むステップ（１１０２）、
３． 遅延カウンタをリセットするステップ（１１０３）、
４． ３Ｄ ＳＲＶビューにおいて３Ｄフレームを表示するステップ（１１０４）、
５． 遅延カウンタを１だけインクリメントするステップ（１１０５）、
６． 遅延カウンタが閾値を超えているかをチェックし、超えている場合はステップ（１１０８）に進み、超えていない場合はステップ（１１０７）に進むステップ（１１０６）、
７． フレームを適切にドロップするステップ（１１０７）、
８． ３Ｄ‐ＳＲＶディスプレイパイプラインを無効化し、２Ｄ‐ＳＲＶディスプレイパイプラインを有効化するステップ（１１０８）、
９． ３Ｄ－ＳＲＶ処理エンジンを無効化し、強制的なバッファリクレームを開始するステップ（１１０９）、及び
１０． ２Ｄ ＳＲＶビューを表示するステップ（１１１０）。
２Ｄサラウンドビューから３Ｄサラウンドビューへのシームレスな遷移のための方法において、この方法は下記を含む。
（ａ） ２Ｄ‐ＳＲＶ処理チェーンを初期化すること、
（ｂ） ＨＬＯＳハンドシェイクが完了するのを待機している間に２Ｄサラウンドビューを表示すること、
（ｃ） ＨＬＯＳハンドシェイクが完了した場合は３Ｄ‐ＳＲＶ処理チェーンを初期化し、完了していない場合は段階（ｂ）に進むこと、
（ｄ） ３Ｄ－ＳＲＶバッファ出力を待機すること、
（ｅ） ２Ｄ－ＳＲＶディスプレイパイプラインを無効化し、３Ｄ－ＳＲＶディスプレイパイプラインを有効化すること、
（ｆ） スイッチバックモニタを有効化すること、
（ｇ） ３Ｄサラウンドビューに原子的に切り替えること、及び
（ｈ） モニタに３Ｄサラウンドビューを表示すること。
この一般的な方法は、例示の実施例の範囲内のステップの再配置及び／又は付加／削除を用いて、多くの要因に応じて大幅に改変され得る。これを、本明細書に記載される種々の好ましい実施例のシステムと共に他の実施例と組み合わせることは、例示の実施例の全体的な範囲内にある。
考えられる実施例には、構成の基本的なテーマにおける多種多様な変形が含まれる。本明細書に記載される例は、可能な用途の全範囲を表すものではない。本明細書に記載される例は、ほぼ無限の可能性の幾つかである。
この基本的なシステム、方法、及びプロダクトバイプロセスは、下記を含むがこれらに限定されない、種々の副次的な実施例で増強され得る。
下記など、上述の説明内で教示された要素の組み合わせに基づいて、他の実施例が可能である。
・ 初期化するステップが、ブートローダからブートすること、及び、２Ｄ‐ＳＲＶディスプレイパイプラインを有効化することを更に含む実施例。
・ ブートするための時間が、１ミリ秒から１０ミリ秒までの範囲である実施例。
・ ２Ｄサラウンドビューを表示するステップが、下記のステップを更に含む実施例。
ａ． 一つ又はそれ以上の入力画像を少なくとも一つの光学的デバイスで捕捉するステップ、
ｂ． 入力画像を整合及び混合するステップ、
ｃ． これらの画像を一つの出力画像にスティッチングするステップ、
ｄ． ２Ｄ‐ＳＲＶディスプレイパイプラインが有効化されているかをチェックするステップ、及び
ｅ． ２Ｄサラウンドビューを表示するステップ。
・ ＨＬＯＳハンドシェイクが完了するのを待機するステップが、下記のステップを更に含む実施例。
ａ． ＧＰＵを初期化するステップ、
ｂ． ＨＬＯＳの準備ができているかをチェックするステップ、及び
ｃ． ＧＰＵが３Ｄサラウンドビューを提供する準備ができているかをチェックするステップ。
・ ３Ｄ‐ＳＲＶ処理チェーンを初期化するステップが、ＲＴＯＳを作動させている補助コアとＨＬＯＳを作動させている主コアとの間の通信メカニズムを有効化するステップを更に含む実施例。
・ ３Ｄ‐ＳＲＶバッファ出力を待機するステップが、捕捉バッファがＧＰＵに流れることを可能にすることを更に含む実施例。
・ ２Ｄ処理チェーンと３Ｄ処理チェーン両方が同時に並列に作動している実施例。
・ ビューポートを介して入力画像を捕捉すること、及び、これらの画像を２Ｄ処理チェーン及び３Ｄ処理チェーンに同時に提示することを更に含む実施例。
・ ２Ｄサラウンドビューと３Ｄサラウンドビューとの間で原子的に切り替わるレイテンシーが実質的に０である実施例。
・ ２Ｄサラウンドビューと３Ｄサラウンドビュー範囲との間で原子的に切り替わるレイテンシーが１６ミリ秒から５００ミリ秒の範囲である実施例。
・ ２Ｄサラウンドビューと３Ｄサラウンドビューとの間で原子的に切り替わるステップが、入力フレームの損失なしに行われる実施例。
・ フェールセーフを更に含み、フェールセーフが、下記のステップを更に含む実施例。
ａ． フェールセーフモニタリングアルゴリズムを有効化するステップ、
ｂ． ３Ｄサラウンドビューにおける故障を検出するステップ、
ｃ． ３Ｄ－ＳＲＶディスプレイパイプラインを無効化し、２Ｄ－ＳＲＶディスプレイパイプラインを有効化するステップ、
ｄ． ３Ｄ処理チェーンを無効化し、強制的なリクレームを有効化するステップ、
ｅ． ２Ｄサラウンドビューに原子的に切り替えるステップ、及び
ｆ． モニタに２Ｄサラウンドビューを表示するステップ。
・ ３Ｄサラウンドビューを表示するステップが、下記のステップを更に含む実施例。
ａ． 少なくとも一つの光学的デバイスで一つ又はそれ以上の入力画像を捕捉するステップ、
ｂ． ＧＰＵ提供ブロックを介して処理するステップ、
ｃ． これらの画像を一つの出力画像にスティッチングするステップ、
ｄ． ３Ｄ‐ＳＲＶディスプレイパイプラインが有効化されているかをチェックするステップ、及び
ｅ． ３Ｄサラウンドビューを表示するステップ。

Claims (20)

  1. サラウンドビューシステムにおける方法であって、
    ２Ｄ画像処理チェーンを初期化することと、
    ３Ｄ画像処理チェーンを初期化することの前に前記２Ｄ画像処置チェーンの出力を表示することと、
    オペレーティングシステムによるハンドシェイクを検出するときに前記３Ｄ画像処理チェーンを初期化することと、
    前記３Ｄ画像処理チェーンを初期化することの後に、
    一連の光学デバイスから一連の画像を受信し、
    ２Ｄサラウンドビューを製作するために前記一連の画像を前記２Ｄ画像処理チェーンで処理し、同時に、３Ｄサラウンドビューを製作するために前記一連の画像を前記３Ｄ画像処理チェーンで処理し、
    前記２Ｄサラウンドビューと前記３Ｄサラウンドビューとの一方を表示することと、
    を含む、方法。
  2. 請求項１に記載の方法であって、
    前記３Ｄ画像処理チェーンを初期化することが、
    グラフィック処理ユニット（ＧＰＵ）を初期化することと、
    前記オペレーティングシステムが初期化されているかをチェックすることと、
    前記ＧＰＵが前記３Ｄサラウンドビューを描画する準備ができているかをチェックすることと、
    を含む、方法。
  3. 請求項１に記載の方法であって、
    前記オペレーティングシステムが、主コア上で作動する高レベルオペレーティングシステムであり、
    前記３Ｄ画像処理チェーンを初期化することが、実時間オペレーティングシステムを作動させている一連の補助コアと前記高レベルオペレーティングシステムを作動させている主コアとの間の通信メカニズムを有効化することを含む、方法。
  4. 請求項１に記載の方法であって、
    前記一連の画像を前記２Ｄ画像処理チェーンで処理することが、
    前記一連の画像を整合して混合することと、
    前記一連の画像を１つの出力画像にスティッチすることと、
    を含む、方法。
  5. 請求項１に記載の方法であって、
    前記ビューを表示することが、前記３Ｄ画像処理チェーンの故障を検出するときに前記２Ｄサラウンドビューを表示することを含む、方法。
  6. 請求項５に記載の方法であって、
    前記故障が、前記３Ｄサラウンドビューを受信することを失敗することを含む、方法。
  7. 請求項５に記載の方法であって、
    前記３Ｄ画像処理チェーンの故障を検出するときに前記オペレーティングシステムによって使用されるバッファを再要求することを更に含む、方法。
  8. 請求項１に記載の方法であって、
    前記オペレーティングシステムが、主コア上で作動し、
    前記ビューを表示することが、副コアによって前記２Ｄサラウンドビューと前記３Ｄサラウンドビューとの間で選択することを含む、方法。
  9. サラウンドビューシステムにおける方法であって、
    第１の処理チェーンを初期化することと、
    複数の光学デバイスから周囲の第１の一連の画像を受信することと、
    前記周囲の第１のビューを製作するために前記第１の処理チェーンによって前記第１の一連の画像を処理することと、
    表示するために前記第１のビューを提供することと、
    オペレーティングシステムによるハンドシェイクを検出することに基づいて第２の処理チェーンを初期化することと、
    前記複数の光学デバイスから前記周囲の第２の一連の画像を受信することと、
    前記第２の処理チェーンを初期化することの後に第２の一連の画像を受信することに基づいて、
    前記周囲の第２のビューを製作するために前記第１の処理チェーンによって前記第２の一連の画像を処理し、同時に、前記周囲の第３のビューを製作するために前記第２の画像チェーンによって前記第２の一連の画像を処理し、
    前記第２のビューと前記第３のビューとの間でビューを選択し、
    表示するために前記選択されたビューを提供することと、
    を含む、方法。
  10. 請求項９に記載の方法であって、
    前記ビューを選択することが、前記第２の一連の画像を処理することにおける前記第２の処理チェーンによる故障に基づいて前記第３のビューを選択することを含む、方法。
  11. 請求項９に記載の方法であって、
    前記オペレーティングシステムが第１のコア上で作動し、
    前記ビューを選択することが、前記第１のコアと異なる第２のコア上で作動するフェイルセーフモニタによって実行される、方法。
  12. 請求項９に記載の方法であって、
    前記第１の処理チェーンによって前記第１の一連の画像を処理することが、前記第１のビューを製作するために前記第１の一連の画像の幾何学的整合と測光整合と混合とスティッチとを実行することを含む、方法。
  13. 請求項９に記載の方法であって、
    前記第２の処理チェーンによって前記第２の一連の画像を処理することが、前記第３のビューを製作するために前記第２の一連の画像を描画してスティッチすることを含む、方法。
  14. 請求項９に記載の方法であって、
    前記第１の処理チェーンが２Ｄ画像処理チェーンであり、前記第２の処理チェーンが３Ｄ画像処理チェーンである、方法。
  15. 請求項９に記載の方法であって、
    前記第２の処理チェーンを初期化することが、
    グラフィック処理ユニット（ＧＰＵ）を初期化することと、
    前記ＧＰＵが前記第３のビューを描画する準備ができているかをチェックすることと、
    を含む、方法。
  16. システムであって、
    第１の一連の画像と第２の一連の画像とを受信するチャネル捕捉ブロックと、
    前記チャネル捕捉ブロックに結合される第１の処理チェーンであって、
    第１のビューを製作するために前記第１の一連の画像を処理し、
    第２のビューを製作するために前記第２の一連の画像を処理する、
    ように動作可能である、前記第１の処理チェーンと、
    前記チャネル捕捉ブロックに結合される第２の処理チェーンであって、
    オペレーティングシステムによるハンドシェイクで初期化され、
    初期化の後に、第３のビューを製作するために前記第２の一連の画像を処理する、
    ように動作可能な前記第２の処理チェーンと、
    前記第１の処理チェーンと前記第２の処理チェーンとに結合されるフェイルセーフモニタであって、
    第１のビューを受信し、
    前記第２の処理チェーンの初期化の前に前記第１の一連の画像に基づいて前記第１のビューを提供し、
    同時に製作された前記第２のビューと前記第３のビューとを同時に受信し、
    前記第２の処理チェーンの初期化の後に前記第２の一連の画像に基づいて提供するために前記第２のビューと前記第３のビューとの間で選択する、
    ように動作可能である、前記フェイルセーフモニタと、
    を含む、システム。
  17. 前記請求項１６に記載のシステムであって、
    前記フェイルセーフが、前記第２の処理チェーンの故障を検出することに応答して前記第２のビューを選択するように更に動作可能である、システム。
  18. 請求項１７に記載のシステムであって、
    前記故障が、前記第２の処理チェーンが前記第３の光景を製作することを誤ることを含む、システム。
  19. 請求項１６に記載のシステムであって、
    前記第２の処理チェーンが、前記第２の一連の画像を描画するためのグラフィック処理ユニットを含む、システム。
  20. 請求項１６に記載のシステムであって、
    前記第１の処理チェーンが２Ｄ画像処理チェーンであり、前記第２の処理チェーンが３Ｄ画像処理チェーンである、システム。
JP2019563748A 2017-05-16 2018-05-16 ３ｄビューシステムへのシームレスな遷移を備えるサラウンドビュー及び方法 Active JP7350655B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN201741017062 2017-05-16
IN201741017062 2017-05-16
US15/706,345 US10861359B2 (en) 2017-05-16 2017-09-15 Surround-view with seamless transition to 3D view system and method
US15/706,345 2017-09-15
PCT/US2018/033030 WO2018213493A1 (en) 2017-05-16 2018-05-16 Surround-view with seamless transition to 3d view system and method

Publications (2)

Publication Number Publication Date
JP2020521231A JP2020521231A (ja) 2020-07-16
JP7350655B2 true JP7350655B2 (ja) 2023-09-26

Family

ID=64271981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563748A Active JP7350655B2 (ja) 2017-05-16 2018-05-16 ３ｄビューシステムへのシームレスな遷移を備えるサラウンドビュー及び方法

Country Status (4)

Country Link
US (2) US10861359B2 (ja)
JP (1) JP7350655B2 (ja)
CN (1) CN110622209B (ja)
WO (1) WO2018213493A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US11341607B2 (en) 2019-06-07 2022-05-24 Texas Instruments Incorporated Enhanced rendering of surround view images
CN113824887B (zh) * 2021-11-23 2022-04-01 南京芯驰半导体科技有限公司 一种具有功能安全的主控芯片、环视系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348574A (ja) 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP2014203441A (ja) 2013-04-10 2014-10-27 富士ゼロックス株式会社 電子機器、画像形成装置、制御装置及びプログラム
WO2015170453A1 (ja) 2014-05-08 2015-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車載ネットワークシステム、不正検知電子制御ユニット及び不正対処方法
US20180005444A1 (en) 2016-06-30 2018-01-04 Daqri, Llc Augmented reality failsafe mode

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627964A (en) * 1994-12-13 1997-05-06 Microsoft Corporation Reduce or fail-safe bootstrapping of a system having a graphical user interface
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP4191869B2 (ja) * 1999-12-20 2008-12-03 富士フイルム株式会社 ディジタルカメラを用いたコンピュータシステム
WO2003041011A2 (en) * 2001-11-08 2003-05-15 Eyesee360, Inc. Method and apparatus for the computation of panoramic views and _perspective projections from omnidirectional images
US7145519B2 (en) 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
US7467007B2 (en) * 2006-05-16 2008-12-16 Siemens Medical Solutions Usa, Inc. Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
US20080147086A1 (en) * 2006-10-05 2008-06-19 Marcus Pfister Integrating 3D images into interventional procedures
US20100225644A1 (en) 2009-03-05 2010-09-09 Navteq North America, Llc Method and System for Transitioning Between Views in a Traffic Report
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
TWI417639B (zh) 2009-12-30 2013-12-01 Ind Tech Res Inst 全周鳥瞰影像無縫接合方法與系統
US8797334B2 (en) * 2010-01-06 2014-08-05 Apple Inc. Facilitating efficient switching between graphics-processing units
JP5269026B2 (ja) 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
EP2506263A1 (en) * 2011-03-31 2012-10-03 Thomson Licensing Stereoscopic scene graph for defining 3D- and 2D-compatible graphical objects
US9762794B2 (en) * 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
EP2554434B1 (en) * 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
GB2498172B (en) * 2011-12-01 2018-12-12 Qualcomm Technologies Int Ltd A near field communication equipped device
US8995788B2 (en) * 2011-12-14 2015-03-31 Microsoft Technology Licensing, Llc Source imagery selection for planar panorama comprising curve
US9404764B2 (en) * 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US11164394B2 (en) * 2012-02-24 2021-11-02 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
FR2998400B1 (fr) * 2012-11-21 2016-01-15 Thales Sa Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene
KR102003383B1 (ko) * 2013-03-14 2019-07-24 삼성전자주식회사 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법
US9509909B2 (en) * 2013-11-18 2016-11-29 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US9407675B1 (en) * 2014-06-18 2016-08-02 Surround.IO Room cloud environment for conferencing
US20160027141A1 (en) * 2014-07-22 2016-01-28 Oculus Vr, Llc In-band latency detection system
US10176592B2 (en) * 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10262426B2 (en) * 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10650574B2 (en) * 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US10719939B2 (en) * 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10275935B2 (en) * 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
EP3112985A1 (en) * 2015-06-30 2017-01-04 Nokia Technologies Oy An apparatus for video output and associated methods
US10469828B2 (en) * 2015-07-13 2019-11-05 Texas Instruments Incorporated Three-dimensional dense structure from motion with stereo vision
US10147211B2 (en) * 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
US9672586B2 (en) * 2015-10-22 2017-06-06 Texas Instruments Incorporated Image synthesis method with DSP and GPU
JP6659130B2 (ja) * 2015-12-04 2020-03-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US10635909B2 (en) * 2015-12-30 2020-04-28 Texas Instruments Incorporated Vehicle control with efficient iterative triangulation
US10074214B2 (en) * 2015-12-31 2018-09-11 Autodesk, Inc. Systems and methods for generating 3D scenes with time element for display
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10404915B1 (en) * 2016-04-07 2019-09-03 Scott Zhihao Chen Method and system for panoramic video image stabilization
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
EP3451659A4 (en) * 2016-05-26 2019-11-06 LG Electronics Inc. -1- 360-DEGREE VIDEO TRANSMISSION METHOD, 360-DEGREE VIDEO RECEIVING METHOD, 360-DEGREE VIDEO TRANSMITTING APPARATUS, AND 360-DEGREE VIDEO RECEIVING APPARATUS
JP6868805B2 (ja) * 2016-06-07 2021-05-12 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム
US10524018B2 (en) * 2016-08-30 2019-12-31 Samsung Electronics Co., Ltd. Apparatus and method for displaying image
US11032536B2 (en) * 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
CN113873261B (zh) * 2016-10-04 2022-12-27 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
EP3800891A1 (en) * 2016-10-04 2021-04-07 Ki Baek Kim Image data encoding/decoding method and apparatus
US10210603B2 (en) * 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
KR102561274B1 (ko) * 2016-12-01 2023-07-31 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US10911745B2 (en) * 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
US10560682B2 (en) * 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content
US20180210442A1 (en) * 2017-01-23 2018-07-26 Qualcomm Incorporated Systems and methods for controlling a vehicle using a mobile device
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection
US20200074587A1 (en) * 2017-04-27 2020-03-05 Mediatek Inc. Method and Apparatus for Mapping Virtual-Reality Image to a Segmented Sphere Projection Format
US11615566B2 (en) * 2017-05-10 2023-03-28 Fotonation Limited Multi-camera vehicle vision system and method
US10740627B2 (en) * 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
US10809380B2 (en) * 2017-05-15 2020-10-20 Ouster, Inc. Augmenting panoramic LIDAR results with color
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US10237477B2 (en) * 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
CN107370994B (zh) * 2017-08-15 2018-11-02 深圳云天励飞技术有限公司 海域全景监控方法、装置、服务器及系统
KR102465248B1 (ko) * 2017-09-11 2022-11-11 삼성전자주식회사 이미지를 처리하기 위한 장치 및 방법
KR20190029098A (ko) * 2017-09-11 2019-03-20 삼성전자주식회사 카메라 동작에 기반한 오디오 신호 처리 장치 및 방법
KR102324702B1 (ko) * 2017-09-11 2021-11-10 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
KR102372808B1 (ko) * 2017-09-11 2022-03-15 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
KR102208129B1 (ko) * 2017-09-26 2021-01-27 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US11057573B2 (en) * 2017-12-20 2021-07-06 Texas Instruments Incorporated Multi camera image processing
CN111630850B (zh) * 2018-01-23 2022-11-04 Lg电子株式会社 用于发送或接收包括相机镜头信息的360度视频的方法和设备
CN111567039B (zh) * 2018-02-27 2022-06-03 Lg电子株式会社 用于发送和接收包括相机镜头信息的360度视频的方法及其装置
US10592747B2 (en) * 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US12002359B2 (en) * 2018-06-20 2024-06-04 Nissan Motor Co., Ltd. Communication method for vehicle dispatch system, vehicle dispatch system, and communication device
CN111837383B (zh) * 2018-07-13 2023-01-31 Lg电子株式会社 发送和接收关于动态视点的坐标系的元数据的方法和装置
US10864860B2 (en) * 2018-07-24 2020-12-15 Black Sesame International Holding Limited Model-based method for 360 degree surround view using cameras and radars mounted around a vehicle
JP2020065141A (ja) * 2018-10-16 2020-04-23 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ 車両の俯瞰映像生成システム及びその方法
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
US11214268B2 (en) * 2018-12-28 2022-01-04 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles
US10810966B1 (en) * 2019-01-15 2020-10-20 Ambarella International Lp Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety
US10887582B2 (en) * 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US10853914B2 (en) * 2019-02-22 2020-12-01 Verizon Patent And Licensing Inc. Methods and systems for automatic image stitching failure recovery
US11050932B2 (en) * 2019-03-01 2021-06-29 Texas Instruments Incorporated Using real time ray tracing for lens remapping
KR102177878B1 (ko) * 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
US20200294194A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation View synthesis using neural networks
US10992860B2 (en) * 2019-03-29 2021-04-27 Nio Usa, Inc. Dynamic seam adjustment of image overlap zones from multi-camera source images
US11417017B2 (en) * 2019-04-22 2022-08-16 Texas Instmments Incorporated Camera-only-localization in sparse 3D mapped environments
US11604065B2 (en) * 2019-05-17 2023-03-14 Hexagon Technology Center Gmbh Fully automatic position and alignment determination method for a terrestrial laser scanner and method for ascertaining the suitability of a position for a deployment for surveying
JP7372350B2 (ja) * 2019-06-14 2023-10-31 ケーピーアイティ テクノロジーズ リミテッド ライダおよびレーダに基づくトラッキングおよびマッピングシステムならびにその方法
US11158056B2 (en) * 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
US11380046B2 (en) * 2019-07-23 2022-07-05 Texas Instruments Incorporated Surround view
US10897600B1 (en) * 2019-09-09 2021-01-19 Texas Instruments Incorporated Sensor fusion based perceptually enhanced surround view
US10882468B1 (en) * 2019-10-29 2021-01-05 Deere & Company Work vehicle composite panoramic vision systems
US20210158493A1 (en) * 2019-11-21 2021-05-27 GM Global Technology Operations LLC Generation of composite images using intermediate image surfaces
CN114746894A (zh) * 2019-12-03 2022-07-12 株式会社索思未来 图像处理装置、图像处理方法以及图像处理程序
KR20210075293A (ko) * 2019-12-12 2021-06-23 현대자동차주식회사 차량 및 그 제어방법
US11074701B2 (en) * 2019-12-13 2021-07-27 Reconstruct Inc. Interior photographic documentation of architectural and industrial environments using 360 panoramic videos
US11308641B1 (en) * 2019-12-20 2022-04-19 Ambarella International Lp Oncoming car detection using lateral emirror cameras
US11341719B2 (en) * 2020-05-07 2022-05-24 Toyota Research Institute, Inc. System and method for estimating depth uncertainty for self-supervised 3D reconstruction
US11531842B2 (en) * 2020-05-20 2022-12-20 Toyota Research Institute, Inc. Invertible depth network for image reconstruction and domain transfers
US11608055B2 (en) * 2020-06-04 2023-03-21 Nxp Usa, Inc. Enhanced autonomous systems with sound sensor arrays
US11551363B2 (en) * 2020-06-04 2023-01-10 Toyota Research Institute, Inc. Systems and methods for self-supervised residual flow estimation
US11257231B2 (en) * 2020-06-17 2022-02-22 Toyota Research Institute, Inc. Camera agnostic depth network
US11398095B2 (en) * 2020-06-23 2022-07-26 Toyota Research Institute, Inc. Monocular depth supervision from 3D bounding boxes
US20220006922A1 (en) * 2020-07-02 2022-01-06 Qualcomm Incorporated Coordinated multi-viewpoint image capture
US20220006945A1 (en) * 2020-07-02 2022-01-06 Qualcomm Incorporated Coordinated multi-viewpoint image capture
US11966234B2 (en) * 2020-07-23 2024-04-23 Toyota Research Institute, Inc. System and method for monocular depth estimation from semantic information
US20220043108A1 (en) * 2020-08-09 2022-02-10 Tal Lavian Systems methods and apparatus for deep-learning multidimensional detection segmentation and classification
US20220141384A1 (en) * 2020-10-30 2022-05-05 Flir Surveillance, Inc. Situational awareness-based image annotation systems and methods
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准
US11688090B2 (en) * 2021-03-16 2023-06-27 Toyota Research Institute, Inc. Shared median-scaling metric for multi-camera self-supervised depth evaluation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348574A (ja) 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP2014203441A (ja) 2013-04-10 2014-10-27 富士ゼロックス株式会社 電子機器、画像形成装置、制御装置及びプログラム
WO2015170453A1 (ja) 2014-05-08 2015-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車載ネットワークシステム、不正検知電子制御ユニット及び不正対処方法
US20180005444A1 (en) 2016-06-30 2018-01-04 Daqri, Llc Augmented reality failsafe mode

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Vikram Appia et al.，Surround view camera system for ADAS，TI's TDAx SoCs，米国，Texas Instruments，2015年10月，https://www.ti.com/lit/wp/spry270a/spry270a.pdf

Also Published As

Publication number Publication date
US11605319B2 (en) 2023-03-14
US20180336806A1 (en) 2018-11-22
US20210090478A1 (en) 2021-03-25
CN110622209A (zh) 2019-12-27
US10861359B2 (en) 2020-12-08
JP2020521231A (ja) 2020-07-16
WO2018213493A1 (en) 2018-11-22
CN110622209B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
US11605319B2 (en) Surround-view with seamless transition to 3D view system and method
US11681534B2 (en) Method and system for boot time optimization of embedded multiprocessor systems
US10604072B2 (en) Early rear view camera video display in a multiprocessor architecture
US9900448B2 (en) Technologies for displaying images during a pre-boot phase of a vehicle computing platform
JP2020129386A (ja) 低電力コンピュータイメージング
JP2013521581A (ja) 多重プロセッサを用いて状態情報を失わずにビデオ及び／又はグラフィクスデータを処理するための方法、システム及び装置
US10613874B2 (en) Application execution apparatus and application execution method
US20090006809A1 (en) Non-disruptive code update of a single processor in a multi-processor computing system
CN108241211A (zh) 一种头戴显示设备及图像渲染方法
KR20150019845A (ko) 메모리 공유 환경에서 데이터 무결성 감시 장치 및 방법
US10417008B2 (en) Application execution apparatus and application execution method
US20180114507A1 (en) Application execution apparatus and application execution method
US8373707B1 (en) System and method for selecting the boot VGA adapter in a multi-graphics processing unit computing system
CN110362518B (zh) 一种用于系统引导时出图及平滑过渡到内核的方法
CN110008071B (zh) 一种远程调试装置及方法
EP4198872A2 (en) Fail safe surround view
WO2017075623A1 (en) Method and system for boot time optimization of embedded multiprocessor systems
US20180059989A1 (en) Image processing semiconductor device and image processing device
CN109992510B (zh) 一种远程调试装置及方法
Paul et al. Robust Digital Cluster on Jacinto6 Processor
JP2024065631A (ja) 画像処理装置及び画像処理方法
CN116501426A (zh) 一种avm应用程序的执行方法、智能座舱系统以及相关设备
US20150109473A1 (en) Programming a camera sensor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191119

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20210515

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230913

R150 Certificate of patent or registration of utility model

Ref document number: 7350655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150