JP7497380B2 - 複合画像を生成および表示するための車両と方法 - Google Patents

複合画像を生成および表示するための車両と方法 Download PDF

Info

Publication number
JP7497380B2
JP7497380B2 JP2022007874A JP2022007874A JP7497380B2 JP 7497380 B2 JP7497380 B2 JP 7497380B2 JP 2022007874 A JP2022007874 A JP 2022007874A JP 2022007874 A JP2022007874 A JP 2022007874A JP 7497380 B2 JP7497380 B2 JP 7497380B2
Authority
JP
Japan
Prior art keywords
vehicle
image
capture component
perspective
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022007874A
Other languages
English (en)
Other versions
JP2022113660A5 (ja
JP2022113660A (ja
Inventor
真志 中川
Original Assignee
トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド filed Critical トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド
Publication of JP2022113660A publication Critical patent/JP2022113660A/ja
Publication of JP2022113660A5 publication Critical patent/JP2022113660A5/ja
Application granted granted Critical
Publication of JP7497380B2 publication Critical patent/JP7497380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

ここにおいて記述される実施形態は、全体的には、複合画像を生成して車両のディスプレイ上に出力することに関し、より具体的には、外部の画像取り込み構成要素から受信した、車両の種々の透視図を示している画像を組み合わせることにより複合画像を生成および出力することに関する。
車両の従来の車両システムは、これらの車両の一部として設置され、これらの車両を取り囲む領域の画像を取り込むために利用される1つ以上の画像取り込み構成要素を含むことができる。そして取り込まれた画像は、これらの車両のそれぞれのディスプレイ上に出力できる。しかし、従来の車両には、あるタイプの複合画像を生成および表示するために、これらの車両の外部の画像取り込み装置の機能を活用する機能が欠けている。
従って、あるタイプの複合画像を生成および表示するために、外部の画像取り込み装置の機能と能力を効果的に活用する車両システムに対する必要性が存在する。
1つの実施形態においては、複合画像を生成および表示するように構成されている車両が提供される。車両は、車両の外部の第1画像取り込み構成要素からの第1画像と、車両の外部の第2画像取り込み構成要素からの第2画像を受信し、車両の第1透視図を示している第1画像と、車両の第2透視図を示している第2画像を使用して複合画像を生成し、複合画像を車両のディスプレイ上に出力するように構成されているプロセッサを含んでいる。
他の実施形態においては、複合画像を生成および表示するための方法が提供される。方法は、車両の外部の第1画像取り込み構成要素からの第1画像と、車両の外部の第2画像取り込み構成要素からの第2画像を受信することと、車両の第1透視図を示している第1画像と、車両の第2透視図を示している第2画像を使用して複合画像を生成することと、複合画像を車両のディスプレイ上に出力することを含んでいる。
更に他の実施形態においては、複合画像を生成および表示するためのシステムが提供される。システムは、車両の外部の第1画像取り込み構成要素と、車両の外部の第2画像取り込み構成要素と、プロセッサを含んでいる。プロセッサは、第1画像取り込み構成要素からの第1画像と、第2画像取り込み構成要素からの第2画像を受信し、車両の第1透視図を示している第1画像と、車両の第2透視図を示している第2画像を使用して複合画像を生成し、複合画像を車両のディスプレイ上に出力するように構成されている。
ここにおいて記述されている実施形態により提供されるこれらの、および追加的特徴は、図面と連携して下記の詳細な記述を考慮することにより、より完全に理解されるであろう
図面において記述されている実施形態は本質的に例であり、請求項により定義される主題を制限することは意図されていない。例としての実施形態の下記の詳細な記述は、下記の図面と連携して読むことにより理解でき、下記の図面においては、類似の構造体は類似の参照番号により示されている。
ここにおいて記述および例示されている1つ以上の実施形態に係る、本開示において記述されているような、複合画像を生成および出力するための複合画像生成システムの例としての動作環境を模式的に示している。 ここにおいて示されている1つ以上の実施形態に係る複合画像生成システムの非制限的な構成要素を模式的に示している。 ここにおいて記述および例示されている1つ以上の実施形態に係る、複合画像を生成して車両のディスプレイ上に出力するためのフローチャートを示している。 ここにおいて記述および例示されている1つ以上の実施形態に係る、本開示の複合画像生成システムの例としての動作を模式的に示している。 ここにおいて記述および例示されている1つ以上の実施形態に係る、本開示の複合画像生成システムの他の例としての動作を示している。 ここにおいて記述および例示されている1つ以上の実施形態に係る、プロセッサにより生成できる複合画像の例を示している。 ここにおいて記述および例示されている1つ以上の実施形態に係る、モバイル装置の使用を含む、本開示の複合画像生成システムの他の例としての動作を示している。
ここにおいて開示されている実施形態は、複合画像を生成して車両のディスプレイ上に出力するための方法とシステムを記述している。例えば、複合画像を生成および出力するためのシステムは、車両の外部の種々の画像取り込み構成要素からの画像を受信し、受信した画像を使用して複合画像を生成し、その複合画像を車両のディスプレイ上に出力するように構成されている車両の一部として含まれている複合画像生成システムを含むことができる。実施形態においては、複合画像の生成および出力はリアルタイムで起こり得る。
従来のシステムとは異なり、本開示において記述されているような車両システムは、あるタイプの画像、つまり、車両の鳥瞰透視図を示している画像を生成および表示するために、車両が外部の画像取り込み装置の機能を利用することを可能にする。実施形態においては、そのような透視図は、車両の近くの1つ以上のブラインドスポット(見えない、または見にくい箇所、盲点)の正確且つ効果的な決定を可能にし、それにより、車両事故の回避を助長する。
ここで図を参照すると、図1は、ここにおいて記述および例示されている1つ以上の実施形態に係る、本開示において記述されているような、複合画像を生成および出力するための複合画像生成システムの例としての動作環境を模式的に示している。
具体的には、図1は、通信ネットワーク106を介して車両100と通信するように構成できる画像取り込み構成要素102、104、108の近くの道路の側部に駐車できる車両100を示している。具体的には、実施形態においては、画像取り込み構成要素102、104、108は、種々の角度、位置、向きなどからの車両100の1つ以上の画像を取り込み、これらの画像を、リアルタイムで車両100の車両システム200(図2において示されている)に送信できる。図1において示されているように、これらの画像取り込み構成要素は、建物103、105に、および街灯の一部として設置できる。車両100の車両システム200は、画像の内容を解析し、これらの画像間の変動を決定し、複合画像を生成するために、受信した画像の1つ以上を選択的に組み合わせることができる。例えば、実施形態においては、車両システム200は、車両100の特別な画像が取り込まれた角度、画像を取り込むことができた距離を決定し、このデータを1つ以上の閾値と比較できる。その後、画像と関連付けられている角度が、他の画像と関連付けられている他の角度の閾値未満の場合、車両システムはこれらの2つの画像を組み合わせなくてもよい。
代替的に、画像と関連付けられている角度が、他の画像の他の角度の閾値を超えている場合、車両システム200は、これらの画像間には十分な変動があると決定できる。従って、車両システム200は、複合画像を生成するためにこれらの画像を組み合わせることができる。それぞれが車両100の異なる透視図を示している複数の画像の角度は比較することができる。この比較に基づいて、複数の画像を組み合わせることができる。実施形態においては、複合画像は、車両100の鳥瞰図、例えば、本開示の図6において示されているような、車両100の最高部からある距離上方からの車両100の透視図を含んでいる画像であることができる。そのような画像は、車両100における、および車両100の周囲の如何なるブラインドスポットも識別されるように、車両100にある距離で近接している領域、つまり、車両100のある半径内の領域における1つ以上の対象物に車両の運転手がアクセスして見ることを可能にする。このようにして、車両100と他の車両との間の衝突の可能性は回避できる。例えば、車両100の所有者が道路の側部の駐車していた場所から道路に運転して出る状況において、所有者は、車両100の1つ以上のブラインドスポットに隣接し、そしてそこを走行している車両により良好に気付くであろう。
実施形態においては、複合画像をリアルタイムで車両100のディスプレイ上に出力できる。追加的に、外部の画像取り込み構成要素から受信した各画像を、例えば、車両システム200が接続を確立した特別な外部の画像取り込み構成要素を車両のユーザが選択することに基づいて、車両100のディスプレイ上に出力できる。このようにして、車両システム200は、特別な画像取り込み構成要素からの画像にアクセスし、それらの画像を車両100のディスプレイ上に出力できるように、車両100の動作をユーザが較正することを可能にできる。
図2は、ここにおいて示されている1つ以上の実施形態に係る、車両システム200の一部としての複合画像生成システムの非制限的な構成要素を模式的に示している。特に、車両システム200は図2においては孤立して示されているが、車両システム200は車両内に含むことができる。例えば、車両システム200は車両100内に含むことができる。車両100は、自動車、または、例えば、地上、水上(水中)、および/または空中車両などのような、任意の他の乗車用車両、または無人車両であってよい。幾つかの実施形態においては、これらの車両は、限られた人間の入力で、または人間の入力なしで、その車両が位置している環境を航行する自律車両であってよい。
車両システム200はプロセッサ202を含んでいる。プロセッサ202は、機械読み取り可能および実行可能命令を実行できる任意の装置であってよい。従って、プロセッサ202は、コントローラ、集積回路、マイクロチップ、コンピュータ、または、任意の他の演算処理装置であってよい。プロセッサ202は、システムの種々のモジュール間の信号相互接続性を提供する通信経路204に結合されている。従って、通信経路204は、任意の数のプロセッサ(例えば、プロセッサ202と同等の)を互いに通信可能に結合でき、通信経路204に結合されているモジュールが、分散型演算処理環境において動作することを可能にできる。具体的には、モジュールのそれぞれは、データを送り、および/または受信できるノードとして動作できる。ここにおいて使用されているように、「通信可能に結合される」という用語は、結合された構成要素が、例えば、導体媒体を介しての電気信号、空中を介しての電磁信号、光導波管を介しての光信号などのようなデータ信号をお互いに交換できるということを意味している。
従って、通信経路204は、例えば、導体ワイヤ、導体トレース、光導波管などのような、信号を送信できる任意の媒体から形成できる。幾つかの実施形態においては、通信経路204は、WiFi、ブルートゥース(登録商標)、近距離無線通信(NFC)などのような、無線信号の送信を助長できる。更に、通信経路204は、信号を送信できる媒体の組み合わせから形成できる。1つの実施形態においては、通信経路204は、プロセッサ、メモリ、センサ、入力装置、出力装置、および通信装置などのような構成要素への電気データ信号の送信を可能にするために協働する導体トレース、導体ワイヤ、コネクタ、およびバスの組み合わせを備えている。従って、通信経路204は、例えば、LINバス、CANバス、VANバスなどのような車両バスを備えることができる。追加的に、「信号」という用語は、DC、AC、正弦波、三角波、矩形波、振動などのような、媒体を通して伝わることができる波形(例えば、電気的、光学的、磁気的、機械的、または電磁的)を意味しているということに言及しておく。
車両システム200はまた、通信経路204に結合されている1つ以上のメモリモジュール206を含んでいる。1つ以上のメモリモジュール206は、RAM、ROM、フラッシュメモリ、ハードドライブ、または、機械読み取り可能および実行可能命令がプロセッサ202によりアクセスできるように、機械読み取り可能および実行可能命令を格納できる任意の装置を備えることができる。機械読み取り可能および実行可能命令は、例えば、プロセッサ202により直接実行できる機械言語、またはアセンブリ言語、オブジェクト指向プログラミング(OOP)、スクリプト言語、マイクロコードなどのような、機械読み取り可能および実行可能命令にコンパイルまたはアセンブルでき、1つ以上のメモリモジュール206に格納できる、任意の世代(例えば、1GL、2GL、3GL、4GL、または5GL)の任意のプログラムミング言語で記述されているロジックまたはアルゴリズムを備えることができる。代替的に、機械読み取り可能および実行可能命令は、フィールドプログラマブルゲートアレイ(FPGA)構成、または特定用途向け集積回路(ASIC)、またはそれらの等価物の何れかを介して実現されるロジックなどのような、ハードウェア記述言語(HDL)で記述できる。従って、ここにおいて記述されている方法は、予めプログラムされたハードウェア要素、または、ハードウェアとソフトウェア構成要素の組み合わせとして、任意の従来のコンピュータプログラミング言語において実現できる。幾つかの実施形態においては、1つ以上のメモリモジュール206は、1つ以上の車両構成要素、例えば、ブレーキ、エアバッグ、走行制御、電力ステアリング、バッテリ状態などに関連するステータスおよび動作状態情報に関連するデータを格納できる。
車両システム200は1つ以上のセンサ208を含むことができる。1つ以上のセンサ208のそれぞれは通信経路204に結合され、プロセッサ202に通信可能に結合されている。1つ以上のセンサ208は、車両の動きおよび車両の動きにおける変化を検出および測定するための1つ以上のモーションセンサを含むことができる。モーションセンサは慣性測定ユニットを含むことができる。1つ以上のモーションセンサのそれぞれは、1つ以上の加速度計と1つ以上のジャイロスコープを含むことができる。1つ以上のモーションセンサのそれぞれは、車両の感知された物理的動きを、車両の向き、回転、速度、または加速度を示す信号に変換する。
更に図2を参照すると、車両システム200は、通信経路204が衛星アンテナ210を、車両システム200の他のモジュールに通信可能に結合するように通信経路204に結合されている衛星アンテナ210を随意的に含んでいる。衛星アンテナ210は、全地球測位システム衛星からの信号を受信するように構成されている。具体的には、1つの実施形態においては、衛星アンテナ210は、全地球測位システム衛星により送信された電磁信号と相互作用する1つ以上の導体要素を含んでいる。受信した信号はプロセッサ202により、衛星アンテナ210の位置(例えば、緯度と経度)、または、衛星アンテナ210の近くに位置している対象物を示すデータ信号に変換される。
車両システム200は、例えば、通信ネットワーク106を介して、車両システム200をサーバ112に通信可能に結合するためのネットワークインタフェースハードウェア212を含むことができる。ネットワークインタフェースハードウェア212は、通信経路204がネットワークインタフェースハードウェア212を、車両システム200の他のモジュールに通信可能に結合するように通信経路204に結合されている。ネットワークインタフェースハードウェア212は、無線ネットワークを介してデータを送信および/または受信できる任意の装置であってよい。従って、ネットワークインタフェースハードウェア212は、任意の無線通信規格に従ってデータを送る、および/または、受信するための通信トランシーバを含むことができる。例えば、ネットワークインタフェースハードウェア212は、例えば、ワイヤレスフィデリティ(Wi-Fi)、WiMax、ブルートゥース(登録商標)、IrDA、Wireless USB、Z-Wave、ZigBee(登録商標)などのような無線コンピュータネットワークを介して通信するためのチップセット(例えば、アンテナ、プロセッサ、機械読み取り可能命令など)を含むことができる。幾つかの実施形態においては、ネットワークインタフェースハードウェア212は、車両システム200がブルートゥース(登録商標)通信を介してサーバ112と情報を交換することを可能にするブルートゥース(登録商標)トランシーバを含んでいる。
ネットワークインタフェースハードウェア212は、車両の車両システム200と、車両の外部の1つ以上の画像取り込み構成要素との間の接続を確立するために種々の通信プロトコルを利用できる。例えば実施形態においては、ネットワークインタフェースハードウェア212は、車両と種々の他の装置との間の通信、例えば、車車間/路車間通信(V2X)を可能にする通信プロトコルを利用できる。追加的に、他の実施形態においては、ネットワークインタフェースハードウェア212は、専用狭域通信(DSRC)のための通信プロトコルを利用できる。他の同等な通信プロトコルとの互換性もまた考えられる。
通信プロトコルは、例えば、アプリケーション層、プレゼンテーション層、セッション層、トランスポート層、ネットワーク層、データリンク層、および物理層の複数の層を有しているとして通信プロトコルを定義するOSIモデル(Open Systems Interconnection Model)により定義されるような複数の層を含んでいるということに言及しておく。正しく機能するために、各通信プロトコルは、上層プロトコルと、1つ以上の底層プロトコルを含んでいる。上層プロトコル(例えば、アプリケーション層プロトコル)の例としては、HTTP、HTTP2(SPDY)、およびHTTP3(QUIC)があり、それらは、一般的な形式におけるデータを送信および交換するために適切である。RTPとRTCPなどのようなアプリケーション層プロトコルは、例えば、電話とメッセージ通信などのような種々のリアルタイム通信に対して適切であることができる。追加的に、SSHとSFTPはセキュアメンテナンスに対して、MQTTとAMQPは、ステータス通知とウェイクアップトリガに対して、そしてMPEG-DASH/HLSは、ユーザエンドシステムとのライブビデオストリーミングに対して適切であることができる。上記に列挙した種々のアプリケーション層プロトコルにより選択されるトランスポート層プロトコルの例としては、例えば、TCP、QUIC/SPDY、SCTP、DCCP、UDP、およびRUDPが含まれる。
車両システム200はカメラ214を含んでおり、カメラ214は、車両システム200の種々の構成要素間の信号相互接続性を提供する。カメラの解像度は任意であってよい。幾つかの実施形態においては、鏡、魚眼レンズ、または、任意の他のタイプのレンズなどのような1つ以上の光学構成要素を、カメラに光学的に結合できる。実施形態においては、カメラは広角の特徴を有することができ、それにより150度から180度の円弧範囲内のデジタルコンテンツを取り込むことが可能となる。代替的に、カメラは狭角の特徴を有することができ、それにより狭い円弧範囲内、例えば、60度から90度の円弧範囲内のデジタルコンテンツを取り込むことが可能となる。実施形態においては、1台以上のカメラは、720画素解像度、1,080画素解像度などのような高精細画像を取り込むことができる。代替的に、または追加的に、カメラは所定の時間期間の間に、連続リアルタイムビデオストリームを取り込む機能を有することができる。画像取り込み構成要素102と104は、カメラ214と同等の特徴と機能を有しているカメラであるということにも言及しておく。実施形態においては、画像取り込み構成要素102、104は、閉回路テレビジョン(CCTV)ネットワークの一部であるカメラであってよい。代替的に、これらのカメラのそれぞれは互いに独立していることができ、種々の車両に画像またはライブビデオストリームを送信できる。
車両システム200は、例えば、環境内の車両(または他の対象物)の画像、環境内の車両(または他の対象物)のライブビデオストリーム、マップ、ナビゲーション、エンタテイメント、または、それらの組み合わせなどのような視覚的出力を提供するためのディスプレイ216を含んでいる。ディスプレイ216は、車両(または他の対象物)の画像、車両のライブビデオストリーム、マップ、ナビゲーション、エンタテイメント、またはそれらの組み合わせ、マップ、ナビゲーション、およびエンタテイメントを出力できる。ディスプレイ216は通信経路204に結合されている。従って、通信経路204はディスプレイ216を、制限されることはないが、プロセッサ202および/または1つ以上のメモリモジュール206を含む車両システム200の他のモジュールに通信可能に結合する。実施形態においては、ディスプレイ216は、1つ以上の外部装置から受信した、例えば、円錐形標識(工事中などに道路に置かれる標識)および/または車両などの環境状況と交通状況に関するデータを表示できる。
図3は、ここにおいて記述および例示されている1つ以上の実施形態に係る、複合画像を生成して車両のディスプレイ上に出力するためのフローチャート300を示している。
実施形態においては、ブロック310において、画像取り込み構成要素102内に設置されている車両システム200のプロセッサ202は、第1画像取り込み構成要素からの第1画像と、第2画像取り込み構成要素からの第2画像を受信できる。第1画像取り込み構成要素と第2画像取り込み構成要素の両者は車両の外部であってよい。画像取り込み構成要素は、アパートの建物内、道路の側部、車両100と並んで走行している他の車両内などに設定できるということに言及しておく。外部構成要素の少なくとも1つは、車両100の最高部(例えば、車両100の屋根)よりも高い高さに位置させることができるということに言及しておく。実施形態においては、第1および第2画像を受信する前に、車両100のプロセッサ202は、それぞれが車両100の外部であってよい種々の画像取り込み構成要素との通信接続を確立できる。実施形態においては、通信接続は、例えば、TCP/IP、UDPなどの1つ以上の通信プロトコルを使用する通信ネットワーク106を介して確立できる。TCP/IPは、車両の車両システム200と、1つ以上の画像取り込み構成要素102、104、108との間のセキュアコネクションを車両100が確立することを可能にできる。代替的に、UDP通信プロトコルを介しての、セキュアコネクションの確立なしのデータ(例えば、画像)の送信と受信が考えられる。TCP/IPとUDPと同等の他の通信プロトコルもまた考えられる。
実施形態においては、ブロック320において、プロセッサ202は第1画像と第2画像を使用して複合画像を生成できる。実施形態においては、第1画像は車両100の第1透視図を示すことができ、第2画像は車両100の第2透視図を示すことができる。実施形態においては、第1透視図は、車両100の運転手側を示している図に対応し、一方、第2透視図は、車両100の助手席側を示している図に対応することができる。追加的に、他の外部の画像取り込み構成要素から、車両100の前方と後方を示すことができる他の画像を受信できる。プロセッサ202は各受信された画像の内容を解析でき、車両100の種々の透視図間の類似性と差を識別するために、各画像を他の画像の1つ以上と比較できる。実施形態においては、車両100の画像に対応する透視図における変動が、特別な最小角度値に対応できるある閾値を超えている場合、プロセッサ202は画像を組み合わせことができる。しかし、車両100の画像に対応する透視図における変動がある閾値未満の場合、プロセッサ202は画像を組み合わせなくてもよい。
そして、ある最小角度値だけ互いに異なる画像の組み合わせは、複合画像を生成するために利用できる。実施形態においては、複合画像は、車両100の最高部の真上の垂直方向の位置からの車両100の画像と対応することができるように、車両100の空から見た図に対応することができる。垂直方法の位置とは、車両の最高部の真上である。言い換えると、実施形態においては、複合画像は、車両100の最高部からある距離だけ垂直方向に上からの車両100の鳥瞰図を示すことができる。
実施形態においては、ブロック330においてプロセッサ202は、生成された複合画像を車両100のディスプレイ上に出力できる。実施形態においては、複合画像はリアルタイムでディスプレイ上に出力できる。追加的に、実施形態においては、プロセッサ202はまた、車両100の外部の特別な画像取り込み構成要素により取り込まれた各個々の画像を表示するように構成できる。このようにして、車両100の特別な透視図を示している各画像は、例えばユーザによる、各個々の画像および/または画像取り込み構成要素のユーザの選択に応答して、車両100のディスプレイ上に出力できる。追加的に、プロセッサ202は、自動的且つユーザの介在なしで、各画像を他の画像の1つ以上と並べて表示するように構成できる。
解析は、車両100と関連付けられている輪郭、寸法、および他の特性を識別するための種々の画像の画像データの抽出を含むことができる。解析を実行するために、プロセッサ202は多様なデジタル画像認識技術を利用できる。多様な機械学習に基づく技術もまた考えられる。
追加的に、記述されているように、複合画像は、車両100における、および車両100の周囲の如何なるブラインドスポットも識別されるように、車両100にある距離で近接している領域、つまり、車両100のある半径内の領域における1つ以上の対象物に車両の運転手がアクセスして見ることを可能にできる。このようにして、車両100と他の車両との間の衝突の可能性は回避できる。例えば、車両100の所有者が道路の側部の駐車していた場所から道路に運転して出る状況において、所有者は、車両100の1つ以上のブラインドスポットに隣接し、そしてそこを走行している車両により良好に気付くであろう。そのため、所有者は衝突を回避できる。
図4は、ここにおいて記述および例示されている1つ以上の実施形態に係る、本開示の複合画像生成システムの例としての動作を模式的に示している。具体的には、図4は、道路の側部に位置している構造物に搭載できる画像取り込み構成要素108に隣接している道路上に駐車している車両100を示している。追加的に、画像取り込み構成要素102、104は、車両100の最高部よりも高い高さに位置させることができる。例えば、図1と4において示されているように、画像取り込み構成要素102、104は、建物103と105の2階の窓に位置しているカメラであってよい。実施形態においては、画像取り込み構成要素102、104は、画像取り込み構成要素102、104が建物103、105から45度下方向を向くことができるように、車両100の最高部よりも高い高さに位置させることができる。画像取り込み構成要素の他の位置と向きもまた考えられる。
実施形態においては、車両100のプロセッサ202は、車両100の外部の種々の画像取り込み構成要素のそれぞれの位置を識別する。例えば、プロセッサ202は、車両100に対する第1画像取り込み構成要素(例えば、画像取り込み構成要素102)の第1位置と、車両100に対する第2画像取り込み構成要素(例えば、画像取り込み構成要素104)の第2位置と、車両100に対する第3画像取り込み構成要素(例えば、画像取り込み構成要素108)の第3位置を識別できる。追加的に、実施形態においては、画像取り込み構成要素の第1および第2位置は、車両100の最高部よりも高い高さ値と関連付けることができる。
実施形態においては、画像取り込み構成要素102(例えば、第1画像取り込み構成要素)は、建物103の2階からの、車両100の運転手側と上部の部分の画像に対応することができる、車両100の第1透視図を示している画像を取り込むことができる。例えば、画像取り込み構成要素102の視野(または視線)402は車両100を含むことができ、つまり、車両100の助手席側の部分、車両100の上部の部分、および車両100の後部の部分を含むことができる。1つ以上の画像を取り込むことができるということに言及しておく。代替的に、または追加的に、車両100のライブビデオストリームを取り込むことができる。実施形態においては、これらの画像は、画像取り込み構成要素102の視野402内の車両100に基づいて取り込むことができる。
実施形態においては、第2画像取り込み構成要素(例えば、画像取り込み構成要素104)は、建物105の2階からの、車両100の運転手側の部分、前部の部分、および上部の部分の画像に対応することができる、車両100の第2透視図を示している画像(画像取り込み構成要素104の視野400内)を取り込むことができる。1つ以上の画像を取り込むことができるということに言及しておく。代替的に、または追加的に、車両100のライブビデオストリームを取り込むことができる。例えば、視野404は車両100を含むことができる。幾つかの実施形態においては、追加的画像取り込み構成要素(例えば、画像取り込み構成要素108などのような第3画像取り込み構成要素)は、車両100の運転手側の部分の画像に対応することができる、車両100の第3透視図を示している第3透視画像を取り込むことができる。実施形態においては、画像取り込み構成要素108の視野404が、短い距離(例えば、5フィートから10フィート)離れた所からの、および車両100の高さと同じ高さからの車両100の運転手側の領域を含むことができるように、画像取り込み構成要素108を車両100に隣接する場所に位置させることができる。
幾つかの実施形態においては、プロセッサ202は、第1画像と第2画像を組み合わせることにより複合画像を生成できる。具体的には、第1画像は車両100の第1透視図(例えば、車両100の助手席側、上部の部分、および後部の部分の画像)を示し、第2画像は車両100の第2透視図(例えば、車両100の運転手側、上部の部分、おおび前部の部分の画像)を示すので、これら2つの画像の組み合わせは、車両100の最高部のある距離だけ上方の場所からの車両100の異なる透視図を取り込んでいる複合画像という結果になり得る。言い換えると、複合画像は車両100の鳥瞰図に類似している。生成が終了すると、プロセッサ202は生成された複合画像を車両100のディスプレイ上に出力できる。実施形態においては、生成された複合画像はリアルタイムでディスプレイ216上に出力できる。複合画像が生成されてディスプレイ216上に表示される様子の詳細は図5において、より詳細に記述される。
図5は、ここにおいて記述および例示されている1つ以上の実施形態に係る、本開示の複合画像生成システムの他の例としての動作を示している。図4と5の内容は、交換可能に検討されるということに言及しておく。
例としての動作においては、第1、第2、および第3画像(例えば、第1、第2、および第3の例としての画像)を受信すると、プロセッサ202は各画像の内容を解析して、これらそれぞれの画像の内容を比較できる。例えば、例としての第1画像502は、車両100の助手席側の部分、上部の部分、および後部の部分を含む画像であってよい、図4において記述された第1画像に対応することができる。追加的に、例としての第2および第3画像504と506は、車両100の運転手側の部分、前部の部分、および上部の部分を含む画像と、短い距離(例えば、5フィートから10フィート)離れた所から、および車両100の高さと同じ高さから取り込まれた、車両100の運転手側の部分の他の画像であってよい、図4において記述された第2および第3画像に対応することができる。例としての第3画像506は、第3画像が、車両100の近くに位置している画像取り込み構成要素108から取り込まれたので、例としての第1および第2画像においては取り込むことができなかった車両100の相当な詳細を取り込むことができる。例えば、例としての第3画像は、車両100の種々の詳細、例えば、車両100に関する輪郭、寸法、および種々の他の状態(例えば、車両100のへこみ、仕上げ材料など)を取り込むことができる。
実施形態においては、プロセッサ202は、例としての第1、第2、および第3画像のそれぞれの内容を解析して、これらの画像間の変動の程度を決定できる。例えばプロセッサ202は、例としての第2画像504に対する例としての第1画像502の角度を閾値と比較して、これらの角度が閾値を満たす、またはそれを超えているということを判決定できる。追加的に、プロセッサ202はまた、これらの画像を取り込んだ画像取り込み構成要素それぞれの向きと位置が閾値を満たす、またはそれを超えているということを決定できる。
例えばプロセッサ202は、例としての第1画像502と例としての第2画像504は、車両100の互いに反対側を示していると決定できる。そのためプロセッサ202は、これらの画像は、それぞれの場所の間の角度における差が90度を超えるように位置している画像取り込み構成要素102、104から取り込まれた可能性が高いと決定できる。角度における差は、車両の画像に反映されるということに更に言及しておく。追加的に、幾つかの実施形態においては、閾値は90度より小さい角度に設定できる。他の実施形態においては、閾値はまた、特別な画像取り込み構成要素が車両100の画像を取り込んだ距離の結果であり得る、特別な画像の解像度における差を組み入れることができる。他のファクタもまた考えることができる。
プロセッサ202が、任意の2つの画像の比較は、ある基準を満たさない、例えば、閾値を満たさない、または閾値を超えていないと決定すると、プロセッサ202はこれらの2つの画像を組み合わせなくてもよい。具体的には、実施形態においては、プロセッサ202は、任意の2つの画像が特別な閾値に特有な基準を満たさない場合、例えば、これらの画像と関連付けられている角度における変動が閾値未満、距離と角度変動が閾値未満の場合、これらの画像は、実質的に類似または同一の、車両100の透視図を示している可能性があると決定できる。言い換えると、プロセッサ202は、この2つの取り込まれた画像は実質的に類似または同一の内容を含んでいると決定できる。例えば、これらの画像は両者とも、1つの画像は建物105の2階にある画像取り込み構成要素により取り込まれ、他の画像は建物105の3階から取り込まれた可能性があるなどのように、車両から30フィート離れた所から取り込まれた車両100の運転手側と前部の部分を含んでいる可能性がある。
そのため、2つの画像の内容における差、つまり、2つの画像において示されている透視図における差は小さい。そしてプロセッサ202は、複合画像を生成することにおいてこれら両者の画像を組み合わせることは有益とはなり得ないと決定できる。対照的に、2つの画像が特別な閾値を満たす場合、例えば、これらの画像と関連付けられている角度における変動が閾値より大きい場合、これらの画像は、複合画像を生成するためにこれらの画像を組み合わせることを正当化する程度に十分に異なる車両100の透視図を取り込むことができている。例えば、これらの画像は、車両から30フィート離れた所から取り込まれた車両100の運転手側と前部の部分と、車両から30フィート離れた所から取り込まれた車両100の助手席側と後部の部分を含むことができる。そのため、これらの画像は、互いに正反対の場所に位置している可能性が高く、それにより、互いに十分に異なる車両100の透視図に対応する画像を取り込むことができる画像取り込み構成要素から取り込まれている。
図5に戻ると、例としての第1画像502、第2画像504、および第3画像506の内容を解析すると、プロセッサ202は、例としての第1、第2、および第3画像502、504、506の間には十分な変動(例えば、これらの画像と関連付けられている角度における差、これらの画像が取り込まれた距離における差など)があると決定できる。これらの差に基づいて、例としての第1、第2、および第3画像502、504、506は、複合画像508を生成するために組み合わせることができる。その後、生成された複合画像508は、リアルタイムで車両システム200のディスプレイ216上に出力できる。
実施形態においては、1つ以上の外部の画像取り込み構成要素から車両システム200により受信されたすべての画像は、ディスプレイ216の一部として個々に表示できるということに更に言及しておく。例えばユーザは、車両100の内部に位置している1つ以上のボタンと相互作用でき、または、ディスプレイ216上に表示されている1つ以上のアイコンと相互作用でき、それに応じて、特別な外部の画像取り込み構成要素により取り込まれた特別な画像をディスプレイ216上に表示できる。実施形態においては、アイコンには「第1画像取り込み構成要素」、「第2画像取り込み構成要素」、「第3画像取り込み構成要素」などの標識を付けることができる。特別な画像取り込み構成要素に対応するアイコンの選択を受信すると、選択されたアイコンに対応する画像取り込み構成要素により取り込まれた1つ以上の画像を、車両100のディスプレイ216に表示できる。実施形態においては、画像取り込み構成要素により取り込まれた画像をディスプレイ216上に同時に表示できる。画像をディスプレイ216上に表示することの複数の他の並べ替えと組み合わせもまた考えられる。
図6は、ここにおいて記述および例示されている1つ以上の実施形態に係る、プロセッサにより生成できる複合画像の例を示している。具体的には、図6は、複数の画像取り込み構成要素からの画像を組み合わせている、プロセッサ202により生成できる例としての複合画像602を示している。これらの画像のそれぞれは、様々な透視図を示すことができる。図6において示されているように、車両100の例としての空中から見た透視図が示されている。具体的には、この透視図は、車両100の最高部よりも高い垂直方向の位置と関連付けられている。そのような垂直方向の位置は、車両100の最高部の真上である。このようにして、車両100の鳥瞰図を生成して、車両100のディスプレイ216上に出力できる。そのような透視図は、車両の運転手が、車両100における、および車両100の周囲のブラインドスポットを迅速且つ効果的に識別することを可能にし、運転手が衝突を回避することを可能にする。
図7は、ここにおいて記述および例示されている1つ以上の実施形態に係る、本開示の複合画像生成システムの他の例としての動作を示している。具体的には、図7は、図4において示されている例としての動作と類似している、複合画像生成システムの例としての動作を示している。しかし、図7において示されている例としての動作においては、図4とは対照的に、ユーザのモバイル装置700の一部である画像取り込み構成要素を、自由な角度からの視野に基づく画像を取り込むために利用できる。具体的には、車両100の自由な角度からの視野、または自由な角度からの透視図(例えば、自由な角度からの視野)を、固定的に位置されている画像取り込み構成要素がアクセスできない角度からの車両の画像を取り込むために、ユーザが自身で選択した任意の角度で自身のモバイル装置700のカメラを向けることにより取り込むことができる。図7において示されている例としての動作における画像取り込み構成要素102と104の機能は、図4において示され、本開示において記述されている動作と同じであるということに言及しておく。
実施形態においては、プロセッサ202は、モバイル装置700の画像取り込み構成要素により取り込まれた1つ以上の画像を受信できる。例えば、ユーザは車両100に接近してモバイル装置700のカメラを、車両100の運転手側の部分に、およびそれに沿って位置させる。実施形態においては、モバイル装置700のユーザはライブビデオストリームを取り込むことができ、および、車両100のトランクに近い領域から車両の前部のボンネットまで、車両100の種々の位置に沿って歩くことができる。代替的に、ユーザは、車両100のトランクから車両の前部のボンネットまで歩くときに、車両100の複数の画像を取り込むことができる。代替的に、ユーザは、車両100の上部の部分の上まで、例えば、車両100の屋根の上まで手を伸ばすことができる。これらの画像は車両システム200に送信できる。受信すると、受信された画像は通信経路204を経由してプロセッサ202に送ることができる。モバイル装置700の視野702は、車両100の画像を取り込むことができる自由な角度からの透視図を示している。追加的に、画像取り込み構成要素102、104は、上記で詳細に記述されているように、視野402、400内にそれぞれ現れることができる、車両100の追加的な画像を取り込むことができる。
その後、これらの画像の内容は、上記の方法で、他の画像取り込み構成要素(例えば、画像取り込み構成要素102、104)から受信した1つ以上の画像の内容と比較でき、例えば、これらの画像の内容における変動を、内容を閾値と比較することに基づいて決定できる。具体的には、記述したように、閾値は、画像取り込み構成要素から受信した種々の画像と関連付けられている角度における変動に関連することができ、それは、車両100に対する画像取り込み構成要素の位置決め、これらの画像が取り込まれた車両100からの距離などに基づいている。この比較に基づいて、プロセッサ202は、複合画像、例えば、その例が図6において示されているような複合画像を生成するために、種々の画像を組み合わせることができる。
ここにおいて記述されている実施形態は、複合画像を生成して車両のディスプレイ上に出力するための方法に関するということは理解されるべきである。方法は、車両の外部の第1画像取り込み構成要素からの第1画像と、車両の外部の第2画像取り込み構成要素からの第2画像を受信することと、車両の第1透視図を示している第1画像と、車両の第2透視図を示している第2画像を使用して複合画像を生成することと、複合画像を車両のディスプレイ上に出力することを含んでいる。
ここにおいて使用されている用語は、特別な態様を記述する目的のみのためであり、制限的であることは意図されていない。ここにおいて使用されているように、単数形式の「1つの」と「その」は、内容が明確にそうでないことを示さない限り、「少なくとも1つの」を含む複数形式を含むことが意図されている。「または」は「および/または」を意味している。ここにおいて使用されているように、「および/または」という用語は、関連して一覧表示されている事項の1つ以上の任意の、およびすべての組み合わせを含んでいる。この明細書において使用されるときの「備える」および/または「備えている」または「含む」および/または「含んでいる」という用語は、記述された特徴、領域、完全体、ステップ、動作、要素、および/または構成要素の存在を特定しているが、1つ以上の他の特徴、領域、完全体、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を除外するものではないということは更に理解されるであろう。「またはその組み合わせ」という用語は、前述の要素の少なくとも1つ含んでいる組み合せを意味している。
「実質的に」と「ほぼ」という用語はここにおいては、任意の量的比較、値、測定、または他の表現に起因する可能性のある不確定性の固有の程度を表わすために利用できるということに言及しておく。これらの用語はまたここにおいては、本主題の基本的な機能における変化という結果になることなく、量的表現が、記述された基準から異なってもよい程度を表わすためにも利用できる。
特別な実施形態がここにおいて例示され記述されてきたが、請求される主題の精神と範囲から逸脱することなく、種々の他の変更と修正ができるということは理解されるべきである。更に、請求される主題の種々の態様がここにおいて記述されてきたが、そのような態様は、組み合わせて利用する必要はない。従って、付随する請求項は、請求される主題の範囲内であるすべてのそのような変更と修正をカバーすることが意図されている。
本開示は以下の態様を含む。
例1.
車両であって、
プロセッサを備え、前記プロセッサは、
前記車両の外部の第1画像取り込み構成要素からの第1画像と、前記車両の外部の第2画像取り込み構成要素からの第2画像を受信し、
前記車両の第1透視図を示している前記第1画像と、前記車両の第2透視図を示している前記第2画像を使用して複合画像を生成し、
前記複合画像を前記車両のディスプレイ上に出力する、
ように構成されていることを特徴とする車両。
例2.
前記プロセッサは、
リアルタイムで前記複合画像を前記車両の前記ディスプレイ上に出力する、
ように構成されていることを特徴とする例1の車両。
例3.
前記プロセッサは更に、
前記車両に対する前記第1画像取り込み構成要素の第1位置と、前記車両に対する前記第2画像取り込み構成要素の第2位置を識別する、
ように構成されていることを特徴とする例1の車両。
例4.
前記プロセッサは更に、
前記第1画像取り込み構成要素と前記第2画像取り込み構成要素の1つの選択を受信し、
前記選択された画像取り込み構成要素からの画像を、前記選択を受信したことに応答して、前記車両の前記ディスプレイ上に出力する、
ように構成されていることを特徴とする例1の車両。
例5.
前記第1位置は、前記車両の最高部よりも高い高さ値と関連付けられていることを特徴とする例3の車両。
例6.
前記第1画像取り込み構成要素と前記第2画像取り込み構成要素はカメラであることを特徴とする例1の車両。
例7.
前記複合画像は、前記車両の最高部よりも高い垂直方向の位置と関連付けられている、前記車両の空中からの透視図と関連付けられていることを特徴とする例1の車両。
例8.
前記垂直方向の位置は、前記車両の前記最高部の真上であることを特徴とする例7の車両。
例9.
前記プロセッサは前記複合画像を、
前記第1画像における前記第1透視図と、前記第2画像における前記第2透視図を比較し、
前記第1透視図が前記第2透視図から閾値だけ変動していると決定することに応答して、前記第1画像と前記第2画像を組み合わせることにより生成することを特徴とする例1の車両。
例10.
前記プロセッサは更に、
モバイル装置からの、前記車両の自由な角度からの視野に対応する第3画像を受信し、
前記第3画像を、前記第1画像と前記第2画像の前記組み合わせと組み合わせるように構成されていることを特徴とする例9の車両。
例11.
車両のプロセッサにより実現される方法であって、
前記車両の外部の第1画像取り込み構成要素からの第1画像と、前記車両の外部の第2画像取り込み構成要素からの第2画像を受信することと、
前記車両の第1透視図を示している前記第1画像と、前記車両の第2透視図を示している前記第2画像を使用して複合画像を生成することと、
前記複合画像を前記車両のディスプレイ上に出力することと、
を備えていることを特徴とする方法。
例12.
前記複合画像の前記ディスプレイ上への前記出力はリアルタイムであることを特徴とする例11の方法。
例13.
前記車両に対する前記第1画像取り込み構成要素の第1位置と、前記車両に対する前記第2画像取り込み構成要素の第2位置を識別することを更に備えていることを特徴とする例11の方法。
例14.
前記第1位置は、前記車両の最高部よりも高い高さと関連付けられていることを特徴とする例13の方法。
例15.
前記第1画像取り込み構成要素と前記第2画像取り込み構成要素はカメラであることを特徴とする例11の方法。
例16.
前記複合画像は、前記車両の最高部よりも高い、前記車両の前記最高部の真上である垂直方向の位置と関連付けられている前記車両の空中から見た透視図と関連付けられていることを特徴とする例11の方法。
例17.
前記複合画像を生成することは、
前記第1画像における前記第1透視図と、前記第2画像における前記第2透視図を比較することと、
前記第1透視図が前記第2透視図から閾値だけ変動していると決定することに応答して、前記第1画像と前記第2画像を組み合わせることを含んでいることを特徴とする例11の方法。
例18.
モバイル装置から、前記車両の自由な角度からの視野に対応する第3画像を受信することと、
前記第3画像を、前記第1画像と前記第2画像の前記組み合わせと組み合わせることを更に備えていることを特徴とする例17の方法。
例19.
システムであって、
車両の外部の第1画像取り込み構成要素と、前記車両の外部の第2画像取り込み構成要素を備え、
前記車両はプロセッサを含んでおり、前記プロセッサは、
前記第1画像取り込み構成要素からの第1画像と、前記第2画像取り込み構成要素からの第2画像を受信し、
前記車両の第1透視図を示している前記第1画像と、前記車両の第2透視図を示している前記第2画像を使用して複合画像を生成し、
前記複合画像を前記車両のディスプレイ上に出力する、
ように構成されていることを特徴とするシステム。
例20.
前記複合画像は、前記車両の最高部よりも高い垂直方向の位置と関連付けられている前記車両の空中から見た透視図と関連付けられていることを特徴とする例19のシステム。

Claims (18)

  1. 車両であって、
    プロセッサを備え、前記プロセッサは、
    1画像取り込み構成要素からの第1画像と、第2画像取り込み構成要素からの第2画像を受信し、
    前記車両の第1透視図を示しており、第1透視角度に対応する前記第1画像と、前記車両の第2透視図を示しており、第2透視角度に対応する前記第2画像を使用して複合画像を生成し、
    前記複合画像を前記車両のディスプレイ上に出力する、
    ように構成され
    前記プロセッサは前記複合画像を、
    前記第1画像に関連付けられている前記第1透視角度と、前記第2画像に関連付けられている前記第2透視角度を比較し、
    前記第1透視角度が前記第2透視角度から閾値だけ変動していると決定することに応答して、前記第1画像と前記第2画像を組み合わせることにより生成することを特徴とする車両。
  2. 前記プロセッサは、
    リアルタイムで前記複合画像を前記車両の前記ディスプレイ上に出力する、
    ように構成されていることを特徴とする請求項1の車両。
  3. 前記プロセッサは更に、
    前記車両に対する前記第1画像取り込み構成要素の第1位置と、前記車両に対する前記第2画像取り込み構成要素の第2位置を識別する、
    ように構成されていることを特徴とする請求項1の車両。
  4. 前記プロセッサは更に、
    前記第1画像取り込み構成要素と前記第2画像取り込み構成要素の1つの選択を受信し、
    前記選択された前記第1画像取り込み構成要素と前記第2画像取り込み構成要素の1つからの画像を、前記車両の前記ディスプレイ上に出力する、
    ように構成されていることを特徴とする請求項1の車両。
  5. 前記第1位置は、前記車両の最高部よりも高い高さ値と関連付けられていることを特徴とする請求項3の車両。
  6. 前記第1画像取り込み構成要素と前記第2画像取り込み構成要素はカメラであることを特徴とする請求項1の車両。
  7. 前記複合画像は、前記車両の最高部よりも高い垂直方向の位置と関連付けられている、前記車両の空中からの透視図と関連付けられていることを特徴とする請求項1の車両。
  8. 前記垂直方向の位置は、前記車両の前記最高部の真上であることを特徴とする請求項7の車両。
  9. 前記プロセッサは更に、
    モバイル装置からの、前記車両の自由な角度からの視野に対応する第3画像を受信し、
    前記第3画像を、前記第1画像と前記第2画像の前記組み合わせと組み合わせるように構成されていることを特徴とする請求項の車両。
  10. 車両のプロセッサにより実現される方法であって、
    1画像取り込み構成要素からの第1画像と、第2画像取り込み構成要素からの第2画像を受信することと、
    前記車両の第1透視図を示しており、第1透視角度に対応する前記第1画像と、前記車両の第2透視図を示しており、第2透視角度に対応する前記第2画像を使用して複合画像を生成することと、
    前記複合画像を前記車両のディスプレイ上に出力することと、
    を備え
    前記複合画像を生成することは、
    前記第1画像に関連付けられている前記第1透視角度と、前記第2画像に関連付けられている前記第2透視角度を比較することと、
    前記第1透視角度が前記第2透視角度から閾値だけ変動していると決定することに応答して、前記第1画像と前記第2画像を組み合わせることを含んでいることを特徴とする方法。
  11. 前記複合画像の前記ディスプレイ上への前記出力はリアルタイムであることを特徴とする請求項10の方法。
  12. 前記車両に対する前記第1画像取り込み構成要素の第1位置と、前記車両に対する前記第2画像取り込み構成要素の第2位置を識別することを更に備えていることを特徴とする請求項10の方法。
  13. 前記第1位置は、前記車両の最高部よりも高い高さと関連付けられていることを特徴とする請求項12の方法。
  14. 前記第1画像取り込み構成要素と前記第2画像取り込み構成要素はカメラであることを特徴とする請求項10の方法。
  15. 前記複合画像は、前記車両の最高部よりも高い、前記車両の前記最高部の真上である垂直方向の位置と関連付けられている前記車両の空中から見た透視図と関連付けられていることを特徴とする請求項10の方法。
  16. モバイル装置から、前記車両の自由な角度からの視野に対応する第3画像を受信することと、
    前記第3画像を、前記第1画像と前記第2画像の前記組み合わせと組み合わせることを更に備えていることを特徴とする請求項10の方法。
  17. システムであって、
    車両の外部の第1画像取り込み構成要素と、前記車両の外部の第2画像取り込み構成要素を備え、
    前記車両はプロセッサを含んでおり、前記プロセッサは、
    前記第1画像取り込み構成要素からの第1画像と、前記第2画像取り込み構成要素からの第2画像を受信し、
    前記車両の第1透視図を示しており、第1透視角度に対応する前記第1画像と、前記車両の第2透視図を示しており、第2透視角度に対応する前記第2画像を使用して複合画像を生成し、
    前記複合画像を前記車両のディスプレイ上に出力する、
    ように構成され、
    前記プロセッサは前記複合画像を、
    前記第1画像に関連付けられている前記第1透視角度と、前記第2画像に関連付けられている前記第2透視角度を比較し、
    前記第1透視角度が前記第2透視角度から閾値だけ変動していると決定することに応答して、前記第1画像と前記第2画像を組み合わせることにより生成することを特徴とするシステム。
  18. 前記複合画像は、前記車両の最高部よりも高い垂直方向の位置と関連付けられている前記車両の空中から見た透視図と関連付けられていることを特徴とする請求項17のシステム。
JP2022007874A 2021-01-22 2022-01-21 複合画像を生成および表示するための車両と方法 Active JP7497380B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/155,774 2021-01-22
US17/155,774 US11351932B1 (en) 2021-01-22 2021-01-22 Vehicles and methods for generating and displaying composite images

Publications (3)

Publication Number Publication Date
JP2022113660A JP2022113660A (ja) 2022-08-04
JP2022113660A5 JP2022113660A5 (ja) 2024-04-30
JP7497380B2 true JP7497380B2 (ja) 2024-06-10

Family

ID=80113536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022007874A Active JP7497380B2 (ja) 2021-01-22 2022-01-21 複合画像を生成および表示するための車両と方法

Country Status (4)

Country Link
US (1) US11351932B1 (ja)
EP (1) EP4032752B1 (ja)
JP (1) JP7497380B2 (ja)
CN (1) CN114785939A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191988A (ja) 2007-02-06 2008-08-21 Denso Corp 車両周辺監視装置
WO2011135778A1 (ja) 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
CN104506800A (zh) 2014-12-15 2015-04-08 浙江宇视科技有限公司 一种多方向电警摄像机场景合成及综合监控方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035223A1 (de) 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
JP5715778B2 (ja) 2010-07-16 2015-05-13 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
EP2447925B1 (en) 2010-10-29 2017-05-17 Christian Heusch Method for providing information assisting a driver of a vehicle and a corresponding system for use in and remote of a vehicle
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
JP6730614B2 (ja) 2017-02-28 2020-07-29 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6859216B2 (ja) 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
US10535257B2 (en) * 2017-10-20 2020-01-14 International Business Machines Corporation Transfer of image data taken by an on-vehicle camera
CN111508260A (zh) 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和系统
US10970578B2 (en) * 2019-02-07 2021-04-06 Johnson Controls Fire Protection LP System and method for extracting information from a non-planar surface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191988A (ja) 2007-02-06 2008-08-21 Denso Corp 車両周辺監視装置
WO2011135778A1 (ja) 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
CN104506800A (zh) 2014-12-15 2015-04-08 浙江宇视科技有限公司 一种多方向电警摄像机场景合成及综合监控方法和装置

Also Published As

Publication number Publication date
EP4032752A1 (en) 2022-07-27
CN114785939A (zh) 2022-07-22
EP4032752B1 (en) 2023-09-27
US11351932B1 (en) 2022-06-07
JP2022113660A (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
US10452926B2 (en) Image capture device with customizable regions of interest
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US20180288320A1 (en) Camera Fields of View for Object Detection
CN110377026B (zh) 信息处理装置、存储介质和信息处理方法
US10970569B2 (en) Systems and methods for monitoring traffic lights using imaging sensors of vehicles
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR20140144919A (ko) 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US10636305B1 (en) Systems and methods for determining parking availability on floors of multi-story units
CN111860198B (zh) 用于自主驾驶车辆adv的处理点云数据的方法、装置和系统、及计算机可读介质
Borgmann et al. Data processing and recording using a versatile multi-sensor vehicle
EP4044147A1 (en) Methods and systems for controlling occupation of geographic spaces using software applications
US11386670B2 (en) Methods and systems for tracking non-connected vehicles
JP7497380B2 (ja) 複合画像を生成および表示するための車両と方法
JP6912566B2 (ja) ビークルが通路へのオンランプ上に位置するときに画像データを自動的に表示するためのシステム、ビークル、及び方法
EP3952359B1 (en) Methods and systems for enhancing vehicle data access capabilities
US20230010445A1 (en) Methods and systems for generating access instructions based on vehicle seat occupancy status
CN113984084A (zh) 自动驾驶协作感测
CN112567427B (zh) 图像处理装置、图像处理方法和程序
JP7528378B2 (ja) 外部のデバイスを用いた画像捕捉セッションを制御する方法及びシステム
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20240230367A1 (en) Methods and systems for relative localization for operating connected vehicles

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240419

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240529

R150 Certificate of patent or registration of utility model

Ref document number: 7497380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150