JP7123207B2 - 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム - Google Patents

車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム Download PDF

Info

Publication number
JP7123207B2
JP7123207B2 JP2021063921A JP2021063921A JP7123207B2 JP 7123207 B2 JP7123207 B2 JP 7123207B2 JP 2021063921 A JP2021063921 A JP 2021063921A JP 2021063921 A JP2021063921 A JP 2021063921A JP 7123207 B2 JP7123207 B2 JP 7123207B2
Authority
JP
Japan
Prior art keywords
vehicle
virtual camera
turn
orientation
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021063921A
Other languages
English (en)
Other versions
JP2021108470A (ja
Inventor
パテル,ニルマル
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2021108470A publication Critical patent/JP2021108470A/ja
Application granted granted Critical
Publication of JP7123207B2 publication Critical patent/JP7123207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

関連出願の相互参照
[0001]本願は、2016年11月30日に出願された米国特許出願第15/364,914号の出願日の利益を主張するものであり、この開示内容を参照によって本願明細書に引用したものとする。
[0002]人間の運転手を必要としない自動車のような自律走行車は、ある場所から別の場所への乗客または物品の輸送を支援するのに使用され得る。該車両は、乗客または遠隔のオペレータがピックアップ位置または目的位置のような何らかの初期入力を行い得、車両がその位置まで自身を誘導する完全自律式に動作し得る。
[0003]該車両は、典型的には、環境の物体を検出するために、様々なタイプのセンサが装備されている。例えば、自律走行車は、車両の環境からのデータを走査して記録するレーザ、ソーナ、レーダ、カメラ、および他のデバイスを含み得る。これらのデバイスのうちの1つまたは複数からのセンサデータは、物体およびその個々の特性(位置、形状、進行方向、速度など)を検出するのに使用され得る。個々の特性は、車両の乗員に対して、車両の近くで検出された物体の視覚的表示、およびこれらの物体がこの先の短い時間の間にどんな振る舞いをしそうであるかを提供するのに使用され得る。
[0004] 車両の乗員に車両の環境に関する情報を提供するために、車両内のディスプレイは、初期位置で車両に対して固定されたバーチャルカメラの視点からバーチャルカメラシステムによって生成された映像を提示し得る。映像は、車両の環境の一部および車両の予測軌跡を含むバーチャルカメラの位置に対応する設定視野内の画像を含み得る。車両の方向転換時に、バーチャルカメラは依然として初期位置のままであり、そのため映像は設定視野内の位置の画像を提供し続けることになる。
[0005] それと同時に、このような情報は、これらの物体を避けるために、または衝突が避けられない場合に損傷を最小限に抑えるために車両を制御するのに使用され得る。したがって、検出、識別、および予測は、自律走行車の安全な動作にとって重要な機能である。
[0006] この技術は、全般的には、車両の方向転換時のバーチャルカメラの向きの調整に関する。1つまたは複数のコンピューティングデバイスは、車両の方向転換前の元の進行方向と車両の現在の進行方向とを受信し得る。1つまたは複数のコンピューティングデバイスは、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定し得る。1つまたは複数のコンピューティングデバイスは、カメラ回転角度を決定し、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整し得る。バーチャルカメラの更新された向きに対応する映像は、1つまたは複数のコンピューティングデバイスによって生成され、ディスプレイ上に表示され得る。
[0007] 車両の元の進行方向および車両の現在の進行方向は、車両の測位システムから受信され得る。
[0008] 方向転換角度の決定は、車両の元の進行方向と車両の現在の進行方向との差を計算することによって決定され得る。
[0009] カメラ回転角度は、方向転換角度に基づき得、方向転換角度をスカッシング関数に入力して、カメラ回転角度である出力角度を受信することによって計算される。
[0010] 車両が方向転換を行っている間にバーチャルカメラの向きが調整され、映像が表示され得る。
[0011] 車両の現在の進行方向は、予測進行方向であり得、バーチャルカメラの向きは、車両が方向転換をする前に更新され得る。
[0012] カメラ回転角度は、方向転換角度をスカッシング関数に入力して、カメラ回転角度である出力角度を受信することによって計算され得る。
[0013] カメラ回転角度は、各々の方向転換角度に対する所定のカメラ回転角度を含むテーブルにアクセスすることによって決定され得る。
[0014] 車両の方向転換時のバーチャルカメラの向きを調整するためのシステムは、方向転換前の車両の元の進行方向と車両の現在の進行方向とを受信し、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定するように構成された1つまたは複数のプロセッサを備え得る。1つまたは複数のプロセッサはさらに、カメラ回転角度を決定し、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整し、バーチャルカメラの更新された向きに対応する映像を生成して、映像を表示するように構成され得る。
[0015] 命令が記憶される非一時的なコンピュータ可読媒体であって、命令は、1つまたは複数のプロセッサによって実行されたときに、1つまたは複数のプロセッサに、車両の方向転換時にバーチャルカメラの向きを調整する方法を実行させ得る。上記方法は、方向転換前の車両の元の進行方向と車両の現在の進行方向とを受信するステップと、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定するステップと、カメラ回転角度を決定するステップと、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整するステップと、バーチャルカメラの更新された向きに対応する映像を生成するステップと、ディスプレイ上に映像を表示するステップとを含み得る。
[0016]
本開示の態様に従う車両の一例の機能図である。[0017] 本開示の態様に従う車両の外観図の一例である。[0017] 本開示の態様に従う車両の外観図の一例である。[0017] 本開示の態様に従う車両の外観図の一例である。[0017] 本開示の態様に従う車両の外観図の一例である。[0018] 本開示の態様に従うシステムの絵図である。[0019] 本開示の態様に従う図3のシステムの機能図である。[0020] 本開示の態様に従う、初期位置に位置決めされたバーチャルカメラを示す図である。[0020] 本開示の態様に従う、初期位置に位置決めされたバーチャルカメラを示す図である。[0021] 本開示の態様に従う、バーチャルカメラの視野を示す図である。[0022] 本開示の態様に従って回転するバーチャルカメラの視野を示す図である。[0023] 本開示の態様に従う、車両の予測軌跡に基づくバーチャルカメラの視野を示す図である。[0024] 本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。[0024] 本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。[0024] 本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。[0024] 本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。[0025] 本開示の態様に従う、スカッシング関数の入力および出力を示すグラフである。[0026] 本開示の態様に従う、車両が方向転換することが予測される方向とは反対方向に回転するバーチャルカメラの視野を示す図である。[0026] 本開示の態様に従う、車両が方向転換することが予測される方向とは反対方向に回転するバーチャルカメラの視野を示す図である。[0027] 本開示の態様に従う、車両の上方に位置決めされたバーチャルカメラの視野を示す図である。[0028] 本開示の態様に従うフロー図である。
概要
[0029] 上記技術は、全般的には、車両の環境に関する情報を乗客に提供することに関する。この技術は、例えば、車両の方向転換時のバーチャルカメラの位置および向きの調整を含み得る。例えば、車両が方向転換するにつれて、車両の予測進行方向に対応する調整視野内の映像を提示するために、バーチャルカメラの位置は車両の周囲を回転し得る。この点に関して、車両内のコンピューティングデバイスは、車両の環境および位置に対応する情報をバーチャルカメラシステムに伝送し得る。受信した情報に基づいて、バーチャルカメラシステムは、受信データを使用してバーチャルカメラの視点からの映像を生成し得る。映像は、車両が走行しているルートに対応するマップ上で車両の予測軌跡と検出された物体とを重ね合わせることによって生成され得る。
[0030] バーチャルカメラが車両の周囲を回転する距離は、車両が行っている方向転換の角度に基づき得る。バーチャルカメラシステムは、車両が方向転換前に走行していた進行方向に対する車両が行っている方向転換の角度を回転テーブルに入力し、バーチャルカメラが回転し得るカメラの対応回転角度を出力し得る。バーチャルカメラシステムは、車両が方向転換を進めるにつれて、継続的にカメラ回転角度を更新し得る。
[0031] バーチャルカメラシステムは、車両の予測軌跡に基づいて間もなく行われる車両の予想方向転換角度決定し、車両が方向転換する前に所定距離でバーチャルカメラを回転させ始め得る。 例えば、バーチャルカメラシステムは、間もなく行われる方向転換から車両までの距離、および車両が行う予定の予想方向転換角度を決定し得る。バーチャルカメラシステムは、予測される方向転換が所定距離にある、または所定距離未満であることを決定すると、予想方向転換角度に対応するカメラ回転角度だけバーチャルカメラを回転させ始め得る。
[0032] バーチャルカメラは、車両が停止している、または停止することが予測される場合には固定された状態のまま維持され得る。例えば、バーチャルカメラは、車両の予測軌跡が車両が停止信号を通過することを予想していることを決定し得る。したがって、バーチャルカメラは、車両が停止信号を通過するまで回転することができない。
[0033] 小さなオーバーステア補正によって引き起こされるような小さなカメラの回転を最小限に抑えるために、また大きなカメラの回転を円滑にするために、バーチャルカメラシステムはスカッシング関数を使用し得る。例えば、車両が行っている方向転換の角度がスカッシング関数に入力され、方向転換角度と同じまたは方向転換角度より緩やかなカメラの回転角度が出力され得る。
[0034] 非優先の方向転換では、バーチャルカメラシステムは、非優先の方向転換における対向交通に対応する画像を生成するためにバーチャルカメラを回転させ得る。例えば、バーチャルカメラは、車両が方向転換しようとしている道路上を走行している他の車両に対応する画像を生成するために、車両の予測軌跡の反対方向に回転し得る。
[0035] さらに、多かれ少なかれ車両の環境を撮影するために、バーチャルカメラの高さおよびピッチが調整され得る。例えば、車両が交差点で停止したときに、バーチャルカメラは、車両の上方に位置決めされ、バーチャルカメラのピッチは、バーチャルカメラが車両を真っ直ぐ見下ろすように調整され得る。バーチャルカメラは、次に、車両の四方の車両の環境の画像を含む映像を生成し得る。
[0036] 本明細書に記載されている特徴により、自律走行車のような車両は、車両の乗客に車両の軌跡および環境の映像を提供することができる。バーチャルカメラを回転させて映像を生成することにより、車両の予測軌跡、または予測軌跡にさらに沿って位置し、手動で車両を運転していた場合に予想される環境と一致する環境に関する情報が乗客に提供される。また、車両の軌跡および環境の映像は、車両の外側に位置する個人またはシステムに提供され、車両を遠隔で監視および/または制御するために映像が提供され得る。
システム例
[0037] 図1に示されているように、本開示の一態様の車両100は、さまざまなコンポーネントを含む。本開示の特定の態様は、車両の特定のタイプに関して特に有用であるが、車両は、これらに限定されないが、自動車、トラック、オートバイ、バス、RV車などを含む車両いずれかのタイプであり得る。車両は、1つまたは複数のプロセッサ120、メモリ130、および典型的に汎用コンピューティングデバイスに存在する他のコンポーネントを含むコンピューティングデバイス110のような1つまたは複数のコンピューティングデバイスを有し得る。
[0038] メモリ130は、1つまたは複数のプロセッサ120によって実行され得る、またはそれ以外の形で使用され得る命令132およびデータ134を含む、1つまたは複数のプロセッサ120によってアクセス可能な情報を記憶する。メモリ130は、コンピューティングデバイス可読媒体、または電子デバイスを用いて読み取られ得るデータを記憶する他の媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリ、例えば、ハードドライブ、メモリカード、ROM、RAM、DVDもしくは他の光学ディスク、および他の書き込み可能かつ読み込み可能なメモリであり得る。システムおよび方法は、上述の様々な組み合わせを含み得るので、命令およびデータの様々な部分が様々なタイプの媒体上に記憶される。
[0039] 命令132は、プロセッサによって直接実行される命令セット(例えば、機械コード)または間接的に実行される命令セット(例えば、スクリプト)の任意の命令セットであり得る。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティング・デバイス・コードとして記憶され得る。この点に関して、用語「命令」および「プログラム」は、本明細書において区別なく使用され得る。命令は、プロセッサによって直接処理するためにオブジェクトコード形式で記憶され得るか、要求に応じて解釈されるもしくは予めコンパイルされた独立したソース・コード・モジュールのスクリプトもしくは集合を含む任意の他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、およびルーチンについて、以下でさらに詳細に説明する。
[0040] データ134は、命令132に従って、プロセッサ120よって取り込まれ、記憶され、または修正され得る。例えば、請求される主題は任意の特定のデータ構造によって制限されないが、データは、コンピューティング・デバイス・レジスタ内に、複数の異なるフィールドおよびレコードを有するテーブル、XML文書またはフラットファイルとして関係データベースで記憶され得る。データはさらに、任意のコンピューティングデバイス可読フォーマットでフォーマットされ得る。
[0041] 1つまたは複数のプロセッサ120は、市販のCPUのような任意の従来のプロセッサであり得る。あるいは、1つまたは複数のプロセッサは、ASICもしくは他のハードウェアベースのプロセッサのような専用のデバイスであり得る。図1は、プロセッサ、メモリ、および同一ブロック内にあるようなコンピューティングデバイス110の他の要素の機能図であるが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同一の物理的筐体内に収容される、もしくは収容され得ない複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得ることは当業者によって理解されるであろう。例えば、メモリは、コンピューティングデバイス110とは異なる筐体内に配置されたハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、同時に動作し得る、または同時に動作し得ないプロセッサまたはコンピューティングデバイスまたはメモリの集合への言及を含むことが理解されるであろう。
[0042] コンピューティングデバイス110は、上述のプロセッサおよびメモリ、さらにユーザ入力装置150(例えば、マウス、キーボード、タッチスクリーンおよび/またはマイク)および様々な電子ディスプレイ(例えば、スクリーンを有するモニタまたは情報を表示するように動作可能な電気デバイス)のように、通常はコンピューティングデバイスと共に使用されるコンポーネントの全てを含み得る。この実施例では、車両は、情報または視聴覚体験を提供するために車内電子ディスプレイ152および1つまたは複数のスピーカ154を含む。この点に関して、車内電子ディスプレイ152は、車両100の車室内に配置され得、車両100内の乗客に情報を提供するためにコンピューティングデバイス110によって使用され得る。
[0043] コンピューティングデバイス110はさらに、以下で詳細に説明するクライアント・コンピューティング・デバイスおよびサーバ・コンピューティング・デバイスのような他のコンピューティングデバイスとの通信を容易にするために1つまたは複数の無線ネットワーク接続156を含み得る。無線ネットワーク接続は、Bluetooth、Bluetooth low energy(LE)、セルラー接続、および様々な構成のような近距離通信プロトコル、およびInternet、World Wide Web、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、1つまたは複数の会社専用の通信プロトコルを使用するプライベートネットワーク、Ethernet、WiFiおよびHTTPを含むプロトコル、およびこれらの様々な組み合わせを含み得る。
[0044] 一実施例では、コンピューティングデバイス110は、車両100に組み込まれた自律駆動コンピューティングシステムであり得る。自律駆動コンピューティングシステムは、車両の様々なコンポーネントと通信可能であり得る。例えば、図1に戻ると、コンピューティングデバイス110は、メモリ130の命令132に従って車両100の移動、加速、速度、動作などを制御するために、減速システム160、加速システム162、操舵システム164、シグナリングシステム166、ナビゲーションシステム168、測位システム170、知覚システム172、バーチャルカメラシステム176のような車両100の様々なシステムと通信状態であり得る。さらに、これらのシステムはコンピューティングデバイス110の外部のシステムとして図示されているが、車両100を制御するための自律駆動コンピューティングシステムのように、コンピューティングデバイス110に組み込まれてもよい。
[0045] 一実施例として、コンピューティングデバイス110は、車両の速度および加速を制御するために、減速システム160および加速システム162と相互作用し得る。例えば、加速システム162は、特定の割合で加速するために、エンジン174に信号を供給し得る。同様に、操舵システム164は、車両100の方向を制御するために、コンピューティングデバイス110によって使用され得る。例えば、車両100が自動車またはトラックのように路上で使用するように構成されている場合、操舵システムは、車両の方向を変えるために車輪の角度を制御するためのコンポーネントを含み得る。シグナリングシステム166は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス110によって使用され得る。
[0046] 操舵システム168は、ある位置までのルートを決定して、そのルートをたどるために、コンピューティングデバイス110によって使用され得る。この点に関して、ナビゲーションシステム168および/またはデータ134は、詳細なマップ情報(例えば、道路の形状および高度、車線境界線、交差点、横断歩道、制限速度、信号機、建物、標識、リアルタイムの交通情報、植生、または他のこのような物体ならびに情報を識別する非常に詳細なマップ)を記憶し得る。すなわち、この詳細なマップ情報は、道路およびこれらの道路の速度制限(法定最高速度)を含む車両の想定される環境の形状を画定し得る。
[0047] 測位システム170は、マップ上もしくは地球上の車両の相対的もしくは絶対的な位置を決定するために、コンピューティングデバイス110によって使用され得る。例えば、測位システム170は、デバイスの緯度、経度、および/または海抜位置を決定するために、GPS受信機を含み得る。レーザベースの位置決めシステム、慣性援用GPS、またはカメラベースの位置決めシステムのような他の位置測定システムも車両の位置を特定するのに使用され得る。車両の位置は、緯度、経度、および海抜のような絶対的地理位置、さらにすぐ周囲の他の自動車に対する位置のような相対的位置情報を含み得、相対的位置情報は、絶対的地理位置よりも少ないノイズで決定され得ることが多い。
[0048] 測位システム170はさらに、加速度計、ジャイロスコープまたは車両の方向および速度またはその変化を決定するための別の方向/速度検出デバイスのようなコンピューティングデバイス110と通信する他のデバイスを含み得る。単なる一例として、加速装置は、重力の向きまたは加速装置に垂直な平面に対するピッチ、ヨー、ロール(またはその変化)を決定し得る。該装置はさらに、速度上昇または低下およびそのような変化の向きを追跡し得る。本明細書で述べた該装置の位置および向きのデータの提供は、コンピューティングデバイス110、他のコンピューティングデバイスおよびこれらの組み合わせに対して自動的に行われ得る。
[0049] 知覚システム172はさらに、他の車両、道路の障害物、信号機、標識、樹木などのような車両の外側の物体を検出するための1つまたは複数のコンポーネントを含み得る。例えば、知覚システム172は、コンピューティングデバイス110によって処理され得るレーザ、ソーナ、レーダ、カメラおよび/または他の検出デバイスを含み得る。車両が自動車のような小型の乗用車である場合、自動車は、屋根または他の都合の良い場所に取りつけられたレーザまたは他のセンサを含み得る。例えば、車両の知覚システムは、物体およびその特性(例えば、位置、向き、サイズ、形状、種類、移動の方向および速度など)を検出するために、LIDAR、ソーナ、レーダ、カメラなどのような様々なセンサを使用し得る。センサからの生データおよび/または上記の特性は、コンピューティングデバイス110によって処理するために、記述関数またはベクトルに定量化され得る、またはまとめられ得る。以下でさらに詳細に説明するように、コンピューティングデバイス110は、車両の位置を決定するために測位システム170を使用し、その位置に安全に到達するのに必要な場合に物体を検出して物体に反応するために知覚システム172を使用し得る。
[0050] バーチャルカメラシステム176は、車両のシステムからのデータを集約して、車両内での表示のために車両の環境の映像を生成し得る。映像は、車両の環境の一部および車両の予測軌跡を含むバーチャルカメラの位置に対応する設定視野内の画像を含み得る。例えば、バーチャルカメラシステムは、特定の範囲内の車両の外側の物体のような車両の知覚システム172からのデータ、車両の現在位置のような測位システム170からのデータ、および車両の予測軌跡のようなナビゲーションシステム168からのデータを集約し得る。バーチャルカメラシステムは、このような情報を取得して、車両が走行しているルートに対応するマップ上で車両の予測軌跡と検出された物体とを重ね合わせることによって映像を生成し得る。バーチャルカメラシステム176によって生成された映像は、例えば、車両内のディスプレイ上で、車両の乗客、他の個人に提示され得る、または今後の閲覧のために記録され得る。バーチャルカメラシステムは、プロセッサ120、メモリ130、データ134、命令132、および無線ネットワーク接続156のような本明細書に記載されているコンピューティングデバイス110のいくつかまたは全てのコンポーネントを含み得る。同様に、本明細書に記載されているバーチャルカメラシステムの機能に加えて、またはその代替として、バーチャルカメラシステムは、コンピューティングデバイス110の機能を実行し得る。この点に関して、バーチャルカメラシステムは、システム160~174のような車両の各々のシステムと通信し得る。
[0051] 図2A~図2Dは、車両100の外観図の例である。図示されているように、車両100は、ヘッドライト202、フロントガラス203、テールランプ/方向指示器204、リヤウィンドウ205、ドア206、サイドミラー208、タイヤ・ホイール210、方向指示器/駐車灯212のような典型的な車両の多くの特徴を含む。ヘッドライト202、テールランプ/方向指示器204、および方向指示器/駐車灯212は、シグナリングシステム166に関連付けられ得る。さらに、ライトバー207もシグナリングシステム166に関連付けられ得る。
[0052] 車両100はさらに、知覚システム172のセンサを含む。例えば、ハウジング214は、360度またはそれより狭い視野を有するための1つまたは複数のレーザ素子、および1つまたは複数のカメラ装置を含み得る。ハウジング216、218は、例えば、1つまたは複数のレーダおよび/またはソーナ装置を含み得る。さらに、知覚システム172の装置は、テールランプ/方向指示器204および/またはサイドミラー208のような典型的な車両コンポーネントに組み込まれ得る。これらのレーダ装置、カメラ装置、およびレーザ装置は、知覚システム172の一部としてこれらの装置からのデータを処理し、コンピューティングデバイス110にセンサデータを提供する処理コンポーネントに関連付けられ得る。
[0053] コンピューティングデバイス110は、様々なコンポーネントを制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス110は、詳細なマップ情報およびナビゲーションシステム168からのデータを使用して、完全に自律的に車両を目的位置までナビゲートし得る。車両を操作するために、コンピューティングデバイス110は、車両に、(例えば、加速システム162によってエンジンに供給される燃料または他のエネルギーを増加させることによって)加速させ、(例えば、減速システム160によって、エンジンに供給される燃料を減少させることによって、ギアチェンジすることによって、および/またはブレーキをかけることによって)減速させ、(例えば、操舵システム164によって車両100の前輪または後輪の方向を変えることによって)方向転換させ、(例えば、シグナリングシステム166の方向指示器を点灯させることによって)この方向転換を伝えさせ得る。したがって、加速システム162および減速システム160は、車両の動力系174(例えば、ガソリンもしくは電気エンジン)と車両の車輪との間の様々なコンポーネントを含むドライブトレインの一部であり得る。さらに、これらのシステムを制御することによって、コンピューティングデバイス110はさらに、車両を自律的に操作するために、車両のドライブトレインを制御し得る。
[0054] 車両100の1つまたは複数のコンピューティングデバイス110はさらに、他のコンピューティングデバイスから情報を受信し、他のコンピューティングデバイスに情報を送信し得る。図3および図4はそれぞれ、ネットワーク360を介して接続された複数のコンピューティングデバイス310、320、330およびストレージシステム350を含むシステム例300の絵図および機能図である。システム300はさらに、車両100および車両100と同様に構成され得る車両100Aを含む。簡単にするためにほんの数台の車両およびコンピューティングデバイスしか示されていないが、典型的なシステムは、それよりもはるかに多いコンピューティングデバイス、車両、およびストレージシステムを含み得る。
[0055] 図3に示されているように、コンピューティングデバイス310、320、330の各々は、1つまたは複数のプロセッサ、メモリ、データ、および命令を含み得る。このようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス110の1つまたは複数のプロセッサ120、メモリ130、データ134、および命令132と同様に構成され得る。
[0056] ネットワーク360および介在ノードは、Bluetooth、Bluetooth LEのような近距離通信プロトコル、Internet、World Wide Web、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、1つまたは複数の会社専用の通信プロトコルを使用するプライベートネットワーク、Ethernet、WiFiならびにHTTPおよびこれらの様々な組み合わせを含む様々な構成およびプロトコルを含み得る。このような通信は、モデムおよび無線インターフェースのように、他のコンピューティングデバイスに対してデータを送信することができる任意のデバイスによって促進され得る。
[0057] 一実施例では、1つまたは複数のコンピューティングデバイス310は、他のコンピューティングデバイスからデータを受信し、他のコンピューティングデバイスからのデータを処理し、他のコンピューティングデバイスにデータを送信するために、ネットワークの異なるノードと情報を交換する複数のコンピューティングデバイスを有するサーバ(例えば、負荷分散サーバファーム)を含み得る。例えば、1つまたは複数のコンピューティングデバイス310は、ネットワーク360を介して、車両100の1つまたは複数のコンピューティングデバイス110または車両100Aの同様のコンピューティングデバイス、さらにクライアント・コンピューティング・デバイス320、330と通信することができる1つまたは複数のサーバ・コンピューティング・デバイスを含み得る。例えば、車両100、100Aは、サーバ・コンピューティング・デバイスによって監視され、様々な位置へ配車され得る車両群の一部であり得る。この点に関して、車両群の車両は、サーバ・コンピューティング・デバイスに、車両の個々の測位システムによって提供された位置情報を周期的に送信し得、1つまたは複数のサーバ・コンピューティング・デバイスは、車両の位置を追跡し得る。さらに、車両のコンピューティングデバイス110は、記憶および/または今後の閲覧のためにバーチャルカメラシステムからの映像を1つまたは複数のサーバ・コンピューティング・デバイスに提供し得る。
[0058] さらに、サーバ・コンピューティング・デバイス310は、ネットワーク360を使用して、ユーザ322、332のようなユーザに情報を送信して、コンピューティングデバイス320、330のディスプレイ324、334のようなディスプレイ上に提示し得る。この点に関して、コンピューティングデバイス320、330はクライアント・コンピューティング・デバイスと見なされ得る。
[0059] 図4に示されているように、各々のクライアント・コンピューティング・デバイス320、330は、ユーザ322、332によって使用されることを目的としたパーソナル・コンピューティング・デバイスであり得、1つまたは複数のプロセッサ(例えば、中央処理ユニット(CPU)、データならびに命令を記憶するメモリ(例えば、RAMならびに内蔵ハードドライブ)、ディスプレイ324、334、344のようなディスプレイ(例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するために動作可能な他のデバイス)、およびユーザ入力装置426、436、446(例えば、マウス、キーボード、タッチスクリーンもしくはマイク)を含む、通常はパーソナル・コンピューティング・デバイスと共に使用されるコンポーネントの全てを有し得る。クライアント・コンピューティング・デバイスはさらに、ビデオストリームを記録するためのカメラ、スピーカ、ネットワーク・インターフェース・デバイス、およびこれらの要素を互いに接続するのに使用されるコンポーネントの全てを含み得る。
[0060] クライアント・コンピューティング・デバイス320、330はそれぞれ、フルサイズのパーソナル・コンピューティング・デバイスを備え得るが、代替形態として、Internetのようなネットワークを介して、サーバと無線でデータを交換することができるモバイル・コンピューティング・デバイスを備え得る。ほんの例として、クライアント・コンピューティング・デバイス320は、携帯電話、またはInternetもしくは他のネットワークを介して情報を取得することができる無線機器対応PDA、タブレットPC、ウェアラブル・コンピューティング・デバイスもしくはシステム、ラップトップ、またはネットブックのようなデバイスであり得る。別の実施例では、クライアント・コンピューティング・デバイス330は、「スマートウォッチ」のようなウェアラブル・コンピューティング・デバイスであり得る。一実施例として、ユーザは、キーボード、キーパッド、マルチファクション入力ボタン、マイク、カメラまたは他のセンサによる可視信号(例えば、手または他のジェスチャ)、タッチスクリーンなどを使用して情報を入力し得る。
[0061] ストレージシステム350は、バーチャルカメラシステム176によって生成された映像のような様々なタイプの情報およびデータを記憶し得る。この情報は、本明細書に記載されている特徴のいくつかまたは全てを実行するために、1つまたは複数のサーバ・コンピューティング・デバイス310のようなサーバ・コンピューティング・デバイスまたはクライアント・コンピューティング・デバイス320、330によって検索され、またはそれ以外の方法でアクセスされ得る。例えば、情報は、1つまたは複数のサーバ・コンピューティング・デバイスに対するユーザを識別するために使用され得る認証情報(例えば、単一要素認証の場合のユーザ名およびパスワード、およびランダムな識別子、生体認証などのような多要素認証で一般に使用される他のタイプの認証情報)のようなユーザアカウント情報を含み得る。ユーザアカウント情報はさらに、ユーザの氏名、連絡先情報、ユーザのクライアント・コンピューティング・デバイス(または複数のデバイスが同一のユーザアカウントで使用される場合には、複数のデバイス)の識別情報、およびユーザ用の1つまたは複数の固有信号のような個人情報を含み得る。
[0062] メモリ130と同様に、ストレージシステム350は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能メモリ、読み取り専用メモリのようなサーバ・コンピューティング・デバイス310によってアクセス可能な情報を記憶することができる任意のタイプのコンピュータ化ストレージであり得る。さらに、ストレージシステム350は、物理的に同一または異なる地理的位置に配置され得る複数の異なるストレージデバイス上にデータが記憶される分散ストレージシステムを含み得る。ストレージシステム350は、図4に示されているようにネットワーク360を介してコンピューティングデバイスに接続され得、および/またはコンピューティングデバイス310、320、330などのいずれかに直接接続され得る、もしくは組み込まれ得る。
方法例
[0063] 図面に示されている上述の動作に加えて、様々な動作について説明する。以下の動作は以下で説明する正確な順序で実行される必要はないことを理解されたい。むしろ、様々なステップが、異なる順序で、もしくは同時に処理され得、さらにステップが追加され得る、または省略され得る。
[0064] 車両内のバーチャルカメラシステムは、映像を生成し得る。この点に関して、コンピューティングデバイスは、車両のナビゲーションシステム、測位システム、および知覚システムからデータを受信し得る。これらのシステムから受信されたデータは、車両の予測軌跡および車両付近の他の車両のような物体を示すデータを含み得る。例えば、予測軌跡情報は車両のナビゲーションシステム168および測位システム170によって提供され、物体データは知覚システム172によって提供され得る。コンピューティングデバイスは、このデータをバーチャルカメラシステムに渡し得る。
[0065] 映像は、バーチャルカメラシステムによって受信されたデータに基づいて、車両の乗客が閲覧するために車両内のディスプレイ上に表示するように生成され得る。この点に関して、バーチャルカメラシステムは、受信データを使用して、車両が走行しているルートに対応するマップ上で車両の予測軌跡と検出された物体とを重ね合わせることによって、バーチャルカメラの視点から映像を生成し得る。例えば、図6は、車両の後上方に位置決めされたバーチャルカメラの視点からバーチャルカメラシステムによって生成された映像の1つのフレームを示す。映像は、バーチャルカメラの設定視野503内に示されたマップ601を含む。映像はさらに、車両の予測軌跡620と共に、マップ601上に重ね合わされた車両100と車両の環境610の仮想表現を含む。映像は、動画、図、実写、および/または一般に映像内に見られる他のコンテンツを含み得る。
[0066] バーチャルカメラの視点は、初期位置の車両に対して固定され得る。例えば、固定位置のバーチャルカメラ501のこの初期位置は、図5Aおよび図5Bに示されているように、車両100の後上方であり、第1の進行方向505に向けられ得る。映像は、第1の進行方向505および固定位置のバーチャルカメラ501の位置に対応する設定視野503内の画像を含み得る。
[0067] 車両の方向転換時に、固定位置のバーチャルカメラ501は依然として車両に対して初期位置のままであり得、そのため映像は、図6の映像例に示されているように、第1の進行方向505で撮影され、設定視野503内に位置する車両の環境610および車両の予測軌跡620を提供し続けることになる。
[0068] 車両が方向転換するにつれて、車両の予測進行方向に対応する調整視野内の映像を提示するために、バーチャルカメラの位置は車両の周囲を回転し得る。この点に関して、バーチャルカメラは、車両が方向転換するにつれて、初期位置から、車両の周囲を所定距離で回転し得る。例えば、車両100が第1の道路から第2の道路へと第1の方向710に方向転換するとき、図7に示されているように、バーチャルカメラ701は、新しい進行方向705に向けられるように、固定位置から反時計回りに回転し得る。 その結果、バーチャルカメラの視野は、更新された視野703に対応し得る。
[0069] 更新視野703は、図8に示されているように、映像が車両100が方向転換している第2の道路812の画像を含むように調整され得る。上記の実施例は、車両100が第1の道路811から第2の道路へと方向転換する様子を示しているが、後述するように、バーチャルカメラの回転は、道路のカーブを曲がる、または駐車場に入るような車両が何らかの方向転換動作を行うときに発生し得る。
[0070] バーチャルカメラ701が車両の周囲を回転する距離は、車両が行っている方向転換の角度に基づき得る。車両が行っている方向転換の角度は、図8に詳細に示されているように、車両が方向転換する前に最初に取っていた元の進行方向705と、車両が現在取っている現在の進行方向815との角度差を測定することによって決定され得る。元の進行方向705と現在の進行方向は、車両のナビゲーションシステム168および測位システム170によって提供され得る。
[0071] バーチャルカメラシステムは、車両が行っている方向転換の角度を回転テーブルに入力し得る。回転テーブルは、方向転換角度をカメラの回転角度にマッピングし得る。例えば、回転テーブルに入力される方向転換角度は90°であり得、回転テーブルは、90°の角度を45°のカメラの回転にマッピングし得る。バーチャルカメラシステムは、次に、カメラ回転角度だけバーチャルカメラ701を回転させることにより、バーチャルカメラ701の視野もカメラ回転角度だけ回転させ得る。
[0072] バーチャルカメラシステムは、車両が方向転換を進めるにつれて、継続的にカメラ回転角度を更新し得る。例えば、図9~図12に示されているように、方向転換を完了させるために、車両は、0°~90°またはおよそ0°~90°のような一連の角度で進む。
[0073] バーチャルカメラシステムは、車両が方向転換に入る前に走行していた進行方向に対する車両が現在行っている方向転換の角度に基づいて、カメラ回転角度を継続的に調整し得る。この点に関して、バーチャルカメラシステムは、方向転換角度に基づいてカメラ回転角度を継続的に計算することによって、実質的にリアルタイムでカメラ回転角度を更新し得る。 例えば、車両は、初期の進行方向903で予測軌跡901に沿って走行しており、バーチャルカメラ701は、第1の視野920の初期位置に位置決めされ得る。
[0074] 図10に示されているように、車両100が方向転換し始めると、車両の進行方向は新しい進行方向1003に更新され得る。初期進行方向と新しい進行方向との差は、回転テーブルに入力され、カメラ回転角度が出力され得る。バーチャルカメラシステムは、次に、図10に詳細に示されているように、出力されたカメラ回転角度だけバーチャルカメラ701を回転させることにより、第2の視野1020を示すためにバーチャルカメラ701の視野もカメラ回転角度だけ回転させ得る。
[0075] 同様に、図11に示されているように、車両100が方向転換に沿って進むにつれて、初期進行方向903と最新の進行方向1101との差が回転テーブルに入力され、カメラ回転角度が出力され得る。バーチャルカメラシステムは、次に、図11に詳細に示されているように、出力されたカメラ回転角度だけバーチャルカメラ701を回転させることにより、第3の視野1120を示すためにバーチャルカメラ701の視野もカメラ回転角度だけ回転させ得る。初期進行方向903と最新の進行方向1101との差の決定は、0.01秒ごと、またはおよそ0.01秒ごとに発生し得る。車両100による方向転換が完了すると、図12に示されているように、バーチャルカメラ701は、初期位置に戻って、視野1220を撮影し得る。
[0076] バーチャルカメラシステムは、車両が方向転換する前に所定距離でバーチャルカメラを回転させ始め得る。この点に関して、バーチャルカメラシステムは、車両の予測軌跡に基づいて車両が間もなく行う予想方向転換角度を決定し得る。例えば、バーチャルカメラシステムは、車両の予測軌跡および車両の位置を監視して、間もなく行われる方向転換から車両までの距離、および車両が行う予定の予想方向転換角度を決定し得る。バーチャルカメラシステムは、予測される方向転換までの距離を所定距離と比較し得る。バーチャルカメラシステムは、予測される方向転換が所定距離にある、または所定距離未満であることを決定すると、予想方向転換角度に対応するカメラ回転角度だけバーチャルカメラを回転させ始め得る。
[0077] 所定距離は、車両の速度と、方向転換から車両までの距離とに基づき得る。この点に関して、車両が速い速度で走行している場合、所定距離は、車両が遅い速度で走行している場合より長くなり得る。このことにより、バーチャルカメラの円滑で、より緩やかな回転が可能になり得る。
[0078] いくつかの実施形態では、バーチャルカメラの回転は、車両が停止している、または停止することが予測される場合には、一時的に停止し得る。例えば、バーチャルカメラは、車両の予測軌跡を受信し、車両が左折しようとしているが最初に停止信号を通過することを決定し得る。したがって、バーチャルカメラは、車両が停止信号を通過するまで回転することができない。
[0079] 小さなオーバーステア補正によって引き起こされるような小さなカメラの回転を最小限に抑えるために、また大きなカメラの回転を円滑にするために、スカッシング関数が使用され得る。この点に関して、スカッシング関数は、生成された映像が、絶えず位置を切り替える、または動きが速過ぎるように見える画像を含むのを防止し得る。例えば、2つのスカッシング結果の例1310、1302がさらに図13に示されている。スカッシング結果を求めるために、図13のX軸で示されているように、車両が行っている方向転換の角度がスカッシング関数に入力され得る。スカッシング関数は、Y軸に示されているように、対応するカメラ回転角度を計算して出力し得る。Y軸上に示されている出力カメラ回転値は、X軸上に示されている方向転換角度より大体緩やかであり得る。
[0080] 一例として、バーチャルカメラシステムは、非優先の方向転換点における対向交通に対応する画像を生成するためにバーチャルカメラを回転させ得る。この点に関して、図14および図15に示されているように、バーチャルカメラは、車両が方向転換1420しようとしている道路上を走行している他の車両1501に対応する画像を生成するために車両の予測軌跡1430の反対方向に回転し得る。カメラ回転角度は、例えば、45°またはおよそ45°のように、非優先の方向転換に対して予め決定され得る。このようにして、生成された映像は、乗客が車両を運転していれば見ることができたであろう場面と同様の画像を乗客に提供し得る。 非優先の方向転換は、例えば、自動車が方向転換している道路で他の車両が停止する必要がないような交差点における赤信号での右折または停止標識での右折のように、流れている道路上で車両が行っている方向転換を含む。
[0081] さらに、多かれ少なかれ車両の環境を撮影するために、バーチャルカメラの高さおよびピッチが調整され得る。例えば、図16に示されているように、車両が交差点1600で停止したとき、バーチャルカメラ710は、車両100の上方に位置決めされ、バーチャルカメラのピッチは、バーチャルカメラが車両を真っ直ぐ見下ろすように調整され得る。バーチャルカメラ710は、車両100を真っ直ぐ見下ろし得る。バーチャルカメラ710は、次に、図16にさらに詳細に示されているように、車両の四方からの画像を含む映像を生成し得る。
[0082] 図17は、車両の方向転換時のバーチャルカメラの向きを調整するために車両100コンピューティングデバイス110のような車両の1つまたは複数のコンピューティングデバイスによって実行され得るフロー図1700の一例である。この実施例では、1つまたは複数のコンピューティングデバイスは、ブロック1710に示されているように、車両の方向転換前の元の進行方向と車両の現在の進行方向とを受信し得る。ブロック1720に示されているように、1つまたは複数のコンピューティングデバイスは、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定し得る。ブロック1730に示されているように、1つまたは複数のコンピューティングデバイスは、カメラ回転角度を決定し、ブロック1740に示されているように、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整し得る。ブロック1750に示されているように、1つまたは複数のコンピューティングデバイスは、バーチャルカメラの更新された向きに対応する映像を生成し、ブロック1760に示されているように、ディスプレイ上に映像を表示し得る。
[0083] 特に明記しない限り、上述の代替の実施例は互いに排他的でなく、固有の利点を達成するために様々な組み合わせで実施され得る。上述した特徴の上記および他の変形形態および組み合わせは、請求項によって定義された主題から逸脱せずに利用され得、実施形態の上記説明は、請求項によって定義された主題を制限するものではなく、単なる例であると解釈すべきである。さらに、本明細書に記載されている実施例および「~のような」、「~を含む」などのような表現の節の提示は、請求項の主題を特定の実施例に制限するものであると解釈すべきでなく、むしろ、実施例は、多くの可能な実施形態のうちの単なる1つの実施形態を例示するものである。また、異なる図面内の同一の参照番号は、同一または同様の要素を特定し得る。

Claims (18)

  1. コンピュータ実施方法であって、
    自律モードで動作する車両の1つまたは複数のコンピューティングデバイスによって、前記車両の予測軌跡を決定するステップと、
    前記1つまたは複数のコンピューティングデバイスによって、前記車両の予測軌跡と前記車両の位置とに基づいて、前記車両が行うことを予定している間もなく行われる方向転換の予想角度を決定するステップと、
    前記1つまたは複数のコンピューティングデバイスによって、バーチャルカメラをカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整するステップと、
    前記1つまたは複数のコンピューティングデバイスによって、前記バーチャルカメラの更新された向きに対応する映像を表示のために生成するステップであって、前記映像は、前記車両が前記自律モードで動作しながら前記車両内の乗客に提示するように構成される、生成するステップと
    を含む、方法。
  2. 前記1つまたは複数のコンピューティングデバイスによって、間もなく行われる方向転換までの距離を所定距離と比較するステップをさらに含む、請求項1に記載のコンピュータ実施方法。
  3. 前記1つまたは複数のコンピューティングデバイスが、前記間もなく行われる方向転換が前記所定距離に位置するか、または所定距離未満であることを決定すると、前記間もなく行われる方向転換の予測角度のセットに対応する一連のカメラ回転角度を介して前記バーチャルカメラを回転させ始める、請求項2に記載のコンピュータ実施方法。
  4. 前記所定距離は、前記車両の現在の速度と、前記間もなく行われる方向転換からの前記車両の現在の距離とに基づいている、請求項3に記載のコンピュータ実施方法。
  5. 前記車両がより速い速度で走行している場合、前記所定距離は、前記車両がより遅い速度で走行している場合より長くなる、請求項4に記載のコンピュータ実施方法。
  6. 前記間もなく行われる方向転換の1つまたは複数の角度を前記カメラ回転角度にマッピングすることをさらに含む、請求項1に記載のコンピュータ実施方法。
  7. 前記マッピングは、1:1対応ではない、請求項に記載のコンピュータ実施方法。
  8. 前記方向転換の所与の角度が90°であった場合、前記所与の角度は、45°のカメラ回転角度にマッピングされる、請求項7に記載のコンピュータ実施方法。
  9. 前記車両が前記方向転換を進めるにつれて、前記カメラ回転角度は継続的に更新される、請求項1に記載のコンピュータ実施方法。
  10. 前記車両が停止しているか、または停止することが予測されている場合、前記バーチャルカメラの回転を一時的に停止することをさらに含む、請求項1に記載のコンピュータ実施方法。
  11. 前記方向転換が完了すると、前記バーチャルカメラを初期位置に戻すことをさらに含む、請求項1に記載のコンピュータ実施方法。
  12. 前記バーチャルカメラの高さおよびピッチは、前記自律モードにおける駆動動作中の前記車両の環境をほぼ取り込むように調整される、請求項1に記載のコンピュータ実施方法。
  13. 自律駆動モードで動作するように構成された車両であって、前記車両は、
    操舵システムと、
    加速システムと、
    減速システムと、
    前記車両の外部の環境における物体を検出するように構成された1つまたは複数のセンサを含む知覚システムと、
    1つまたは複数のプロセッサを含む自律駆動システムであって、前記自律駆動システムは、前記自律駆動モードにおける前記車両の駆動を制御するために前記操舵システムと、前記加速システムと、前記減速システムと、前記知覚システムとに動作可能に結合される、自律駆動システムと、
    1つまたは複数のプロセッサを有するバーチャルカメラシステムであって、前記バーチャルカメラシステムは、バーチャルカメラを回転させて、非優先の方向転換における対向交通に対応する画像を生成し、前記バーチャルカメラのカメラ回転角度は、前記非優先の方向転換に対してあらかじめ決定される、バーチャルカメラシステムと
    を備える、車両。
  14. 前記カメラ回転角度は、45°以下である、請求項13に記載の車両。
  15. 前記非優先の方向転換は、交通が流れている道路上で前記車両が方向転換を行っている方向転換、または前記車両が方向転換を行っている道路が他の車両が交差点で停止する必要がない方向転換のいずれかである、請求項13に記載の車両。
  16. 車両の方向転換時のバーチャルカメラの向きを調整するためのコンピュータ実施方法であって、
    1つまたは複数のコンピューティングデバイスによって、前記車両の方向転換に入る前の元の進行方向と前記車両の予測軌跡とを受信するステップと、
    前記1つまたは複数のコンピューティングデバイスによって、前記車両の元の進行方向と前記車両の予測軌跡とに基づいて、前記車両が行うことが予想される方向転換の複数の角度を決定するステップと、
    前記1つまたは複数のコンピューティングデバイスによって、前記車両が行うことが予想される前記方向転換の前記複数の角度に基づいて、複数のカメラ回転角度を決定するステップと、
    前記1つまたは複数のコンピューティングデバイスによって、前記バーチャルカメラを前記複数のカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整するステップであって、前記車両が方向転換を行う前に所定距離で開始される、ステップと、
    前記1つまたは複数のコンピューティングデバイスによって、前記車両が前記方向転換する前に、前記バーチャルカメラの調整された向きに対応する映像を生成して表示するステップと
    を含む、方法。
  17. 車両の方向転換時のバーチャルカメラの向きを調整するためのシステムであって、前記システムは、メモリおよび前記メモリと通信する1つまたは複数のプロセッサを備え、前記1つまたは複数のプロセッサは、
    前記車両の方向転換に入る前の元の進行方向と前記車両の予測軌跡とを受信し、
    前記車両の元の進行方向と前記車両の予測軌跡とに基づいて、前記車両が行うことが予想される方向転換の複数の角度を決定し、
    前記車両が行うことが予想される前記方向転換の前記複数の角度に基づいて、複数のカメラ回転角度を決定し、
    前記バーチャルカメラを前記複数のカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整し、前記調整は、前記車両が方向転換を行う前に所定距離で開始され、
    前記車両が方向転換する前に、前記バーチャルカメラの調整された向きに対応する映像を生成して表示する
    ように構成される、前記システム。
  18. 命令が記憶される非一時的なコンピュータ可読媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されたときに、前記1つまたは複数のプロセッサに、車両の方向転換時のバーチャルカメラの向きを調整する方法を実行させ、前記方法は、
    前記車両の方向転換に入る前の元の進行方向と前記車両の予測軌跡とを受信するステップと、
    前記車両の元の進行方向と前記車両の予測軌跡とに基づいて、前記車両が行うことが予想される前記方向転換の複数の角度を決定するステップと、
    前記車両が行うことが予想される前記方向転換の前記複数の角度に基づいて、複数のカメラ回転角度を決定するステップと、
    前記バーチャルカメラを前記複数のカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整するステップであって、前記車両が前記方向転換を行う前に所定距離で開始される、ステップと、
    前記車両が前記方向転換する前に、前記バーチャルカメラの調整された向きに対応する映像を生成して表示するステップと
    を含む、前記非一時的なコンピュータ可読媒体。
JP2021063921A 2016-11-30 2021-04-05 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム Active JP7123207B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/364,914 US20180152628A1 (en) 2016-11-30 2016-11-30 Camera peek into turn
US15/364,914 2016-11-30
JP2019527814A JP6906052B2 (ja) 2016-11-30 2017-11-17 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019527814A Division JP6906052B2 (ja) 2016-11-30 2017-11-17 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム

Publications (2)

Publication Number Publication Date
JP2021108470A JP2021108470A (ja) 2021-07-29
JP7123207B2 true JP7123207B2 (ja) 2022-08-22

Family

ID=60703011

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019527814A Active JP6906052B2 (ja) 2016-11-30 2017-11-17 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
JP2021063921A Active JP7123207B2 (ja) 2016-11-30 2021-04-05 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019527814A Active JP6906052B2 (ja) 2016-11-30 2017-11-17 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム

Country Status (8)

Country Link
US (2) US20180152628A1 (ja)
EP (2) EP3532342B1 (ja)
JP (2) JP6906052B2 (ja)
KR (1) KR102227316B1 (ja)
CN (1) CN110023141B (ja)
AU (1) AU2017366812B2 (ja)
CA (1) CA3045432C (ja)
WO (1) WO2018102161A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257582B2 (en) * 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle
JP2019016188A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 移動体遠隔操作システムおよび移動体遠隔操作方法
US10580299B2 (en) * 2017-10-13 2020-03-03 Waymo Llc Lane change notification
CN110462703A (zh) * 2018-03-08 2019-11-15 百度时代网络技术(北京)有限公司 基于碰撞后分析的自动驾驶车辆的车辆动作优化
US10755575B2 (en) * 2018-08-30 2020-08-25 Cisco Technology, Inc. Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety
WO2020102336A1 (en) * 2018-11-13 2020-05-22 Rivian Ip Holdings, Llc Systems and methods for controlling a vehicle camera
KR102465191B1 (ko) * 2021-11-17 2022-11-09 주식회사 에스씨 선박의 입항 및 접안을 어시스트하는 어라운드뷰 시스템
CN116883504B (zh) * 2023-09-07 2023-12-08 深圳魔视智能科技有限公司 车辆朝向的校准方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080300733A1 (en) 2006-02-15 2008-12-04 Bayerische Motoren Werke Aktiengesellschaft Method of aligning a swivelable vehicle sensor
DE102009006475A1 (de) 2009-01-28 2010-07-29 Adc Automotive Distance Control Systems Gmbh Kamera für ein Kraftfahrzeug
JP2010247829A (ja) 2010-04-19 2010-11-04 Fujitsu Ten Ltd 車両の運転支援装置
JP2015507386A (ja) 2011-11-30 2015-03-05 イメージネクスト シーオー エルティディ 3d車両周辺映像生成方法および装置
JP2015108519A (ja) 2013-12-03 2015-06-11 日産自動車株式会社 情報表示装置
WO2015179760A1 (en) 2014-05-23 2015-11-26 Google Inc. Autonomous vehicles

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3391081B2 (ja) * 1994-02-04 2003-03-31 日産自動車株式会社 鳥瞰図表示機能付ナビゲーションシステム
JPH1089988A (ja) * 1996-09-10 1998-04-10 Nissan Motor Co Ltd 車両用経路誘導装置
JP3447900B2 (ja) * 1996-09-13 2003-09-16 アルパイン株式会社 ナビゲーション装置
JP3176037B2 (ja) * 1996-09-19 2001-06-11 株式会社東芝 ナビゲーション装置および同装置における映像データ表示方法
JP3412684B2 (ja) * 1999-03-01 2003-06-03 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及び該装置の記録媒体
JP3508665B2 (ja) * 1999-12-24 2004-03-22 株式会社豊田自動織機 操舵支援装置
DE10063980A1 (de) * 2000-12-14 2002-11-14 Markus Silberschmidt Virtual observing animation / Berechnete Beobachter Bewegung
JP3936885B2 (ja) * 2002-05-17 2007-06-27 アルパイン株式会社 三次元地図表示方法および三次元地図表示装置
JP2005193845A (ja) * 2004-01-09 2005-07-21 Nissan Motor Co Ltd 車両用監視装置
FR2945491A1 (fr) * 2009-05-18 2010-11-19 Peugeot Citroen Automobiles Sa Procede et dispositif pour etendre une zone de visibilite
JP5077307B2 (ja) * 2009-08-05 2012-11-21 株式会社デンソー 車両周囲画像表示制御装置
US20110246409A1 (en) * 2010-04-05 2011-10-06 Indian Statistical Institute Data set dimensionality reduction processes and machines
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
EP2741270B1 (en) * 2011-08-02 2020-11-25 Nissan Motor Co., Ltd. Driving assistance apparatus and driving assistance method
JP5278527B2 (ja) * 2011-12-27 2013-09-04 日産自動車株式会社 車両用表示装置および車両用映像表示制御方法
US9200919B2 (en) * 2012-06-05 2015-12-01 Apple Inc. Method, system and apparatus for selectively obtaining map image data according to virtual camera velocity
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
JP6148887B2 (ja) * 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6310652B2 (ja) * 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
US20170182406A1 (en) * 2014-03-21 2017-06-29 Audience Entertainment Llc Adaptive group interactive motion control system and method for 2d and 3d video
CN104020674B (zh) * 2014-04-21 2017-01-25 华南农业大学 车辆Bug避障算法的Matlab仿真可视化平台
US9599485B2 (en) * 2014-05-30 2017-03-21 Apple Inc. Navigation peek ahead and behind
US9740945B2 (en) * 2015-01-14 2017-08-22 Magna Electronics Inc. Driver assistance system for vehicle
WO2017061230A1 (ja) * 2015-10-08 2017-04-13 日産自動車株式会社 表示支援装置及び表示支援方法
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080300733A1 (en) 2006-02-15 2008-12-04 Bayerische Motoren Werke Aktiengesellschaft Method of aligning a swivelable vehicle sensor
DE102009006475A1 (de) 2009-01-28 2010-07-29 Adc Automotive Distance Control Systems Gmbh Kamera für ein Kraftfahrzeug
JP2010247829A (ja) 2010-04-19 2010-11-04 Fujitsu Ten Ltd 車両の運転支援装置
JP2015507386A (ja) 2011-11-30 2015-03-05 イメージネクスト シーオー エルティディ 3d車両周辺映像生成方法および装置
JP2015108519A (ja) 2013-12-03 2015-06-11 日産自動車株式会社 情報表示装置
WO2015179760A1 (en) 2014-05-23 2015-11-26 Google Inc. Autonomous vehicles

Also Published As

Publication number Publication date
JP6906052B2 (ja) 2021-07-21
KR102227316B1 (ko) 2021-03-12
US20180152628A1 (en) 2018-05-31
JP2021108470A (ja) 2021-07-29
CA3045432A1 (en) 2018-06-07
AU2017366812A1 (en) 2019-06-20
EP3532342B1 (en) 2022-02-23
WO2018102161A1 (en) 2018-06-07
US20210211576A1 (en) 2021-07-08
CN110023141B (zh) 2023-08-08
CA3045432C (en) 2022-05-10
EP3532342A1 (en) 2019-09-04
CN110023141A (zh) 2019-07-16
EP3862227A1 (en) 2021-08-11
AU2017366812B2 (en) 2020-06-25
JP2020519037A (ja) 2020-06-25
KR20190077482A (ko) 2019-07-03

Similar Documents

Publication Publication Date Title
JP7123207B2 (ja) 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
JP6671554B1 (ja) 車輪姿勢を使用した将来の進行方向の決定
CN107878460B (zh) 自动驾驶车辆的控制方法和服务器
US10937314B2 (en) Driving assistance apparatus for vehicle and control method thereof
US11837093B2 (en) Lane change notification
US10803643B2 (en) Electronic device and user interface apparatus for vehicle
US20230304821A1 (en) Digital signage platform providing device, operating method thereof, and system including digital signage platform providing device
CN109952491B (zh) 生成由车辆的感知系统检测的对象的表示的方法和系统
US20200202535A1 (en) Driver assistance apparatus and vehicle
US20220120581A1 (en) End of trip sequence
US10685566B1 (en) Differentiating roadways by elevation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220809

R150 Certificate of patent or registration of utility model

Ref document number: 7123207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150