JP6985523B2 - 車両の内部状態の判別と応答 - Google Patents

Description

関連出願の相互参照
この出願は、２０１８年２月２１日に提出された米国特許出願第１５／９０１，３７９号の出願日の利益を主張し、その開示は参照により本明細書に組み入れられる。

人間の運転手を必要としない車両などの自律型車両が、ある場所から別の場所への乗員または物品の輸送を支援するために使用される場合がある。係る車両は、乗員が集荷または目的の場所などのいくつかの初期入力を提供することができ、かつ車両がその場所に向けて自ら操縦する、完全自律モードで動作することができる。

本開示の一態様は、自動運転車両の内部状態を判別して応答する方法を提供する。該方法は、車両に搭載されたカメラによって撮影された車両の内部の画像を受け取ることと、車両内の所定の場所で１つ以上の可視マーカを識別するために、画像を処理することと、識別した１つ以上の可視マーカに基づいて、車両の内部状態を判別することと、判別した内部状態を使用して、応答アクションを特定することと、応答アクションを実行するために、車両を制御することと、を含む。

一例では、画像は、判別した内部状態を提供する機械学習モデルを使用して処理される。別の例では、該方法が、１つ以上の可視マーカを使用して、車両の乗員の身長を判別することをさらに含み、車両の内部状態の判別は、前記判別した身長に基づく。別の例では、内部状態が、車両の座席が占有されていることを示す。別の例では、車両の内部状態が、車両の座席が空いていることを示す。別の例では、１つ以上の可視マーカが、車両の座席の背もたれ上に見つけられ、車両の内部状態が、座席が空いていることを示す。別の例では、１つ以上の可視マーカが、車両の座席のシートベルト上に見つけられ、車両の内部状態が、座席が乗員によって占有されていることを示す。この例では、車両の内部状態が、乗員がシートベルトを着用していることを示す。別の例では、該方法が、車両が現在１人以上の乗員を乗せて目的地へ移動中であるどうかに基づいて、判別した内部状態を修正することをさらに含む。別の例では、判別した内部状態が、車両内の乗員の数を示す。別の例では、判別した内部状態が、車両が乗員によって占有されており、移動が終了したばかりであることを示す場合、応答アクションは、可聴通知を乗員に提供して、車両を離れる時間であることを知らせることを含む。別の例では、判別した内部状態が、車両が占有されておらず、移動が進行中であることを示す場合、応答アクションは、移動を中止することを含む。別の例では、判別した内部状態が、車両に子供がいることを示す場合、応答アクションは、子供が車両内の特定の座席にいなければならないことを示す通知を提供することを含む。この例では、応答アクションが、子供が車両の特定の座席になるまで移動を開始しないことを含む。別の例では、判別した内部状態が、車両に子供がいることを示す場合、応答アクションは、子供が車両内の適切なチャイルドシートにいなければならないことを示す通知を提供することを含む。この例では、応答アクションが、子供が適切なチャイルドシートになるまで移動を開始しないことを含む。別の例では、判別した内部状態が、子供が車両にいることを示し、応答アクションは、移動に関連するアカウント保有者のクライアントデバイスに通知を提供し、子供が車両に乗車することを許可されていることの確認を要求する。別の例では、判別した内部状態が、子供が車両にいることを示し、該方法は、子供が位置する座席に隣接するエアバッグをオフにすることをさらに含む。別の例では、判別した内部状態が、乗員がシートベルトを着用していないことを示し、応答アクションは、乗員がシートベルトを使用することを要求する通知を提供することを含む。

本開示の別の態様は、自動運転車両の内部状態を判別して応答するシステムを提供する。該システムは、車両に搭載されたカメラによって撮影された車両の内部の画像を受け取ることと、車両内の所定の場所にある１つ以上の可視マーカを識別するために、画像を処理することと、識別した１つ以上の可視マーカに基づいて、車両の内部状態を判別することと、判別した内部状態を使用して、応答アクションを特定することと、応答アクションを実行するために、車両を制御することと、を行うよう構成された１つ以上のプロセッサを含む。

例示的な実施形態に係る例示的な車両の機能図である。 本開示の態様に係る例示的なシステムの機能図である。 本開示の態様に係る図２のシステムの絵図である。 本開示の態様に係る車両の例示的な外観図である。 本開示の態様に係る車両の例示的な内部図である。 本開示の態様による車両のコンソールの例である。 本開示の態様による例示的なシステムの態様の例示的な機能図である。 本開示の態様に係る車両の例示的な内部図である。 本開示の態様に係る車両の例示的な内部図である。 本開示の態様に係る例示的なフロー図である。

概要
この技術は、輸送サービスを提供する過程で、無人または自律車両の内部状態を自動的に判別することに関する。状態は、車両が乗員によって占有されているかどうか、および年齢を推測するために使用される場合がある身長などの乗員の特徴を指す場合がある。場合によっては、車両の内部状態には、それらの乗員のステータスだけでなく、車両にバッグや荷物などの物体があるかどうか、車両が破損しているか汚れているかなど、車両の他の状態情報も含まれる。

通常、運転手を利用した輸送サービスでは、運転手は車両のステータスを視覚的に素早く確認することができる。もちろん、運転手がいない場合、車両の内部の画像を人間のオペレータに送って確認してもよい。これは、無人車両の内部状態を確認する効果的で有用な方法ではあるが、車両と遠隔オペレータとの間で情報をやり取りする際に待ち時間が発生し、乗員がシートベルトを外して車両周辺を移動する場合など、特定の状況では問題となる場合がある。さらに、車両がセルラーサービスのないエリアなど、車両のコンピューティングデバイスと接続できないエリアにある場合、このプロセスが無効になることもある。さらに、車両の数が増えると、人間のオペレータを使用すると効率が悪くなることもある。

車両の内部状態をチェックする人間のオペレータがいる場合、車両の内部状態の判別するために、１つ以上のカメラを車両内に搭載してもよい。たとえば、カメラは、車両の前部において、ヘッドライナの左側、中央、または右側に取り付けられ、乗員が着座する可能性のある場所、またはシートの下や荷室内を見れるように、車両の後方内部に向けることができる。これらのカメラには、代表的な可視光カメラ、事象ベースのカメラ、飛行時間カメラ、および／または赤外線カメラが含まれ、夜間、悪天候時、または車両がトンネルまたは駐車場内にある場合など、非常に低い光量の条件下で車両の画像を撮影することができる。

１つ以上のカメラを使用して車両の状態を判別するために、モデルを生成することができる。たとえば、分類器やニューラルネットワークなどのさまざまな機械学習技術を訓練して、車両の内部状態を識別してもよい。訓練は、車両群における車両の新品の内部状態の画像を、空またはデフォルト状態であるとしてラベル付けすることを含んでいてもよい。モデルの有用性を向上させるために、訓練画像には、異なる照明条件、配色、または車齢が含まれていてもよい。すなわち、車両内の影の外観や形状は、車両の走行状況に応じて変化する可能性があるため、異なる照明条件を含む画像を用いた訓練は、特に有用である場合がある。

車両のデフォルト状態の画像に加えて、異なる状態の乗員または他の物体を含む車両の内部の画像も、その状態に従ってラベル付けされ、モデルの訓練に使用されることもある。例として、乗員または他の物体を含む画像のラベル付けは、「占有されている」と同様に単純なこともあるが、デフォルト状態の画像は、「空いている」とラベル付けされることもある。特定のタイプの物体やそれらの物体の状態を識別するために、他のより複雑なラベル付けスキームを使用してもよい。センサからの更なるデータを使用して、車両の内部状態を判別してもよい。

上記のモデルおよびセンサに加えて、またはその代わりとして、車両の状態を判別するか、または判別を支援するために、マーカを車両内に配置してもよい。これらのマーカには、夜間の可視性を向上させるための赤外反射素材が含まれていてもよい。マーカは、乗員用シートの背もたれ、座部、およびシートベルトに配置されたパターン、円、ジグザグ、または他の構成を含んでいてもよい。

車両の内部状態を判別するために、１台のカメラまたは複数台のカメラが車両の画像を撮影してしてもよい。車両内の所定の場所にある１つ以上の可視マーカを識別するために、画像を処理することができる。可視マーカは、状態情報を判別するためにパターン情報と比較されてもよい。これに関して、パターン情報は、状態情報をマーカの可視性に関連付けることができる。以下でさらに説明するように、パターンデータを使用して、マーカの可視性と位置を、乗員の考えられる身長または年齢に関連付けることもできる。

内部状態が判別されると、アクションデータを使用して、その内部状態に対処して応答することができる。例えば、アクションデータは、人間のオペレータによって定義され、車両ソフトウェアに格納され得る一連の方策を含んでいてもよい。これらの方策は、応答アクション、または判別した車両の内部状態に車両がどのように応答するかを定義することができる。アクションデータには、移動のステータスに応じて異なる方策が含まれる場合もある。次に、車両は、応答アクションを実行するために制御され得る。

本明細書で説明する機能により、無人車両が車両の内部状態を判別し、必要に応じてそれらの判別に効果的に応答することが可能になる。これは、確認する運転手がおらず、遠隔オペレータが内部ステータスを確認できない場合に、特に重要である。さらに、車両でコンピューティングデバイスを使用することにより、セルラーサービスがない場所や、暗闇の中でさえ、内部ステータスを判別することができる。したがって、必ずしもデータを車両外に持ち出す必要がないため、車両の搭乗者のプライバシーを維持しつつ、処理の効率が格段に向上する。これにより、自動運転車両は人間の介入なしに、より効果的かつ確実に動作することが可能になる。

例示的なシステム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、１つ以上のコンピューティングデバイス、例えば、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに通常存在する他の構成要素を含むコンピューティングデバイス１１０を有していてもよい。

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能である情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３４およびデータ１３２が含まれる。メモリ１３０は、プロセッサによってアクセス可能である情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを使って読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

命令１３４は、プロセッサにより直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される何れかの一連の命令であってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされる独立したソースコードモジュールのスクリプトもしくはコレクションを含む、何れかの他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

データ１３２は、命令１３４に従ってプロセッサ１２０によって検索、記憶、または修正されてもよい。例えば、特許請求の範囲の主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内に、すなわち、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。

１つ以上のプロセッサ１２０は、市販されているＣＰＵなどの何れかの従来のプロセッサであってもよい。あるいは、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に配置された他のストレージ媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことを理解されたい。

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイクロホン）、様々な電子ディスプレイ（例えば、スクリーン、または情報を表示するように動作可能である何れかの他の電気デバイスを有するモニタ）などのコンピューティングデバイスと接続して通常使用されるすべての構成要素であってもよい。この例では、車両は、内部電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含み、情報または音響映像体験を提供する。この点について、内部電子ディスプレイ１５２は、車両１００の車室内に配置されてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗員に情報を提供してもよい。

コンピューティングデバイス１１０はまた、１つ以上の無線ネットワーク接続１５６も含み、以下に詳細に説明するクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなどの他のコンピューティングデバイスとの通信を容易にすることができる。無線ネットワーク接続には、ブルートゥース、ブルートゥースローエネルギー（ＬＥ）、携帯電話接続などの短距離通信プロトコル、ならびにインターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびに上記の様々な組み合わせが含まれてもよい。

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であってもよい。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３４に従って車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、ナビゲーションシステム１６８、測位システム１７０、および知覚システム１７２などの、車両１００の様々なシステムと通信することができる。また、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自律運転計算システムとして再度、コンピューティングデバイス１１０の中に組み込まれてもよい。

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と情報をやり取りしてもよい。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用されてもよい。例えば、車両１００が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車両を旋回させるための車輪の角度を制御する構成要素を含んでいてもよい。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、他の運転手または車両に車両の意図を伝えるために、コンピューティングデバイス１１０によって使用されてもよい。

ナビゲーションシステム１６８は、場所までのルートを判別して、従うために、コンピューティングデバイス１１０によって使用されてもよい。これに関して、ナビゲーションシステム１６８および／またはデータ１３２は、詳細な地図情報、例えば、道路の形状および高度、車線、交差点、横断歩道、制限速度、交通信号、建物、標識、リアルタイムの交通情報、停車スポットの植物、または他のそのような物体および情報を識別する非常に詳細な地図を記憶することができる。以下でさらに説明するように、これらの停車スポットは、路肩エリア、駐車スポット、駐車場、緊急停車スポットなどのように、車両が合法的に一定時間停車して駐車することができる、「手で」選択または識別したエリアであり得る。

測位システム１７０は、地図上または地球上での車両の相対または絶対位置を判別するコンピューティングデバイス１１０によって使用されてもよい。例えば、測位システム１７０は、デバイスの緯度、経度、および／または高度の位置を判別するためのＧＰＳ受信機を含んでいてもよい。レーザを利用した位置特定システム、慣性支援ＧＰＳ、またはカメラを利用した位置特定などの他の位置特定システムも、車両の位置を特定するために使用することができる。車両の位置には、緯度、経度、高度などの絶対的な地理的位置情報の他に、すぐ周りの他の車両に対する位置などの相対的な位置情報が含まれていてもよく、これは、多くの場合、絶対的な地理的位置よりも少ないノイズで決定することができる。

測位システム１７０はまた、車両の方向および速度、またはそれらの変化を判別するための加速度計、ジャイロスコープ、または別の方向／速度検出デバイスなどの、コンピューティングデバイス１１０と通信する他のデバイスも含むことができる。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ（またはそれらの変化）を判別してもよい。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したようなデバイスの位置および方位データの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供されてもよい。

また、知覚システム１７２は、他の車両、道路上の障害物、交通信号、標識、樹木等のような車両外部の物体を検出するための１つ以上のコンポーネントも含む。例えば、知覚システム１７２は、レーザ、ソナー、レーダ、カメラ、および／またはコンピューティングデバイス１１０が処理できるデータを記録する何れかの他の検出デバイスを含んでもよい。車両が自動車などの小型乗用車である場合、自動車は、ルーフまたはその他の便利な場所に取り付けられたレーザまたは他のセンサを含んでもよい。

コンピューティングデバイス１１０は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス１１０は、詳細な地図情報およびナビゲーションシステム１６８からのデータを使用して、車両を目的の場所に完全に自律的にナビゲートすることができる。コンピューティングデバイス１１０は、測位システム１７０を使用して車両の位置を判別し、その位置に安全に到着する必要がある場合には、知覚システム１７２を使用して対象物を検出して応答することができる。そうするために、コンピューティングデバイス１１０は、車両を加速させ（例えば、加速システム１６２により、エンジンに供給される燃料または他のエネルギーを増加させる）、減速させ（例えば、エンジンに供給される燃料を減少させ、ギヤを変更し、および／または減速システム１６０によりブレーキをかけることによって）、方向を変え（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）、そのような変更を知らせる（例えば、シグナリングシステム１６６の方向指示器を点灯することによって）ことができる。したがって、加速システム１６２および減速システム１６０は、車両のエンジンと、車両の車輪との間の様々な構成要素を含むドライブトレインの一部であってもよい。再び、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自律的に操縦するために、車両のドライブトレインを制御することもできる。

車両１００のコンピューティングデバイス１１０はまた、他のコンピューティングデバイスとの間で情報を送受信してもよい。図２および図３は、それぞれ、ネットワーク２６０を介して接続された複数のコンピューティングデバイス２１０、２２０、２３０、２４０および記憶システム２５０を含む例示的なシステム２００の絵図および機能図である。システム２００はまた、車両１００、および車両１００と同様に構成され得る車両１００Ａも含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、通常のシステムは、これよりもはるかに多くのものを含み得る。

図３に示されるように、コンピューティングデバイス２１０、２２０、２３０、２４０の各々は、１つ以上のプロセッサ、メモリ、データ、および命令を含むことができる。そのようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０、メモリ１３０、データ１３２、および命令１３４と同様に構成されてもよい。

ネットワーク２６０および介在ノードは、ブルートゥース、ブルートゥースＬＥ、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、１つ以上の企業の独自の通信プロトコルを使用したプライベートネットワーク、イーサネット、ＷｉＦｉ、ＨＴＴＰ、および上記の様々な組み合わせなどの近距離通信プロトコルを含む様々な構成およびプロトコルを含んでもよい。そのような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送受信することができる何れかのデバイスによって容易に行われ得る。

一例では、１つ以上のコンピューティングデバイス１１０は、複数のコンピューティングデバイスを有するサーバ、例えば、負荷分散サーバファームを含んでもよく、負荷分散サーバファームは、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークの異なるノードと情報を交換する。例えば、１つ以上のコンピューティングデバイス２１０は、ネットワーク２６０を介して、車両１００のコンピューティングデバイス１１０、または車両１００Ａの同様のコンピューティングデバイス、ならびにコンピューティングデバイス２２０、２３０、２４０と通信することが可能である１つ以上のサーバコンピューティングデバイスを含んでもよい。例えば、車両１００および車両１００Ａは、サーバコンピューティングデバイスによって様々な場所に派遣され得る車両群の一部であってもよい。この点について、車両群は、車両のそれぞれの測位システムにより提供される位置情報をサーバコンピューティングデバイスに定期的に送信してもよく、１つ以上のサーバコンピューティングデバイスは、車両の位置を追跡してもよい。

さらに、サーバコンピューティングデバイス２１０は、ネットワーク２６０を使用して、コンピューティングデバイス２２０、２３０、２４０のディスプレイ２２４、２３４、２４４などのディスプレイ上に、ユーザ２２２、２３２、２４２などのユーザに情報を送信および提示することができる。この点について、コンピューティングデバイス２２０、２３０、２４０は、クライアントコンピューティングデバイスと見なされてもよい。

図３に示すように、各クライアントコンピューティングデバイス２２０、２３０、２４０は、ユーザ２２２、２３２、２４２によって使用されることを意図したパーソナルコンピューティングデバイスであってもよく、１つ以上のプロセッサ（例えば、中央処理装置（ＣＰＵ））、データおよび命令を格納するメモリ（例えば、ＲＡＭおよび内部ハードドライブ）、ディスプレイ２２４、２３４、２４４（例えば、画面を有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するために操作可能な他のデバイス）、およびユーザ入力装置２２６、２３６、２４６（例えば、マウス、キーボード、タッチスクリーンまたはマイクロホン）を含むパーソナルコンピューティングデバイスに関連して通常使用されるすべての構成要素を有していてもよい。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含んでもよい。

さらに、クライアントコンピューティングデバイス２２０および２３０は、クライアントコンピューティングデバイスの位置および向きを判別するための構成要素２２８および２３８も含み得る。例えば、これらの構成要素は、車両１００の測位システム１７０に関して上述したように、デバイスの緯度、経度、および／または高度を判別するためのＧＰＳ受信機、ならびに加速度計、ジャイロスコープ、または別の方向／速度検出デバイスを含んでもよい。

クライアントコンピューティングデバイス２２０、２３０、および２４０は、それぞれフルサイズのパーソナルコンピューティングデバイスを含んでいてもよいが、代わりに、インターネットなどのネットワークを介してサーバとデータを無線で交換することが可能なモバイルコンピューティングデバイスを含んでもよい。例示に過ぎないが、クライアントコンピューティングデバイス２２０は、携帯電話、または無線対応ＰＤＡ、タブレットＰＣ、ウェアラブルコンピューティングデバイスまたはシステム、またはインターネットまたは他のネットワークを介して情報を取得することが可能なネットブックなどのデバイスであってもよい。別の例では、クライアントコンピューティングデバイス２３０は、図２において腕時計として示される、ウェアラブルコンピューティングシステムであってもよい。一例として、ユーザは、小型キーボード、キーパッド、マイクロホンを使用して、カメラを用いた映像信号、またはタッチスクリーンを使用して、情報を入力し得る。

いくつかの例では、クライアントコンピューティングデバイス２４０は、ユーザ２２２および２３２などのユーザにコンシェルジュサービスを提供するために管理者が使用するコンシェルジュワークステーションであってもよい。例えば、コンシェルジュ２４２は、コンシェルジュワークステーション２４０を使用して、車両１００および１００Ａの安全な動作と、以下にさらに詳細に説明するユーザの安全性とを確保するために、それぞれのクライアントコンピューティングデバイス、あるいは車両１００または１００Ａを介してユーザと電話または音声接続による通信を行ってもよい。図２および図３には、単一のコンシェルジュワークステーション２４０のみが示されているが、通常のシステムには、任意の数の係るワークステーションが含まれてもよい。

記憶システム２５０は、以下でより詳細に説明されるように、様々なタイプの情報を記憶してもよい。この情報は、本明細書で記載する特徴のうちの一部またはすべてを実行するために、１つ以上のサーバコンピューティングデバイス２１０などのサーバコンピューティングデバイスによって検索されるか、あるいはそうでなければアクセスされてもよい。例えば、情報は、１つ以上のサーバコンピューティングデバイスに対してユーザを識別するために使用することができる認証情報などのユーザアカウント情報（例えば、従来の単一要素認証の場合のユーザ名およびパスワード、ならびにランダムな識別子、生体認証などの多要素認証で通常使用される他のタイプの認証情報）を含んでいてもよい。ユーザアカウント情報はまた、ユーザの名前、連絡先情報、ユーザのクライアントコンピューティングデバイス（または、同じユーザアカウントで複数のデバイスが使用されている場合はデバイス）の識別情報などの個人情報、ならびにユーザに関する１つ以上の固有の信号を含み得る。

記憶システム２５０はまた、場所間のルートを生成して評価するためのルーティングデータを記憶してもよい。例えば、ルーティング情報は、第１の場所における車両が第２の場所に到達するのに係る時間を推定するために使用されてもよい。この点について、ルーティング情報は、必ずしも上記の詳細な地図情報ほど詳細ではないが、道路を含む地図情報と、それらの道路に関する情報、例えば、方向（一方通行、双方向等）、向き（北、南等）、制限速度、および予測される交通状況を識別する交通情報等を含んでいてもよい。

メモリ１３０と同様に、記憶システム２５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ−ＲＯＭ、書き込み可能メモリ、および読み出し専用メモリなどの、サーバコンピューティングデバイス２１０によりアクセス可能である情報を記憶することができる、何れかのタイプのコンピュータ化された記憶装置であり得る。さらに、記憶システム２５０は、同じまたは異なる地理的な場所に物理的に配置され得る複数の異なる記憶デバイスに、データが記憶される分散型記憶システムを含んでいてもよい。記憶システム２５０は、図２に示されるようにネットワーク２６０を介してコンピューティングデバイスに接続されてもよく、および／またはコンピューティングデバイス１１０、２１０、２２０、２３０、２４０などの何れかに直接接続または組み込まれてもよい。

車両１００はまた、知覚システム１７２のセンサも含む。

図４は、車両１００の例示的な構成である。この例では、ルーフ上にある筐体４２０およびドーム状筐体４２２は、ライダセンサ、ならびに各種のカメラおよびレーダユニットを含んでもよい。さらに、車両１００の前端部に配置された筐体４３０、ならびに車両の運転手側および助手席側の筐体４４０、４４２は、それぞれライダセンサを格納してもよい。例えば、筐体４４０は、運転手ドア４６０の前部に配置されている。車両１００はまた、車両１００のルーフ上にも配置されたレーダユニットおよび／またはカメラのための筐体４５０、４５２も含む。追加のレーダユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、および／またはルーフもしくはルーフ上の筐体４２０に沿った他の位置に配置されてもよい。これらのレーダ、カメラ、およびレーザセンサまたはデバイスのそれぞれは、知覚システム１７２の一部として、これらのデバイスからのデータを処理し、センサデータをコンピューティングシステム１１０に提供する処理構成要素に関連付けられてもよい。

図５は、例えば、図４の例示的な構成において、車両１００の前面に向けて見た車両１００の例示的な内部図である。例えば、この図では、内部電子ディスプレイ１５２を含むダッシュボード領域５１０が見える。車両１００は、ステアリングホイール、ガス（加速）ペダル、またはブレーキ（減速）ペダルを含み、これらは、乗員がドライブトレインを介して車両のステアリング、加速および／または減速を直接制御する半自律運転モードまたは手動運転モードを可能にし得るが、これらの入力は自律運転モードには必要ではない。むしろ、以下でさらに詳細に説明するように、ユーザ入力は、ユーザ入力１５０のマイクロホン（図示せず）、コンソール５２０の機能、および無線ネットワーク接続１５６に限定される。これに関して、内部電子ディスプレイ１５２は、単に乗員に情報を提供するだけであり、タッチスクリーンまたはユーザ入力のための他のインターフェースを含む必要はない。他の実施形態では、内部電子ディスプレイ１５２は、目的地などの乗員が情報を入力するためのタッチスクリーンまたは他のユーザ入力デバイスを含んでいてもよい。

図６は、ユーザ入力１５０の一部であり得る１組のボタンを有するコンソール５２０の側面斜視図である。このコンソールは、例えば、図４に示されるような車両１００の構成で使用されてもよい。この例における１組のボタンには、移動を開始させる、あるいは車両を停車させることができる２つのボタンが含まれている。コンソール５２０は、図５（車両のルーフの内面）に示されるように、ヘッドライナ領域５４０において車両１００の内部に配置されてもよい。この例では、コンソール５２０は、ボタン６０６、６０８、６１０、および６１２を含む。これらのボタンのそれぞれは、信号をコンピューティングデバイス１１０に送信するように動作する。ボタン６０６からの信号に応答して、コンピューティングデバイス１１０は、乗員をコンシェルジュに接続してもよい。ボタン６０８からの信号により、（ドアの現在の状態に応じて）コンピューティングデバイス１１０にドアをロックまたはロック解除させるようにしてもよい。ボタン６０８は、乗員が非緊急停止を開始することを可能にしてもよい。例えば、ボタン６１０からの信号により、コンピューティングデバイスが車両を引き寄せるようにしてもよい。ボタン６１２で、乗員が目的地または降車場所への移動を開始することを可能にしてもよい。例えば、ボタン６１２からの信号で、コンピューティングデバイスが目的地への移動を開始するようにしてもよい。

車両の内部状態の判別を行うために、１つ以上のカメラを車両内に取付けてもよい。たとえば、カメラは、車両の前部において、ヘッドライナの左側、中央、または右側に取り付けられ、乗員が着座する可能性のある場所を見れるように、車両の後方内部に向けることができる。例えば、図５は、車両１００のヘッドライナ領域５４０内に取り付けられたカメラ５３０、５３２、および５３４を示す。他の追加のカメラも車両の内部全体に配置することができる。例えば、図８（以下でさらに説明する）を参照すると、追加のカメラ５３６が、（座席８０２および８０４を含む）座席の中央列の間に取り付けられて、後部ベンチシート８０６の有用な表示を得ることができる。これらのカメラには、代表的な可視光カメラ、事象ベースのカメラ、立体カメラ（これは三次元情報から提供することができる）、飛行時間カメラ、および／または赤外線カメラが含まれ、夜間、悪天候時、または車両がトンネルまたは駐車場内にある場合など、非常に低い光量の条件下で車両の画像を撮影することができる。それに加えて、またはその代わりに、カメラは、座席の下の領域と積荷領域を見るために配置されてもよい。

１つ以上のカメラを使用して車両の状態を判別するために、データ１３２は、図７に示されるようにモデル７０２を記憶しても良い。モデル７０２は、「オフライン」、すなわち事前に、および／または遠隔コンピューティングデバイスで生成され、ネットワーク２６０およびワイヤレスネットワーク接続１５６を介して車両１００に送信されてもよい。例えば、モデルは機械学習モデルであってもよく、分類器やニューラルネットワークなどの様々な機械学習技術を訓練して、車両の内部状態を識別してもよい。訓練は、車両群における車両の新品の内部状態の画像を、空またはデフォルト状態であるとしてラベル付けすることを含んでいてもよい。モデルの有用性を向上させるために、訓練画像には、異なる照明条件や車齢が含まれていてもよい（すなわち、いくつかの車両は、最終的には、時間の経過とともに通常の摩耗や損傷を示し始める可能性がある）。すなわち、車両内の影の外観や形状は、車両の走行状況に応じて変化する可能性があるため、異なる照明条件を含む画像を用いた訓練は、特に有用である場合がある。

車両のデフォルト状態の画像に加えて、状態の異なる乗員または他の物体が乗っている車両の内部の画像も、その状態に従ってラベル付けして、モデルの訓練に使用してもよい。一例として、乗員や他の物体を含む画像のラベル付けは、「占有されている」のように単純にあるのに対し、デフォルト状態の画像は「空いている」とラベル付けされていてもよい。

特定のタイプの物体またはそれら物体の状態を識別するために、他のさらに複雑なラベル付けスキームを使用してもよい。例えば、画像には、乗員の人数（１、２、３など）、乗員がどこに座っているか（すなわち、どの席）、乗員がシートベルトをしているかどうか、乗員が適切に座席に座っていないかどうか、乗員が大人か子供か、乗員とエアバッグとの間に物体（バッグや財布など）があるかどうか、乗員がシートベルトをしているかどうか、などの乗員に関する詳細な情報がラベル付けされていてもよい。ラベルは、人間である移動物体と人間ではない移動物体に使用することができる。動いてはいるが人間ではない物体は、介助動物またはペットであると見なされるか、または識別され得る。他のラベルには、車内に私物があるか、または承認された荷物の場所に置かれているかどうかが含まれていてもよい。場合によっては、これには、携帯電話やバッグなどの品目の種類も含まれていてもよい。さらに他のラベルは、座席が直立して前方に向けた位置にあるかどうか、車両が損傷しているかどうか、例えば座席に裂け目がある場合、ドアが開いているかどうか（場合によってはどのくらいの幅か）、車内灯が適切に機能しているかどうか、さらにはカメラが適切に機能しているかどうかなど、車両自体の物理的な属性に対応していてもよい。加えて、有用な訓練画像を提供するために、遠隔オペレータによって検討される実際の乗員の画像はまた、訓練用に遠隔オペレータによってラベル付けされてもよい。

加えて、または上記のモデルおよびセンサに代わるものとして、車両の状態を判別するか、または判別を支援するために、マーカを車両内に配置してもよい。これらのマーカには、夜間の可視性を向上させるための赤外反射素材が含まれていてもよい。図８は、例えば、図５のカメラ５３２の視点から車両１００の後部に向かって見た図４の例示的な構成における、車両１００の例示的な内部図である。この図では、座席８０２、８０４、およびベンチシート８０６の一部が見える。ベンチシート８０６の２つの座席を含む座席のそれぞれは、１つ以上の固定マーカを含んでいてもよい。これらのマーカは、例えば、座席８０２の背もたれ８１０と座部８１２およびベンチシート８０６の一部に示されるような円８５０、座席８０４の背もたれ８２０と座部８２２およびベンチシート８０６の一部に示されるようなジグザグ８６０、または車両１００の座席の異なる領域に配置または織り込まれた他のパターンを含んでいてもよい。一例として、パターンは、座席上のロゴまたは他の図柄の全てまたは一部に対応していてもよい。これに関して、ジグザグまたはドットは、他のパターンなどで置き換えられてもよい。

図８には示されていないが（シートベルトコンパートメント内で収縮しているため）、座席８０２および８０４のシートベルト８３０および８４０（およびベンチシート８０６のシートベルトも同様に）は、マーカを含んでいてもよい。例えば、図９に示すように、シートベルト８３０および８４０が乗員９０２および９０４の周りに延在している場合、マーカ９５０、９６０がそれぞれのシートベルト上に視認できる。

データ１３２はまた、パターンデータ７０４を、表、データベース、または他の記憶構造の形で記憶してもよい。パターンデータは、状態情報をマーカの可視性に関連付けることができる。一例として、座席の画像の中に背もたれ８１０または座部８１２上のマーカが見える場合には、図８に示すように、座席が空席である可能性が高い。ただし、背もたれ上の１つ以上のマーカの一部のみが表示され、背もたれと座部上の残りのマーカが画像において見えない場合は、図９に関して後述するように、座席が占有されている可能性がある。同様に、シートベルト上に配置されたマーカが占有されている座席の前において見えない場合、図９に関してさらに後述するように、その座席を占有している乗員がシートベルトを着用していない可能性が高い。一例として、カメラの視点からはシートベルトの一部が体の一部、衣服、バッグ、または手に持った品目によって見えなくなるようにしても、画像にマーカが写り、シートベルトの使用を検出できるように、シートベルトを配置してもよい。例えば、非常に多数のマーカを、ベルトの全長（または使用可能な長さ）に沿って、肩部および膝部の一方または両方の上に配置してもよく、そのような場合には、シートベルトを装着している乗員を正常に検出するために、ベルトの一部または１つ以上のマーカのみを可視化する必要がある。以下でさらに説明するように、パターンデータを使用して、マーカの可視性と位置を、乗員の考えられる身長または年齢に関連付けてもよい。あるいは、パターンの表またはデータベースを保存するのではなく、身長、体重、位置などが異なる乗員が表示されている、異なる状態のパターンと座席のラベル付け画像を使用して、上記のようにモデルをさらに訓練する。座席のどの部分が覆われているかをシステムが判別できるように、マーカをさらに座席クッション（背部と座部）上に配置することができる。マーカは、小さな物体が複数の点を覆い隠すほど密集していてよい。たとえば、システムは、覆い隠されたマーカのパターンの大きさに基づいて、座席に携帯電話が残されていると判断することができる。

データ１３２はまた、アクションデータ７０６を、表、データベース、または他の記憶構造の形で記憶してもよい。たとえば、車両の判別した内部状態に対処して応答するために、アクションデータには、人間のオペレータによって定義され得る一連の方策が含まれていてもよい。これらの方策は、車両の判別した内部状態に車両がどのように応答するかを定義することができる。たとえば、未成年者が車両内にいる場合、移動を手配するアカウント所有者に通知し、未成年者が座っている場所に隣接するエアバッグを（適切な場合には）オフにし、子供を中間座席などの適切な座席において、ブースタや子供用カーシートなどの適切な拘束具に座らせ、子供が座席に適切にバックルで固定されるまで移動が開始されないことを示す通知を再生してもよい。別の例として、唯一の乗員が未成年者または子供である場合、子供が１人で乗ることが許可されているか、または十分な年齢であるかを確認するために、コンシェルジュおよび／またはアカウント所有者に通知されることがある。コンシェルジュは、車の内部の画像を提供され、状況の安全性を評価し、必要に応じて、例えば、車の移動を一時停止させたり、未成年者の同乗者やアカウント所有者に連絡したりするなどして介入してもよい。

アクションデータには、移動のステータスに応じて異なる方策が含まれることもある。たとえば、車両が空いていても、車両が移動中である場合、移動を中止することができる。車両が占有されていても、移動が終了したばかりの場合、コンピューティングデバイスは、占有者に車両から離れる必要があることを通知したり、緊急サービスを要求したり、または遠隔オペレータに支援を要求したりすることを試みてもよい。移動が進行中であるにもかかわらず、乗員がシートベルトを外したり、座席を空けたりした場合には、（既に進行中でない場合には）すぐに車を停めたり、状況を評価するためにコンシェルジュに連絡したりすることになり得る。別の例として、未成年者と識別される乗員がいて、降車地点が占有されている場合、車両は、未成年者を降ろすのに別の場所が適切であるかどうかを確認するために、アカウント所有者（直接および／またはサーバコンピューティングデバイス４１０を介して）に連絡してもよい。同様に、未成年者として識別される乗員がいる場合、車両内での移動の変更が許可されないこともあり、または未成年者がボタン６０８などの「停車」ボタンを押すとアカウント所有者が通知を受けることがある。これらの応答のすべてまたは一部は、１つ以上の内部カメラおよび／または車両のシーベルトセンサからの画像を使用するなど、車内の異なるセンサを使用して相互検証することができる。

上述し、図示した動作に加えて、様々な動作を説明する。以下の動作は、以下に説明する正確な順序で実行される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。

乗車場所から目的の場所への移動を開始するために、サーバコンピューティングデバイス４１０は、この情報を、例えば発送指示として、ネットワーク２６０を介してコンピューティングデバイス１１０に送信してもよい。コンピューティングデバイス１１０は、サーバコンピューティングデバイス４１０からの情報を使用して、上述のように、車両を乗車場所に向けて操縦してもよい。車両が乗車場所からある程度の所定の距離に達すると、コンピューティングデバイス１１０は、乗員が乗車できるように、乗車場所に近接した場所で車両を停止させようとしてもよい。同様に、コンピューティングデバイス１１０は、目的の場所に向かって車両を操縦し、乗員が降車できるように、目的の場所に近接した場所で車両を停止させようとしてもよい。移動前、移動中、移動後のすべての時点で、コンピューティングデバイスは、車両の内部状態を判別し、必要に応じて車両に応答させることができる。

車両の内部状態を判別するために、カメラ５３０〜５３６の何れかなどのカメラを使用して、車両１００の内部の画像を撮影することができる。例えば、カメラ５３２は、図８または９の表示に対応する画像を撮影し、さらなる処理のために画像をコンピューティングデバイス１１０に送信してもよい。画像は、５秒前後毎など、定期的に撮影されてもよく、これは、例えば、車両が現在移動中であるか否かによって変化することがある。その点において、移動直前、移動中、または移動直後は、車両が現在移動中でないときよりも頻繁に画像を撮影することができ、車両には乗員がいないことが望ましい。

一例では、上記のモデルを使用して画像を処理してもよい。例えば、画像は、モデルの訓練に使用される情報の種類に応じて情報を出力できるモデルに入力されてもよい。この出力情報は、車両の内部について判別した状態情報または車両の判別した内部状態に対応していてもよい。たとえば、出力には、乗員に関する詳細、乗員の数（１、２、３など）、乗員が座っている場所（つまり、どの座席）、乗員が座席に適切に座っていないか、乗員がシートベルトを着用しているかどうか、乗員が大人か子供か、乗員とエアバッグの間に物体（バッグやハンドバッグなど）があるかどうか、乗員がシートベルトを着用しているかどうか、介助動物やペットがいるかどうか、車内に私物があるか、または承認された荷物の場所に置かれているか、座席が直立して前方に向けた位置にあるかどうか、車両が損傷しているかどうか、例えば座席に裂け目がある場合、ドアが開いているかどうか（場合によってはどのくらいの幅か）、車内灯が適切に機能しているかどうか、さらにはカ
メラが適切に機能しているかどうかなどの、乗員についての詳細を含んでいてもよい。私物に関して、出力は、携帯電話、バッグなどの品目の種類も含んでいることもある。

別の例として、画像は、マーカの可視性を判別するために、またはむしろ、どのマーカが画像内で見えるかを判別するために、コンピューティングデバイス１１０によって処理されてもよい。この処理は、１つ以上の訓練済みの分類器を使用して、画像を主要な部分（座席に対応する部分など）にトリミングし、画像内のマーカの存在を検出することを含んでもよい（または含まなくてもよい）。各座席のステータスを識別するために、この出力を、トリミングされた画像またはトリミングされていない画像内のマーカの存在および／またはパターンを使用できる別の分類器に入力してもよい。これには、座席が占有されているかどうか、座席の占有者がシートベルトを着用しているかどうかなどが含まれる。画像に複数の座席が示されている場合、出力には、各座席の前述の情報が含まれていてもよく、または「画像に２人が含まれ、１人はシートベルトあり、１人はシートベルトなし」のように、より一般的なものであってもよい。

例えば、図８に目を向けると、マーカ８５０および８６０すべては見えるが、シートベルト８３０または８４０のマーカはどれも見えない。図９を見ると、乗員９０２は、座席８０２のマーカ８５０の１つを除いてすべてを塞いでいる。マーカ９５２を含む２つだけが視認でき、１つのマーカ９５２はシートベルト８３０によって部分的に塞がれている。シートベルト８３０のすべてのマーカ９５０は見ることができる。乗員９０４は、座席８０４のジグザグマーカ８６０のうち、ジグザグマーカ８６０のマーカ９６２に対応する小領域を除いて、ほぼ全てのジグザグマーカ８６０を塞いでいる。シートベルト８４０のすべてのマーカ９６０は見ることができる。

次に、パターンデータ７０４は、コンピューティングデバイス１１０によってアクセスおよび使用されて、車両の内部の状態情報を判別することができる。例えば、状態情報は、特定の座席が占有されているかどうか、および占有されている座席の占有者がシートベルトを着用しているかどうかを示していてもよい。これは、車両が占有されているかどうか、車両内に着席している乗員の数、乗員がシートベルトを着用しているかどうか、車両内の乗員が多すぎるかどうかなどの判断に使用されてもよい。一例として、図８に戻ると、すべてのマーカ８５０は見ることができ、シートベルト８３０のマーカは見ることができないという情報は、パターンデータ７０４と比較され得る。パターンデータは、座席８０２が乗員によって占有されておらず、シートベルト８３０が使用されていないことに関連しているものとして、可視マーカと塞がれたマーカのこの組み合わせを識別してもよい。同様に、すべてのマーカ８６０は見ることができ、シートベルト８４０のマーカは見ることができないという情報は、パターンデータ７０４と比較され得る。パターンデータは、座席８０４が乗員によって占有されておらず、シートベルト８４０が使用されていないことに関連しているものとして、可視マーカと塞がれたマーカのこの組み合わせを識別してもよい。

図９を参照すると、マーカ９５２および９５４を除くすべてのマーカは見ることができ、マーカ９５２が部分的に塞がれているという情報は、パターンデータ７０４と比較され得る。パターンデータは、座席８０２が乗客によって占有されていることに関連しているものとして、可視マーカと塞がれたマーカのこの組み合わせを識別してもよい。同様に、座席８０４のジグザグマーカ８６０のうち、ジグザグマーカ８６０のマーカ９６２に対応する小領域を除いた部分が塞がれているという情報を、パターンデータ７０４と比較してもよい。パターンデータは、可視マーカと塞がれたマーカのこの組み合わせを、座席８０４が乗員によって占有されていることに関連しているものとして識別してもよい。図には示されていないが、マーカ９５０や９６０が画像中に見えなかった場合には、乗員９０２および９０４がシートベルトを着用してなったことを示している可能性がある。

座席が占有されているかどうか、および乗員がシートベルトを着用しているかどうかを判別することに加えて、コンピューティングデバイス１１０は、マーカを使用して乗員の身長を判別してもよい。例えば、シートベルト上のどのマーカが画像中に見られるかは、シートベルトが乗員の肩のどこに位置するか、および／または座席に対してどこに位置するかを推定するために使用してもよい。例えば、分類器または他の視覚アルゴリズムを使用して、乗員の肩の端を検出し、その位置を既知のシートベルトマーカ位置、ならびに画像中の座席に対するシートベルトマーカ位置の相対的な位置と比較することができる。さらに、またはその代わりに、別の分類器は、異なる身体特徴の位置を検出し、それらの特徴の位置を、シートベルトマーカまたはメーカが配置されている場所と比較してもよい。さらに、座席の縁は、座席のマーカを使用して推定されるか、または事前に知られている。これにより、事前に１回（座席の位置が比較的静止していると仮定して）、または数回測定して、座席の端が画像内に見つかる可能性のあるいくつかの異なる考えられる場所を撮影することができる。次に、これを利用して、乗員の身長、またはより簡単には、乗員の胴の長さを推定することができる。例えば、（シートベルトおよび乗員の肩の近くの座席にある）最も低い可視マーカは、乗員の身長（または少なくとも乗員の肩までの高さ）に対応し得る。同様に、メーカ自体にも、特定の色、形状のバリエーション、または他の構成などの情報が符号化されていてもよい。これに関して、（シートベルトおよび乗員の肩の近くの座席にある）最も低い可視マーカは、乗員の推定身長に直接関連付けされてもよい。また、マーカと組み合わせて座席上の位置に対する身長を判別することで、体型の違いによる誤差が発生する可能性を低減することができる（シートベルトマーカが異なる位置に配置される可能性があるため）。

例えば、シートベルト８３０は、８つのマーカ９５０を有する。マーカ９５６は、乗員９０２の肩９１２に隣接している。シートベルト８３０上の、およびシートベルトの他のマーカ９５０ならびに座席８１０に対するマーカ９５６の位置を利用して、乗員９０２が５フィート未満の身長であると判別することができる。これは、乗員９０２が子供であることを示し得る。同様に、シートベルト８４０は８つのマーカ９６０を有している。マーカ９６６は、乗員９０４の肩９１４に隣接している。シートベルト８４０上の、およびシートベルトの他のマーカ９６０ならびに座席８２０に対するマーカ９６６の位置を利用して、乗員９０２が５．５フィートを超える身長であると判別することができる。これは、乗員９０２が大人であることを示し得る。

子供用カーシートが車両内に配置されている場合、カーシートが存在し、座席に対して適切に配置されていることを確実にするために、カーシート上にもマーカを配置してもよい。これらのマーカは、上記のものと同じまたは同様であってもよく、上記の例の何れかを使用して識別されてもよい。

マーカに加えて、またはマーカの代わりに、シートベルト自体が黒以外の色になる場合がある。たとえば、通常の黒いシートベルトは、黒いセーターやジャケットと区別するのが難しい場合がある。この点に関して、シートベルトは、通常の黒の代わりに、赤、黄、ピンク、緑、青、藍、紫の生地で作られてもよい。これにより、モデルまたは他の画像処理を使用して、乗員がシートベルトを着用しているかどうかを判別して、乗員の胴体または膝の領域の特定の色を識別する効果が向上することがある。

判別した（たとえば、上記のモデルおよび／またはマーカの例の何れかを使用して判別した）内部状態は、判別した内部状態にどのように応答するかを決定するのに使用できる他の情報によって、さらに修正されてもよい。例えば、終了したばかり、開始しようとしている、または現在車両内で進行中など、移動のステータスに応じて、コンピューティングデバイス１１０は、車両の内部状態についてさらなる判別を行ってもよい。例えば、移動が終了したばかりで、私物が車両内にある場合、コンピューティングデバイスは、私物が置き去りにされたと判断することができる。もちろん、これと同じ私物が移動中に車内にある場合、その私物が必ずしも置き去りにされたとは限らない。別の例として、移動が終了したが、乗員がまだ車両内に座っている場合、移動が現在進行中で乗員が座っている場合とは異なる応答が必要になることもある。

いくつかの例では、１つ以上の座席内のセンサを使用して、物体がこれらの座席の何れかに置かれているかどうかを判別することができる。そうである場合、コンピューティングデバイス１１０は、モデルおよび／またはマーカを使用して、物体の種類、たとえば大人であるか、子供であるか、携帯電話であるか、バッグであるかなどを判別することができる。

車両の内部状態が判別し、場合によっては上記のように修正されると、コンピューティングデバイス１１０は、アクションデータ７０６を使用して適切な応答を決定することができる。一例として、車両のステータスが、車両が占有されており、移動が終了したばかりであることを示す場合、コンピューティングデバイスは、乗員に可聴通知を提供して出発の時間であることを示してもよい。乗員が出発しない場合、コンピューティングデバイスは、遠隔オペレータまたは緊急サービス（人が応答しない場合など）に支援を要求してもよい。

さらに、乗員の推定身長を使用して、コンピューティングデバイス１１０は、乗員がブースタシートまたはカーシートなしで車両に乗るのに十分な身長であるかどうか、または本当に、車両に１人で乗るのに十分な年齢であるかどうかに関するルールを施行してもよい。例えば、判別した内部状態が、乗員９０２など、車両内に未成年者または子供がいることを示す場合、コンピューティングデバイスは、上述したアクションデータで定義された方策を実施してもよい。例として、未成年者が車両内にいる場合、移動を手配するアカウント所有者に通知し、未成年者が座っている場所に隣接するエアバッグを（適切な場合には）オフにし、子供を中間座席などの適切な座席において、ブースタや子供用カーシートなどの適切な拘束具に座らせ、子供が座席に適切にバックルで固定されるまで移動が開始されないことを示す通知を再生してもよい。別の例として、唯一の乗員が子供である場合、たとえば、子供が１人で乗ることが許可されているか、または十分な年齢であるかを確認するために、クライアントコンピューティングデバイスに通知を送信することによって、アカウント所有者に通知が行われてもよい。

別の例として、判別した内部状態が、私物が残されていることを示している場合、乗員のクライアントコンピューティングデバイスを介して、コンピューティングデバイス１１０によって通知が提供されてもよく、そのデバイスが車両内に残されていた場合、乗員に注意を喚起するために、可聴通知（例えば、クラクションやスピーカを介した他のメッセージなど）が提供されてもよい。通知は、ネットワークを介してコンピューティングデバイス１１０によって直接クライアントコンピューティングデバイスに送信、通知をクライアントコンピューティングデバイスに転送可能なサーバコンピューティングデバイス２１０に送信、あるいは何れかの他の方法を用いて送信されてもよい。この通知により、遠隔オペレータが関与し、ネットワークを介して複数のメッセージをやり取りしなければならなかった場合よりも、乗員ははるかに速く何かが取り残されていることに気付き、それを取り戻すことができる。

さらなる例として、判別した内部状態が、車両が損傷している、汚れている、または損傷の量に応じて清掃または修理が必要であることを示す場合、コンピューティングデバイス１１０は、車両を使用不可にして、車両をサービスステーションに戻すように要求してもよい。損傷が軽微な場合、車両は引き続き輸送サービスを提供してもよい。損傷の量が不明確な場合、または何らかの損傷がある場合は、同じ画像または別の画像を遠隔オペレータに送信し、今後の対応を検討してもよい。

特定の状況では、コンピューティングデバイス１１０は、車両が進む前に乗員が解決しなければならない問題を示す通知を乗員に提供してもよい。たとえば、乗員は、ドアを閉める、シートベルトを締める、乗員とエアバッグの間の物体を移動する、非介助動物を取り除く（ペットが許可されない場合）などを要求される場合がある。

移動中、コンピューティングデバイス１１０はまた、定期的または継続的に車両の内部状態を監視してもよい。これには、乗員が寝ているかどうか、車両の部品を改ざんしたり取り除いたりしようとしているかどうか、拘束具を使用していないペットがいるかどうか、シートベルトを外しているかどうか、および／または座席から降りたかどうかを判別することが含まれる。コンピューティングデバイスは、車両の外にある物体、例えば枝や人の一部が窓から車両内に伸びているかどうかを判別することも可能であってもよい。これにより、上記のように人間のオペレータが常に確認しなければならず、効率が悪くなるような状況にコンピューティングデバイスが対応できるようになり、例えば安全上の懸念がない限り、遠隔オペレータが乗員の画像を見る必要がほとんどなくなるため、乗員のプライバシーが向上する可能性がある。時間が経つにつれて、モデルは、乗員が苦痛を感じているかどうか、または乗り物酔いをしているかどうかを検出するように訓練され、コンピューティングデバイスが必要に応じて車両のルートを変更し、および／または適切な支援を要求したりできるようにしてもよい。

図１０は、車両１００のような自動運転車両の内部状態を判別して応答するために、コンピューティングデバイス１１０のプロセッサ１２０などの１つ以上のコンピューティングデバイスの１つ以上のプロセッサによって実行され得る、本開示の態様による例示的なフロー図１０００である。この例では、ブロック１０１０において、車両に搭載されたカメラによって撮影された車両の内部の画像が受信される。ブロック１０２０において、車両内の所定の場所にある１つ以上の可視マーカを識別するために、画像が処理される。ブロック１０３０において、識別された１つ以上の可視マーカに基づいて、車両の内部状態が判別される。ブロック１０４０において、判別した内部状態を使用して応答アクションが特定される。ブロック１０５０において、応答アクションを実行するために、車両が制御される。

別段の記載がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施されてもよい。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するのではなく、実例としてみなされるべきである。さらに、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの１つだけを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。

Claims (19)

1. 自動運転車両の内部状態を判別して応答する方法であって、
   前記車両に搭載されたカメラによって撮影された前記車両の内部の画像を、前記車両の目的地への移動の直前の第１期間、前記車両の前記目的地への前記移動が進行中の第２期間、及び前記車両の前記目的地への前記移動の直後の第３期間を含む移動期間に第１頻度で受信し、前記移動期間以外の期間に前記第１頻度より低い第２頻度で受信することと、
   前記車両内の所定の場所にある１つ以上の可視マーカおよび１つ以上の部分的または完全に覆い隠されたマーカを識別するために、前記画像を処理することと、
   前記識別したマーカの可視性に基づいて、前記車両の前記内部状態を判別することと、
   前記判別した内部状態を使用して、応答アクションを特定することと、
   前記応答アクションを実行するために、前記車両を制御することと、を含む方法。
2. 前記画像が、前記判別した内部状態を提供する機械学習モデルを使用して処理される、請求項１に記載の方法。
3. 前記識別したマーカの前記可視性を使用して、前記車両の乗員の身長を判別することをさらに含み、前記車両の前記内部状態の判別が、前記判別した身長に基づく、請求項１に記載の方法。
4. 前記内部状態が、前記車両の座席が占有されていることを示す、請求項１に記載の方法。
5. 前記車両の前記内部状態が、前記車両の座席が空いていることを示す、請求項１に記載の方法。
6. 前記１つ以上の可視マーカが、前記車両の座席の背もたれ上に見つけられ、前記車両の前記内部状態が、前記座席が空いていることを示す、請求項１に記載の方法。
7. 前記１つ以上の可視マーカが、前記車両の座席のシートベルト上に見つけられ、前記車両の前記内部状態が、前記座席が乗員によって占有されていることを示す、請求項１に記載の方法。
8. 前記車両の前記内部状態が、前記乗員がシートベルトを着用していることを示す、請求項７に記載の方法。
9. 前記判別した内部状態が、前記車両内の乗員の数を示す、請求項１に記載の方法。
10. 前記判別した内部状態が、前記車両が乗員によって占有されており、移動が終了したばかりであることを示す場合、前記応答アクションは、可聴通知を前記乗員に提供して、前記車両を離れる時間であることを示すことを含む、請求項１に記載の方法。
11. 前記判別した内部状態が、前記車両が空いており、移動が進行中であることを示す場合、前記応答アクションは、前記移動を中止することを含む、請求項１に記載の方法。
12. 前記判別した内部状態が、前記車両に子供がいることを示す場合、前記応答アクションは、前記子供が前記車両内の特定の座席にいなければならないことを示す通知を提供することを含む、請求項１に記載の方法。
13. 前記応答アクションが、前記子供が前記車両の前記特定の座席にいる状態になるまで移動を開始しないことを含む、請求項１２に記載の方法。
14. 前記判別した内部状態が、前記車両内に子供がいることを示す場合、前記応答アクションは、前記子供が前記車両内の適切なチャイルドシートにいなければならないことを示す通知を提供することを含む、請求項１に記載の方法。
15. 前記応答アクションが、前記子供が前記適切なチャイルドシートにいる状態になるまで移動を開始しないことを含む、請求項１４に記載の方法。
16. 前記判別した内部状態が、子供が前記車両内にいることを示し、前記応答アクションは、移動に関連するアカウント保有者のクライアントデバイスに通知を提供し、前記子供が前記車両に乗車することを許可されていることの確認を要求する、請求項１に記載の方法。
17. 前記判別した内部状態が、子供が前記車両内にいることを示し、前記方法は、前記子供が位置する座席に隣接するエアバッグをオフにすることをさらに含む、請求項１に記載の方法。
18. 前記判別した内部状態が、乗員がシートベルトを着用していないことを示し、前記応答アクションは、前記乗員が前記シートベルトを使用することを要求する通知を提供することを含む、請求項１に記載の方法。
19. 自動運転車両の内部状態を判別して応答するシステムであって、
    前記車両内に搭載されたカメラによって撮影された前記車両の内部の画像を、前記車両の目的地への移動の直前の第１期間、前記車両の前記目的地への前記移動が進行中の第２期間、及び前記車両の前記目的地への前記移動の直後の第３期間を含む移動期間に第１頻度で受信し、前記移動期間以外の期間に前記第１頻度より低い第２頻度で受信することと、
    前記車両内の所定の場所にある１つ以上の可視マーカおよび１つ以上の部分的または完全に覆い隠されたマーカを識別するために、前記画像を処理することと、
    前記識別したマーカの可視性に基づいて、前記車両の前記内部状態を判別することと、
    前記判別した内部状態を使用して、応答アクションを特定することと、
    前記応答アクションを実行するために、前記車両を制御することと、を行うように構成された１つ以上のプロセッサを含むシステム。
    

Images