JP6966654B2 - 仮想車両操作方法、モデルトレーニング方法、操作デバイス、および記憶媒体 - Google Patents

Description

関連出願
本願は、参照により全文が本願に援用される、2018年5月18日に中国国家知識産権局に提出された、「アプリケーションで車両を操作する方法、デバイス、および記憶媒体」と題する、中国特許出願第201810482238．0号の優先権を主張する。

本願の実施形態は人工知能（AI）の分野に関し、特に仮想車両操作方法、モデルトレーニング方法、操作デバイス、および記憶媒体に関する。

アプリケーションの開発段階で開発者は通常、自動テスト方式でアプリケーションをテストする。例えば、レーシングゲームアプリケーションの場合、開発者は仮想車両を使って実在のプレイヤーが車両を操作して走行させる状況をシミュレーションすることで、車両走行ゲームアプリケーションをテストする。

仮想車両操作方法でより現実的なシミュレーション効果を仮想車両で達成するため、開発者は有限状態機械（FSM）かビヘイビアツリー（BT）によって仮想車両の進行ロジックをあらかじめ設定する。自動テストの過程では、仮想車両の現在の状態がFSMかBTに入力され、仮想車両はFSMかBTによって出力される進行パラメータに従って走行するように操作される。

ただし、前述した実施方法では、開発者が仮想車両の進行ロジックを手作業で構築する必要がある。これは、仮想車両の長い開発時間と高い開発コストに結びつく可能性がある。加えて、手作業で構築された進行ロジックは柔軟性を欠き、仮想車両の実際のシミュレーション効果が乏しくなる。

操作デバイスによって遂行される仮想車両操作方法であって、方法は、
仮想車両進行図を得るステップであって、仮想車両進行図は仮想進路上を進行する仮想車両の図を含む、ステップと、
仮想車両進行図から仮想進路画像を抽出するステップであって、仮想進路画像は仮想車両が位置する仮想進路部分の画像である、ステップと、
仮想進路画像を進行意思決定モデルに入力するステップであって、進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、サンプル進路画像とサンプル進行方針はサンプル車両進行図から抽出され、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、ステップと、
進行意思決定モデルによって出力される目標進行方針に従って仮想車両を操作して進行させるステップとを含む。

操作デバイスによって遂行されるモデルトレーニング方法であって、方法は、
サンプル車両進行図を得るステップであって、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、ステップと、
サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出するステップであって、サンプル進行方針は仮想進路上での仮想車両の進行方法を示すために使われる、ステップと、
サンプル進路画像とサンプル進行方針に基づいて進行意思決定モデルをトレーニングするステップであって、サンプル進路画像は進行意思決定モデルの入力サンプルであり、サンプル進行方針は進行意思決定モデルの出力サンプルである、ステップとを含む。

仮想車両進行図を得るように構成された第1の取得モジュールであって、仮想車両進行図は仮想進路上を進行する仮想車両の図を含む、第1の取得モジュールと、
仮想車両進行図から仮想進路画像を抽出するように構成された第1の抽出モジュールであって、仮想進路画像は仮想車両が位置する仮想進路部分の画像である、第1の抽出モジュールと、
仮想進路画像を進行意思決定モデルに入力するように構成された第1の入力モジュールであって、進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、サンプル進路画像とサンプル進行方針はサンプル車両進行図から抽出され、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、第1の入力モジュールと、
進行意思決定モデルによって出力される目標進行方針に従って仮想車両を操作して進行させるように構成された操作モジュールとを含む、
仮想車両操作装置。

サンプル車両進行図を得るように構成された第2の取得モジュールであって、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、第2の取得モジュールと、
サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出するように構成された第2の抽出モジュールであって、サンプル進行方針は仮想進路上での仮想車両の進行方法を示すために使われる、第2の抽出モジュールと、
サンプル進路画像とサンプル進行方針に基づいて進行意思決定モデルをトレーニングするように構成されたトレーニングモジュールであって、サンプル進路画像は進行意思決定モデルの入力サンプルであり、サンプル進行方針は進行意思決定モデルの出力サンプルである、トレーニングモジュールとを含む、
モデルトレーニング装置。

メモリーと1つ以上のプロセッサとを含む操作デバイスであって、メモリーはコンピュータ可読命令を保管し、コンピュータ可読命令は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、
仮想車両進行図を得る作業であって、仮想車両進行図は仮想進路上を進行する仮想車両の図を含む、作業と、
仮想車両進行図から仮想進路画像を抽出する作業であって、仮想進路画像は仮想車両が位置する仮想進路部分の画像である、作業と、
仮想進路画像を進行意思決定モデルに入力する作業であって、進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、サンプル進路画像とサンプル進行方針はサンプル車両進行図から抽出され、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、作業と、
進行意思決定モデルによって出力される目標進行方針に従って仮想車両を操作して進行させる作業とを遂行させる。

コンピュータ可読命令を保管する不揮発性コンピュータ可読記憶媒体であって、コンピュータ可読命令は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、
仮想車両進行図を得る作業であって、仮想車両進行図は仮想進路上を進行する仮想車両の図を含む、作業と、
仮想車両進行図から仮想進路画像を抽出する作業であって、仮想進路画像は仮想車両が位置する仮想進路部分の画像である、作業と、
仮想進路画像を進行意思決定モデルに入力する作業であって、進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、サンプル進路画像とサンプル進行方針はサンプル車両進行図から抽出され、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、作業と、
進行意思決定モデルによって出力される目標進行方針に従って仮想車両を操作して進行させる作業とを遂行させる。

メモリーと1つ以上のプロセッサとを含む操作デバイスであって、メモリーはコンピュータ可読命令を保管し、コンピュータ可読命令は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、
サンプル車両進行図を得る作業であって、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、作業と、
サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出する作業であって、サンプル進行方針は仮想進路上での仮想車両の進行方法を示すために使われる、作業と、
サンプル進路画像とサンプル進行方針に基づいて進行意思決定モデルをトレーニングする作業であって、サンプル進路画像は進行意思決定モデルの入力サンプルであり、サンプル進行方針は進行意思決定モデルの出力サンプルである、作業とを遂行させる。

コンピュータ可読命令を保管する不揮発性コンピュータ可読記憶媒体であって、コンピュータ可読命令は、
1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、
サンプル車両進行図を得る作業であって、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、作業と、
サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出する作業であって、サンプル進行方針は仮想進路上での仮想車両の進行方法を示すために使われる、作業と、
サンプル進路画像とサンプル進行方針に基づいて進行意思決定モデルをトレーニングする作業であって、サンプル進路画像は進行意思決定モデルの入力サンプルであり、サンプル進行方針は進行意思決定モデルの出力サンプルである、作業とを遂行させる。

コンピュータプログラム製品であって、コンピュータプログラム製品は、実行されたときに、前述した仮想車両操作方法またはモデルトレーニング方法を遂行するように構成される。

以下、実施形態の説明に必要な添付の図面を簡潔に説明する。当然ながら、添付の図面は以下の説明で本願の一部の実施形態を示すものに過ぎず、当業者なら、創造的な取り組みをせずとも、これらの添付図面から別の図面を導き出すことができる。

本願の一実施形態による実施環境の概略図である。 一実施形態による仮想車両操作方法の概略原理図である。 本願の一実施形態によるモデルトレーニング方法の流れ図である。 一実施形態によるサンプル車両進行図の概略図である。 本願の別の一実施形態によるモデルトレーニング方法の流れ図である。 地図表示エリア内の画像に基づいてサンプル進路画像を判断する実施過程の概略図である。 本願の別の一実施形態によるモデルトレーニング方法の流れ図である。 運転コントロールに対してエッジ特徴抽出を行う実施過程の概略図である。 本願のさらに別の一実施形態によるモデルトレーニング方法の流れ図である。 本願の別の一実施形態による仮想車両操作方法の流れ図である。 仮想車両進行図に基づいて目標進行方針を得る実施過程の概略図である。 本願の別の一実施形態による仮想車両操作方法の流れ図である。 本願のさらに別の一実施形態による仮想車両操作方法の流れ図である。 本願の一実施形態による仮想車両操作装置のブロック図である。 本願の一実施形態によるモデルトレーニング装置のブロック図である。 本願の一実施形態による操作デバイスの概略構造図である。

これ以降は、本願の実施形態の添付の図面を参照しながら本願の実施形態の技術的なソリューションを明瞭かつ完全に説明する。当然ながら、説明する実施形態は本願の一部の実施形態であり、全ての実施形態ではない。創造的な取り組みをせずに本願の実施形態をもとに当業者によって得られる他の実施形態はいずれも、本願の保護範囲に入るものとする。

本願の実施形態で提供される仮想車両操作方法は、レーシングゲームアプリケーションの自動テスト状況や、レーシングゲームアプリケーションでプレイヤーの運転習慣を分析する状況に利用できる。勿論、この方法は、プレイヤーの車両操作習慣を分析／学習する必要がある他の応用状況にも応用できる。これは本願の実施形態で限定されない。

レーシングゲームアプリケーションの自動テスト状況

本願の実施形態で提供される仮想車両操作方法は、自動テストソフトウェアの形で（または専用AIチップを備えた）サーバーかパーソナルコンピュータに設けることができる。パーソナルコンピュータを一例に挙げると、レーシングゲームアプリケーションをテストする必要がある場合は、レーシングゲームアプリケーションがインストールされたテスト対象デバイスにパーソナルコンピュータが接続され、パーソナルコンピュータはテスト対象デバイスによって表示されるアプリケーション図に従ってテスト対象デバイスへ操作命令を送信し、テスト対象デバイスは操作命令に従ってレーシングゲームアプリケーションの仮想車両を操作して進行させる。

レーシングゲームアプリケーションでプレイヤーの運転習慣を分析する状況

開発者は通常、プレイヤーの運転習慣を定期的に分析し、プレイヤーの運転習慣に基づいて新たな進路を設計するか、既存の進路を調整する。本願の実施形態で提供される仮想車両操作方法は、ソフトウェアの形で（または専用AIチップを備えた）サーバーに設けることができる。サーバーは、端末によってアップロードされる（仮想車両走行アプリケーションのアプリケーション図を記録することによって得られた）仮想車両走行ビデオに基づいて、機械学習アルゴリズムによるトレーニングを通じて対応するビヘイビア意思決定モデルを得る。開発者は、ビヘイビア意思決定モデルの出力特性を分析することによって、様々なプレイヤー集団（例えば、様々なゲームレベル）の運転習慣を判断できる。

レーシングゲームアプリケーションで自動運転する状況

トレーニングされたビヘイビア意思決定モデルが得られた後は、ビヘイビア意思決定モデルを通じてレーシングゲームアプリケーションで仮想車両を自動的に操作でき、ユーザーの指示作業がなくても仮想車両の自動運転を実施できる。

図1は、本願の一実施形態による実施環境の概略図である。この実施環境は、端末110と操作デバイス120とを含む。

端末110はレーシングゲームアプリケーションがインストールされた電子デバイスであり、この電子デバイスはスマートフォンやタブレットコンピュータなどであってよい。レーシングゲームアプリケーションとは、仮想車両が走行する状況を含むゲームアプリケーションを指し、仮想車両が走行する状況は、同じ仮想進路上を走行する少なくとも2つの仮想車両を含む状況を指し、仮想車両は、仮想自動車、仮想バイク、仮想戦車、仮想自転車などであってよい。レーシングゲームアプリケーションにおける仮想車両の表現形式は本願の本実施形態で限定されない。

端末110は有線方式か無線方式で操作デバイス120に接続される。任意に選べることとして、データ伝送の速度と安定性を確保するためには、端末110はデータ回線を使って操作デバイス120に接続される。

操作デバイス120は自動テストソフトウェアがインストールされたデバイスであり、操作デバイス120はパーソナルコンピュータやサーバーであってよい。図1では、操作デバイス120がパーソナルコンピュータである状況が一例として使われている。任意に選べることとして、本願の本実施形態における操作デバイス120は、モデルトレーニング機能と仮想車両操作機能とを有する。

可能な一実装において、モデルトレーニング段階では、端末110が少なくとも1つの車両走行ビデオを記録し、車両走行ビデオは、実在のプレイヤーが車両を操作して進路上を進行させるときの車両進行図を含んでおり、端末110は車両走行ビデオを操作デバイス120へ送信する。操作デバイス120は、車両走行ビデオの中の車両進行図に基づいて、機械学習アルゴリズムを使ったトレーニングによって進行方針モデルを生成する。仮想車両操作段階では、端末110がレーシングゲームアプリケーションのリアルタイム図を操作デバイス120へ送信する。操作デバイス120はリアルタイム図と進行方針モデルに基づいて図の中の仮想車両の目標進行方針を判断し、対応する操作命令を端末110へ送信し、端末110は、操作命令に従って、実在のプレイヤーが仮想車両を操作する効果をシミュレーションする。

別の可能な一実装において、レーシングゲームアプリケーションがインストールされた端末110に高い処理性能を有するAIチップが装備される場合は、操作デバイス120の援助がなくとも、AIチップが装備された端末110だけでモデルトレーニング機能と仮想車両操作機能を実行することもできる。これは本願の本実施形態で限定されない。

説明を容易にするため、以下の実施形態は、仮想車両操作方法が操作デバイスによって遂行される一例をとって説明する。

図2に示されているように、本願の本実施形態で提供される仮想車両操作方法はモデルトレーニング段階21とモデル使用段階23に分けることができる。モデルトレーニング段階21では、操作デバイスが、プレイヤービデオのプレイヤー車両進行図211から、図内の仮想車両のサンプル進路画像212とサンプル進行方針213とを抽出し、サンプル進路画像212をトレーニングサンプルの入力サンプルとして使用し、サンプル進行方針213をトレーニングサンプルの出力サンプルとして使用し、トレーニングサンプル214からなる複数のグループに基づいて、機械学習アルゴリズムを使ったトレーニングによってビヘイビア意思決定モデル215を得る。モデル使用段階23では、リアルタイムの仮想車両進行図231を得た後に、操作デバイスが、仮想車両進行図231から、仮想車両が位置する仮想進路部分の仮想進路画像232を抽出し、この仮想進路画像232をビヘイビア意思決定モデル215に入力する。ビヘイビア意思決定モデル215は入力された仮想進路画像232に基づいて対応する目標進行方針233を出力し、操作デバイスは、この目標進行方針233に基づいて、実際のユーザーが仮想車両234を操作して進行させる様子をシミュレーションする。

これ以降は、様々な実施形態を用いてモデルトレーニングプロセスとモデル使用プロセスを説明する。

図3は、本願の一実施形態によるモデルトレーニング方法の流れ図である。この方法は図1に示された実施環境内の操作デバイス120に使われる。方法は以下のステップを含む。

ステップ301．サンプル車両進行図を得、このサンプル車両進行図は、実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む。

任意に選べることとして、サンプル車両進行図はサンプル車両走行ビデオの一ビデオフレームであり、サンプル車両走行ビデオは、実在のプレイヤーがアプリケーションで仮想車両を操作して進行させるときに、端末によって画面記録機能で記録されるビデオである。

任意に選べることとして、仮想進路上を進行する仮想車両の図に加え、サンプル車両進行図は少なくとも1つの運転コントロールをさらに含んでよい。運転コントロールは仮想車両を操作して進行させるように構成され、仮想車両を様々な方法で進行させるために様々な運転コントロールが構成される。

例えば、図4に示されているように、サンプル車両進行図（ビデオフレーム）は、左下隅に位置する第1の操作エリア411と、右下隅に位置する第2の操作エリア412とを含む。第1の操作エリア411は左ターンコントロールと右ターンコントロールとを含み、第2の操作エリア412は、ブレーキコントロールと、ドリフトコントロール、アイテム使用コントロールとを含む。

任意に選べることとして、サンプル車両進行図は地図表示エリアをさらに含み、この地図表示エリアは仮想車両が位置する仮想進路部分の画像をリアルタイムで表示するために使われ、地図表示エリアに表示される画像は仮想車両の進行にともない変化する。地図表示エリアには仮想進路部分の画像が表示されるほか、仮想進路部分を走行する仮想車両のために現在の仮想車両と他の仮想車両の位置を明らかにするため、様々な形状や色の識別子がさらに使われてよい。

例えば、図4に示されているように、サンプル車両進行図は地図表示エリア413を含み、この地図表示エリアでは、仮想進路部分上での現在の仮想車両の位置を示すために矢印が使われ、仮想進路部分上での他の仮想車両の位置を示すために点が使われている。

任意に選べることとして、サンプル車両進行図は車両走行情報表示エリアをさらに含んでよく、この車両走行情報表示エリアは、現在の速度、現在のランキング、車両走行時間、車両走行中の仮想車両のラップナンバーといった情報を表示するために使われる。

例えば、図4に示されているように、サンプル車両進行図はランキング表示エリア414と車両走行時間表示エリア415とを含み、ランキング表示エリア414には現在の仮想車両のリアルタイムのランキングが表示され、車両走行時間表示エリア415にはラップタイムなどの情報が表示される。

ステップ302．サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出し、サンプル進行方針は、仮想進路上での仮想車両の進行方法を示すために使われる。

同一のサンプル車両進行図から抽出されたサンプル進路画像とサンプル進行方針は、1つのトレーニングサンプルグループを形成する。

サンプル進路画像は仮想車両が位置する仮想進路部分をリアルタイムで示すために使われ、サンプル進路画像は、サンプル車両進行図の全体画像であり、あるいはサンプル車両進行図内の部分画像である。

可能な一実装においては、複雑なサンプル車両進行図が以降のモデルトレーニングの妨げとなるのを防ぐため、サンプル車両進行図が簡素な要素だけを含んでいる場合は、操作デバイスはサンプル車両進行図全体をサンプル進路画像と判断し、サンプル車両進行図が複雑な要素を含んでいる場合は、操作デバイスはサンプル車両進行図内の所定のエリアの画像をサンプル進路画像として抽出する。

サンプル進行方針は、現在の仮想進路部分で仮想車両によって使われている進行方法を示すために使われる。任意に選べることとして、操作デバイスは画像認識によってサンプル車両進行図における各運転コントロールの作動状況を判断し、仮想車両によって使われている進行方法を判断することで、対応するサンプル進行方針を生成する。

ステップ303．サンプル進路画像とサンプル進行方針に基づいて進行意思決定モデルをトレーニングし、サンプル進路画像は進行意思決定モデルの入力サンプルであり、サンプル進行方針は進行意思決定モデルの出力サンプルである。

任意に選べることとして、進行意思決定モデルは入力された仮想進路画像に基づいて目標進行方針を出力するために使われ、仮想進路画像は仮想車両進行図から抽出され、目標進行方針は仮想車両を操作して進行させるために使われる。

様々なサンプル車両進行図について、操作デバイスはステップ301および302で複数のトレーニングサンプルグループを抽出し、サンプル進路画像を入力サンプルとして使用して、またサンプル進行方針を出力サンプルとして使用して、ビヘイビア意思決定モデルをトレーニングする。サンプル進路画像は、前処理された後に、入力サンプルとしてモデルトレーニングに使われ、前処理は少なくともグレー処理とスケーリング処理とを含む。

任意に選べることとして、モデリング段階では畳み込みニューラルネットワーク（CNN）モデルに基づいて元のビヘイビア意思決定モデルが構成され、その後はトレーニングサンプルを使ってビヘイビア意思決定モデルがトレーニングされる。トレーニングサンプルに基づいてビヘイビア意思決定モデルをトレーニングする具体的方法については、成熟したCNN関連アルゴリズムを参照できる。本願の本実施形態では詳細を繰り返し説明しない。

要するに、本願の本実施形態では、実在のプレイヤーが仮想車両を操作して進路上を進行させるときに、サンプル車両進行図からサンプル進路画像とサンプル進行方針が抽出され、サンプル進路画像とサンプル進行方針をトレーニングサンプルとして使って進行意思決定モデルがトレーニングされ、その後、仮想車両進行図から仮想進路画像を抽出することにより、またこの仮想進路画像を進行意思決定モデルに入力することにより、対応する目標進行方針を得ることができ、これにより、目標進行方針に従って仮想車両を操作して進路上を進行させる。進行意思決定モデルは仮想車両を操作する実在のプレイヤーの行動に基づくトレーニングによって得られるため、進行意思決定モデルによって出力される進行方針は実在のプレイヤーの運転習慣により良く一致し、より現実的なシミュレーション効果が達成される。加えて、進行意思決定モデルがトレーニングされるときに使われるトレーニングサンプルはいずれも仮想進路画像から抽出されるため、開発者がトレーニングサンプルを手作業で準備することはなく、開発時間が短縮され開発コストが削減される。

加えて、モデルトレーニング方法を用いてビヘイビア意思決定モデルをトレーニングする過程では、操作デバイスがコンピュータビジョン（画像認識）技術に基づいてサンプル車両進行図からトレーニングサンプルを直接抽出するため、トレーニングサンプルを得る際の困難が軽減される。加えて、アプリケーションの内部データを得る必要がないため、アプリケーションのコードが侵入されることはなく、また、アプリケーションの動作に影響がおよぶことがないため、アプリケーションの動作安定性が向上する。

サンプル車両進行図が過剰な要素を含んでいる場合に、サンプル車両進行図がサンプル進路画像（入力サンプル）としてモデルトレーニングに直接使用されると、サンプル進路画像内の過剰な干渉要素がモデルトレーニングの精度に悪影響をおよぼす。そこで、可能な一実装では、サンプル車両進行図が複雑で、地図表示エリアを含んでいる場合は、操作デバイスは地図表示エリアに表示される画像をサンプル進路画像として抽出する。

さらに、実在のプレイヤーはサンプル車両進行図内の運転コントロールを作動させることによって車両の進行方法を操作し、運転コントロールが作動されないときの表示スタイルと運転コントロールが作動されるときの表示スタイルは異なる。そこで、操作デバイスは、画像認識を用いてサンプル車両進行図内の運転コントロールの作動状況を認識し、作動状況に基づいて対応するサンプル進行方針を判断する。これ以降は一実施形態を一例として用いて説明する。

図5は、本願の別の一実施形態によるモデルトレーニング方法の流れ図である。この方法は図1に示された実施環境内の操作デバイス120に使われる。方法は以下のステップを含む。

ステップ501．サンプル車両進行図を得、このサンプル車両進行図は、実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む。

モデルのトレーニングに使われるトレーニングサンプルはいずれもサンプル車両進行図から抽出されるため、サンプル車両進行図における車両進行方法の精度（すなわち、トレーニングサンプルの質）は、モデルの質と、その後の仮想車両の進行の質に直接影響する。任意に選べることとして、モデルの質を高めるため、操作デバイスは、故障の数、進路衝突の数、逆走の回数、または異常運転の数が閾値を下回るサンプル車両走行ビデオを選択し、選択したサンプル車両走行ビデオからサンプル車両進行図としてビデオフレームを抽出する。

任意に選べることとして、操作デバイスは、車両走行ビデオに対応する車両の1ラップにおける最高速度やランキングに基づいてサンプル車両走行ビデオをさらに選別できる。これは本願の本実施形態で限定されない。

車両走行図に加え、端末によって記録される車両走行ビデオは、車両走行図の前の準備図や乗車図などの非車両走行図をさらに含む場合がある。そこで、非車両走行図からのトレーニングサンプルの抽出を防ぐため、任意に選べることとして、操作デバイスは、サンプル車両走行ビデオのビデオフレームが所定の運転コントロールを含んでいるか否かを画像認識技術で認識し、この所定の運転コントロールは車両走行図内の特定の運転コントロールである。例えば、所定の運転コントロールは、左ターンコントロール、右ターンコントロール、ドリフトコントロール、加速コントロール、およびブレーキコントロールのうちの少なくともいずれか1つである。

所定のコントロールは、該当する画像照合アルゴリズムを用いて、例えば、テンプレート照合、特徴点照合、テクスチャ照合、カラー照合を用いて、認識される。これは本願の本実施形態で限定されない。

操作デバイスは、ビデオフレームが所定の運転コントロールを含んでいる場合に、そのビデオフレームを保持する。操作デバイスは、ビデオフレームが所定の運転コントロールを含んでいない場合に、そのビデオフレームを破棄する。

例えば、図4に示されているように、操作デバイスはビデオフレームがブレーキコントロール412aを含んでいることをテンプレート照合で認識し、このビデオフレームが車両走行図を含んでいると判断し、このビデオフレームを保持する。

操作デバイスは、サンプル車両進行図を得た後に、ステップ502および503でサンプル車両進行図からサンプル進路画像をさらに抽出し、ステップ504でサンプル進行方針を抽出する。ステップ502〜503とステップ504に厳密な順序はない、すなわち、操作デバイスはサンプル車両進行図からサンプル進路画像とサンプル進行方針を同時に抽出してもよい。ステップ502〜503とステップ504の実行順序は本願の本実施形態で限定されない。

ステップ502．地図表示エリアの座標に基づいて、地図表示エリアに表示される画像を抽出する。

可能な一実装において、操作デバイスは車両走行図内の地図表示エリアの座標を保管する。操作デバイスは、サンプル進路画像を抽出するときに、これらの座標に基づいて、サンプル車両進行図内の地図表示エリアに表示される画像を抽出する。

例えば、図4に示されているように、操作デバイスは地図表示エリア413に表示される画像を抽出する。

別の可能な一実装において、操作デバイスはサンプル車両進行図内の地図表示エリアの座標を画像認識でさらに判断することで、地図表示エリアに表示される画像を抽出できる。これは本願で限定されない。

ステップ503．地図表示エリアに表示された画像をサンプル進路画像に決定する。

可能な一実装において、地図表示エリアに表示される画像が不透明（透明度0）である場合、すなわち、地図表示エリアを通して背景を見ることができない場合、操作デバイスは、地図表示エリアに表示される画像に対してグレー処理とサイズスケーリング処理を行った後にサンプル進路画像を得る。

別の可能な一実装において、地図表示エリアは車両走行図の一部分を占めるため、ユーザーが地図表示エリアを通して背景を見るのを助けるため、地図表示エリア内の画像は透明（すなわち半透明）にする。グレー処理とサイズスケーリング処理が地図表示エリアに表示される画像に直接行われると、背景画像が干渉を引き起こし、その後のモデルトレーニングに影響がおよぶ。

背景画像によって生じる干渉を軽減するため、可能な一実装では、操作デバイスが以下のステップを用いてサンプル進路画像を決定する。

ステップ1．サンプル進路画像とサンプル車両画像を得るため、地図表示エリアに表示される画像に対して特徴抽出を行い、特徴抽出方法はエッジ特徴抽出および／またはカラー特徴抽出を含む。

進路画像と車両画像と背景画像はそれぞれ特徴を有するため、操作デバイスは地図表示エリアに表示される画像に対して特徴抽出を行うことで、サンプル進路画像とサンプル車両画像を抽出できる。

任意に選べることとして、操作デバイスはエッジ特徴抽出および／またはカラー特徴抽出によってサンプル進路画像とサンプル車両画像を得ることができる。エッジ特徴抽出が行われる場合は、キャニーエッジ検出アルゴリズムかソーベルエッジ検出アルゴリズムが使用されてよい。これは本実施形態で限定されない。

例えば、図6に示されているように、進路は通常、連続した滑らかな曲線（または直線）であり、進路は通常、地図表示エリアで白色で表示される。そこで、操作デバイスは、地図表示エリア内の画像61に対してエッジ特徴抽出とカラー特徴抽出を行い、白く連続した滑らかな曲線を進路と判断することで、サンプル進路画像62を得る。

別の一例として、進路上の仮想車両は通常、黄色の三角形（現在の仮想車両）か赤色の点（別の仮想車両）を使って識別されるため、操作デバイスは地図表示エリアに表示される画像61に対してエッジ特徴抽出とカラー特徴抽出を行い、黄色の三角形を現在の仮想車両と判断して第1のサンプル車両画像63を得、赤い点を別の仮想車両と判断して第2のサンプル車両画像64を得る。

ステップ2．抽出されたサンプル進路画像とサンプル車両画像に基づいてサンプル進路画像を合成する。

操作デバイスは、サンプル進路画像とサンプル車両画像を抽出した後に、サンプル進路画像とサンプル車両画像を合成してサンプル進路画像を生成し、このサンプル進路画像のサイズは地図表示エリアに表示される画像のそれと同じである。

例えば、図6に示されているように、操作デバイスはサンプル進路画像62と第1のサンプル車両画像63と第2のサンプル車両画像64とを合成してサンプル進路画像65を得る。元の画像61と比べて、サンプル進路画像65は進路画像と車両画像だけを残しており、背景画像を含んでいないため、背景画像によって生じる干渉は軽減される。

ステップ3．サンプル進路画像を所定のサイズにスケールし、この所定のサイズは進行意思決定モデルによって指定される入力画像サイズである。

トレーニングによって最終的に得られる進行意思決定モデルの入力画像のサイズは一定であるため、操作デバイスは、サンプル進路画像のサイズが所定のサイズに一致しない場合に、所定のサイズに基づいてサンプル進路画像にスケーリング処理を行う。例えば、所定のサイズは50px＊50pxである。

例えば、図6に示されているように、操作デバイスはサンプル進路画像65を所定のサイズを有するサンプル進路画像66になるようスケールする。

操作デバイスは、サンプル進路画像をスケールする前に、サンプル進路画像に対してグレー処理を行う必要がさらにある。

ステップ504．サンプル車両進行図内の運転コントロールに基づいてサンプル進行方針を判断し、運転コントロールは仮想車両を操作するように構成される。

プレイヤーは、様々な仮想進路部分で様々な運転コントロールを作動させることによって車両を操作して進行させる。そこで、操作デバイスは、サンプル車両進行図内の運転コントロールの作動状況に基づいて仮想車両によって使われる進行方針を判断できる。可能な一実装において、操作デバイスは運転コントロールの作動状況を画像認識で判断する。図7に示されているように、このステップは以下のステップを含む。

ステップ504A．サンプル車両進行図で作動されたサンプル運転コントロールを認識する。

可能な一実装において、プレイヤーが車両走行図で運転コントロールを作動させると、このコントロールが作動されたことをプレイヤーに知らせるため、作動された運転のサイズが変化する。そこで、操作デバイスは、サンプル車両進行図内の運転コントロールのサイズに基づいて作動されたサンプル運転コントロールを判断できる。任意に選べることとして、このステップは以下のステップを含む。

ステップ1．各運転コントロールの作動時サイズを得、この作動時サイズは運転コントロールが作動されたときに表示されるサイズである。

任意に選べることとして、操作デバイスは作動された状態の各運転コントロールの作動時サイズを保管し、この作動時サイズは作動されていない運転コントロールのサイズより大きい。操作デバイスは、作動されたサンプル運転コントロールを認識したときに作動時サイズを得る。

例えば、表1には各運転コントロールと作動時サイズとの対応関係が示されている。

ステップ2．サイズがサンプル車両進行図内の作動時サイズに一致する運転コントロールを作動されたサンプル運転コントロールと判断する。

さらに、操作デバイスはサンプル車両進行図内の各運転コントロールのリアルタイムのサイズを得、リアルタイムのサイズが対応する作動時サイズと一致するか否かを比較する。リアルタイムのサイズが作動時サイズと一致する場合は、その運転コントロールが作動されたサンプル運転コントロールであると判断される。リアルタイムのサイズが作動時サイズと一致しない場合は、その運転コントロールは作動されていないと判断される。

別の可能な一実装において、作動された運転コントロールは強調表示などの表示効果を有することができる。相応に、操作デバイスは、作動されていない状態にある各運転コントロールの第1の形態テンプレートと、作動された状態にある各運転コントロールの第2の形態テンプレートをあらかじめ保管しており、テンプレート照合と特徴点照合とテクスチャ照合により、サンプル車両進行図で各運転コントロールと形態テンプレートとの一致度を計算できる。運転コントロールと第1の形態テンプレートとの一致度が運転コントロールと第2の形態テンプレートとの一致度より高い場合は、運転コントロールは作動されていないと判断される。運転コントロールと第2の形態テンプレートとの一致度が運転コントロールと第1の形態テンプレートとの一致度より高い場合は、運転コントロールは作動されていると判断される。

任意に選べることとして、テンプレート照合のときに、半透明に表示される運転コントロールの背景画像によって生じる干渉を防ぐため、操作デバイスは、テンプレート照合を行う前に、運転コントロールに対してエッジ特徴抽出を行い、その後にテンプレート照合を行うことで、テンプレート照合の精度を高めることができる。

例えば、図8に示されているように、操作デバイスはサンプル車両進行図内の右ターンコントロール81に対してエッジ特徴抽出を行うことで、背景画像によって生じる干渉をフィルタして、右ターンコントロール81のコントロール画像82を得、コントロール画像82を使ってテンプレート照合を行う。

別の可能な一実装において、作動される前の運転コントロールと作動された後の運転コントロールに違いがない場合は、サンプル車両走行ビデオを記録する前に、端末がコンタクト表示機能を有効にすることができ、この場合は、サンプル車両走行ビデオのサンプル車両進行図にコンタクトマークが表示され、このコンタクトマークの表示位置に基づいて作動されたサンプル運転コントロールが判断される。

ステップ504B．サンプル運転コントロールに対応するサンプル進行方法に基づいてサンプル進行方針を判断する。

操作デバイスは、サンプル運転コントロールを判断した後に、サンプル運転コントロールによって示されるサンプル進行方法に基づいて対応するサンプル進行方針をさらに判断する。

任意に選べることとして、サンプル進行方針はワンホット符号化文字列を使って表現され、このワンホット符号化文字列の長さはnであり、ワンホット符号化文字列内の各文字は進行方法に相当し、nは2以上の整数である。例えば、ワンホット符号化文字列は長さ6の2進文字列であり、この2進文字列で、2進文字に対応する進行方法は［左ターン、右ターン、左向きドリフト、右向きドリフト、減速、直進（無操作）］である。

サンプル進行方針に前述した表現形式を使用する場合、このステップは以下のステップを含む。

ステップ1．サンプル運転コントロールに対応するサンプル進行方法を判断する。

任意に選べることとして、操作デバイスは、サンプル運転コントロールとサンプル進行方法との対応関係をあらかじめ保管する。目標運転コントロールが左ターンコントロールであるなら目標進行方法は左ターンであり、目標運転コントロールが右ターンコントロールであるなら目標進行方法は右ターンであり、目標運転コントロールが左ターンコントロールとドリフトコントロールであるなら目標進行方法は左向きドリフトであり、目標運転コントロールが右ターンコントロールとドリフトコントロールであるなら目標進行方法は右向きドリフトであり、目標運転コントロールがブレーキコントロールであるなら目標進行方法は減速である。

ステップ2．ワンホット符号化文字列でサンプル進行方法に対応する文字の値を最大値になるよう設定する。

操作デバイスは、サンプル進行方法を判断した後に、ワンホット符号化文字列でサンプル進行方法に対応する文字の値を最大値になるよう設定し、残りの文字の値を最小値になるよう設定する。

例えば、ワンホット符号化文字列が長さ6の2進文字列であり、サンプル進行方法が左向きドリフトであるなら、操作デバイスは左ドリフトに対応する文字を1に設定し、残りの文字を0に設定し、得られるワンホット符号化文字列は［0，0，1，0，0，0］となる。

勿論、サンプル進行方針は別の形式を用いてさらに表現されてよい。これは本願の本実施形態で限定されない。

操作デバイスは前述したステップを通じて1つのトレーニングサンプルグループを抽出する。サンプル車両走行ビデオ内のビデオフレームの場合は、操作デバイスは前述したステップを繰り返し遂行することで、複数のトレーニングサンプルグループを抽出する。

ステップ505．各トレーニングサンプルグループ内のサンプル進行方針とトレーニングサンプルの合計数に基づいて各サンプル進行方針の比率を計算する。

ビヘイビア意思決定モデルの質はトレーニングサンプルの数と正の相関関係にある、すなわちトレーニングサンプルの数が少なければ少ないほど、モデルの質は低下する。したがって、トレーニングサンプルの数はサンプル閾値に達する必要がある。さらに、モデルの出力結果に対する後々の調整を減らすためには、操作デバイスが様々な進行方針に対応するトレーニングサンプルの数をさらに調節する必要がある。

任意に選べることとして、得られたトレーニングサンプルがサンプル閾値（例えば90000）に達すると、操作デバイスはそれぞれのサンプル進行方針に対応するトレーニングサンプルの比率を計算する。

例えば、トレーニングサンプルをサンプル進行方針に基づいて分類して左ターントレーニングサンプル、右ターントレーニングサンプル、左ドリフトトレーニングサンプル、右ドリフトトレーニングサンプル、減速トレーニングサンプル、および直進トレーニングサンプルを得、種々トレーニングサンプルの比率が13％、12％、11％、9％、8％、および47％である場合。

ステップ506．各サンプル進行方針の比率に基づいて種々トレーニングサンプルに対してサンプル抜き取りかサンプル複製を行い、サンプル抜き取りはトレーニングサンプルの数を減らすために使われ、サンプル複製はトレーニングサンプルの数を増やすために使われる。

可能な一実装において、操作デバイスは各種トレーニングサンプルの目標比率を保管する。様々なトレーニングサンプルの目標比率は同じである場合と異なる場合があり、各種トレーニングサンプルの目標比率は進路によって異なる場合がある。例えば、表2には、ある進路における各種トレーニングサンプルの目標比率が示されている。

様々なトレーニングサンプルの目標比率は、進路におけるカーブの数、カーブの角度、カーブの長さ、直線の長さ、直線の数といった因子に関係する。

任意に選べることとして、操作デバイスは、トレーニングサンプルの比率が目標比率に満たない場合に、サンプル複製によってトレーニングサンプルの数を増やす。操作デバイスは、トレーニングサンプルの比率が目標比率より高い場合に、サンプル抜き取りによってトレーニングサンプルの数を減らす。

ステップ505の例を参照すると、左ターントレーニングサンプルの比率は目標比率より高いため、操作デバイスは無作為抜き取りで左ターントレーニングサンプルの数を減らす。減速トレーニングサンプルの比率は目標比率より低いため、操作デバイスは無作為複製で減速トレーニングサンプルの数を増やす。

ステップ507．サンプル進路画像とサンプル進行方針に基づいて進行意思決定モデルをトレーニングする。

このステップの実施内容はステップ303のそれと同様であり、本実施形態では詳細を繰り返し説明しない。

本実施形態で、操作デバイスは、地図表示エリア内の画像をサンプル進路画像として抽出することで、サンプル車両進行図内の他の図要素がその後のモデルトレーニングを妨げるのを防ぎ、地図表示エリア内の画像が半透明で表示される場合は、特徴抽出によって進路画像と車両画像を抽出し、進路画像と車両画像を組み合わせてサンプル進路画像を生成することで、背景画像によって生じる干渉をさらに防ぎ、これにより、トレーニングによって得られるモデルの精度を高める。

本実施形態で、操作デバイスは、作動された状態にある運転コントロールの作動時サイズに基づいて、サンプル車両進行図の中で作動された運転コントロールを判断し、この運転コントロールに対応する進行方法に基づいてサンプル進行方針を判断し、これにより、判断したサンプル進行方針の精度を高める。

加えて、操作デバイスは、合計サンプル数に対する種々トレーニングサンプルの比率に基づいて種々トレーニングサンプルに対しサンプル抜き取りかサンプル複製をさらに行うことで、一部のトレーニングサンプルが過剰であったり一部のトレーニングサンプルが不足していたりする問題を回避し、これにより、後ほどモデル出力結果を調整する際の困難を軽減する。

進路上で仮想車両によって使われる進行方法は、仮想車両が現在位置する仮想進路部分に関係するばかりでなく、仮想車両の現在の速度と仮想進路上の障害物にも関係し、そのような情報はサンプル進路画像から抽出できない。例えば、同じ仮想進路部分で、車両速度が過度に高い場合は、仮想車両はカーブでドリフトする必要がある。車両速度が比較的低い場合は、仮想車両は通常どおりカーブを通過する（ドリフトではない）。ビヘイビア意思決定モデルの精度をさらに高め、プレイヤー操作のより現実的な効果をシミュレーションするためには、図5に基づき、図9に示されているように、方法は、ステップ506の後に以下のステップをさらに含む。

ステップ508．サンプル車両進行図に対して数字認識を行い、サンプル車両進行図からサンプル車両速度を抽出する。

可能な一実装において、操作デバイスはサンプル車両進行図内の速度表示エリアの座標をあらかじめ保管しており、これらの座標に基づいて速度表示エリアの内容に対して数字認識を行うことで、サンプル車両速度を抽出する。

操作デバイスは成熟した数字認識アルゴリズムを使って数字認識を行うことができ、具体的なアルゴリズムは本願の本実施形態で限定されない。

例えば、図4に示されているように、操作デバイスは速度表示エリア416内の図に対して数字認識を行うことで、仮想車両の現在のサンプル車両速度が165km／hであることを得る。

ステップ509．サンプル車両進行図に対して物体認識を行い、サンプル車両進行図からサンプル障害物情報を抽出する。

可能な一実装において、操作デバイスは画像認識技術を使ってサンプル車両進行図に対し物体認識を行うことで、サンプル障害物情報を抽出する。サンプル障害物情報は、障害物のタイプ、障害物のサイズ、障害物の距離などを含んでよい。

操作デバイスは成熟した画像認識アルゴリズムを使って物体認識を行うことができ、具体的なアルゴリズムは本願の本実施形態で限定されない。

操作デバイスは、サンプル車両速度だけを抽出してよく、あるいはサンプル障害物情報だけを抽出してよい。これは本願で限定されない。

相応に、操作デバイスはサンプル車両速度とサンプル障害物情報を使ってモデルトレーニングを行い、ステップ507は以下のステップに差し替えられてもよい。

ステップ510．サンプル進路画像と、サンプル車両速度と、サンプル障害物情報と、サンプル進行方針とに基づいて進行意思決定モデルをトレーニングし、サンプル車両速度とサンプル障害物情報は進行意思決定モデルの入力サンプルである。

操作デバイスはモデルトレーニングのときに、サンプル進路画像と、サンプル車両速度と、サンプル障害物情報を入力サンプルとして使用し、サンプル進行方針を出力サンプルとして使用し、教師あり機械学習アルゴリズムを使ってモデルをトレーニングする。トレーニングサンプルに基づいてビヘイビア意思決定モデルをトレーニングする具体的方法については、成熟したCNN関連アルゴリズムを参照できる。本願の本実施形態では詳細を繰り返し説明しない。

本実施形態で、操作デバイスは画像認識技術を使ってサンプル車両進行図からサンプル車両速度とサンプル障害物情報を抽出し、サンプル車両速度とサンプル障害物情報を使ってモデルトレーニングを行うことで、トレーニングされたモデルの精度を高める。

これ以降は概略的な一実施形態を用いてモデル使用プロセスを説明する。

図10は、本願の別の一実施形態による仮想車両操作方法の流れ図である。この方法は図1に示された実施環境内の操作デバイス120に使われる。方法は以下のステップを含む。勿論、方法は図1に示された環境内の端末110のみによって遂行されてもよい。これは本願の本実施形態で限定されない。

ステップ1001．仮想車両進行図を得、この仮想車両進行図は仮想進路上を進行する仮想車両の図を含む。

操作デバイスがサンプル車両走行ビデオからサンプル車両進行図を得るモデルトレーニング段階と違って、モデル使用段階では、操作デバイスが（車両走行アプリケーションがインストールされた）端末からリアルタイムで仮想車両進行図を得る。任意に選べることとして、端末は操作デバイスへ仮想車両進行図をリアルタイムで盛んに送信する。

仮想車両進行図に表示される内容はサンプル車両進行図に表示される内容と同様であり、違いは、サンプル車両進行図に表示される仮想車両が実在のプレイヤーによって操作されるのに対し、仮想車両進行図に表示される仮想車両が操作デバイスによって操作される点にある。詳細は本実施形態で繰り返し説明しない。

例えば、図11に示されているように、操作デバイスは仮想車両進行図1101を得る。

ステップ1002．仮想車両進行図から仮想進路画像を抽出し、この仮想進路画像は仮想車両が位置する仮想進路部分の画像である。

操作デバイスがサンプル車両進行図からサンプル進路画像を抽出するモデルトレーニング段階と同様に、モデル使用段階では、操作デバイスが画像認識技術を使って仮想車両進行図から仮想進路画像を抽出する。仮想進路画像を抽出するプロセスについては、前述したステップ302を参照でき、詳細は本実施形態で繰り返し説明しない。

例えば、図11に示されているように、操作デバイスは仮想車両進行図1101から仮想進路画像1102を抽出する。

ステップ1003．仮想進路画像を進行意思決定モデルに入力し、この進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、サンプル進路画像とサンプル進行方針はサンプル車両進行図から抽出され、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む。

操作デバイスは抽出された仮想進路画像をモデル入力として使用し、仮想進路画像を進行意思決定モデルに入力し、進行意思決定モデルは仮想進路画像に基づいて対応する目標進行方針を出力する。仮想進路画像は、意思決定モデルに入力される前に、グレー処理とサイズスケーリング処理を受ける。

可能な一実装において、ビヘイビア意思決定モデルはCNNモデルに基づいている。ビヘイビア意思決定モデルは入力された仮想進路画像に対して一連の畳み込み、プーリング、および全結合処理を行い、最終的には目標進行方針を出力する。

例えば、図11に示されているように、操作デバイスは仮想進路画像1102を50＊50のグレー画像1103になるようにスケールし、4つの連続するグレー画像1103を入力として使用する。畳み込み層＿1（局所特徴抽出の実行に使用）では、32の5＊5畳み込みカーネルを使ってそれぞれのグレー画像1103に畳み込み処理が行われ、32の50＊50特徴画像1104を得、32の50＊50特徴画像1104はプーリング層＿1に入力される。プーリング層＿1では、それぞれの特徴画像1104がプーリング処理（例えば、特徴画像のサイズを狭める最大プーリング処理）を受けた後に、25＊25特徴画像1105に変換され、畳み込み層＿2に入力される。畳み込み層＿2では、16の畳み込みカーネルを使ってそれぞれの特徴画像1105に畳み込み処理が行われ、16の25＊25特徴画像1106を得、16の25＊25特徴画像1106は畳み込み層＿3に入力される。畳み込み層＿3では、16の畳み込みカーネルを使ってそれぞれの特徴画像1106に畳み込み処理が行われ、16の25＊25特徴画像1107を得、16の25＊25特徴画像1107は隠れ層＿1（または全結合層と呼ばれる）に入力される。隠れ層＿1では、16の特徴画像1107に全結合処理が行われ、最終的には対応する目標進行方針1108（作動された運転コントロール）が出力される。

図11は一例に過ぎず、本願を制限するものではない。

ステップ1004．進行意思決定モデルによって出力される目標進行方針に従って仮想車両を操作して進行させる。

任意に選べることとして、操作デバイスは目標進行方針によって示される進行方法に基づき、この進行方法に対応する目標運転コントロールを判断し、この目標運転コントロールを作動させる操作命令を端末へ送信する。端末は、操作命令を受信した後に、仮想車両を操作して進行させるため、プレイヤーが目標運転コントロールを作動させる作業をシミュレーションする。

例えば、図11に示されているように、ビヘイビア意思決定モデルによって出力される目標進行方針が左ターンなら、操作デバイスは左ターンに対応する目標運転コントロールが左ターンコントロールであると判断し、左ターンコントロールを作動させる操作命令を送信し、端末はこの操作命令に従って仮想車両を操作して左にターンさせる。

要するに、本願の本実施形態では、実在のプレイヤーが仮想車両を操作して仮想進路上を進行させるときに、サンプル車両進行図からサンプル進路画像とサンプル進行方針が抽出され、サンプル進路画像とサンプル進行方針をトレーニングサンプルとして使って進行意思決定モデルがトレーニングされ、その後、仮想車両進行図から仮想進路画像を抽出することにより、また仮想進路画像を進行意思決定モデルに入力することにより、対応する目標進行方針を得ることができ、これにより、目標進行方針に従って仮想車両を操作して進路上を走行させる。進行意思決定モデルは車両を操作する実在のプレイヤーの行動に基づくトレーニングを通じて得られるため、進行意思決定モデルによって出力される進行方針は実在のプレイヤーの運転習慣により良く一致し、より現実的なシミュレーション効果が達成される。加えて、進行意思決定モデルがトレーニングされるときに使われるトレーニングサンプルはいずれも仮想進路画像から抽出されるため、開発者がトレーニングサンプルを手作業で準備することはなく、開発時間が短縮され開発コストが削減される。

加えて、前述した方法に基づいてビヘイビア意思決定モデルを使用する過程では、操作デバイスがコンピュータビジョン（画像認識）技術に基づいて仮想車両進行図から仮想進路画像を直接抽出し、仮想車両走行アプリケーションの内部データを得る必要はないため、仮想車両走行アプリケーションのコードが侵入されることはなく、また、仮想車両走行アプリケーションの動作に影響がおよぶことがないため、仮想車両走行アプリケーションの動作安定性が向上する。

モデルトレーニングのときのサンプル進路画像の抽出と同様、仮想車両進行図が複雑で、地図表示エリアを含んでいる場合は、操作デバイスは地図表示エリアに表示される画像を仮想進路画像として抽出する。説明のため、概略的な一実施形態を以下に提示する。

図12は、本願の別の一実施形態による仮想車両操作方法の流れ図である。この方法は図1に示された実施環境内の操作デバイス120に使われる。方法は以下のステップを含む。

ステップ1201．仮想車両進行図を得、この仮想車両進行図は仮想進路上を進行する仮想車両の図を含む。

このステップの実施内容はステップ1001のそれと同様であり、本実施形態では詳細を繰り返し説明しない。

ステップ1202．地図表示エリアの座標に基づいて、地図表示エリアに表示される画像を抽出する。

操作デバイスがサンプル進路画像を抽出するモデルトレーニング段階と同様、モデル使用段階では、操作デバイスが、あらかじめ保管された地図表示エリアの座標に基づいて、仮想車両進行図内の地図表示エリアに表示される画像を抽出する。画像を抽出する実施内容については、ステップ502を参照でき、本実施形態では詳細を繰り返し説明しない。

ステップ1203．地図表示エリアに表示された画像を仮想進路画像に決定する。

可能な一実装において、地図表示エリアに表示される画像が不透明（透明度0）である場合、すなわち、地図表示エリアを通して背景を見ることができない場合、操作デバイスは、地図表示エリアに表示される画像に対してグレー処理とサイズスケーリング処理を行って仮想進路画像を得る。

別の可能な一実装において、地図表示エリアは車両進行図の一部分を占めるため、ユーザーが地図表示エリアを通して背景を見るのを助けるため、地図表示エリア内の図は透明（すなわち半透明）にする。グレー処理とサイズスケーリング処理が地図表示エリアに表示される画像に直接行われると、背景画像が干渉を引き起こし、その後のモデルトレーニングに影響がおよぶ。

背景画像によって生じる干渉を軽減するため、可能な一実装では、操作デバイスが以下のステップを用いて仮想進路画像を決定する。

ステップ1．進路画像と車両画像を得るため、地図表示エリアに表示される画像に対して特徴抽出を行い、特徴抽出方法はエッジ特徴抽出および／またはカラー特徴抽出を含む。

進路画像と車両画像と背景画像はそれぞれ特徴を有するため、操作デバイスは地図表示エリアに表示される画像に対して特徴抽出を行うことで、サンプル進路画像とサンプル車両画像を抽出できる。

任意に選べることとして、操作デバイスはエッジ特徴抽出および／またはカラー特徴抽出によって進路画像と車両画像を得ることができる。エッジ特徴抽出が行われる場合は、キャニーエッジ検出アルゴリズムかソーベルエッジ検出アルゴリズムが使用されてよい。これは本実施形態で限定されない。

ステップ2．抽出された進路画像と車両画像に基づいて仮想進路画像を合成する。

操作デバイスは、進路画像と車両画像を抽出した後に、進路画像と車両画像を合成して仮想進路画像を生成し、この仮想進路画像のサイズは地図表示エリアに表示される画像のそれと同じである。

ステップ3．仮想進路画像を所定のサイズにスケールし、この所定のサイズは進行意思決定モデルによって指定される入力画像サイズである。

画像サイズの障害を回避するため、操作デバイスは、仮想進路画像のサイズが所定のサイズに一致しない場合に、所定のサイズに基づいて仮想進路画像にスケーリング処理を行う。例えば、所定のサイズは50px＊50pxである。

操作デバイスは、仮想進路画像をスケールする前に、仮想進路画像に対してグレー処理を行う必要がさらにある。

ステップ1204．仮想進路画像を進行意思決定モデルに入力する。

このステップの実施内容はステップ1003のそれと同様であり、本実施形態では詳細を繰り返し説明しない。

ステップ1205．進行意思決定モデルによって出力される目標進行方針を得る。

目標進行方針は仮想車両に必要な進行方法を示すために使われ、進行方法は、左ターン、右ターン、左向きドリフト、右向きドリフト、減速、および直進を含む。

別の可能な一実装において、進行方法は、ジャンプ、リセットなどをさらに含んでよく、具体的な進行方法は本願の本実施形態で限定されない。

ステップ1206．目標進行方針に対応する目標運転コントロールを判断し、目標運転コントロールは目標進行方針の実行を引き起こすように構成される。

任意に選べることとして、目標進行方針はワンホット符号化文字列を使って表現され、このワンホット符号化文字列の長さはnであり、ワンホット符号化文字列内の各文字は進行方法に相当し、nは2以上の整数である。例えば、ワンホット符号化文字列は長さ6の2進文字列であり、この2進文字列で、2進文字に対応する進行方法は［左ターン、右ターン、左向きドリフト、右向きドリフト、加速、直進（無操作）］である。

目標進行方針に前述した表現形式を使用する場合、操作デバイスによる目標運転コントロールの判断は以下のステップを含んでよい。

ステップ1．ワンホット符号化文字列内の最大文字に対応する目標進行方法を判断する。

任意に選べることとして、ワンホット符号化文字列が長さ6の2進文字列である場合、操作デバイスは、2進文字列における文字「1」の文字位置に対応する進行方法を目標進行方法と判断する。

例えば、ステップ1206の例を参照し、得られるワンホット符号化文字列が［0，0，1，0，0，0］であるなら、操作デバイスは左ドリフトを目標進行方法と判断する。

ステップ2．目標進行方法に対応する運転コントロールを目標運転コントロールと判断する。

任意に選べることとして、操作デバイスは運転コントロールと進行方法との対応関係をあらかじめ保管しており、操作デバイスはこの対応関係に基づいて目標運転コントロールを判断する。

目標進行方法が左ターンであるなら目標運転コントロールは左ターンコントロールであり、目標進行方法が右ターンであるなら目標運転コントロールは右ターンコントロールであり、目標進行方法が左向きドリフトであるなら目標運転コントロールは左ターンコントロールとドリフトコントロールであり、目標進行方法が右向きドリフトであるなら目標運転コントロールは右ターンコントロールとドリフトコントロールであり、目標進行方法が減速であるなら目標運転コントロールはブレーキコントロールである。

ステップ1207．仮想車両進行図内の目標運転コントロールの座標に基づいて、目標運転コントロールを作動させる作業をシミュレーションする。

操作デバイスは、目標運転コントロールを判断した後に、仮想車両進行図内の目標運転コントロールの座標に基づいて対応する操作命令を生成し、この操作命令を端末に送信し、端末は、この操作命令に基づいて、目標運転コントロールを作動させる作業をシミュレーションする。

実在のプレイヤーが運転コントロールを作動させるときは、長押し作業がある場合がある、すなわち運転コントロールを作動された状態に保つ必要がある。そこで、目標運転コントロールを作動させる作業のシミュレーションのときに、プレイヤーの運転行動をより現実的にシミュレーションし、長押し作業を連続クリック作業としてシミュレーションするのを防ぐため、目標運転コントロールが第1の運転コントロールから第2の運転コントロールに変更される場合は、第1の運転コントロールを長押しする作業のシミュレーションが止められ、第2の運転コントロールを長押しする作業がシミュレーションされ、目標運転コントロールが変わらない場合は、目標運転コントロールを長押しする作業がシミュレーションされる。長押し作業の持続時間は既定の持続時間であってよく、例えば既定の持続時間は20msである。

本実施形態で、操作デバイスは地図表示エリア内の画像を仮想進路画像として抽出することで、仮想車両進行図内の他の図要素がモデルの使用を妨げるのを防ぎ、さらに、地図表示エリアで画像が半透明に表示される場合は、特徴抽出によって進路画像と車両画像が抽出され、進路画像と車両画像を組み合わせることによって仮想進路画像を生成することで、背景画像によって生じる干渉をさらに防ぎ、モデル出力の精度を高める。

仮想進路上で仮想車両によって使われる進行方法は、仮想車両が現在位置する仮想進路部分に関係するばかりでなく、仮想車両の現在の速度と仮想進路上の障害物にも関係し、そのような情報は仮想進路画像から抽出できない。例えば、同じ仮想進路部分で、車両速度が過度に高い場合は、仮想車両はカーブでドリフトする必要がある。車両速度が比較的低い場合は、仮想車両は通常どおりカーブを通過する（ドリフトではない）。プレイヤー操作のより現実的な効果をシミュレーションするためには、図12に基づき、図13に示されているように、方法は、ステップ1201の後に以下のステップをさらに含む。

ステップ1208．仮想車両進行図に対して数字認識を行い、仮想車両進行図から車両速度を抽出する。

可能な一実装において、操作デバイスは車両走行図内の速度表示エリアの座標をあらかじめ保管しており、これらの座標に基づいて速度表示エリアの内容に対して数字認識を行うことで、車両速度を抽出する。

操作デバイスは成熟した数字認識アルゴリズムを使って数字認識を行うことができ、具体的なアルゴリズムは本願の本実施形態で限定されない。

ステップ1209．仮想車両進行図に対して物体認識を行い、仮想車両進行図から障害物情報を抽出する。

可能な一実装において、操作デバイスは画像認識技術を使って仮想車両進行図に対し物体認識を行うことで、障害物情報を抽出する。障害物情報は、障害物のタイプ、障害物のサイズ、障害物の距離などを含んでよい。

操作デバイスは成熟した画像認識アルゴリズムを使って物体認識を行うことができ、具体的なアルゴリズムは本願の本実施形態で限定されない。

操作デバイスは、車両速度だけを抽出してよく、あるいは障害物情報だけを抽出してよい。これは本願で限定されない。

ステップ1210．進行意思決定モデルに車両速度および／または障害物情報を入力する。

可能な一実装では、図11に示されているように、全結合層で車両速度および／または障害物情報が加えられ、進行意思決定モデルは車両速度および／または障害物情報に基づいて目標進行方針を判断する。

本実施形態で、操作デバイスは画像認識技術を使って仮想車両進行図から仮想車両のリアルタイムの車両速度と障害物情報を抽出し、車両速度と障害物情報をトレーニングのためビヘイビア意思決定モデルに入力し、これにより、出力される目標進行方針は実在のユーザーの意思決定により良く一致し、シミュレーションと操作の現実みが増す。

これ以降は本願の装置の実施形態を説明するが、この装置の実施形態は本願の方法の実施形態を遂行するように構成されてよい。本願の装置の実施形態で開示されていない詳細については、本願の方法の実施形態を参照されたい。

図14は、本願の一実施形態による仮想車両操作装置のブロック図である。この装置はハードウェアによって実装されてよく、あるいは対応するソフトウェアを実行するハードウェアによって実装されてよい。装置は、
仮想車両進行図を得るように構成された第1の取得モジュール1410であって、この仮想車両進行図は仮想進路上を進行する仮想車両の図を含む、第1の取得モジュール1410と、
仮想車両進行図から仮想進路画像を抽出するように構成された第1の抽出モジュール1420であって、この仮想進路画像は仮想車両が位置する仮想進路部分の画像である、第1の抽出モジュール1420と、
仮想進路画像を進行意思決定モデルに入力するように構成された第1の入力モジュール1430であって、この進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、サンプル進路画像とサンプル進行方針はサンプル車両進行図から抽出され、サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、第1の入力モジュール1430と、
進行意思決定モデルによって出力される目標進行方針に従って仮想車両を操作して進行させるように構成された操作モジュール1440とを含んでよい。

任意に選べることとして、仮想車両進行図は地図表示エリアを含み、この地図表示エリアは仮想車両が位置する仮想進路部分の画像をリアルタイムで表示するために使われ、
第1の抽出モジュール1420は、
地図表示エリアの座標に基づいて、地図表示エリアに表示される画像を抽出し、
地図表示エリアに表示された画像を仮想進路画像に決定するように構成される。

任意に選べることとして、地図表示エリアに表示される画像は透明であり、第1の抽出モジュール1420は、
進路画像と車両画像を得るため、地図表示エリアに表示される画像に対して特徴抽出を行うように構成され、特徴抽出方法はエッジ特徴抽出および／またはカラー特徴抽出を含み、なおかつ第1の抽出モジュール1420は、
抽出された進路画像と車両画像に基づいて仮想進路画像を合成し、
仮想進路画像を所定のサイズにスケールするように構成され、この所定のサイズは進行意思決定モデルによって指定される入力画像サイズである。

任意に選べることとして、仮想車両進行図は運転コントロールをさらに含み、この運転コントロールは仮想車両を操作するように構成され、
操作モジュール1440は、
目標進行方針に対応する目標運転コントロールを判断するように構成され、目標運転コントロールは目標進行方針の実行を引き起こすように構成され、なおかつ操作モジュール1440は、
仮想車両進行図内の目標運転コントロールの座標に基づいて、目標運転コントロールを作動させる作業をシミュレーションするように構成される。

任意に選べることとして、目標進行方針はワンホット符号化文字列を使って表現され、このワンホット符号化文字列の長さはnであり、ワンホット符号化文字列内の各文字は進行方法に相当し、nは2以上の整数であり、

操作モジュール1440は、
ワンホット符号化文字列内の最大文字に対応する目標進行方法を判断し、
この目標進行方法に対応する運転コントロールを目標運転コントロールと判断するように構成され、
目標進行方法が左ターンであるなら目標運転コントロールは左ターンコントロールであり、目標進行方法が右ターンであるなら目標運転コントロールは右ターンコントロールであり、目標進行方法が左向きドリフトであるなら目標運転コントロールは左ターンコントロールとドリフトコントロールであり、目標進行方法が右向きドリフトであるなら目標運転コントロールは右ターンコントロールとドリフトコントロールであり、目標進行方法が減速であるなら目標運転コントロールはブレーキコントロールである。

任意に選べることとして、操作モジュール1440は、
目標運転コントロールが第1の運転コントロールから第2の運転コントロールに変更される場合に、第1の運転コントロールを長押しする作業をシミュレーションするのを止め、第2の運転コントロールを長押しする作業をシミュレーションし、
目標運転コントロールが変わらない場合に、目標運転コントロールを長押しする作業をシミュレーションするように構成される。

任意に選べることとして、進行意思決定モデルはサンプル車両速度および／またはサンプル障害物情報にさらに基づくトレーニングを通じて生成され、サンプル車両速度とサンプル障害物情報はサンプル車両走行ビデオの図から抽出され、

装置は、
仮想車両進行図に対して数字認識を行い、仮想車両進行図から車両速度を抽出するように構成された速度抽出モジュール、
および／または
仮想車両進行図に対して物体認識を行い、仮想車両進行図から障害物情報を抽出するように構成された情報抽出モジュール、および
車両速度および／または障害物情報を進行意思決定モデルに入力するように構成された第2の入力モジュールをさらに含む。

図15は、本願の別の一実施形態によるモデルトレーニング装置のブロック図である。この装置はハードウェアによって実装されてよく、あるいは対応するソフトウェアを実行するハードウェアによって実装されてよい。装置は、
サンプル車両進行図を得るように構成された第2の取得モジュール1510であって、このサンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、第2の取得モジュール1510と、
サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出するように構成された第2の抽出モジュール1520であって、このサンプル進行方針は仮想進路上での仮想車両の進行方法を示すために使われる、第2の抽出モジュール1520と、
サンプル進路画像とサンプル進行方針に基づいて進行意思決定モデルをトレーニングするように構成されたトレーニングモジュール1530であって、サンプル進路画像は進行意思決定モデルの入力サンプルであり、サンプル進行方針は進行意思決定モデルの出力サンプルであり、進行意思決定モデルは入力された仮想進路画像に基づいて目標進行方針を出力するために使われ、仮想進路画像は仮想車両進行図からの抽出によって得られ、目標進行方針は仮想車両を操作して進行させるために使われる、トレーニングモジュール1530とを含んでよい。

任意に選べることとして、サンプル車両進行図は地図表示エリアを含み、この地図表示エリアは仮想車両が位置する仮想進路部分の画像をリアルタイムで表示するために使われ、

第2の抽出モジュール1520は、
地図表示エリアの座標に基づいて、地図表示エリアに表示される画像を抽出し、
地図表示エリアに表示された画像をサンプル進路画像に決定し、
サンプル車両進行図内の運転コントロールに基づいてサンプル進行方針を判断するように構成され、この運転コントロールは仮想車両を操作するように構成される。

任意に選べることとして、地図表示エリアに表示される画像は透明であり、第2の抽出モジュール1520は、
サンプル進路画像とサンプル車両画像を得るため、地図表示エリアに表示される画像に対して特徴抽出を行うように構成され、特徴抽出方法はエッジ特徴抽出および／またはカラー特徴抽出を含み、なおかつ第2の抽出モジュール1520は、
抽出されたサンプル進路画像とサンプル車両画像に基づいてサンプル進路画像を合成し、
サンプル進路画像を所定のサイズにスケールするように構成され、この所定のサイズは進行意思決定モデルによって指定される入力画像サイズである。

任意に選べることとして、第2の抽出モジュール1520は、
サンプル車両進行図で作動されたサンプル運転コントロールを認識し、
このサンプル運転コントロールに対応するサンプル進行方法に基づいてサンプル進行方針を判断するように構成される。

任意に選べることとして、第2の抽出モジュール1520は、
それぞれの運転コントロールの作動時サイズを得るように構成され、この作動時サイズは運転コントロールが作動されたときに表示されるサイズであり、なおかつ第2の抽出モジュール1520は、
サイズがサンプル車両進行図内の作動時サイズに一致する運転コントロールを作動されたサンプル運転コントロールと判断するように構成される。

任意に選べることとして、サンプル進行方針はワンホット符号化文字列を使って表現され、このワンホット符号化文字列の長さはnであり、ワンホット符号化文字列内の各文字は進行方法に相当し、nは2以上の整数であり、
第2の抽出モジュール1520は、
サンプル運転コントロールに対応するサンプル進行方法を判断し、
ワンホット符号化文字列でサンプル進行方法に対応する文字の値を最大値になるよう設定するように構成され、
目標運転コントロールが左ターンコントロールであるなら目標進行方法は左ターンであり、目標運転コントロールが右ターンコントロールであるなら目標進行方法は右ターンであり、目標運転コントロールが左ターンコントロールとドリフトコントロールであるなら目標進行方法は左向きドリフトであり、目標運転コントロールが右ターンコントロールとドリフトコントロールであるなら目標進行方法は右向きドリフトであり、目標運転コントロールがブレーキコントロールであるなら目標進行方法は減速である。

任意に選べることとして、装置は、
各トレーニングサンプルグループ内のサンプル進行方針とトレーニングサンプルの合計数に基づいて各サンプル進行方針の比率を計算するように構成された計算モジュールと、
各サンプル進行方針の比率に基づいて種々トレーニングサンプルに対してサンプル抜き取りかサンプル複製を行うように構成された抜き取り・複製モジュールであって、サンプル抜き取りはトレーニングサンプルの数を減らすために使われ、サンプル複製はトレーニングサンプルの数を増やすために使われる、抜き取り・複製モジュールとをさらに含む。

任意に選べることとして、装置は、
サンプル車両進行図に対して数字認識を行い、サンプル車両進行図からサンプル車両速度を抽出するように構成された数字認識モジュールと、
サンプル車両進行図に対して物体認識を行い、サンプル車両進行図からサンプル障害物情報を抽出するように構成された障害物認識モジュールとをさらに含む。

トレーニングモジュール1530は、
サンプル進路画像と、サンプル車両速度と、サンプル障害物情報と、サンプル進行方針とに基づいて進行意思決定モデルをトレーニングするようにさらに構成され、サンプル車両速度とサンプル障害物情報は進行意思決定モデルの入力サンプルである。

本実施形態の一実施形態は、メモリーと1つ以上のプロセッサとを含む操作デバイスをさらに提供し、メモリーはコンピュータ可読命令を保管し、コンピュータ可読命令は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、前述した実施形態による仮想車両操作方法またはモデルトレーニング方法のステップを遂行させる。

図16は、本願の一実施形態による操作デバイスの概略構造図である。この操作デバイスは前述した実施形態で提供される方法を実施するように構成される。具体的には、

操作デバイス1600は、中央処理装置（CPU）1601と、ランダムアクセスメモリー（RAM）1602と読み取り専用メモリー（ROM）1603とを含むシステムメモリー1604と、システムメモリー1604と中央処理装置1601とを接続するシステムバス1605とを含む。操作デバイス1600は、コンピュータ内のコンポーネント間で情報を伝送するように構成された基本入出力システム（I／Oシステム）1606と、オペレーティングシステム1613とアプリケーションプログラム1614と他のプログラムモジュール1615とを保管するように構成されたマスストレージデバイス1607とをさらに含む。

基本入出力システム1606は、情報を表示するように構成されたディスプレイ1608と、マウスやキーボードなど、ユーザーが情報を入力することを可能にするように構成された入力デバイス1609とを含む。ディスプレイ1608と入力デバイス1609はいずれも、システムバス1605に接続された入出力コントローラ1610を使って中央処理装置1601へ接続される。基本入出力システム1606は、キーボード、マウス、電子スタイラスといった複数の他のデバイスから入力を受け取って処理するように構成された入出力コントローラ1610をさらに含んでよい。同様に、入出力コントローラ1610はさらに、表示画面、プリンタ、または他種出力デバイスへ出力を提供する。

マスストレージデバイス1607は、システムバス1605に接続されたマスストレージコントローラ（図示せず）によって中央処理装置1601に接続される。マスストレージデバイス1607と関連コンピュータ可読媒体は、操作デバイス1600のための不揮発性ストレージを提供する。すなわち、マスストレージデバイス1607は、ハードディスクドライブやCD−ROMドライバといったコンピュータ可読媒体（図示せず）を含んでよい。

通常、コンピュータ可読媒体はコンピュータ記憶媒体と通信媒体とを含む場合がある。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他データなどの情報を保管し、何らかの方法や技術を用いて実装される、揮発性および不揮発性で取り外し可能および取り外し不能の媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EPROM、EEPROM、フラッシュメモリー、または他のソリッドステートストレージ技術、CD−ROM、DVD、または他の光学式ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気式ストレージデバイスを含む。勿論、当業者なら、コンピュータ記憶媒体が前述した数種に限定されないことを知り得る。システムメモリー1604とマスストレージデバイス1607はメモリーと総称されることがある。

本願の実施形態によると、操作デバイス1600は、インターネットなどのネットワークを通じてネットワーク上のリモートコンピュータにさらに接続されてもよい。すなわち、操作デバイス1600は、システムバス1605に接続されたネットワークインターフェースユニット1611を使ってネットワーク1612に接続されてよく、あるいはネットワークインターフェースユニット1611を使って別種のネットワークやリモートコンピュータシステムに接続されてもよい。

本願の一実施形態は、コンピュータ可読命令を保管する不揮発性コンピュータ可読記憶媒体をさらに提供し、コンピュータ可読命令は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、前述した実施形態による仮想車両操作方法またはモデルトレーニング方法のステップを遂行させる。

任意に選べることとして、コンピュータ可読記憶媒体は、読み取り専用メモリー（ROM）、ランダムアクセスメモリー（RAM）、ソリッドステートドライブ（SSD）、光ディスクなどを含んでよい。RAMは、抵抗変化型メモリー（ReRAM）とダイナミックランダムアクセスメモリー（DRAM）とを含んでよい。本願の前述した実施形態の連続番号は説明を簡便に行うためのものに過ぎず、実施形態の優先順位を示唆するものではない。

21 モデルトレーニング段階
23 モデル使用段階
61 画像
62 サンプル進路画像
63 第1のサンプル車両画像
64 第2のサンプル車両画像
65 サンプル進路画像
66 サンプル進路画像
81 右ターンコントロール
82 コントロール画像
110 端末
120 操作デバイス
211 プレイヤー車両進行図
212 サンプル進路画像
213 サンプル進行方針
214 トレーニングサンプル
215 ビヘイビア意思決定モデル
231 仮想車両進行図
232 仮想進路画像
233 目標進行方針
234 仮想車両
411 第1の操作エリア
412 第2の操作エリア
412a ブレーキコントロール
413 地図表示エリア
414 ランキング表示エリア
415 車両走行時間表示エリア
416 速度表示エリア
1101 仮想車両進行図
1102 仮想進路画像
1103 グレー画像
1104 特徴画像
1105 特徴画像
1106 特徴画像
1107 特徴画像
1108 目標進行方針
1410 第1の取得モジュール
1420 第1の抽出モジュール
1430 第1の入力モジュール
1440 操作モジュール
1510 第2の取得モジュール
1520 第2の抽出モジュール
1530 トレーニングモジュール
1600 操作デバイス
1601 中央処理装置
1602 ランダムアクセスメモリー
1603 読み取り専用メモリー
1604 システムメモリー
1605 システムバス
1606 基本入出力システム
1607 マスストレージデバイス
1608 ディスプレイ
1609 入力デバイス
1610 入出力コントローラ
1611 ネットワークインターフェースユニット
1612 ネットワーク
1613 オペレーティングシステム
1614 アプリケーションプログラム
1615 他のプログラムモジュール

Claims (20)

1. 操作デバイスによって遂行される仮想車両操作方法であって、
   仮想車両進行図を得るステップであって、前記仮想車両進行図は仮想進路上を進行する仮想車両の図を含む、ステップと、
   前記仮想車両進行図から仮想進路画像を抽出するステップであって、前記仮想進路画像は前記仮想車両が位置する仮想進路部分の画像である、ステップと、
   前記仮想進路画像を進行意思決定モデルに入力するステップであって、前記進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、前記サンプル進路画像と前記サンプル進行方針はサンプル車両進行図から抽出され、前記サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、ステップと、
   前記進行意思決定モデルによって出力される目標進行方針に従って前記仮想車両を操作して進行させるステップと
   を含む、方法。
2. 前記仮想車両進行図は地図表示エリアを含み、前記地図表示エリアは前記仮想車両が位置する仮想進路部分の画像をリアルタイムで表示するために使われ、
   前記仮想車両進行図から仮想進路画像を抽出する前記ステップは、
   前記地図表示エリアの座標に基づいて、前記地図表示エリアに表示される画像を抽出するステップと、
   前記地図表示エリアに表示された前記画像を前記仮想進路画像に決定するステップと
   を含む、請求項1に記載の方法。
3. 前記地図表示エリアに表示される前記画像は透明であり、前記地図表示エリアに表示された前記画像を前記仮想進路画像に決定する前記ステップは、
   進路画像と車両画像を得るため、前記地図表示エリアに表示される前記画像に対して特徴抽出を行うステップであって、特徴抽出方法はエッジ特徴抽出とカラー特徴抽出との内の少なくともいずれか一方を含む、ステップと、
   抽出された前記進路画像と前記車両画像に基づいて前記仮想進路画像を合成するステップと、
   前記仮想進路画像を所定のサイズにスケールするステップであって、前記所定のサイズは前記進行意思決定モデルによって指定される入力画像サイズである、ステップと
   を含む、請求項2に記載の方法。
4. 前記仮想車両進行図は運転コントロールをさらに含み、前記運転コントロールは前記仮想車両を操作するように構成され、
   前記進行意思決定モデルによって出力される目標進行方針に従って前記仮想車両を操作して進行させる前記ステップは、
   前記目標進行方針に対応する目標運転コントロールを判断するステップであって、前記目標運転コントロールは前記目標進行方針の実行を引き起こすように構成される、ステップと、
   前記仮想車両進行図内の前記目標運転コントロールの座標に基づいて、前記目標運転コントロールを作動させる作業をシミュレーションするステップと
   を含む、請求項1から3のいずれか一項に記載の方法。
5. 前記目標進行方針はワンホット符号化文字列を使って表現され、前記ワンホット符号化文字列の長さはnであり、前記ワンホット符号化文字列内の各文字は進行方法に相当し、nは2以上の整数であり、
   前記目標進行方針に対応する目標運転コントロールを判断する前記ステップは、
   前記ワンホット符号化文字列内の最大文字に対応する目標進行方法を判断するステップと、
   前記目標進行方法に対応する運転コントロールを前記目標運転コントロールと判断するステップと
   を含み、
   前記目標進行方法が左ターンであるなら前記目標運転コントロールは左ターンコントロールであり、前記目標進行方法が右ターンであるなら前記目標運転コントロールは右ターンコントロールであり、前記目標進行方法が左向きドリフトであるなら前記目標運転コントロールは左ターンコントロールとドリフトコントロールであり、前記目標進行方法が右向きドリフトであるなら前記目標運転コントロールは右ターンコントロールとドリフトコントロールであり、前記目標進行方法が減速であるなら前記目標運転コントロールはブレーキコントロールである、請求項4に記載の方法。
6. 前記目標運転コントロールを作動させる作業をシミュレーションする前記ステップは、
   前記目標運転コントロールが第1の運転コントロールから第2の運転コントロールに変更される場合に、前記第1の運転コントロールを長押しする作業をシミュレーションするのを止めるステップと、前記第2の運転コントロールを長押しする作業をシミュレーションするステップと、
   前記目標運転コントロールが変わらない場合に、前記目標運転コントロールを長押しする作業をシミュレーションするステップと
   を含む、請求項4または5に記載の方法。
7. 前記進行意思決定モデルはサンプル車両速度にさらに基づくトレーニングを通じて生成され、前記サンプル車両速度はサンプル車両走行ビデオの図から抽出され、
   仮想車両進行図を得る前記ステップの後に、前記方法は、
   前記仮想車両進行図に対して数字認識を行い、前記仮想車両進行図から車両速度を抽出するステップをさらに含み、
   前記仮想進路画像を進行意思決定モデルに入力する前記ステップの後に、前記方法は、
   前記車両速度を前記進行意思決定モデルに入力するステップ
   をさらに含む、請求項1に記載の方法。
8. 前記進行意思決定モデルはサンプル障害物情報にさらに基づくトレーニングを通じて生成され、前記サンプル障害物情報はサンプル車両走行ビデオの前記図から抽出され、
   仮想車両進行図を得る前記ステップの後に、前記方法は、
   前記仮想車両進行図に対して物体認識を行い、前記仮想車両進行図から障害物情報を抽出するステップをさらに含み、
   前記仮想進路画像を進行意思決定モデルに入力する前記ステップの後に、前記方法は、
   前記障害物情報を前記進行意思決定モデルに入力するステップ
   をさらに含む、請求項1から7のいずれか一項に記載の方法。
9. 操作デバイスによって遂行されるモデルトレーニング方法であって、
   サンプル車両進行図を得るステップであって、前記サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、ステップと、
   前記サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出するステップであって、前記サンプル進行方針は前記仮想進路上での前記仮想車両の進行方法を示すために使われる、ステップと、
   前記サンプル進路画像と前記サンプル進行方針に基づいて進行意思決定モデルをトレーニングするステップであって、前記サンプル進路画像は前記進行意思決定モデルの入力サンプルであり、前記サンプル進行方針は前記進行意思決定モデルの出力サンプルである、ステップと
   を含む、方法。
10. 前記サンプル車両進行図は地図表示エリアを含み、前記地図表示エリアは前記仮想車両が位置する仮想進路部分の画像をリアルタイムで表示するために使われ、
    前記サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出する前記ステップは、
    前記地図表示エリアの座標に基づいて、前記地図表示エリアに表示される画像を抽出するステップと、
    前記地図表示エリアに表示された前記画像を前記サンプル進路画像に決定するステップと、
    前記サンプル車両進行図内の運転コントロールに基づいて前記サンプル進行方針を判断するステップであって、前記運転コントロールは前記仮想車両を操作するように構成される、ステップと
    を含む、請求項9に記載の方法。
11. 前記地図表示エリアに表示される前記画像は透明であり、前記地図表示エリアに表示された前記画像を前記サンプル進路画像に決定する前記ステップは、
    進路画像と車両画像を得るため、前記地図表示エリアに表示される前記画像に対して特徴抽出を行うステップであって、特徴抽出方法はエッジ特徴抽出とカラー特徴抽出との内の少なくともいずれか一方を含む、ステップと、
    抽出された前記進路画像と前記車両画像に基づいて前記サンプル進路画像を合成するステップと、
    前記サンプル進路画像を所定のサイズにスケールするステップであって、前記所定のサイズは前記進行意思決定モデルによって指定される入力画像サイズである、ステップと
    を含む、請求項10に記載の方法。
12. 前記サンプル車両進行図内の運転コントロールに基づいて前記サンプル進行方針を判断する前記ステップは、
    前記サンプル車両進行図で作動されたサンプル運転コントロールを認識するステップと、
    前記サンプル運転コントロールに対応するサンプル進行方法に基づいて前記サンプル進行方針を判断するステップと
    を含む、請求項9から11のいずれか一項に記載の方法。
13. 前記進行意思決定モデルはサンプル車両速度にさらに基づくトレーニングを通じて生成され、前記サンプル車両速度はサンプル車両走行ビデオの図から抽出され、
    サンプル車両進行図を得る前記ステップの後に、前記方法は、
    前記サンプル車両進行図に対して数字認識を行い、前記サンプル車両進行図から車両速度を抽出するステップをさらに含み、
    前記サンプル進路画像と前記サンプル進行方針に基づいて進行意思決定モデルをトレーニングする前記ステップの後に、前記方法は、
    前記車両速度を前記進行意思決定モデルに入力するステップ
    をさらに含む、請求項9から12のいずれか一項に記載の方法。
14. 前記進行意思決定モデルはサンプル障害物情報にさらに基づくトレーニングを通じて生成され、前記サンプル障害物情報はサンプル車両走行ビデオの前記図から抽出され、
    サンプル車両進行図を得る前記ステップの後に、前記方法は、
    前記サンプル車両進行図に対して物体認識を行い、前記サンプル車両進行図から障害物情報を抽出するステップをさらに含み、
    前記サンプル進路画像と前記サンプル進行方針に基づいて進行意思決定モデルをトレーニングする前記ステップの後に、前記方法は、
    前記障害物情報を前記進行意思決定モデルに入力するステップ
    をさらに含む、請求項9から13のいずれか一項に記載の方法。
15. 仮想車両操作装置であって、
    仮想車両進行図を得るように構成された第1の取得モジュールであって、前記仮想車両進行図は仮想進路上を進行する仮想車両の図を含む、第1の取得モジュールと、
    前記仮想車両進行図から仮想進路画像を抽出するように構成された第1の抽出モジュールであって、前記仮想進路画像は前記仮想車両が位置する仮想進路部分の画像である、第1の抽出モジュールと、
    前記仮想進路画像を進行意思決定モデルに入力するように構成された第1の入力モジュールであって、前記進行意思決定モデルはサンプル進路画像とサンプル進行方針に基づくトレーニングを通じて生成され、前記サンプル進路画像と前記サンプル進行方針はサンプル車両進行図から抽出され、前記サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、第1の入力モジュールと、
    前記進行意思決定モデルによって出力される目標進行方針に従って前記仮想車両を操作して進行させるように構成された操作モジュールと
    を含む、仮想車両操作装置。
16. モデルトレーニング装置であって、
    サンプル車両進行図を得るように構成された第2の取得モジュールであって、前記サンプル車両進行図は実在のプレイヤーによって操作される仮想車両が仮想進路上を進行する図を含む、第2の取得モジュールと、
    前記サンプル車両進行図からサンプル進路画像とサンプル進行方針を抽出するように構成された第2の抽出モジュールであって、前記サンプル進行方針は前記仮想進路上での前記仮想車両の進行方法を示すために使われる、第2の抽出モジュールと、
    前記サンプル進路画像と前記サンプル進行方針に基づいて進行意思決定モデルをトレーニングするように構成されたトレーニングモジュールであって、前記サンプル進路画像は前記進行意思決定モデルの入力サンプルであり、前記サンプル進行方針は前記進行意思決定モデルの出力サンプルである、トレーニングモジュールと
    を含む、モデルトレーニング装置。
17. メモリーと1つ以上のプロセッサとを含む操作デバイスであって、前記メモリーはコンピュータ可読命令を保管し、前記コンピュータ可読命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、請求項１から８のいずれか一項に記載の方法を実施させるように構成された、操作デバイス。
18. 1つ以上のプロセッサに、請求項１から８のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
19. メモリーと1つ以上のプロセッサとを含む操作デバイスであって、前記メモリーはコンピュータ可読命令を保管し、前記コンピュータ可読命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、請求項９から１４のいずれか一項に記載の方法を実行させるように構成された、操作デバイス。
20. 1つ以上のプロセッサに、請求項９から１４のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

Images