JP7553176B2 - ハードウェアアクセラレータをスケジューリングするための方法およびタスクスケジューラ - Google Patents

Description

本出願は、ネットワーク通信技術の分野、特にハードウェアアクセラレータをスケジューリングするための方法およびタスクスケジューラに関する。

ハードウェアアクセラレータ（hardware accelerator、ＨＡＣ）は、論理型言語を使用していくつかの特定の機能を実装するハードウェアモジュールである。データを同時に処理できるため、ハードウェアアクセラレータは、処理能力および遅延においてソフトウェア実装よりも大きな利点がある。現在、いくつかの制御システム、例えば、自動運転マルチドメインコントローラ（Multi-Domain Controller、ＭＤＣ、インテリジェントドライビングドメインコントローラとも呼ばれる）では、異なる情報フロータスクを処理するためにシステムオンチップ（System on Chip、SoC）によって使用される対応するアクセラレータが、対応するタスクを完了するために一緒に動作するようにスケジューリングする必要がある。各タスクはデータフレームに基づいて処理される。各データフレームは複数のＨＡＣによって並列または連続的に処理される。

現在、ＨＡＣは、一般的に、ソフトウェアによって管理およびスケジューリングされ、ＨＡＣはソフトウェアを使用してスケジューリングされる。各ＨＡＣは、１つまたは複数のソフトウェアによってスケジューリングされる。タスクを処理する必要がある場合、ソフトウェアは対応するＨＡＣにタスク要求を送信する。処理が完了すると、ＨＡＣはタスク完了応答を返す。図１に示すように、ＭＤＣシナリオの制御システムでは、ＣＰＵソフトウェアスケジューリングレイヤ、ユーザモード空間レイヤ、カーネルモード空間レイヤ、ＨＡＣを上から下にソフトウェアでスケジューリングすることによってタスクが実行される。ソフトウェアによってタスクをスケジューリングするプロセスは、具体的には以下の通りである：ＣＰＵが前のレベルによって送信されたデータ（すなわち、前のタスク）を受信し、ハードウェアアクセラレータ０がデータ処理を実行する必要がある。この場合、アドレス空間が仮想メモリ０内のデータをコピーするために、ユーザモード空間レイヤに作成される必要があり、ハードウェアアクセラレータ０に対応しカーネルモード空間レイヤにあるエグゼキュータ０（エグゼキュータ（Executor））が呼び出され、その後、ハードウェアアクセラレータ０は呼び出されてデータを実行し、対応するタスクの処理を完了する。タスクの実行後、ハードウェアアクセラレータ０は、メッセージ応答を生成し（例えば、割り込み又はステータスレジスタを生成する）、カーネルモード空間レイヤのドライバ０（ドライバ（Driver））およびエグゼキュータ０を介してユーザモード空間レイヤにメッセージ応答を順次報告し、最後にメッセージ応答をＣＰＵに報告する。ハードウェアアクセラレータ０によって前のデータが処理された後、ハードウェアアクセラレータ１がさらにデータ処理を実行し続ける必要がある場合、ハードウェアアクセラレータ０によって処理された後に出力されたデータはさらにコピーされる必要があり、その後、ハードウェアアクセラレータ１は、データが最終的にＣＰＵに報告されるまで、前述のプロセスに従って処理を実行し続ける。複数のタスクが処理される必要があり、タスクが相互に依存している場合（例えば、タスク２は、タスク１が処理された後にのみ処理できる）、各タスクは前のステップに従って処理する必要がある。加えて、タスク２は、タスク１が前のステップに従って処理された後にのみ、前のステップに従って処理されることができる。

前述のハードウェアアクセラレータをスケジューリングするための方法では、タスクがレベルごとに配送されるプロセスおよびタスクが処理後にレベルごとに報告されるプロセスにおいて、カーネルモードドライバとエグゼキュータが必要とされ、その後タスクはユーザモード空間レイヤに到達し、最終的に処理のためにＣＰＵに報告される。このプロセスには長い時間がかかる。複数のタスクを処理する必要があり、タスクが互いに依存している場合、タスクは先行するステップに従って順に処理される必要がある。この期間の間、待ち時間が長く、ＣＰＵリソースが占有される。

本出願の実施形態は、ハードウェアアクセラレータをスケジューリングする方法およびタスクスケジューラを提供する。タスクスケジューラは、ＣＰＵと各ハードウェアアクセラレータとの間に接続される。タスクスケジューラは、ハードウェアスケジューリングを介して、タスク間の依存関係に基づいて、各タスクを実行するＨＡＣをスケジューリングするように構成される。各タスクの配信およびタスク実行後のレポートは、どちらも直接ハードウェアアクセスによって実行される。これは、タスクが処理された後のタスク配信およびレポートの遅延を短縮し、システムの処理性能を間接的に向上させる。

この観点から、本出願の実施形態は以下の技術的解決策を提供する。

第１の態様によると、本出願はまずハードウェアアクセラレータをスケジューリングする方法を提供する。本方法は、次のものを含む：タスクスケジューラが、まずターゲットタスクを取得する。例えば、メモリ（例えば、ＤＤＲ）からターゲットタスクを取得する。ターゲットタスクは、タスクセットにおいて実行されることになるタスクである。ターゲットタスクを取得した後、タスクスケジューラは、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連タスクを決定し得る。第１の関連付けられたタスクは、ターゲットタスクが実行される前に依存関係に基づいて実行される必要があるタスクである。第１の関連付けられたタスクは、タスクセット内の１つのタスクであり得る、またはタスクセット内の複数のタスクであり得る。第１の関連付けられたタスクの量は、依存関係に基づいて具体的に決定される。複数の第１の関連付けられたタスクがある場合、依存関係はさらに複数の第１の関連付けられたタスクの実行順序（execution sequence）を含む。タスクスケジューラが、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定し、さらに第１の関連付けられたタスクが実行されたことを決定した後、タスクスケジューラは、ターゲットタスクの実行に関連する少なくとも１つのハードウェアアクセラレータを決定し、ターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングする。

前述の本出願の実装では、タスクスケジューラはまずターゲットタスクを取得し（例えば、メモリからターゲットタスクを取得し）、ターゲットタスクと関連タスクとの間の依存関係を取得する。依存関係に基づいて、関連付けられたタスク内の第１の関連付けられたタスク（例えば、ターゲットタスクを実行するための前提条件は、タスク１、タスク２などがすべて成功裏に実行されることである）が成功裏に実行されたと決定される場合は、ターゲットタスクは実行条件を満たしていることを示す。この場合、タスクスケジューラは、ターゲットタスクを実行するようにターゲットタスクの実行に関連するハードウェアアクセラレータ（１つまたは複数であり得る）をスケジューリングする。本出願のこの実施形態では、タスクスケジューラはＣＰＵと各ハードウェアアクセラレータとの間に接続される。タスクスケジューラは、ハードウェアスケジューリングを介して、タスク間の依存関係に基づいて、各タスクを実行するようにＨＡＣをスケジューリングするように構成される。各タスクの配信は、直接ハードウェアアクセスによって実行される。これは、タスクの配信遅延を短縮し、間接的にシステムの処理性能を向上させる。

本出願の実施形態の第１の態様を参照すると、本出願の実施形態の第１の態様の第１の実装では、ターゲットタスクを実行する１つまたは複数のハードウェアアクセラレータがあり得る。ターゲットタスクを実行する複数のハードウェアアクセラレータがある場合、複数のハードウェアアクセラレータは順にターゲットタスクを実行する。なお、本出願のいくつかの実装では、複数のハードウェアアクセラレータがターゲットタスクを順に実行することは、複数のハードウェアアクセラレータが同時にターゲットタスクを実行することを含み得る。例えば、タスクスケジューラが、ターゲットタスクを取得した後、ターゲットタスクが、ハードウェアアクセラレータ１、ハードウェアアクセラレータ２、ハードウェアアクセラレータ３によって個別に実行される必要があると決定する場合、ターゲットタスクは、ハードウェアアクセラレータ１～３によって同時に実行され得、ハードウェアアクセラレータ１～３は競合しない。

前述の本出願の実装では、ターゲットタスクの実行に関連する複数のハードウェアアクセラレータがある場合、どのように複数のハードウェアアクセラレータがターゲットタスクを実行するために連携する（work together）かについて説明している。これは動作可能（operable）である。

本出願の実施形態の第１の態様および第１の態様の第１の実装を参照して、本出願の実施形態の第１の態様の第２の実装では、タスクスケジューラがターゲットタスクを実行するために少なくとも１つのハードウェアアクセラレータをスケジューリングした後、タスクスケジューラはさらに、その後必要になったときにターゲットタスクが実行された後に生成されたデータが別のハードウェアアクセラレータによって直接呼び出されることができるように、ターゲットタスクの実行された後に生成されたデータを格納する（例えば、メモリＤＤＲにデータを格納する）ようハードウェアアクセラレータに指示する。

前述の本出願の実装では、各ハードウェアアクセラレータは、ターゲットタスクを処理した後、処理されたデータを格納する（例えば、処理されたデータをメモリに格納する）。この方法では、別のハードウェアアクセラレータが処理されたデータをさらに処理する必要がある場合、処理されたデータはコピーされる必要はなく、直接呼び出されることができる。これは、データ処理量を削減し、時間を短縮し、間接的にシステム性能を向上させる。

本出願の実施形態の第１の態様または第１の態様の第１から第２の実装を参照して、本出願の実施形態の第１の態様の第３の実装では、各ハードウェアアクセラレータは１つまたは複数のタスクを実行し得る。この場合、各ハードウェアアクセラレータは１つの実行キューに対応し、ハードウェアアクセラレータによって実行されることになるタスクは各実行キューに順に格納される。ターゲットタスクを実行する複数のハードウェアアクセラレータがある場合、ターゲットタスクの識別子が、ターゲットタスクのための各ハードウェアアクセラレータに対応する実行キューに格納される。

前述の本出願の実装では、ハードウェアアクセラレータは、対応する実行キューに配置されたタスクの識別子に基づいて、各タスクが処理される順序を識別する。これは柔軟である。

本出願の実施形態の第１の態様の第３の実装を参照して、本出願の実施形態の第１の態様の第４の実装では、対応するターゲットタスクを実行するようハードウェアアクセラレータをスケジューリングした後、タスクスケジューラは、ターゲットタスクを実行する対応するハードウェアアクセラレータによって返される指示（indication）メッセージを受信する。指示メッセージは、ハードウェアアクセラレータがターゲットタスクを実行したことを示す。この場合、タスクスケジューラは、ハードウェアアクセラレータに対応する実行キューからターゲットタスクの識別子を削除し得る。

前述の本出願の実装では、叙述のように、タスクが実行された後、対応するタスクの識別子は実行キューから削除される。実行キューは動的に維持される。これは柔軟（flexible）である。

本出願の実施形態の第１の態様または第１の態様の第１から第４の実装を参照して、本出願の実施形態の第１の態様の第５の実装では、タスクセット内の各タスクは、ターゲットタスクのものと同様の処理方法で処理される。タスクセット内の各タスクが実行された後、タスクスケジューラは、各タスクが実行された後にすべてのデータを取得し、そのデータを格納する（例えば、データをメモリに格納する）。タスクセット内のすべてのタスクは、スケジューリングされたタスクを形成する。元のスケジューリングされたタスクは、タスクセット内のすべてのタスクが実行された後にのみ完了する。１つのスケジューリングされたタスクは、センサ（例えば、カメラ）を使用することにより端末装置によって取得されたデータフロー（生データと呼ばれることがある）が一連の関連するハードウェアアクセラレータによって指定された機能を持つ出力データ（例えば、障害物を感知するために使用されるデータおよび別のデバイスに送信されるために使用されるデータ）を取得するために処理される、特定の実装プロセスである。

前述の本出願の実装では、上述のように、ＭＤＣシナリオでは、１つのタスクセット内のすべてのタスクが処理された後にのみ、１つのスケジューリングされたタスクが完了する。これは実用的である。

本出願の実施形態の第１の態様の第５の実装を参照して、本出願の実施形態の第１の態様の第６の実装では、タスクセットは複数のタスクを含み、複数のタスクを形成するデータは、複数のチャネルを介して取得され得、端末装置（例えば、車両）が、搭載されたカメラ装置（例えば、車両に搭載されたカメラ）を使用することによってデータを取得することを含むが、これに限定されない。この場合、複数のタスクを形成する取得されたデータは画像データまたはビデオデータである。端末装置がカメラを使用することによってデータを取得した後、データはタスクに分割され（例えば、データフレームのように分割され）、分割されたタスクはタスクセットを形成する。

前述の本出願の実装では、タスクセットを形成するデータを取得するためのチャネルが記述されている。これは普遍的に適用可能である。

本出願の実施形態の第１の態様の第５から第６の実装を参照して、本出願の実施形態の第１の態様の第７の実装では、１つのスケジューリングされたタスクは、具体的には、ＡＩモジュール（例えば、ＡＩプロセッサ）がフィードバックデータを取得するためにコンピューティングを実行することであり得る。フィードバックデータは、端末装置（例えば、車両）上でユーザの操作をガイドするために使用され得る。本出願のこの実施形態では、ＡＩモジュールもハードウェアアクセラレータの一種である。

前述の本出願の実施形態では、上述のように、スケジューリングされたタスクが実行された後に取得されるデータは、ＡＩモジュールによって計算されたフィードバックデータであり得、そのフィードバックデータはさらに端末装置上でユーザの操作をガイドするために使用され得る。これは実用的である。

本出願の実施形態の第１の態様の第７の実装を参照して、本出願の実施形態の第１の態様の第８の実装では、端末装置が車両である場合、一部の適用シナリオでは、フィードバックデータは、車線境界線（lane line）および／または停止線を感知するために使用されるデータであり得、指定された車線を走行するまたは指定された駐車エリアで停止するように車両所有者を案内する（guide）ために使用される。代替的には、フィードバックデータは、安全領域を感知するために使用されるデータであり得、この車両を他の車両から安全な距離に保つように車両所有者を案内するために使用される。代替的には、フィードバックデータは障害物（例えば障害物からの距離）を感知するために使用されるデータであり得、事前に安全対策（例えば、停止や方向転換）を講じるように車両所有者を案内するために使用される。フィードバックデータの種類および機能はここでは限定されない。対応するフィードバックデータは、実際の適用シナリオに基づいて取得され得る。したがって、車両所有者は、対応するフィードバックデータに基づいて車両を操作するように案内され、それによって運転の安全性および運転性能を向上させる。

前述の本出願の実施形態では、フィードバックデータの適用シナリオが具体的に記述されている。これは多様化している。

本出願の実施形態の第２の態様は、タスクスケジューラを提供する。タスクスケジューラは、第１の態様または第１の態様の可能な実装のうちのいずれか１つによる方法を実装する機能を有する。機能はハードウェアによって実装され得る、または対応するソフトウェアを実行するハードウェアによって実装され得る。ハードウェアまたはソフトウェアは、前述の機能に対応する１つまたは複数のモジュールを含む。

本出願の実施形態の第３の態様は、制御システムを提供する。制御システムは、特にタスクスケジューラおよびハードウェアアクセラレータを含み得るが、これに限定されない。タスクスケジューラは：ターゲットタスクを取得し（例えば、メモリからターゲットタスクを取得し）、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定し、依存関係はタスクセット内のタスクの実行順序を示し、ターゲットタスクはタスクセット内のタスクであり；第１の関連付けられたタスクが実行されたと決定されるとき、ターゲットタスクを実行するようにハードウェアアクセラレータをスケジューリングする；ように構成される。ハードウェアアクセラレータは、ターゲットタスクを実行するように構成される。

本出願の実施形態の第３の態様を参照して、本出願の実施形態の第３の態様の第１の実装では、タスクスケジューラは、少なくとも１つの実行キューを含み得るが、それに限定されない。ターゲットタスクの識別子が各実行キューに格納される。少なくとも１つのハードウェアアクセラレータは、少なくとも１つの実行キューに格納されているターゲットタスクの識別子を使用することによってターゲットタスクを実行するように構成される。各ハードウェアアクセラレータは、１つの実行キューに対応する。

本出願の実施形態の第３の態様および本出願の実施形態の第３の態様の第１の実装を参照して、本出願の実施形態の第３の態様の第２の実装では、タスクスケジューラはさらに、タスクセット内の各タスクが実行された後に取得されたデータを格納するように構成される。タスクセット内のすべてのタスクは、スケジューリングされたタスクを形成する。

本出願の実施形態の第３の態様の第２の実装を参照して、本出願の実施形態の第３の態様の第３の実装では、タスクセット内のタスクを形成するデータは、端末装置によって、搭載されたカメラ装置を使用することによって取得される。制御システムは端末装置に配置され得る（例えば、車両上のカメラが画像データを取得し、その画像データを車両上の制御システムに送信する）。代替的には、制御システムは端末装置に配置されていない場合もある（例えば、ユーザの携帯電話のカメラが画像データを取得し、その画像データを、携帯電話と通信接続している車両に送信し、制御システムは車両に配置されている）。

本出願の実施形態の第３の態様の第２から第３の実装を参照して、本出願の実施形態の第３の態様の第４の実装では、タスクセット内の各タスクが実行された後に取得されたデータは、ＡＩモジュール（例えば、ＡＩプロセッサ）によって計算されたフィードバックデータであり得る。フィードバックデータは端末装置の操作を案内するために使用され、ＡＩモジュールはハードウェアアクセラレータの一種でもある。

本出願の実施形態の第３の態様または第３の態様の第１から第４の実装を参照して、本出願の実施形態の第３の態様の第５の実装では、タスクスケジューラはさらにスケジューリングエンジンおよびエグゼキュータを含み得る。スケジューリングエンジンは、メモリからターゲットタスクおよび依存関係を呼び出すように構成される。エクゼキュータは、ハードウェアアクセラレータへのインターフェイスを提供するように構成される。実行キューは、ターゲットタスクの識別子を順にバッファするために使用される。具体的には、スケジューリングエンジン、エクゼキュータ、および実行キューを含むタスクスケジューラは、第１の態様または第１の態様の可能な実装のうちのいずれか１つによる方法を実装する機能を有する。

本出願の実施形態の第４の態様は、タスクスケジューラを提供する。タスクスケジューラは、メモリ、プロセッサ、およびバスシステムを含み得る。メモリはプログラムを格納するように構成される。プロセッサは、メモリに格納されたプログラムを呼び出し、本出願の実施形態の第１の態様または第１の態様の可能な実装のいずれか１つによる方法を実行するように構成される。

本出願の第５の態様は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は命令を格納する。命令がコンピュータ上で実行されるとき、コンピュータは第１の態様または第１の態様の可能な実装のうちのいずれか１つよるに方法を実行することを可能にされる。

本出願の実施形態の第６の態様は、コンピュータプログラムを提供する。コンピュータプログラムがコンピュータ上で実行されるとき、コンピュータは、第１の態様または第１の態様の可能な実装のいずれか１つによる方法を実行することを可能にされる。

タスクのためにソフトウェアによってＨＡＣをスケジューリングすることの概略図である。

本出願の一実施形態による制御システムの概略図である。

本出願の一実施形態によるハードウェアアクセラレータのスケジューリングのための方法の概略図である。

本出願の一実施形態による各ハードウェアアクセラレータと実行キューとの間の関係の概略図である。

本出願の一実施形態によるタスクセット内のタスク間の関連関係の概略図である。

本出願の一実施形態によるイベント概念が導入された後のタスクとイベントとの間の関連関係の概略図である。

本出願の一実施形態によるタスク間の依存関係が２次元チャートである概略図である。

ＭＤＣシナリオにおける現在の制御システムの構造の概略図である。

本出願の一実施形態によるＭＤＣシナリオにおける制御システムの構造の概略図である。

本出願の一実施形態によるＭＤＣシナリオにおけるスケジューリングされたタスクの記述の概略図である。

本出願の一実施形態によるＭＤＣの実際の適用シナリオの概略図である。

本出願の一実施形態によるタスクスケジューラの概略図である。

本出願の一実施形態によるタスクスケジューラの別の概略図である。

本出願の実施形態は、ハードウェアアクセラレータをスケジューリングする方法およびタスクスケジューラを提供する。タスクスケジューラはＣＰＵと各ハードウェアアクセラレータの間に接続される。タスクスケジューラは、ハードウェアスケジューリングを介して、タスク間の依存関係に基づいて、各タスクを実行するためにＨＡＣをスケジューリングするように構成される。各タスクの配信およびタスク実行後のレポートは、どちらも直接ハードウェアアクセスによって実行される。これは、タスクの配信およびタスクが処理された後のレポートの遅延を短縮し、システムの処理性能を間接的に向上させる。

以下は、本出願の実施形態を添付の図面を参照して説明する。当業者は、技術の発展および新たなシナリオの出現により、本出願の実施形態で提供される技術的解決策が同様の技術的問題にも適用可能であることを学ぶことができる。

本出願の本明細書、特許請求の範囲および添付図面において、「第１」、「第２」等の用語は、類似の対象を区別することを意図しているが、必ずしも特定の順番又は順序を示すものではない。このような方法で使用される用語は、適切な状況では交換可能であることを理解すべきであるが、これは、同じ属性を持つ対象が本出願の実施形態で記述されている場合に使用される単なる識別方法である。加えて、用語「含む（include）」、「含む（contain）」およびその他の変形は、非排他的包含をカバーすることを意味するため、一連のユニットを含むプロセス、方法、システム、製品、または装置は、必ずしもそれらのユニットに限定されず、そのようなプロセス、方法、製品、または装置に明示的にリストされていないまたはそれらに固有の他のユニットを含む場合がある。

本出願の実施形態を説明する前に、まず、制御システムにおける本出願で説明するタスクスケジューラの位置を説明する。図２に示すように、タスクスケジューラはＣＰＵと各ハードウェアアクセラレータの間に位置する。各ハードウェアアクセラレータは、タスクスケジューラに対応するインターフェイスがあり。このインターフェイスは、タスクスケジューラ上のタスクエグゼキュータ（簡単にエグゼキュータと呼ぶこともある）によって提供される。タスクスケジューラは複数の実行キューを有し得る。各実行キューは１つのハードウェアアクセラレータに対応し（いくつかの実施形態では、実行キューは、メモリまたは対応するハードウェアアクセラレータにも存在する場合があるが、これはここでは限定されず、図２は単なる例である）、実行順序内のタスクの識別子を格納するために使用される。実行されることになるタスク、タスクが実行された後に取得されるデータ、タスク間の依存関係などは、すべてメモリＤＤＲに格納され得る（いくつかの実装では、別の位置に格納されることもあり、例えば、タスクスケジューラのストレージユニットに直接格納されるが、これはここでは限定されず、図２は単なる例である）。関連データがメモリに格納される場合、タスクスケジューラがターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングした後、タスクスケジューラは、ハードウェアアクセラレータに、ターゲットタスクが実行された後に生成されたデータを格納するよう指示し得る。この方法では、ターゲットタスクが実行された後に生成されたデータは、その後必要になったときに別のハードウェアアクセラレータによって直接呼び出される可能性があり、コピーする必要はない。これは、データ処理量を削減し、時間を短縮し、間接的にシステム性能を向上させる。タスクスケジューラは、タスクスケジューラ上のスケジューリングエンジンを使用して、メモリおよび各ハードウェアアクセラレータと情報を交換し得る（例えば、ハードウェアアクセラレータから返された指示メッセージを受信し、メモリ内の関連データを照会し、ハードウェアアクセラレータに指示を送信する）。例えば、カメラから収集されたデータはメモリに格納される。データ（すなわち、ターゲットタスク）はハードウェアアクセラレータ０およびハードウェアアクセラレータ１によって処理される必要がある。タスクスケジューラは、カメラによって収集された前述のデータをメモリから取得し、ハードウェアアクセラレータ０に指示を配信して、ハードウェアアクセラレータ０にデータを処理するように指示する。データを処理した後、ハードウェアアクセラレータ０は、ハードウェア信号ケーブルを使用してタスクスケジューラに通知し、処理されたデータをメモリに格納し得る。次に、タスクスケジューラは、ハードウェアアクセラレータ１に指示を配信して、さらなる処理のためにハードウェアアクセラレータ０によって処理された前述のデータをメモリから呼び出すようハードウェアアクセラレータ１に指示する。データを処理した後、ハードウェアアクセラレータ１は、タスクスケジューラに通知し、処理されたデータをメモリに再び格納する。本出願のこの実施形態では、タスク配信およびタスクが処理された後のレポートの両方が、直接ハードウェアアクセスによって実行される。これは、タスク配信およびタスクが処理された後のレポートの処理遅延を大幅に減少させ、チップの処理性能を間接的に向上させる。データはメモリに格納されるため、データキャッシュ領域が共有され得、繰り返しコピーする必要がない。これは、データコピーの遅延を減少させ、データ処理性能を向上させる。

本出願の本実施形態で提供されるハードウェアアクセラレータをスケジューリングする方法は、図２の制御システムに基づいて実行され得る。この方法では、タスクスケジューラは、タスク間の依存関係に基づいた純粋なハードウェアスケジューリングを直接実装し、ＣＰＵリソースを占有する必要がない。詳細は図３を参照されたい。

３０１：タスクスケジューラはターゲットタスクを取得する。

タスクスケジューラは、まずターゲットタスクを取得する、例えば、メモリ（例えば、ＤＤＲ）からターゲットタスクを取得する。ターゲットタスクは、タスクセットにおいて実行されることになるタスクである。タスクセットは複数のタスクを含む。複数のタスクを形成するデータは、複数のチャネルを通じて取得され得、端末装置（例えば、車両）が搭載されたカメラ装置（例えば、車両に搭載されたカメラ）を使用してデータを取得することを含むが、これに限定されない。この場合、複数のタスクを形成する取得されたデータは画像データまたはビデオデータである。端末装置がカメラを使用してデータを取得した後、データはタスクに分割され（例えば、データフレームのように分割され）、分割されたタスクがタスクセットを形成する。

３０２：タスクスケジューラは、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定する。

ターゲットタスクを取得した後、タスクスケジューラは、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定し得る。第１の関連付けられたタスクは、ターゲットタスクが実行される前に依存関係に基づいて実行される必要があるタスクである。第１の関連付けられたタスクは、タスクセット内の１つのタスクである場合もあれば、タスクセット内の複数のタスクである場合もある。第１の関連付けられたタスクの量は、依存関係に基づいて具体的に決定される。加えて、複数の第１の関連付けられたタスクがある場合、依存関係はさらに、複数の第１の関連付けられたタスクの実行順序を含む。例えば、それぞれタスク１およびタスク２である２つの第１の関連付けられたタスクがある場合、依存関係に基づいてタスク１およびタスク２を実行する順序は次のようになる：タスク１はタスク２の前に実行される。タスク１およびタスク２の両方が実行される場合、ターゲットタスクが実行条件を満たしていると決定される。本出願のこの実施形態で説明されている順序は、さらに、同時実行を含み得ることが留意されるべきである。前述の例は、引き続き例として使用される。タスク１およびタスク２が依存関係に基づいて同時に実行される必要がある場合、タスク１およびタスク２が同時に実行され、２つのタスクが両方とも実行された後、ターゲットタスクは実行条件を満たしていると決定される。

３０３：第１の関連付けられたタスクが実行されたとタスクスケジューラが決定する場合、タスクスケジューラは、ターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングする。

タスクスケジューラは、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定し、さらに第１の関連付けられたタスクが実行されたことを決定した後、タスクスケジューラは、ターゲットタスクの実行に関連する少なくとも１つのハードウェアアクセラレータを決定し、ターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングする。ターゲットタスクを実行する１つまたは複数のハードウェアアクセラレータがあり得ることが留意されるべきである。ターゲットタスクを実行する複数のハードウェアアクセラレータがある場合、複数のハードウェアアクセラレータはターゲットタスクを順に実行する。わかりやすくするため、以下では説明のための例を用いる。タスクスケジューラが、ターゲットタスクを取得した後に、ターゲットタスクがハードウェアアクセラレータ１、ハードウェアアクセラレータ２、およびハードウェアアクセラレータ３によって実行される必要があると決定し、実行順序が、ターゲットタスクがハードウェアアクセラレータ１によって最初に実行され、実行を通じて取得されたデータ１がハードウェアアクセラレータ２によって実行され、次に実行を通じて取得されたデータ２がハードウェアアクセラレータ３によって実行されることである場合、ハードウェアアクセラレータ３による実行を通じて取得されたデータ３は、すべてのハードウェアアクセラレータ１～３がターゲットタスクを実行した後に生成されたデータ（データ３はターゲットデータと呼ばれることもある）である。

本出願のいくつかの実装では、複数のハードウェアアクセラレータがターゲットタスクを順に実行することは、複数のハードウェアアクセラレータが同時にターゲットタスクを実行する場合を含み得ることが留意されるべきである。前述の例は、引き続き例として使用される。タスクスケジューラが、ターゲットタスクを取得した後、ハードウェアアクセラレータ１、ハードウェアアクセラレータ２、およびハードウェアアクセラレータ３によってターゲットタスクが別々に実行される必要があると決定する場合、ターゲットタスクはハードウェアアクセラレータ１～３によって同時に実行されてもよく、ハードウェアアクセラレータ１～３は互いに競合しない。

本出願のいくつかの実装では、タスクスケジューラがターゲットタスクを実行するためのハードウェアアクセラレータの数、ハードウェアアクセラレータの種類、実行順序などの情報をどのように決定するかも依存関係に記録される場合があることがさらに留意されるべきである。このように、タスクスケジューラは、依存関係から、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定するだけでなく、依存関係に基づいて、ターゲットタスクを実行するためのハードウェアアクセラレータを決定することができる。

さらに、本出願のいくつかの実装では、タスクスケジューラがターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングした後、タスクスケジューラはさらに、ターゲットタスクが実行された後に生成されたデータを格納する（例えば、メモリＤＤＲにデータを格納する）ようハードウェアアクセラレータに指示することが留意されるべきである。この方法では、ターゲットタスクが実行された後に生成されたデータは、その後必要になったときに別のハードウェアアクセラレータによって直接呼び出される可能性があり、コピーする必要はない。これは、データ処理量を削減し、時間を短縮し、間接的にシステム性能を向上させる。わかりやすくするため、前述の例は引き続き説明のための例として使用される。タスクスケジューラが、ターゲットタスクを取得した後、ハードウェアアクセラレータ１、ハードウェアアクセラレータ２、およびハードウェアアクセラレータ３によってターゲットタスクが順に実行される必要があると決定し、実行順序が、ターゲットタスクがハードウェアアクセラレータ１によって最初に実行され、実行を通じて取得されたデータ１がハードウェアアクセラレータ２によって実行され、その後実行を通じて取得されたデータ２がハードウェアアクセラレータ３によって実行されることである場合、データ３は、ハードウェアアクセラレータ３による実行を通じて取得される。この場合、タスクスケジューラは、ターゲットタスクが実行された後に取得されたデータ１を格納する（例えば、データ１をメモリＤＤＲに格納する）ようにハードウェアアクセラレータ１に指示し、その後、タスクスケジューラは、実行を継続するためにメモリからデータ１を呼び出すようにハードウェアアクセラレータ２に指示する。タスクスケジューラはさらに、データ１が実行された後に取得されたデータ２を格納する（例えば、データ２をメモリＤＤＲに引き続き格納する）ようにハードウェアアクセラレータ２に指示する。最後に、タスクスケジューラは、実行を継続するためにメモリからデータ２を呼び出すようハードウェアアクセラレータ３に指示し、タスクスケジューラは、さらに、データ２が実行された後に取得されたデータ３を格納するようハードウェアアクセラレータ３に指示する。毎回ターゲットタスクを実行するハードウェアアクセラレータを区別するために、ターゲットタスクの元の識別子が、ターゲットタスクを実行するハードウェアアクセラレータに関する対応する情報を伝達し（carry）得る（元の識別子と、その情報を伝達する元の識別子の両方はターゲットタスクの識別子と呼ばれることがある）、またはターゲットタスクを実行するハードウェアアクセラレータに関する情報は別々に格納され得ることが留意されるべきである。これは特にここでは限定されない。一例が説明のために使用される。ターゲットタスクがハードウェアアクセラレータ１～３によって順に実行され、ターゲットタスクの識別子がＭ００２であると仮定する場合、識別子Ｍ００２－１は、取得されたデータ１がハードウェアアクセラレータ１によってターゲットタスクＭ００２が実行された後に取得されたデータであることを示すために使用され得る。同様に、Ｍ００２－１－２は、取得されたデータ２がハードウェアアクセラレータ１およびハードウェアアクセラレータ２によってターゲットタスクが順に実行された後に取得されたことを示すために使用される。識別子Ｍ００２－１－２－３は、取得されたデータ３がハードウェアアクセラレータ１～３によってターゲットタスクが順に実行された後に取得されたことを示すために使用される。ターゲットタスクがハードウェアアクセラレータ１～３によって同時に実行される場合、同様に、識別子Ｍ００２－１、Ｍ００２－２、およびＭ００２－３は、取得されたデータがハードウェアアクセラレータ１、ハードウェアアクセラレータ２、およびハードウェアアクセラレータ３によってターゲットタスクが別々に実行された後に取得されたことをそれぞれ示すために使用され得る。

本出願のいくつかの実装では、各ハードウェアアクセラレータが１つ以上のタスクを実行する場合があることが留意されるべきである。この場合、各ハードウェアアクセラレータは１つの実行キューに対応し、ハードウェアアクセラレータによって実行されることになるタスクは各実行キューに順に格納される。ターゲットタスクを実行する複数のハードウェアアクセラレータがある場合、ターゲットタスクの識別子（ターゲットタスクの元の識別子であり得る、またはハードウェアアクセラレータによってターゲットタスクが実行された後の対応する識別子であり得る）は、ターゲットタスクのための各ハードウェアアクセラレータに対応する実行キューに格納される。これはここでは限定されない。わかりやすくするため、例がここでは説明のために使用される。図４に示すように、ターゲットタスクに関連付けられた３つの第１の関連付けられたタスク：タスク１、タスク２、およびタスク３があることが想定され、タスク１の依存関係およびタスク２の依存関係に基づいて、タスク１およびタスク２の両方がハードウェアアクセラレータ１によって実行され、ハードウェアアクセラレータ１が最初にタスク１を実行し、その後タスク２を実行する必要があると決定され、ターゲットタスクの依存関係に基づいて、ターゲットタスクもハードウェアアクセラレータ１およびハードウェアアクセラレータ３によって順に実行されると決定され、タスク３の依存関係に基づいて、タスク３がハードウェアアクセラレータ２によって実行されると決定される。この場合、タスク１の識別子Ｑ００１、タスク２の識別子Ｑ００２、およびターゲットタスクの識別子Ｍ００２が、ハードウェアアクセラレータ１に対応する実行キュー１に順に配置される（タスク１もタスク２も実行されていないと仮定する）。タスク３の識別子Ｑ００３がハードウェアアクセラレータ２に対応する実行キュー２に格納される（タスク３は実行されていないと仮定する）。ターゲットタスクがハードウェアアクセラレータ１によって実行された後に取得されたデータの識別子Ｍ００２－１はハードウェアアクセラレータ３に対応する実行キュー３に格納される。

図４に示すように、各ハードウェアアクセラレータに対応する１つの実行キューがあり、実行キューは、タスクセット内にあり、対応するハードウェアアクセラレータによって実行されることになるタスクの識別子を格納することが留意されるべきである。本出願のいくつかの実装では、同時に複数のタスクセットがある場合、例えば３つのタスクセットがあると仮定すると、各ハードウェアアクセラレータは３つの実行キューに対応する。図２に示すように、１つのハードウェアアクセラレータに対応する３つの実行キューは、それぞれ３つのタスクセットに対応する。ｍ個のタスクセットがある場合、各ハードウェアアクセラレータにｍ個の実行キューがある。

本出願のいくつかの実装では、実行キューはタスクスケジューラ内にあるストレージ領域であり得る、またはメモリ内にあるストレージ領域であり得る、または各ハードウェアアクセラレータから対応して分割されるストレージ領域であり得ることが留意されるべきである。これは特にここでは限定されない。

本出願のいくつかの実装では、対応するターゲットタスクを実行するようにハードウェアアクセラレータをスケジューリングした後、タスクスケジューラは、ターゲットタスクを実行する対応するハードウェアアクセラレータによって返される指示メッセージを受信することがさらに留意されるべきである。指示メッセージは、ハードウェアアクセラレータがターゲットタスクを実行したことを示す。この場合、タスクスケジューラは、ハードウェアアクセラレータに対応する実行キューからターゲットタスクの識別子を削除し得る。理解しやすいように、図４が依然として説明のための例として使用される。タスク１がハードウェアアクセラレータ１によって実行された後、ハードウェアアクセラレータ１は、タスク１が実行されたことを示すために、指示メッセージをタスクスケジューラに返す。この場合、タスクスケジューラは、実行キューからタスク１の識別子Ｑ００１を削除する。同様に、その後、タスク２が実行キュー１に示す順序で実行される。タスク２がハードウェアアクセラレータ１によって実行された後、タスク２の識別子Ｑ００２が実行キューから削除され、その後、元のターゲットタスクが実行キュー１に示された順序で実行される。ターゲットタスクがハードウェアアクセラレータ１によって実行された後、ターゲットタスクの識別子Ｍ００２が実行キューから削除される。加えて、タスクを実行するたびに、ハードウェアアクセラレータ１は、実行されたタスクに対応するデータを格納する（例えば、メモリＤＤＲにデータを格納する）。ターゲットタスクがハードウェアアクセラレータ１によって実行された後、取得されたデータ１が格納される。タスク１、タスク２、およびタスク３がすべて実行された後、タスクスケジューラは、ハードウェアアクセラレータ３にデータ１を実行するように指示する（実行キュー３のＭ００２－１の前に他のタスクの識別子がないことが前提）。

本出願のいくつかの実装では、ターゲットタスクが実行される前に最初に実行される必要があるタスクおよびこれらのタスクの実行順序（すなわち、第１の関連付けられたタスク）はターゲットタスクの依存関係に基づいて決定され得、ターゲットタスクが実行された後に実行条件を満たすタスク（第２の関連付けられたタスクと呼ばれる場合もある）が依存関係からさらに決定され得ることが留意されるべきである。例が説明のために使用される。第２の関連付けられたタスクがタスクｍであると仮定する。タスクｍを実行するための前提条件が、ターゲットタスクが実行されたことである場合、タスクｍの依存関係において、ターゲットタスクはタスクｍの第１の関連付けられたタスクである。タスクｍが実行されるとき、タスクｍは上記のように新しいターゲットタスクとして処理される。詳細はここでは再度説明しない。類推すると、タスクセット内の各タスクは独自の依存関係を有し、タスクセット内のすべてのタスクは、前述のスケジューリング方法で各タスクの依存関係に基づいて実行され得る。

前述の解決策をよりよく理解するために、以下はタスクセット内のタスク間の特定の依存関係を説明するために図５を例として使用する。タスクセットは７つのタスクを含むことが仮定され、これらはそれぞれＴＳ１～ＴＳ７と表記され、それらの実行順序および依存関係が図５に示される。ＴＳ７がＴＳ１からを実行された後にのみ、タスクセット全体が完了する。より良くかつより明確に理解するために、「イベント（event）」の概念が導入される。図６に示すように、ｂ０～ｂ５は６個のイベントである。したがって、タスクＴＳ１～ＴＳ７のグループは「イベントタスクグループ」と呼ぶこともある。図６に示した意味については、表１のタスクの説明および表２のイベントの説明を参照されたい。

上記のタスク間の関連関係に基づいて、各タスクと他のタスク間の依存関係が取得され得る。各タスクは１つの依存関係に対応し得る、または、タスクセット内のすべてのタスク間の関連関係が依存関係（例えば、図７に示す２次元チャート）を形成し得ることが留意されるべきである。これはここでは限定されない。

加えて、イベントベースのタスクスケジューリングプロセスは、具体的には次のようになり得る：ソフトウェアは、最初にｂ０をトリガしてタスクＴＳ１を開始および実行する。タスクＴＳ１が実行された後、イベントｂ１がトリガされる。イベントｂ１は、同時に実行されるようにタスクリストのＴＳ２およびＴＳ３をスケジューリングする。タスクＴＳ２が実行された後、イベントｂ２およびｂ４が通知される。イベントｂ２は、実行されるようにタスクリストのＴＳ４をスケジューリングする。タスクＴＳ３が実行された後、イベントｂ３およびｂ４が通知される。イベントｂ４が条件を満たす場合、タスクリストのＴＳ６が実行されるようにスケジューリングされる。タスクＴＳ６が実行された後、イベントｂ５が通知される。タスクＴＳ４が実行される場合、イベントｂ３が通知される。イベントｂ３が条件を満たす場合、タスクリストのＴＳ５が実行されるようにスケジューリングされる。イベントｂ５が条件を満たす場合、タスクリストのＴＳ７が実行されるようにスケジューリングされる。タスクＴＳ７が実行された後、イベントタスクグループ全体のタスクが完了する。

前述の説明に基づいて、本出願のいくつかの実装では、各タスクの依存関係は２次元チャートの方法でメモリに格納され得る。図７は、１つのタスクセット内の各タスクの１つの依存関係の２次元チャート、すなわち図７のタスクグラフ０である。タスクグラフｎは、ｎ番目のタスクセット内の各タスクの１つの依存関係の２次元チャート（図７には詳細には示されていない）を表す。図７では、タスクグラフ０は、タスクセットに７つのタスクがあることを示し、これらのタスクはそれぞれｔ０～ｔ６である。タスクグラフ０の上部は、タスクｔ０～ｔ６の実行順序（矢印）と関連関係を表している。例としてｔ４を用いる。ｔ４を実行するための前提条件は、ｔ１およびｔ２の両方が実行されたことである。タスクグラフ０の中央部分は実行キュー内のタスクの識別子の配列順序を表し、識別子はタスクの実行順序の「先頭」から「末尾」まで矢印方向に配列される。タスクグラフ０の下部は、各実行キューに対応するエグゼキュータが、タスクスケジューラと各ハードウェアアクセラレータとの間のインターフェイスを提供し、実行キュー内のタスクの実行順序において、対応するハードウェアアクセラレータに実行命令を配信することを表す。

本出願の前述の実装では、タスクスケジューラはまずターゲットタスクを取得し（例えば、はメモリからターゲットタスクを取得し）、ターゲットタスクと関連付けられたタスクとの間の依存関係を取得する。依存関係に基づいて、関連付けられたタスク内の第１の関連付けられたタスク（例えば、ターゲットタスクを実行するための前提条件は、タスク１、タスク２などがすべて成功裏に実行されていることである）が成功裏に実行されたと決定される場合、ターゲットタスクが実行条件を満たしていることを示す。この場合、タスクスケジューラは、ターゲットタスクを実行するようにターゲットタスクの実行に関連するハードウェアアクセラレータ
（１つまたは複数であり得る）をスケジューリングする。本出願のこの実施形態では、タスクスケジューラがＣＰＵと各ハードウェアアクセラレータとの間に接続される。タスクスケジューラは、ハードウェアスケジューリングを介して、タスク間の依存関係に基づいて、各タスクを実行するようＨＡＣをスケジューリングするように構成される。各タスクの配信は、直接ハードウェアアクセスによって実行される。これは、タスクの配信の遅延を短縮し、間接的にシステムの処理性能を向上させる。

以下は、制御システムがＭＤＣシナリオにおける制御システムである例を使用して、ハードウェアアクセラレータをスケジューリングするための前述の方法を説明する。ＭＤＣシナリオでは、現在の制御システムにおけるハードウェアアクセラレータ（いくつかのハードウェアアクセラレータのみが表示されている、例えば、ビデオデコーディングアクセラレータ、ビジョン前処理アクセラレータ、画像デコーディングアクセラレータ、画像エンコーディングアクセラレータ、およびＡＩモジュール）の位置が図８に示される。メインコントロールＣＰＵは、対応するタスクを実行するように各ハードウェアアクセラレータをスケジューリングする。音声、画像、またはビデオが、外部センサまたはＰＣＩｅインターフェイスから入力され、ストレージのためにメモリに送信され得る。代替的には、音声、画像、またはビデオが、画像デコーディング（ＪＰＥＧデコーディング、ＪＰＥＧＤ）アクセラレータまたはビデオデコーディング（Video Decoding、ＶＥＤＣ）アクセラレータなどのハードウェアアクセラレータによって処理された後、ビジョン前処理がビジョン前処理（Vision Pre-Processing、ＶＰＣ）アクセラレータによって実行され、その後さらなる処理のためにＡＩモジュールに送信される。ＭＤＣシナリオでは、１つのスケジューリングされたタスクは、センサ（例えば、カメラ）を使用することによって端末装置（例えば、車両）によって取得されたデータフロー（生でーあと呼ばれることもある）が一連の関連するハードウェアアクセラレータによって処理されて、指定された機能を持つ出力データ（例えば、障害物を感知するために使用されるデータおよび別のデバイスに送信されるために使用されるデータ）を取得する特定の実装プロセスである。本出願のいくつかの実装では、１つのスケジューリングされたタスクは、フロントエンドタスクおよびバックエンドタスクに具体的に分けられ得る。フロントエンドタスクは、主にデータ入力を担当し、主に複数のタスク、例えば、マルチセンサソース（画像、ビデオなど）情報フローの収集、画像処理、クロッピング（cropping）、再構築（reassembling）、サイズ調整などのデータ処理、およびそのプロセスにおけるデータ格納とデータ転送を含む。異なるタスクを処理するハードウェアアクセラレータは、連携するようにスケジューリングされる必要がある。バックエンドタスクは、処理されたフロントエンドタスクによって取得されたデータを計算することを主に担当する。すなわち、フロントエンドタスクによって処理されたデータが取得された後、ＡＩモジュールのＡＩ ＣＰＵは、データの計算、分析、トレーニング、予測、および調整などの後続タスクを実行するように通知される。本出願の他のいくつかの実装では、１つのスケジューリングされたタスクはフロントエンドタスクのみを含み得ることが留意されるべきである。例えば、タスクスケジューラが、入力データに対する画像処理、クロッピング、再構築、サイズ調整などの処理を実行するように各ハードウェアアクセラレータを呼び出した後、処理されたデータは、別の端末装置（携帯電話やパソコンなど）に送信され、別の端末装置は、ＡＩコンピューティングを実行し、その後計算結果を端末装置に返す。

図９はＭＤＣシナリオにおける制御システムのタスクスケジューラの位置を示す。タスクスケジューラは、各ハードウェアアクセラレータ、例えば、図９のビデオデコーディングアクセラレータ、ビジョン前処理アクセラレータ、画像デコーディングアクセラレータ、または画像エンコーディングをスケジューリングするように、各ハードウェアアクセラレータへのインターフェイスを提供する。ＭＤＣシナリオでは、１つのスケジューリングされたタスクのタスクフロー（タスクセットとも呼ばれることがある）が、複数のタスクに分割され、並列処理または逐次処理が複数のハードウェアアクセラレータによって実行される。本出願の本実施形態におけるハードウェアアクセラレータをスケジューリングする方法は、スケジューリングされたタスクの処理性能を向上させるために使用される。タスクセット内のタスクが実行された後、タスクスケジューラは、タスクが実行された後に生成されたデータを格納する（例えば、データをメモリに格納する）。タスクセット内のタスクは、１つのスケジューリングされたタスクを形成する。元のスケジューリングされたタスクは、タスクセット内のすべてのタスクが実行された後にのみ完了する。前述のスケジューリング方法によれば、１つのスケジューリングされたタスクにおけるターゲットタスクは、具体的には、タスクスケジューラが、ＡＩモジュールの計算後にフィードバックデータを取得するために、ＡＩコンピューティングを実行するようにＡＩモジュール（例えば、ＡＩ ＣＰＵ）に指示することであり得る。フィードバックデータは、車両上のユーザの操作をガイドするために使用され得る。具体的には、いくつかの適用シナリオでは、フィードバックデータは、車線境界線および／または停止線を感知するために使用されるデータであり得、車両所有者が指定された車線を走行するまたは指定された駐車エリアで停止するように案内するために使用される。代替的には、フィードバックデータは、安全領域を感知するために使用されるデータであり得、この車両を他の車両から安全な距離に保つように車両所有者を案内するために使用される。代替的には、フィードバックデータは障害物（例えば障害物からの距離）を感知するために使用されるデータであり得、事前に安全対策（例えば、停止や方向転換）を講じるように車両所有者を案内するために使用される。フィードバックデータの種類および機能はここでは限定されない。対応するフィードバックデータは、実際の適用シナリオに基づいて取得され得る。したがって、車両所有者は、対応するフィードバックデータに基づいて車両を操作するように案内され、それによって運転の安全性および運転性能を向上させる。

スケジューリングされたタスクをよりよく理解するために、以下はＭＡＣの適用シナリオを参照して説明を提供する。図１０を参照されたい。車両に搭載された各種センサ（一般的なレーダー、カメラ、レーザーレーダー、および慣性測定ユニットなど）は、まず各種センサデータを取得する。加えて、マップが、ロケーションメッセージを取得するまたはローカルマップを取得するために使用される。データは生データと呼ばれることがある。次に、生データは、処理されたデータ（すなわち、図１０のセンシング（sensing（感知））データ）を取得するために、処理のために対応するハードウェアアクセラレータにタスクスケジューラによって割り当てられる。取得されたセンシングデータの特定の目的は、異なるハードウェアアクセラレータによって異なる。例えば、レーダーセンシングのためのアクセラレータ（１つまたは複数であり得る）が生データを処理した後に出力されるセンシングデータは、障害物を感知するために使用され得、視覚的な車線センシングのためのアクセラレータ（１つまたは複数であり襟）が生データを処理した後に出力されるセンシングデータは、車線境界線を感知するために使用され得る。生データから、タスクスケジューラによって各ハードウェアアクセラレータをスケジューリングすることによって取得されたセンシングデータまでの各プロセスは、スケジューリングされたタスクの特定の実行プロセスである。最後に、ユーザが直感的に読み取ることができるデータ（例えば、ディスプレイインターフェイスに表示されるシミュレートされた車線境界線またはシミュレートされた安全領域）は、各センシングデータの融合（fusion）または空間認識によって取得される。

本出願のいくつかの実装では、タスクセット内の各タスクを形成するデータは、搭載されたセンサデバイス（例えば、カメラ）を使用することにより車両によって取得され得ることが留意されるべきである。

本出願のいくつかの実装では、１つのスケジューリングされたタスク内の分割されたタスク間の依存関係は図７の２次元チャートを用いて表され得ることが留意されるべきである。２次元チャートはメモリに格納され得る。

以下は、本出願の本実施形態で説明した方法が適用される実際のシナリオを説明する。図１１は、サラウンドビューステッチング（surround-view stitching）およびイメージセンシング部の典型的なデータフローグラフを示す。一方向矢印の線は、データフローのフロー方向を示す。双方向矢印の線は、タスクスケジューラと各ハードウェアアクセラレータとの間にインターフェイスがあることを示す。タスクスケジューラは、これらのインターフェイスを介して各ハードウェアアクセラレータをスケジューリングし得る。図１１に示すように、タスクスケジューラは、画像処理アクセラレータ１～４、ビジョン前処理アクセラレータ１～３、およびＡＩモジュール１～２のいずれか１つをスケジューリングし得る。車両の前後左右にそれぞれ設置された４つの魚眼カメラは、まず画像データを収集するように構成されている。タスクスケジューラは、画像処理アクセラレータ１～４をスケジューリングして、対応する分岐（branches）の画像データに対して画像処理を行い、その後、４チャンネルの画像データに対して画像歪み補正およびサラウンドビューステッチングを行い、１チャンネルのパノラマを出力する。パノラマは３か所に出力される（すなわち、３つのタスクセットが形成される）。第１のチャネル（すなわち、第１のタスクセット）がビジョン前処理アクセラレータ１に送信されて処理されたデータを取得し、その後処理されたデータはＡＩモジュール１に計算のために出力される。計算されたフィードバックデータは、車線境界線および停止線を感知するために使用される。同様に、第２のチャネル（すなわち、第２のタスクセット）が別のビジョン前処理アクセラレータ２に送信されて処理されたデータを取得し、その後処理されたデータは別のＡＩモジュール２に計算のために出力される。計算されたフィードバックデータは、車両が走行する安全領域を感知するために使用される。第３のチャネル（すなわち、第３のタスクセット）は、画像のエンコーディング、圧縮、およびストレージのためにビデオエンコーディングアクセラレータに直接送信される。各タスクセットに含まれる各タスクは、前述のスケジューリング方法に従って処理され得る。詳細は、図３に対応する本実施形態の方法を参照されたい。詳細はここでは説明しない。

図３に対応する実施形態によれば、本出願のこの実施形態を実装するための上述の解決策をよりよく説明するために、以下は上述の解決策を実装するように構成されたタスクスケジューラを提供する。詳しくは、図１２は、本出願の一実施形態によるタスクスケジューラの構造の概略図である。タスクスケジューラ１２００は、取得モジュール１２０１、決定モジュール１２０２、およびスケジューリングモジュール１２０３を含む。取得モジュール１２０１は、ターゲットタスクを取得するように構成される。決定モジュール１２０２は、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定するように構成される。依存関係は、タスクセット内のタスクの実行順序を示す。スケジューリングモジュール１２０３は、決定モジュール１２０２が第１の関連付けられたタスクが実行されたと決定するときに、ターゲットタスクを実行するよう少なくとも１つのハードウェアアクセラレータをスケジューリングするように構成される。

可能な設計では、スケジューリングモジュール１２０３がターゲットタスクを実行するために少なくとも１つのハードウェアアクセラレータをスケジューリングするとき、少なくとも１つのハードウェアアクセラレータがターゲットタスクを順に実行する。

可能な設計では、少なくとも１つのハードウェアアクセラレータのそれぞれが実行キューに対応する。ターゲットタスクの識別子が、各ハードウェアアクセラレータに対応する実行キューに格納される。

可能な設計では、スケジューリングモジュール１２０３はさらに：スケジューリングモジュール１２０３がターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングした後、少なくとも１つのハードウェアアクセラレータによって返された指示メッセージを受信し、その指示メッセージは少なくとも１つのハードウェアアクセラレータがターゲットタスクを実行したことを示し、少なくとも１つのハードウェアアクセラレータに対応する実行キューからターゲットタスクの識別子を削除する、ように構成される。

可能な設計では、スケジューリングモジュール１２０３は、さらに：タスクセット内の各タスクが実行された後に取得されたデータを格納するように構成される。タスクセット内のすべてのタスクは、スケジューリングされたタスクを形成する。

可能な設計では、タスクセット内のタスクを形成するデータは、端末装置に搭載されたカメラ装置を使用することにより端末装置によって取得される。

可能な設計では、タスクセット内の各タスクが実行された後に取得されるデータは、ＡＩモジュールによって計算されたフィードバックデータを含む。フィードバックデータは、端末装置の操作を案内するために使用される。ＡＩモジュールは、少なくとも１つのハードウェアアクセラレータに属する。

可能な設計では、端末装置は車両である。フィードバックデータは、車線境界線および／または停止線を感知するために使用されるデータ、または安全エリアを感知するために使用されるデータ、障害物を感知するために使用されるデータを含む。フィードバックデータの種類および機能はここでは限定されない。対応するフィードバックデータは、実際のアプリケーションシナリオに基づいて取得され得る。したがって、車両所有者はフィードバックデータに基づいて車両を操作するように案内され、それによって運転の安全性および運転性能を向上させる。

タスクスケジューラ１２００におけるモジュール／ユニット間の情報交換および実行プロセスなどの内容は、本出願における図３に対応する方法の実施形態と同じ概念に基づいていることが留意されるべきである。具体的な内容については、本出願の上述の方法の実施形態の説明を参照されたい。詳細はここでは説明しない。

本出願の一実施形態は、さらにタスクスケジューラを提供する。図１３は、本出願の一実施形態によるタスクスケジューラの構造の概略図である。説明を容易にするため、本出願の本実施形態に関連する部分のみを示す。開示されていない具体的な技術的詳細については、本出願の実施形態における方法の部分を参照されたい。図１２に対応する実施形態で説明したタスクスケジューラのモジュールは、タスクスケジューラ１３００に展開され得、図１２に対応する実施形態のタスクスケジューラの機能を実装するように構成される。具体的には、タスクスケジューラ１３００は、１つまたは複数のサーバによって実装される。タスクスケジューラ１３００は、構成または性能が異なるために大きく異なる場合があり、１つまたは複数の中央処理装置（central processing units、ＣＰＵ）１３２２（例えば、１つまたは複数のプロセッサ）、メモリ１３３２、およびアプリケーションプログラム１３４２またはデータ１３４４を格納する１つまたは複数の記憶媒体１３３０（例えば、１つまたは複数の大容量記憶装置）を含み得る。メモリ１３３２および記憶媒体１３３０は、一時記憶または永続記憶であり得る。記憶媒体１３３０に格納されたプログラムは、１つまたは複数のモジュール（図には示されていない）を含み得、各モジュールは、ハードウェアアクセラレータのための一連の命令操作を含み得る。さらに、中央処理装置１３２２は、記憶媒体１３３０と通信し、記憶媒体１３３０内の一連の命令操作をタスクスケジューラ１３００上で実行するように構成され得る。例えば、中央処理装置１３２２は、ターゲットタスクを取得し、依存関係に基づいて、ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定するように構成され得る。依存関係は、タスクセット内のタスクの実行順序を示す。第１の関連付けられたタスクが実行されたことを決定する場合、中央処理装置１３２２はターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングする。

タスクスケジューラ１３００はさらに、１つまたは複数の電源１３２６、１つまたは複数の有線または無線ネットワークインターフェイス１３５０、１つまたは複数の入出力インターフェイス１３５８、および／またはWindows Server（商標）、Mac OS X（商標）、Unix（商標）、Linux（商標）、FreeBSD（商標）などの１つまたは複数のオペレーティングシステム１３４１を含み得る。

本出願の本実施形態では、図３に対応する実施形態のタスクスケジューラによって実行されるステップが、図１３に示す構造に基づいて実装され得る。詳細はここでは説明しない。

加えて、記載されている装置の実施形態はあくまで一例であることが留意されるべきである。別々の部分として記述されるユニットは、物理的に分かれていてもそうでなくてもよく、ユニットとして表示される部分は、物理的なユニットであってもそうでなくてもよく、１つの位置に配置されていてもよく、または複数のネットワークユニットに分散されていてもよい。いくつかまたはすべてのモジュールは、実施形態の解決策の目的を達成するために、実際のニーズにしたがって選択され得る。加えて、本出願によって提供される装置の実施形態の添付図面では、モジュール間の接続関係は、モジュールが相互に通信接続を持つことを示しており、これは１つ以上の通信バスまたは信号ケーブルとして具体的に実装され得る。

上述の実装の説明に基づいて、当業者は、本出願が必要なユニバーサルハードウェアに加えてソフトウェアによって、または専用の集積回路、専用のＣＰＵ、専用のメモリ、専用のコンポーネントなどを含む専用のハードウェアによって実装され得ることを明確に理解することができる。概して、コンピュータプログラムによって実行することができる機能は、対応するハードウェアを使用することによって簡単に実装することができる。さらに、同じ機能を実現するために使用される特定のハードウェア構造は、例えば、アナログ回路、デジタル回路、または専用回路の形態の、さまざまな形態のものであり得る。しかし、本出願については、ソフトウェアプログラムの実装はほとんどの場合、より優れた実装である。このような理解に基づき、本出願の技術的な解決策は本質的に、または、従来の技術に貢献する部分は、ソフトウェア製品の形で実装され得る。コンピュータソフトウェア製品は、コンピュータのフロッピー（登録商標）ディスク、USBフラッシュドライブ、リムーバブルハードディスク、ROM、RAM、磁気ディスク、または光ディスクなどの可読記憶媒体に格納され、本出願の実施形態に記載されている方法を実行するようにコンピュータデバイス（これは、パーソナルコンピュータ、トレーニングデバイス、またはネットワークデバイスであり得る）に指示するためのいくつかの命令を含む。

上述の実施形態の全てまたはいくつは、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせによって実装され得る。ソフトウェアを使用して実施形態を実装する場合、実施形態の全てまたは一部はコンピュータプログラム製品の形で実装され得る。

コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにロードされて実行されるとき、本出願の実施形態に従った手順または機能が全てまたは部分的に生成される。コンピュータには、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、またはその他のプログラム可能な装置であり得る。コンピュータ命令は、コンピュータ可読記憶媒体に格納され得るまたはコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信され得る。例えば、コンピュータの命令は、ウェブサイト、コンピュータ、トレーニングデバイス、またはデータセンターから別のウェブサイト、コンピュータ、トレーニングデバイス、またはデータセンターに有線（例えば、同軸ケーブル、光ファイバ、またはデジタル加入者線（DSL））または無線（赤外線、ラジオ、またはマイクロ波）で送信され得る。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、または１つ以上の使用可能な媒体を統合したトレーニング装置もしくはデータセンターなどのデータストレージデバイスであり得る。使用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、または磁気テープなど）、光媒体（例えば、DVD）、半導体媒体（例えば、ソリッドステートディスク（Solid State Disk、SSD））等であり得る。

Claims (13)

1. ハードウェアアクセラレータをスケジューリングするための方法であって：
   タスクスケジューラによって、ターゲットタスクを取得するステップと；
   依存関係に基づいて前記タスクスケジューラによって、前記ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定するステップであって、前記依存関係は、タスクセット内のタスクの実行順序を示し、前記ターゲットタスクは前記タスクセット内のタスクであり、前記第１の関連付けられたタスクは前記ターゲットタスクが実行される前に前記依存関係に基づいて実行される必要があるタスクである、ステップと；
   前記第１の関連付けられたタスクが実行されたと前記タスクスケジューラが決定するとき、前記タスクスケジューラによって、前記ターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングするステップと；
   前記タスクスケジューラによって、前記タスクセット内の各タスクが実行された後に取得されたデータを格納するステップであって、前記タスクセット内のすべてのタスクがスケジューリングされたタスクを形成する、ステップと；を含み、
   前記タスクセット内の前記タスクを形成するデータは、車両によって、前記車両に搭載されたカメラ装置を使用することによって取得され、
   前記タスクセット内の各タスクが実行された後に取得された前記データはＡＩモジュールによって計算されるフィードバックデータを含み、前記フィードバックデータは、車線境界線および／または停止線を感知するために使用されるデータ；または安全領域を感知するために使用されるデータ；または障害物を感知するために使用されるデータ；を含み、前記フィードバックデータは、前記車両の操作を案内するために使用され、前記ＡＩモジュールは前記少なくとも１つのハードウェアアクセラレータに属する、
   方法。
2. 前記タスクスケジューラが、前記ターゲットタスクを実行するように前記少なくとも１つのハードウェアアクセラレータをスケジューリングするとき、前記少なくとも１つのハードウェアアクセラレータは前記ターゲットタスクを順に実行する、
   請求項１に記載の方法。
3. 前記少なくとも１つのハードウェアアクセラレータのそれぞれは実行キューに対応し、前記ターゲットタスクの識別子が各前記ハードウェアアクセラレータに対応する前記実行キューに格納される、
   請求項１又は２に記載の方法。
4. 前記タスクスケジューラが前記ターゲットタスクを実行するように前記少なくとも１つのハードウェアアクセラレータをスケジューリングした後、前記方法はさらに：
   前記タスクスケジューラによって、前記少なくとも１つのハードウェアアクセラレータによって返された指示メッセージを受信するステップであって、前記指示メッセージは、前記少なくとも１つのハードウェアアクセラレータが前記ターゲットタスクを実行したことを示す、ステップと；
   前記タスクスケジューラによって、前記少なくとも１つのハードウェアアクセラレータに対応する実行キューから前記ターゲットタスクの前記識別子を削除するステップと；を含む、
   請求項３に記載の方法。
5. ターゲットタスクを取得するように構成された取得モジュールと；
   依存関係に基づいて、前記ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定するように構成された決定モジュールであって、前記依存関係はタスクセット内のタスクの実行順序を示し、前記ターゲットタスクは前記タスクセット内のタスクであり、前記第１の関連付けられたタスクは前記ターゲットタスクが実行される前に前記依存関係に基づいて実行される必要があるタスクである、決定モジュールと；
   スケジューリングモジュールであって：前記決定モジュールが前記第１の関連付けられたタスクが実行されたと決定するときに、前記ターゲットタスクを実行するよう少なくとも１つのハードウェアアクセラレータをスケジューリングするように構成された、スケジューリングモジュールと；を有し、
   前記スケジューリングモジュールは、さらに：前記タスクセット内の各タスクが実行された後に取得されたデータを格納するように構成される、前記タスクセット内のすべてのタスクがスケジューリングされたタスクを形成し、
   前記タスクセット内の前記タスクを形成するデータは、車両によって、前記車両に搭載されたカメラ装置を使用することによって取得され、
   前記タスクセット内の各タスクが実行された後に取得された前記データはＡＩモジュールによって計算されるフィードバックデータを含み、前記フィードバックデータは：車線境界線および／または停止線を感知するために使用されるデータ；または安全領域を感知するために使用されるデータ；または障害物を感知するために使用されるデータ；を含み、前記フィードバックデータは、前記車両の操作を案内するために使用され、前記ＡＩモジュールは前記少なくとも１つのハードウェアアクセラレータに属する、
   タスクスケジューラ。
6. 前記スケジューリングモジュールが、前記ターゲットタスクを実行するように前記少なくとも１つのハードウェアアクセラレータをスケジューリングするとき、前記少なくとも１つのハードウェアアクセラレータは前記ターゲットタスクを順に実行する、
   請求項５に記載のスケジューラ。
7. 前記少なくとも１つのハードウェアアクセラレータのそれぞれが実行キューに対応し、前記ターゲットタスクの識別子が各前記ハードウェアアクセラレータに対応する前記実行キューに格納される、
   請求項５又は６に記載のスケジューラ。
8. 前記スケジューリングモジュールは、さらに：
   前記スケジューリングモジュールが前記ターゲットタスクを実行するように前記少なくとも１つのハードウェアアクセラレータをスケジューリングした後、前記少なくとも１つのハードウェアアクセラレータによって返された指示メッセージを受信し、前記指示メッセージは、前記少なくとも１つのハードウェアアクセラレータが前記ターゲットタスクを実行したことを示し；
   前記少なくとも１つのハードウェアアクセラレータに対応する実行キューから、前記ターゲットタスクの前記識別子を削除する；ように構成される、
   請求項７に記載のスケジューラ。
9. タスクスケジューラであって、ターゲットタスクを取得し、依存関係に基づいて、前記ターゲットタスクに関連付けられた第１の関連付けられたタスクを決定し、前記依存関係はタスクセット内のタスクの実行順序を示し、前記ターゲットタスクは前記タスクセット内のタスクであり、前記第１の関連付けられたタスクは前記ターゲットタスクが実行される前に前記依存関係に基づいて実行される必要があるタスクであり；前記第１の関連付けられたタスクが実行されたと決定されるとき、前記ターゲットタスクを実行するように少なくとも１つのハードウェアアクセラレータをスケジューリングする、ように構成される、タスクスケジューラと；
   前記ターゲットタスクを実行するように構成された前記少なくとも１つのハードウェアアクセラレータと；を有し、
   前記タスクスケジューラはさらに：前記タスクセット内の各タスクが実行された後に取得されたデータを格納するように構成され、前記タスクセット内のすべてのタスクがスケジューリングされたタスクを形成し、
   前記タスクセット内の前記タスクを形成するデータは、車両によって、前記車両に搭載されたカメラ装置を使用することによって取得され、
   前記タスクセット内の各タスクが実行された後に取得された前記データはＡＩモジュールによって計算されるフィードバックデータを含み、前記フィードバックデータは：車線境界線および／または停止線を感知するために使用されるデータ；または安全領域を感知するために使用されるデータ；または障害物を感知するために使用されるデータ；を含み、前記フィードバックデータは前記車両の操作を案内するために使用され、前記ＡＩモジュールは前記少なくとも１つのハードウェアアクセラレータに属する、
   制御システム。
10. 前記タスクスケジューラは少なくとも１つの実行キューを含み、前記ターゲットタスクの識別子が各実行キューに格納され；
    前記少なくとも１つのハードウェアアクセラレータは、前記ターゲットタスクのものであって、前記少なくとも１つの実行キューに格納されている識別子を使用することによって前記ターゲットタスクを実行するように構成され、各ハードウェアアクセラレータは１つの実行キューに対応する、
    請求項９に記載のシステム。
11. プロセッサおよびメモリを有するタスクスケジューラであって、前記プロセッサは前記メモリに結合され；
    前記メモリはプログラムを格納するように構成され；
    前記プロセッサは、前記タスクスケジューラが請求項１乃至４のいずれか１項に記載の方法を実行するように、前記メモリ内の前記プログラムを実行するように構成される、
    タスクスケジューラ。
12. プログラムを含むコンピュータ可読記憶媒体であって、前記プログラムがコンピュータで実行されるとき、前記コンピュータは請求項１乃至４のいずれか１項に記載の方法を実行することを可能にされる、コンピュータ可読記憶媒体。
13. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行されるとき、前記コンピュータは、請求項１乃至４のいずれか１項に記載の方法を実行することを可能にされる、コンピュータプログラム。

Images