WO2021182222A1

WO2021182222A1 - 演算装置及び演算方法

Info

Publication number: WO2021182222A1
Application number: PCT/JP2021/008131
Authority: WO
Inventors: 成司西村
Original assignee: Denso Corp; NSI Texe Inc
Current assignee: Denso Corp; NSI Texe Inc
Priority date: 2020-03-11
Filing date: 2021-03-03
Publication date: 2021-09-16
Anticipated expiration: 2022-09-11
Also published as: JPWO2021182222A1; JP7393519B2

Abstract

演算装置（１０）は、同じ機能を有する複数の機能ユニット（１２）を含むパイプラインを具備し、チェイニングによって演算を行う。この演算装置（１０）は、命令を実行中でない機能ユニット（１２）の有無を判定する実行判定部（２２）と、何れかの機能ユニット（１２）が命令を実行している際に、命令を実行中でない機能ユニット（１２）に対して、何れかの機能ユニット（１２）による命令実行と並行して実行可能な命令を実行させる制御部（２４）と、を備える。

Description

演算装置及び演算方法

関連出願への相互参照

　本出願は、２０２０年３月１１日に出願された特許出願番号２０２０－０４２１６９号に基づくものであって、その優先権の利益を主張するものであり、その特許出願のすべての内容が、参照により本明細書に組み入れられる。

　本開示は、演算装置及び演算方法に関する。

　従来から、命令を処理する演算器である機能ユニットを複数備え、入力される一連の命令に対して複数の機能ユニットでパイプライン処理（以下「多段演算パイプライン」ともいう。）を行なう演算装置が用いられている。

　例えば特許文献１には、乗算器ＭＵＬと加算機ＡＤＤ等の複数の機能ユニットによってパイプライン処理を行う構成が開示されている。特許文献１に記載の構成は、乗算器ＭＵＬは同時に入力された値「ａ」「ｂ」の対応する要素の組の各データを乗算して加算器ＡＤＤに順次出力し、加算器ＡＤＤは出力された乗算値と、前回の加算器ＡＤＤの出力とを順次加算している。

特開２０１２－６９０８１号公報

　ここで、多段演算パイプラインを用いたチェイニングによって命令（演算）を行う演算装置は、パイプラインの立ち上げや立ち下がりのオーバーヘッドを要し、加算や乗算等が組み合わさった複雑な演算を実行する際に、パイプラインの立ち上げ立ち下げを複数回行う場合があった。また、複雑な演算を実行する場合には、他の機能ユニットによる演算の終了を待ってから演算を行う機能ユニットが存在する場合があった。すなわち、パイプラインを用いたチェイニングでは効率的な演算を行えない場合があった。

　本開示は、パイプラインを用いたチェイニングによる演算をより効率的に行える、演算装置及び演算方法を提供することを目的とする。

　本開示の一態様の演算装置は、同じ機能を有する複数の機能ユニットを含むパイプラインを具備し、チェイニングによって演算を行う演算装置であって、命令を実行中でない前記機能ユニットの有無を判定する判定部と、前記何れかの機能ユニットが命令を実行している際に、前記命令を実行中でない前記機能ユニットに対して、前記何れかの機能ユニットによる命令実行と並行して実行可能な前記命令を実行させる制御部と、を備える。

　本発明によれば、パイプラインを用いたチェイニングによる演算をより効率的に行える。

　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、実施形態の演算装置の概略構成図である。図２は、実施形態のチェイニングを示す模式図である。図３は、実施形態のチェイニングを示す模式図である。図４は、実施形態のチェイニング演算処理の流れを示すフローチャートである。

　以下、図面を参照して本開示の実施形態を説明する。なお、以下に説明する実施形態は、本開示を実施する場合の一例を示すものであって、本開示を以下に説明する具体的構成に限定するものではない。本開示の実施にあたっては、実施形態に応じた具体的構成が適宜採用されてよい。

　図１は、本実施形態の演算装置１０の概略構成図である。本実施形態の演算装置１０は、複数の機能ユニット１２を含むパイプラインを具備し、チェイニングによって演算を行うものである。

　機能ユニット１２は、例えば、メモリからレジスタへデータをコピーするＬＤ、レジスタからメモリにデータをコピーするＳＴ、加算機能を有するＡＤＤ（加算器）、乗算機能を有するＭＵＬ（乗算器）、除算機能を有するＤＩＶ（除算器）等の演算器である。これら複数の機能ユニット１２は、パイプライン処理を実行するマルチパイプベクトル演算器（以下「ベクトル演算器」という。）２０に備えられる。

　次に、本実施形態の演算装置１０によるパイプライン処理について説明する。

　まず、一例として、パイプラインの段数（以下「パイプライン段数」という。）を４段とし、機能ユニット１２の数を５つ（ＬＤ、ＳＴ、ＡＤＤ、ＭＵＬ、ＤＩＶ）で構成されるベクトル演算器２０を想定する。以下の説明では、パイプライン段数を４段とするベクトル演算器２０のハードウエア状態をディフォルトモードという。

　このディフォルトモードは、パイプライン段数をより少なくしたモード１とモード２に再構成することが可能である。モード１は、パイプライン段数が２段であり、機能ユニット１２の数が８つ（ＬＤ、ＳＴ、２つのＡＤＤ、２つのＭＵＬ、２つのＤＩＶ）である。モード２は、パイプライン段数が１段であり、機能ユニット１２の数が１４個（ＬＤ、ＳＴ、４つのＡＤＤ、４つのＭＵＬ、４つのＤＩＶ)である。このように、ディフォルトモードよりも段数を少なくしたモード１やモード２では、ＡＤＤ、ＭＵＬ、ＤＩＶ等の同じ機能を有する機能ユニット１２が複数存在する。

　なお、本実施形態の演算装置１０は、一例として、ハードウエアのモード（パイプライン段数と機能ユニット１２の数の組み合わせ）の全バリエーションが予め定義されており、現在のハードウエアのモードはフラグ値として専用のレジスタ（モードレジスタ）に保持される。そして、ハードウエアのモードは専用の制御命令により設定される。

　このように、本実施形態の演算装置１０は、ディフォルトモードから、同じ機能を有する複数の機能ユニット１２を含んでパイプラインを再構成可能とされている。そして、本実施形態の演算装置１０は、機能ユニット１２が命令を実行している場合に、命令を実行中でない他の機能ユニット１２に対して並行して実行可能な命令を実行させる。このため、本実施形態の演算装置１０は、ある機能ユニット１２が命令を実行している場合に、他の機能ユニット１２が命令を実行しているか否かを判定する機能（Out-of-Order機能）を有している。

　Out-of-Order機能を実現するために、本実施形態の機能ユニット１２は、命令の実行中であるか否かを識別する識別子を保持するステートレジスタを有している。演算装置１０は、このステートレジスタに基づいて、命令を実行中でない機能ユニット１２を判定し、機能ユニット１２毎に命令の割り当てを行う。本実施形態では、一例として、命令を実行中である機能ユニット１２のステートレジスタは“１”であり、命令を実行中でない機能ユニット１２のステートレジスタは“０”である。

　なお、演算に寄与する機能ユニット１２の総数（パイプライン段数と対応する機能ユニット１２の数との積）が一定であるので、ステートレジスタは、機能ユニット１２の総数を保持するために十分なｂｉｔ数があればよい。上記例では、パイプライン段数が最大で４段であり、同じ機能を有する機能ユニット１２が３種類（ＡＤＤ、ＭＵＬ、ＤＩＶ）であるので、ステートレジスタは３×４＝１２ｂｉｔでよい。なお、Out-of-Order機能を実行するためには、ＬＤ及びＳＴの機能ユニット１２が実行中か否かを判定する必要があるのでＬＤ及びＳＴも１ｂｉｔずつのステートレジスタを有する。但し、ＬＤ及びＳＴのステートレジスタは、パイプライン段数には関係なく１ｂｉｔずつであればよい。

　次に、一例として、図２を参照して、モード１で“（（Ａ＋Ｂ）＋Ｃ)×Ｄ”という演算をチェイニングする場合について説明する。モード１では、上述のように、ＡＤＤ、ＭＵＬ、ＤＩＶの機能ユニット１２の数は各々２つである。なお、図２及び後述の図３における各値（Ａ，Ｂ，Ｃ，Ｄ）に対応するベクトルレジスタ幅は固定されており、例えば６４ｂｉｔや３２ｂｉｔである。

　モード１では、まず“Ａ＋Ｂ”の演算結果をレジスタ（中間レジスタ）へ書き出す処理（ＡＤＤ命令）が発行される。ＡＤＤ命令の発行時点では、何れの機能ユニット１２も未だ命令を実行中でないので、全ての機能ユニット１２のステートレジスタは“０”である。ここでＡＤＤ命令を発行することにより、１つ目のＡＤＤに対応する機能ユニット１２のステートレジスタを“１”に設定する。

　そして、次の命令サイクルでは、最初のＡＤＤ命令の完了を待たず、最初のＡＤＤ命令の結果に対して“Ｃ”を加算するＡＤＤ命令が発行される。２つ目のＡＤＤのステートレジスタは“０”なので、命令を実行中でないＡＤＤがあると判断され、２つ目のＡＤＤのステートレジスタを“１”に設定し、最初のＡＤＤ命令とのチェイニングが行われる。

　さらに、次の命令サイクルでは先行の２つのＡＤＤ命令の終了を待たずに、“（Ａ＋Ｂ）＋Ｃ”に対する“Ｄ”の乗算命令が発行される。このときＭＵＬのステートレジスタは“０”なので、１つ目のＭＵＬのステートレジスタを“１”に設定し、先行の２つのＡＤＤ命令とのチェイニングが行われる。

　次に、図３を参照して“（Ａ＋Ｂ）×（Ｃ＋Ｄ）”という演算をモード１でチェイニングする場合について説明する。まず“（Ａ＋Ｂ）”と“（Ｃ＋Ｄ）”との演算は各々独立して実行が可能である。このため“（Ａ＋Ｂ）”の演算を一つのＡＤＤが行うと共に、“（Ｃ＋Ｄ）”の演算命令は、もう他のＡＤＤによって演算が行われる。すなわち、これらの２つのＡＤＤ命令は互いの終了を待つことなく同時に発行される。従って、モード１の場合にはハードウエアのリソースとしてこれら２つのＡＤＤ命令を同時に割り当て可能である。

　図３の例では、ＭＵＬの機能ユニット１２が一つ空きとなる。ここで次の命令（後続命令）に上記のチェイニング演算とは依存関係のないＭＵＬ命令がある場合には、そのＭＵＬ命令を同時実行できる。結果として演算機能ユニットの稼働率をディフォルトモードよりも高くすることができ、従来と同じハードウエアリソース（演算器の数）でもより高い実効性能を発揮することが可能となる。

　また、本実施形態の機能ユニット１２は、命令の実行状態を示すマスクレジスタ３０（図２，３参照）を備える。そして、複数の他の機能ユニット１２による演算結果を用いて次の命令を実行する機能ユニット１２は、複数の他の機能ユニット１２のマスクレジスタ３０が命令の実行終了を示した後に次の命令を実行する。

　より具体的にはマスクレジスタ３０は、ベクトルレジスタ長に対応して設けられており、演算の進行度合いに応じて“０”が“１”に書き換えられる。各機能ユニット１２における演算が完了すると、マスクレジスタ３０は全て“１”とされる。そして、先の命令を実行した複数の機能ユニット１２のマスクレジスタ３０のＡＮＤ（論理積）によって、当該複数の機能ユニット１２による演算が完了したか否かが判定される。すなわち、先の命令を実行する複数の機能ユニット１２による演算が終了するまで、次の命令を実行する機能ユニット１２は演算を行わない。

　すなわち、図３の例では、“Ａ＋Ｂ”の演算が完了するとレジスタ領域が全て“１”となり、“Ｃ＋Ｄ”の演算が完了するとレジスタ領域が全て“１”となる。そして、“Ａ＋Ｂ”の演算及び“Ｃ＋Ｄ”の演算が完了した場合に、“（Ａ＋Ｂ）×（Ｃ＋Ｄ）”の演算が開始される。

　これにより、複数の機能ユニット１２が先の命令を非同期で行っても、次の命令を実行する機能ユニット１２は、複数の機能ユニット１２による命令の実行完了を待って演算を行うことになるので、エラーを生じさせることなく次の命令の実行が可能となる。

　なお、先の命令を実行するパイプラインの段数よりも次の命令を実行するパイプラインの段数が多い場合、例えば先のパイプラインが２段であり、後のパイプラインが４段の場合にも、上述と同様にマスクレジスタ３０によって先のパイプラインによる命令（演算）の進行度合いが判定される。このため、異なる段数のパイプラインの組み合わせによってチェイニングによる演算が行われる場合であっても、エラーを生じさせることなく命令の実行が可能となる。

　このように、本実施形態の演算装置１０は、４段のパイプラインをそれよりも段数の小さいパイプライン（２段のパイプライン）に再構成することによって、パイプラインの立ち上げ、立ち下がりのオーバーヘッドを少なくできる。このとき、２段のパイプラインでは、同じ機能を有する機能ユニット１２を複数（少なくとも２つ）備えることになる。

　具体的には、上述の４段のパイプラインによって“（（Ａ＋Ｂ）＋Ｃ)×Ｄ”という演算を行う場合、“Ａ＋Ｂ＝Ｅ”の演算をチェイニングで行った後に、“（Ｅ＋Ｃ）×Ｄ”を新たなチェイニングで行う必要がある。このため、４段のパイプラインでは、パイプラインの立ち上げと立ち下がりとを２度行う必要があり、オーバーヘッドが２回分必要となる。また、“Ａ＋Ｂ＝Ｅ”の演算結果を一旦メモリに記憶（ストア）させ、“（Ｅ＋Ｃ）×Ｄ”の演算を行う場合に、演算結果である“Ｅ”をメモリから読み出す必要があり、処理が非効率であった。

　一方、２段のパイプラインでは、同じ機能を有する機能ユニット１２（ＡＤＤ、ＭＵＬ、ＤＩＶ）を２つずつ有することとなる。そして、ある機能ユニット１２が命令を実行している際に、命令を実行中でない他の機能ユニット１２の有無を判定し（Out-of-Order機能）、命令を実行中でない他の機能ユニット１２に対して、ある機能ユニット１２による命令実行と並行して実行可能な命令を実行させる。

　これにより、２段のパイプラインでは、“（（Ａ＋Ｂ）＋Ｃ)×Ｄ”の演算を一度のチェイニングによって行うことができ、パイプラインの立ち上げと立ち下がりと（オーバーヘッド）が１度で済む。また、２段のパイプラインでは、４段のパイプラインで行ったような演算結果を一旦メモリに記憶させるという処理は不要なため、より効率的な処理が可能となる。

　このことから、本実施形態のようにパイプラインの段数を少なくし、同じ機能を有する複数の機能ユニット１２を含むパイプラインとすることで、パイプラインの立ち上げと立ち下がりとに要するオーバーヘッドの時間を削減でき、演算の効率化が可能となる。

　このようなパイプラインによるチェイニングを実行するために、図１に示されるように本実施形態の演算装置１０は、実行判定部２２と制御部２４とを備える。

　実行判定部２２は、Out-of-Order機能を実行する構成要素であり、命令を実行中でない機能ユニット１２の有無を判定する。なお、実行判定部２２は、ステートレジスタに基づいて、命令を実行中でない機能ユニット１２を判定する。

　制御部２４は、命令を実行中でない機能ユニット１２に対して実行可能な命令を実行させる。本実施形態の制御部２４は、何れかの機能ユニット１２が命令を実行している際に、命令を実行中でない機能ユニット１２に対して、何れかの機能ユニット１２による命令実行と並行して実行可能な命令を実行させる。

　なお、演算装置１０は、パイプラインの段数に応じた、換言するとモードに応じた制御を行う。例えば、４段のパイプライン（ディフォルトモード）では、Out-of-Order機能を実行せずに、２段又は１段のパイプラン（モード１又はモード２）ではOut-of-Order機能を実行する。換言すると、Out-of-Order機能は、同じ機能を有する複数の機能ユニット１２を備えるパイプラインに対して実行される。なお、モードは、ベクトル演算器２０に実行させる一連の演算に応じて適宜選択される。

　また、これに限らず、ディフォルトモードであってもOut-of-Order機能を実行するとしてもよい。すなわち、同じ機能を有する機能ユニット１２だけでなく、異なる機能ユニット１２（ＬＤ、ＳＴ、ＭＵＬ、ＡＤＤ、ＤＩＶ）全てにおいて依存関係にない機能ユニット１２は同時に実行可能としてもよい。

　なお、本実施形態の演算装置１０は、機能ユニット１２による実行待ちの命令を命令待機バッファ１４に記憶させる。そして、命令待機バッファ１４に記憶された命令を実行可能な機能ユニット１２が有った場合に、命令待機バッファ１４から命令が順次読み出されて機能ユニット１２によって実行される。これにより、命令を実行中でない機能ユニット１２へ命令を効率的に割り当てることを可能とする。

　図４は、Out-of-Order機能を実行するチェイニング演算処理の流れを示すフローチャートである。このチェイニング演算処理は、演算装置１０が備える記録媒体に格納されたプログラムによって実行される。このプログラムが実行されることで、プログラムに対応する方法が実行される。

　なお、図４に示されるチェイニング演算処理はOut-of-Order機能を実行するものであるため、このチェイニング演算処理の実行前にモードレジスタを確認することで、Out-of-Order機能を実行可能なモードであるか否かが判定される。Out-of-Order機能を実行可能なモードでない場合は、Out-of-Order機能を実行しない通常のチェイニング演算処理が実行される。または、Out-of-Order機能を実行可能なモードに再構成される。

　まず、ステップＳ１００では、実行判定部２２が各機能ユニット１２のステートレジスタを確認し、命令を実行中でない機能ユニット１２の有無を判定する（Out-of-Order機能）。なお、ここでいう機能ユニット１２の有無とは、与えられた命令を実行可能な機能ユニット１２である。例えば与えられた命令がＡＤＤ命令である場合には、このＡＤＤ命令を実行可能な機能ユニット１２の有無が実行判定部２２によって判定される。

　次のステップＳ１０２では、命令を実行中でない機能ユニット１２が有る場合は、ステップＳ１０６へ移行する一方、命令を実行しないない機能ユニット１２が無い場合は、ステップＳ１０４へ移行する。

　ステップＳ１０４では、命令を実行できる機能ユニット１２が無いため、当該命令を実行待ちの命令として命令待機バッファ１４へキューイングし、ステップＳ１００へ戻る。

　ステップＳ１０６では、制御部２４が、命令を実行中でない機能ユニット１２へ命令の割り当てを行う。

　次のステップＳ１０８では、制御部２４が、命令が割り当てられた機能ユニット１２のステートレジスタを“１”に設定する。

　次のステップＳ１１０では、機能ユニット１２が割り当てられた命令を実行する。

　次のステップＳ１１２では、制御部２４が、割り当てられた命令の実行を機能ユニット１２が完了したか否かを判定し、肯定判定の場合はステップＳ１１４へ移行し、否定判定の場合はステップＳ１１６へ移行する。なお、命令を実行している機能ユニット１２が複数有る場合、ステップＳ１１２では各々の機能ユニット１２毎に命令の実行が完了したか否かを判定する。

　ステップＳ１１４では、制御部２４が、命令を完了した機能ユニット１２のステートレジスタを“０”に設定し、ステップＳ１１６へ移行する。

　ステップＳ１１６では、次の命令の有無を制御部２４が判定し、次の命令がある場合にはステップＳ１００へ戻り、次の命令に対応させて各ステップを実行する。

　一方、ステップＳ１１６において次の命令がないと判定された場合には、入力された一連の演算命令の全てが完了したことになるので、本チェイニングを終了する。

　このように、本実施形態の演算装置１０は、何れかの機能ユニット１２が命令を実行している際に、命令を実行中でない機能ユニット１２に対して、何れかの機能ユニット１２による命令実行と並行して実行可能な命令を実行させる。これにより、本実施形態の演算装置１０は、パイプラインを用いたチェイニングによる演算をより効率的に行える。

　以上、本開示を、上記実施形態を用いて説明したが、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。開示の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本開示の技術的範囲に含まれる。

　例えば、上記実施形態では、４段のパイプラインを２段のパイプラインや１段のパイプラインに再構成する形態について説明したが、本開示は、これに限定されるものではない。例えば、５段やそれ以上の段数のパイプラインをより少ない段数のパイプラインに再構成してもよい。また、パイプラインの再構成という概念を有さず、ベクトル演算器２０は、例えば、２段で固定されたパイプラインで構成されてもよい。

Claims

　同じ機能を有する複数の機能ユニット（１２）を含むパイプラインを具備し、チェイニングによって演算を行う演算装置（１０）であって、
　命令を実行中でない前記機能ユニットの有無を判定する判定部（２２）と、
　前記何れかの機能ユニットが命令を実行している際に、前記命令を実行中でない前記機能ユニットに対して、前記何れかの機能ユニットによる命令実行と並行して実行可能な前記命令を実行させる制御部（２４）と、
を備える、演算装置。
　前記機能ユニットは、前記命令の実行状態を示すマスクレジスタ（３０）を備え、
　複数の他の前記機能ユニットによる演算結果を用いて次の前記命令を実行する前記機能ユニットは、複数の他の前記機能ユニットのマスクレジスタが前記命令の実行終了を示した後に次の前記命令を実行する、請求項１記載の演算装置。
　前記機能ユニットは、前記命令の実行中であるか否かを識別する識別子が設定され、
　前記判定部は、前記識別子に基づいて、前記命令を実行中でない前記機能ユニットを判定する、
請求項１又は請求項２記載の演算装置。
　前記機能ユニットによる実行待ちの前記命令は記憶媒体（１４）へ記憶され、
　前記記憶媒体に記憶された前記命令を実行可能な前記機能ユニットが有った場合に、前記記憶媒体から前記命令が順次読み出されて前記機能ユニットによって実行される、
請求項１から請求項３記載の演算装置。
　同じ機能を有する複数の機能ユニットを含むパイプラインを用いたチェイニングによる演算方法であって、
　命令を実行中でない前記機能ユニットの有無を判定する第１工程と、
　前記何れかの機能ユニットが命令を実行している際に、前記命令を実行中でない前記機能ユニットに対して、前記何れかの機能ユニットによる命令実行と並行して実行可能な前記命令を実行させる第２工程と、
を有する、演算方法。