JP7841161B2 - 中間記憶装置、計算機システム、及び計算機コマンドの前処理方法 - Google Patents

中間記憶装置、計算機システム、及び計算機コマンドの前処理方法

Info

Publication number
JP7841161B2
JP7841161B2 JP2025098136A JP2025098136A JP7841161B2 JP 7841161 B2 JP7841161 B2 JP 7841161B2 JP 2025098136 A JP2025098136 A JP 2025098136A JP 2025098136 A JP2025098136 A JP 2025098136A JP 7841161 B2 JP7841161 B2 JP 7841161B2
Authority
JP
Japan
Prior art keywords
model
command
access control
control unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2025098136A
Other languages
English (en)
Other versions
JP2026008828A (ja
Inventor
呉宗達
許書瑜
蔡欣峰
呉華逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giga Byte Technology Co Ltd
Original Assignee
Giga Byte Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giga Byte Technology Co Ltd filed Critical Giga Byte Technology Co Ltd
Publication of JP2026008828A publication Critical patent/JP2026008828A/ja
Application granted granted Critical
Publication of JP7841161B2 publication Critical patent/JP7841161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0223User address space allocation, e.g. contiguous or non contiguous base addressing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は中間記憶装置、計算機システム、及び計算機コマンドの前処理方法に関し、特に、言語モデルの呼び出しが速い中間記憶装置、計算機システム、及び計算機コマンドの前処理方法に関する。
人工知能(Artificial Intelligence、以下、単に「AI」ともいう。)の台頭は、人間社会に多くの新たな可能性をもたらした。その中でも、ラージ言語モデル(Large Language Model,以下、単に「LLM」ともいう。)の開発は、AI技術の画期的な基礎を築いた。
LLMは、自然言語を処理して生成できるAIモデルであり、そのトレーニングには大量のデータとコンピューティングリソースが必要となる。したがって、LLMの記録問題もAI技術の開発にとって重要な課題となっている。
現在の方式としては、LLMとユーザーとの間の対話型情報を、インターネットを介して送信することが行われているが、情報送信のプロセスは暗号化できるものの、個人情報や企業秘密が漏洩してしまうリスクが依然として存在する。
上述の問題に鑑みて本発明は以下の構成を備える。
即ち、モデル記憶ユニットと、データ記憶ユニットと、AI選択ユニットと、アクセス制御ユニットを備えた中間記憶装置において、前記モデル記憶ユニットは複数の言語モデルを記憶し、前記データ記憶ユニットは複数のドキュメントを記憶し、前記AI選択ユニットは、モデル操作コマンドに基づいて前記言語モデルを選択し、選択された前記言語モデルにモデル操作コマンドを実行させて出力データを生成し、前記アクセス制御ユニットは、前記データ記憶ユニットと前記モデル記憶ユニットに接続され、前記アクセス制御ユニットは入力コマンドを受信し、前記アクセス制御ユニットは、前記入力コマンドが前記モデル操作コマンドであるか或いはデータアクセスコマンドであるかを判断し、前記入力コマンドが前記モデル操作コマンドであるとき、前記アクセス制御ユニットは、前記モデル操作コマンドを前記AI選択ユニットに転送し、選択された前記言語モデルに前記出力データを生成させ、且つ、前記アクセス制御ユニットに前記出力データに基づいて生成結果を生成させ、前記入力コマンドが前記データアクセスコマンドであるとき、前記アクセス制御ユニットは、前記データアクセスコマンドに基づいて、前記データ記憶ユニットから対応する前記ドキュメントにアクセスする。
また、前記AI選択ユニットは更にリアルタイムオペレーティングシステムを含む。
また、前記アクセス制御ユニットは前記生成結果或いは選択された前記ドキュメントを上位オペレーティングシステムに送信する。
また、伝送インターフェースを更に含み、前記アクセス制御ユニットは前記伝送インターフェースに接続され、前記伝送インターフェースの種類は高度技術アタッチメント、シリアルエーティーアタッチメント、ユニバーサルシリアルバス、周辺コンポーネント相互接続拡張インターフェース、或いは、不揮発性メモリエクスプレスである。
また、複数のモデル記憶ユニットと、データ記憶ユニットと、AI選択ユニットと、アクセス制御ユニットを備えた中間記憶装置において、前記複数のモデル記憶ユニットは各前記モデル記憶ユニットが言語モデルを記憶し、前記データ記憶ユニットは複数のドキュメントを記憶し、前記AI選択ユニットは、前記モデル記憶ユニットに接続され、モデル操作コマンドに基づいて前記言語モデルを選択し、前記言語モデルは前記モデル操作コマンドを実行して出力データを生成し、前記アクセス制御ユニットは、前記データ記憶ユニットと前記AI選択ユニットに接続され、前記アクセス制御ユニットは入力コマンドを受信し、前記アクセス制御ユニットは、前記入力コマンドが前記モデル操作コマンドであるか或いはデータアクセスコマンドであるかを判断し、前記入力コマンドが前記モデル操作コマンドであるとき、前記アクセス制御ユニットは、前記モデル操作コマンドを前記AI選択ユニットに転送し、選択された前記言語モデルに前記出力データを生成させ、且つ、前記アクセス制御ユニットに前記出力データに基づいて生成結果を生成させ、前記入力コマンドが前記データアクセスコマンドであるとき、前記アクセス制御ユニットは、前記データアクセスコマンドに基づいて、前記データ記憶ユニットから対応する前記ドキュメントにアクセスする。
また、前記AI選択ユニットは更にリアルタイムオペレーティングシステムを含む。
また、前記アクセス制御ユニットは、前記生成結果或いは選択された前記ドキュメントを上位オペレーティングシステムに送信する。
また、伝送インターフェースを更に含み、前記アクセス制御ユニットは前記伝送インターフェースに接続され、前記伝送インターフェースの種類は高度技術アタッチメント、シリアルエーティーアタッチメント、ユニバーサルシリアルバス、周辺コンポーネント相互接続拡張インターフェース、或いは、不揮発性メモリエクスプレスである。
また、処理器と、中間記憶装置と、上位オペレーティングシステムを含んだ計算機システムにおいて、前記処理器は、上位オペレーティングシステムを実行し、前記処理器は前記上位オペレーティングシステムを介して入力コマンドを受信し、前記中間記憶装置は、前記処理器に接続され、前記中間記憶装置は少なくとも1つのモデル記憶ユニット、データ記憶ユニット、AI選択ユニット、及びアクセス制御ユニットを具備し、前記アクセス制御ユニットは、前記データ記憶ユニット、前記AI選択ユニット、及び各前記モデル記憶ユニットに接続され、各前記モデル記憶ユニットは、言語モデルを記憶し、前記データ記憶ユニットは複数のドキュメントを記憶し、前記上位オペレーティングシステムは、前記入力コマンドを前記アクセス制御ユニットに送信し、前記アクセス制御ユニットは、前記入力コマンドがモデル操作コマンドであるか或いはデータアクセスコマンドであるか判断し、前記入力コマンドが前記モデル操作コマンドのとき、前記アクセス制御ユニットは前記モデル操作コマンドを前記AI選択ユニットに転送し、前記AI選択ユニットは、前記モデル操作コマンドに基づいて前記言語モデルを選択し、選択された前記言語モデルに前記モデル操作コマンドを実行させて出力データを生成させ、且つ、前記アクセス制御ユニットに前記出力データに基づいて生成結果を生成させ、前記入力コマンドが前記データアクセスコマンドであるとき、前記アクセス制御ユニットは、前記データアクセスコマンドに基づいて、前記データ記憶ユニットから対応する前記ドキュメントにアクセスする。
また、中間記憶装置のアクセス制御ユニットによって入力コマンドを受信し、前記アクセス制御ユニットが、前記入力コマンドがモデル操作コマンドであるか或いはデータアクセスコマンドであるか判断し、前記入力コマンドが前記モデル操作コマンドであるとき、前記アクセス制御ユニットは、前記モデル操作コマンドをAI選択ユニットに転送し、前記AI選択ユニットは、前記モデル操作コマンドに基づいて複数の言語モデルから何れか1つを選択し、選択された前記言語モデルは選択モデルであり、前記選択モデルは前記モデル操作コマンドに基づいて出力データを生成し、前記アクセス制御ユニットは前記出力データに基づいて生成結果を生成する。
前記AI選択ユニットは前記モデル操作コマンドに基づいて前記複数の言語モデルから何れか1つを選択し、選択された前記言語モデルは前記選択モデルであるステップは、前記AI選択ユニットは複数のモデル記憶ユニットから何れか1つを選択し、各前記モデル記憶ユニットは対応する前記言語モデルを記憶することを含む。
また、前記AI選択ユニットは前記モデル操作コマンドに基づいて、前記複数の言語モデルから何れか1つを選択し、選択された前記言語モデルは前記選択モデルであるステップは、モデル記憶ユニットに前記複数の言語モデルを記憶し、前記AI選択ユニットは前記モデル記憶ユニットから何れか1つの前記言語モデルを選択することを含む。
また、前記入力コマンドは前記データアクセスコマンドであり、前記アクセス制御ユニットは前記データアクセスコマンドに基づいて、データ記憶ユニットから対応するドキュメントにアクセスする。
本発明による中間記憶装置、計算機システム、及び計算機コマンドの前処理方法は、ローカルコンピュータで使用できる大規模な言語モデルを提供する。そして、ネットワークを介した通信時の情報漏洩のリスクを回避できるだけでなく、大規模な言語モデルの呼び出しを高速化し、情報の応答時間を短縮する。また、様々なアプリケーションシナリオに対応する大規模な言語モデルをコンピュータ(以下、「計算機」ともいう。)に展開できるため、同一のコンピュータで複数の異なるアプリケーションシナリオに関連するサービスを提供できる。
本発明の実施形態を説明するハードウェアのブロック図である。 本発明の実施形態による計算機に適用されるシステムのブロック図である。 本実施形態による選択されたモデルをデータ記憶ユニットにロードする際のブロック図である。 本実施形態による計算機コマンドの前処理方法のフローチャートである。 本実施形態によるAI選択ユニットのブロック図である。 本発明の他の実施形態による計算機に適用されるシステムのブロック図である。
先ず、図1と図2Aを参照して本発明の実施形態を説明する。ここで、図1は本発明の実施形態を説明するハードウェアのブロック図であり、図2Aは本発明の実施形態による計算機に適用されるシステムのブロック図である。
中間記憶装置300は処理器(プロセッサ)100に接続されており、そして、処理器100によって出力された入力コマンド210を受信する。計算機(コンピュータ)10は、入力デバイス200を介して入力コマンド210を出力することができ、また、処理器100は、アプリケーションプログラムの実行時に入力コマンド210を中間記憶装置300に出力することもできる。
計算機10は、パーソナルコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、携帯電話等の電子装置であっても良い。コンピュータ10は、対応する上位オペレーティングシステム322(Operation System,OS)を実行する。上位オペレーティングシステム322の種類は、マイクロソフト社(Microsoft(登録商標))のウインドウズ(Windows(登録商標))オペレーティングシステム、Apple(登録商標)社のOSX(登録商標)オペレーティングシステム、又はLinux(登録商標)オペレーティングシステム等であってもよい。
中間記憶装置300は、シリアル・アドバンスト・テクノロジー・アタッチメント(Serial Advanced Technology Attachment,以下単に「SATA」ともいう。)、シリアル・アタッチドSCSII (Serial Attached SCSI,以下単に「SAS」ともいう。)、周辺コンポーネント相互接続高速パス(Peripheral Component Interconnect Express,以下単に「PCIe」ともいう。)、不揮発性メモリ高速パス(Non-Volatile Memory Express,以下単に「NVMe」とも言う。)、ユニバーサルシリアルバス(Universal Serial Bus,以下単に「USB」とも言う。)、外部シリアル先進技術アタッチメント(external Serial Advanced Technology Attachment,以下単に「eSATA」とも言う。)、小型コンピュータシステムインターフェース(Small Computer System Interface,以下単に「SCSI」とも言う。) 統合ディスクエレクトロニクス(Integrated Drive Electronics,以下単に「IDE」とも言う。)、次世代フォームファクタ(Next Generation Form Factor,以下単に「M.2」とも言う。)、ユニバーサルシリアルバス(Universal Serial Bus,以下単に「USB」とも言う。)又はサンダーボルト(Thunderbolt)であっても良い。
中間記憶装置300は、モデル記憶ユニット310と、データ記憶ユニット320と、人工知能選択ユニット(以下、AI選択ユニット330という)と、アクセス制御ユニット340を備える。アクセス制御ユニット340は、モデル記憶ユニット310、データ記憶ユニット320、及びAI選択ユニット330に接続される。
モデル記憶ユニット310は、不揮発性メモリ(Non-Volatile Memory、NVM)又は他の記憶媒体内にあっても差し支えない。また、モデル記憶ユニット310は、複数の言語モデル311(Large Language Model,以下単に「LLM」とも言う。)を記憶する。
言語モデル311のタイプは、会話型アプリケーション用の言語モデル(Language Model for Dialogue Applications,以下単に「LaMDA」とも言う。)311、メタラージ言語モデル(Large Language Model Meta AI,以下単に「LLaMA」とも言う。)311、GPT-3(登録商標)(Generative Pre-trained Transformer 3,以下単に「GPT-3」とも言う。)、グーグル(Google(登録商標))のBERT(Bidirectional Encoder Representations from Transformers,以下単に「BERT」とも言う。)、GPT-4(登録商標)(Generative Pre-trained Transformer 4,以下単に「GPT-4」とも言う。)、Codex、DALL・E(OpenAI DALL-E)、BART(Bidirectional and Auto-Regressive Transformers,以下単に「BART」とも言う。)、RoBERTa(Robustly optimized BERT approach,以下単に「RoBERTa」とも言う。)、T5(Text-to-Text Transfer Transformer,以下単に「T5」とも言う。)、又はPaLM (Pathways Language Model,以下単に「PaLM」とも言う。)であっても良いが、これらに限定されない。
上述の言語モデル311に基づいて、モデル記憶ユニット310は、異なるシナリオの要件に基づいて、異なる要件を備えた言語モデル311を展開できる。たとえば、LLaMAは英語の教育シナリオに適用でき、DALL-Eは描画の教育シナリオに適用できる。
前述の種々の言語モデル311は、個人チャットシナリオ、個人知識ベース管理、文書整理、文書翻訳、ヘルスケア、金融投資、製造、小売、運輸又は農業等の分野にも適用できる。
データ記憶ユニット320は、複数のドキュメント321を記憶し、ドキュメント321は、一般に、テキストファイル、画像ファイル、動画ファイル、音声ファイル、データベースファイル、圧縮ファイル、プレゼンテーションファイル、又はプログラムコードファイル等を指す。いくつかの実施形態では、上位オペレーティングシステム322は、中間記憶装置300又は他の記憶装置に記憶され得る。
上位オペレーティングシステム322は、ユーザーによって生成された、又はアプリケーションプログラムによって生成された入力コマンド210に基づいて、処理器100に入力コマンド210を中間記憶装置300に出力させる。
このうち、入力コマンド210の種類は、データアクセスコマンド332又はモデル操作コマンド331に更に分けることができる。中間記憶装置300は、入力コマンド210を受信すると、入力コマンド210がモデル操作コマンド331であるかデータアクセスコマンド332であるかを判断する。
データアクセスコマンド332は、ドキュメント321の読み取り、書き込み、追加(append)、更新(update)、削除、移動、コピー、検索、ロック(lock)等の関連処理を含むことができる。
モデル操作コマンド331には、チャット対話コマンド(AI Language Model Chat,AI LLM CHAT)、モデル構成コマンド(AI Language Model Configuration Model,AI LLM CONFIG MODEL)、モデル微調整コマンド(AI Language Model Fine Tune,AI LLM FINE TUNE)、言語モデル311認可コマンド(AI Language Model Authorization,AI LLM AUTH)、モデル展開コマンド(AI Language Model Deploy Model,AI LLM DEPLOY MODEL)、データセット読み込みコマンド(AI Language Model Load Dataset,AI LLM LOAD DATASET)、テキスト生成コマンド(AI Language Model Generate Text,AI LLM GENERATE TEXT)、性能評価指示(AI Language Model Evaluate Performance,AI LLM EVALUATE PERFORMANCE)、パラメータ更新指示(AI Language Model Update Parameters,AI LLM UPDATE PARAMETERS)、モデル保存指示(AI Language Model Save Model,AI LLM SAVE MODEL)、モデルテスト指示(AI Language Model Test Model,AI LLM TEST MODEL)、モデルリセット指示(AI Language Model Reset Model,AI LLM RESET MODEL)、モデルトレーニング指示(AI Language Model Train Model,AI LLM TRAIN MODEL)又は権限設定指示(AI Language Model Set Permissions,AI LLM SET PERMISSIONS)等が含まれる。
アクセス制御ユニット340が入力コマンド210を受信した後、アクセス制御ユニット340は、図3に示すように、入力コマンド210の種類に応じて以下のステップを実行する。ここで、図3は本実施形態による計算機コマンドの前処理方法のフローチャートである。
ステップS310:中間記憶装置300のアクセス制御ユニット340によって入力コマンド210を受信する。
ステップS320:アクセス制御ユニット340は、入力コマンド210がモデル操作コマンド331であるか或いはデータアクセスコマンド332であるかを判断する。
ステップ330:入力コマンド210がモデル操作コマンド331であるとき、アクセス制御ユニット340はモデル操作コマンド331をAI選択ユニット330に送信する。
ステップS340:AI選択ユニット330は、モデル操作コマンド331に基づいて言語モデル311の複数のグループのうちの何れか1つを選択し、選択された言語モデル311が選択モデル312となる。
ステップS350:選択モデル312は、モデル操作コマンド331に基づいて出力データ334を生成する。
ステップS360:アクセス制御ユニット340は、出力データ334に基づいて生成結果を生成する。
ステップS370:入力コマンド210がデータアクセスコマンド332のとき、アクセス制御ユニット340は、データ記憶ユニット310にデータアクセスコマンド332を送信する。
まず、計算機10が有効化されて起動(boot)され、計算機10は上位オペレーティングシステム322をロードする。上位オペレーティングシステム322は入力コマンド210を受信する。
一般的には、ユーザーは入力デバイス200を通じて入力コマンド210を出力でき、たとえば、ユーザーがキーボードを介して入力コマンド210を入力すると、ユーザーは関連するオプションをマウスでクリックして入力コマンド210を形成することもできる。
上位オペレーティングシステム322が入力コマンド210を受信した後、上位オペレーティングシステム322は、入力コマンド210を対応する中間記憶装置300に送信する(ステップS310に対応する。)。ここで、中間記憶装置300は少なくとも1つであるが、図1では、一例として1つの中間記憶装置300を挙げて説明する。
中間記憶装置300のアクセス制御ユニット340は、入力されたコマンド210がデータアクセスコマンド332であるか或いはモデル操作コマンド331であると判断する(ステップS320に対応する)。
アクセス制御ユニット340は、入力コマンド210がモデル操作コマンド331であると判定したとき、アクセス制御ユニット340は、モデル操作コマンド331をAI選択ユニット330に送信する(ステップS330に対応する)。
次に、AI選択ユニット330は、モデル記憶ユニット310内の複数の言語モデル311から選択し、選択された言語モデル311を選択モデル312と呼ぶものとする(ステップS340に対応する。)。
本実施形態では、モデル記憶ユニット310は、複数の言語モデル311を有する。言語モデル311を選択する前に、AI選択ユニット330は、モデル操作コマンド331の内容に基づいて、対応するアプリケーションシナリオを決定する。AI選択ユニット330は、選択されたアプリケーションシナリオに基づいて、対応する言語モデル311を選択する。図2Aでは、選択モデル312を一例として黒く太い線の枠で示している。
本実施形態では、図2Bに示すように、アクセス制御ユニット340は、選択モデル312をデータ記憶ユニット320にロードすることができる。選択モデル312は、モデル操作コマンド331を実行し、出力データ334を生成することができる。
データ記憶ユニット320は、出力データ334をアクセス制御ユニット340に送信し、アクセス制御ユニット340が生成結果335を生成する。
一般的には、アクセス制御ユニット340は、出力データ334を上位アプリケーション或いはオペレーティングシステムに対応するAPI(Application Programming Interface)インターフェース形式にカプセル化する。APIインターフェースの形式は次のとおりである。
{”prompt”:”コンテンツ”,”max_tokens”:60,”temperature”:0.5}
AI選択ユニット330は、選択モデル312にモデル操作コマンド331を送信する。選択モデル312は、モデル操作コマンド331に基づいて、対応する出力データ334を生成する(ステップS350に対応する)。
例えば、モデル操作コマンド331が「次の英語の段落を繁体字の中国語に翻訳する」であるとき、AI選択ユニット330は、翻訳及び教育用の言語モデル311として、前述のLLaMAモデルを選択してもよい。
LLaMAモデルは、モデル操作コマンド331を実行し、変換された出力データ334「Translate the following English paragraph into Traditional Chinese」を生成する。
アクセス制御ユニット340は、生成結果335を上位オペレーティングシステム322に送信する。更に、AI選択ユニット330は、GPT-3、GPT-4、或いはLaMDA等の投資関連の入力コマンド210に基づいて、関連する言語モデル311を呼び出すこともできる。
入力コマンド210がデータアクセスコマンド332であるとき、アクセス制御ユニット340は、データアクセスコマンド332をデータ記憶ユニット320に送信する(ステップS370に対応する。)。アクセス制御ユニット340は、データ記憶ユニット320から対応するドキュメント321にアクセスする。中間記憶装置300は、選択されたファイル情報を上位オペレーティングシステム322に送信する。
いくつかの実施形態では、AI選択ユニット330は、リアルタイムオペレーティングシステム333(Real-time operating system、以下単に「RTOS」とも言う。)を更に含むが、具体的には図4を参照されたい。ここで、図4は本実施形態によるAI選択ユニットのブロック図である。
リアルタイムオペレーティングシステム333は、中間記憶装置300のタスク管理、リソース管理、通信或いは情報セキュリティ処理を提供する。リアルタイムオペレーティングシステム333は、出力データ334をアクセス制御ユニット340に送信し、アクセス制御ユニット340に生成結果335を生成させる。
中間記憶装置300は更に伝送インターフェースを含み、詳しくは図4を参照されたい。アクセス制御部340は伝送インターフェースに接続されており、伝送インターフェースは計算機100にも接続されている。
伝送インターフェースの種類には、アドバンストテクノロジーインターフェース(Advanced Technology Attachment,以下単に「ATA」とも言う。)、シリアルエーティーアタッチメント(Serial AT Attachment,以下単に「SATA」とも言う。)、ユニバーサルシリアルバス(Universal Serial Bus,以下単に「USB」とも言う。)、周辺コンポーネント相互接続拡張インターフェース(Peripheral Component Interconnect Express,以下単に「PCIe」とも言う。)、又は不揮発性メモリエクスプレス(Non-Volatile Memory Express,以下単に「NVMe」とも言う。)がある。
いくつかの実施形態では、計算機10は、処理器100と中間記憶装置300を含む。図5を参照されたい。ここで、図5は本発明の他の実施形態による計算機に適用されるシステムのブロック図である。本実施形態の中間記憶装置300は、複数のモデル記憶ユニット310、データ記憶ユニット320、AI選択ユニット330、アクセス制御ユニット340を備える。
アクセス制御ユニット340は、データ記憶ユニット320及びAI選択ユニット330に接続されている。各モデル記憶ユニット310は、それぞれ独自の言語モデル311を記憶する。言語モデル311の種類については、上述の通りである。或いは、異なるアプリケーションシナリオで使用される同一の言語モデル311が、それぞれのモデル記憶ユニット310に記憶される。
たとえば、2組のLLaMAモデルが英語教育とPythonプログラミング言語教育に適用される。このため、英語教育LLaMAモデルを独立したモデル記憶ユニット310に記憶し、Pythonプログラミング言語教育LLaMAモデルを他のモデル記憶ユニット310に記憶できる。
アクセス制御ユニット340は、受信した入力コマンド210がモデル操作コマンド331であるかデータアクセスコマンド332であるかを判断する。
入力コマンド210がデータアクセスコマンド332であるとき、アクセス制御ユニット340は、データアクセスコマンド332に基づいてデータ記憶ユニット320から対応するドキュメント321にアクセスし、そして、選択されたドキュメント321を上位オペレーティングシステム322に応答する。
データアクセスコマンド332がモデル操作コマンド331であるとき、アクセス制御ユニット340は、モデル操作コマンド331をAI選択ユニット330に送信する。
AI選択ユニット330は、モデル操作コマンド331のアプリケーションシナリオに基づいて、対応するモデル記憶ユニット310と言語モデル311を選択する。選択モデル312によりモデル操作コマンド331が実行され、出力データ334が生成される。アクセス制御ユニット340は、生成結果335を上位オペレーティングシステム322に送信する。
中間記憶装置300、計算機10のシステム、及び計算機10のコマンドの前処理方法は、ローカルの計算機10によって使用され得る大規模な言語モデル311を提供する。
ネットワーク通信中の情報漏洩のリスクを回避することに加えて、大規模な言語モデル311の呼び出し速度を高速化し、それによって情報の応答時間を高速化することができる。更に、異なるアプリケーションシナリオに対する大規模な言語モデル311を計算機10に展開することができるので、同じ計算機10が複数の異なるアプリケーションシナリオに対して関連するサービスを提供できる。
10 計算機
100 処理器
200 入力デバイス
210 入力コマンド
300 中間記憶装置
310 モデル記憶ユニット
311 言語モデル
312 選択モデル
320 データ記憶ユニット
321 ドキュメント
322 上位オペレーティングシステム
330 AI選択ユニット
331 モデル操作コマンド
332 データアクセスコマンド
333 リアルタイムオペレーティングシステム
334 出力データ
335 生成結果
340 アクセス制御ユニット
S310,S320,S330,S340,S350,S360,S370 ステップ

Claims (13)

  1. モデル記憶ユニットと、データ記憶ユニットと、AI選択ユニットと、アクセス制御ユニットを備えた中間記憶装置において、
    前記モデル記憶ユニットは複数の言語モデルを記憶し、
    前記データ記憶ユニットは複数のドキュメントを記憶し、
    前記AI選択ユニットは、モデル操作コマンドに基づいて前記言語モデルを選択し、選択された前記言語モデルにモデル操作コマンドを実行させて出力データを生成し、
    前記アクセス制御ユニットは、前記データ記憶ユニットと前記モデル記憶ユニットに接続され、前記アクセス制御ユニットは入力コマンドを受信し、前記アクセス制御ユニットは、前記入力コマンドが前記モデル操作コマンドであるか或いはデータアクセスコマンドであるかを判断し、
    前記入力コマンドが前記モデル操作コマンドであるとき、前記アクセス制御ユニットは、前記モデル操作コマンドを前記AI選択ユニットに転送し、選択された前記言語モデルに前記出力データを生成させ、且つ、前記アクセス制御ユニットに前記出力データに基づいて生成結果を生成させ、
    前記入力コマンドが前記データアクセスコマンドであるとき、前記アクセス制御ユニットは、前記データアクセスコマンドに基づいて、前記データ記憶ユニットから対応する前記ドキュメントにアクセスすることを特徴とする、
    中間記憶装置。
  2. 前記AI選択ユニットは更にリアルタイムオペレーティングシステムを含む
    ことを特徴とする請求項1に記載の中間記憶装置。
  3. 前記アクセス制御ユニットは前記生成結果或いは選択された前記ドキュメントを上位オペレーティングシステムに送信する
    ことを特徴とする請求項1に記載の中間記憶装置。
  4. 伝送インターフェースを更に含み、前記アクセス制御ユニットは前記伝送インターフェースに接続され、前記伝送インターフェースの種類は高度技術アタッチメント、シリアルエーティーアタッチメント、ユニバーサルシリアルバス、周辺コンポーネント相互接続拡張インターフェース、或いは、不揮発性メモリエクスプレスである
    ことを特徴とする請求項1に記載の中間記憶装置。
  5. 複数のモデル記憶ユニットと、データ記憶ユニットと、AI選択ユニットと、アクセス制御ユニットを備えた中間記憶装置において、
    前記複数のモデル記憶ユニットは各前記モデル記憶ユニットが言語モデルを記憶し、
    前記データ記憶ユニットは複数のドキュメントを記憶し、
    前記AI選択ユニットは、前記モデル記憶ユニットに接続され、モデル操作コマンドに基づいて前記言語モデルを選択し、前記言語モデルは前記モデル操作コマンドを実行して出力データを生成し、
    前記アクセス制御ユニットは、前記データ記憶ユニットと前記AI選択ユニットに接続され、前記アクセス制御ユニットは入力コマンドを受信し、
    前記アクセス制御ユニットは、前記入力コマンドが前記モデル操作コマンドであるか或いはデータアクセスコマンドであるかを判断し、
    前記入力コマンドが前記モデル操作コマンドであるとき、前記アクセス制御ユニットは、前記モデル操作コマンドを前記AI選択ユニットに転送し、
    選択された前記言語モデルに前記出力データを生成させ、且つ、前記アクセス制御ユニットに前記出力データに基づいて生成結果を生成させ、
    前記入力コマンドが前記データアクセスコマンドであるとき、前記アクセス制御ユニットは、前記データアクセスコマンドに基づいて、前記データ記憶ユニットから対応する前記ドキュメントにアクセスすることを特徴とする、
    中間記憶装置。
  6. 前記AI選択ユニットは更にリアルタイムオペレーティングシステムを含む
    ことを特徴とする請求項5に記載の中間記憶装置。
  7. 前記アクセス制御ユニットは、前記生成結果或いは選択された前記ドキュメントを上位オペレーティングシステムに送信する
    ことを特徴とする請求項5に記載の中間記憶装置。
  8. 伝送インターフェースを更に含み、前記アクセス制御ユニットは前記伝送インターフェースに接続され、前記伝送インターフェースの種類は高度技術アタッチメント、シリアルエーティーアタッチメント、ユニバーサルシリアルバス、周辺コンポーネント相互接続拡張インターフェース、或いは、不揮発性メモリエクスプレスである
    ことを特徴とする請求項5に記載の中間記憶装置。
  9. 処理器と、中間記憶装置と、上位オペレーティングシステムを含んだ計算機システムにおいて、
    前記処理器は、上位オペレーティングシステムを実行し、前記処理器は前記上位オペレーティングシステムを介して入力コマンドを受信し、
    前記中間記憶装置は、前記処理器に接続され、前記中間記憶装置は少なくとも1つのモデル記憶ユニット、データ記憶ユニット、AI選択ユニット、及びアクセス制御ユニットを具備し、
    前記アクセス制御ユニットは、前記データ記憶ユニット、前記AI選択ユニット、及び各前記モデル記憶ユニットに接続され、
    各前記モデル記憶ユニットは、言語モデルを記憶し、前記データ記憶ユニットは複数のドキュメントを記憶し、
    前記上位オペレーティングシステムは、前記入力コマンドを前記アクセス制御ユニットに送信し、
    前記アクセス制御ユニットは、前記入力コマンドがモデル操作コマンドであるか或いはデータアクセスコマンドであるか判断し、
    前記入力コマンドが前記モデル操作コマンドのとき、前記アクセス制御ユニットは前記モデル操作コマンドを前記AI選択ユニットに転送し、前記AI選択ユニットは、前記モデル操作コマンドに基づいて前記言語モデルを選択し、選択された前記言語モデルに前記モデル操作コマンドを実行させて出力データを生成させ、且つ、前記アクセス制御ユニットに前記出力データに基づいて生成結果を生成させ、
    前記入力コマンドが前記データアクセスコマンドであるとき、前記アクセス制御ユニットは、前記データアクセスコマンドに基づいて、前記データ記憶ユニットから対応する前記ドキュメントにアクセスすることを特徴とする、
    計算機システム。
  10. 中間記憶装置のアクセス制御ユニットによって入力コマンドを受信し、
    前記アクセス制御ユニットが、前記入力コマンドがモデル操作コマンドであるか或いはデータアクセスコマンドであるか判断し、
    前記入力コマンドが前記モデル操作コマンドであるとき、前記アクセス制御ユニットは、前記モデル操作コマンドをAI選択ユニットに転送し、
    前記AI選択ユニットは、前記モデル操作コマンドに基づいて複数の言語モデルから何れか1つを選択し、選択された前記言語モデルは選択モデルであり、
    前記選択モデルは前記モデル操作コマンドに基づいて出力データを生成し、
    前記アクセス制御ユニットは前記出力データに基づいて生成結果を生成することを特徴とする、
    計算機コマンドの前処理方法。
  11. 前記AI選択ユニットは前記モデル操作コマンドに基づいて前記複数の言語モデルから何れか1つを選択し、選択された前記言語モデルは前記選択モデルであるステップは、
    前記AI選択ユニットは複数のモデル記憶ユニットから何れか1つを選択し、各前記モデル記憶ユニットは対応する前記言語モデルを記憶することを含む
    ことを特徴とする請求項10に記載の計算機コマンドの前処理方法。
  12. 前記AI選択ユニットは前記モデル操作コマンドに基づいて、前記複数の言語モデルから何れか1つを選択し、選択された前記言語モデルは前記選択モデルであるステップは、
    モデル記憶ユニットに前記複数の言語モデルを記憶し、
    前記AI選択ユニットは前記モデル記憶ユニットから何れか1つの前記言語モデルを選択することを含む
    ことを特徴とする請求項10に記載の計算機コマンドの前処理方法。
  13. 前記入力コマンドは前記データアクセスコマンドであり、前記アクセス制御ユニットは前記データアクセスコマンドに基づいて、データ記憶ユニットから対応するドキュメントにアクセスする
    ことを特徴とする請求項10に記載の計算機コマンドの前処理方法。
JP2025098136A 2024-06-28 2025-06-12 中間記憶装置、計算機システム、及び計算機コマンドの前処理方法 Active JP7841161B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW113124434A TWI892734B (zh) 2024-06-28 2024-06-28 中介儲存設備、計算機系統與計算機命令的預處理方法
TW113124434 2024-06-28

Publications (2)

Publication Number Publication Date
JP2026008828A JP2026008828A (ja) 2026-01-19
JP7841161B2 true JP7841161B2 (ja) 2026-04-06

Family

ID=96014462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2025098136A Active JP7841161B2 (ja) 2024-06-28 2025-06-12 中間記憶装置、計算機システム、及び計算機コマンドの前処理方法

Country Status (5)

Country Link
US (1) US20260003776A1 (ja)
EP (1) EP4672015A1 (ja)
JP (1) JP7841161B2 (ja)
KR (1) KR20260002183A (ja)
TW (1) TWI892734B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153324A1 (en) 2009-12-23 2011-06-23 Google Inc. Language Model Selection for Speech-to-Text Conversion
CN114647369A (zh) 2021-03-29 2022-06-21 深圳宏芯宇电子股份有限公司 一种存储控制方法和存储装置
CN116976306A (zh) 2023-08-01 2023-10-31 珠海市卓轩科技有限公司 一种基于大规模语言模型的多模型协作方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230267285A1 (en) * 2022-02-07 2023-08-24 Nvidia Corporation Using one or more neural networks to perform text translation
US11928438B1 (en) * 2023-07-07 2024-03-12 Northern Trust Corporation Computing technologies for large language models
CN117009113A (zh) * 2023-09-04 2023-11-07 平安银行股份有限公司 人工智能模型的调用方法、装置、计算机设备及存储介质
CN117910458A (zh) * 2024-01-19 2024-04-19 上海算法创新研究院 一种基于大语言模型的文本数据清洗系统
CN117952078A (zh) * 2024-02-01 2024-04-30 深圳威科未来科技有限公司 多源语言模型的管理方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153324A1 (en) 2009-12-23 2011-06-23 Google Inc. Language Model Selection for Speech-to-Text Conversion
CN114647369A (zh) 2021-03-29 2022-06-21 深圳宏芯宇电子股份有限公司 一种存储控制方法和存储装置
CN116976306A (zh) 2023-08-01 2023-10-31 珠海市卓轩科技有限公司 一种基于大规模语言模型的多模型协作方法

Also Published As

Publication number Publication date
JP2026008828A (ja) 2026-01-19
KR20260002183A (ko) 2026-01-06
TWI892734B (zh) 2025-08-01
TW202601369A (zh) 2026-01-01
EP4672015A1 (en) 2025-12-31
US20260003776A1 (en) 2026-01-01

Similar Documents

Publication Publication Date Title
US10198425B2 (en) Methods and apparatus for reusing report design components and templates
TWI400652B (zh) Dual operating system parallel processing methods, recording media and computer program products
JP5845522B2 (ja) クロスプラットフォームアプリケーションフレームワーク
KR102684495B1 (ko) 이더리움 가상머신의 트랜잭션 처리 방법, 장치, 설비, 프로그램 및 매체
US9244709B2 (en) Automatic recognition of web application
CN102938039B (zh) 针对应用的选择性文件访问
CN111901294A (zh) 一种构建在线机器学习项目的方法及机器学习系统
US11593113B2 (en) Widening memory access to an aligned address for unaligned memory operations
JP7291764B2 (ja) イーサリアム仮想マシンのトランザクション処理方法、装置、機器、プログラムおよび媒体
JP2021507382A (ja) ブロックチェーンネットワークのアカウント処理方法、装置、機器及び記憶媒体
EP2972801A2 (en) Executable guidance experiences based on implicitly generated guidance models
CN109408057B (zh) 自动生成代码的方法、装置、介质和计算设备
JP7841161B2 (ja) 中間記憶装置、計算機システム、及び計算機コマンドの前処理方法
CN113254888B (zh) 获取硬件信息的方法、授权控制系统及计算设备
US10706225B2 (en) Form management system and method
US20230097765A1 (en) Pseudorandom Thread Generation
CN112947907A (zh) 一种创建代码分支的方法
CN120909495A (zh) 中介存储设备、计算机系统与计算机命令的预处理方法
CN110249305A (zh) 浏览器崩溃或挂起时的shell操作浏览器扩展
CN109002984B (zh) 数字资产的管理方法、装置、介质和计算设备
JP7824023B2 (ja) 制御装置、及び制御方法
CN115455430B (en) Safety protection method and system based on Kyverno safety strategy
US20250348328A1 (en) Enhanced platform capability description-based approach for power substation configuration management
KR102908154B1 (ko) 인공지능을 활용해 개발 코드의 요구 사항 충족 여부를 자동으로 검수하기 위한 전자 장치 및 그 동작 방법
CN111290701A (zh) 数据读写控制方法、装置、介质和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250613

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20251208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260325

R150 Certificate of patent or registration of utility model

Ref document number: 7841161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150