JP7441682B2 - データ処理システムおよびデータ圧縮方法 - Google Patents

データ処理システムおよびデータ圧縮方法 Download PDF

Info

Publication number
JP7441682B2
JP7441682B2 JP2020038808A JP2020038808A JP7441682B2 JP 7441682 B2 JP7441682 B2 JP 7441682B2 JP 2020038808 A JP2020038808 A JP 2020038808A JP 2020038808 A JP2020038808 A JP 2020038808A JP 7441682 B2 JP7441682 B2 JP 7441682B2
Authority
JP
Japan
Prior art keywords
data
compression
learning
region
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038808A
Other languages
English (en)
Other versions
JP2021140554A (ja
Inventor
貴洋 成子
弘明 圷
彬史 鈴木
功人 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020038808A priority Critical patent/JP7441682B2/ja
Priority to US17/642,843 priority patent/US11842055B2/en
Priority to PCT/JP2021/008346 priority patent/WO2021177394A1/ja
Publication of JP2021140554A publication Critical patent/JP2021140554A/ja
Application granted granted Critical
Publication of JP7441682B2 publication Critical patent/JP7441682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、概して、データ量の削減に関する。
データ量を削減するストレージシステムが知られている（特許文献１参照）。その種のストレージシステムは、一般に、圧縮によりデータ量を削減する。既存の圧縮方法の１つとして、ランレングス法のように、所定のブロック単位内で出現頻度の高い文字列を辞書化し、より小さなサイズの符号に置換する方法が知られている。
ランレングス法のような可逆圧縮よりも、データ量を削減する技術として、非可逆圧縮技術が知られている。例えば、特許文献２に記載された技術は、ニューラルネットワークを圧縮伸長器に用いた圧縮技術である。データが有する規則性を、ニューラルネットワークでモデル化することにより、データを圧縮する。
特開２００７－１９９８９１号公報 特開２０１９－０９５９１３号公報
データの蓄積コストの削減の観点から、ＩｏＴ（Internet-of-Things）機器が生成する大規模なデータの蓄積には、圧縮率の高い非可逆圧縮が必要である。さらに、蓄積したデータを、ニューラルネットワーク（以下、「ＡＩ（Artificial Intelligence）と記す）を用いるユーザアプリケーションで利用可能とするためには、圧縮伸長後のデータがＡＩの求める品質を満たす必要がある。
この場合、データを構成するテンソル上で、ＡＩの結果に大きな影響を与える領域、つまりＡＩが注視する領域（以下、ＡＩ注視領域）以外は、高圧縮による品質の劣化を許容できる。しかしながら、特許文献２に記載の技術では、ＡＩ注視領域であるか否かにかかわらず、全領域を同程度の圧縮率で圧縮するため、圧縮率が悪くなってしまう。
本発明は、以上の点を考慮してなされたもので、データ量を適切に削減し得るデータ処理システム等を提案しようとするものである。
かかる課題を解決するため本発明においては、プロセッサと、記憶装置と、を備え、データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおいて、学習データを用いて、データモデルが注視する領域を推定する推定部と、前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させる学習部と、を備えるようにした。
上記構成では、上記構成では、データモデルが注視する領域に応じて学習が行われるので、例えば、当該領域以外の領域の圧縮率を当該領域の圧縮率よりも高くすることができ、データモデルが動作可能な品質を保ちつつ、データモデルが用いるデータの圧縮率を改善することができる。
本発明によれば、データ量を適切に削減することができる。
第１の実施の形態による構成の一例を示す図である。 第１の実施の形態による構成の一例を示す図である。 第１の実施の形態による画面の一例を示す図である。 第１の実施の形態による画面の一例を示す図である。 第１の実施の形態によるＲＡＭに係る構成の一例を示す図である。 第１の実施の形態によるＲＡＭに係る構成の一例を示す図である。 第１の実施の形態によるテーブルの一例を示す図である。 第１の実施の形態によるテーブルの一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第２の実施の形態による構成の一例を示す図である。 第３の実施の形態によるテーブルの一例を示す図である。 第３の実施の形態による処理の一例を示す図である。 第４の実施の形態による構成の一例を示す図である。
（１）第１の実施の形態
本実施の形態は、データ量の削減に関するものである。本実施の形態では、ＡＩ向けの非可逆圧縮器を備えるストレージシステムを例に挙げて説明する。
従来の技術において、領域に応じて圧縮率を制御することも考えられるが、領域に応じて圧縮率を制御できない理由として、大きくは２点存在する。１点目は、ＡＩ注視領域は、ＡＩごとに異なるため、どのＡＩのＡＩ注視領域に従って圧縮率を制御すればよいか、圧縮器において不明であるためである。２点目は、仮に対象とするＡＩが定まる場合でも、圧縮器において、当該ＡＩのＡＩ注視領域を特定する手段がないためである。
この点、本実施の形態に示すストレージシステムでは、ＡＩ注視領域以外を高い圧縮率で圧縮できるため、全領域を同程度の圧縮率で圧縮する場合と比較して、圧縮率が改善する。
例えば、本ストレージシステムは、上位で動作するＡＩ処理基盤と協調して動作する。ＡＩ処理基盤は、例えば、各ユーザアプリケーションについて、ユーザアプリケーションで使用されるニューラルネットワークのモデル（構造およびパラメタであり、以下、「ＡＩモデル」と記す）と、当該モＡＩデルの入力となるデータの生成源（以下、「データ生成源」と記す）を、ユーザに指定させる第１のインターフェースと、指定させた情報を管理する第１のテーブルとを備える。
本ストレージシステムは、例えば、ＡＩ処理基盤に、第１のテーブルに記憶された情報を問い合わせる第２のインターフェースと、ＡＩモデルを要求する第３のインターフェースとを備える。
また、本ストレージシステムは、例えば、第２のインターフェースと第３のインターフェースとにより問い合わせた情報に基づいて、データのデータ生成源ごとに、当該データが入力となるＡＩモデルを計算し、データ生成源とＡＩモデルとの対応関係を第２のテーブルにて管理する。
また、本ストレージシステムは、例えば、ニューラルネットワークを用いた圧縮伸長器を備える。本ストレージシステムは、圧縮伸長器の学習データのデータ生成源に対応するＡＩモデルを第２のテーブルから取得し、学習データにおける当該ＡＩモデルのＡＩ注視領域を推定し、推定結果を重みとして、圧縮前の学習データと、圧縮伸長後のデータとの間の加重誤差を算出する関数を、圧縮伸長器を構成するニューラルネットワークのロス関数に設定し、圧縮伸長器を学習する。
本ストレージシステムは、例えば、学習した圧縮伸長器を用いて、データを圧縮し、記憶ドライブに記憶する。
本ストレージシステムによれば、データ量を適切に削減することができる。
なお、以下では、データの圧縮率については、データを圧縮した際に、圧縮後のデータが元のデータのどのくらいの情報量に減ったかを表す割合として説明する。付言するならば、割合を１００倍したパーセンテージで表してもよいし、削減された情報量の元の情報量に対する割合として表してもよい。また、例えば、相対的に少ない情報量に圧縮された（よく圧縮できた）状態を「圧縮率が高い」、相対的に多い情報量に圧縮された（あまり圧縮できなかった）状態を「圧縮率が低い」と記すことがある。また、圧縮率が最も高い状態（例えば、「０」）は、情報が切り捨てられた状態であってもよい。
また、以下の説明では、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、データ生成源を特に区別しないで説明する場合には、「データ生成源１１０」と記載し、個々のデータ生成源を区別して説明する場合には、「データ生成源１１０－１」、「データ生成源１１０－２」のように記載することがある。
次に、本発明の実施の形態を図面に基づいて説明する。ただし、本発明は、実施の形態に限定されるものではない。
（１－１）概要
図１において、１００は全体として第１の実施の形態によるデータ処理システムを示す。
データ処理システム１００は、データ生成源１１０と、管理端末１２０と、ＡＩ処理基盤１３０（AI Processing Platform）と、ストレージシステム１４０（Storage System）とを含んで構成される。
データ生成源１１０は、データを生成する１以上の主体であり、例えば、センサ、カメラ、システムログ等である。
管理端末１２０は、ＡＩ処理基盤１３０がユーザに各種の設定をさせるための、入出力装置を備えた端末である。
ＡＩ処理基盤１３０は、データ生成源１１０が生成するデータ、当該データをストレージシステム１４０に蓄積したデータ等を入力として、ＡＩを実行するための、装置、システム等である。
ＡＩ処理基盤１３０は、ＡＩモデルＤＢ１３１とアプリケーション管理テーブル１３２とを備える。ＡＩモデルＤＢ１３１は、ＡＩモデルを管理するためのデータベース（ＤＢ）である。アプリケーション管理テーブル１３２は、各ユーザアプリケーション（アプリケーションプログラム）について、ユーザアプリケーションで使用されるＡＩモデルの名前（以下、「ＡＩモデル名」と記す）と、ＡＩモデルの入力となるデータ生成源１１０の名前（以下、「入力データ名」と記す）との対応を管理するためのテーブルである。
なお、ＡＩモデルについては、予めＡＩモデルＤＢ１３１に初期設定しておいてもよいし、管理端末１２０を介してユーザに登録させてもよいし、それらの組み合わせで設定されていてもよい。
ストレージシステム１４０は、データ生成源１１０が生成するデータを蓄積するシステムである。ストレージシステム１４０は、ＡＩ処理基盤１３０にアプリケーション管理テーブル１３２の情報を問い合わせ、各入力データ名について、蓄積対象のデータが入力となるＡＩモデル名を計算し、当該ＡＩモデルをＡＩ処理基盤１３０に要求し、入力データ名とＡＩモデルとの対応関係を、ＡＩモデル管理テーブル１４１で管理する。
ストレージシステム１４０は、ニューラルネットワークにより構成された圧縮器１４２および伸長器１４３を備え、これらを構成するニューラルネットワークを、データ生成源１１０が生成するデータ等を学習データとして学習する。
ストレージシステム１４０は、各学習データについて、各学習データに対応するＡＩモデルをＡＩモデル管理テーブル１４１から取得し、学習データにおけるＡＩ注視領域を、ＡＩ注視領域推定器１４４により推定する。
ストレージシステム１４０は、推定したＡＩ注視領域に相対的に高い重みを付して、学習データと、当該学習データの圧縮伸長後のデータとの間の加重誤差を、品質指標関数１４５により計算し、ニューラルネットワークの学習におけるロス関数に設定する。
ストレージシステム１４０は、データ生成源１１０が生成するデータを、学習した圧縮器１４２により圧縮し、記憶ドライブ１４６に記憶する。
（１－２）システム構成
ストレージシステム１４０に係る構成について、図２を用いて説明する。図２は、ストレージシステム１４０に係る構成の一例を示す図である。
図２に示すセンササーバ２１０は、プロセッサ、メモリ、ネットワークインターフェース等のハードウェア資源と、データ生成源１１０のドライバ等のソフトウェア資源とを備えたコンピュータである。センササーバ２１０は、データ生成源１１０が出力するデータ（信号）を、ｃｓｖ（comma-separated values）、バイナリ、ＰＮＧ（Portable Network Graphics）等のファイルフォーマット等、ＡＩ処理基盤１３０およびストレージシステム１４０が受領するファイルフォーマットに変換し、スイッチ２２０を介して、変換したデータの書き込みをストレージシステム１４０に要求する。
なお、センササーバ２１０は、データ生成源１１０と異なる装置であってもよいし、データ生成源１１０が有する機能として実装されてもよい。また、センササーバ２１０は、１つに限定されるものではなく、２つ以上あってもよい。
スイッチ２２０は、センササーバ２１０、管理端末１２０、およびＡＩ処理基盤１３０を接続する。
ＡＩ処理基盤１３０は、フロントエンドインターフェース２３１（Front-end Interface ）、プロセッサ２３２（Processor）、ＲＡＭ２３３（RAM：Random Access Memory）、バックエンドインターフェース２３４（Back-end Interface ）、記憶ドライブ２３５（HDD：Hard Disk Drive / SSD：Solid State Drive）、およびスイッチ２３６（Switch）を備える。
フロントエンドインターフェース２３１は、ＡＩ処理基盤１３０と、センササーバ２１０、管理端末１２０等とを接続するためのインターフェースである。プロセッサ２３２は、スイッチ２３６を介して、ＲＡＭ２３３に記憶されたプログラム２３７（Program）、および、管理情報２３８（Metadata）を基に、ＡＩ処理基盤１３０全体を制御する。プロセッサ２３２は、ＣＰＵ（Central Processing Unit）のような、汎用的な演算処理器のほかに、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）のようなアクセラレータであってもよく、また、それらの組み合わせであってもよい。
バックエンドインターフェース２３４は、ＡＩ処理基盤１３０と、ストレージシステム１４０とを接続する。記憶ドライブ２３５は、ＨＤＤ、ＳＳＤ等の記憶装置であって、ＡＩモデルＤＢ１３１に登録されたＡＩモデル（ＡＩモデルの構造情報、パラメタ値等）を記憶する。
ストレージシステム１４０は、フロントエンドインターフェース２４１（Front-end Interface）、プロセッサ２４２（Processor）、ＲＡＭ２４３（RAM）、スイッチ２４４（Switch）、および記憶ドライブ１４６（HDD / SSD）を備える。
フロントエンドインターフェース２４１は、ストレージシステム１４０と、ＡＩ処理基盤１３０とを接続する。プロセッサ２４２は、スイッチ２４４を介して、ＲＡＭ２４３に記憶されたプログラム２４５（Program）および管理情報２４６（Metadata）を基に、ストレージシステム１４０全体を制御する。プロセッサ２４２は、ＣＰＵのような汎用的な演算処理器のほかに、ＧＰＵ、ＦＰＧＡのようなアクセラレータであってもよく、また、それらの組み合わせであってもよい。記憶ドライブ１４６は、ＨＤＤ、ＳＳＤ等の記憶装置であって、データ生成源１１０が生成するデータを圧縮したデータを記憶する。
ＡＩ処理基盤１３０およびストレージシステム１４０は、以上で説明した構成要素を実装した個別のＩＣ（Integrated Circuit）を相互に接続した構成であってもよいし、そのいくつかが、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ等として、１つの半導体素子により実装される構成であってもよい。ＡＩ処理基盤１３０とストレージシステム１４０とは、異なるハードウェア装置あってもよいし、同一のコンピュータで動作する異なるＶＭ（Virtual Machine）であってもよいし、同一のＯＳ（Operating
System）上で動作する異なるアプリケーションであってもよい。
（１－３）管理画面
管理端末１２０は、管理端末１２０が通信可能に接続された出力装置に、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を表示する。いずれの画面もユーザに指定させる情報は等価であるが、指定させる方法が異なる。
図３は、第１のアプリケーション登録画面３００の一例を示す図である。
アプリケーション名設定フィールド３１０は、ユーザにアプリケーションの名前（以下、「アプリケーション名」と記す）を設定させるためのフィールドである。例えば、アプリケーションを識別するための固有の文字列をユーザに指定させる。なお、ＡＩ処理基盤１３０が内部で固有なアプリケーション名を自動で割り振ることにより、アプリケーション名設定フィールド３１０を省略してもよい。
ＡＩ設定フィールド３２０は、ＡＩモデル毎に、ＡＩモデルの入力となるデータの入力データ名を、ユーザに指定させるフィールドである。ＡＩ設定フィールド３２０のうち、ＡＩモデル名指定フィールド３２１では、ユーザにＡＩモデル名を指定させる。入力データ名指定フィールド３２２は、左隣のＡＩモデル名指定フィールド３２１で指定されたＡＩモデル名のＡＩモデルについて、当該ＡＩモデルで用いるデータの入力データ名を、ユーザに指定させるフィールドである。
なお、指定の方法としては、上述したように文字列を入力させてもよいし、ドロップダウンリストから選択させてもよいし、その他の任意の手段であってもよい。
行追加ボタン３２３は、ＡＩ設定フィールド３２０の末尾に、新たな行を追加する場合に、ユーザにクリックさせるボタンである。第１のアプリケーション登録画面３００に、行追加ボタン３２３を用意する代わりに、ＡＩ設定フィールド３２０に予め十分な数の行を用意してもよい。
登録ボタン３３０は、アプリケーション名設定フィールド３１０とＡＩ設定フィールド３２０との入力が完了した際に、ユーザにクリックさせるボタンである。
第１のアプリケーション登録画面３００には、以上で説明したフィールドおよびボタンの他に、あらゆるフィールドやボタン等が追加されてもよい。
図４は、第２のアプリケーション登録画面４００の一例を示す図である。
第２のアプリケーション登録画面４００に示すアプリケーション名設定フィールド３１０と登録ボタン３３０とは、第１のアプリケーション登録画面３００と同一の機能を有する。
データフロー指定フィールド４２０は、データ生成源を表す入力データ名ノード４２１と、ＡＩモデルを表すＡＩモデル名ノード４２２との間を結ぶエッジ４２３を、管理端末１２０の入力装置により操作できるカーソル４０１を用いて、ユーザに描かせるフィールドである。
管理端末１２０は、描画された有向グラフから、ＡＩモデル名と、当該ＡＩモデル名のＡＩモデルで用いるデータの入力データ名との対応関係を取得する。なお、データフロー指定フィールド４２０に描画できるノードは、入力データ名ノード４２１およびＡＩモデル名ノード４２２に限定されるものではなく、他の種類の機能ブロックを表すノードが追加されてもよい。
第２のアプリケーション登録画面４００には、以上で説明したフィールドおよびボタンの他に、あらゆるフィールドやボタン等が追加されてもよい。
（１－４）ＲＡＭ構成
図５および図６を用いて、データ処理システム１００が備える主な機能について説明し、図７および図８を用いてデータ処理システム１００が備える主な情報について説明する。
図５は、ＡＩ処理基盤１３０のＲＡＭ２３３に係る構成の一例を示す図である。
ＲＡＭ２３３は、プロセッサ２３２が実行するプログラム２３７を記憶する制御プログラム領域５１０と、プロセッサ２３２がプログラム２３７に従って読み書きする管理情報２３８を記憶する管理情報領域５２０とを含んで構成される。
制御プログラム領域５１０には、アプリケーション管理テーブル更新プログラム５１１と、データベースプログラム５１２とが含まれる。
アプリケーション管理テーブル更新プログラム５１１は、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を介してユーザに指定させた、アプリケーション名と入力データ名とＡＩモデル名との対応関係を、アプリケーション管理テーブル１３２に記憶させるプログラムである。
データベースプログラム５１２は、記憶ドライブ２３５に対して、ＡＩモデルを読み書きするための機能とＡＰＩ（Application Programming Interface）を提供するプログラムである。データベースは、例えば、ＡＩモデル名の文字列に対して、ＡＩモデルを読み書きするリレーショナルデータベース（Relational Database）であるが、これに限定されるものではない。データベースとしては、ＡＩモデルを識別する情報から、ＡＩモデルを読み書きする機能とＡＰＩとを備えれば、いかなるデータベースが用いられてもよい。
管理情報領域５２０には、アプリケーション管理テーブル１３２が含まれる。
図７は、アプリケーション管理テーブル１３２の一例を示す図である。
アプリケーション管理テーブル１３２は、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を介してユーザに指定させた、アプリケーション名と入力データ名とＡＩモデル名との対応関係を記憶するテーブルである。
アプリケーション名列７０１は、アプリケーション名設定フィールド３１０に設定された、アプリケーション名を記憶する。ＡＩモデル名列７０２は、ＡＩモデル名指定フィールド３２１またはＡＩモデル名ノード４２２に対応するＡＩモデル名を記憶する。入力データ名列７０３は、入力データ名指定フィールド３２２または入力データ名ノード４２１に対応する入力データ名を記憶する。
アプリケーション管理テーブル１３２の各行は、アプリケーション名列７０１に記憶されたアプリケーション名のアプリケーションにおいて、ＡＩモデル名列７０２に記憶されたＡＩモデル名のＡＩモデルは、入力データ名列７０３に記憶された入力データ名のデータ生成源１１０のデータを入力として用いることを表す。なお、アプリケーション管理テーブル１３２は、テーブルの他、ハッシュテーブル、木構造等、いかなるデータ構造で実装されてもよい。
図６は、ストレージシステム１４０のＲＡＭ２４３に係る構成の一例を示す図である。
ＲＡＭ２４３は、プロセッサ２４２が実行するプログラム２４５を記憶する制御プログラム領域６１０と、プロセッサ２４２がプログラム２４５に従って読み書きする管理情報２４６を記憶する管理情報領域６２０とを含む。
制御プログラム領域６１０には、ＡＩモデル管理テーブル更新プログラム６１１、圧縮伸長器学習プログラム６１２、ＡＩ注視領域推定プログラム６１３、品質計算プログラム６１４、データ書き込みプログラム６１５、およびデータ読み出しプログラム６１６が含まれる。
ＡＩモデル管理テーブル更新プログラム６１１は、ストレージシステム１４０がＡＩ処理基盤１３０に、アプリケーション管理テーブル１３２に記憶された情報を問い合わせ、ＡＩモデル管理テーブル１４１を更新するプログラムである。
圧縮伸長器学習プログラム６１２は、圧縮器１４２と伸長器１４３とに含まれるニューラルネットワークの学習を行うプログラムである。
ＡＩ注視領域推定プログラム６１３は、ＡＩ注視領域推定器１４４に対応し、ＡＩモデルと、当該ＡＩモデルが用いるデータとを入力として、当該データを当該ＡＩモデルのＡＩに適用した場合のＡＩ注視領域を推定し、ヒートマップを出力するプログラムである。
品質計算プログラム６１４は、品質指標関数１４５に対応し、第１のデータと、第２のデータと、重み情報とを入力として、第１のデータと第２のデータとの間の、重み情報に基づく加重誤差を出力するプログラムである。例えば、二乗平均誤差において、平均の計算を加重平均の計算に置き換えた指標を計算するプログラムである。品質計算プログラム６１４が計算する指標は、これに限定されるものではなく、その他、２つのデータと、重みとを入力として、スカラ値を計算する、いかなる関数を計算するプログラムであってもよい。
データ書き込みプログラム６１５は、データ生成源１１０が生成するデータを、圧縮器１４２で圧縮し、記憶ドライブ１４６に書き込むプログラムである。
データ読み出しプログラム６１６は、データの読み出し要求に対して、要求されたデータを記憶ドライブ１４６から読み出し、伸長器１４３で伸長したのち、応答するプログラムである。
管理情報領域６２０には、ＡＩモデル管理テーブル１４１が含まれる。ＡＩモデル管理テーブル１４１は、ＡＩ処理基盤１３０のアプリケーション管理テーブル１３２に記憶された情報に基づいて、各入力データ名について、入力データ名のデータが入力となり得るＡＩモデル名と、当該ＡＩモデル名のＡＩモデルとを記憶するテーブルである。
図８は、ＡＩモデル管理テーブル１４１の一例を示す図である。
入力データ名列８０１は、アプリケーション管理テーブル１３２の入力データ名列７０３に対応する入力データ名を記憶する。ＡＩモデル名列８０２は、アプリケーション管理テーブル１３２のＡＩモデル名列７０２に対応するＡＩモデル名を記憶する。ＡＩモデル列８０３は、ＡＩモデル名列８０２に記憶されたＡＩモデル名に対応する、ＡＩモデルの構造、パラメタ等のＡＩモデル本体を記憶する。なお、ＡＩモデル本体は、記憶ドライブ１４６に記憶し、ＡＩモデル列８０３には、ＡＩモデル本体へのポインタのみを記憶してもよい。
ＡＩモデル管理テーブル１４１の各行は、入力データ名列８０１に記憶された入力データ名のデータ生成源１１０のデータが、ＡＩモデル名列に記憶されたＡＩモデル名のＡＩモデルの入力として利用され、当該ＡＩモデルがＡＩモデル列８０３に記憶されていることを示している。なお、ＡＩモデル管理テーブル１４１は、テーブルの他、ハッシュテーブル、木構造等、いかなるデータ構造で実装されてもよい。
（１－５）アプリケーション管理テーブルの更新処理
図９を用いて、ＡＩ処理基盤１３０がアプリケーション管理テーブル１３２を更新する処理（アプリケーション管理テーブル更新処理）について説明する。
図９は、アプリケーション管理テーブル更新処理の一例を示す図である。
ＡＩ処理基盤１３０のプロセッサ２３２は、アプリケーション管理テーブル更新処理を、ユーザによる指示（所定のボタンの押下）を契機として開始してもよいし、一定の時間間隔毎に開始してもよいし、その他の任意の契機で開始してもよい（ステップＳ９００）。
ステップＳ９０１では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０の出力装置に、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を表示させる。なお、ステップＳ９０１については、管理端末１２０に、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を、常に表示させることにより、省略してもよい。
ステップＳ９０２では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に登録ボタン３３０の押下状態を問い合わせ、押下済みの状態となるまで待機する。プロセッサ２３２は、押下済みの状態が応答されるまで、管理端末１２０に状態を定期的に問い合わせてもよいし、登録ボタン３３０の押下時に、管理端末１２０にメッセージを送信させ、その受領をもって待機を解除してもよい。
ステップＳ９０３では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に、アプリケーション名設定フィールド３１０に指定されたアプリケーション名を要求する。
ステップＳ９０４は、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に、ＡＩモデル名指定フィールド３２１またはＡＩモデル名ノード４２２により指定させた、ＡＩモデル名の集合を要求する。
ステップＳ９０５～ステップＳ９１０は、ステップＳ９０４で取得したＡＩモデル名の各々について、ループするステップ群である（ループＡ）。
ステップＳ９０６では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に、ループＡが指すＡＩモデルの入力データ名の集合を要求する。管理端末１２０は、入力データ名指定フィールド３２２または入力データ名ノード４２１に入力させた入力データ名のうち、プロセッサ２３２に指定されたＡＩモデル名に対応付けられたものを抽出し、応答する。
ステップＳ９０７～ステップＳ９０９は、ステップＳ９０６で取得した各入力データ名について、ループするステップ群である（ループＢ）。
ステップＳ９０８では、プロセッサ２３２は、アプリケーション管理テーブル１３２の、アプリケーション名列７０１と、ＡＩモデル名列７０２と、入力データ名列７０３とに、ステップＳ９０３で取得したアプリケーション名と、ループＡが指すＡＩモデル名と、ループＢが指す入力データ名とを、それぞれ記憶する。
ループＡの終了後、プロセッサ２３２は、アプリケーション管理テーブル更新処理を終了する（ステップＳ９１１）。
（１－６）ＡＩモデル管理テーブルの更新処理
図１０を用いて、ストレージシステム１４０がＡＩモデル管理テーブル１４１を更新する処理（ＡＩモデル管理テーブル更新処理）について説明する。
図１０は、ＡＩモデル管理テーブル更新処理の一例を示す図である。
ストレージシステム１４０のプロセッサ２４２は、ＡＩモデル管理テーブル更新処理を、データの読み書きを契機として開始してもよいし、一定の時間間隔毎に開始してもよいし、アプリケーション管理テーブル１３２の更新を契機として開始してもよいし、その他の任意の契機で開始してもよい（ステップＳ１０００）。
ステップＳ１００１では、プロセッサ２４２は、フロントエンドインターフェース２４１を介して、ＡＩ処理基盤１３０に、アプリケーション管理テーブル１３２に記憶された全ての情報を要求する。
ステップＳ１００２～ステップＳ１００９は、ステップＳ１００１で取得したアプリケーション管理テーブル１３２の各行について、ループするステップ群である（ループＡ）。
ステップＳ１００３～ステップＳ１００５は、ＡＩモデル管理テーブル１４１の各行について、ループするステップ群である（ループＢ）。
ステップＳ１００４では、プロセッサ２４２は、ループＡが指す行のＡＩモデル名列７０２のＡＩモデル名と、ループＢが指す行のＡＩモデル名列８０２のＡＩモデル名とが一致し、かつ、ループＡが指す行の入力データ名列７０３の入力データ名と、ループＢが指す行の入力データ名列８０１の入力データ名とが一致するかを条件判定する。プロセッサ２４２は、条件が真である場合、当該ＡＩモデル名と当該入力データ名との組み合わせは、すでにＡＩモデル管理テーブル１４１に登録済みであるため、ループＢを抜け（break）し、ループＡの次の行について処理を行う（ループＡの次のIterationに進む）。他方、条件が偽である場合、プロセッサ２４２は、ループＢの次の行について処理を行う（ループＢの次のIterationに進む）。
ループＢがステップＳ１００４によりbreakせずに終了した場合、プロセッサ２４２は、ステップＳ１００６の処理を実行する。
ステップＳ１００６では、プロセッサ２４２は、ＡＩモデル管理テーブル１４１の末尾行の入力データ名列８０１とＡＩモデル名列８０２とに、ループＡが指す行の、入力データ名列７０３の入力データ名とＡＩモデル名列７０２のＡＩモデル名とを、それぞれ記憶する。
ステップＳ１００７では、プロセッサ２４２は、フロントエンドインターフェース２４１を介して、ＡＩ処理基盤１３０に、ループＡが指す行のＡＩモデル名列７０２に記憶されているＡＩモデル名に対応するＡＩモデルを要求する。
ステップＳ１００８では、プロセッサ２４２は、ステップＳ１００７で取得したＡＩモデルを、ＡＩモデル管理テーブル１４１の末尾行のＡＩモデル列８０３に記憶する。
ループＡの終了後、プロセッサ２４２は、ＡＩモデル管理テーブル更新処理を終了する（ステップＳ１０１０）。
以上では、ストレージシステム１４０において、ＡＩモデル管理テーブル１４１を更新する処理を説明した。この他にも、ＡＩ処理基盤１３０において、ＡＩモデル管理テーブル１４１の複製を更新し、ストレージシステム１４０のＡＩモデル管理テーブル１４１にコピーする方法が採られてもよい。
（１－７）圧縮伸長器の学習処理
図１１を用いて、ストレージシステム１４０が圧縮器１４２および伸長器１４３を学習する処理（圧縮伸長器学習処理）について説明する。
図１１は、圧縮伸長器学習処理の一例を示す図である。
ストレージシステム１４０のプロセッサ２４２は、圧縮伸長器学習処理を、データ生成源１１０のデータ書き込み契機で開始してもよいし、一定の時間間隔毎に開始してもよいし、ストレージシステム１４０の初期化時に開始してもよいし、管理端末１２０を介してユーザに指示させたタイミングで開始してもよいし、その他の任意の契機で開始してもよい（ステップＳ１１００）。
なお、以下では、データ生成源１１０ごとに圧縮器１４２および伸長器１４３（圧縮伸長器）を用意するケースを例に挙げて説明する。つまり、データ生成源１１０の数と同数の圧縮伸長器が存在する場合において、圧縮伸長器学習プログラム６１２の引数として与えられた入力データ名に対応する１種のデータ生成源１１０向けの圧縮伸長器を学習する処理を説明する。しかしながら、本実施の形態は、そのような場合に限定されるものではなく、複数のデータ生成源１１０のデータを同時に圧縮するように（例えば、複数のデータを組み合わせて１つのデータとみなして）、１個の圧縮伸長器を学習してもよいし、その組み合わせであってもよい。
ステップＳ１１０１～ステップＳ１１０８は、引数で与えられた入力データ名の学習データについて、ループするステップ群である（ループＡ）。
学習データは、データ生成源１１０が生成するデータと類似のものであれば、どのようなデータであってもよい。例えば、データ生成源１１０がデータを生成する度に、当該データを学習データとして、圧縮伸長器を学習してもよい。また、例えば、サンプルとして予め用意したデータ生成源１１０のデータを学習データとして、ストレージシステム１４０の初回起動時に、圧縮伸長器を学習してもよい。ループＡのIterationの粒度は、学習データを構成する画像等のファイル単位であってもよいし、複数のファイルから構成されるバッチ単位であってもよいし、その他の任意の粒度でもよい。
ステップＳ１１０２では、プロセッサ２４２は、ＡＩ注視領域推定プログラム６１３をサブルーチンとして起動する（ＡＩ注視領域推定処理を行う）。ＡＩ注視領域推定処理において、プロセッサ２４２は、ループＡが指す学習データについて、学習データを入力として用いるＡＩモデルのＡＩ注視領域を推定し、ヒートマップとして得る。なお、ＡＩ注視領域推定処理については、図１２を用いて後述する。
ステップＳ１１０３では、プロセッサ２４２は、ステップＳ１１０２で計算したＡＩ注視領域のヒートマップに基づき、品質計算プログラム６１４の入力とするための重みを計算する。例えば、プロセッサ２４２は、ＡＩ注視領域を表すヒートマップをそのまま重みとしてもよいし、ヒートマップの値を、適当な閾値で二値化したものを重みとしてもよいし、その他、ヒートマップに任意の関数を適用して重みを計算してよい。なお、閾値で二値化する場合、閾値、二値化後に設定する２種類の値については、ストレージシステム１４０にプリセットされた値を用いてもよいし、管理端末１２０を介してユーザに指定させてもよい。
ステップＳ１１０４では、プロセッサ２４２は、圧縮器１４２により、学習データを圧縮し、圧縮データを得る。
ステップＳ１１０５では、プロセッサ２４２は、伸長器１４３により、ステップＳ１１０４で得た圧縮データを伸長し、伸長データを得る。
ステップＳ１１０６では、プロセッサ２４２は、品質計算プログラム６１４をサブルーチンとして起動し、ステップＳ１００３で計算した重みにより、学習データと、伸長データとの間の加重誤差を計算する。
例えば、学習データｘと、伸長データｙとの対応する各データ点ｘｉ，ｙｉ毎に、対応する重みｗｉで加重した二乗平均誤差を品質とすることができる（下記の式（１））。
また、ＡＩ注視領域に「１」、その他の領域に「０」を設定した重みを用いて、ＡＩ注視領域の二乗平均誤差と、その他の領域の二乗平均誤差を計算し、各々について、目標値ｔ１と目標値ｔ２とを減算し、「０」とｍａｘ演算を取った値を、加算した式（下記の式（２））を品質としてもよい。この場合、例えば、目標値ｔ１が目標値ｔ２よりも小さい値となるように設定すれば、ＡＩ注視領域でない領域の二乗平均誤差がｔ２に達した後は、同誤差の減少がＬｏｓｓ関数の減少に寄与しなくなるため、ＡＩ注視領域の二乗平均誤差を優先して削減するように、圧縮伸長器が学習される。
目標値ｔ１と目標値ｔ２とは、ストレージシステム１４０にプリセットされた値を用いてもよいし、管理端末１２０を介してユーザに指定させてもよい。また、誤差の計算方法は、二乗平均誤差に限定されるものではなく、その他、学習データｘ、伸長データｙ、重みｗを入力として、スカラ値を出力する任意の関数でよい。例えば、画像データに対して、二乗平均誤差よりも、より人間の知覚に近い品質指標であると知られているＭＳ－ＳＳＩＭ（Multi-Scale Structural Similarity）において、入力として、画像の他に、重みｗを与え、各スケールにおけるStructural Similarity値の平均計算を、重みｗに基づく加重平均に置き換えて計算した値を、品質としてもよい。また、上記の式（２）を構成する各項に、適当な係数が設定されてもよい。
ステップＳ１１０７は、プロセッサ２４２は、ステップＳ１１０６で計算した加重誤差をＬｏｓｓ関数として、圧縮器１４２と伸長器１４３とに含まれるニューラルネットワークの学習パラメタを更新する。例えば、プロセッサ２４２は、逆誤差伝播法により、学習パラメタを更新する。
学習パラメタの更新アルゴリズムについては、逆誤差伝播法に限定されるものではなく、例えば、ＳＧＤ（Stochastic Gradient Descent）、Ａｄａｍ（Adaptive moment estimation）等のアルゴリズムが用いられてもよい。
また、圧縮後のデータのエントロピーを、ニューラルネットワークにより推定し、圧縮伸長器のＬｏｓｓ関数として、当該推定値と品質とを加算した関数を用いることで、圧縮率と品質との両方を改善するように、圧縮伸長器を学習させる技術が存在する。この場合、Ｌｏｓｓ関数として、ステップＳ１１０６で計算した加重誤差の他に、圧縮率を表す項、圧縮伸長器を構成するニューラルネットワークの学習パラメタを正則化するための項等が追加されてもよい。この場合、品質、圧縮率、正則化等を表す各項を、予め定められた定数により加算したものをＬｏｓｓ関数としてもよいし、積算したものをＬｏｓｓ関数としてもよいし、その他、各項から１つのスカラ値を計算する任意の関数を適用してＬｏｓｓ関数としてもよい。
ループＡの終了後、プロセッサ２４２は、圧縮伸長器学習処理を終了する（ステップＳ１１０９）。
なお、学習パラメタの更新が収束するまで、同一の学習データに対して、上記の処理は複数回実行されてもよい。
図１２は、ＡＩ注視領域推定処理の一例を示す図である。
プロセッサ２４２は、圧縮伸長器学習プログラム６１２のサブルーチンとして、ＡＩ注視領域推定処理を開始する（ステップＳ１２００）。このとき、プロセッサ２４２は、ＡＩ注視領域推定処理の引数として、学習データと、学習データの入力データ名とを設定する。
ステップＳ１２０１～ステップＳ１２０５は、ＡＩモデル管理テーブル１４１の各行についてループするステップ群である（ループＡ）。
ステップＳ１２０２では、プロセッサ２４２は、ループＡが指す行の入力データ名列８０１に記憶された入力データ名と、引数として与えられた入力データ名とが一致するか、条件判定する。条件が真である場合、プロセッサ２４２は、ステップＳ１２０３に処理を移す。条件が偽である場合、プロセッサ２４２は、ループＡの次の行について処理を行う（次のIterationに進む）。
ステップＳ１２０３は、プロセッサ２４２は、ループＡが指す行のＡＩモデル列８０３からＡＩモデルを取得する。
ステップＳ１２０４では、プロセッサ２４２は、引数で与えられた学習データを、取得したＡＩモデルに入力した場合のＡＩ注視領域を推定する。
ＡＩ注視領域の推定処理として、プロセッサ２４２は、例えば、Grad-CAM、Guided Backpropagation等のアルゴリズムを実行する。また、例えば、プロセッサ２４２は、ＡＩモデル自体が、内部でマスクを計算し、特徴量テンソルのマスク処理等を行っている場合、当該マスクをＡＩ注視領域として利用してもよい。また、例えば、プロセッサ２４２は、画像データを入力として、特定の物体を検出し、当該物体の位置をBounding Box、セグメンテーション画像等の形式で出力するＡＩについては、物体が検出された領域を、ＡＩ注視領域として利用してもよい。
なお、ＡＩ注視領域の推定処理は、これらに限定されるものではなく、どのようなアルゴリズムで推定されてもよい。また、ＡＩモデルは、ニューラルネットワークに限定されるものではなく、ＳＶＭ（Support Vector Machine）等の他の機械学習アルゴリズムであってもよいし、機械学習以外のアルゴリズムであってもよい。
ステップＳ１２０６では、プロセッサ２４２は、ループＡ内で推定したＡＩ注視領域を包含するヒートマップを生成する。例えば、プロセッサ２４２は、ループＡによりＡＩ注視領域を表す複数のヒートマップが得られた場合、これらのデータ点毎の最大値を計算して、新たなヒートマップを生成する。この処理により、学習データに関連付けられた１以上のＡＩモデルについてＡＩ注視領域となっている領域には、生成されたヒートマップにおいて相対的に高い値が設定される。ヒートマップの生成処理は、これに限定されるものではなく、複数のＡＩ注視領域の推定結果から、ヒートマップを計算する任意のアルゴリズムが用いられてよい。
ステップＳ１２０６の処理の後、プロセッサ２４２は、ステップＳ１２０６の結果として得たヒートマップを戻り値として、ＡＩ注視領域推定処理を終了する（ステップＳ１２０７）。
なお、ＡＩ注視領域に加え、人間の注視点を推定するモデルを使用することにより、人間の注視領域にも高い値を設定したヒートマップを戻り値としてもよい。
（１－８）データ書き込み処理
図１３を用いて、ストレージシステム１４０がデータを書き込む処理（データ書き込み処理）について説明する。
図１３は、データ書き込み処理の一例を示す図である。
プロセッサ２４２は、データ書き込み処理を、フロントエンドインターフェース２４１におけるデータ書き込み要求の受領を契機として開始する（ステップＳ１３００）。なお、センササーバ２１０とストレージシステム１４０との間の経路は、ＡＩ処理基盤１３０が中継する経路でもよいし、ストレージシステム１４０のフロントエンドインターフェース２４１をスイッチ２２０に接続するネットワークトポロジとして、センササーバ２１０とストレージシステム１４０とを直接接続する経路でもよい。
ステップＳ１３０１では、プロセッサ２４２は、フロントエンドインターフェース２４１にて受領した書き込み対象のデータを、当該データのデータ生成源１１０に対応する圧縮器１４２により圧縮する。
ステップＳ１３０２では、プロセッサ２４２は、圧縮データを記憶ドライブ１４６に記憶する。なお、記憶ドライブ１４６でデータを管理する方法は、ファイルシステム、リレーショナルデータベース等、任意の手段を用いてよい。
ステップＳ１３０２の処理の後、プロセッサ２４２は、データ書き込み処理を終了する（ステップＳ１３０３）。
（１－９）データ読み出し処理
図１４を用いて、ストレージシステム１４０がデータを読み出す処理（データ読み出し処理）について説明する。
図１４は、データ読み出し処理の一例を示す図である。
プロセッサ２４２は、データ読み出し処理を、フロントエンドインターフェース２４１におけるデータ読み出し要求の受領を契機として開始する（ステップＳ１４００）。なお、データ読み出し要求は、管理端末１２０、ＡＩ処理基盤１３０等が発行する。データ読み出し要求の発行主体（発行元）については、これらに限定されるものではなく、その他の任意の装置がデータ読み出し要求を発行してもよい。
また、管理端末１２０とストレージシステム１４０との間の経路は、ＡＩ処理基盤１３０が中継する経路でもよいし、ストレージシステム１４０のフロントエンドインターフェース２４１をスイッチ２２０に接続するネットワークトポロジとして、管理端末１２０とストレージシステム１４０とを直接接続する経路でもよい。
ステップＳ１４０１では、プロセッサ２４２は、フロントエンドインターフェース２４１にて受領したデータ読み出し要求に対応する圧縮データを、記憶ドライブ１４６から読み出す。
ステップＳ１４０２では、プロセッサ２４２は、ステップＳ１４０１にて読み出した圧縮データを、圧縮データに対応するデータ生成源１１０の伸長器１４３により伸長する。
ステップＳ１４０３では、プロセッサ２４２は、ステップＳ１４０２にて伸長データを、フロントエンドインターフェース２４１を介して、データ読み出し要求の発行元に応答する。
ステップＳ１４０３の処理の後、プロセッサ２４２は、データ読み出し処理を終了する（ステップＳ１４０４）。
なお、データの読み出し要求に対して、データの伸長をストレージシステム１４０の伸長器１４３により伸長する以外にも、管理端末１２０等のデータ読み出し要求の発行元に圧縮データを応答し、当該発行元に伸長処理をさせてもよい。
本実施の形態によれば、ＡＩが動作可能な品質を保ちつつ、圧縮率を改善することができる。
（２）第２の実施の形態
本実施の形態の概要について、図１５を用いて説明する。なお、本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
本実施の形態では、ストレージシステム１４０は、データ生成源１１０が生成したデータの書き込み要求に対し、当該データのＡＩ注視領域を、ＡＩ注視領域推定器１４４により推定し、推定結果をＪＰＥＧ２０００等、特定の領域（例えば、興味領域）に多くの符号量を割り当てることができるＲｏＩ（Region of Interest）機能を有する圧縮器１５０１の興味領域として設定し、当該データを圧縮器１５０１により圧縮し、記憶ドライブ１４６に記憶する。
圧縮器１５０１は、ＪＰＥＧ２０００に限定されるものではなく、ＲｏＩ機能を有する任意の圧縮アルゴリズムでよい。その他、アプリケーション管理テーブル更新処理、ＡＩモデル管理テーブル更新処理、ＡＩ注視領域推定処理等、説明を省略した処理については、第１の実施の形態と同一である。
なお、データの読み出し要求に対して、データの伸長をストレージシステム１４０の伸長器１５０２により伸長する以外にも、管理端末１２０等のデータ読み出し要求の発行元に圧縮データを応答し、当該発行元に伸長処理をさせてもよい。
本実施の形態によれば、ＡＩが動作可能な品質を保ちつつ、圧縮率を改善することができる。
（３）第３の実施の形態
本実施の形態では、ストレージシステム１４０は、管理端末１２０を介してユーザに指定させた、品質指標、ＡＩ注視領域の品質目標、およびＡＩ注視領域外の品質目標に基づいて品質を計算する。なお、本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
図１６は、本実施の形態におけるＡＩモデル管理テーブル１６００の一例を示す図である。
ＡＩモデル管理テーブル１６００は、第１の実施の形態におけるＡＩモデル管理テーブル１４１の列に加え、品質指標列１６０１、ＡＩ注視領域品質目標列１６０２、ＡＩ注視領域外品質目標列１６０３を備える。これらのフィールドには、例えば、管理端末１２０を介して、ユーザに指定させた値が設定される。
品質指標列１６０１は、入力データ名列８０１毎に、当該データの品質を指標化するための関数を管理する。ＡＩ注視領域品質目標列１６０２は、ＡＩ注視領域における品質の目標値を管理する。ＡＩ注視領域外品質目標列１６０３は、ＡＩ注視領域以外の領域における品質の目標値を管理する。
本実施の形態においては、ＡＩ注視領域推定処理のヒートマップ生成処理において、複数ＡＩモデルのヒートマップをマージする処理（ステップＳ１２０６）を行わず、各ＡＩモデルについて、ＡＩ注視領域の推定結果を返す。つまり、ＡＩ注視領域推定処理は、当該データに紐づくＡＩモデルの数に等しい枚数のヒートマップを返す。
図１７は、本実施の形態における圧縮伸長器学習処理の一例を示す図である。
ステップＳ１７００～ステップＳ１７０５は、ＡＩモデル管理テーブル１６００の行のうち、入力データ名列８０１に、引数で指定された入力データ名が記憶されている各行について、ループするステップ群である（ループＢ）。
ステップＳ１７０１では、プロセッサ２４２は、ループＢが指す行のＡＩモデル名列８０２に対応するＡＩ注視領域のヒートマップを、ステップＳ１１０２の引数から選択し、ヒートマップを基に重みを計算する。重みは、例えば、ヒートマップのうち、ストレージシステム１４０にプリセットされた閾値を上回るデータ点には「１」を、その他のデータ点には「０」を設定することで二値化することにより生成できる。閾値、二値化後に設定する値は、管理端末１２０を介してユーザに指定させてもよい。その他、ヒートマップを任意の関数に適用することで、重みを計算してもよい。
ステップＳ１７０２およびステップＳ１７０３は、第１の実施の形態における圧縮伸長学習処理のステップＳ１１０４およびステップＳ１１０５と同一である。
ステップＳ１７０４では、プロセッサ２４２は、ループＢが指す行の品質指標列１６０１、ＡＩ注視領域品質目標列１６０２、ＡＩ注視領域外品質目標列１６０３に記憶された値を基に、学習データと伸長データとの間の品質を計算する。
プロセッサ２４２は、例えば、上記の式（２）において、二乗平均誤差の計算式を、品質指標列１６０１で指定された品質指標の計算式に、ｔ１をＡＩ注視領域品質目標列１６０２に指定された値に、ｔ２をＡＩ注視領域外品質目標列１６０３に設定された値に、それぞれ置き換えた式により、品質を計算する。なお、式（２）を構成する各項に、適当な係数が設定されてもよい。品質の計算式については、式（２）に限定されるものではなく、学習データ、伸長データ、重み、ＡＩ注視領域品質目標、ＡＩ注視領域外品質目標の４つを入力として、スカラ値を計算する任意の関数であってよい。
ステップＳ１７０６では、プロセッサ２４２は、ステップＳ１２０２で計算した品質の和をＬｏｓｓ関数として、圧縮器１４２と伸長器１４３とに含まれるニューラルネットワークの学習パラメタを更新する。例えば、プロセッサ２４２は、逆誤差伝播法により、学習パラメタを更新する。学習パラメタの更新アルゴリズムについては、逆誤差伝播法に限定されるものではなく、例えば、ＳＧＤ、Ａｄａｍ等のアルゴリズムが用いられてもよい。
また、プロセッサ２４２は、品質の和を計算する際に、各品質を適当な係数により重み付けしてもよい。また、Ｌｏｓｓ関数として、ステップＳ１１０６で計算した加重誤差の他に、圧縮率を表す項、圧縮伸長器を構成するニューラルネットワークの学習パラメタを正則化するための項等が追加されてもよい。この場合、品質、圧縮率、正則化等を表す各項を、予め定められた定数により加算したものをＬｏｓｓ関数としてもよいし、積算したものをＬｏｓｓ関数としてもよいし、その他、各項から１つのスカラ値を計算する任意の関数を適用してＬｏｓｓ関数としてもよい。
上記の方法により品質を計算する方法以外にも、品質指標列１６０１が同一の、２つのＡＩモデル「ＡＩ１」、「ＡＩ２」について、ＡＩ注視領域が重複する領域が存在する場合、重複領域の品質、「ＡＩ１」のみのＡＩ注視領域の品質、「ＡＩ２」のみのＡＩ注視領域の品質、いずれのＡＩモデルのＡＩ注視領域でもない領域の品質をそれぞれ計算し、それぞれの目標値として、ｍａｘ（ｔｐ１，ｔｐ２），ｍａｘ（ｔｐ１，ｔｎ２），ｍａｘ（ｔｎ１，ｔｐ２），ｍａｘ（ｔｎ１，ｔｎ２）として、上記の式（２）と同様に計算してもよい。ただし、ｔｐ１，ｔｎ１，ｔｐ２，ｔｎ２は、それぞれ、「ＡＩ１」のＡＩ注視領域品質目標列１６０２、「ＡＩ１」のＡＩ注視領域外品質目標列１６０３、「ＡＩ２」のＡＩ注視領域品質目標列１６０２、「ＡＩ２」のＡＩ注視領域外品質目標列１６０３である。また、ＡＩモデルの数が３以上の場合について、同様に計算した品質を用いてもよい。
本実施の形態によれば、データ生成源およびＡＩモデル毎に目標値が設定可能となるので、各ＡＩモデルに求められる品質をより精緻に満たすことが可能となるため、圧縮率をより改善することができる。
（４）第４の実施の形態
図１８は、本実施の形態の概要を表す。第１の実施の形態～第３の実施の形態では、ＡＩ注視領域に基づいて画質を制御するように、圧縮器１４２を学習させている。これは、圧縮器１４２が、内部的にＡＩ注視領域の推定が行われるように学習されることを意味する。しかしながら、圧縮器１４２で行われるＡＩ注視領域の推定は、誤差を伴う可能性がある。特に、本来、ＡＩ注視領域であるにも関わらず、ＡＩ注視領域以外であると判定される領域が存在すると、当該領域の品質が低下する可能性がある。
この点、本実施の形態では、圧縮器１４２を構成するニューラルネットワークとして、ベイジアンニューラルネットワークを用いることで、圧縮データに加え、各データ点におけるＡＩ注視領域の推定の不確かさ（Uncertainty）を出力するように、圧縮器１４２を学習させる。なお、本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
領域抽出部１８００は、データの書き込み時に、圧縮器１４２により、ＡＩ注視領域の推定の不確かさを計算し、不確かさが閾値以上の領域の書き込みデータのオリジナルの値を抽出し、圧縮データと合わせて、記憶ドライブ１４６に記憶する。閾値は、ストレージシステム１４０にプリセットされた値であってもよいし、管理端末１２０を介してユーザに指定させた値であってもよい。
オリジナルの値を抽出して記憶する以外にも、圧縮率、品質が異なる複数の圧縮器を予め学習させておき、不確かさが高い領域が存在する場合には、より高品質の圧縮器で圧縮し直し、当該圧縮器による圧縮データを記憶ドライブ１４６に記憶してもよい。
読み出し時には、記憶ドライブ１４６から読み出した圧縮データを伸長器１４３で伸長した後、記憶ドライブ１４６からオリジナルの値を読み出し、オリジナルの値があるデータ点については、伸長データを当該オリジナル値で置き換えたデータを、読み出し要求元に応答する。
本実施の形態によれば、不確かさが閾値以上の領域についてはオリジナル値が保持され、読み出し時に置換されるので、ＡＩ注視領域の推定ミスに伴う品質の低下を回避することができる。
以上、本発明が適用されるＡＩ処理基盤とストレージシステムとについて説明した。
（５）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。
上述の実施の形態においては、本発明をデータ処理システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
ＡＩ処理基盤の機能（アプリケーション管理テーブル更新プログラム５１１、データベースプログラム５１２等の機能）は、例えば、プロセッサ２３２がプログラム２３７をＲＡＭ２３３に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、ＡＩ処理基盤の機能の一部は、ＡＩ処理基盤と通信可能な他のコンピュータにより実現されてもよい。
ストレージシステム１４０の機能（ＡＩモデル管理テーブル更新プログラム６１１、圧縮伸長器学習プログラム６１２、ＡＩ注視領域推定プログラム６１３、品質計算プログラム６１４、データ書き込みプログラム６１５、データ読み出しプログラム６１６等の機能）は、例えば、プロセッサ２４２がプログラム２４５をＲＡＭ２４３に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、ストレージシステム１４０の機能の一部は、ストレージシステム１４０と通信可能な他のコンピュータにより実現されてもよい。
また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
また、上述の実施の形態において、説明の便宜上、ＸＸテーブル、ＸＸファイルを用いて各種のデータを説明したが、データ構造は限定されるものではなく、ＸＸ情報等と表現してもよい。
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
上述した実施の形態は、例えば、以下の特徴的な構成を有する。
プロセッサ（例えば、プロセッサ２４２）と、記憶装置（ＲＡＭ２４３、記憶ドライブ１４６等）と、を備え、データを圧縮および伸長する学習済みの圧縮伸長器（例えば、圧縮器１４２および伸長器１４３）を用いてデータを入出力するデータ処理システム（例えば、データ処理システム１００）において、学習データを用いて、データモデル（例えば、ＡＩモデル）が注視する領域を推定する推定部（ＡＩ注視領域推定器１４４、ＡＩ注視領域推定プログラム６１３等）と、前記注視する領域に基づいて各領域を重み付けした評価関数（例えば、ＬＯＳＳ関数）と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させる学習部（例えば、圧縮伸長器学習プログラム６１２）と、を備える。
上記構成では、データモデルが注視する領域に応じて学習が行われるので、例えば、当該領域以外の領域の圧縮率を当該領域の圧縮率よりも高くすることができ、データモデルが動作可能な品質を保ちつつ、データモデルが用いるデータの圧縮率を改善することができる。
前記学習部は、前記圧縮および伸長前の学習データと圧縮および伸長後の学習データとの前記領域ごとの差分と、前記領域ごとの評価関数と、に基づいて、前記圧縮伸長器のパラメタを変更することで、学習させる。
データを生成する生成源（例えば、データ生成源１１０）と、上記データを用いるデータモデルと、が対応付けられた管理情報（例えば、ＡＩモデル管理テーブル１４１）を管理する管理部（例えば、ＡＩモデル管理テーブル更新プログラム６１１）を備え、上記推定部は、上記生成源の学習データについて、上記管理情報をもとに上記学習データに対応するデータモデルを特定し、特定したデータモデルが注視する領域を推定し（例えば、図１２参照）、上記学習部は、上記学習データと、上記生成源に対応する圧縮器および伸長器が用いられて上記学習データが圧縮されてから伸長されたデータと、上記学習データについて上記推定部により推定された領域の重みとを用いて計算した指標を評価関数として上記圧縮伸長器を学習する（例えば、ステップＳ１１０６、ステップＳ１１０７参照）。
上記生成源は、データを生成する１以上の主体である。例えば、上記生成源は、センサであってもよいし、複数のセンサのデータを処理して出力する装置であってもよい。
上記構成では、生成源に対応付けられているデータモデルが注視する領域に重み付けした指標を評価関数として圧縮伸長器が学習されるので、例えば、生成源に対応付けられている全てのデータモデルが動作可能な品質を保ちつつ、生成源からのデータの圧縮率を改善することができる。また、例えば、上記構成では、データモデルが注視する領域がデータモデルごとに異なっていたとしても、管理情報をもとに、どのデータモデルの領域に従って圧縮率を制御すればよいかが特定できるようになる。
データを生成する生成源（例えば、データ生成源１１０）と、上記データを用いるデータモデルとを指定可能なインターフェース部（第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００等）と、データモデル（例えば、ＡＩモデル）を有し、上記データモデルを実行する処理基盤（例えば、ＡＩ処理基盤１３０）から、上記インターフェース部により指定されたデータモデルを取得する取得部と、上記推定部と、上記管理部とを含んで構成されるストレージシステム（例えば、ストレージシステム１４０）と、を備え、上記管理部は、上記インターフェース部により指定された生成源と上記取得部により取得されたデータモデルとを対応付けて上記管理情報を生成する（例えば、図１０参照）。
上記管理情報では、データを生成する生成源（例えば、生成源１１０）と、上記データを用いるデータモデル（例えば、ＡＩモデル）と、上記データモデルが注視する領域の品質の目標値（例えば、ＡＩ注視領域品質目標列１６０２の値）と、上記領域以外の領域の品質の目標値（例えば、ＡＩ注視領域外品質目標列１６０３の値）とが対応付けられ、上記学習部は、上記学習データと、上記生成源に対応する圧縮伸長器が用いられて上記学習データが圧縮されてから伸長されたデータと、上記学習データについて上記推定部により推定された領域の重みと、上記領域の品質の目標値と、上記領域以外の領域の品質の目標値とを用いて計算した指標を評価関数として上記圧縮伸長器を学習する（例えば、ステップＳ１７０４、ステップＳ１７０５参照）。
上記構成では、例えば、領域の品質の目標値ｔ１が当該領域以外の領域の品質の目標値ｔ２よりも小さい値となるように設定すれば、当該領域以外の領域の誤差がｔ２に達した後は、同誤差の減少が評価関数の減少に寄与しなくなるため、当該領域の誤差を優先して削減するように、圧縮伸長器が学習される。上記構成によれば、生成源およびデータモデル毎に目標値が設定可能となるので、各データモデルに求められる品質をより精緻に満たすことができ、圧縮率が改善する。
上記圧縮伸長器は、圧縮器と伸長器とを有し、上記領域の推定の不確かさを計算し、不確かさが閾値以上の領域を特定し、特定した領域に対応する上記データにおける領域データまたは上記圧縮器より高品質の圧縮器で上記データを圧縮した圧縮データを置換用データとして保持する保持部（例えば、領域抽出部１８００）と、上記データの読み出しに対し、上記データの圧縮データを伸長器で伸長し、伸長データを上記置換用データで置換した置換済みデータを、上記データの要求元に応答する応答部（例えば、データ読み出しプログラム）と、を備える。
上記圧縮部は、ストレージシステム（例えば、ストレージシステム１４０）に設けられていてもよいし、ストレージシステム外（例えば、ＡＩ処理基盤１３０）に設けられていてもよい。
上記構成では、例えば、不確かさが閾値以上の領域については置換用データが保持され、読み出し時に置換されるので、不確かさが閾値以上の領域における品質の低下を回避することができる。
ＲｏＩ（Region of Interest）機能を有する圧縮伸長器（例えば、圧縮器１５０１）を用いる。
上記構成によれば、例えば、圧縮伸長器の学習をすることなく、データモデルが動作可能な品質を保ちつつ、データモデルが用いるデータの圧縮率を改善することができる。
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
１００……データ処理システム、１４２……圧縮器、１４３……伸長器、１４４……ＡＩ注視領域推定器。

Claims (10)

  1. プロセッサと、
    記憶装置と、
    を備え、
    データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおいて、
    学習データを用いて、データモデルが注視する領域を推定する推定部と、
    前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させる学習部と、
    データを生成する生成源と、前記データを用いるデータモデルと、が対応付けられた管理情報を管理する管理部と、
    を備え、
    前記推定部は、前記生成源の学習データについて、前記管理情報をもとに前記学習データに対応するデータモデルを特定し、特定したデータモデルが注視する領域を推定し、
    前記学習部は、前記学習データと、前記生成源に対応する圧縮伸長器が用いられて前記学習データが圧縮されてから伸長されたデータと、前記学習データについて前記推定部により推定された領域の重みとを用いて計算した指標を評価関数として前記圧縮伸長器を学習する、
    データ処理システム。
  2. データを生成する生成源と、前記データを用いるデータモデルとを指定可能なインターフェース部と、
    データモデルを有し、前記データモデルを実行する処理基盤から、前記インターフェース部により指定されたデータモデルを取得する取得部と、前記推定部と、前記管理部とを含んで構成されるストレージシステムと、
    を備え、
    前記管理部は、前記インターフェース部により指定された生成源と前記取得部により取得されたデータモデルとを対応付けて前記管理情報を生成する、
    請求項１に記載のデータ処理システム。
  3. 前記管理情報では、データを生成する生成源と、前記データを用いるデータモデルと、前記データモデルが注視する領域の品質の目標値と、前記領域以外の領域の品質の目標値とが対応付けられ、
    前記学習部は、前記学習データと、前記生成源に対応する圧縮伸長器が用いられて前記学習データが圧縮されてから伸長されたデータと、前記学習データについて前記推定部により推定された領域の重みと、前記領域の品質の目標値と、前記領域以外の領域の品質の目標値とを用いて計算した指標を評価関数として前記圧縮伸長器を学習する、
    請求項１に記載のデータ処理システム。
  4. プロセッサと、
    記憶装置と、
    を備え、
    データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおいて、
    学習データを用いて、データモデルが注視する領域を推定する推定部と、
    前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させる学習部と、
    を備え、
    前記圧縮伸長器は、圧縮器と伸長器とを有し、
    前記領域の推定の不確かさを計算し、不確かさが閾値以上の領域を特定し、特定した領域に対応する前記データにおける領域データまたは前記圧縮器より高品質の圧縮器で前記データを圧縮した圧縮データを置換用データとして保持する保持部と、
    前記データの読み出しに対し、前記データの圧縮データを伸長器で伸長し、伸長データを前記置換用データで置換した置換済みデータを、前記データの要求元に応答する応答部と、
    を備える、
    データ処理システム。
  5. ＲｏＩ（Region of Interest）機能を有する圧縮伸長器を用いる、
    請求項１に記載のデータ処理システム。
  6. プロセッサと、
    記憶装置と、
    を備え、
    データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおけるデータ圧縮方法であって、
    推定部が、学習データを用いて、データモデルが注視する領域を推定することと、
    学習部が、前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させることと、
    管理部が、データを生成する生成源と、前記データを用いるデータモデルと、が対応付けられた管理情報を管理することと、
    を含み、
    前記推定部は、前記生成源の学習データについて、前記管理情報をもとに前記学習データに対応するデータモデルを特定し、特定したデータモデルが注視する領域を推定し、
    前記学習部は、前記学習データと、前記生成源に対応する圧縮伸長器が用いられて前記学習データが圧縮されてから伸長されたデータと、前記学習データについて前記推定部により推定された領域の重みとを用いて計算した指標を評価関数として前記圧縮伸長器を学習する、
    データ圧縮方法。
  7. プロセッサと、
    記憶装置と、
    を備え、
    データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおけるデータ圧縮方法であって、
    前記圧縮伸長器は、圧縮器と伸長器とを有し、
    推定部が、学習データを用いて、データモデルが注視する領域を推定することと、
    学習部が、前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させることと、
    保持部が、前記領域の推定の不確かさを計算し、不確かさが閾値以上の領域を特定し、特定した領域に対応する前記データにおける領域データまたは前記圧縮器より高品質の圧縮器で前記データを圧縮した圧縮データを置換用データとして保持することと、
    応答部が、前記データの読み出しに対し、前記データの圧縮データを伸長器で伸長し、伸長データを前記置換用データで置換した置換済みデータを、前記データの要求元に応答することと、
    を含む、
    データ圧縮方法。
  8. プロセッサと、
    記憶装置と、
    を備え、
    データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するコンピュータにおいて、
    学習データを用いて、データモデルが注視する領域を推定し、
    前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させ、
    データを生成する生成源と、前記データを用いるデータモデルと、が対応付けられた管理情報を管理し、
    前記生成源の学習データについて、前記管理情報をもとに前記学習データに対応するデータモデルを特定し、特定したデータモデルが注視する領域を推定し、
    前記学習データと、前記生成源に対応する圧縮伸長器が用いられて前記学習データが圧縮されてから伸長されたデータと、前記学習データについて前記推定された領域の重みとを用いて計算した指標を評価関数として前記圧縮伸長器を学習する、
    ことを前記コンピュータに実行させる、
    コンピュータプログラム。
  9. 前記管理情報では、データを生成する生成源と、前記データを用いるデータモデルと、前記データモデルが注視する領域の品質の目標値と、前記領域以外の領域の品質の目標値とが対応付けられ、
    前記学習データと、前記生成源に対応する圧縮伸長器が用いられて前記学習データが圧縮されてから伸長されたデータと、前記学習データについて前記推定された領域の重みと、前記領域の品質の目標値と、前記領域以外の領域の品質の目標値とを用いて計算した指標を評価関数として前記圧縮伸長器を学習する、
    ことを前記コンピュータに実行させる、請求項８に記載のコンピュータプログラム。
  10. プロセッサと、
    記憶装置と、
    を備え、
    データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するコンピュータにおいて、
    学習データを用いて、データモデルが注視する領域を推定し、
    前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させ、
    前記圧縮伸長器は、圧縮器と伸長器とを有し、
    前記領域の推定の不確かさを計算し、不確かさが閾値以上の領域を特定し、特定した領域に対応する前記データにおける領域データまたは前記圧縮器より高品質の圧縮器で前記データを圧縮した圧縮データを置換用データとして保持し、
    前記データの読み出しに対し、前記データの圧縮データを伸長器で伸長し、伸長データを前記置換用データで置換した置換済みデータを、前記データの要求元に応答する、
    ことを前記コンピュータに実行させる、
    コンピュータプログラム。
JP2020038808A 2020-03-06 2020-03-06 データ処理システムおよびデータ圧縮方法 Active JP7441682B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020038808A JP7441682B2 (ja) 2020-03-06 2020-03-06 データ処理システムおよびデータ圧縮方法
US17/642,843 US11842055B2 (en) 2020-03-06 2021-03-04 Data processing system and data compression method
PCT/JP2021/008346 WO2021177394A1 (ja) 2020-03-06 2021-03-04 データ処理システムおよびデータ圧縮方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020038808A JP7441682B2 (ja) 2020-03-06 2020-03-06 データ処理システムおよびデータ圧縮方法

Publications (2)

Publication Number Publication Date
JP2021140554A JP2021140554A (ja) 2021-09-16
JP7441682B2 true JP7441682B2 (ja) 2024-03-01

Family

ID=77613488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038808A Active JP7441682B2 (ja) 2020-03-06 2020-03-06 データ処理システムおよびデータ圧縮方法

Country Status (3)

Country Link
US (1) US11842055B2 (ja)
JP (1) JP7441682B2 (ja)
WO (1) WO2021177394A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023242927A1 (ja) * 2022-06-13 2023-12-21 日本電信電話株式会社 データ管理装置、データ管理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985853B2 (en) * 2002-02-28 2006-01-10 Broadcom Corporation Compressed audio stream data decoder memory sharing techniques
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP4757038B2 (ja) 2006-01-25 2011-08-24 株式会社日立製作所 ストレージシステム及び記憶制御装置
JP6826021B2 (ja) 2017-11-20 2021-02-03 株式会社日立製作所 ストレージシステム
US10757482B2 (en) * 2017-12-05 2020-08-25 Fdn. for Res.&Bus., Seoul Nat. Univ. of Sci.&Tech. System and method for predicting user viewpoint using location information of sound source in 360 VR contents

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKUTSU Hiroaki and NARUKO Takahiro，End-to-End Learned ROI Image Compression，CVPR 2019 open access [online]，2019年，[検索日 2021.05.10], インターネット：<URL: https://openaccess.thecvf.com/content_CVPRW_2019/papers/CLIC%202019/Akutsu_End-to-End_Learned_ROI_Image_Compression_CVPRW_2019_paper.pdf>
CAI Chunlei et al.，End-to-End Optimized ROI Image Compression，IEEE Transactions on Image Processing [online]，IEEE，2019年12月25日，Vol.29，pp.3442 - 3457，[検索日 2021.05.10], インターネット：<URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8943263>，<DOI: 10.1109/TIP.2019.2960869>

Also Published As

Publication number Publication date
US20220374156A1 (en) 2022-11-24
JP2021140554A (ja) 2021-09-16
WO2021177394A1 (ja) 2021-09-10
US11842055B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
CN114155543B (zh) 神经网络训练方法、文档图像理解方法、装置和设备
US10936950B1 (en) Processing sequential interaction data
Prabhakaran Multimedia database management systems
US20190333285A1 (en) Delivery of a time-dependent virtual reality environment in a computing system
JP6569047B1 (ja) 学習方法、コンピュータプログラム、分類器、及び生成器
CN112889043A (zh) 以用户为中心的浏览器位置
CN106970958B (zh) 一种流文件的查询与存储方法和装置
US10762902B2 (en) Method and apparatus for synthesizing adaptive data visualizations
US20210256427A1 (en) Automated Computer Operating System Optimization
CN113656587B (zh) 文本分类方法、装置、电子设备及存储介质
JP7242994B2 (ja) ビデオイベント識別方法、装置、電子デバイス及び記憶媒体
US10146659B2 (en) Large event log replay method and system
JP7441682B2 (ja) データ処理システムおよびデータ圧縮方法
CN112970011A (zh) 记录查询优化中的谱系
JP6868576B2 (ja) 事象提示システムおよび事象提示装置
CN115994558A (zh) 医学影像编码网络的预训练方法、装置、设备及存储介质
US11122335B2 (en) Wishing television
JP7328799B2 (ja) ストレージシステムおよび記憶制御方法
KR20220169695A (ko) 전자장치 및 그 제어방법
EP3624065A1 (en) Classification of knowledge management assets
CN116468096B (zh) 一种模型训练方法、装置、设备及可读存储介质
US20230418429A1 (en) Computer-readable recording medium storing information processing program, information processing method, and information processing apparatus
US11983554B2 (en) Automating semantically-related computing tasks across contexts
JP5764448B2 (ja) 文書ランキングスコアの動的更新のための方法および装置
US20230111146A1 (en) Systems and methods for integrating knowledge from a plurality of data sources

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R150 Certificate of patent or registration of utility model

Ref document number: 7441682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150