JP7409400B2 - データ処理装置及びデータ処理プログラム - Google Patents

データ処理装置及びデータ処理プログラム Download PDF

Info

Publication number
JP7409400B2
JP7409400B2 JP2021574421A JP2021574421A JP7409400B2 JP 7409400 B2 JP7409400 B2 JP 7409400B2 JP 2021574421 A JP2021574421 A JP 2021574421A JP 2021574421 A JP2021574421 A JP 2021574421A JP 7409400 B2 JP7409400 B2 JP 7409400B2
Authority
JP
Japan
Prior art keywords
image data
data
unit
processing
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021574421A
Other languages
English (en)
Other versions
JPWO2021152849A5 (ja
JPWO2021152849A1 (ja
Inventor
智規 久保田
鷹詔 中尾
康之 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2021152849A1 publication Critical patent/JPWO2021152849A1/ja
Publication of JPWO2021152849A5 publication Critical patent/JPWO2021152849A5/ja
Application granted granted Critical
Publication of JP7409400B2 publication Critical patent/JP7409400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、データ処理装置及びデータ処理プログラムに関する。
一般に、画像データを記録または伝送する際には、画像データに対して圧縮処理を行い、データサイズを小さくすることで、記録コストの削減や伝送コストの削減を実現している。
一方で、近年、ＡＩ（Artificial Intelligence）による認識処理に利用される目的で、画像データを記録または伝送するケースが増えてきている。ＡＩの代表的なモデルとして、例えば、深層学習や機械学習を用いたモデルが挙げられる。
特開２０１８－１０１４０６号公報 特開２０１９－０７９４４５号公報 特開２０１１－２３４０３３号公報
しかしながら、従来の圧縮処理は、人間の視覚特性に基づいて行われており、ＡＩの動作解析に基づいて行われていない。このため、ＡＩによる認識処理に必要でない領域について、十分な圧縮レベルで圧縮処理が行われていない場合があった。あるいは、ＡＩによる認識処理において重要な領域の画質を劣化させ、復号した際に、十分な認識精度が得られない場合があった。
一つの側面では、ＡＩによる認識処理に適した圧縮処理を実現することを目的とする。
一態様によれば、データ処理装置は、
画像データに対して認識処理が行われた際の、各ブロックの認識結果への影響度に基づいて圧縮レベルが決定された場合において、該圧縮レベルを用いて該画像データに対して圧縮処理を行うことで、圧縮データを生成する符号化部と、前記圧縮データを復号した復号データに対して認識処理を行った場合の認識結果が、所定の条件を満たす場合に、認識対象に対応するブロックについて、前記圧縮レベルを上げる方向に補正する補正部とを有する。
ＡＩによる認識処理に適した圧縮処理を実現することができる。
図１は、圧縮処理システムのシステム構成の一例を示す第１の図である。 図２は、解析装置または画像圧縮装置またはデータ処理装置のハードウェア構成の一例を示す図である。 図３は、解析装置の機能構成の一例を示す図である。 図４は、集計結果の具体例を示す図である。 図５は、量子化値決定部による処理の具体例を示す図である。 図６は、前景判定部による処理の具体例を示す図である。 図７は、画像圧縮装置の機能構成の一例を示す図である。 図８は、データ処理装置の機能構成の一例を示す第１の図である。 図９は、量子化値補正部の処理の具体例を示す図である。 図１０は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第１のフローチャートである。 図１１は、圧縮処理システムのシステム構成の一例を示す第２の図である。 図１２は、データ処理装置の機能構成の一例を示す第２の図である。 図１３は、解析部の処理の具体例を示す第１の図である。 図１４は、解析部の処理の具体例を示す第２の図である。 図１５は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第２のフローチャートである。 図１６は、圧縮処理システムのシステム構成の一例を示す第３の図である。 図１７は、圧縮処理システムのシステム構成の一例を示す第４の図である。 図１８は、データ処理装置の機能構成の一例を示す第３の図である。 図１９は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第３のフローチャートである。 図２０は、圧縮処理システムのシステム構成の一例を示す第５の図である。 図２１は、圧縮処理システムのシステム構成の一例を示す第６の図である。 図２２は、データ処理装置の機能構成の一例を示す第４の図である。 図２３は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第４のフローチャートである。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜圧縮処理システムのシステム構成＞
はじめに、第１の実施形態に係るデータ処理装置を含む、圧縮処理システム全体のシステム構成について説明する。図１は、圧縮処理システムのシステム構成の一例を示す第１の図である。第１の実施形態において、圧縮処理システムが実行する処理は、
・決定量子化値マップを生成する第１のフェーズと、
・決定量子化値マップを補正し、補正後決定量子化値マップを用いて圧縮処理を行い、圧縮データを格納する第２のフェーズと
に大別することができる。
図１において、１ａは、第１のフェーズにおける圧縮処理システムのシステム構成を示しており、１ｂは、第２のフェーズにおける圧縮処理システムのシステム構成を示している。
図１の１ａに示すように、第１のフェーズにおける圧縮処理システム１００には、撮像装置１１０、解析装置１２０、画像圧縮装置１３０が含まれる。
撮像装置１１０は、所定のフレーム周期で撮影を行い、画像データを解析装置１２０に送信する。なお、画像データには、認識対象となるオブジェクトが含まれる。
解析装置１２０は、認識処理を行う学習済みモデルを有する。解析装置１２０は、画像データを学習済みモデルに入力することで認識処理を行い、認識結果を出力する。
また、解析装置１２０は、画像圧縮装置１３０が画像データに対して異なる圧縮レベル（量子化値）で圧縮処理を行うことで出力した各圧縮データを取得し、各圧縮データを復号することで、各復号データを生成する。更に、解析装置１２０は、各復号データを学習済みモデルに入力することで認識処理を行い、認識結果を出力する。
また、解析装置１２０は、例えば、誤差逆伝播法を用いて認識処理時の学習済みモデルの動作解析を行うことで、認識結果への影響度を示すマップ（重要特徴マップと称す）を生成する。更に、解析装置１２０は、重要特徴マップに基づいて、所定領域ごと（圧縮処理が行われる際に用いられるブロックごと）に影響度を集計する。
なお、解析装置１２０では、各ブロックに量子化値を設定した量子化値マップ（可変）を、順次、画像圧縮装置１３０に送信することで、異なる圧縮レベル（量子化値）での圧縮処理を、画像圧縮装置１３０に指示する。
また、解析装置１２０は、各復号データに対して認識処理を行うごとに集計した各ブロックの影響度の集計値に基づき、ブロックごとに集計値グラフを生成する。集計値グラフは、各圧縮レベル（各量子化値）に対する、集計値の変化を示すグラフである。また、解析装置１２０は、ブロックごとの集計値グラフそれぞれに基づいて、各ブロックの最適な圧縮レベル（量子化値）を決定する。
以下、解析装置１２０において決定された各ブロックの最適な量子化値を"決定量子化値"と称する。また、各ブロックに決定量子化値が設定されたマップを"決定量子化値マップ"と称する。なお、解析装置１２０は、決定量子化値マップをデータ処理装置１４０に送信する。
このように、学習済みモデルの動作解析を行い、認識結果への影響度をブロックごとに集計することで、解析装置１２０によれば、画像データに対して圧縮処理を行うにあたり、認識処理に適した圧縮レベルを決定することができる。
一方、図１の１ｂに示すように、第２のフェーズにおける圧縮処理システム１００には、解析装置１２０、画像圧縮装置１３０、データ処理装置１４０、ストレージ装置１５０が含まれる。
第２のフェーズにおいて、解析装置１２０は、画像データを画像圧縮装置１３０とデータ処理装置１４０とに送信する。
データ処理装置１４０は、解析装置１２０より送信された画像データに対して、第１のフェーズにおいて解析装置１２０より送信された決定量子化値マップを用いて圧縮処理を行う。また、データ処理装置１４０は、圧縮データを復号し、復号データに対して認識処理を行うことで、認識結果を出力する。
また、データ処理装置１４０は、決定量子化値マップの各ブロックに設定された量子化値のうち、認識対象となるオブジェクトに対応するブロックの量子化値を、所定のきざみ幅で増減させながら各復号データに対して認識処理を行う。更に、データ処理装置１４０は、画像データの認識結果に基づいて予め規定した認識結果の許容範囲と、各復号データの認識結果とを比較し、規定した許容範囲内に収まる認識結果が出力されうる最大の量子化値を探索する。
また、データ処理装置１４０は、探索した最大の量子化値を用いて、決定量子化値マップのオブジェクトに対応するブロックの量子化値を補正し、補正後決定量子化値マップを生成する。更に、データ処理装置１４０は、生成した補正後決定量子化値マップを画像圧縮装置１３０に送信する。
画像圧縮装置１３０は、送信された補正後決定量子化値マップを用いて画像データに対して圧縮処理を行い、圧縮データをストレージ装置１５０に格納する。
このように、第１の実施形態に係るデータ処理装置１４０では、解析装置１２０が各ブロックの認識結果への影響度に基づき決定量子化値マップを生成した場合において、認識結果に基づいて、認識対象となるオブジェクトに対応するブロックの量子化値を補正する。
これにより、第１の実施形態に係るデータ処理装置１４０によれば、認識結果を維持しつつ、圧縮レベルを向上させることができる。つまり、第１の実施形態に係るデータ処理装置１４０によれば、ＡＩによる認識処理に適した圧縮処理を実現することができる。
＜解析装置または画像圧縮装置またはデータ処理装置のハードウェア構成＞
次に、解析装置１２０及び画像圧縮装置１３０及びデータ処理装置１４０のハードウェア構成について説明する。なお、解析装置１２０と画像圧縮装置１３０とデータ処理装置１４０とは、同様のハードウェア構成を有するため、ここでは、図２を用いて、これらの装置の説明をまとめて行う。
図２は、解析装置または画像圧縮装置またはデータ処理装置のハードウェア構成の一例を示す図である。解析装置１２０または画像圧縮装置１３０またはデータ処理装置１４０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、解析装置１２０または画像圧縮装置１３０またはデータ処理装置１４０の各ハードウェアは、バス２０７を介して相互に接続されている。
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、後述する解析プログラムまたは画像圧縮プログラムまたはデータ処理プログラム等）をメモリ２０２上に読み出して実行する。
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する（各種機能の詳細は後述する）。
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
Ｉ／Ｆ装置２０４は、外部装置の一例である操作装置２１０、表示装置２２０と、解析装置１２０または画像圧縮装置１３０またはデータ処理装置１４０とを接続する接続デバイスである。Ｉ／Ｆ装置２０４は、解析装置１２０または画像圧縮装置１３０またはデータ処理装置１４０に対する操作を、操作装置２１０を介して受け付ける。また、Ｉ／Ｆ装置２０４は、解析装置１２０または画像圧縮装置１３０またはデータ処理装置１４０による処理の結果を出力し、表示装置２２０を介して表示する。
通信装置２０５は、他の装置と通信するための通信デバイスである。解析装置１２０の場合、通信装置２０５を介して他の装置である撮像装置１１０、画像圧縮装置１３０、データ処理装置１４０と通信する。また、画像圧縮装置１３０の場合、通信装置２０５を介して他の装置である解析装置１２０、データ処理装置１４０、ストレージ装置１５０と通信する。更に、データ処理装置１４０の場合、通信装置２０５を介して他の装置である解析装置１２０、画像圧縮装置１３０と通信する。
ドライブ装置２０６は記録媒体２３０をセットするためのデバイスである。ここでいう記録媒体２３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２３０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２３０がドライブ装置２０６にセットされ、該記録媒体２３０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
＜解析装置の機能構成＞
次に、解析装置１２０の機能構成について説明する。図３は、解析装置の機能構成の一例を示す図である。上述したように、解析装置１２０には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１２０は、入力部３１０、ＣＮＮ部３２０、量子化値設定部３３０、出力部３４０として機能する。また、解析装置１２０は、重要特徴マップ生成部３５０、集計部３６０、量子化値決定部３７０、前景判定部３８０として機能する。
入力部３１０は、撮像装置１１０より送信される画像データ、または、画像圧縮装置１３０より送信される圧縮データを取得する。入力部３１０は、取得した画像データをＣＮＮ部３２０及び出力部３４０に通知するとともに、不図示の復号部を用いて、取得した圧縮データを復号し、復号データをＣＮＮ部３２０に通知する。
ＣＮＮ部３２０は、学習済みモデルを有し、画像データまたは復号データを入力することで、画像データまたは復号データに含まれる認識対象であるオブジェクトに対して認識処理を行い、認識結果を出力する。なお、認識結果には、認識したオブジェクトの領域を示すバウンディングボックスが含まれ、ＣＮＮ部３２０では、当該バウンディングボックスを前景判定部３８０に通知する。
量子化値設定部３３０は、画像圧縮装置１３０が圧縮処理を行う際に用いる各圧縮レベル（最小の量子化値（初期値）から最大の量子化値までの各量子化値）を設定した各量子化値マップ（可変）を、順次、出力部３４０に通知する。また、量子化値設定部３３０は、設定した各圧縮レベル（各量子化値）を、集計結果格納部３９０に格納する。
出力部３４０は、入力部３１０が取得した画像データを、画像圧縮装置１３０に送信する。また、出力部３４０は、量子化値設定部３３０より通知された各量子化値マップ（可変）を、順次、画像圧縮装置１３０に送信する。更に、出力部３４０は、前景判定部３８０により通知された決定量子化値マップを、画像圧縮装置１３０に送信する。
重要特徴マップ生成部３５０は、学習済みモデルが画像データまたは復号データに対して認識処理を行った際のＣＮＮ部構造情報を取得し、取得したＣＮＮ部構造情報に基づき誤差逆伝播法を利用することで、重要特徴マップを生成する。
重要特徴マップ生成部３５０は、例えば、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法を用いることで、重要特徴マップを生成する。
なお、ＢＰ法は、認識結果が正解ラベルとなる画像データ（または復号データ）に対して認識処理を行うことで得た分類確率から各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
更に、選択的ＢＰ法は、正解ラベルの誤差のみを存在するようにしたうえで、あるいは、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて逆伝播する方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルのスコア情報のみに影響を与える特徴部分となる。
このように、重要特徴マップ生成部３５０では、ＢＰ法、ＧＢＰ法または選択的ＢＰ法を用いることで、画像データまたは復号データが入力されてから認識結果が出力されるまでのＣＮＮ部３２０内の各経路の信号の流れと強度とを解析する。これにより、重要特徴マップ生成部３５０によれば、入力された画像データまたは復号データのどの部分が、認識結果にどの程度影響を及ぼしているか（影響度）を可視化することができる。
なお、ＣＮＮ部３２０として、例えば、ＢＰ法、ＧＢＰ法または選択的ＢＰ法を適用しない（または適用できない）ＡＩが用いられる場合、重要特徴マップ生成部３５０では、同様の情報を解析することにより、重要特徴マップを生成する。
なお、誤差逆伝播法による重要特徴マップの生成方法は、例えば、
「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626」、
等の文献に開示されている。
集計部３６０は、重要特徴マップに基づいて、認識結果への影響度をブロック単位で集計し、ブロックごとの影響度の集計値を算出する。また、集計部３６０は、算出した各ブロックの集計値を量子化値と対応付けて、集計結果として集計結果格納部３９０に格納する。
量子化値決定部３７０は、集計結果格納部３９０に格納された、各ブロックの集計値グラフに基づいて、各ブロックにおける最適な量子化値を決定する。また、量子化値決定部３７０は、決定した最適な量子化値を各ブロックに設定した量子化値マップを前景判定部３８０に通知する。
前景判定部３８０は、ＣＮＮ部３２０より通知されたバウンディングボックスに含まれるブロック及びその外周に位置するブロックのうち、所定の条件を満たすブロックを、前景ブロックと判定する。また、前景判定部３８０は、前景ブロックと判定したブロック以外のブロックを背景ブロックと判定する。また、前景判定部３８０は、各ブロックに設定した量子化値のうち、背景ブロックと判定したブロックに設定した量子化値を、最大化する。
更に、前景判定部３８０は、前景ブロックに設定した量子化値と、背景ブロックに設定した量子化値（最大化された量子化値）とを含む決定量子化値マップを、出力部３４０に通知する。
なお、前景判定部３８０による前景ブロックの判定方法はこれに限定されない。例えば、前景判定部３８０は、ＣＮＮ部３２０より通知されたバウンディングボックスとは無関係に、各ブロックの集計値グラフのみに基づいて、前景ブロックを判定してもよい。具体的には、前景判定部３８０は、集計値グラフが所定の条件を満たすブロックを前景ブロックと判定し、所定の条件を満たさないブロックを背景ブロックと判定してもよい。あるいは、バウンディングボックスとは無関係に他の情報（例えば、クラス分類確率等）を用いて、前景ブロックを判定してもよい。
前景判定部３８０が、いずれの判定方法を用いるかは任意であり、いずれの判定方法を用いた場合であっても、バウンディングボックス内に位置するブロックが背景ブロックと判定されることがありうる。
なお、バウンディングボックスとは無関係に前景ブロックを判定する判定方法を用いる場合、ＣＮＮ部３２０から前景判定部３８０へのバウンディングボックスの通知は省略してもよい。
＜集計結果の具体例＞
次に、集計結果格納部３９０に格納される集計結果の具体例について説明する。図４は、集計結果の具体例を示す図である。このうち、４ａは、画像データ４１０内の各ブロックの配置例を示している。４ａに示すように、本実施形態では説明の簡略化のため、画像データ４１０内の各ブロックは全て同じ大きさ、同じ形状であるとする。また、画像データの左上のブロックのブロック番号を"ブロック１"とし、右下のブロックのブロック番号を"ブロックｍ"とする。
４ｂに示すように、集計結果４２０には、情報の項目として、"ブロック番号"、"量子化値"とが含まれる。
"ブロック番号"には、画像データ４１０内の各ブロックのブロック番号が格納される。"量子化値"には、画像圧縮装置１３０が圧縮処理を行わない場合を示す"圧縮なし"、及び、量子化値設定部３３０が各ブロックに順次設定する、最小の量子化値（"Ｑ１"）から最大の量子化値（"Ｑｎ"）までの各量子化値が格納される。
また、"ブロック番号"と"量子化値"とにより特定される領域には、
・対応する量子化値を用いて画像データ４１０に対して圧縮処理を行い、
・取得した圧縮データを復号した復号データを入力することで、学習済みモデルが認識処理を行い、
・認識処理時に算出された重要特徴マップに基づいて、対応するブロックにおいて集計された、
集計値が格納される。
＜量子化値決定部による処理の具体例＞
次に、量子化値決定部３７０による処理の具体例について説明する。図５は、量子化値決定部による処理の具体例を示す図である。図５において、集計値グラフ５１０＿１～５１０＿ｍは、横軸に量子化値、縦軸に集計値をとり、集計結果４２０に含まれる各ブロックの各量子化値の集計値をそれぞれプロットすることで生成される。
なお、集計値グラフ５１０＿１～５１０＿ｍの生成に用いられる各ブロックの各量子化値の集計値は、例えば、
・全ブロック共通のオフセット値を用いて調整されていてもよい。
・絶対値をとって集計されていてもよい。
・注目されていないブロックの集計値に基づいて、他のブロックの集計値が加工されていてもよい。
集計値グラフ５１０＿１～５１０＿ｍに示すように、最小の量子化値（Ｑ１）から最大の量子化値（Ｑｎ）まで変化させた場合の集計値の変化は、ブロックごとに異なる。量子化値決定部３７０では、例えば、
・集計値の大きさが所定の閾値を超えた場合、あるいは、
・集計値の変化量が所定の閾値を超えた場合、あるいは、
・集計値の傾きが所定の閾値を超えた場合、あるいは、
・集計値の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合に、各ブロックの最適な量子化値を決定し、量子化値マップを生成する。
図５において量子化値マップ５３０は、ブロック１～ブロックｍの最適な量子化値として、Ｂ１Ｑ～ＢｍＱが決定され、対応するブロックにそれぞれ設定される様子を示している。
なお、集計の際に用いるブロックのサイズと圧縮処理に用いるブロックのサイズとは、一致していなくてもよい。その場合、量子化値決定部３７０では、例えば、以下のように量子化値を決定する。
・集計の際のブロックのサイズより、圧縮処理に用いるブロックのサイズの方が大きい場合
圧縮処理に用いるブロックに含まれる、集計の際の各ブロックの集計値に基づく量子化値の平均値（あるいは、最小値、最大値、その他の指標で加工した値）を、圧縮処理に用いる各ブロックの量子化値とする。
・集計の際のブロックのサイズより、圧縮処理に用いるブロックのサイズの方が小さい場合
集計の際のブロックに含まれる、圧縮処理に用いる各ブロックの量子化値として、集計の際のブロックの集計値に基づく量子化値を用いる。
なお、集計値を実際に算出する処理は、１つの量子化値（１つの圧縮レベル）のみに基づいて行ってもよい。その場合、異なる量子化値（異なる圧縮レベル）を仮定して、仮定した量子化値に対応する集計値と実際の量子化値に対応する集計値との差分や変化を測定することで、集計値を算出するものとする。
このとき、仮定した量子化値（異なる圧縮レベル）についての復号データの画質は、実際の量子化値（圧縮レベル）についての復号データの画質より、良くても悪くてもよい。ただし、仮定した量子化値（異なる圧縮レベル）は、集計値の状態を推測しやすい量子化値であることが望ましい。例えば、実際の量子化値に対応する集計値と、圧縮処理を行っていない画像データとを比較する場合、一般的に、圧縮処理を行っていない画像データの集計値の方が、実際の量子化値に対応する集計値よりも小さくなる。
なお、実際の量子化値に対応する集計値は、実際の量子化値を用いて圧縮処理が行われた圧縮データを復号した復号データを用いて算出してもよい。あるいは、同等の効果をもたらす画像処理（例えば、ローパスフィルタ処理など）が施された画像データを用いて算出してもよい。
また、実際の量子化値に対応する集計値は、量子化値の最大値、最小値の範囲で制御可能な画質変化の範囲を超えた操作が行われた画像データを用いて算出してもよい。例えば、動画像符号化処理において指定可能な量子化値の最大値を超えた画像処理が施された画像データを用いて算出してもよい。
また、集計値グラフを評価する際に適用される閾値は、ブロックごとに異なっていても、同じであってもよい。また、集計値グラフを評価する際に適用される閾値は、例えば、認識結果のスコア情報に基づいて調整されていても、調整されていなくてもよい。
また、集計値グラフを評価する際に適用される閾値は、自動的に決定されてもよい。具体的には、認識処理時に取得可能な情報や、画像データから取得可能な情報、あるいは、それらを統計処理した値、あるいは、圧縮データのデータ量やその推移、あるいは、その他の処理に基づいて取得可能な情報により、自動的に決定されてもよい。
＜前景判定部による処理の具体例＞
次に、前景判定部３８０による処理の具体例について説明する。図６は、前景判定部による処理の具体例を示す図である。上述したように、前景判定部３８０には、量子化値決定部３７０より、各ブロックに量子化値が設定された量子化値マップ５３０が通知される。また、前景判定部３８０には、ＣＮＮ部３２０より、オブジェクトの領域を示すバウンディングボックス（図６の例では、バウンディングボックス６１１、６１２）が通知される。
前景判定部３８０では、例えば、バウンディングボックス６１１に含まれるブロックについては前景ブロックと判定する。また、前景判定部３８０では、バウンディングボックス６１１の外周のブロックについては、集計値グラフに基づいて前景ブロックか否かを判定する。
同様に、前景判定部３８０では、例えば、バウンディングボックス６１２に含まれるブロックについては前景ブロックと判定する。また、前景判定部３８０では、バウンディングボックス６１２の外周のブロックについては、集計値グラフに基づいて前景ブロックか否かを判定する。
なお、上述したように前景判定部３８０による前景ブロックか否かの判定方法はこれに限定されず、例えば、集計値グラフのみに基づいて、前景ブロックか否かを判定してもよい。あるいは、ＣＮＮ部３２０より通知される認識結果に含まれる、各ブロックのクラス分類確率に基づいて、前景ブロックか否かを判定してもよい。
前景判定部３８０では、前景ブロックと判定したブロックに設定されている量子化値については、修正を行わない。
一方、前景判定部３８０では、前景ブロック以外のブロックを背景ブロックと判定する。前景判定部３８０では、背景ブロックと判定したブロックに設定されている量子化値を最大化することで、決定量子化値マップを生成する。
図６において、決定量子化値マップ６２０は、前景判定部３８０により生成された決定量子化値マップの一例を示している。決定量子化値マップ６２０に含まれる白色のブロックは、前景判定部３８０により前景ブロックと判定されたブロックであり、量子化値決定部３７０により決定された量子化値が設定されている。
一方、決定量子化値マップ６２０に含まれる網掛けのブロックは、前景判定部３８０により背景ブロックと判定されたブロックであり、最大化された量子化値が設定されている。
＜画像圧縮装置の機能構成＞
次に、画像圧縮装置１３０の機能構成について説明する。図７は、画像圧縮装置の機能構成の一例を示す第１の図である。上述したように、画像圧縮装置１３０には、画像圧縮プログラムがインストールされており、当該プログラムが実行されることで、画像圧縮装置１３０は、符号化部７２０として機能する。
符号化部７２０は、差分部７２１、直交変換部７２２、量子化部７２３、エントロピ符号化部７２４、逆量子化部７２５、逆直交変換部７２６を有する。また、符号化部７２０は、加算部７２７、バッファ部７２８、ループ内フィルタ部７２９、フレームバッファ部７３０、画面内予測部７３１、画面間予測部７３２を有する。
差分部７２１は、画像データ（例えば、画像データ４１０）と予測画像データとの差分を算出し、予測残差信号を出力する。
直交変換部７２２は、差分部７２１により出力された予測残差信号に対して、直交変換処理を実行する。
量子化部７２３は、直交変換処理された予測残差信号を量子化し、量子化信号を生成する。量子化部７２３では、第１のフェーズにあっては解析装置１２０から順次送信される量子化値マップ（可変）を用いて量子化信号を生成し、第２のフェーズにあってはデータ処理装置１４０から送信される補正後決定量子化値マップを用いて量子化信号を生成する。
エントロピ符号化部７２４は、量子化信号に対してエントロピ符号化処理を行うことで、圧縮データを生成する。
逆量子化部７２５は、量子化信号を逆量子化する。逆直交変換部７２６は、逆量子化された量子化信号に対して、逆直交変換処理を実行する。
加算部７２７は、逆直交変換部７２６より出力された信号と、予測画像データとを加算することで、参照画像データを生成する。バッファ部７２８は、加算部７２７により生成された参照画像データを格納する。
ループ内フィルタ部７２９は、バッファ部７２８に格納された参照画像データに対してフィルタ処理を行う。ループ内フィルタ部７２９には、
・デブロッキングフィルタ（Deblocking filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample Adaptive Offset filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive loop filter：ＡＬＦ）、
が含まれる。
フレームバッファ部７３０は、ループ内フィルタ部７２９によりフィルタ処理が行われた参照画像データをフレーム単位で格納する。
画面内予測部７３１は、参照画像データに基づいて画面内予測を行い、予測画像データを生成する。画面間予測部７３２は、入力された画像データ（例えば、画像データ４１０）と参照画像データとを用いてフレーム間で動き補償を行い、予測画像データを生成する。
画面内予測部７３１または画面間予測部７３２により生成された予測画像データは、差分部７２１及び加算部７２７に出力される。
なお、上記説明では、符号化部７２０が、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、ＨＥＶＣなどの既存の動画符号化方式を用いて圧縮処理を行うものとした。しかしながら、符号化部７２０による圧縮処理は、これらの動画符号化方式に限定されず、量子化値等のパラメータにより圧縮率を制御する任意の符号化方式を用いて行われてもよい。
＜データ処理装置の機能構成＞
次に、データ処理装置１４０の機能構成について説明する。図８は、データ処理装置の機能構成の一例を示す第１の図である。上述したように、データ処理装置１４０には、データ処理プログラムがインストールされており、当該プログラムが実行されることで、データ処理装置１４０は、符号化部８１０、復号部８２０、ＣＮＮ部８３０、量子化値補正部８４０として機能する。
符号化部８１０は、解析装置１２０より送信される画像データに対して、解析装置１２０より送信される決定量子化値マップを用いて圧縮処理を行い、圧縮データを生成する。また、符号化部８１０は、量子化値補正部８４０より、決定量子化値マップの前景ブロックの量子化値を増減させるための指示が通知されると、画像データに対して、当該量子化値を増減させた決定量子化値マップを用いて圧縮処理を行い、圧縮データを生成する。
また、符号化部８１０は、量子化値補正部８４０からの指示に基づき、圧縮データを生成するごとに、生成した圧縮データを復号部８２０に通知する。
なお、符号化部８１０の機能は、画像圧縮装置１３０の符号化部７２０の機能と基本的に同じであるため、ここでは、詳細な説明は省略する。
復号部８２０は、符号化部８１０より圧縮データが通知されると、それぞれの圧縮データを復号し、復号データを生成する。また、復号部８２０は、復号データをＣＮＮ部８３０に通知する。
ＣＮＮ部８３０は、学習済みモデルを有し、復号データを入力することで、復号データに含まれる認識対象であるオブジェクトに対して認識処理を行い、認識結果を出力する。また、ＣＮＮ部８３０は、出力した認識結果に含まれるスコア情報を量子化値補正部８４０に通知する。
なお、ＣＮＮ部８３０は、復号部８２０より復号データが通知されるごとに認識処理を行い、スコア情報を量子化値補正部８４０に通知する。
このとき、ＣＮＮ部８３０では、
・符号化部８１０が、決定量子化値マップを用いて圧縮処理を行うことで圧縮データを生成した場合、かつ、
・復号部８２０が、当該圧縮データを復号することで生成した復号データを、ＣＮＮ部８３０に入力した場合、
に認識処理を行うことで出力した認識結果に含まれるスコア情報を、"基準スコア情報"として、量子化値補正部８４０に通知する。
一方、ＣＮＮ部８３０では、
・符号化部８１０が、前景ブロックの量子化値を増減させた決定量子化値マップを用いて圧縮処理を行うことで圧縮データを生成した場合、かつ、
・復号部８２０が、当該圧縮データを復号することで生成した復号データを、ＣＮＮ部８３０に入力した場合、
に認識処理を行うことで出力した認識結果に含まれるスコア情報を、"スコア情報"として、量子化値補正部８４０に通知する。
量子化値補正部８４０は補正部の一例であり、解析装置１２０より通知された決定量子化値マップの各ブロックに設定された量子化値のうち、前景ブロックに設定された量子化値を、所定のきざみ幅で増減させる。
なお、量子化値補正部８４０は、ＣＮＮ部８３０より通知された基準スコア情報が所定の閾値以上である場合には（所定の第１の条件を満たす場合には）、前景ブロックに設定された量子化値を、所定のきざみ幅で増加させる処理を開始する。
量子化値を増加させる処理を開始した場合、量子化値補正部８４０は、ＣＮＮ部８３０より通知されたスコア情報が、基準スコア情報に対して規定した許容範囲内に収まっている間は（所定の第２の条件を満たす間は）、量子化値を増加させる処理を継続する。
あるいは、量子化値補正部８４０は、ＣＮＮ部８３０より通知されたスコア情報が、所定の閾値以上である間は（所定の第１の条件を満たす間は）、量子化値を増加させる処理を継続する。
一方、ＣＮＮ部８３０より通知された基準スコア情報が所定の閾値未満である場合には（所定の第１の条件を満たさない場合には）、量子化値補正部８４０は、前景ブロックに設定された量子化値を、所定のきざみ幅で減少させる処理を開始する。
量子化値を減少させる処理を開始した場合、量子化値補正部８４０は、ＣＮＮ部８３０より通知されたスコア情報が、所定の閾値未満である間は（所定の第１の条件を満たしていない間は）、量子化値を減少させる処理を継続する。
また、量子化値補正部８４０は、量子化値を増加させる処理または量子化値を減少させる処理が完了すると、前景ブロックの量子化値を、完了した時点での量子化値に補正し、補正後決定量子化値マップを、画像圧縮装置１３０に送信する。
なお、上記説明では、量子化値補正部８４０が量子化値を増減させる際のきざみ幅が"１"（または"－１"）であるとした。しかしながら、量子化値補正部８４０により量子化値を増減させる際のきざみ幅は、"１"（または"－１"）であっても、"１"以上（または"－１"以下）であってもよい。
また、上記説明では、量子化値補正部８４０が量子化値を増加させる処理を継続するか否かを判定するにあたり、基準スコア情報に基づいて規定した許容範囲と、スコア情報とを比較するものとして説明した。
しかしながら、量子化値を増加させる処理を継続するか否かの判定方法はこれに限定されない。例えば、ＣＮＮ部８３０より出力される認識結果に含まれるバウンディングボックスに基づいて算出されるＩｏＵ（Intersection over Union）と、予め規定したＩｏＵの許容範囲とを比較してもよい。
なお、量子化値補正部８４０が、量子化値を増加させる処理は、適用する用途や求められる認識精度等に応じて、どの程度厳密に行うかをコントロールできるようにしてもよい。
＜データ処理装置による処理の具体例＞
次に、データ処理装置１４０による処理の具体例について説明する。図９は、データ処理装置による処理の具体例を示す図である。図９において、横軸９００は量子化値を示している。
また、図９において、符号９０１は、前景ブロックに含まれる２４個のブロック（ブロックａ＿１～ブロックａ＿２４）のうち、決定量子化値マップにおいてブロックａ＿１に設定された量子化値を示している。
同様に、図９において、符号９０２は、前景ブロックに含まれる２４個のブロック（ブロックａ＿１～ブロックａ＿２４）のうち、決定量子化値マップにおいてブロックａ＿２４に設定された量子化値を示している。
図９の例によれば、ブロックａ＿１に設定された量子化値は"３３"であり、ブロックａ＿２４に設定された量子化値は"３２"である。また、図９の符号９０３の例によれば、これらの量子化値を用いて圧縮処理を行い、圧縮データを復号した復号データに対して認識処理を行った場合の基準スコア情報が、所定の閾値以上である（所定の第１の条件を満たす）と判定されたことを示している。
更に、図９の例は、量子化値補正部８４０が、きざみ幅＝"１"ずつ量子化値を増加させた結果、量子化値が"４２"のときに、スコア情報が所定の第１または第２の条件を満たさないと判定されたことを示している（符号９０３の右端参照）。
このため、図９の例において、量子化値補正部８４０は、補正後決定量子化値マップ９２０に示すように、ブロックａ＿１の量子化値を"３３"から"４１"に、ブロックａ＿２４の量子化値を"３２"から"４１"に補正している。
同様に、図９において、符号９１１は、前景ブロックに含まれる２４個のブロック（ブロックｂ＿１～ブロックｂ＿２４）のうち、決定量子化値マップにおいてブロックｂ＿１に設定された量子化値を示している。
同様に、図９において、符号９１２は、前景ブロックに含まれる２４個のブロック（ブロックｂ＿１～ブロックｂ＿２４）のうち、決定量子化値マップにおいてブロックｂ＿２４に設定された量子化値を示している。
図９の例によれば、ブロックｂ＿１に設定された量子化値は"２８"であり、ブロックｂ＿２４に設定された量子化値は"２９"である。また、図９の符号９１３の例によれば、これらの量子化値を用いて圧縮処理を行い、圧縮データを復号した復号データに対して認識処理を行った場合の基準スコア情報が、所定の閾値未満である（所定の第１の条件を満たさないと判定されたことを示している。
更に、図９の例は、量子化値補正部８４０が、きざみ幅＝"１"ずつ量子化値を減少させた結果、量子化値が"２０"のときに、スコア情報が所定の第１の条件を満たすと判定されたことを示している（符号９１３左端参照）。
このため、図９の例において、量子化値補正部８４０は、補正後決定量子化値マップ９２０に示すように、ブロックｂ＿１の量子化値を"２８"から"２０"に、ブロックｂ＿２４の量子化値を"２９"から"２０"を補正している。
なお、図９の例では、各ブロックの量子化値を一様に増加させる場合について説明したが、各ブロックの量子化値を増加させる方法はこれに限定されない。例えば、各ブロックの量子化値のうち、最小の量子化値を特定し、特定した最小の量子化値のブロックのみを増加させる処理を、順次実施してもよい。
例えば、ブロックａ＿１０の量子化値が"３０"、ブロックａ＿１１の量子化値が"３２"、ブロックａ＿１２の量子化値が"３６"であったとする。この場合、図９の例では、（３１、３３、３７）、（３２、３４、３８）、・・・と増加させることになるが、上記の増加方法によれば、（３１、３２、３６）、（３２、３２、３６）、（３３、３３、３６）、・・・と増加させることになる。
また、基準スコア情報をオブジェクトごとに規定しておき、各オブジェクトの認識結果に基づいて、量子化値を補正してもよい。
例えば、各ブロックの量子化値を一様に増加させ、オブジェクトＡ及びオブジェクトＢについて認識処理を行った場合において、
・オブジェクトＡに含まれるブロックの量子化値が"４０"の場合、オブジェクトＡを認識できたが、量子化値が"４１"以上の場合には、オブジェクトＡを認識できなかった、
・オブジェクトＢに含まれるブロックの量子化値が"３０"の場合、オブジェクトＢを認識できたが、量子化値が"３１"以上の場合にはオブジェクトＢを認識できなかった、
とする。
このような場合、オブジェクトＡに含まれるブロックの量子化値は"４０"に、オブジェクトＢに含まれるブロックの量子化値は"３０"に、それぞれ補正する。
ただし、オブジェクトごとに個別に量子化値を補正した場合、画像データ全体の整合性が合わなくなり、認識できないオブジェクトが発生する可能性がある。このような場合には、全てのオブジェクトを認識できる量子化値の論理積条件の最大値を用いて補正してもよい。
あるいは、オブジェクトＢに含まれるブロックの量子化値については、探索終了条件を満たした時点の量子化値で固定し、オブジェクトＡに含まれるブロックの量子化値については、探索終了条件を満たすまで、量子化値を継続して増加させてもよい。
＜圧縮処理システムによる画像圧縮処理の流れ＞
次に、圧縮処理システム１００による画像圧縮処理の流れについて説明する。図１０は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第１のフローチャートである。
ステップＳ１００１において、解析装置１２０の入力部３１０は画像データを取得し、ステップＳ１００２において、解析装置１２０のＣＮＮ部３２０は、取得された画像データに対して認識処理を行い、認識結果を出力する。
ステップＳ１００３において、解析装置１２０の量子化値設定部３３０は、最小の量子化値（Ｑ１）から最大の量子化値（Ｑｎ）までの各量子化値を順次設定し、出力部３４０は各量子化値マップ（可変）を、画像圧縮装置１３０に送信する。また、画像圧縮装置１３０は、送信された各量子化値マップ（可変）を用いて画像データに対して圧縮処理を行い、各圧縮データを生成する。
ステップＳ１００４において、解析装置１２０の入力部３１０は、画像圧縮装置１３０により生成された各圧縮データを復号する。また、解析装置１２０のＣＮＮ部３２０は、各復号データに対して認識処理を行う。更に、解析装置１２０の重要特徴マップ生成部３５０は、ＣＮＮ部構造情報に基づいて、復号データの各領域の認識結果への影響度を示す各重要特徴マップを生成する。
ステップＳ１００５において、解析装置１２０の集計部３６０は、各重要特徴マップについて、各領域の影響度をブロック単位で集計する。また、解析装置１２０の集計部３６０は、集計結果を、各圧縮レベル（量子化値）と対応付けて、集計結果格納部３９０に格納する。
ステップＳ１００６において、解析装置１２０の量子化値決定部３７０は、各ブロックの集計値グラフに基づいて、ブロック単位で量子化値を決定し、量子化値マップを生成する。
ステップＳ１００７において、解析装置１２０の前景判定部３８０は、生成された量子化値マップのうち、背景ブロックに設定された量子化値を最大化し、決定量子化値マップを生成する。
ステップＳ１００８において、データ処理装置１４０は、決定量子化値マップの各ブロックに設定された量子化値のうち、前景ブロックに設定された量子化値を増減させながら、認識処理を行う。
ステップＳ１００９において、データ処理装置１４０は、認識結果に基づいて決定量子化値マップの前景ブロックに設定された量子化値を補正し、補正後決定量子化値マップを生成する。
ステップＳ１０１０において、画像圧縮装置１３０は、補正後決定量子化値マップを用いて、画像データに対して圧縮処理を行い、圧縮データをストレージ装置１５０に格納する。
以上の説明から明らかなように、第１の実施形態に係るデータ処理装置は、画像データに対して認識処理が行われた際の、各ブロックの認識結果への影響度に基づいて決定量子化値マップが生成された場合において、該決定量子化値マップを用いて圧縮処理を行う。
また、第１の実施形態に係るデータ処理装置は、圧縮データを復号した復号データに対して認識処理を行った場合の認識結果が、所定の条件を満たす場合に、認識対象に対応する前景ブロックについて、圧縮レベル（量子化値）を上げる方向に補正する。
このように、第１の実施形態に係るデータ処理装置は、認識結果への影響度に基づいて決定された量子化値を、認識結果に基づいて上げる方向に補正する。これにより、第１の実施形態によれば、認識精度を維持しつつ圧縮レベルを向上させることができる。つまり、第１の実施形態によれば、ＡＩによる認識処理に適した圧縮処理を実現することができる。
［第２の実施形態］
上記第１の実施形態では、認識結果への影響度に基づいて決定された量子化値を、認識結果に基づいて補正することで、認識精度を維持しつつ圧縮レベルを向上させるケースについて説明した。しかしながら、画像データによっては、圧縮処理を行わない状態で、既に認識精度が低い画像データも存在しうる。
そこで、第２の実施形態では、このような画像データについて、まず、画像データ自体を変更することで、認識精度を向上させる。続いて、変更後の画像データについて、認識結果への影響度に基づいて量子化値を決定し、決定した量子化値を用いて圧縮処理を行う。
これにより、第２の実施形態によれば、当該画像データについて、認識精度を向上させつつ、圧縮レベルを向上させることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜圧縮処理システムのシステム構成＞
はじめに、第２の実施形態に係るデータ処理装置を含む、圧縮処理システム全体のシステム構成について説明する。図１１は、圧縮処理システムのシステム構成の一例を示す第２の図である。第２の実施形態において、圧縮処理システム１１００が実行する処理は、
・画像データを変更する第１のフェーズと、
・変更後の画像データに基づいて決定量子化値マップを生成し、生成した決定量子化値マップを用いて圧縮処理を行うことで、圧縮データを格納する第２のフェーズと
に大別することができる。
図１１において、１１ａは、第１のフェーズにおける圧縮処理システム１１００のシステム構成を示しており、１１ｂは、第２のフェーズにおける圧縮処理システム１１００のシステム構成を示している。
図１１の１１ａに示すように、第１のフェーズにおける圧縮処理システム１１００には、撮像装置１１０、データ処理装置１１１０が含まれる。このうち、撮像装置１１０による処理は、上記第１の実施形態において図１の１ａを用いて説明した撮像装置１１０による処理と同様であるため、ここでは説明を省略する。
データ処理装置１１１０は、撮像装置１１０より送信される画像データに対して認識処理を行う。また、データ処理装置１１１０は、認識結果に含まれるスコア情報が、所定の条件を満たすか否かを判定し、満たさないと判定した場合に、スコア情報を最大化するように、画像データを変更し、変更後の画像データを解析装置１２０に送信する。
なお、データ処理装置１１１０は、認識結果に含まれるスコア情報が、所定の条件を満たすと判定した場合には、画像データを変更せず、解析装置１２０に送信する。
一方、図１１の１１ｂに示すように、第２のフェーズにおける圧縮処理システム１１００には、解析装置１２０、画像圧縮装置１３０、ストレージ装置１５０が含まれる。
解析装置１２０は、認識処理を行う学習済みモデルを有する。解析装置１２０は、画像データまたは変更後の画像データを学習済みモデルに入力することで認識処理を行い、認識結果を出力する。また、解析装置１２０は、画像圧縮装置１３０が画像データまたは変更後の画像データに対して異なる圧縮レベル（量子化値）で圧縮処理を行うことで出力した各圧縮データを取得し、各圧縮データを復号することで、各復号データを生成する。更に、解析装置１２０は、各復号データを学習済みモデルに入力することで認識処理を行い、認識結果を出力する。
また、解析装置１２０は、例えば、誤差逆伝播法を用いて認識処理時の学習済みモデルの動作解析を行うことで、重要特徴マップを生成する。更に、解析装置１２０は、重要特徴マップに基づいて、ブロックごとに影響度を集計する。
なお、解析装置１２０では、各ブロックに量子化値を設定した量子化値マップ（可変）を、順次、画像圧縮装置１３０に送信することで、異なる圧縮レベル（量子化値）での圧縮処理を、画像圧縮装置１３０に指示する。
また、解析装置１２０は、各復号データに対して認識処理を行うごとに算出した各ブロックの影響度の集計値に基づき、ブロックごとに集計値グラフを生成する。また、解析装置１２０は、ブロックごとの集計値グラフそれぞれに基づいて、各ブロックの最適な圧縮レベル（量子化値）を決定し、決定量子化値マップを生成する。
画像圧縮装置１３０は、生成された決定量子化値マップを用いて画像データまたは変更後の画像データに対して圧縮処理を行い、圧縮データをストレージ装置１５０に格納する。
＜データ処理装置の機能構成＞
次に、データ処理装置１１１０の機能構成について説明する。図１２は、データ処理装置の機能構成の一例を示す第２の図である。上記第１の実施形態同様、データ処理装置１１１０には、データ処理プログラムがインストールされており、当該プログラムが実行されることで、データ処理装置１１１０は、ＣＮＮ部１２１０、判定部１２２０として機能する。また、データ処理装置１１１０は、解析部１２３０、画像データ変更部１２４０として機能する。
ＣＮＮ部１２１０は、学習済みモデルを有し、画像データを入力することで、画像データに含まれる認識対象であるオブジェクトに対して認識処理を行い、認識結果を出力する。
判定部１２２０は、ＣＮＮ部１２１０より出力された認識結果に含まれるスコア情報（画像データの認識精度に関わる情報の一例）が所定の条件を満たすか否かを判定する（例えば、所定の閾値以上であるか否かを判定する）。認識結果に含まれるスコア情報が所定の条件を満たすと判定した場合、判定部１２２０は、判定結果を画像データ変更部１２４０に通知する。一方、認識結果に含まれるスコア情報が所定の条件を満たさないと判定した場合、判定部１２２０は、判定結果を解析部１２３０に通知する。
解析部１２３０は、判定部１２２０より判定結果が通知されると、画像データを取得し、取得した画像データを解析する。また、解析部１２３０は、画像データを解析することで生成した、スコア情報を最大化するための変更情報を、画像データ変更部１２４０に通知する。あるいは、解析部１２３０は、画像データを解析することで生成した、スコア情報を最大化するための画像データ（変更後の画像データ）を、画像データ変更部１２４０に通知する。
画像データ変更部１２４０は変更部の一例である。画像データ変更部１２４０は、判定部１２２０より判定結果が通知された場合、画像データを変更することなく、解析装置１２０に送信する。
また、画像データ変更部１２４０は、解析部１２３０より変更情報が通知された場合、通知された変更情報に基づいて画像データを変更し、変更後の画像データを、解析装置１２０に送信する。あるいは、画像データ変更部１２４０は、解析部１２３０より変更後の画像データが通知された場合、当該変更後の画像データを、解析装置１２０に送信する。
＜解析部の処理の具体例（１）＞
次に、データ処理装置１１１０の解析部１２３０による処理の具体例について説明する。図１３は、解析部による処理の具体例を示す第１の図である。図１３に示すように、解析部１２３０は、例えば、リファイン画像生成部１３１０と、重要特徴指標マップ生成部１３２０と、特定部１３４０と、詳細解析部１３５０とを有する。
また、リファイン画像生成部１３１０は、画像リファイナ部１３１１、画像誤差演算部１３１２、推論部１３１３、スコア誤差演算部１３１４を有する。
画像リファイナ部１３１１は、例えば、画像データの生成モデルとしてＣＮＮを用いて学習を行うことで、画像データからリファイン画像データを生成する。
なお、画像リファイナ部１３１１は、生成したリファイン画像データを用いて推論部１３１３が認識処理を行った際に、正解ラベルのスコア情報が最大化するように、画像データを変更する。また、画像リファイナ部１３１１は、例えば、画像データからの変更量（リファイン画像データと画像データとの差分）が小さくなるように、リファイン画像データを生成する。これにより、画像リファイナ部１３１１によれば、視覚的に変更前の画像データに近いリファイン画像データを得ることができる。
具体的には、画像リファイナ部１３１１では、
・生成したリファイン画像データを用いて認識処理を行った際のスコア情報と、正解ラベルのスコア情報を最大化したスコア情報との誤差（スコア誤差）と、
・生成したリファイン画像データと画像データとの差分である画像差分値と、
を最小化するようにＣＮＮの学習を行う。
画像誤差演算部１３１２は、画像データと、ＣＮＮの学習中に画像リファイナ部１３１１より出力されるリファイン画像データとの差分を算出し、画像差分値を、画像リファイナ部１３１１に入力する。画像誤差演算部１３１２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部１３１１に入力する。
推論部１３１３は、画像リファイナ部１３１１により生成されたリファイン画像データを入力として認識処理を行い、スコア情報を出力する、学習済みのＣＮＮを有する。なお、推論部１３１３により出力されたスコア情報は、スコア誤差演算部１３１４に通知される。
スコア誤差演算部１３１４は、推論部１３１３により通知されたスコア情報と、正解ラベルのスコア情報を最大化したスコア情報との誤差を算出し、画像リファイナ部１３１１にスコア誤差を通知する。スコア誤差演算部１３１４により通知されたスコア誤差は、画像リファイナ部１３１１においてＣＮＮの学習に用いられる。
なお、画像リファイナ部１３１１が有するＣＮＮの学習中に画像リファイナ部１３１１から出力されるリファイン画像は、リファイン画像格納部１３１５に格納される。画像リファイナ部１３１１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコア情報が所定の閾値を超えるまで、あるいは、
・正解ラベルのスコア情報が所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、推論部１３１３より出力される正解ラベルのスコア情報が最大化した際のリファイン画像データを、以下では、"スコア最大化リファイン画像データ"と称す。
続いて、重要特徴指標マップ生成部１３２０の詳細について説明する。図１３に示すように、重要特徴指標マップ生成部１３２０は、重要特徴マップ生成部１３２１、劣化尺度マップ生成部１３２２、重畳部１３２３を有する。
重要特徴マップ生成部１３２１は、推論部１３１３がスコア最大化リファイン画像データを入力として認識処理を行った際の推論部構造情報を、推論部１３１３より取得する。また、重要特徴マップ生成部１３２１は、ＢＰ法、ＧＢＰ法または選択的ＢＰ法を用いることで、推論部構造情報に基づいて重要特徴マップを生成する。
劣化尺度マップ生成部１３２２は、画像データとスコア最大化リファイン画像データとに基づいて、"劣化尺度マップ"を生成する。劣化尺度マップとは、画像データからスコア最大化リファイン画像データに変更した際の変更部分と各変更部分の変更度合いとを示したマップである。
重畳部１３２３は、重要特徴マップ生成部１３２１において生成された重要特徴マップと、劣化尺度マップ生成部１３２２において生成された劣化尺度マップとを重畳することで、重要特徴指標マップ１３３０を生成する。重要特徴指標マップ１３３０は、画像データの各領域の認識結果への影響度を可視化したマップである。
特定部１３４０は、画像データを、例えばスーパーピクセル単位で分割し、重要特徴指標マップ１３３０を、スーパーピクセル単位で集計する。また、特定部１３４０は、集計結果に基づいて、画像データを変更するスーパーピクセルを特定する。更に、特定部１３４０は、重要特徴指標マップ１３３０のうち、特定したスーパーピクセルに含まれる重要特徴指標マップ１３３０を、誤認識の原因領域として、詳細解析部１３５０に通知する。
詳細解析部１３５０は、特定部１３４０により生成された原因領域に基づいて、画像データを変更するための変更情報を画素単位で生成し、画像データ変更部１２４０に通知する。
これにより、画像データ変更部１２４０では、変更情報に基づいて画像データを画素単位で変更し、変更後の画像データを解析装置１２０に送信する。
＜解析部の処理の具体例（２）＞
次に、データ処理装置１１１０の解析部１２３０による処理の他の具体例について説明する。図１４は、解析部による処理の具体例を示す第２の図である。図１４に示すように、解析部１２３０は、例えば、リファイン画像生成部１３１０を有する。
リファイン画像生成部１３１０は、画像リファイナ部１３１１、画像誤差演算部１３１２、推論部１３１３、スコア誤差演算部１３１４を有する。なお、リファイン画像生成部１３１０が有する各部の機能は、図１３で示したリファイン画像生成部１３１０が有する各部の機能と同じである。ただし、図１４の場合、リファイン画像格納部１３１５に格納されたスコア最大化リファイン画像が、変更後画像データとして画像データ変更部１２４０によって読み出される。
これにより、画像データ変更部１２４０では、リファイン画像格納部１３１５より読み出したスコア最大化リファイン画像を、変更後画像データとして、解析装置１２０に送信する。
＜圧縮処理システムによる画像圧縮処理の流れ＞
次に、圧縮処理システム１１００による画像圧縮処理の流れについて説明する。図１５は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第２のフローチャートである。
ステップＳ１５０１において、データ処理装置１１１０のＣＮＮ部１２１０は、撮像装置１１０より画像データを取得する。
ステップＳ１５０２において、データ処理装置１１１０のＣＮＮ部１２１０は、取得した画像データに対して認識処理を行い、認識結果を出力する。
ステップＳ１５０３において、データ処理装置１１１０の判定部１２２０は、認識結果に含まれるスコア情報が、所定の条件を満たすか否かを判定することで、画像データの変更が必要か否かを判定する。ステップＳ１５０３において所定の条件を満たさないと判定した場合には（ステップＳ１５０３においてＹｅｓの場合には）、画像データの変更が必要であると判定し、ステップＳ１５０４に進む。
ステップＳ１５０４において、データ処理装置１１１０の解析部１２３０は、スコア情報が最大化するように画像データを変更するための変更情報を生成する。また、データ処理装置１１１０の画像データ変更部１２４０は、生成された変更情報に基づいて画像データを変更し、変更後画像データを解析装置１２０に送信する。
あるいは、データ処理装置１１１０の解析部１２３０は、スコア情報が最大化するように画像データを変更することでスコア最大化リファイン画像を生成し、画像データ変更部１２４０に通知する。また、データ処理装置１１１０の画像データ変更部１２４０は、スコア最大化リファイン画像を、変更後画像データとして解析装置１２０に送信する。
一方、ステップＳ１５０３において所定の条件を満たすと判定した場合には（ステップＳ１５０３においてＮｏの場合には）、画像データの変更が必要でないと判定し、画像データを変更することなく、解析装置１２０に送信する。
ステップＳ１５０５において、解析装置１２０のＣＮＮ部３２０は、画像データ変更部１２４０より送信された変更後画像データ（または画像データ）に対して認識処理を行い、認識結果を出力する。
ステップＳ１５０６において、解析装置１２０の量子化値設定部３３０は、最小の量子化値（Ｑ１）から最大の量子化値（Ｑｎ）までの各量子化値を順次設定し、出力部３４０は各量子化値マップ（可変）を、画像圧縮装置１３０に送信する。また、画像圧縮装置１３０は、送信された各量子化値マップ（可変）を用いて画像データに対して圧縮処理を行い、各圧縮データを生成する。
ステップＳ１５０７において、解析装置１２０の入力部３１０は、画像圧縮装置１３０により生成された各圧縮データを復号する。また、解析装置１２０のＣＮＮ部３２０は、各復号データに対して認識処理を行う。更に、解析装置１２０の重要特徴マップ生成部３５０は、ＣＮＮ部構造情報に基づいて、復号データの各領域の認識結果への影響度を示す各重要特徴マップを生成する。
ステップＳ１５０８において、解析装置１２０の集計部３６０は、各重要特徴マップについて、各領域の影響度をブロック単位で集計する。また、解析装置１２０の集計部３６０は、集計結果を、各圧縮レベル（各量子化値）と対応付けて、集計結果格納部３９０に格納する。
ステップＳ１５０９において、解析装置１２０の量子化値決定部３７０は、各ブロックの集計値グラフに基づいて、ブロック単位で量子化値を決定し、量子化値マップを生成する。
ステップＳ１５１０において、解析装置１２０の前景判定部３８０は、生成された量子化値マップのうち、背景ブロックに設定された量子化値を最大化し、決定量子化値マップを生成する。
ステップＳ１５１１において、画像圧縮装置１３０は、決定量子化値マップを用いて、変更後画像データ（または画像データ）に対して圧縮処理を行い、圧縮データをストレージ装置１５０に格納する。
以上の説明から明らかなように、第２の実施形態に係るデータ処理装置は、撮像装置１１０より取得した画像データに対して認識処理を行い、スコア情報が所定の条件を満たすか否かを判定する。また、第２の実施形態に係るデータ処理装置は、所定の条件を満たさないと判定した場合に、スコア情報が最大化するように画像データを変更する。
このように、画像データ自体を変更することで、第２の実施形態によれば、認識精度が低い画像データが取得された場合であっても、認識精度を向上させることができる。
また、変更後の画像データに基づいて決定量子化値マップを生成するため、第２の実施形態によれば、高い量子化値が設定された決定量子化値マップを生成することができる。
これにより、第２の実施形態によれば、認識精度を向上させつつ、圧縮レベルを向上させることができる。つまり、第２の実施形態に係るデータ処理装置によれば、ＡＩによる認識処理に適した圧縮処理を実現することができる。
［第３の実施形態］
上記第２の実施形態では、認識精度が低い画像データが入力された場合に、はじめに画像データを変更することで、認識精度を向上させつつ、圧縮レベルを向上させるケースについて説明した。
これに対して、第３の実施形態では、決定量子化値マップを生成する際の、量子化値を増加させていく過程で、画像データの変更が必要か否かを判定し、画像データの変更が必要であると判定した場合に、画像データを変更する。
これにより、第３の実施形態によれば、第２の実施形態同様、認識精度を向上させつつ、圧縮レベルを向上させることができる。以下、第３の実施形態について、上記第２の実施形態との相違点を中心に説明する。
＜圧縮処理システムのシステム構成＞
はじめに、第３の実施形態に係るデータ処理装置を含む、圧縮処理システム全体のシステム構成について説明する。図１６及び図１７は、圧縮処理システムのシステム構成の一例を示す第３及び第４の図である。第３の実施形態において、圧縮処理システムが実行する処理は、
・決定量子化値マップを生成するために、異なる圧縮レベル（量子化値）で圧縮処理を行うとともに、集計値グラフを監視する第１のフェーズと、
・集計値グラフに基づき、画像データの変更が必要であると判定した場合に、画像データを変更し、変更後の画像データに対して、同様の処理を行う第２のフェーズと、
・決定量子化値マップを生成し、生成した決定量子化値マップを用いて、変更後の画像データに対して圧縮処理を行うことで、圧縮データを格納する第３のフェーズと、
に大別することができる。
図１６において、１６ａは、第１のフェーズにおける圧縮処理システム１６００のシステム構成を示しており、１６ｂは、第２のフェーズにおける圧縮処理システム１６００のシステム構成を示している。また、図１７は、第３のフェーズにおける圧縮処理システム１６００のシステム構成を示している。
図１６の１６ａに示すように、第１のフェーズにおける圧縮処理システム１６００には、撮像装置１１０、解析装置１２０、データ処理装置１６１０、画像圧縮装置１３０が含まれる。このうち、撮像装置１１０、画像圧縮装置１３０による処理は、上記第２の実施形態において図１１の１１ａまたは１１ｂを用いて説明した撮像装置１１０、画像圧縮装置１３０による処理と同様であるため、ここでは説明を省略する。
解析装置１２０は、認識処理を行う学習済みモデルを有する。解析装置１２０は、画像データを学習済みモデルに入力することで認識処理を行い、認識結果を出力する。また、解析装置１２０は、画像圧縮装置１３０が画像データに対して異なる圧縮レベル（量子化値）で圧縮処理を行うことで出力した各圧縮データを取得し、各圧縮データを復号することで、各復号データを生成する。更に、解析装置１２０は、各復号データを学習済みモデルに入力することで認識処理を行い、認識結果を出力する。
また、解析装置１２０は、例えば、誤差逆伝播法を用いて認識処理時の学習済みモデルの動作解析を行うことで、重要特徴マップを生成し、ブロックごとに影響度を集計する。
なお、解析装置１２０では、各ブロックに量子化値を設定した量子化値マップ（可変）を、順次、画像圧縮装置１３０に送信することで、異なる圧縮レベル（量子化値）での圧縮処理を、画像圧縮装置１３０に指示する。
また、解析装置１２０は、各復号データに対して認識処理を行うごとに集計した各ブロックの影響度の集計値に基づき、ブロックごとに集計値グラフを生成する。また、解析装置１２０は、ブロックごとの集計値グラフそれぞれを、集計値を更新するごとにデータ処理装置１６１０に送信する。
データ処理装置１６１０は、解析装置１２０よりブロックごとに送信される集計値グラフを監視し、画像データの変更が必要か否かを判定する（例えば、集計値グラフの集計値の大きさが所定の閾値を超えた場合、画像データの変更が必要であると判定する）。データ処理装置１６１０は、画像データの変更が必要でないと判定した場合、画像データを変更することなく、画像圧縮装置１３０に送信する。
一方、図１６の１６ｂに示すように、第２のフェーズにおける圧縮処理システム１６００には、撮像装置１１０、解析装置１２０、データ処理装置１６１０、画像圧縮装置１３０が含まれる。このうち、撮像装置１１０、画像圧縮装置１３０による処理は、上記第２の実施形態において図１１の１１ａまたは１１ｂを用いて説明した撮像装置１１０、画像圧縮装置１３０による処理と同様であるため、ここでは説明を省略する。また、解析装置１２０による処理は、上記第１のフェーズにおける解析装置１２０による処理と同じであるため、ここでは説明を省略する。
第２のフェーズにおいてデータ処理装置１６１０は、解析装置１２０よりブロックごとに送信される集計値グラフを監視し、画像データの変更が必要か否かを判定する。
また、データ処理装置１６１０は、画像データの変更が必要であると判定した場合、画像データを変更し、変更後の画像データを画像圧縮装置１３０に送信する。
更に、図１７に示すように、第３のフェーズにおける圧縮処理システム１６００には、解析装置１２０、データ処理装置１６１０、画像圧縮装置１３０が含まれる。
解析装置１２０は、生成した集計値グラフに基づいて、各ブロックの最適な圧縮レベル（量子化値）を決定し、決定量子化値マップを生成する。また、解析装置１２０は、生成した決定量子化値マップを画像圧縮装置１３０に送信する。
データ処理装置１６１０は、変更後画像データを画像圧縮装置１３０に送信する。
画像圧縮装置１３０は、決定量子化値マップを用いて変更後の画像データに対して圧縮処理を行い、圧縮データをストレージ装置１５０に格納する。
＜データ処理装置の機能構成＞
次に、データ処理装置１６１０の機能構成について説明する。図１８は、データ処理装置の機能構成の一例を示す第３の図である。上記第２の実施形態同様、データ処理装置１６１０には、データ処理プログラムがインストールされており、当該プログラムが実行されることで、データ処理装置１６１０は、入力部１８１０、判定部１８２０として機能する。また、データ処理装置１６１０は、解析部１２３０、画像データ変更部１２４０として機能する。
このうち、解析部１２３０、画像データ変更部１２４０の処理は、図１２のデータ処理装置１１１０の解析部１２３０、画像データ変更部１２４０の処理と同様であるため、ここでは説明を省略する。
入力部１８１０は、解析装置１２０より画像データを取得する。また、入力部１８１０は、判定部１８２０から、画像データの変更が必要であるとの判定結果が通知された場合、取得した画像データを、解析部１２３０と画像データ変更部１２４０とに通知する。この場合、画像データ変更部１２４０は、変更情報に基づいて画像データを変更し、変更後画像データを画像圧縮装置１３０に送信する。
また、入力部１８１０は、判定部１８２０から、画像データの変更が必要でないとの判定結果が通知された場合、取得した画像データを、画像データ変更部１２４０に通知する。この場合、画像データ変更部１２４０は、画像データを変更することなく画像圧縮装置１３０に送信する。
判定部１８２０は、解析装置１２０より送信される各ブロックの集計値グラフ（画像データの認識精度に関わる情報の一例）を監視し、画像データの変更が必要か否かを判定する。画像データの変更が必要であると判定した場合、判定部１８２０は、判定結果を入力部１８１０に通知する。一方、画像データの変更が必要でないと判定した場合、判定部１８２０は、判定結果を入力部１８１０に通知する。
＜圧縮処理システムによる画像圧縮処理の流れ＞
次に、圧縮処理システム１６００による画像圧縮処理の流れについて説明する。図１９は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第３のフローチャートである。
ステップＳ１９０１において、解析装置１２０の入力部３１０は、画像データを取得する。
ステップＳ１９０２において、解析装置１２０の量子化値設定部３３０は、最小の量子化値（Ｑ１）を設定した量子化値マップ（可変）を、画像圧縮装置１３０に送信する。
ステップＳ１９０３において、画像圧縮装置１３０は、送信された量子化値マップ（可変）を用いて画像データに対して圧縮処理を行い、圧縮データを生成する。
ステップＳ１９０４において、解析装置１２０の入力部３１０は、生成された圧縮データを復号する。また、解析装置１２０のＣＮＮ部３２０は、復号データに対して認識処理を行う。
ステップＳ１９０５において、解析装置１２０の重要特徴マップ生成部３５０は、ＣＮＮ部構造情報に基づいて、各領域の認識結果への影響度を示す重要特徴マップを生成する。
ステップＳ１９０６において、解析装置１２０の集計部３６０は、重要特徴マップに基づいて、各領域の影響度をブロック単位で集計する。また、解析装置１２０の集計部３６０は、集計結果を、現在の圧縮レベル（量子化値）と対応付けて、集計結果格納部３９０に格納するとともに、集計値グラフをデータ処理装置１６１０に送信する。
ステップＳ１９０７において、データ処理装置１６１０の判定部１８２０は、解析装置１２０より送信される各ブロックの集計値グラフを監視し、画像データの変更が必要か否かを判定する。
ステップＳ１９０７において画像データの変更が必要であると判定した場合（ステップＳ１９０７においてＹｅｓ）、判定結果を入力部１８１０に通知し、ステップＳ１９０８に進む。
ステップＳ１９０８において、データ処理装置１６１０の入力部１８１０は、画像データを解析部１２３０及び画像データ変更部１２４０に通知し、解析部１２３０は、変更情報を画像データ変更部１２４０に通知する。また、画像データ変更部１２４０は、変更情報に基づいて画像データを変更し、変更後の画像データを画像圧縮装置１３０に送信する。
あるいは、データ処理装置１６１０の入力部１８１０は、画像データを解析部１２３０に通知し、解析部１２３０は、スコア最大化リファイン画像を画像データ変更部１２４０に通知する。また、画像データ変更部１２４０は、スコア最大化リファイン画像を変更後の画像データとして、画像圧縮装置１３０に送信する。
一方、ステップＳ１９０７において画像データの変更が必要でないと判定した場合（ステップＳ１９０７においてＮｏの場合）、判定結果を入力部１８１０に通知する。この場合、データ処理装置１６１０の入力部１８１０は、画像データを画像データ変更部１２４０に通知し、画像データ変更部１２４０は、画像データを変更することなく、画像圧縮装置１３０に送信する。
ステップＳ１９０９において、解析装置１２０の量子化値設定部３３０は、次の量子化値を設定するか否かを判定し、次の量子化値を設定すると判定した場合には（ステップＳ１９０９においてＹｅｓ）、ステップＳ１９１０に進む。
ステップＳ１９１０において、解析装置１２０の量子化値設定部３３０は、次の量子化値を設定した量子化値マップ（可変）を、画像圧縮装置１３０に送信した後、ステップＳ１９０３に戻る。
一方、ステップＳ１９０９において、次の量子化値を設定しないと判定した場合には（ステップＳ１９０９においてＮｏの場合には）、ステップＳ１９１１に進む。
ステップＳ１９１１において、解析装置１２０の量子化値決定部３７０は、集計結果格納部３９０より読み出した集計値グラフに基づいて、ブロック単位で量子化値を決定し、量子化値マップを生成する。
ステップＳ１９１２において、解析装置１２０の前景判定部３８０は、生成された量子化値マップのうち、背景ブロックに設定された量子化値を最大化し、決定量子化値マップを生成する。
ステップＳ１９１３において、画像圧縮装置１３０は、決定量子化値マップを用いて、変更後画像データに対して圧縮処理を行い、圧縮データをストレージ装置１５０に格納する。
以上の説明から明らかなように、第３の実施形態に係るデータ処理装置は、決定量子化値マップを生成する際の、量子化値を増加させていく過程で、各ブロックの集計値グラフを監視することで、画像データの変更が必要か否かを判定する。また、第３の実施形態に係るデータ処理装置は、画像データの変更が必要であると判定した場合に、スコア情報が最大化するように画像データを変更する。
このように、第２の実施形態同様、画像データ自体を変更することで、第３の実施形態によれば、認識精度が低い画像データが取得された場合であっても、認識精度を向上させることができる。
また、変更後の画像データに基づいて決定量子化値マップを生成するため、第３の実施形態によれば、高い量子化値が設定された決定量子化値マップを生成することができる。
これにより、第３の実施形態によれば、第２の実施形態同様、認識精度を向上させつつ、圧縮レベルを向上させることができる。つまり、第３の実施形態に係るデータ処理装置によれば、ＡＩによる画像認識処理に適した圧縮処理を実現することができる。
［第４の実施形態］
上記第３の実施形態では、決定量子化値マップを生成するにあたり、各ブロックの集計値グラフを監視することで、画像データの変更が必要であるか否かを判定するケースについて説明した。
これに対して、第４の実施形態では、生成した決定量子化値マップを用いて圧縮処理を行った後の圧縮データについて認識精度を確認することで、画像データの変更が必要であるか否かを判定する。
これにより、第４の実施形態によれば、第３の実施形態同様、認識精度を向上させつつ、圧縮レベルを向上させることができる。以下、第４の実施形態について、上記各実施形態との相違点を中心に説明する。
＜圧縮処理システムのシステム構成＞
はじめに、第４の実施形態に係るデータ処理装置を含む、圧縮処理システム全体のシステム構成について説明する。図２０及び図２１は、圧縮処理システムのシステム構成の一例を示す第４及び第５の図である。第４の実施形態において、圧縮処理システムが実行する処理は、
・決定量子化値マップを生成し、生成した決定量子化値マップを用いて圧縮処理を行う第１のフェーズと、
・圧縮データについて認識精度を確認し、画像データを変更する第２のフェーズと、
・変更後の画像データに対して圧縮処理を行い、圧縮データを格納する第３のフェーズと
に大別することができる。
図２０において、２０ａは、第１のフェーズにおける圧縮処理システム２０００のシステム構成を示しており、２０ｂは、第２のフェーズにおける圧縮処理システムのシステム構成を示している。また、図２１は、第３のフェーズにおける圧縮処理システムのシステム構成を示している。
図２０の２０ａに示すように、第１のフェーズにおける圧縮処理システム２０００には、撮像装置１１０、解析装置１２０、画像圧縮装置１３０が含まれる。なお、第１のフェーズにおける撮像装置１１０による処理は、上記第１の実施形態において図１の１ａを用いて説明した撮像装置１１０による処理と同じであるため、ここでは説明を省略する。
また、第１のフェーズにおける解析装置１２０、画像圧縮装置１３０による処理は、上記第２の実施形態において図１１の１１ｂを用いて説明した解析装置１２０、画像圧縮装置１３０による処理と同様であるため、ここでは説明を省略する。
一方、図２０の２０ｂに示すように、第２のフェーズにおける圧縮処理システム２０００には、解析装置１２０、画像圧縮装置１３０、データ処理装置２０１０が含まれる。このうち、解析装置１２０、画像圧縮装置１３０による処理は、上記第２の実施形態において図１１の１１ｂを用いて説明した解析装置１２０、画像圧縮装置１３０による処理と同様であるため、ここでは説明を省略する。
図２０の２０ｂにおいてデータ処理装置２０１０は、画像圧縮装置１３０より送信される圧縮データを復号し、復号データに対して認識処理を行う。また、データ処理装置２０１０は、認識結果に含まれるスコア情報が所定の条件を満たすか否かを判定し、所定の条件を満たさないと判定した場合、スコア情報が最大化するように画像データを変更し、変更後の画像データを画像圧縮装置１３０に送信する。
また、図２１に示すように、第３のフェーズにおける圧縮処理システム２０００には、画像圧縮装置１３０、データ処理装置２０１０、ストレージ装置１５０が含まれる。
図２１に示すように第３のフェーズにおける画像圧縮装置１３０は、データ処理装置２０１０より送信された変更後の画像データに対して、決定量子化値マップを用いて圧縮処理を行い、圧縮データをデータ処理装置２０１０に送信する。
また、図２１に示すように第３のフェーズにおけるデータ処理装置２０１０は、画像圧縮装置１３０より送信される圧縮データを復号し、復号データに対して認識処理を行う。また、データ処理装置２０１０は、認識結果に含まれるスコア情報が所定の条件を満たすか否かを判定し、所定の条件を満たすと判定した場合、圧縮データをストレージ装置１５０に格納する。
＜データ処理装置の機能構成＞
次に、データ処理装置２０１０の機能構成について説明する。図２２は、データ処理装置の機能構成の一例を示す第４の図である。上記第２の実施形態同様、データ処理装置２０１０には、データ処理プログラムがインストールされており、当該プログラムが実行されることで、データ処理装置２０１０は、復号部２２１０、ＣＮＮ部１２１０、判定部１２２０として機能する。また、データ処理装置２０１０は、解析部１２３０、画像データ変更部２２４０として機能する。
このうち、ＣＮＮ部１２１０、判定部１２２０、解析部１２３０は、上記第２の実施形態において図１２を用いて説明したＣＮＮ部１２１０、判定部１２２０、解析部１２３０と同様の機能を有するため、ここでは説明を省略する。
復号部２２１０は、画像圧縮装置１３０より送信された圧縮データを復号し、復号データを生成する。また、復号部２２１０は、復号データをＣＮＮ部１２１０に通知する。更に、復号部２２１０は、解析部１２３０からの指示に応じて、復号データを解析部１２３０に通知する。
画像データ変更部２２４０は変更部の一例である。画像データ変更部２２４０は、判定部１２２０より判定結果が通知された場合、圧縮データをストレージ装置１５０に送信する。
また、画像データ変更部２２４０は、解析部１２３０より変更情報が通知された場合、通知された変更情報に基づいて画像データを変更し、変更後の画像データを、画像圧縮装置１３０に送信する。あるいは、画像データ変更部２２４０は、解析部１２３０より変更後の画像データが通知された場合、当該変更後の画像データを、画像圧縮装置１３０に送信する。
＜圧縮処理システムによる画像圧縮処理の流れ＞
次に、圧縮処理システム２０００による画像圧縮処理の流れについて説明する。図２３は、圧縮処理システムによる画像圧縮処理の流れの一例を示す第４のフローチャートである。
図２３において、ステップＳ１００１～Ｓ１００７は、図１０のステップＳ１００１～Ｓ１００７と同様の処理であるため説明を省略し、ここでは、ステップＳ２３０１～Ｓ２３０６の処理について説明する。
ステップＳ２３０１において、画像圧縮装置１３０は、決定量子化値マップを用いて、画像データに対して圧縮処理を行い、圧縮データを生成する。
ステップＳ２３０２において、データ処理装置２０１０の復号部２２１０は圧縮データを復号し、データ処理装置２０１０のＣＮＮ部１２１０は、復号データに対して認識処理を行うことで、認識結果を出力する。
ステップＳ２３０３において、データ処理装置２０１０の判定部１２２０は、認識結果に含まれるスコア情報が所定の条件を満たすか否かを判定することで、画像データの変更が必要か否かを判定する。
ステップＳ２３０３において、所定の条件を満たさないと判定した場合（ステップＳ２３０３においてＹｅｓの場合には）、画像データの変更が必要であると判定し、ステップＳ２３０４に進む。
ステップＳ２３０４において、データ処理装置２０１０の解析部１２３０は、スコア情報が最大化するように、画像データを変更するための変更情報を生成する。また、データ処理装置１１１０の画像データ変更部１２４０は、生成された変更情報に基づいて画像データを変更し、変更後画像データを画像圧縮装置１３０に送信する。
あるいは、データ処理装置１１１０の解析部１２３０は、スコア情報が最大化するように画像データを変更することでスコア最大化リファイン画像を生成し、画像データ変更部１２４０に通知する。また、データ処理装置１１１０の画像データ変更部１２４０は、スコア最大化リファイン画像を、変更後画像データとして、画像圧縮装置１３０に送信する。
ステップＳ２３０５において、画像圧縮装置１３０は、決定量子化値マップを用いて変更後の画像データに対して圧縮処理を行い、圧縮データを生成する。
一方、ステップＳ２３０３において、所定の条件を満たすと判定した場合には（ステップＳ２３０３においてＮｏの場合には）、画像データの変更が必要でないと判定し、画像データを変更することなくステップＳ２３０６に進む。
ステップＳ２３０６において、データ処理装置２０１０は、圧縮データをストレージ装置１５０に格納する。
以上の説明から明らかなように、第４の実施形態に係るデータ処理装置は、生成された決定量子化値マップを用いて圧縮処理が行われた場合の圧縮データを取得し、取得した圧縮データを復号した復号データに対して認識処理を行う。また、第４の実施形態に係るデータ処理装置は、認識結果に含まれるスコア情報が所定の条件を満たすか否かを判定し、所定の条件を満たさないと判定した場合に、スコア情報が最大化するように画像データを変更する。更に、第４の実施形態に係るデータ処理装置は、変更後の画像データに対して、決定量子化値マップを用いて圧縮処理が行われた場合に、圧縮データを格納する。
このように、圧縮データについて認識精度を確認し、画像データの変更が必要な場合には、画像データを変更するため、第４の実施形態によれば、認識精度の低い圧縮データが出力されることを回避することができる。これにより、第４の実施形態によれば、圧縮レベルを向上させつつ、認識精度を向上させることができる。つまり、第４の実施形態に係るデータ処理装置によれば、ＡＩによる認識処理に適した圧縮処理を実現することができる。
［その他の実施形態］
上記第１の実施形態では、決定量子化値マップを生成した後に、各ブロックが前景ブロックであるか背景ブロックであるかを判定し、背景ブロックであると判定した場合に、当該ブロックの量子化値を最大化するものとして説明した。しかしながら、決定量子化値マップを生成する処理と、背景ブロックの量子化値を最大化する処理との間の処理順序はこれに限定されず、背景ブロックの量子化値を最大化する処理を行った後に、決定量子化値マップを生成する処理を行ってもよい。
また、上記第１の実施形態では、背景ブロックであると判定した場合に、当該ブロックの量子化値を最大化する処理を行うものとして説明したが、背景ブロックの画像データを無効化する処理（例えば、画素値をゼロにする処理）を行ってもよい。あるいは、背景ブロックの画像データに対して、ブラーなどのローパスフィルタ処理を行ってもよい。
また、上記第１の実施形態では、画像圧縮装置１３０が画像データに対して圧縮処理を行う際に参照する画像データについて特に言及しなかったが、参照する画像データは、補正後決定量子化値マップを用いて圧縮処理が行われた画像データであってもよい。あるいは、参照する画像データは、補正後決定量子化値マップを用いて圧縮処理が行われた場合と同程度の劣化度をもたらす他の量子化値マップを用いて圧縮処理が行われた画像データであってもよい。
また、上記第１の実施形態では、量子化値を増加させる処理を継続するか否かを判定する際の所定の第２の条件として、画像データに対する認識結果に基づいて規定した許容範囲を用いるものとして説明したが、所定の第２の条件はこれに限定されない。
例えば、画像データの中には、圧縮処理を行う際の圧縮レベルとして所定の圧縮レベル以上の圧縮レベルが期待できないような画像データも存在しうる。このような画像データについては、所定の圧縮レベル（量子化値）で圧縮処理を行った場合の圧縮データに対する認識結果に基づいて許容範囲を規定してもよい。
また、上記第１の実施形態では、許容範囲を規定する際に画像データに対する認識結果を用いるものとして説明した。しかしながら、許容範囲を規定する際に用いる情報は、画像データに対する認識結果に限定されず、例えば、画像データに付与されたアノテーション情報を用いてもよい。
また、上記第１の実施形態では、画像圧縮装置１３０が圧縮処理する際に用いる量子化値を、データ処理装置１４０が提供するものとして説明した。しかしながら、データ処理装置１４０は、画像圧縮装置１３０が圧縮処理する際に用いる量子化値を調整するための重み付け指標を提供し、画像圧縮装置１３０が提供された重み付け指標に基づいて、量子化値を調整してもよい。
具体的には、各ブロックの集計値等のように、認識結果への影響度をブロックごとに統計処理したブロックごとの統計値や、ブロックごとの統計値の変化量、あるいは、決定量子化値マップの各ブロックの量子化値を、各ブロックの重み付け指標と捉えてもよい。
そして、画像圧縮装置１３０では、例えば、ビットレートを制御するアルゴリズムに基づいて決定された各ブロックの量子化値を、重み付け指標を用いて調整してもよい。あるいは、画像圧縮装置１３０では、例えば、フレーム内または複数のフレームにわたって固定的に設定された各ブロックの量子化値を、重み付け指標を用いて調整してもよい。
一例として、決定量子化値マップの各ブロックの量子化値を、各ブロックの重み付け指標と捉える場合、画像圧縮装置１３０では、決定量子化値マップにおいて量子化値が大きいブロックについては、
・ビットレートを制御するアルゴリズムに基づいて決定された各量子化値、あるいは、
・フレーム内または複数のフレームにわたって固定的に設定された各ブロックの量子化値、
を大きくする方向に調整する際、調整の強さをより大きくし、小さくする方向に調整する際、調整の強さをより小さくしてもよい。
また、他の一例として、各ブロックの集計値を、各ブロックの重み付け指標と捉える場合、画像圧縮装置１３０では、集計値が大きいブロックについては、
・ビットレートを制御するアルゴリズムに基づいて決定された各量子化値、あるいは、
・フレーム内または複数のフレームにわたって固定的に設定された各ブロックの量子化値、
を大きくする方向に調整する際、調整の強さをより大きくし、小さくする方向に調整する際、調整の強さをより小さくしてもよい。
更に、画像圧縮装置１３０では、
・ビットレートを制御するアルゴリズムに基づいて決定された各ブロックの量子化値、あるいは、
・フレーム内または複数のフレームにわたって固定的に設定された各ブロックの量子化値、
であって、重み付け指標を用いて調整した量子化値を、他の情報に応じて更に変更してもよい。ここでいう他の情報には、圧縮データを復号して認識処理を行った際のスコア情報、分類確率、誤差情報、あるいは、オブジェクトの位置情報など、認識精度に影響する値の変化や推移状況が含まれる。なお、画像圧縮装置１３０では、認識精度に影響する値が維持されるように、あるいは、改善されるように、あるいは、所定の許容範囲内の低下で収まるように、量子化値を変更するものとする。また、画像圧縮装置１３０では、対応する画像データに対して、あるいは、対応する画像データよりも後に取得される画像データに対して、変更後の量子化値を用いて圧縮処理を行うものとする。あるいは、画像圧縮装置１３０では、対応する画像データと対応する画像データよりも後に取得される画像データとを含む複数の画像データに対して、変更後の量子化値を用いて圧縮処理を行うものとする。
また、上記第２乃至第４の実施形態では、変更する画像データに含まれるオブジェクトの数について言及しなかったが、変更する画像データに含まれるオブジェクトの数は複数であってもよい。この場合、データ処理装置では、個々のオブジェクトのスコア情報を最大化するようにオブジェクトごとに画像データを変更してもよいし、複数のオブジェクトのスコア情報を最大化するように、複数のオブジェクトについてまとめて画像データを変更してもよい。
また、上記第２乃至第４の実施形態では、画像データを変更するにあたり、スコア最大化リファイン画像データを生成するものとして説明した。しかしながら、例えば、上記第４の実施形態のように、復号データの認識精度を確認し、認識精度が低い場合に復号データを変更する場合にあっては、
・認識精度が低いと判定された復号データとは別の復号データまたは画像データであって、かつ、
・認識精度が低いと判定された復号データよりも、認識精度が高い復号データまたは画像データ、
が存在する場合には、スコア最大化リファイン画像を生成する代わりに、当該認識精度が高い復号データまたは画像データを用いてもよい。これにより、スコア最大化リファイン画像を生成する処理を省略することができる。
また、上記第２乃至第４の実施形態では、画像データまたは復号データに基づいてスコア最大化リファイン画像データを生成するものとして説明した。しかしながら、スコア最大化リファイン画像を生成する前に、背景ブロックを判定し、判定した背景ブロックの画像データまたは復号データに対して無効化する処理、あるいは、ローパスフィルタ処理などの画像処理を行ってもよい。
また、上記各実施形態では、撮像装置１１０から送信された画像データを対象として、圧縮処理を行うものとして説明した。しかしながら、圧縮処理を行う対象は、これに限定されず、例えば、撮像装置１１０から送信された画像データを、所定のサイズにリサイズした画像データを対象として、圧縮処理を行ってもよい。
また、上記各実施形態では、各ブロックのサイズについて特に言及しなかったが、各ブロックのサイズは、固定サイズであっても可変サイズであってもよい。また、可変サイズの場合にあっては、例えば、量子化値の大きさに応じたサイズであってもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：圧縮処理システム
１２０ ：解析装置
１３０ ：画像圧縮装置
１４０ ：データ処理装置
３１０ ：入力部
３２０ ：ＣＮＮ部
３３０ ：量子化値設定部
３４０ ：出力部
３５０ ：重要特徴マップ生成部
３６０ ：集計部
３７０ ：量子化値決定部
３８０ ：前景判定部
４２０ ：集計結果
８１０ ：符号化部
８２０ ：復号部
８３０ ：ＣＮＮ部
８４０ ：量子化値補正部
１１００ ：圧縮処理システム
１１１０ ：データ処理装置
１２１０ ：ＣＮＮ部
１２２０ ：判定部
１２３０ ：解析部
１２４０ ：画像データ変更部
１３１０ ：リファイン画像生成部
１３２０ ：重要特徴指標マップ生成部
１３４０ ：特定部
１３５０ ：詳細解析部
１６００ ：圧縮処理システム
１６１０ ：データ処理装置
２０００ ：圧縮処理システム
２０１０ ：データ処理装置
２２１０ ：復号部
２２４０ ：画像データ変更部

Claims (9)

  1. 画像データに対して認識処理が行われた際の、各ブロックの認識結果への影響度に基づいて圧縮レベルが決定された場合において、該圧縮レベルを用いて該画像データに対して圧縮処理を行うことで、圧縮データを生成する符号化部と、
    前記圧縮データを復号した復号データに対して認識処理を行った場合の認識結果が、所定の条件を満たす場合に、認識対象に対応するブロックについて、前記圧縮レベルを上げる方向に補正する補正部と
    を有するデータ処理装置。
  2. 前記補正部は、
    前記圧縮データを復号した復号データに対して認識処理を行った場合の認識結果が所定の条件を満たさない場合、前記認識対象に対応するブロックについて、前記圧縮レベルを下げる方向に補正する請求項１に記載のデータ処理装置。
  3. 前記補正部は、
    前記圧縮データを復号した復号データに対して認識処理を行った場合の認識結果に含まれるスコア情報と所定の閾値とを比較することで、前記認識結果が所定の条件を満たすか否かを判定する、請求項１または２に記載のデータ処理装置。
  4. 前記補正部は、
    前記画像データに対して認識処理を行った場合の認識結果に含まれるスコア情報と、前記圧縮データを復号した復号データに対して認識処理を行った場合の認識結果に含まれるスコア情報とを比較することで、前記認識結果が所定の条件を満たすか否かを判定する、請求項１または２に記載のデータ処理装置。
  5. 圧縮処理される画像データが入力された場合に、該画像データに対して認識処理が行われた場合の認識結果に含まれるスコア情報を取得し、該スコア情報に基づいて、該画像データの変更が必要か否かを判定する判定部と、
    前記判定部により、前記画像データの変更が必要でないと判定された場合、入力された前記画像データを出力し、前記判定部により、前記画像データの変更が必要であると判定された場合、前記スコア情報が最大化するように、前記画像データを変更し、変更後の前記画像データを出力する変更部と
    を有するデータ処理装置。
  6. 圧縮データを復号する復号部を更に有し、
    前記判定部は、前記復号部により圧縮データが復号されることで生成された画像データに対して認識処理が行われた場合の認識結果に含まれるスコア情報を取得する、請求項５に記載のデータ処理装置。
  7. 圧縮処理される画像データが入力された場合に、該画像データの認識精度に関わる情報を取得し、該画像データの認識精度に関わる情報に基づいて、該画像データの変更が必要か否かを判定する判定部と、
    前記判定部により、前記画像データの変更が必要でないと判定された場合、入力された前記画像データを出力し、前記判定部により、前記画像データの変更が必要であると判定された場合、前記画像データを変更し、変更後の前記画像データを出力する変更部と、を有し、
    前記画像データに対して異なる圧縮レベルで圧縮処理が行われ、かつ、
    各圧縮データが復号され、各復号データに対して認識処理が行われ、かつ、
    各認識処理時の認識結果への影響度がブロックごとに集計された場合において、
    前記判定部は、
    前記ブロックごとの集計値を、前記画像データの認識結果に関わる情報として取得する、データ処理装置。
  8. コンピュータに、
    画像データに対して認識処理が行われた際の、各ブロックの認識結果への影響度に基づいて圧縮レベルが決定された場合において、該圧縮レベルを用いて該画像データに対して圧縮処理を行うことで、圧縮データを生成し、
    前記圧縮データを復号した復号データに対して認識処理を行った場合の認識結果が、所定の条件を満たす場合に、認識対象に対応するブロックについて、前記圧縮レベルを上げる方向に補正する、
    処理を実行させるためのデータ処理プログラム。
  9. コンピュータに、
    圧縮処理される画像データが入力された場合に、該画像データに対して認識処理が行われた場合の認識結果に含まれるスコア情報を取得し、該スコア情報に基づいて、該画像データの変更が必要か否かを判定し、
    前記画像データの変更が必要でないと判定された場合、入力された前記画像データを出力し、前記画像データの変更が必要であると判定された場合、前記スコア情報が最大化するように、前記画像データを変更し、変更後の前記画像データを出力する、
    処理を実行させるためのデータ処理プログラム。
JP2021574421A 2020-01-31 2020-01-31 データ処理装置及びデータ処理プログラム Active JP7409400B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003785 WO2021152849A1 (ja) 2020-01-31 2020-01-31 データ処理装置及びデータ処理プログラム

Publications (3)

Publication Number Publication Date
JPWO2021152849A1 JPWO2021152849A1 (ja) 2021-08-05
JPWO2021152849A5 JPWO2021152849A5 (ja) 2022-09-16
JP7409400B2 true JP7409400B2 (ja) 2024-01-09

Family

ID=77079801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021574421A Active JP7409400B2 (ja) 2020-01-31 2020-01-31 データ処理装置及びデータ処理プログラム

Country Status (3)

Country Link
US (1) US20220312019A1 (ja)
JP (1) JP7409400B2 (ja)
WO (1) WO2021152849A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7533622B2 (ja) 2020-12-15 2024-08-14 富士通株式会社 解析装置、解析方法及び解析プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11764806B2 (en) 2021-09-06 2023-09-19 Nec Corporation Data compression system and method of using
JPWO2023047516A1 (ja) * 2021-09-24 2023-03-30
WO2023181323A1 (ja) * 2022-03-25 2023-09-28 富士通株式会社 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003124815A (ja) 2001-10-15 2003-04-25 Japan Science & Technology Corp 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム
JP2016025494A (ja) 2014-07-22 2016-02-08 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP2016046707A (ja) 2014-08-25 2016-04-04 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
JP2017073755A (ja) 2015-10-09 2017-04-13 キヤノン株式会社 符号化装置及びその制御方法、プログラム並びに記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003124815A (ja) 2001-10-15 2003-04-25 Japan Science & Technology Corp 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム
JP2016025494A (ja) 2014-07-22 2016-02-08 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP2016046707A (ja) 2014-08-25 2016-04-04 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
JP2017073755A (ja) 2015-10-09 2017-04-13 キヤノン株式会社 符号化装置及びその制御方法、プログラム並びに記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7533622B2 (ja) 2020-12-15 2024-08-14 富士通株式会社 解析装置、解析方法及び解析プログラム

Also Published As

Publication number Publication date
JPWO2021152849A1 (ja) 2021-08-05
WO2021152849A1 (ja) 2021-08-05
US20220312019A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
JP7409400B2 (ja) データ処理装置及びデータ処理プログラム
US7843995B2 (en) Temporal and spatial analysis of a video macroblock
US20220284632A1 (en) Analysis device and computer-readable recording medium storing analysis program
US20200213587A1 (en) Method and apparatus for filtering with mode-aware deep learning
CN113196761A (zh) 用于评估视频的主观质量的方法及装置
JP5988577B2 (ja) 画像符号化装置、画像符号化方法及びプログラム
US10536696B2 (en) Image encoding device and image encoding method
US20180124431A1 (en) In-loop post filtering for video encoding and decoding
US10123021B2 (en) Image encoding apparatus for determining quantization parameter, image encoding method, and program
US11277626B2 (en) Region of interest quality controllable video coding techniques
US20220277548A1 (en) Image processing system, image processing method, and storage medium
WO2022130497A1 (ja) 解析装置、解析方法及び解析プログラム
WO2022036678A1 (en) Multi-level region-of-interest quality controllable video coding techniques
US20210306641A1 (en) Transcoder target bitrate prediction techniques
US11330258B1 (en) Method and system to enhance video quality in compressed video by manipulating bit usage
US20230014220A1 (en) Image processing system, image processing device, and computer-readable recording medium storing image processing program
JP2022078735A (ja) 画像処理装置、画像処理プログラム、画像認識装置、画像認識プログラム及び画像認識システム
US20230206611A1 (en) Image processing device, and image processing method
US20230209057A1 (en) Bit rate control system, bit rate control method, and computer-readable recording medium storing bit rate control program
WO2022157921A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN116760983B (zh) 用于视频编码的环路滤波方法及装置
US10715819B2 (en) Method and apparatus for reducing flicker
KR20230120854A (ko) 전자 장치의 영상 부호화 방법
Lin et al. Spatial-temporal feature guided adaptive rate control for screen content videos
US9998738B2 (en) Image encoding apparatus, image encoding method and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7409400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150