JP7491388B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP7491388B2
JP7491388B2 JP2022556715A JP2022556715A JP7491388B2 JP 7491388 B2 JP7491388 B2 JP 7491388B2 JP 2022556715 A JP2022556715 A JP 2022556715A JP 2022556715 A JP2022556715 A JP 2022556715A JP 7491388 B2 JP7491388 B2 JP 7491388B2
Authority
JP
Japan
Prior art keywords
image data
image
processing
unit
recognition accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022556715A
Other languages
English (en)
Other versions
JPWO2022079791A1 (ja
Inventor
智規 久保田
鷹詔 中尾
康之 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2022079791A1 publication Critical patent/JPWO2022079791A1/ja
Application granted granted Critical
Publication of JP7491388B2 publication Critical patent/JP7491388B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
一般に、画像データを記録または伝送する場合、エンコーダ等を用いて圧縮処理を行い、データサイズを小さくすることで、記録コストや伝送コストの削減を実現している。
一方で、近年、ＡＩ（Artificial Intelligence）による画像認識処理に利用される目的で、画像データを記録または伝送するケースが増えてきている。ＡＩの代表的なモデルとしては、例えば、深層学習や機械学習を用いたモデルが挙げられる。
特開２０１７－１６３２２３号公報 特開２００６－９３８８０号公報
しかしながら、従来の圧縮処理は、あくまで人間の視覚特性に基づいて行われており、ＡＩの動作解析に基づいて行われているわけではない。このため、従来の圧縮処理は、ＡＩによる画像認識処理に必要でない領域について、十分な圧縮レベルを実現できていない場合があった。
一方で、エンコーダの種類によっては、画像データに対して圧縮処理を行う際の圧縮レベルを、領域単位で変更することができないものもある。このため、このようなエンコーダを用いる場合は、仮にＡＩによる画像認識処理に必要でない領域を解析できたとしても、当該領域に対して他の領域とは異なる圧縮レベルで圧縮処理を行うことはできず、十分な圧縮レベルを実現することができなかった。
一つの側面では、ＡＩによる画像認識処理に適した圧縮処理を実現することを目的とする。
一態様によれば、画像処理装置は、
画像データの画質を変更した場合の、変更後の各画像データに含まれるオブジェクトの認識精度を算出する算出部と、
前記画像データにおいて、前記オブジェクトが含まれる領域を、前記認識精度が所定の許容限界となる画質に変更し、前記オブジェクトが含まれる領域以外を、前記認識精度が所定の許容限界未満となる画質に変更する変更部と、を有し、
前記変更部は、変更後の前記画像データを、エンコーダに入力する。
ＡＩによる画像認識処理に適した圧縮処理を実現することができる。
図１は、圧縮処理システムのシステム構成の一例を示す第１の図である。 図２は、画像処理装置のハードウェア構成の一例を示す図である。 図３は、画像処理装置の機能構成の一例を示す第１の図である。 図４は、画像処理装置による領域別の処理後画像データの生成処理の具体例を示す第１の図である。 図５は、エンコーダの機能構成の一例を示す図である。 図６は、圧縮処理システムによる圧縮処理の流れを示す第１のフローチャートである。 図７は、圧縮処理システムによる圧縮処理の流れを示す第２のフローチャートである。 図８は、画像処理装置の機能構成の一例を示す第２の図である。 図９は、画像処理装置の機能構成の一例を示す第３の図である。 図１０は、画像処理装置の機能構成の一例を示す第４の図である。 図１１は、画像処理装置による領域別の処理後画像データの生成処理の具体例を示す第２の図である。 図１２は、画像処理装置による領域別の処理後画像データの生成処理の具体例を示す第３の図である。 図１３は、圧縮処理システムによる圧縮処理の流れを示す第３のフローチャートである。 図１４は、圧縮処理システムのシステム構成の一例を示す第２の図である。 図１５は、画像処理装置の機能構成の一例を示す第５の図である。 図１６は、圧縮処理システムによる圧縮処理の流れを示す第４のフローチャートである。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜圧縮処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理装置を含む、圧縮処理システム全体のシステム構成について説明する。図１は、圧縮処理システムのシステム構成の一例を示す第１の図である。
図１に示すように、圧縮処理システム１００は、撮像装置１１０、画像処理装置１２０、エンコーダ１３０、ストレージ装置１４０を有する。
撮像装置１１０は、所定のフレーム周期で撮影を行い、画像データを画像処理装置１２０に送信する。なお、画像データには、画像認識処理の対象となるオブジェクトが含まれているものとする。
画像処理装置１２０は、画像認識処理を行う学習済みモデルを有する。画像処理装置１２０は、エンコーダ１３０に設定されている量子化ステップを取得する。また、画像処理装置１２０は、当該量子化ステップを変更しながら、エンコーダ１３０が圧縮処理を行った場合の、各圧縮データに対応する各復号データの画質と同等の画質になるように、画像データに対して順次フィルタ処理を行う。
また、画像処理装置１２０は、画像データに対して順次フィルタ処理を行うことで生成される各処理後画像データに対して、学習済みモデルを用いて順次画像認識処理を行い、オブジェクトの認識精度をそれぞれ予測する。
また、画像処理装置１２０は、
・予測した認識精度が許容限界となる画質に変更された処理後画像データから、オブジェクトの領域を抽出し、
・予測した認識精度が許容限界未満となる画質に変更された処理後画像データから、オブジェクト領域以外の領域を抽出する、
ことで、領域別の処理後画像データを生成する。
更に、画像処理装置１２０は、生成した領域別の処理後画像データを、エンコーダ１３０に入力する。
エンコーダ１３０は、設定された量子化ステップを画像処理装置１２０に通知する。また、エンコーダ１３０は、画像処理装置１２０により入力された、領域別の処理後画像データに対して圧縮処理を行い、圧縮データをストレージ装置１４０に格納する。なお、エンコーダ１３０は、入力された領域別の処理後画像データに対して、一様な量子化ステップを用いて、圧縮処理を行う。
このように、第１の実施形態に係る画像処理装置１２０は、画像データから、領域別の処理後画像データを生成し、領域別の処理後画像データをエンコーダ１３０に入力することで、符号化処理を実行させる。これにより、第１の実施形態に係る画像処理装置１２０によれば、エンコーダ１３０が、領域ごとに量子化ステップを変更することができない場合でも、領域ごとに適切な圧縮レベルで圧縮処理が行われた圧縮データがエンコーダ１３０から出力されることになる。つまり、第１の実施形態に係る画像処理装置１２０によれば、ＡＩによる画像認識処理に適した圧縮処理を実現することができる。
＜画像処理装置及びエンコーダのハードウェア構成＞
次に、画像処理装置１２０及びエンコーダ１３０のハードウェア構成について説明する。なお、画像処理装置１２０とエンコーダ１３０とは、同様のハードウェア構成を有することから、ここでは、画像処理装置１２０のハードウェア構成について説明する。
図２は、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、画像処理装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、後述する画像処理プログラム等）をメモリ２０２上に読み出して実行する。
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する（各種機能の詳細は後述する）。
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
Ｉ／Ｆ装置２０４は、外部装置の一例である操作装置２１０、表示装置２２０と、画像処理装置１２０とを接続する接続デバイスである。Ｉ／Ｆ装置２０４は、画像処理装置１２０に対する操作を、操作装置２１０を介して受け付ける。また、Ｉ／Ｆ装置２０４は、画像処理装置１２０による処理の結果を、表示装置２２０を介して表示する。
通信装置２０５は、他の装置と通信するための通信デバイスである。画像処理装置１２０の場合、通信装置２０５を介して撮像装置１１０及びエンコーダ１３０と通信する。
ドライブ装置２０６は記録媒体２３０をセットするためのデバイスである。ここでいう記録媒体２３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２３０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２３０がドライブ装置２０６にセットされ、該記録媒体２３０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
＜画像処理装置の機能構成＞
次に、画像処理装置１２０の機能構成について説明する。図３は、画像処理装置の機能構成の一例を示す第１の図である。上述したように、画像処理装置１２０には、画像処理プログラムがインストールされており、当該プログラムが実行されることで、画像処理装置１２０は、処理強度変換部３１０、処理強度加算部３２０として機能する。更に、画像処理装置１２０は、フィルタ処理部３３０、画像認識部３４０、評価部３５０、画像加工部３６０、画像生成部３７０として機能する。
処理強度変換部３１０は、エンコーダ１３０に設定されている量子化ステップを取得し、量子化ステップを処理強度に変換したうえで、処理強度加算部３２０に通知する。なお、「処理強度」とは、
・画像データの画質と、
・エンコーダ１３０が、対応する量子化ステップを用いて、当該画像データに対して圧縮処理を行い、不図示のデコーダが圧縮データに対して復号処理を行った場合の、復号データの画質と、
の差（画質の劣化度合い）と同等の劣化度合いを生じさせるフィルタ処理（画像データの画質を復号データの画質と同等の画質にするフィルタ処理）の強度を指す。なお、処理強度の値の粒度は、量子化ステップの値の粒度と一致していなくてもよい。
処理強度加算部３２０は、エンコーダ１３０に設定された量子化ステップを、全範囲にわたって順次上げていった場合に加算される処理強度（「加算処理強度」と称す）を、処理強度変換部３１０より通知された処理強度に順次加算し、各合計処理強度を算出する。
また、処理強度加算部３２０は、算出した各合計処理強度に対応する各設定フィルタを、順次フィルタ処理部３３０に設定する。
更に、処理強度加算部３２０は、それぞれの加算処理強度に対応する各設定フィルタを、順次評価部３５０に通知する。
フィルタ処理部３３０は、入力された画像データを画像認識部３４０に通知する。また、フィルタ処理部３３０は、処理強度加算部３２０より順次設定される設定フィルタを用いて、入力された画像データに対して順次フィルタ処理を行い、各処理後画像データを、順次画像認識部３４０に通知する。
画像認識部３４０は算出部の一例であり、画像認識処理を行う学習済みモデルを有する。画像認識部３４０は、フィルタ処理部３３０より通知される画像データに対して画像認識処理を行い、認識結果（認識精度を含む）を評価部３５０に通知する。
また、画像認識部３４０は、フィルタ処理部３３０より順次通知される処理後画像データに対して画像認識処理を行い、認識結果を順次評価部３５０に通知する。
評価部３５０は、画像データに対して画像認識処理が行われることで通知された認識結果に基づいて、画像データに含まれるオブジェクトの領域及びオブジェクトの領域以外の領域を特定し、画像加工部３６０に通知する。
また、評価部３５０は、各処理後画像データに対して画像認識処理が行われることで順次通知される認識結果に含まれるオブジェクトの認識精度を監視し、オブジェクトの認識精度が急激に低下したか否かを判定する。
また、評価部３５０は、認識精度が急激に低下した直前のタイミングで、処理強度加算部３２０から通知された設定フィルタ（加算処理強度）を特定し、オブジェクト領域と対応付けて画像加工部３６０に通知する。なお、このとき特定される設定フィルタ（加算処理強度）は、認識精度（圧縮処理後の圧縮データに対して復号処理を行うことで生成された復号データについての認識精度）が許容限界となる画質に対応する設定フィルタである。
更に、評価部３５０は、加算処理強度が最大となる設定フィルタを、オブジェクト領域以外の領域と対応付けて画像加工部３６０に通知する。
画像加工部３６０は、評価部３５０より通知される設定フィルタ（加算処理強度）を用いて、画像データに対してフィルタ処理を行い、処理後画像データを生成する。また、画像加工部３６０は、設定フィルタ（加算処理強度）と対応付けられたオブジェクト領域を、生成した処理後画像データから抽出し、画像生成部３７０に通知する。
また、画像加工部３６０は、評価部３５０より通知される、加算処理強度が最大となる設定フィルタを用いて、画像データに対してフィルタ処理を行い、処理後画像データを生成する。また、画像加工部３６０は、オブジェクトの領域以外の領域を、生成した処理後画像データから抽出し、画像生成部３７０に通知する。
画像生成部３７０は変更部の一例であり、画像加工部３６０から通知された、オブジェクト領域の処理後画像データと、オブジェクト領域以外の領域の処理後画像データとを結合し、領域別の処理後画像データを生成する。また、画像生成部３７０は、生成した領域別の処理後画像データを、エンコーダ１３０に入力する。
＜領域別の処理後画像データの生成処理の具体例＞
次に、画像処理装置１２０による領域別の処理後画像データの生成処理の具体例について説明する。図４は、画像処理装置による領域別の処理後画像データの生成処理の具体例を示す第１の図である。
図４に示すように、画像処理装置１２０のフィルタ処理部３３０に入力された画像データ４００は、画像認識部３４０に通知され、画像認識部３４０にて画像認識処理が行われる。符号４０１は、画像データ４００に対して画像認識処理が行われることで、オブジェクトＡ、オブジェクトＢ、オブジェクトＣが認識されたことを示している。
また、上述したように、画像処理装置１２０では、処理強度変換部３１０が取得した量子化ステップを処理強度に変換し、処理強度加算部３２０が加算処理強度を順次加算することで各合計処理強度を算出する。更に、画像処理装置１２０では、フィルタ処理部３３０が、各合計処理強度に対応する設定フィルタを用いて画像データに対して順次フィルタ処理を行うとともに、画像認識部３４０が、各処理後画像データに対して順次画像認識処理を行う。
図４の例は、ＱＰ１５に相当する加算処理強度が加算されることで得られる合計処理強度に対応する設定フィルタを用いて、画像データ４００に対してフィルタ処理が行われ、処理後画像データ４１０が生成されたことを示している。また、図４の例は、処理後画像データ４１０に対して画像認識処理が行われることで、認識結果４１１が出力され、オブジェクトＡに対する認識精度が許容限界を下回ったことを示している。
同様に、図４の例は、ＱＰ２５に相当する加算処理強度が加算されることで得られる合計処理強度に対応する設定フィルタを用いて、画像データ４００に対してフィルタ処理が行われ、処理後画像データ４２０が生成されたことを示している。また、図４の例は、処理後画像データ４２０に対して画像認識処理が行われることで、認識結果４２１が出力され、新たにオブジェクトＢに対する認識精度が許容限界を下回ったことを示している。
同様に、図４の例は、ＱＰ３５に相当する加算処理強度が加算されることで得られる合計処理強度に対応する設定フィルタを用いて、画像データ４００に対してフィルタ処理が行われ、処理後画像データ４３０が生成されたことを示している。また、図４の例は、処理後画像データ４３０に対して画像認識処理が行われることで、認識結果４３１が出力され、新たにオブジェクトＣに対する認識精度が許容限界を下回ったことを示している。
更に、図４の例は、ＱＰ４０に相当する最大となる加算処理強度が加算されることで得られる合計処理強度に対応する設定フィルタを用いて、画像データ４００に対してフィルタ処理が行われ、処理後画像データ４４０が生成されたことを示している。また、図４の例は、処理後画像データ４４０に対して画像認識処理が行われることで、認識結果４４１が出力されたことを示している。
また、図４において、グラフ４１２、４２２、４３２は、フィルタ処理部３３０にそれぞれの設定フィルタが設定されることで、フィルタ処理が行われ、処理後画像データに対して画像認識処理が行われた際の、各オブジェクトの認識精度の変化を示している。グラフ４１２、４２２、４３２に示すように、オブジェクトＡ～オブジェクトＣは、いずれも、所定の設定フィルタを境に認識精度が急激に低下する。
例えば、オブジェクトＡの場合、ＱＰ１５に相当する加算処理強度が加算されることで得られる合計処理強度に対応する設定フィルタが設定されることで、認識精度が急激に低下する。同様に、オブジェクトＢの場合、ＱＰ２５に相当する加算処理強度が加算されることで得られる合計処理強度に対応する設定フィルタが設定されることで、認識精度が急激に低下する。同様に、オブジェクトＣの場合、ＱＰ３５に相当する加算処理強度が加算されることで得られる合計処理強度に対応する設定フィルタが設定されることで、認識精度が急激に低下する。
このため、図４の例の場合、評価部３５０は、認識精度が急激に低下した直前のタイミングで通知された設定フィルタとして、ＱＰ１４に対応する設定フィルタを特定し、オブジェクトＡの領域と対応付けて画像加工部３６０に通知する。
同様に、評価部３５０は、認識精度が急激に低下した直前のタイミングで通知された設定フィルタとして、ＱＰ２４に対応する設定フィルタを特定し、オブジェクトＢの領域と対応付けて画像加工部３６０に通知する。
同様に、評価部３５０は、認識精度が急激に低下した直前のタイミングで通知された設定フィルタとして、ＱＰ３４に対応する設定フィルタを特定し、オブジェクトＣの領域と対応付けて画像加工部３６０に通知する。
更に、評価部３５０は、加算処理強度が最大となる設定フィルタである、ＱＰ４０に対応する設定フィルタを、画像加工部３６０に通知する。
この結果、図４に示すように、画像生成部３７０は、
・画像データ４００に対して、ＱＰ１４に対応する設定フィルタを用いてフィルタ処理が行われることで生成された処理後画像データから抽出されたオブジェクトＡの領域と、
・画像データ４００に対して、ＱＰ２４に対応する設定フィルタを用いてフィルタ処理が行われることで生成された処理後画像データから抽出されたオブジェクトＢの領域と、
・画像データ４００に対して、ＱＰ３４に対応する設定フィルタを用いてフィルタ処理が行われることで生成された処理後画像データから抽出されたオブジェクトＣの領域と、
・画像データ４００に対して、ＱＰ４０に対応する設定フィルタを用いてフィルタ処理が行われることで生成された処理後画像データから抽出されたオブジェクト領域以外の領域と、
を結合した領域別の処理後画像データ４５０を生成する。
＜エンコーダの機能構成＞
次に、エンコーダ１３０の機能構成について説明する。図５は、エンコーダの機能構成の一例を示す図である。エンコーダ１３０には、符号化プログラムがインストールされており、当該プログラムが実行されることで、エンコーダ１３０は、符号化部５２０として機能する。
符号化部５２０は、差分部５２１、直交変換部５２２、量子化部５２３、エントロピ符号化部５２４、逆量子化部５２５、逆直交変換部５２６を有する。また、符号化部５２０は、加算部５２７、バッファ部５２８、ループ内フィルタ部５２９、フレームバッファ部５３０、画面内予測部５３１、画面間予測部５３２を有する。
差分部５２１は、領域別の処理後画像データ（例えば、領域別の処理後画像データ４５０）と予測画像データとの差分を算出し、予測残差信号を出力する。
直交変換部５２２は、差分部５２１により出力された予測残差信号に対して、直交変換処理を行う。
量子化部５２３は、直交変換処理が行われた予測残差信号を量子化し、量子化信号を生成する。量子化部５２３は、設定された量子化ステップを用いて量子化信号を生成する。なお、量子化部５２３に設定される量子化ステップは、あわせて、画像処理装置１２０にも通知される。
エントロピ符号化部５２４は、量子化信号に対してエントロピ符号化処理を行うことで、圧縮データを生成する。
逆量子化部５２５は、量子化信号を逆量子化する。逆直交変換部５２６は、逆量子化された量子化信号に対して、逆直交変換処理を行う。
加算部５２７は、逆直交変換部５２６より出力された信号と、予測画像データとを加算することで、参照画像データを生成する。バッファ部５２８は、加算部５２７により生成された参照画像データを格納する。
ループ内フィルタ部５２９は、バッファ部５２８に格納された参照画像データに対してフィルタ処理を行う。ループ内フィルタ部５２９には、
・デブロッキングフィルタ（Deblocking filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample Adaptive Offset filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive loop filter：ＡＬＦ）、
が含まれる。
フレームバッファ部５３０は、ループ内フィルタ部５２９によりフィルタ処理が行われた参照画像データをフレーム単位で格納する。
画面内予測部５３１は、参照画像データに基づいて画面内予測を行い、予測画像データを生成する。画面間予測部５３２は、入力された画像データ（例えば、領域別の処理後画像データ４５０）と参照画像データとを用いてフレーム間で動き補償を行い、予測画像データを生成する。
なお、画面内予測部５３１または画面間予測部５３２により生成された予測画像データは、差分部５２１及び加算部５２７に出力される。
なお、上記説明では、符号化部５２０が、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、ＨＥＶＣなどの既存の動画符号化方式を用いて符号化処理を行うものとした。しかしながら、符号化部５２０による符号化処理は、これらの動画符号化方式に限定されず、量子化等のパラメータにより圧縮率を制御する任意の符号化方式を用いて行われてもよい。
＜圧縮処理システムによる圧縮処理の流れ＞
次に、圧縮処理システム１００による圧縮処理の流れについて説明する。図６及び図７は、圧縮処理システムによる圧縮処理の流れの一例を示す第１及び第２のフローチャートである。
ステップＳ６０１において、画像処理装置１２０の処理強度変換部３１０は、エンコーダ１３０より量子化ステップを取得し、取得した量子化ステップに対応する処理強度を算出する。
ステップＳ６０２において、画像処理装置１２０のフィルタ処理部３３０は、画像データを取得する。
ステップＳ６０３において、画像処理装置１２０の画像認識部３４０は、画像データに対して画像認識処理を行い、認識結果を出力する。また、画像処理装置１２０の評価部３５０は、オブジェクト領域及びオブジェクト領域以外の領域を特定する。
ステップＳ６０４において、画像処理装置１２０の処理強度加算部３２０は、全範囲にわたって量子化ステップを上げていった場合に加算される加算処理強度に対応する設定フィルタを、順次、評価部３５０に通知する。
ステップＳ６０５において、画像処理装置１２０の処理強度加算部３２０は、ステップＳ６０１で算出された処理強度に、全範囲にわたって量子化ステップを上げていった場合に加算される加算処理強度を順次加算することで、合計処理強度をそれぞれ算出する。また、画像処理装置１２０のフィルタ処理部３３０は、各合計処理強度に対応する設定フィルタを用いて、画像データに対して順次フィルタ処理を行い、処理後画像データをそれぞれ生成する。
ステップＳ６０６において、画像処理装置１２０の画像認識部３４０は、各処理後画像データに対して順次画像認識処理を行い、認識結果をそれぞれ出力する。
ステップＳ６０７において、画像処理装置１２０の評価部３５０は、各認識結果に含まれるオブジェクトの認識精度を監視し、オブジェクトの認識精度が急激に低下したかを判定する。
ステップＳ６０８において、画像処理装置１２０の評価部３５０は、認識精度が急激に低下した直前の加算処理強度に対応する設定ファイルを、オブジェクト領域と対応付けて画像加工部３６０に通知する。
続いて、図７のステップＳ７０１において、画像処理装置１２０の画像加工部３６０は、評価部３５０より通知された設定フィルタを用いて、画像データに対してフィルタ処理を行い、処理後画像データを生成する。
ステップＳ７０２において、画像処理装置１２０の画像加工部３６０は、加算処理強度が最大となる設定ファイルを用いて、画像データに対してフィルタ処理を行い、処理後画像データを生成する。
ステップＳ７０３において、画像処理装置１２０の画像加工部３６０は、ステップＳ７０１において生成された処理後画像データから、オブジェクト領域を抽出する。
ステップＳ７０４において、画像処理装置１２０の画像加工部３６０は、ステップＳ７０２において生成された処理後画像データから、オブジェクト領域以外の領域を抽出する。
ステップＳ７０５において、画像処理装置１２０の画像生成部３７０は、ステップＳ７０３及びＳ７０４において抽出されたオブジェクト領域及びオブジェクト領域以外の領域の処理後画像データを結合することで、領域別の処理後画像データを生成する。
ステップＳ７０６において、エンコーダ１３０は、領域別の処理後画像データに対して符号化処理を行い、圧縮データを生成する。
ステップＳ７０７において、エンコーダ１３０は、圧縮データをストレージ装置１４０に格納する。
以上の説明から明らかなように、第１の実施形態に係る画像処理装置は、各合計処理強度に対応する設定フィルタを用いて画像データに対して順次フィルタ処理を行い、生成した各処理後画像データに対して順次画像認識処理を行う。これにより、第１の実施形態に係る画像処理装置によれば、画像データの画質を変更した場合の、変更後の各画像データに含まれるオブジェクトの認識精度を算出することができる。
また、第１の実施形態に係る画像処理装置は、認識精度が所定の許容限界となった際の加算処理強度に対応する設定フィルタを用いて画像データに対してフィルタ処理を行い、オブジェクト領域を抽出する。また、第１の実施形態に係る画像処理装置は、加算処理強度が最大となる設定フィルタを用いて画像データに対してフィルタ処理を行い、オブジェクト領域以外の領域を抽出する。更に、抽出したオブジェクト領域の処理後画像データとオブジェクト領域以外の領域の処理後画像データとを結合し、領域別の処理後画像データを生成する。これにより、第１の実施形態に係る画像処理装置によれば、画像データのオブジェクト領域を認識精度が所定の許容限界となる画質に変更し、画像データのオブジェクト領域以外の領域を認識精度が所定の許容限界未満となる画質に変更することができる。
また、第１の実施形態に係る画像処理装置は、領域別の処理後画像データをエンコーダに入力することで、符号化処理を実行させる。これにより、第１の実施形態に係る画像処理装置によれば、エンコーダが領域ごとに量子化ステップを変更することができない場合でも、領域ごとに適切な圧縮レベルで圧縮処理が行われた圧縮データが、エンコーダから出力されることになる。
つまり、第１の実施形態に係る画像処理装置によれば、ＡＩによる画像認識処理に適した圧縮処理を実現することができる。
［第２の実施形態］
上記第１の実施形態では、加算処理強度が最大となる設定フィルタを用いて、画像データに対してフィルタ処理を行った際の処理後画像データから、オブジェクト領域以外の領域を抽出するものとして説明した。
これに対して、第２の実施形態では、予め無効化画像データ（画像データの各画素をゼロにした画像データ）を用意しておき、当該無効化画像データから、オブジェクト領域以外の領域を抽出する場合について説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜画像処理装置の機能構成＞
はじめに、第２の実施形態に係る画像処理装置１２０の機能構成について説明する。図８は、画像処理装置の機能構成の一例を示す第２の図である。上記第１の実施形態において図３を用いて説明した機能構成との相違点は、評価部８１０、画像加工部８２０、画像生成部８４０の機能が異なる点、及び、無効化部８３０が含まれる点である。
評価部８１０は、画像データに対して画像認識処理が行われることで通知された認識結果に基づいて、画像データに含まれるオブジェクトの領域を特定し、画像加工部８２０に通知する。また、評価部８１０は、画像データに対して画像認識処理が行われることで通知された認識結果に基づいて、画像データに含まれるオブジェクトの領域以外の領域を特定し、無効化部８３０に通知する。
また、評価部８１０は、それぞれの処理後画像データに対して画像認識処理が行われることで順次通知される認識結果に含まれるオブジェクトの認識精度を監視し、オブジェクトの認識精度が急激に低下したか否かを判定する。
また、評価部８１０は、認識精度が急激に低下した直前のタイミングで、処理強度加算部３２０から通知された設定フィルタ（加算処理強度）を特定し、画像加工部８２０に通知する。
画像加工部８２０は、評価部８１０より通知される設定フィルタ（加算処理強度）を用いて、画像データに対してフィルタ処理を行い、処理後画像データを生成する。また、画像加工部８２０は、評価部８１０より通知されるオブジェクト領域を、処理後画像データから抽出し、画像生成部８４０に通知する。
無効化部８３０は、予め無効化画像データ（画像データの各画素をゼロにした画像データ）を有しており、当該無効化画像データから、評価部８１０より通知されるオブジェクト領域以外の領域を抽出し、画像生成部８４０に通知する。
画像生成部８４０は変更部の他の一例である。画像生成部８４０は、画像加工部８２０から通知された、オブジェクト領域の処理後画像データと、無効化部８３０から通知された、オブジェクト領域以外の領域の無効化画像データとを結合し、領域別の処理後画像データ８５０を生成する。また、画像生成部８４０は、生成した領域別の処理後画像データ８５０を、エンコーダ１３０に入力する。
＜無効化画像データを用いることの利点＞
次に、無効化画像データを用いることの利点について説明する。オブジェクト領域以外の領域の無効化画像データを用いて領域別の処理後画像データ８５０を生成することで、圧縮処理システム１００では、以下のような効果を享受することができる。
・エンコーダ１３０において画面間予測を行う場合、一般に、エンコーダ１３０では、既に復号可能な画像データとの差分を導出して符号化処理を行う。このとき、既に復号可能な画像データにおいて、オブジェクト領域以外の領域に無効化画像データが含まれている場合、差分が発生しない。このため、圧縮データのデータ量を更に削減することができる（つまり、量子化ステップによらず、圧縮率を向上させることができる）。
・エンコーダ１３０において画面内予測を行う場合、一般に、量子化ステップの大きさに応じて、高周波成分をどの程度残すかが決まる。このとき、オブジェクト領域以外の領域に無効化画像データが含まれていると、画面内予測を行う際、予測画像データを隣接画素から生成するにあたり、符号化対象が無効化画像データでない場合の隣接画素から生成するよりも、差分が極めて小さくなる。また、無効化画像データの場合、高周波成分が存在しない。このため、圧縮データのデータ量を更に削減することができる（つまり、量子化ステップによらず、圧縮率を向上させることができる）。
以上の説明から明らかなように、第２の実施形態に係る画像処理装置は、各合計処理強度に対応する設定フィルタを用いて画像データに対して順次フィルタ処理を行い、生成した各処理後画像データに対して順次画像認識処理を行う。これにより、第２の実施形態に係る画像処理装置によれば、画像データの画質を変更した場合の、変更後の各画像データに含まれるオブジェクトの認識精度を算出することができる。
また、第２の実施形態に係る画像処理装置は、認識精度が所定の許容限界となった際の加算処理強度に対応する設定フィルタを用いて画像データに対してフィルタ処理を行い、オブジェクト領域を抽出する。また、第２の実施形態に係る画像処理装置は、無効化画像データから、オブジェクト領域以外の領域を抽出する。更に、抽出したオブジェクト領域の処理後画像データとオブジェクト領域以外の領域の無効化画像データとを結合し、領域別の処理後画像データを生成する。これにより、第２の実施形態に係る画像処理装置によれば、画像データのオブジェクト領域を認識精度が所定の許容限界となる画質に変更し、画像データのオブジェクト領域以外の領域を認識精度が所定の許容限界未満となる画質に変更することができる。
また、第２の実施形態に係る画像処理装置は、領域別の処理後画像データをエンコーダに入力することで、符号化処理を実行させる。これにより、第２の実施形態に係る画像処理装置によれば、エンコーダが領域ごとに量子化ステップを変更することができない場合でも、領域ごとに適切な圧縮レベルで圧縮処理が行われた圧縮データが、エンコーダから出力されることになる。
つまり、第２の実施形態に係る画像処理装置によれば、ＡＩによる画像認識処理に適した圧縮処理を実現することができる。
［第３の実施形態］
上記第２の実施形態では、オブジェクト領域の処理後画像データと、オブジェクト領域以外の領域の無効化画像データとを結合し、領域別の処理後画像データを生成した。これに対して、第３の実施形態では、オブジェクト領域の画像データと、オブジェクト領域以外の領域の無効化画像データとを結合し、領域別の処理後画像データを生成する。以下、第３の実施形態について、上記第２の実施形態との相違点を中心に説明する。
＜画像処理装置の機能構成＞
はじめに、第３の実施形態に係る画像処理装置１２０の機能構成について説明する。図９は、画像処理装置の機能構成の一例を示す第３の図である。上記第２の実施形態において図８を用いて説明した機能構成との相違点は、処理強度変換部３１０、処理強度加算部３２０、フィルタ処理部３３０、画像加工部８２０を有していない点、評価部９１０、画像生成部９２０の機能が異なる点である。
評価部９１０は特定部の一例であり、画像データに対して画像認識処理が行われることで通知された認識結果に基づいて、画像データに含まれるオブジェクトの領域を特定し、画像生成部９２０に通知する。また、評価部９１０は、画像データに対して画像認識処理が行われることで通知された認識結果に基づいて、画像データに含まれるオブジェクトの領域以外の領域を特定し、無効化部８３０に通知する。
無効化部８３０は、予め無効化画像データ（画像データの各画素をゼロにした画像データ）を有しており、当該無効化画像データから、評価部９１０より通知されるオブジェクト領域以外の領域を抽出し、画像生成部９２０に通知する。
画像生成部９２０は変更部の他の一例である。画像生成部９２０は、評価部９１０より通知されるオブジェクト領域を画像データから抽出する。また、画像生成部９２０は、抽出したオブジェクト領域の画像データと、無効化部８３０から通知された、オブジェクト領域以外の領域の無効化画像データとを結合し、領域別の処理後画像データ９３０を生成する。また、画像生成部９２０は、生成した領域別の処理後画像データ９３０を、エンコーダ１３０に入力する。
以上の説明から明らかなように、第３の実施形態に係る画像処理装置は、画像データからオブジェクト領域を抽出し、無効化画像データから、オブジェクト領域以外の領域を抽出する。また、第３の実施形態に係る画像処理装置は、抽出したオブジェクト領域の画像データとオブジェクト領域以外の領域の無効化画像データとを結合し、領域別の処理後画像データを生成する。更に、第３の実施形態に係る画像処理装置は、領域別の処理後画像データをエンコーダに入力することで、符号化処理を実行させる。
これにより、第３の実施形態に係る画像処理装置によれば、エンコーダが領域ごとに量子化ステップを変更することができない場合でも、領域ごとに適切な圧縮レベルで圧縮処理が行われた圧縮データがエンコーダから出力されることになる。
つまり、第３の実施形態に係る画像処理装置によれば、ＡＩによる画像認識処理に適した圧縮処理を実現することができる。
［第４の実施形態］
上記第１乃至第３の実施形態において、処理強度加算部は、全範囲にわたって量子化ステップを上げていった場合に加算される加算処理強度を順次処理強度に加算することで、各合計処理強度を算出した。一方で、全範囲にわたって量子化ステップを上げていった場合に加算される加算処理強度を順次処理強度に加算して各合計処理強度を算出し、対応する設定フィルタを順次設定していくと、フィルタ処理を行う回数が増大する。
このため、第４の実施形態では、一部の加算処理強度のみを順次加算して各合計処理強度を算出し、対応する設定フィルタのみを設定していくことで、フィルタ処理を行う回数を削減する。具体的には、処理対象の画像データが、既に処理済みの画像データと同様の画像データ（同一のオブジェクトが含まれる画像データ）であった場合、第４の実施形態では、各オブジェクトの認識精度が急激に低下するタイミングを予め推定する。そして、推定したタイミングに応じた特定範囲の加算処理強度のみを順次処理強度に加算して、各合計処理強度を算出し、対応する設定フィルタのみを用いてフィルタ処理を行う。これにより、フィルタ処理を行う回数を削減することができる。以下、第４の実施形態について、上記第１乃至第３の実施形態との相違点を中心に説明する。
＜画像処理装置の機能構成＞
はじめに、第４の実施形態に係る画像処理装置１２０の機能構成について説明する。図１０は、画像処理装置の機能構成の一例を示す第４の図である。図３との相違点は、処理強度加算部１０１０、評価部１０２０の機能が異なる点、新たに動き追従部１０３０が追加されている点である。
なお、図１０に示す画像処理装置１２０は、図３に示す画像処理装置１２０と同様の機能を有しつつ、更に、処理対象の画像データに含まれるオブジェクトが、前回の処理対象の画像データに含まれるオブジェクトと同一であった場合の機能が付加されている。そこで、以下では、第４の実施形態において付加された機能について説明する。
処理強度加算部１０１０は、処理対象の画像データが、前回の処理対象の画像データに含まれるオブジェクトと同一であった場合に評価部１０２０から通知される、特定範囲の加算処理強度を取得する。
なお、特定範囲の加算処理強度とは、前回の処理対象の画像データが処理された際、オブジェクトの認識精度が急激に変化する直前のタイミングで、処理強度加算部から通知された設定フィルタに対応する加算処理強度の前後の加算処理強度を指す。したがって、例えば、画像データ内に３つのオブジェクトが含まれていた場合、評価部１０２０からは、特定範囲の加算処理強度が３種類通知されることになる。
また、処理強度加算部１０１０は、取得した特定範囲の加算処理強度それぞれを、処理強度変換部３１０より通知された処理強度に順次加算し、合計処理強度をそれぞれ算出する。
また、処理強度加算部１０１０は、算出した各合計処理強度に対応する設定フィルタを、順次フィルタ処理部３３０に通知する。
評価部１０２０は、処理対象の画像データに対して画像認識処理が行われることで通知された認識結果に基づいて、処理対象の画像データに含まれるオブジェクトの領域及びオブジェクト領域以外の領域を特定し、画像加工部３６０に通知する。また、評価部１０２０は、オブジェクト領域の情報を、動き追従部１０３０に通知し、動き追従部１０３０より追従結果を取得する。
なお、追従結果とは、処理対象の画像データに含まれるオブジェクトと同一のオブジェクトが、前回の処理対象の画像データに含まれていたか否かを示す情報である。
評価部１０２０は、動き追従部１０３０より、同一のオブジェクトが含まれるとの追従結果を受信した場合、特定範囲の加算処理強度を処理強度加算部１０１０に通知する。具体的には、評価部１０２０は、前回の処理対象の画像データに対して画像認識処理が行われた際に、認識精度が急激に低下した直前のタイミングで、処理強度加算部１０１０から通知された設定フィルタ（加算処理強度）を特定する。そして、評価部１０２０は、特定した設定フィルタに対応する加算処理強度の前後の加算処理強度を指定することで、特定範囲の加算処理強度を、処理強度加算部１０１０に通知する。
また、評価部１０２０は、特定範囲の加算処理強度を通知したことに応じて、画像認識部３４０より順次通知される認識結果に含まれるオブジェクトの認識精度を監視し、オブジェクトの認識精度が急激に変化したか否かを判定する。
また、評価部１０２０は、認識精度が急激に低下した直前のタイミングに対応する設定フィルタ（加算処理強度）を特定し、オブジェクト領域と対応付けて画像加工部３６０に通知する。
動き追従部１０３０は、評価部１０２０から通知された、処理対象の画像データにおけるオブジェクト領域と、前回の処理対象の画像データにおけるオブジェクト領域と、を比較する。
また、動き追従部１０３０は、比較の結果、オブジェクトが一致すると判定した場合、同一のオブジェクトが含まれるとの追従結果を、評価部１０２０に通知する。
また、動き追従部１０３０は、比較の結果、オブジェクトが一致しないと判定した場合、同一のオブジェクトが含まれないとの追従結果を、評価部１０２０に通知する。
＜領域別の処理後画像データの生成処理の具体例＞
次に、第４の実施形態に係る画像処理装置１２０による領域別の処理後画像データの生成処理の具体例について、図１１及び図１２を用いて説明する。図１１及び図１２は、画像処理装置による領域別の処理後画像データの生成処理の具体例を示す第２及び第３の図である。
図１１において、軸１１５０は時間軸であり、連続する３つの画像データ（画像データ４００、１１００＿１、１１００＿２）が、それぞれの時間に入力された様子を示している。
図１１に示すように、画像データ４００には、３つのオブジェクト（オブジェクトＡ～オブジェクトＣ）が含まれており、画像データ１１００＿１、１１００＿２にも、同一のオブジェクトが含まれているとする。
また、図１１に示すように、画像データ４００が処理対象の画像データであった場合、
・ＱＰ１～ＱＰ１５に相当する加算処理強度が順次加算される過程で、オブジェクトＡに対する認識精度が許容限界となった際の設定フィルタ（加算処理強度）として、ＱＰ１４に対応する設定フィルタ（加算処理強度）が決定され、
・ＱＰ１６～ＱＰ２５に相当する加算処理強度が順次加算される過程で、オブジェクトＢに対する認識精度が許容限界となった際の設定フィルタ（加算処理強度）として、ＱＰ２４に対応する設定フィルタ（加算処理強度）が決定され、
・ＱＰ２６～ＱＰ３５に相当する加算処理強度が順次加算される過程で、オブジェクトＣに対する認識精度が許容限界となった際の設定フィルタ（加算処理強度）として、ＱＰ３４に対応する設定フィルタ（加算処理強度）が決定されたこと、
を示している。なお、図１２において、符号１２０１は、画像加工部３６０が、画像データ４００に対してフィルタ処理を行う際に用いる各設定フィルタ（加算処理強度）を示したものである。
一方、画像データ１１００＿１が処理対象の画像データであった場合、
・特定範囲の加算処理強度（ＱＰ１０～ＱＰ１５に相当する加算処理強度）が順次加算される過程（図１２の点線矩形１２１１）で、オブジェクトＡに対する認識精度が許容限界となった際の設定フィルタとして、ＱＰ１４に対応する設定フィルタが決定され、
・特定範囲の加算処理強度（ＱＰ２０～ＱＰ２５に相当する加算処理強度）が順次加算される過程（図１２の点線矩形１２１２）で、オブジェクトＢに対する認識精度が許容限界となった際の設定フィルタとして、ＱＰ２４に対応する設定フィルタが決定され、
・特定範囲の加算処理強度（ＱＰ３０～ＱＰ３５に相当する加算処理強度）が順次加算される過程（図１２の点線矩形１２１３）で、オブジェクトＣに対する認識精度が許容限界となった際の設定フィルタとして、ＱＰ３４に対応する設定フィルタが決定されたこと、
を示している。なお、図１２において、符号１２０２は、画像加工部３６０が、画像データ１１００＿１に対してフィルタ処理を行う際の設定フィルタ（加算処理強度）が決定される前の状態を示している。一方、符号１２０３は、決定された後の状態を示している。
同様に、画像データ１１００＿２が処理対象の画像データであった場合、
・特定範囲の加算処理強度（ＱＰ１０～ＱＰ１５に相当する加算処理強度）が順次加算される過程で、オブジェクトＡに対する認識精度が許容限界となった際の設定フィルタとして、ＱＰ１４に対応する設定フィルタが決定され、
・特定範囲の加算処理強度（ＱＰ２０～ＱＰ２５に相当する加算処理強度）が順次加算される過程で、オブジェクトＢに対する認識精度が許容限界となった際の設定フィルタとして、ＱＰ２４に対応する設定フィルタが決定され、
・特定範囲の加算処理強度（ＱＰ３０～ＱＰ３５に相当する加算処理強度）が順次加算される過程で、オブジェクトＣに対する認識精度が許容限界となった際の設定フィルタとして、ＱＰ３４に対応する設定フィルタが決定されたこと、
ことを示している。
このように、第４の実施形態によれば、処理強度加算部が一部の加算処理強度のみを順次加算して各合計処理強度を算出するため、フィルタ処理を行う回数を大幅に削減することができる。
＜圧縮処理システムによる圧縮処理の流れ＞
次に、第４の実施形態に係る圧縮処理システム１００による圧縮処理の流れについて説明する。図１３は、圧縮処理システムによる圧縮処理の流れの一例を示す第３のフローチャートである。図６に示した第１のフローチャートとの相違点は、ステップＳ１３０１～Ｓ１３０７である。
ステップＳ１３０１において、画像処理装置１２０の動き追従部１０３０は、処理対象の画像データに含まれるオブジェクトが、前回の処理対象の画像データに含まれるオブジェクトと一致するか否かを判定する。
ステップＳ１３０１において、一致しないと判定された場合には（ステップＳ１３０１においてＮＯの場合には）、ステップＳ１３０２に進む。
ステップＳ１３０２において、画像処理装置１２０の処理強度加算部１０１０は、全範囲にわたって量子化ステップを上げていった場合に加算される加算処理強度に対応する設定フィルタを、順次、評価部１０２０に通知する。
ステップＳ１３０４において、画像処理装置１２０の処理強度加算部１０１０は、処理強度に、全範囲にわたって量子化ステップを上げていった場合に加算される加算処理強度を順次加算することで合計処理強度をそれぞれ算出する。また、画像処理装置１２０のフィルタ処理部３３０は、各合計処理強度に対応する設定フィルタを用いて、画像データに対して順次フィルタ処理を行い、処理後画像データをそれぞれ生成する。
ステップＳ１３０５において、画像処理装置１２０の画像認識部３４０は、各処理後画像データに対して順次画像認識処理を行い、認識結果をそれぞれ出力する。
ステップＳ１３０６において、画像処理装置１２０の評価部１０２０は、各認識結果に含まれるオブジェクトの認識精度を監視し、オブジェクトの認識精度が急激に低下したかを判定する。
ステップＳ１３０７において、画像処理装置１２０の評価部１０２０は、認識精度が急激に低下した直前の加算処理強度に対応する設定ファイルを、オブジェクト領域と対応付けて画像加工部３６０に通知する。その後、図７に進む。
一方、ステップＳ１３０１において、一致すると判定された場合には（ステップＳ１３０１においてＹＥＳの場合には）、ステップＳ１３０３に進む。
ステップＳ１３０３において、画像処理装置１２０の評価部１０２０は、特定範囲の加算処理強度を処理強度加算部１０１０に通知する。
ステップＳ１３０４において、画像処理装置１２０の処理強度加算部１０１０は、処理強度に、特定範囲の加算処理強度を順次加算することで、合計処理強度をそれぞれ算出する。また、画像処理装置１２０のフィルタ処理部３３０は、各合計処理強度に対応する設定フィルタを用いて、画像データに対して順次フィルタ処理を行い、処理後画像データをそれぞれ生成する。
ステップＳ１３０５において、画像処理装置１２０の画像認識部３４０は、各処理後画像データに対して順次画像認識処理を行い、認識結果をそれぞれ出力する。
ステップＳ１３０６において、画像処理装置１２０の評価部１０２０は、各認識精度に含まれるオブジェクトの認識精度を監視し、オブジェクトの認識精度が急激に低下したかを判定する。
ステップＳ１３０７において、画像処理装置１２０の評価部１０２０は、認識精度が急激に低下した直前の加算処理強度に対応する設定フィルタを、オブジェクト領域と対応付けて画像加工部３６０に通知する。その後、図７に進む。
以上の説明から明らかなように、第４の実施形態に係る画像処理装置は、特定範囲の加算処理強度が加算されてなる各合計処理強度に対応する設定フィルタを用いて、画像データに対して順次フィルタ処理を行う。また、第４の実施形態に係る画像処理装置は、生成した各処理後画像データに対して順次画像認識処理を行う。これにより、第４の実施形態に係る画像処理装置によれば、画像データの画質を特定範囲で変更した場合の、変更後の各画像データに含まれるオブジェクトの認識精度を算出することができる。
この結果、第４の実施形態に係る画像処理装置によれば、上記第１の実施形態と同様の効果を享受できるとともに、フィルタ処理を行う回数を削減することができる。
［第５の実施形態］
上記第１乃至第４の実施形態では、エンコーダ１３０にて符号化処理が行われた圧縮データを、ストレージ装置１４０に格納する場合について説明した。これに対して、第４の実施形態では、エンコーダ１３０にて符号化処理が行われた圧縮データを、ネットワークを介してデコーダに伝送する。
なお、エンコーダ１３０にて符号化処理が行われた圧縮データをデコーダに伝送する場合、圧縮処理システムではビットレートを制御し、仮想バッファにおいてオーバフローが発生することがないよう、量子化ステップを変更する。
一方で、量子化ステップが変更され、変更後の量子化ステップを用いて符号化処理が行われた場合、デコーダにて復号処理が行われた復号データの認識精度が許容限界を下回ることが考えられる。そこで、第５の実施形態では、エンコーダ１３０において量子化ステップが変更される可能性が生じた場合に、認識精度の観点から、量子化ステップの変更が適切か否かを評価する。以下、第５の実施形態について、上記第１乃至第４の実施形態との相違点を中心に説明する。
＜圧縮処理システムのシステム構成＞
はじめに、第５の実施形態に係る画像処理装置を含む、圧縮処理システム全体のシステム構成について説明する。図１４は、圧縮処理システムのシステム構成の一例を示す第２の図である。
図１４に示すように、圧縮処理システム１４００は、撮像装置１１０、画像処理装置１４１０、制御装置１４２０、エンコーダ１４３０、デコーダ１４４０を有する。なお、エンコーダ１４３０とデコーダ１４４０とは、ネットワーク１４５０を介して通信可能に接続される。
このうち、撮像装置１１０は、上記第１の実施形態において図１を用いて説明済みであるため、ここでは説明を省略する。
画像処理装置１４１０は、画像認識処理を行う学習済みモデルを有する。画像処理装置１４１０は、撮像装置１１０より送信された画像データをエンコーダ１４３０に通知する。また、画像処理装置１４１０は、制御装置１４２０より、変更予定の量子化ステップを取得し、当該量子化ステップを用いてエンコーダ１４３０が画像データに対して符号化処理を行った場合の、復号データの画質を評価する。また、画像処理装置１４１０は、評価結果を制御装置１４２０に通知する。
制御装置１４２０は、エンコーダ１４３０にて符号化処理が行われた圧縮データをデコーダに伝送する際、ビットレートを制御する。制御装置１４２０は、エンコーダ１４３０より、ビットレート制御に必要な情報を受け取り、量子化ステップ（仮想バッファにおけるオーバフローの発生を回避するための量子化ステップ）を算出する。また、算出した量子化ステップを、画像処理装置１４１０に通知し、画像処理装置１４１０より評価結果を取得する。また、制御装置１４２０は、取得した評価結果に応じた量子化ステップをエンコーダ１４３０に設定する。
エンコーダ１４３０は、画像処理装置１４１０より通知された画像データに対して、制御装置１４２０により設定された量子化ステップを用いて符号化処理を行い、圧縮データを生成する。また、エンコーダ１４３０は生成した圧縮データを、ネットワーク１４５０を介してデコーダ１４４０に伝送する。
デコーダ１４４０は、エンコーダ１４３０より伝送された圧縮データに対して復号処理を行い、復号データを生成する。
＜画像処理装置の機能構成＞
次に、第５の実施形態に係る画像処理装置１４１０の機能構成について説明する。図１５は、画像処理装置の機能構成の一例を示す第５の図である。図１５に示すように、画像処理装置１４１０は、処理強度変換部１５１０、フィルタ処理部１５２０、画像認識部３４０、評価部１５３０として機能する。
処理強度変換部１５１０は、制御装置１４２０より通知された、変更予定の量子化ステップを取得し、処理強度に変換する。また、処理強度変換部１５１０は、処理強度に対応する設定フィルタを、フィルタ処理部１５２０に通知する。
フィルタ処理部１５２０は、処理強度変換部１５１０より通知された設定フィルタを用いて、画像データに対してフィルタ処理を行い、処理後画像データを画像認識部３４０に通知する。
画像認識部３４０は、上記第１の実施形態において図３を用いて説明済みであるため、ここでは説明を省略する。
評価部１５３０は、処理後画像データに対して画像認識処理が行われることで通知された認識結果に基づいて、画像データに含まれるオブジェクトの認識精度が所定の許容限界以上であるか否かを判定する。
また、評価部１５３０は、認識精度が所定の許容限界以上であると判定した場合には、変更予定の量子化ステップを適用しても、所定の許容限界以上の認識精度が得られるとの評価結果を、制御装置１４２０に通知する。
また、評価部１５３０は、認識精度が所定の許容限界未満であると判定した場合には、変更予定の量子化ステップを適用した場合、許容限界以上の認識精度が得られなくなるとの評価結果を制御装置１４２０に通知する。
＜圧縮処理システムによる圧縮処理の流れ＞
次に、圧縮処理システム１４００による圧縮処理の流れについて説明する。図１６は、圧縮処理システムによる圧縮処理の流れの一例を示す第４のフローチャートである。
ステップＳ１６０１において、画像処理装置１４１０のフィルタ処理部１５２０は、画像データを取得する。
ステップＳ１６０２において、画像処理装置１４１０の処理強度変換部１５１０は、制御装置１４２０より変更予定の量子化ステップが通知されたか否かを判定することで、量子化ステップの変更が必要か否かを判定する。
ステップＳ１６０２において、変更予定の量子化ステップが通知されていない場合には、量子化ステップの変更が必要でないと判定し（ステップＳ１６０２においてＮＯと判定し）、ステップＳ１６１０に進む。
一方、ステップＳ１６０２において、変更予定の量子化ステップが通知された場合には、量子化ステップの変更が必要であると判定し（ステップＳ１６０２においてＹＥＳと判定し）、ステップＳ１６０３に進む。
ステップＳ１６０３において、画像処理装置１４１０の処理強度変換部１５１０は、変更予定の量子化ステップを取得し、処理強度を算出する。また、処理強度変換部１５１０は、算出した処理強度に対応する設定フィルタをフィルタ処理部１５２０に通知する。
ステップＳ１６０４において、画像処理装置１４１０のフィルタ処理部１５２０は、通知された設定フィルタを用いて、画像データに対してフィルタ処理を行い、処理後画像データを生成する。
ステップＳ１６０５において、画像処理装置１４１０の画像認識部３４０は、生成された処理後画像データに対して画像認識処理を行い、認識結果を出力する。
ステップＳ１６０６において、画像処理装置１４１０の評価部１５３０は、出力された認識結果が、所定の許容限界以上の認識精度を有するか否かを判定する。
ステップＳ１６０６において、所定の許容限界以上の認識精度を有していないと判定した場合には（ステップＳ１６０６においてＮＯの場合には）、ステップＳ１６０９に進む。
一方、ステップＳ１６０６にいて、所定の許容限界以上の認識精度を有していると判定した場合には（ステップＳ１６０６においてＹＥＳの場合には）、ステップＳ１６０７に進む。
ステップＳ１６０７において、画像処理装置１４１０の評価部１５３０は、量子化ステップの変更が可能と評価し、評価結果を制御装置１４２０に通知する。
ステップＳ１６０８において、制御装置１４２０は、変更予定の量子化ステップに変更した変更後の量子化ステップをエンコーダ１４３０に通知する。また、エンコーダ１４３０は、制御装置１４２０より通知された量子化ステップを用いて符号化処理を行い、圧縮データをデコーダ１４４０に伝送する。
ステップＳ１６０９において、画像処理装置１４１０の評価部１５３０は、量子化ステップの変更が不可と評価し、評価結果を制御装置１４２０に通知する。
ステップＳ１６１０において、制御装置１４２０は、変更予定前の量子化ステップをエンコーダ１４３０に通知する。また、エンコーダ１４３０は、変更予定前の量子化ステップを用いて符号化処理を行い、圧縮データをデコーダ１４４０に伝送する。
以上の説明から明らかなように、第５の実施形態に係る圧縮処理システムは、エンコーダにおいて量子化ステップを変更する可能性が生じた場合に、画像処理装置が、復号データの認識精度の観点から、量子化ステップの変更可否を評価する。また、第５の実施形態に係る圧縮処理システムは、画像処理装置による評価結果に応じた量子化ステップで、エンコーダが符号化処理を行う。
これにより、第５の実施形態によれば、ＡＩによる画像認識処理に適した圧縮処理を実現することができる。
なお、上記第５の実施形態において、画像処理装置１４１０は、取得した画像データをエンコーダ１４３０に通知するものとして説明した。しかしながら、上記第１乃至第４の実施形態同様、画像処理装置１４１０は、取得した画像データから処理後画像データを生成し、生成した処理後画像データをエンコーダ１４３０に通知してもよい。
［その他の実施形態］
上記各実施形態では、画像データにおいてオブジェクトが含まれる領域をオブジェクト領域と特定したが、オブジェクト領域の特定方法はこれに限定されない。例えば、オブジェクトが含まれる領域と、オブジェクトが含まれる領域の周辺の領域と、を含む領域を、オブジェクト領域として特定してもよい。
また、上記各実施形態では、処理強度加算部が、合計処理強度に対応する設定フィルタを特定し、フィルタ処理部がフィルタ処理を行うことで、画像データの画質を変更するものとして説明した。しかしながら、画像データの画質の変更方法はこれに限定されない。
例えば、量子化ステップと、設定フィルタとの関係を予め統計的に求めておくことで、設定フィルタを特定してもよい。また、量子化ステップと設定フィルタとの関係は、例えば、
・量子化ステップを用いて符号化処理が行われた圧縮データに対して復号処理を行った際の復号データと、
・設定フィルタを用いて画像データに対してフィルタ処理が行われた際の処理後画像データと、
を学習することで求めてもよい。その際、復号データの画質及び処理後画像データの画質は、例えば、ＰＳＮＲ（Peak Signal to Noise Ratio）やＳＳＩＭ（Structural Similarity）等の指標を用いて評価してもよい。
また、上記各実施形態では、画像処理装置とエンコーダとを別体としたが、画像処理装置とエンコーダとは、一体の装置としてもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：圧縮処理システム
１２０ ：画像処理装置
１３０ ：エンコーダ
３１０ ：処理強度変換部
３２０ ：処理強度加算部
３３０ ：フィルタ処理部
３４０ ：画像認識部
３５０ ：評価部
３６０ ：画像加工部
３７０ ：画像生成部
８１０ ：評価部
８２０ ：画像加工部
８３０ ：無効化部
８４０ ：画像生成部
９１０ ：評価部
９２０ ：画像生成部
１０１０ ：処理強度加算部
１０２０ ：評価部
１０３０ ：動き追従部
１４１０ ：画像処理装置
１４２０ ：制御装置
１４３０ ：エンコーダ
１４４０ ：デコーダ
１５１０ ：処理強度変換部
１５２０ ：フィルタ処理部
１５３０ ：評価部

Claims (9)

  1. 画像データの画質を変更した場合の、変更後の各画像データに含まれるオブジェクトの認識精度を算出する算出部と、
    前記画像データにおいて、前記オブジェクトが含まれる領域を、前記認識精度が所定の許容限界となる画質に変更し、前記オブジェクトが含まれる領域以外の領域を、前記認識精度が所定の許容限界未満となる画質に変更する変更部と、を有し、
    前記変更部は、変更後の前記画像データを、エンコーダに入力する画像処理装置。
  2. 前記画像データに対して画像認識処理を行った場合の認識結果に基づいて、前記オブジェクトが含まれる領域を特定する、請求項１に記載の画像処理装置。
  3. 前記変更部は、前記画像データにおいて、前記オブジェクトが含まれる領域以外の領域を、所定の画質に変更する、請求項２に記載の画像処理装置。
  4. 前記変更部は、前記画像データにおいて、前記オブジェクトが含まれる領域以外の領域を無効化する、請求項２に記載の画像処理装置。
  5. 前記画像データの画質を特定範囲で変更した場合の、前記認識精度の変化に基づいて、前記認識精度が所定の許容限界となる画質を評価する評価部を更に有する、請求項１に記載の画像処理装置。
  6. 前記画像データに含まれるオブジェクトが、既に画質が変更された画像データに含まれるオブジェクトと同じである場合、前記評価部は、前記所定の許容限界に応じた特定範囲で画質を変更した場合の、前記認識精度の変化に基づいて、前記認識精度が所定の許容限界となる画質を評価する、請求項５に記載の画像処理装置。
  7. 前記エンコーダにおいて用いられる量子化ステップを制御する制御装置から、変更予定の量子化ステップに関する情報を取得した場合、前記算出部は、該量子化ステップに関する情報に基づいて画像データの画質を変更した場合の、変更後の画像データに含まれるオブジェクトの認識精度を算出し、
    前記評価部は、算出された認識精度が所定の許容限界以上であるか否かの評価結果を、前記制御装置に通知する、請求項５に記載の画像処理装置。
  8. 画像データの画質を変更した場合の、変更後の各画像データに含まれるオブジェクトの認識精度を算出し、
    前記画像データにおいて、前記オブジェクトが含まれる領域を、前記認識精度が所定の許容限界となる画質に変更し、前記オブジェクトが含まれる領域以外の領域を、前記認識精度が所定の許容限界未満となる画質に変更し、
    変更後の前記画像データを、エンコーダに入力する、
    処理をコンピュータが実行する画像処理方法。
  9. 画像データの画質を変更した場合の、変更後の各画像データに含まれるオブジェクトの認識精度を算出し、
    前記画像データにおいて、前記オブジェクトが含まれる領域を、前記認識精度が所定の許容限界となる画質に変更し、前記オブジェクトが含まれる領域以外の領域を、前記認識精度が所定の許容限界未満となる画質に変更し、
    変更後の前記画像データを、エンコーダに入力する、
    処理をコンピュータに実行させるための画像処理プログラム。
JP2022556715A 2020-10-13 2020-10-13 画像処理装置、画像処理方法及び画像処理プログラム Active JP7491388B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/038601 WO2022079791A1 (ja) 2020-10-13 2020-10-13 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2022079791A1 JPWO2022079791A1 (ja) 2022-04-21
JP7491388B2 true JP7491388B2 (ja) 2024-05-28

Family

ID=81207798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022556715A Active JP7491388B2 (ja) 2020-10-13 2020-10-13 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20230206611A1 (ja)
JP (1) JP7491388B2 (ja)
WO (1) WO2022079791A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186685A (ja) 2011-03-07 2012-09-27 Hitachi Consumer Electronics Co Ltd 画像認識表示システム及びこれに用いるカメラ
JP2016025494A (ja) 2014-07-22 2016-02-08 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP2016046707A (ja) 2014-08-25 2016-04-04 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
WO2020080141A1 (ja) 2018-10-19 2020-04-23 ソニー株式会社 センサ装置、信号処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186685A (ja) 2011-03-07 2012-09-27 Hitachi Consumer Electronics Co Ltd 画像認識表示システム及びこれに用いるカメラ
JP2016025494A (ja) 2014-07-22 2016-02-08 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP2016046707A (ja) 2014-08-25 2016-04-04 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
WO2020080141A1 (ja) 2018-10-19 2020-04-23 ソニー株式会社 センサ装置、信号処理方法

Also Published As

Publication number Publication date
WO2022079791A1 (ja) 2022-04-21
JPWO2022079791A1 (ja) 2022-04-21
US20230206611A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
KR102517615B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
US10469840B2 (en) Motion picture encoding apparatus and method thereof
JP4450828B2 (ja) ビデオコーディングがテクスチャ解析およびテクスチャ合成を含むビデオコーディングのための方法およびアセンブリと、対応するコンピュータプログラムおよび対応するコンピュータで読み込み可能な記録媒体
Fischer et al. Video coding for machines with feature-based rate-distortion optimization
CN103959769B (zh) 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
JP2014082639A (ja) 画像符号化装置およびその方法
BR112014004920B1 (pt) Decisões de filtro de desbloqueio de baixa complexidade
JP7318314B2 (ja) 符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法
KR20130124285A (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 프로그램 및 집적 회로
US9369703B2 (en) Method and apparatus for SSIM-based bit allocation
JP2013526199A (ja) 予測誤差から導出されるブロック形状を用いた予測符号化
US10652549B2 (en) Video coding device, video coding method, video decoding device, and video decoding method
US20220284632A1 (en) Analysis device and computer-readable recording medium storing analysis program
US9648336B2 (en) Encoding apparatus and method
JP7491388B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Ma et al. Surveillance video coding with vehicle library
JP7364936B2 (ja) 符号化方法、符号化装置、及びプログラム
Menon et al. ETPS: Efficient two-pass encoding scheme for adaptive live streaming
US20130343449A1 (en) Image encoding apparatus and its control method
JP7444176B2 (ja) 画像処理システム及び画像処理プログラム
US20200296358A1 (en) Method and device for encoding image according to low-quality coding mode, and method and device for decoding mage
WO2022079792A1 (ja) ビットレート制御システム、ビットレート制御方法及びビットレート制御プログラム
Egge et al. Using Daala intra frames for still picture coding
JP2020150441A (ja) 画像パディング方法、画像パディング装置、及びプログラム
Li et al. A novel weight-based URQ scheme for perceptual video coding of conversational video in HEVC

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150