JP7479137B2 - 信号処理装置および信号処理方法、システム並びにプログラム - Google Patents

信号処理装置および信号処理方法、システム並びにプログラム Download PDF

Info

Publication number
JP7479137B2
JP7479137B2 JP2019219076A JP2019219076A JP7479137B2 JP 7479137 B2 JP7479137 B2 JP 7479137B2 JP 2019219076 A JP2019219076 A JP 2019219076A JP 2019219076 A JP2019219076 A JP 2019219076A JP 7479137 B2 JP7479137 B2 JP 7479137B2
Authority
JP
Japan
Prior art keywords
image
unit
block
recovery
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019219076A
Other languages
English (en)
Other versions
JP2021090135A5 (ja
JP2021090135A (ja
Inventor
大 宮内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019219076A priority Critical patent/JP7479137B2/ja
Priority to US17/108,538 priority patent/US11928843B2/en
Publication of JP2021090135A publication Critical patent/JP2021090135A/ja
Publication of JP2021090135A5 publication Critical patent/JP2021090135A5/ja
Application granted granted Critical
Publication of JP7479137B2 publication Critical patent/JP7479137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3066—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction by means of a mask or a bit-map
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6011—Encoder aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、圧縮済み画像データを復号し、復号画像の画質回復を行う信号処理技術に関する。
近年、ニューラルネットワークを用いたディープラーニング技術は幅広い技術分野で応用されており、画像の高画質化もその応用の１つである。デジタルカメラ等で撮影した画像データは、記録枚数増大のため、記録前に画像圧縮を行う。画質とデータ量はトレードオフの関係にあり、高圧縮によりデータ量を小さくするほど画質は劣化する。そこで、圧縮済み画像データの復号後の復号画像に、ディープラーニングを用いた高画質化処理を適用することは、より高い圧縮率で主観画質の劣化を小さくする方法の１つとなりうる。
しかしながら、ディープラーニングを利用した画像回復処理（＝推論処理）を行う時間は無視できず、画像回復性能を向上させるべくより深いネットワークにするほどその処理時間は長く、ユーザのストレスになる。なお、ディープラーニングの目的が画像回復であることから、推論処理と画像回復処理は等価として扱う。
また、ネットワークを深くする方法とは別に、画像回復対象の特徴ごとに学習し、その特徴ごとに予め学習済みの係数パラメータを用いて画像回復処理を行うことで、画像回復性能が高まることが知られている。
特許文献１では、圧縮に利用する量子化テーブルごとに復号画質を改善するための係数パラメータを学習し、実際に符号化で使用された量子化テーブルで学習した係数パラメータを選択して画像回復処理を行う技術が開示されている。特許文献１によれば、量子化テーブルごとに特化した係数パラメータを用いて画像回復処理を行うことで、回復性能を高めることが可能である。
また、ディープラーニング技術は学習すべきパターンが少ないほど精度の高い推論処理ができる。例えば、ディープラーニング技術が広く応用されている画像認識を例にとれば、犬だけを認識するより、犬と猫を認識する方が、性能を保つためにより複雑なニューラルネットワークモデルが必要になる。この事例を画像回復処理に当てはめると、学習すべきパターンとは画素値の配列パターンである、画像のパターン数と言える。言い換えれば、無数に存在し得る画像であるものの、学習すべき画像の種類ができるだけ少ないほど画像回復はし易く、例えばビット深度が小さい画像ほど画像回復させ易い。
特許文献２では、画像特徴を表す特徴画像に、所定のビットマスクを施し、物体識別の能力の高いビットを選択して特徴量とし、特徴量を符号化することで、弱判定器で用いるルックアップテーブルのサイズを削減する技術が開示されている。特許文献２によれば、機械学習に基づいた物体検出に要するパラメータ数を削減することが可能である。
特開平４－３０２２７２号公報 特開２０１５－２２５４６９号公報
しかしながら、特許文献１の技術を用いることで回復性能は高まるものの、推論処理時間は短縮することができない。また、特許文献２の技術を用いても、画像のパターン数を減らすことはできないため、画像回復性能を向上できない。
本発明は、上記課題に鑑みてなされ、画像回復処理時間を削減し、画像回復後の画質を向上させることを目的とする。
上記課題を解決し、目的を達成するために、本発明の信号処理装置は、非可逆圧縮された画像データを復号して復号画像を生成する復号部と、前記復号画像に対して画質の劣化を回復するための回復処理を行う回復処理部と、を有し、前記回復処理部は、前記復号画像を所定の単位に分割した各ブロックの複数の画像情報の組み合わせから各ブロックを分類し、分類した結果である各ブロックの特定の画像情報からブロックごとの前記回復処理に用いるパラメータを決定し、前記分類した結果が所定の条件を満たすブロックを前記回復処理の対象であると判定し、前記回復処理の対象と判定されたブロックに、前記ブロックごとに決定された前記パラメータを用いて前記回復処理を行う。
本発明によれば、画像回復処理時間を削減し、画像回復後の画質を向上させることができる。
実施形態１の信号処理装置の構成例を示すブロック図。 実施形態１の画像回復処理に利用する係数パラメータの取得単位と学習方法を説明する図。 実施形態１のフィルタ処理部の学習方法を示す図。 実施形態１の回復処理部の処理を示すフローチャート。 実施形態２の信号処理装置の構成例を示すブロック図。 実施形態２の適応量子化のイメージを示す図 実施形態３の信号処理装置の構成例を示すブロック図。 実施形態４の信号処理装置の構成例を示すブロック図。 実施形態５の適応量子化のイメージを示す図。 実施形態５のブロック分割部の処理フローチャート。 実施形態６のパラメータごとの画質回復量の並び順を示す図。 実施形態７の信号処理装置の構成例を示すブロック図。 実施形態８のシステム構成例を示すブロック図。 実施形態９の信号処理装置の構成例を示すブロック図。 実施形態９の圧縮データのデータ構造を示す図。 実施形態９の削除ビットと画像加工例を示す図。 実施形態９の削除ビット判定部の処理を示すフローチャート。 実施形態９の局所復号ブロックと原画像ブロック画素値の例を示す図。 実施形態９の学習器の構成例を示すブロック図。 実施形態１０の信号処理装置の構成例を示すブロック図。 実施形態１０の圧縮済み画像データのデータ構造を示す図。 実施形態１０の画像情報判定部の処理を示すフローチャート。 実施形態１０のＬＳＢのマスク例を示す図。 実施形態１１のシステム構成例を示すブロック図。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
本実施形態の信号処理装置は、デジタル一眼レフカメラ、ネットワークカメラ、監視カメラ、医療用カメラ、車載カメラなどの撮像装置、カメラ機能付きのスマートフォンやタブレットＰＣなどの通信装置、パーソナルコンピュータ（ＰＣ）やサーバなどの情報処理装置に適用される。
以下に説明する実施形態１～８は、画質回復画像を生成する回復処理部における推論処理に要する処理時間を短縮するための構成例であり、実施形態９～１１は、画質回復画像を生成する回復処理部における画質回復性能を向上するための構成例である。
［実施形態１］以下に、実施形態１について説明する。
＜装置構成＞
まず、図１を参照して、本実施形態の信号処理装置の構成について説明する。
復号部２００は、圧縮済み画像データを復号し、復号画像を生成する。復号画像は、符号化歪により圧縮前の原画像より画像品質が劣化しているものとする。
なお、圧縮済み画像データは、静止画像でも、動画像でもよく、ＹＵＶ画像やＲＡＷ画像など、画像の形式は問わない。ただし、後述する係数パラメータは、画像の形式ごとに用意されていることが望ましい。
回復処理部１００は、復号画像に画像回復処理を行い、画質回復画像を生成する。なお、画質回復画像は、復号画像と同一の画像形式である。
以下に、回復処理部１００の構成を説明する。
画像分割部１０１は、復号画像をラスタ順に走査し、所定の単位にブロック分割し、復号画像の左上から右下にかけて順に画像ブロックを生成する。なお、画像分割部１０１による画像分割を復号画像全面にかけてから以降の処理をしても、画像ブロック生成の度に以降の処理をしてもよい。本実施形態においては、画像ブロック生成の度に以降の処理を行うものとし、画像分割部１０１はブロックを生成するのに十分なラインバッファを備えているものとする。
なお、本実施形態では正方ブロック分割を行い、以降の説明の便宜上、ブロックサイズはＮ画素×Ｎ画素とする。
なお、Ｎは１以上の整数とする。なお、本実施形態では正方ブロックで説明を行うが、その限りではなく、正方以外の矩形ブロックに分割してもよい。
また、右端、下端で分割時に端数が生じる解像度の復号画像である場合、各端でミラーリング処理を行うものとする。
なお、ミラーリング処理とは画像端までの画素を用いて、画像端を境に逆になった画像を画像端に付加することで、本来画素が存在しない画像領域を生成する処理で、ミラーリング処理により、右端、下端でもＮ画素×Ｎ画素の画像ブロックを生成できる。
ただし、ブロックの解像度はこれに限るものではなく、画像端の処理も、ミラーリングではなく、０パディングするなど他の方法をとっても良い。
画像情報判定部１０２は、画像分割部１０１で生成された画像ブロックの画像情報を判定し、判定結果を係数パラメータ決定部１０４に通知すると共に、判定済みの画像ブロックをフィルタ処理部１０５或いは画像結合部１０７に通知する。画像情報は、画像ブロックの輝度情報や空間周波数情報などである。
係数パラメータ決定部１０４は、フィルタ処理部１０５でフィルタ処理に用いる１つ以上の係数パラメータを有し、画像情報判定部１０２から通知された判定結果に基づき、係数パラメータを選択してフィルタ処理部１０５に通知する。
フィルタ処理部１０５は、画像情報判定部１０２から通知される画像ブロックと、係数パラメータ決定部１０４から通知される係数パラメータを用いて、画質回復を行うフィルタ処理を実施する。
画像結合部１０７は、フィルタ処理部１０５でフィルタ処理済みの画像ブロックと、フィルタ処理されていない画像ブロックそれぞれを復号画像と同じ座標関係で結合し、画質回復画像を生成する。ミラーリング処理による画質回復画像として不要な画像領域は、画像結合部１０７で破棄する。
なお、本実施形態では、ディープラーニングを用いたフィルタ処理を例示しており、フィルタ処理部１０５はニューラルネットワークを含み、係数パラメータ決定部１０４で決定する係数パラメータは、機械学習により予め学習済みの係数パラメータとする。
フィルタ処理部１０５の処理は、ディープラーニングにおける推論処理に相当し、推論処理によって、画像回復処理が行われ、画像ブロック単位に画質回復画像を生成する。以降、推論処理と画像回復処理という記載は等価として扱う。
なお、上述のニューラルネットワークはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と全結合層で構成されるものとするが、これに限定するものではない。
また上述の係数パラメータは、全結合層では各層のノード間を結ぶエッジごとに持つ重みやバイアス、ＣＮＮではカーネルの重みやバイアスに相当し、本実施形態ではニューラルネットワークの学習により更新されるパラメータ総称して係数パラメータと記載する。
＜係数パラメータの取得単位と学習方法＞
次に、図２を参照して、実施形態１の画像回復処理に利用する係数パラメータの取得単位と学習方法について説明する。
ニューラルネットワークを利用した機械学習は、特定の特徴を有する学習画像セットごとに学習を行うことが有効とされている。
画像回復をターゲットにした場合においても、特定の画像の特徴ごとに学習を行い、画像の特徴ごとに得た予め学習済みのパラメータを用いて推論を行うことで、画像回復性能を高めることができる。
圧縮符号化は、周波数変換を行い周波数領域で符号化処理を行うことから、ＤＣ成分の大小とＡＣ成分の大小は符号化データの劣化の傾向を表す指標ともされ、着目画像の重要な特徴と考えることができる。
そこで、本実施形態では、着目画像ブロックの画素値平均（ＤＣ成分）の大小と分散（ＡＣ成分）の大小の組み合わせで、合計４つの分類を予め行い、学習対象の画像を各分類に振り分けてから学習を行う。
本実施形態では、学習を行う全サンプルの中央値を閾値として、画素値平均と分散それぞれの観点で全サンプルを二分し４つの分類画像セットを用いるものとする。
なお、予め決定する分類方法や分類数に限定はなく、本実施形態で示すＤＣ成分やＡＣ成分を表す指標をそれぞれ３分類以上に分類してもよいし、ＤＣ成分相当の指標では分類を行わず、ＡＣ成分相当の指標のみで分類してもよい。また、ＤＣ成分やＡＣ成分とは別の、第３の指標による分類を行ってもよい。例えば、分散が大きい画像ブロックでも、エッジを有するブロックとノイズの多く乗ったブロックを分類する等である。
図３は、フィルタ処理部１０５の学習方法を示している。
図３において、学習に利用するフィルタ処理部１０５は図１と同一の構成であるが、回復処理部１００に含まれる他の要素は学習において必須ではない。つまり、画像ブロック分割が予めなされ、係数パラメータを得るための学習画像セットが予め用意されていればよい。
最も画質のよい復号画像は、符号化前の原画像の品質であることから、本実施形態における学習は、ニューラルネットワーク出力画像が原画に近づくように係数パラメータにフィードバックを行う処理を繰り返す。
本実施形態において、誤差逆伝搬法により係数パラメータの変化量である勾配を取得し、パラメータ最適化手法として確率的勾配降下法で係数パラメータを更新するものとする。
なお、係数パラメータの更新方法はニューラルネットワークの学習手段の１つであるが、勾配の取得方法やパラメータ最適化手法は他の方式を用いてもよい。
本実施形態では、画質の指標として原画像とニューラルネットワーク出力画像の平均二乗誤差（ｍｓｅ： ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）を用いることとするが、ｍｓｅに限る必要はなく、画質を示す指標であればよい。
以上のように画像ブロックの分類指標を決定し、分類ごとに学習を行い、分類それぞれでニューラルネットワークにおける推論に利用する係数パラメータを取得する。
＜推論実行対象＞
人間の視覚特性では、空間周波数の高い複雑な画像の画質劣化は視認しにくい。また、原画像と復号画像を主観的に比較する際、画素値平均が小さく低輝度な暗い画像特徴を有する画像と、画素値平均が大きく高輝度な明るい画像特徴を有する画像では、原画像と復号画像の画素値平均の差が同一の場合、相対的に画素値平均が大きく明るい画像特徴を有する画像の劣化は視認しにくい。
以上のような人間の視覚特性を鑑みると、画素値平均と分散が大きい画像ブロックの画質回復の優先度は低いと捉えられる。そこで、画素値平均と分散が大きい画像ブロックの推論を行わないことで推論処理の軽量化を図る。処理の詳細は図４で後述する。
＜回復処理部１００の処理＞次に、図４のフローチャートを参照して、回復処理部１００の処理について説明する。
なお、図４の処理は、回復処理部１００の各部が所定の制御プログラムに従って動作することで実現される。
Ｓ４０１で、画像分割部１０１は、復号画像をラスタ順に所定のブロック単位に分割する。なお、画像分割する上での走査はラスタ順でなくともよい。
Ｓ４０２で、画像情報判定部１０２は、着目ブロックの画像情報を判定する。本実施形態では、着目ブロックの画素値平均と分散を算出し、着目ブロックが４つの分類のいずれに該当するかを決定する。
Ｓ４０３で、係数パラメータ決定部１０４は、画像情報判定部１０２で決定した分類結果である着目ブロックの画像情報（輝度情報や空間周波数情報）に基づき、着目ブロックに利用する係数パラメータを決定する。
Ｓ４０４で、画像情報判定部１０２は、着目ブロックの画像情報が回復対象であると判定した場合はＳ４０５へ処理を進め、回復対象ではないと判定した場合はＳ４０６へ処理を進める。本実施形態において、回復対象は、｛画素値平均が小さく、分散が小さい｝、｛画素値平均が大きく、分散が小さい｝、｛画素値平均が小さく、分散が大きい｝の３分類である。なお、本実施形態では上記の３分類を回復対象として説明をするが、回復対象になる分類数に限定はなく、１つでも２つでもよい。
Ｓ４０５で、フィルタ処理部１０５は、係数パラメータ決定部１０４で決定した係数パラメータを用いて、回復対象となった画像ブロックにフィルタ処理を行う。フィルタ処理を行う回復対象は上述の３分類であって、｛画素値平均が大きく、分散が大きい｝画像ブロックはＳ４０５の処理を行わない。
Ｓ４０６で、画像結合部１０７は、着目ブロックを復号画像と同様の形式に結合する。ラスタ順に処理が行われているため、画像分割時と同様の順で画像結合を行えばよい。なお、実際の画像結合の動作は、復号画像と座標位置が揃うように着目ブロックを不図示のメモリに書き込む処理を繰り返す単純なものであり、処理時間はメモリへの通信時間を除いて他の処理に対して無視できる。
Ｓ４０７で、画像結合部１０７は、全ての着目ブロックの結合が完了したと判定した場合は処理を終了し、未完了と判定した場合はＳ４０２に戻り、一連の処理を続ける。
図４に示す処理によれば、主観画質として重要でない画像特徴を有するブロックは回復処理を行わず、主観画質として重要な画像特徴を有するブロックは回復処理を行うことができるため、少ない処理時間で画像回復処理を実現できる。
以上のように、特定の画像ブロックの推論処理を省略することで、主観画質を効率よく回復する回復処理を行うことができる。
［実施形態２］以下に、実施形態２について説明する。
図５は、実施形態２の信号処理装置の構成を示すブロック図であり、図１と同様の構成であるが、復号部２００から、復号画像情報を画像情報判定部１０２へ通知する経路を有する。
非可逆圧縮には量子化処理が行われ、非可逆圧縮済みの画像データを復号する際、非可逆圧縮済み画像データに付随する量子化情報を用いて逆量子化を行い、画像を復元する。
なお、量子化値は、その値が大きいほど量子化誤差が発生し、復号画像の画質が劣化するパラメータである。
また、符号化処理においては、画像ブロックごとに量子化の値を決定する適応量子化処理が行われる。図６は、適応量子化のイメージを示している。図６において、グレーで塗りつぶされた画像ブロックは、量子化が相対的に大きく、そうでないブロックは量子化が相対的に小さいことを表している。
適応量子化は、図６に示すように、画像ブロックごとに量子化の大きさを変更し、主観画質を高める処理である。
本実施形態では、｛画素値平均が大きく、分散が大きい｝画像特徴を有するブロックの量子化値を大きく、そうでない画像特徴を有するブロックの量子化値を小さくする適応量子化が行われているものとする。なお、適応量子化の方法はこの限りではなく、３つ以上の量子化値の組み合わせから構成されてもよい。
本実施形態では、画像情報判定部１０２は、量子化値の大きい画像ブロックはフィルタ処理部１０５へ通知し、そうでないブロックはフィルタ処理部１０５を通さずに画像結合部１０７へ画像ブロックを通知する。
このように、本実施形態は、上述の量子化情報を画像情報判定部１０２が受け取り、量子化が小さく、復号したときに画質が良好な画像ブロックは推論処理を行わない。これは、量子化が小さいと、画質が良好であることに基づいたものである。
以上のように、実施形態２によれば、特定の画像ブロックの推論処理を省略することで、主観画質を効率よく回復する回復処理を行うことができる。
［実施形態３］以下に、実施形態３について説明する。
図７は、実施形態３の信号処理装置の構成例を示している。図７に示す信号処理装置は、図１の構成に加えて、原画像を符号化し符号化データを生成する符号化部７０１を更に有し、符号化により圧縮済み画像データを得る。なお、図１と同様の構成については同一の符号を付している。
以下に、符号化部７０１の構成を説明する。
ブロック分割部７０２は、符号化対象である原画像に対してブロック分割を行う。ブロック分割部７０２は、復号画像をラスタ順に走査し、所定の単位にブロック分割し、復号画像の左上から右下にかけて順に画像ブロックを生成する。なお、画像分割を原画像全面にかけてから以降の処理をしても、画像ブロック生成の度に以降の処理をしてもよい。本実施形態においては、画像ブロック生成の度に以降の処理を行うものとし、ブロック分割部７０２はブロックを生成するのに十分なラインバッファを備えているものとする。
本実施形態では、Ｎ×Ｎ画像ブロックに分割が行われるものとする。なお、この画像ブロックサイズは座標ごとに可変であってもよい。
周波数変換部７０３は、上記画像ブロックごとに、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行い、係数ブロックを得る。なお、周波数変換はＤＣＴに限定されるものではない。
量子化部７０４は、周波数変換後の各係数ブロックに対して量子化を行う。
量子化制御部７０５は、量子化部７０４で量子化に利用する量子化パラメータを係数ブロックごとに決定する。
なお、ＤＣＴによって各係数ブロックは、ＤＣ～ＡＣ成分までの周波数係数に変換されており、量子化部７０４は、量子化制御部７０５で決定した量子化パラメータに基づいて一意に決定する、各ＤＣ，ＡＣ成分に対応する量子化値で量子化を行う。
エントロピー符号化部７０６は、量子化後のブロックごとの量子化済み係数をエントロピー符号化し、圧縮済み画像データを生成する。
なお、符号化部７０１の構成はこの限りではなく、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）をはじめとする動画圧縮規格をサポートする構成であってもよい。
そして、符号化部７０１は、回復処理部１００の画像情報判定部１０２に符号化情報を通知する。
本実施形態では、画像情報判定部１０２で決定する、推論処理を行うか否かを判定する画像情報を、符号化部７０１から得る。
符号化部７０１の符号化処理には、周波数変換部７０３を用いた周波数変換や、量子化部７０４及び量子化制御部７０５を利用した適応量子化技術により符号化効率を高める手法が用いられる。
実施形態１では、ＤＣ成分とＡＣ成分に関連する情報を画像情報判定部１０２により判定したが、本実施形態では、符号化過程で得られるＤＣ成分とＡＣ成分に関連する情報を受け取り、画像情報判定部１０２で流用する。
本実施形態では、符号化部７０１の量子化制御部７０５で、適応量子化を実行するために、画像ブロックの画素値平均と分散を取得し、画像ブロックごとに量子化値を決定し、画像ブロックごとに取得した量子化値を画像情報判定部１０２へ通知する。
画像情報判定部１０２は、実施形態１と同様に、着目画像ブロックが｛画素値平均が大きく、分散が大きい｝場合、推論をしないようにフィルタ処理部１０５を通さずに画像結合部１０７へ画像ブロックを通知する。
この方法によれば、符号化部７０１側から取得した画素値平均と分散を利用し、通知された画像情報と着目画像の座標のマッチングを取るのみで、回復処理部１００は何ら画像情報の算出処理を行うことない。
従って、推論処理を実施するか否かをより短い処理時間で決定することが可能である。
以上のように、実施形態３によれば、特定の画像ブロックの推論処理を省略すると共に、画像情報判定処理を更に削減することで、回復処理部１００の処理時間を短縮しつつ、主観画質を効率よく回復する回復処理を行うことができる。
なお、量子化制御部７０５で決定した量子化値をそのまま画像情報判定部１０２へ通知し、実施形態２と同様に量子化値に基づいて推論処理をするか否かを決定してもよい。
［実施形態４］以下に、実施形態４について説明する。
図８は、実施形態４の信号処理装置の構成例を示している。実施形態３と異なる点は、回復処理部１００の画像情報判定部１０２から、推論処理をするか否かを示す画像判定条件を量子化制御部７０５に通知する点である。
実施形態１～３では、符号化部７０１単体で決定した量子化に基づく圧縮を行い復号された復号画像に対する画像回復処理に関する例を示した。これに対し、本実施形態では、回復処理が行われる前提で、量子化制御を行う例を示す。
なお、本実施形態では、上述の概念に基づき、画質劣化が視認し易い画像として、｛画素値平均が小さく、分散が小さい｝特徴を有する画像ブロックのフィルタ処理は行わないものとする。
そして、回復処理を行わない画像情報を予め符号化部７０１の量子化制御部７０５に通知することで、量子化制御部７０５は、どの画像情報に回復処理が行われないかを認識する。
量子化制御部７０５は、｛画素値平均が小さく、分散が小さい｝画像特徴を有するブロックは、回復が行われないため、予め定めた主観画質を満たす量子化値に決定する。
決定する量子化値は、画質劣化の生じないロスレス相当の量子化値であってもよい。
以上のようにすることで、特定の画像ブロックの推論処理を省略することで回復処理部１００の処理時間を短縮しつつ、主観画質を効率よく回復する回復処理を行うことができる。
なお、一部の画像ブロックに対して量子化値を小さくすると、圧縮済み画像データのデータ量が増大する。
そこで、圧縮済み画像データのデータ量を所定以下に抑えるシステムの場合、｛画素値平均が小さく、分散が小さい｝画像特徴を有するブロック以外の画像ブロックに対する量子化値を大きくする方法は、データ量を抑える１つの解決策である。
このようにすると、所定の画像特徴を有するブロックの量子化値は大きくなるが、後にフィルタ処理による画像回復が見込まれているため、画像全体としては画質を回復することが可能である。
［実施形態５］以下に、実施形態５について説明する。
実施形態５の信号処理装置の構成は図８と同様である。
実施形態４と異なる点は、実施形態５では、ブロック分割の分割サイズを可変とする点である。なお、推論を行わない画像特徴を有するブロックは、実施形態４と同様に、｛画素値平均が小さく、分散が小さい｝画像ブロックとする。
図９は、本実施形態の適応量子化のイメージを示し、図６で利用した画像ブロックサイズの更に垂直水平半分の画像サイズでも分割が可能である例を示している。このようにすることで、より細かい分類を実施することができるため、画像情報判定部１０２の画像情報判定の精度が向上し、より画質回復性能を高めることができる。量子化が小さい箇所は、実施形態４と同様に、予め定めた主観画質を満たす量子化値とすればよい。
図１０は、本実施形態のブロック分割処理を示している。本実施形態では、Ｎ×Ｎ画像ブロックとＮ／２×Ｎ／２画像ブロックの２つのブロックサイズから選択可能である例を示す。また、図１０は、ラインバッファに未分割のＮラインがバッファリングされた状態で、Ｎ×Ｎ画像ブロックとＮ／２×Ｎ／２画像ブロックのいずれに分割されるかを説明するフローチャートとなっている。
以下、図１０のフローチャートを参照して、本実施形態のブロック分割部７０２が行う処理について説明する。
Ｓ１００１で、ブロック分割部７０２は、着目するＮ×Ｎ画像ブロックの画像情報を取得する。本実施形態では、画像情報は、画素値平均と分散である。
Ｓ１００２で、ブロック分割部７０２は、着目するＮ×Ｎ画像ブロックに含まれるＮ／２×Ｎ／２画像ブロックごとの画像情報を取得する。
Ｓ１００３で、ブロック分割部７０２は、Ｎ×Ｎブロックの画像情報／４と、Ｎ×Ｎ画像ブロックに包含される４つのＮ／２×Ｎ／２画像ブロックの画像情報の差が、全４つのＮ／２×Ｎ／２画像ブロックで所定の閾値以内であれば、Ｓ１００４へ処理を進め、そうでなければＳ１００５へ処理を進める。
本実施形態では、画素値平均に関する閾値と分散に関する閾値それぞれを用いて比較を行い、画素値平均、分散のいずれか一方でも閾値より差が大きければ所定の閾値以上の差があると判定する。
Ｓ１００４で、ブロック分割部７０２は、ブロックサイズをＮ×Ｎに決定する。
Ｓ１００５で、ブロック分割部７０２は、ブロックサイズをＮ／２×Ｎ／２に決定する。
図１０の処理によれば、画像ブロックサイズを小さくしても基の画像サイズ（Ｎ×Ｎ）で取得した画像特徴に対して取得できる画像特徴に変化がなければ、より小さい分割サイズで以降の符号化処理及び画像回復処理を行う必要がないことを検出できる。
このようにすることで、分割の細分化による処理のオーバーヘッドを削減しつつ、推論をする画像領域をより的確に判断することができる。
以上のように、実施形態５によれば、符号化時点の量子化パラメータを決定する単位である画像ブロックサイズを可変にし、回復効率を高めると共に、特定の画像ブロックの推論処理を省略することで回復処理部１００の処理時間を短縮しつつ、主観画質を効率よく回復する回復処理を行うことができる。
なお、画像分割サイズは正方形でもそうでなくてもよく、３つ以上のブロックサイズが混在していてもよい。
なお、符号化部７０１のブロック分割部７０２で決定する分割サイズと、同一画素位置における、回復処理部１００の画像分割部１０１で決定する分割サイズは、同一サイズであってもそうでなくてもよい。
回復処理部１００における画像ブロックのサイズは、小さくなるほど推論処理に時間を要するため、例えば符号化処理時にＮ／２×Ｎ／２画素単位の分割をしていても、Ｎ／２×Ｎ／２画素のブロックを４つ包含するＮ×Ｎ画像ブロックで画像情報を判定し、Ｎ×Ｎ画像ブロックごとに推論を行うか否かを判定してもよい。
また、画像情報判定部１０２ではＮ／２×Ｎ／２画像ブロック単位に画像情報を取得し、Ｎ／２×Ｎ／２画像ブロック４つの画像情報の平均値を、Ｎ×Ｎ画像ブロックの画像情報として扱い、Ｎ×Ｎ画像ブロックでフィルタ処理を行ってもよい。
［実施形態６］以下に、実施形態６について説明する。
実施形態６の信号処理装置の構成は図８と同様である。
実施形態４と異なる点は、実施形態６では、推論を実施しない対象を係数パラメータの学習結果に基づき決定する点である。
図１１は、パラメータごとの画質回復量の並び順を示すイメージを示している。
本実施形態では、図３に示した学習を、図２に示す画素値平均、分散による分類後の画像セットごとに実行する。この学習によって得られる分類ごとの学習結果として、回復性能の順位を例示しているのが図１１である。回復性能は、ここでは復号画像に対する回復画像のｍｓｅの減少量とする。
画像回復に用いる係数パラメータは、ＹＵＶの画像であったり、ＲＧＢの画像であったり、或いは８ビットの画像であったり、１０ビットの画像であったりと、回復させたい画像対象ごとに、良好な係数パラメータが学習されていることが望ましい。
また、このように回復対象の画像の条件が異なると、それぞれで学習を要することからも、分類後にどの画像分類が画像回復し易いのかは学習してからでないとわからない。
従って、本実施形態による分類後の学習結果において、回復性能が最も低い画像特徴は回復効率が悪いため、回復処理をさせない。本実施形態では、図１１と図２から、｛画素値平均が大きく、分散が小さい｝画像特徴で分類されたブロックである。
ただし、回復処理を行わないと、主観画質の向上が見込めない。そこで、実施形態４に示すように、回復処理を行わない画像特徴を量子化制御部７０５へ通知し、量子化制御部７０５は、｛画素値平均が大きく、分散が小さい｝画像特徴を有するブロックに対して、量子化値を小さく設定する。
以上のように、実施形態６によれば、学習結果を利用し、回復効率の高い画像特徴を有するブロックのみ推論を行い、特定の画像ブロックの推論処理を省略することで回復処理部１００の処理時間を短縮しつつ、主観画質を効率よく回復する回復処理を行うことができる。
［実施形態７］以下に、実施形態７について説明する。
図１２は、実施形態７の信号処理装置の構成例を示している。実施形態７は、画像をコンポーネントごとに推論処理する。
図１２において、コンポーネント変換部１２０１、１２０３は、復号画像を輝度Ｙと色差Ｕ及びＶに分離する。画像分割部１０１は、コンポーネントごとに画像の分割を行う。係数パラメータ決定部１０４は、コンポーネントごとに予め学習した係数パラメータを保持する。逆コンポーネント変換部１２０２は、画像結合部１０７によって結合されたコンポーネントを更に統合し、画像回復画像を生成する。
符号化処理では、コンポーネントごとに量子化制御やその他処理を行うことが多く、ＹＵＶの各コンポーネントの内、主観画質に支配的なコンポーネントはＹであることが知られている。そこで、画像情報判定部１０２は、Ｙコンポーネントの場合フィルタ処理を行わないことを決定し、フィルタ処理を行わない対象コンポーネントがＹコンポーネントであることを量子化制御部７０５に通知する。量子化制御部７０５は、Ｙコンポーネントの量子化値を、回復処理が行われずとも十分な画質を得られる量子化値に設定する。
以上のように、実施形態７によれば、特定のコンポーネントの推論処理を省略すると共に、推論処理を省略するコンポーネントの量子化値を小さくすることで、回復処理部１００の処理時間を短縮しつつ、主観画質を効率よく回復する回復処理を行うことができる。
なお、コンポーネント変換はＹＵＶである必要はなく、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅからなる色コンポーネント変換やその他４つ以上のコンポーネントへ変換する変換処理であってもよい。
Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅからなる色コンポーネント変換を行う場合、Ｇコンポーネントが輝度に支配的で人間の視覚特性上主観劣化を視認し易いため、Ｇコンポーネントの量子化値を十分小さくし、回復処理を行わないような方法を取ることが有効である。
また、本実施形態ではコンポーネント変換部１２０１が回復処理部１００に含まれる構成としているが、符号化時にコンポーネント変換処理を行う符号化に基づいた処理であれば、復号部２００の中間情報として、コンポーネントデータを有している。従って、復号部２００で復号画像を生成せず、復号部２００の中間データであるコンポーネントデータを直接画像分割部１０１へ通知する、復号と回復処理を行う処理部を結合した構成としてもよい。
［実施形態８］以下に、実施形態８について説明する。
図１３は、実施形態８の撮像装置とサーバが通信可能に接続された信号処理システム構成例を示している。図１３に示すように、本実施形態では、符号化部７０１は、撮像装置１３００に実装される。また、復号部２００及び回復処理部１００は、サーバ１３１０に設けられている。
また、サーバ１３１０にはストレージデバイスからなる記憶部１３０１が備えられている。撮像装置１３００は、ネットワークを介してサーバ１３１０に接続可能に構成されている。
本実施形態では、撮像装置１３００で撮像した画像を符号化部７０１で符号化して得た圧縮済み画像データをネットワーク通信によってサーバ１３１０へ送信し、記憶部１３０１へ格納可能に構成されている。撮影した画像を表示、出力したいユーザは、サーバ上の撮影データである圧縮済み画像データを、同じくサーバ１３１０上で復号、回復処理させることで、画像を取得することが可能である。
更に、撮像装置１３００とサーバ１３１０間では、画像以外の情報を相互に通知することも可能である。
ネットワーク通信を介して情報の送受信が可能であることを利用して、既に説明した、符号化部７０１から回復処理部１００への画像情報の通知は、撮像装置１３００からサーバ１３１０へ画像情報ファイルとして送ることで可能となる。
同様に、回復処理部１００から推論処理を行うか否かを判定する画像情報の符号化部７０１への通知は、本実施形態によれば、サーバ１３１０から撮像装置１３００へ画像情報ファイルとして送ることで可能となる。
また、符号化部７０１から通知する画像情報は、圧縮済み画像データのメタデータとして１つのコンテナ上にまとめてから、サーバ１３１０へ送ってもよい。
以上のように、実施形態８によれば、符号化部７０１と回復処理部１００が別機器であっても、特定の画像ブロックの推論処理を省略し、回復処理部１００の処理時間を短縮しつつ、主観画質を効率よく回復する回復処理を行うことができる。
なお、本実施形態では復号部２００と回復処理部１００を同一のサーバ１３１０に配置した例を説明したが、その限りではない。撮像装置１３００内に復号部２００を有し、撮像装置１３００で復号を行う構成や、符号化部７０１、復号部２００、回復処理部１００がそれぞれ異なる機器に実装されている構成であっても、各機器間で通信が可能であればよい。また、本実施形態では撮像装置１３００とサーバ１３１０の間の通信を例示したが、通信機能を有していれば、その他の機器内に符号化部７０１、復号部２００、回復処理部１００が構成されていてもよい。
［実施形態９］以下に、実施形態９について説明する。
図１４を参照して、実施形態９の信号処理装置の構成について説明する。
図１４は、実施形態９の信号処理装置の構成例を示している。
本実施形態の信号処理装置は、回復処理部１００、復号部２００、画像符号化部１４００を備える。
画像符号化部１４００は、原画像を符号化し、圧縮済み画像データを生成する。
なお、原画像は、静止画像でも、動画像でもよく、ＹＵＶ画像やＲＡＷ画像など、画像の形式は問わない。ただし、後述する係数パラメータは、画像の形式ごとに用意されていることが望ましい。本実施形態では、原画像はビット深度８ビットのモノクロ画像であるものとする。
以下に、画像符号化部１４００の構成を説明する。
符号化部１４０１は、原画像に圧縮符号化を行い、符号化済み画像データを生成する。
局所復号部１４０２は、符号化済み画像データに局所復号を行い、局所復号画像を生成する。
本実施形態では、符号化部１４０１は、原画像と局所復号画像の差分を符号化する構成を採るため、局所復号画像を符号化部１４０１に通知する構成とするが、これに限定するものではない。
画像分割部１４０３は、原画像及び局所復号画像に対してブロック分割を行う。画像分割部１４０３は、局所復号画像及び原画像をラスタ順に走査し、所定の単位にブロック分割し、画像の左上から右下にかけて順に、局所復号画像ブロック、原画像ブロックをそれぞれ生成する。なお、局所復号画像と原画像の画像解像度は同一であり、同一画素位置からなる局所復号ブロックと原画像ブロックの組が生成されることとなる。なお、画像分割部１４０３による画像分割を局所復号画像及び原画像全面にかけてから以降の処理をしても、画像ブロック生成の度に以降の処理をしてもよい。本実施形態においては、画像ブロック生成の度に以降の処理を行うものとし、画像分割部１４０３はブロックを生成するのに十分なラインバッファを備えているものとする。
なお、本実施形態では正方ブロック分割を行い、以降の説明の便宜上、ブロックサイズはＮ画素×Ｎ画素とする。なお、この画像ブロックサイズは座標ごとに可変であってもよい。
なお、Ｎは１以上の整数とする。なお、本実施形態では正方ブロックで説明を行うが、その限りではなく、正方以外の矩形ブロックに分割してもよい。
また、右端、下端で分割時に端数が生じる解像度の復号画像である場合、各端でミラーリング処理を行うものとする。
ただし、ブロックの解像度はこれに限るものではなく、画像端の処理も、ミラーリングではなく、０パディングするなど他の方法をとってもよい。
削除ビット判定部１４０４は、同一画素位置の原画像ブロックと局所復号ブロックを比較して、削除ビットを決定する。削除ビットとは、後述する回復処理部１００で回復処理において使用しない画素ビット（非回復ビット）を意味するが、詳細は後述する。
圧縮データ生成部１４０５は、符号化済み画像データと、削除ビットから、圧縮データを生成する。
なお、符号化部１４０１の構成は、これに限定されるものではなく、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）をはじめとする動画圧縮規格をサポートする構成であってもよい。
図１５は、圧縮データのデータ構造である。図１５に示すように、圧縮データは、ヘッダ部１５０１、画像ペイロード部１５０２、削除ビットデータ部１５０３を含む。
画像ペイロード部１５０２は、符号化済み画像データに相当し、ヘッダ部１５０１は、符号化済み画像データの復号に必要な、解像度情報等が格納される。
削除ビットデータ部１５０３は、原画像及び局所復号画像のラスタ順に、画像ブロックごとの削除ビット情報が格納されているデータである。ただし、削除ビット情報の格納順序は、ラスタ順でなくともよい。
以上の構成により、画像符号化部１４００は、圧縮データを生成する。
復号部２００は、圧縮データを復号し、復号画像と削除ビットデータを生成する。
回復処理部１００は、符号化歪を伴う復号画像と削除ビットデータに基づき画質回復処理を施し、画質回復画像を生成する。なお、画質回復画像は、復号画像と同一の画像形式である。
次に、回復処理部１００の構成について説明する。
画像分割部１０１は、復号画像をラスタ順に走査し、Ｎ×Ｎ画素単位にブロック分割し、復号画像の左上から右下にかけて順に復号画像ブロックを生成する。なお、画像分割部１０１の画像分割は、削除ビットデータ取得単位と同一画素位置のブロックを生成すればよい。そのため、Ｎ×Ｎ画像ブロックにするためのミラーリング処理等も画像分割部１４０３の処理に準ずる。
画像情報判定部１０２は、画像分割部１０１で生成された画像ブロックの座標から削除ビットデータに示される着目画像ブロックの削除ビットを判定し、画像加工部１０３及び係数パラメータ決定部１０４に復号画像ブロックごとに削除ビットを通知し、着目復号画像ブロックを画像加工部１０３に通知する。
画像加工部１０３は、復号画像ブロックの最下位ビットから所定のビット数を操作し情報量を削減することによって加工した画像ブロックを生成する。詳細には、画像加工部１０３は、着目復号画像ブロックの削除ビットにマスク処理を施し、加工復号画像ブロックを生成する。また、着目復号画像ブロックの削除ビットの対象となるビット値を画像逆加工部１０６へ通知する。
係数パラメータ決定部１０４は、フィルタ処理部１０５でフィルタ処理に用いる１つ以上の係数パラメータを有し、画像情報判定部１０２から通知された判定結果に基づき、係数パラメータを選択してフィルタ処理部１０５に通知する。本実施形態では、削除ビット数ごとに係数パラメータを保持、切り替えを行うものとする。
フィルタ処理部１０５は、画像加工部１０３から通知される画像ブロックと、係数パラメータ決定部１０４から通知される係数パラメータを用いて、画質回復を行うフィルタ処理を実施し、フィルタ処理済み画像ブロックを生成する。このフィルタ処理によって、着目ブロックに対する回復処理が実行される。
画像逆加工部１０６は、フィルタ処理済み画像ブロックに対して画像加工部１０３の画像加工と逆の処理を行い、逆加工済み復号画像ブロックを生成する。つまり、画像加工部１０３から通知される削除ビットのビット値を、復元する。
図１６は、削除ビットと画像加工の例を示している。
図１６（ａ）は、原画像の例を示し、図１６（ｂ）は、ブロック分割の例を示し、図１６（ｃ）は、ブロックごとに決定した削除ビット値の例を表し、図１６（ｄ）は、着目する復号画像ブロックに含まれる画素の１つを示し、マスク前後の画素値の変化を示している。
図１６に示すように着目ブロックの削除ビット値が２であれば、係数パラメータ決定部１０４は削除ビット値２に対応する係数パラメータを選択し、画像加工部１０３は、上位２ビットをマスクする。画像逆加工部１０６は、フィルタ処理済み画像ブロックの下位６ビットと復号画像ブロックの上位２ビットを連結することで逆加工処理を行う。
なお、逆加工済み復号画像ブロックの下位６ビットのビット値は、フィルタ処理に基づいて決定され、使用する係数パラメータによって値は異なるため、図１６（ｄ）では不定を表すＸとしている。
画像結合部１０７は、画像逆加工部１０６で生成された逆加工済み復号画像ブロックを、復号画像と同じ座標関係で結合し、画質回復画像を生成する。ミラーリング処理による画質回復画像として不要な画像領域は、画像結合部１０７で破棄する。
このようにして、画質回復画像が生成される。
なお、本実施形態では、ディープラーニングを用いたフィルタ処理を例示しており、フィルタ処理部１０５はニューラルネットワークで構成され、係数パラメータ決定部１０４で決定する係数パラメータは、機械学習により予め学習済みの係数パラメータとする。
フィルタ処理部１０５の処理は、ディープラーニングにおける推論処理に相当し、推論処理によって、画像回復処理が行われ、画像ブロック単位に画質回復画像を生成する。
以降、推論処理と画像回復処理という記載は等価として扱う。
なお、上述のニューラルネットワークはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と全結合層で構成されるものとするが、これに限定するものではない。
また上述の係数パラメータは、全結合層では各層のノード間を結ぶエッジごとに持つ重みやバイアス、ＣＮＮではカーネルの重みやバイアスに相当し、本実施形態ではニューラルネットワークの学習により更新されるパラメータ総称して係数パラメータと記載する。
以上の構成により、符号化歪を伴う復号画像の画質回復処理が行われる。
＜削除ビットの決定方法＞
画像回復処理は、符号化歪を回復する目的で行うため、原画像と復号画像で差異の生じない画素は回復させる必要がない。同様の解釈を画素ビットまで拡張すると、原画像と復号画像で差異の生じないビットは回復をさせる必要がない。そこで、本実施形態では、画像ブロックごとに、原画像と復号画像で差異が生じる最大ビット位置以上のビットにマスク処理を実施する（つまり、原画像と復号画像で差異の生じない上位ビットにマスク処理を実施する）。ただし、画像回復の時点では原画像を利用することができないため、本実施形態では、画像符号化部１４００で、局所復号画像を用いて画像ブロックごとのマスク処理を行うビットを決定する。
以下、図１７のフローチャートを参照して、削除ビットの決定方法を説明する。
図１７は、削除ビット判定部１４０４が削除ビットを決定する処理を示すフローチャートである。
Ｓ１７０１で、削除ビット判定部１４０４は、着目する局所復号ブロックと、原画像ブロックの左上画素値を読み出し、着目画素とする。
Ｓ１７０２で、削除ビット判定部１４０４は、インクリメントカウンターＣＮＴｉを０に初期化する。
Ｓ１７０３で、削除ビット判定部１４０４は、削除ビットＤｅｌＢｉｔ＝８に初期化する。なお、値８は、復号画像のビット深度であり、１０ビット画像であれば、ＤｅｌＢｉｔ＝１０とする。
Ｓ１７０４で、削除ビット判定部１４０４は、局所復号ブロックと原画像ブロックで最上位ビットから連続して等しいビットの個数をＤｅｌＢｉｔＴｍｐとして記憶する。
図１８は、局所復号ブロックと原画像ブロック画素値の例を示している。
図１８の画素値の場合、局所復号画像ブロックの画素値と原画像ブロックの画素値は上位２ビットが共通であるため、ＤｅｌＢｉｔＴｍｐ＝２である。
Ｓ１７０５で、削除ビット判定部１４０４は、ＤｅｌＢｉｔＴｍｐ＜ＤｅｌＢｉｔであれば（Ｓ１７０５でＹＥＳ）、Ｓ１７０６へ処理を進め、そうでなければ（Ｓ１７０５でＮＯ）、Ｓ１７０７へ処理を進める。
Ｓ１７０６で、削除ビット判定部１４０４は、ＤｅｌＢｉｔ＝ＤｅｌＢｉｔＴｍｐとする。
Ｓ１７０７で、削除ビット判定部１４０４は、インクリメントカウンターＣＮＴｉを１インクリメントする。
Ｓ１７０８で、削除ビット判定部１４０４は、ＣＮＴｉ＜着目画像ブロックの画素数であれば（Ｓ１７０８でＹＥＳ）、Ｓ１７０９へ処理を進め、そうでなければ（Ｓ１７０８でＮＯ）処理を終了する。
Ｓ１７０９で、削除ビット判定部１４０４は、着目画素をラスタ順で隣の画素に更新し、Ｓ１７０４へ戻る。
このようにすることで、着目する局所復号ブロック及び原画像ブロックにおいて、共通して差のない上位ビットを検出することができ、マスク可能な上位ビットを確定することができる。この処理を全ブロックで実施することで、復号画像の削除ビットデータを生成することができる。
＜係数パラメータの学習方法＞
図１９は、係数パラメータの学習を行う学習器の構成例を示し、図１４と同一の構成には同一の符号を付している。
図１９に示すように、回復処理部１００の要素は、フィルタ処理部１０５以外学習において必須ではない。本実施形態では、画像ブロックへの分割、上述の図１７で示す方法でマスク処理が予め行われていて、係数パラメータを得るための学習画像セットが予め用意されているものとする。
図１９のＮｂｉｔは、図１７で説明した方法によって決定した削除ビットである。学習前に学習を行う画像の母集団に対して削除ビットを算出しておき、削除ビットごとの学習画像セットを事前に用意しておくものとする。
図１９に示す学習器はまず、Ｎｂｉｔマスク済み復号画像と、Ｎｂｉｔマスク向け係数パラメータを入力し、フィルタ処理部１０５でフィルタ処理を実行する。
画質比較部１９０１は、フィルタ処理部１０５により生成される、フィルタ処理後の画像であるＮｂｉｔマスク済み画質回復画像ブロックと、Ｎｂｉｔマスク済み原画像ブロックの画質を比較し、係数パラメータ最適化部１９０２へ比較結果を通知する。
本実施形態では、画質比較部１９０１で画質の指標としてＮｂｉｔマスク済み画質回復画像ブロックと、Ｎｂｉｔマスク済み原画像ブロックの平均二乗誤差（ｍｓｅ： ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）を用いることとするが、ｍｓｅに限る必要はなく、画質を示す指標であればよい。
係数パラメータ最適化部１９０２は、比較結果に応じてＮｂｉｔマスク向け係数パラメータを更新する。
最も画質のよい復号画像は、符号化前の原画像の品質であることから、本実施形態における学習は、ニューラルネットワークの出力画像が原画像に近づくように係数パラメータにフィードバックを行う処理を繰り返す。
本実施形態においては、係数パラメータ最適化部１９０２は、誤差逆伝搬法により係数パラメータの変化量である勾配を取得し、パラメータ最適化手法として確率的勾配降下法で係数パラメータを更新するものとする。
なお、係数パラメータの更新方法はニューラルネットワークの学習手段の１つであるが、勾配の取得方法やパラメータ最適化手法は他の方式を用いてもよい。
以上の処理を、予め用意した学習画像セットに対して係数パラメータを更新しながら再帰的に繰り返すことで、Ｎｂｉｔマスクを行った画像に対して適した係数パラメータを生成することができる。
以上のように、推論処理不要な上位ビットをマスクすることで、冗長な画像情報を削減し、係数パラメータとして学習すべき画像パターンを削減することで、推論時の回復性能を高めることができる。
更に、回復処理部１００は、上述の学習で得た係数パラメータを係数パラメータ決定部１０４で保持し、削除ビットの値に応じて切り替えることができ、マスク量に応じた最適な係数パラメータで推論処理を行うことができることから、回復性能を高めることができる。
このように、復号画像の内、画像回復不要な特定のビットデータとして原画像と復号画像の内推論処理不要な上位ビットを無視して画像回復処理を行うことで、画像回復後の画質を向上させることができる。
なお、画像符号化部１４００では、削除ビットデータについても圧縮して記録してもよい。ただしこのとき復号部２００では削除ビットデータの復号も併せて行う必要がある。なお、本実施形態では係数パラメータをマスク量に応じて予め学習する例を示したが、その限りではなく、マスク量に関わらず１つの係数パラメータを用意してもよいし、マスク量１とマスク量２の係数パラメータは共通の学習で生成し、回復処理部１００で利用してもよい。このようにすることで、画質回復性能とトレードオフではあるものの、係数パラメータのサイズを削減することが可能である。
なお、本実施形態では圧縮データの一部に削除ビットデータが含まれるデータ構造を例示したが、これに限定されるものではなく、削除ビットデータを独立のデータとして回復処理部１００へ通知するように構成してもよい。
なお、画像がＹＵＶ形式の場合、主観画質への影響度が高いＹ成分のみ回復処理をする方法も考えられる。このようなケースでは、回復処理部１００は、復号画像でＹ成分のみを入力として、画像回復を行い、画像符号化部１４００で決定する削除ビットはＹ成分のみ算出すればよい。
なお、ＹＵＶ形式においてＹ，Ｕ，Ｖ成分すべての回復処理を行う場合は、本実施形態の回復処理を、Ｙ，Ｕ，Ｖそれぞれに対して順に適用するか、或いは回復処理部を３コア並列化すればよい。
［実施形態１０］以下に、実施形態１０について説明する。
図２０は、実施形態１０の信号処理装置の構成例を示すブロック図であり、図１４と同様の構成には同一の符号を付している。
本実施形態が実施形態９と異なる点は、画像符号化時点で画像加工に利用する情報を記憶し回復処理部１００に通知する必要がない点である。
図２１は、圧縮済み画像データのデータ構造である。図２１に示すように、ヘッダ部２１０１と画像ペイロード部２１０２とからなり、画像ペイロード部２１０２は、図１４に示す符号化済み画像データである。圧縮済み画像データには、回復処理部１００で扱う補助情報などは含まれていない。本実施形態では、画像情報判定部１０２を用いて、回復処理部１００で画像加工方法を決定する。
＜画像情報判定部１０２の画像情報判定方法＞
画質回復画像は、各画素が固定のビット深度を持ったビット列からなり、符号化歪は、原画像に対してどの程度各画素値に差が生じるかでその大小を論じることができる。
そして、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）に近いビットほど原画像と画質回復画像で差異があっても、画質劣化は小さい。
そこで、本実施形態では、ＬＳＢ側の連続したＭＢｉｔをマスクして回復処理を行う。以降、マスク量をＭとする。上記Ｍは１以上の整数であり、回復させる画像の形式や、目標とする主観画質に従って決定すればよい。
また、人間の視覚特性上、空間周波数の高い複雑な画像の画質劣化は視認しにくい。
また原画像と復号画像を主観的に比較する際、画素値平均が小さく暗い画像特徴を有する画像と、画素値平均が大きく明るい画像特徴を有する画像では、原画像と復号画像の画素値平均の差が同一の場合、相対的に画素値平均が大きく明るい画像特徴を有する画像の劣化は視認しにくい。
そこで、本実施形態では、分散の大きい複雑な画像ブロック、及び、画素値平均が大きく明るい画像ブロックほどＬＳＢ側からのマスク量を大きくする。
以下、図２２のフローチャートを参照して、画像情報判定部１０２によるＬＳＢ側のマスク量Ｍの決定方法について説明する。
Ｓ２２０１で、画像情報判定部１０２は、Ｍ＝１とする。
Ｓ２２０２で、画像情報判定部１０２は、着目する復号画像ブロックの平均画素値が、予め定めた閾値Ｂｔｈよりも大きければ（Ｓ２２０２でＹＥＳ）、Ｓ２２０３へ処理を進め、そうでなければ（Ｓ２２０２でＮＯ）、Ｓ２２０４へ処理を進める。
Ｓ２２０３で、画像情報判定部１０２は、Ｍ＝Ｍ＋１とする。
Ｓ２２０４で、画像情報判定部１０２は、着目する復号画像ブロックの平均画素値が、予め定めた閾値Ｖｔｈよりも大きければ（Ｓ２２０４でＹＥＳ）Ｓ２２０５へ処理を進め、そうでなければ（Ｓ２２０４でＮＯ）、処理を終了する。
Ｓ２２０５で、画像情報判定部１０２は、Ｍ＝Ｍ＋１とする。
以上の処理に従えば、以下のようなマスク量Ｍが決定する。
分散小、画素値平均小：Ｍ＝１
分散小、画素値平均大：Ｍ＝２
分散大、画素値平均小：Ｍ＝２
分散大、画素値平均大：Ｍ＝３
このようにすることで、人間の視覚特性上画質劣化が視認しづらい画像ブロックほどＬＳＢのマスク量を大きくすることができる。
図２３は、本実施形態のＬＳＢのマスク例を示している。図２３に示すように、画像加工部１０３は、Ｍに応じてＬＳＢから連続したＭｂｉｔをマスクする。
なお、係数パラメータ決定部１０４は、上述の画像情報判定部１０２の画像分類に従って分類ごとにマスク済みの画像を用いた学習によって生成された係数パラメータを保持し、マスク量Ｍに従って係数パラメータを切り替える。
画像逆加工部１０６は、画像加工部１０３から復号画像ブロックの画素値を通知され、 画像逆加工部１０６は、フィルタ処理済み画像ブロックの上位８－Ｍビットと復号画像ブロックの下位Ｍビットを連結することで逆加工処理を行う。
このように、復号画像の内、主観画質を鑑みて画像回復不要とした特定のビットデータとして、原画像と復号画像の内推論処理不要な下位ビットを無視して画像回復処理を行うことで、画像回復後の画質を向上させることができる。
なお、実施形態９に示した上位ビットのマスク処理と、本実施形態に示した下位ビットのマスク両方の処理を同一復号画像ブロックに対して実施し、回復処理を行ってもよい。なお、図１４に示したように画像符号化部１４００を有する構成において、画像符号化部１４００で下位ビットのマスク量を判定し、実施形態９と同様に圧縮データに削除ビットデータとして付加してもよい。
また、画像加工部１０３の処理は、マスクではなく、ビットをシフトする処理であってもよい。つまり、不要と判断した下位Ｍｂｉｔ分に相当するシフト量だけ右にシフトした加工済み画像ブロックを用いた回復処理を行うことで、ビット数を削減してもよい。
［実施形態１１］以下に、実施形態１１について説明する。
図２４は、実施形態１１の撮像装置とサーバ２４１０が通信可能に接続された信号処理システム構成を示している。図２４に示すように、本実施形態では、画像符号化部１４００は、撮像装置２４００に実装される。また、復号部２００及び回復処理部１００は、サーバ２４１０に設けられている。
また、サーバ２４１０にはストレージデバイスからなる記憶部２４０１が備えられている。
撮像装置２４００は、ネットワークを介してサーバ２４１０に接続可能に構成されている。本実施形態では、撮像装置２４００で撮像した画像を画像符号化部１４００で符号化して得た圧縮データをネットワーク通信によってサーバ２４１０へ送信し、記憶部２４０１に格納可能な構成となっている。撮影した画像を表示、出力したいユーザは、サーバ２４１０の撮影データである圧縮データを、同じくサーバ２４１０で復号、回復処理させることで、画像を取得することが可能である。
なお、撮像装置２４００とサーバ２４１０の間では、画像以外の情報を相互に通知することも可能であり、ネットワーク通信を介して情報の送受信が可能であることを利用して、削除ビットデータを独立ファイルとしてサーバ２４１０へ送信することも可能である。
以上のように、画像符号化部１４００と回復処理部１００が別機器であっても、復号画像の内、特定のビットデータとして、原画像と復号画像の内推論処理不要な下位ビットを無視して画像回復処理を行うことで、画像回復後の画質を向上させることができる。
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
１００…回復処理部、２００…復号部、７０１…符号化部、１３００、２４００…撮像装置、１３１０、２４１０…サーバ、１４００…画像符号化部

Claims (16)

  1. 非可逆圧縮された画像データを復号して復号画像を生成する復号部と、
    前記復号画像に対して画質の劣化を回復するための回復処理を行う回復処理部と、を有し、
    前記回復処理部は、前記復号画像を所定の単位に分割した各ブロックの複数の画像情報の組み合わせから各ブロックを分類し、分類した結果である各ブロックの特定の画像情報からブロックごとの前記回復処理に用いるパラメータを決定し、前記分類した結果が所定の条件を満たすブロックを前記回復処理の対象であると判定し、
    前記回復処理の対象と判定されたブロックに、前記ブロックごとに決定された前記パラメータを用いて前記回復処理を行うことを特徴とする信号処理装置。
  2. 画像データを量子化する量子化部と、所定のブロック単位に量子化値を決定する量子化制御部とを含む、画像データを非可逆圧縮して符号化データを生成する符号化部を更に有し、
    前記量子化制御部は、前記特定の画像情報を算出し、算出した前記特定の画像情報に応じて量子化値を決定することを特徴とする請求項１に記載の信号処理装置。
  3. 前記符号化部で算出した前記特定の画像情報を前記回復処理部に通知し、
    前記回復処理部は前記符号化部から通知された画像情報に応じて回復処理を行うことを特徴とする請求項２に記載の信号処理装置。
  4. 前記回復処理部は、予め学習済みの係数を用いた推論に基づき回復処理を行うことを特徴とする請求項１から３のいずれか１項に記載の信号処理装置。
  5. 前記予め学習済みの係数は前記特定の画像情報ごとに学習し取得され、
    前記回復処理部は、学習の時点で回復性能が所定より低い画像情報の回復処理は行わないことを特徴とする請求項４に記載の信号処理装置。
  6. 前記特定の画像情報は、輝度情報であることを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
  7. 前記特定の画像情報は、空間周波数情報であることを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
  8. 前記回復処理部は、前記復号画像に関連する量子化情報を受信し、前記量子化情報に基づいて、量子化値が所定より小さいブロックの回復処理を行わないことを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
  9. 前記量子化制御部は、前記回復処理部が回復処理を行わない特定の画像情報を有するブロックの量子化値を小さくすることを特徴とする請求項２に記載の信号処理装置。
  10. 前記復号画像を少なくとも２つのコンポーネントに変換するコンポーネント変換部と、
    前記変換されたコンポーネントから前記復号画像と同じ画像形式のデータに変換する逆コンポーネント変換部を更に有し、
    前記回復処理部は、前記コンポーネント変換部で変換されたコンポーネントごとに回復処理を行い、回復する色コンポーネントを生成し、
    前記逆コンポーネント変換部は、前記回復する色コンポーネントに逆コンポーネント変換を施し、回復画像を生成することを特徴とする請求項１から９のいずれか１項に記載の信号処理装置。
  11. 前記コンポーネント変換部は、前記復号画像を少なくともＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅからなる色コンポーネントに変換し、
    前記特定の画像情報は、前記コンポーネント変換部により生成される少なくともＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅの色コンポーネントの内、Ｇｒｅｅｎの情報であることを特徴とする請求項１０に記載の信号処理装置。
  12. 前記コンポーネント変換部は、前記復号画像を少なくとも輝度と色差からなる色コンポーネントに変換し、
    前記特定の画像情報は、前記コンポーネント変換部により生成されるコンポーネントの内、輝度情報であることを特徴とする請求項１０に記載の信号処理装置。
  13. 前記量子化制御部は、前記特定の画像情報に応じて量子化制御の単位であるブロックサイズを決定することを特徴とする請求項２または９に記載の信号処理装置。
  14. 画像データを量子化する量子化部と、所定のブロック単位に量子化値を決定する量子化制御部を含む、画像データを非可逆圧縮して符号化データを生成する符号化部と、
    前記符号化データを復号して復号画像を生成する復号部と、
    前記復号画像に対して画質の劣化を回復するための回復処理を行う回復処理部であって、前記復号画像を所定の単位に分割した各ブロックの複数の画像情報の組み合わせから各ブロックを分類し、分類した結果である各ブロックの特定の画像情報からブロックごとの前記回復処理に用いるパラメータを決定し、前記分類した結果が所定の条件を満たすブロックを前記回復処理の対象であると判定し、
    前記回復処理の対象と判定されたブロックに、前記ブロックごとに決定された前記パラメータを用いて前記回復処理を行う前記回復処理部とが、それぞれネットワークにより通信可能であって、少なくとも前記符号化データ、前記復号画像、並びに前記特定の画像情報の送受信が可能であることを特徴とする信号処理システム。
  15. 復号部が、非可逆圧縮された画像データを復号して復号画像を生成する復号ステップと、
    回復処理部が、前記復号画像に対して画質の劣化を回復するための回復処理を行う回復処理ステップと、を有し、
    前記回復処理ステップでは、前記復号画像を所定の単位に分割した各ブロックの複数の画像情報の組み合わせから各ブロックを分類し、分類した結果である各ブロックの特定の画像情報からブロックごとの前記回復処理に用いるパラメータを決定し、前記分類した結果が所定の条件を満たすブロックを前記回復処理の対象であると判定し、
    前記回復処理の対象と判定されたブロックに、前記ブロックごとに決定された前記パラメータを用いて前記回復処理を行うことを特徴とする信号処理装置が実行する信号処理方法。
  16. コンピュータに、請求項１５に記載された信号処理方法を実行させるためのプログラム。
JP2019219076A 2019-12-03 2019-12-03 信号処理装置および信号処理方法、システム並びにプログラム Active JP7479137B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019219076A JP7479137B2 (ja) 2019-12-03 2019-12-03 信号処理装置および信号処理方法、システム並びにプログラム
US17/108,538 US11928843B2 (en) 2019-12-03 2020-12-01 Signal processing apparatus and signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019219076A JP7479137B2 (ja) 2019-12-03 2019-12-03 信号処理装置および信号処理方法、システム並びにプログラム

Publications (3)

Publication Number Publication Date
JP2021090135A JP2021090135A (ja) 2021-06-10
JP2021090135A5 JP2021090135A5 (ja) 2022-12-05
JP7479137B2 true JP7479137B2 (ja) 2024-05-08

Family

ID=76091627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019219076A Active JP7479137B2 (ja) 2019-12-03 2019-12-03 信号処理装置および信号処理方法、システム並びにプログラム

Country Status (2)

Country Link
US (1) US11928843B2 (ja)
JP (1) JP7479137B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479137B2 (ja) * 2019-12-03 2024-05-08 キヤノン株式会社 信号処理装置および信号処理方法、システム並びにプログラム
US11847220B2 (en) * 2021-02-05 2023-12-19 Mcafee, Llc Scanning of partial downloads
JP2022174948A (ja) * 2021-05-12 2022-11-25 横河電機株式会社 装置、監視システム、方法およびプログラム
WO2023067920A1 (ja) * 2021-10-19 2023-04-27 ＬｅａｐＭｉｎｄ株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013398A (ja) 2005-06-29 2007-01-18 Matsushita Electric Ind Co Ltd ポストフィルタ、ポストフィルタリングプログラムおよび電子情報機器
WO2010026770A1 (ja) 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路
JP2017152905A (ja) 2016-02-24 2017-08-31 沖電気工業株式会社 符号化装置及びプログラム、復号装置及びプログラム、並びに、配信システム
JP2019087778A (ja) 2017-11-01 2019-06-06 日本放送協会 画像復元フィルタ及び学習装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119371B2 (ja) 1991-03-29 2000-12-18 キヤノン株式会社 画像処理方法
JPH06153180A (ja) * 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
AU2008352118A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding method and device
JP5184981B2 (ja) * 2008-06-10 2013-04-17 キヤノン株式会社 Ｘ線画像診断システム、画像処理装置及び画像処理方法
KR101539260B1 (ko) * 2008-12-02 2015-07-29 삼성전자주식회사 선택적 영상정보 무손실 압축, 복원 장치 및 방법
KR20120003147A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
JP2015225469A (ja) 2014-05-27 2015-12-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019009448A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
US11570439B2 (en) * 2019-05-15 2023-01-31 Hyundai Motor Company Inverse quantization device and method used in video decoding device
JP7479137B2 (ja) * 2019-12-03 2024-05-08 キヤノン株式会社 信号処理装置および信号処理方法、システム並びにプログラム
JP7446797B2 (ja) * 2019-12-03 2024-03-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013398A (ja) 2005-06-29 2007-01-18 Matsushita Electric Ind Co Ltd ポストフィルタ、ポストフィルタリングプログラムおよび電子情報機器
WO2010026770A1 (ja) 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路
JP2017152905A (ja) 2016-02-24 2017-08-31 沖電気工業株式会社 符号化装置及びプログラム、復号装置及びプログラム、並びに、配信システム
JP2019087778A (ja) 2017-11-01 2019-06-06 日本放送協会 画像復元フィルタ及び学習装置

Also Published As

Publication number Publication date
US11928843B2 (en) 2024-03-12
US20210166434A1 (en) 2021-06-03
JP2021090135A (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
JP7479137B2 (ja) 信号処理装置および信号処理方法、システム並びにプログラム
Zhou et al. End-to-end Optimized Image Compression with Attention Mechanism.
CN106576172B (zh) 用于编码/解码图像的方法和使用该方法的装置
US7668382B2 (en) Block-based fast image compression
EP2700234B1 (en) Method and device for lossy compress-encoding data
US20230062752A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
JPH1013834A (ja) 連続画像の適応型符号化方法、符号化装置及び復号化装置
CN110087083B (zh) 帧内色度预测模式的选择方法、图像处理设备及存储设备
JP2001136526A (ja) 画像処理方法及びその装置及び記憶媒体
KR102503760B1 (ko) 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
US11496769B2 (en) Neural network based image set compression
JP6727011B2 (ja) 画像符号化装置及びその制御方法
CN112019843A (zh) 编码和解码程序、编码和解码设备、编码和解码方法
KR20230010259A (ko) 사후-필터링을 위한 콘텐츠-적응형 온라인 트레이닝 방법 및 장치
CN116349225A (zh) 用于逐块图像压缩中的去块的内容自适应在线训练方法和装置
Ma et al. A cross channel context model for latents in deep image compression
JP7001383B2 (ja) 符号化装置、符号化方法、及び、プログラム
Erfurt et al. Multiple feature-based classifications adaptive loop filter
WO2023055300A9 (en) Improved residual sign prediction of transform coefficients in video coding
Naaz et al. Implementation of hybrid algorithm for image compression and decompression
KR101757464B1 (ko) 부호화 방법 및 장치와 복호화 방법 및 장치
Puthooran et al. Lossless image compression using BPNN predictor with contextual error feedback
WO2023138391A1 (zh) 系数解码方法、装置、图像解码器及电子设备
US20240127583A1 (en) Systems and methods for end-to-end feature compression in coding of multi-dimensional data
Cherkashyn et al. Image compression based on the inverse difference pyramid with BPNN

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240423

R150 Certificate of patent or registration of utility model

Ref document number: 7479137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150