JP7304414B2 - 出力のアップスケーリングにおけるシャープネス及びディテールの調整 - Google Patents

出力のアップスケーリングにおけるシャープネス及びディテールの調整 Download PDF

Info

Publication number
JP7304414B2
JP7304414B2 JP2021521263A JP2021521263A JP7304414B2 JP 7304414 B2 JP7304414 B2 JP 7304414B2 JP 2021521263 A JP2021521263 A JP 2021521263A JP 2021521263 A JP2021521263 A JP 2021521263A JP 7304414 B2 JP7304414 B2 JP 7304414B2
Authority
JP
Japan
Prior art keywords
frequency map
sharpness
detail
input image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021521263A
Other languages
English (en)
Other versions
JP2022505293A (ja
Inventor
ミャオチー ジュー
芳和 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022505293A publication Critical patent/JP2022505293A/ja
Application granted granted Critical
Publication of JP7304414B2 publication Critical patent/JP7304414B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

〔関連出願の相互参照〕
[0001] 本出願は、２０１８年１０月１８日に出願された「動画のための機械学習ベースの単一画像アップスケーリングアプリケーション（Ｍａｃｈｉｎｅ－Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｕｐｓｃａｌｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ）」という名称の同時係属中の米国仮特許出願第６２／７４７，４５３号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張するものである。上記関連出願の開示は、引用により本明細書に組み入れられる。
[0002] 本開示は、アップスケーリングに関し、具体的には、アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にすることに関する。
[0003] 機械学習（ＭＬ）を用いて、画像の超解像アップスケーリングを実行することができる。しかしながら、従来のＭＬベースのトレーニング及びアップスケーリングプロセスは、いくつかの問題がある。例えば、よりシャープな画像に所望の量のディテールを提供する以外に、トレーニング及びアップスケーリングプロセスが出力においてどの程度のシャープネス及びディテールのレベルを達成すべきかについて直接制御しない。したがって、従来のアップスケーリングプロセスは、出力画像の品質を基準グラウンドトゥルース画像にできるだけ近づけるようにプログラムされる。グラウンドトゥルース画像が好適な量のシャープネス又はディテールを有さない場合、トレーニングプロセスは、グラウンドトゥルース画像に含まれる既存のディテールを超えるいかなる追加のディテールも追加しない。
[0004] 本開示は、アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にすることを提供するものである。
[0005] 一実装形態では、アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするための方法を開示する。前記方法は、前記入力画像の明度（ｂｒｉｇｈｔｎｅｓｓ）チャネルにフーリエ変換関数を適用して、２－Ｄ周波数マップを生成するステップと、前記２－Ｄ周波数マップを調整して、アップスケーリングされた出力画像においてシャープネス及びディテールの目標量を制御するステップと、トレーニング及びアップスケーリングプロセスのために、標準カラー画像データと一緒に、前記調整された２－Ｄ周波数マップを追加の入力チャネルとして使用するステップと、を含む。
[0006] 一実装形態では、前記調整された２－Ｄ周波数マップを追加の入力チャネルとして使用するステップは、前記標準カラー画像データと一緒に、前記調整された２－Ｄ周波数マップをＭＬベースのアップスケーラーに入力するステップを含む。一実装形態では、前記明度チャネルは、前記入力画像の輝度チャネルを含む。一実装形態では、前記２－Ｄ周波数マップを調整するステップは、前記２－Ｄ周波数マップのより高い周波数エリアに利得係数を適用して、エンハンスされた周波数マップを生成するステップを含む。一実装形態では、前記方法は、更に、前記エンハンスされた周波数マップをシャープネス及びディテールの目標として使用するステップを含む。一実装形態では、前記エンハンスされた周波数マップを前記目標として使用するステップは、前記２－Ｄ周波数マップを、前記エンハンスされた周波数マップの前記目標のできるだけ近くに調整して、更なるディテールを追加して、前記アップスケーリングされた出力画像を鮮明にするステップを含む。
[0007] 別の実装形態では、アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするためのシャープネス調整システムを開示する。前記システムは、前記入力画像の明度チャネルにフーリエ変換関数を適用して、２－Ｄ周波数マップを生成するように構成されるフーリエ変換ユニットと、前記２－Ｄ周波数マップを調整して、アップスケーリングされた出力画像においてシャープネス及びディテールを制御するように構成される周波数マップ調整部と、を含む。
[0008] 一実装形態では、前記調整された２－Ｄ周波数マップを、標準カラー画像データと一緒に、ＭＬベースのアップスケーラーに送る。一実装形態では、前記明度チャネルは、前記入力画像の輝度チャネルを含む。一実装形態では、前記周波数マップ調整部は、また、前記２－Ｄ周波数マップのより高い周波数エリアに利得係数を適用して、エンハンスされた周波数マップを生成するように構成される。
[0009] 更に別の実装形態では、アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、前記入力画像の明度チャネルにフーリエ変換関数を適用して、２－Ｄ周波数マップを生成することと、前記２－Ｄ周波数マップを調整して、アップスケーリングされた出力画像においてシャープネス及びディテールの目標量を制御することと、トレーニング及びアップスケーリングプロセスのために、標準カラー画像データと一緒に、前記調整された２－Ｄ周波数マップを追加の入力チャネルとして使用することと、を行わせる。
[0010] 一実装形態では、前記コンピュータに、前記調整された２－Ｄ周波数マップを追加の入力チャネルとして使用することを行わせる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、前記コンピュータに、前記標準カラー画像データと一緒に、前記調整された２－Ｄ周波数マップをＭＬベースのアップスケーラーに入力することを行わせる。一実装形態では、前記明度チャネルは、前記入力画像の輝度チャネルを含む。一実装形態では、前記コンピュータに、前記２－Ｄ周波数マップを調整することを行わせる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、前記コンピュータに、前記２－Ｄ周波数マップのより高い周波数エリアに利得係数を適用して、エンハンスされた周波数マップを生成することを行わせる。一実装形態では、前記非一時的コンピュータ可読記憶媒体は、更に、実行可能命令を含み、前記実行可能命令は、前記コンピュータに、前記エンハンスされた周波数マップをシャープネス及びディテールの目標として使用することを行わせる。一実装形態では、前記コンピュータに、前記エンハンスされた周波数マップを前記目標として使用することを行わせる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、前記コンピュータに、前記２－Ｄ周波数マップを、前記エンハンスされた周波数マップの前記目標のできるだけ近くに調整して、更なるディテールを追加して、前記アップスケーリングされた出力画像を鮮明にすることを行わせる。
[0011] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。
[0012] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。
本開示の一実装形態による、アップスケーリングされた出力においてシャープネス及びディテールの調整を可能にするためのプロセスを示すフロー図である。 本開示の一実装形態による、アップスケーリングされた出力においてシャープネス及びディテールの調整を可能にするためのプロセスを示すフロー図である。 本開示の一実装形態による、アップスケーリングされた出力においてシャープネス及びディテールの調整を可能にするためのプロセスを示すフロー図である。 本開示の一実装形態による、トレーニング及びアップスケーリングの異なるレベルを示すフロー図である。 本開示の一実装形態による、トレーニング及びアップスケーリングの異なるレベルを示すフロー図である。 本開示の一実装形態による、トレーニング及びアップスケーリングの異なるレベルを示すフロー図である。 本開示の一実装形態による、入力画像のシャープネス及びディテールの調整を可能にするためのプロセスを示すフローチャートである。 本開示の一実装形態による、アップスケーリングされた出力においてシャープネス及びディテールの目標量を制御するための調整プロセスを示す詳細フローチャートである。 本開示の一実装形態によるシャープネス調整システムを示すブロック図である。 本開示の一実装形態による、シャープネス調整システム及びユーザの図である。 本開示の一実装形態による、シャープネス調整アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。
[0020] 上記のように、従来のＭＬベースのトレーニング及びアップスケーリングプロセスは、いくつかの問題がある。例えば、よりシャープな画像に所望の量のディテールを提供する以外に、トレーニング及びアップスケーリングプロセスが出力においてどの程度のシャープネス及びディテールのレベルを達成すべきかについて直接制御しない。しかしながら、シャープネス及びディテールをエンハンスさせる必要があるときに、学習プロセスにおいて余分のステップを実装する必要がある。
[0021] 従来のプロセスの上記の問題に対処するために、本開示のいくつかの実装形態は、（１）入力画像の輝度チャネル（例えば、ＹＣｂＣｒ画像データのＹチャネル）などの明度チャネルにフーリエ変換関数を実行して、２－Ｄ周波数マップを生成することと、（２）トレーニングプロセスへの入力データにおいて、２－Ｄ周波数マップを追加のチャネルとして（すなわち、ＲＧＢ又はＹＣｂＣｒ画像データに加えて）使用することと、（３）グラウンドトゥルース画像の周波数マップを調整して、アップスケーリングされた出力においてシャープネス及びディテールの目標量を制御することと、を提供するものである。
[0022] 周波数マップの調整の一例は、周波数マップのより高い周波数エリアに利得係数を適用して、エンハンスされた周波数マップを生成することを含む。次に、エンハンスされた周波数マップを、シャープネス及び／又はディテールに関して目標として使用する。最適化プロセスが、出力画像の周波数マップを、エンハンスされた目標のできるだけ近くに調整して、更なるディテールを追加する、且つ／又はよりシャープな画像を生成する。
[0023] これらの説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。
[0024] 上記のように、従来のアップスケーリングプロセスは、出力画像の品質を基準グラウンドトゥルース画像のできるだけ近くに調整する。グラウンドトゥルース画像が好適な量のシャープネス又はディテールを有さない場合、トレーニングプロセスは、グラウンドトゥルース画像に含まれるディテールを超えるいかなる追加のディテールも追加しない。しかしながら、シャープネス及びディテールをエンハンスさせる必要があるときに、トレーニングプロセスにおいて余分のステップを実装する必要がある。
[0025] 図１Ａ～図１Ｃは、本開示の一実装形態による、アップスケーリングされた出力においてシャープネス及びディテールの調整を可能にするためのプロセスを示すフロー図を形成する。図１Ａに示す実装形態は、ＲＧＢ入力画像データ１００を示す。図１Ｂは、入力画像の明度チャネル（例えば、輝度チャネル）にフーリエ変換関数を実行して、２－Ｄ周波数マップを生成した結果１１０を示す。
[0026] 図１Ｃは、トレーニングプロセスへの入力データにおいて、２－Ｄ周波数マップを追加のチャネルとして（すなわち、図１Ａに示すＲＧＢ画像データに加えて）使用した結果１２０を示す。次に、グラウンドトゥルース画像の周波数マップを調整して、アップスケーリングされた出力においてシャープネス及びディテールの目標量を制御する。図１Ｃに示すように、周波数マップのより高い周波数エリアに利得係数を適用して、エンハンスされた周波数マップを生成することによって、周波数マップを調整することができる。次に、エンハンスされた周波数マップを、シャープネス及び／又はディテールに関して目標として使用する。したがって、最適化プロセスは、出力画像の周波数マップを、エンハンスされた目標のできるだけ近くに調整して、更なるディテールを追加する、且つ／又はよりシャープな画像を生成する。
[0027] 図２Ａ～図２Ｃは、本開示の一実装形態による、トレーニング及びアップスケーリングの異なるレベルを示すフロー図を形成する。図２Ａに示す実装形態は、画素毎に３つの画像チャネル（すなわち、ＲＧＢチャネル）を用いるトレーニング及びアップスケーリング（２００）を示す。図２Ｂに示す実装形態は、３つのＲＧＢチャネルへの追加のチャネルとして目標グラウンドトゥルース画像周波数チャネルを用いて、画素毎に４つの画像チャネルを用いるトレーニング及びアップスケーリング（２１０）を示す。図２Ｃに示す実装形態は、３つのＲＧＢチャネルへの追加のチャネルとして、目標のエンハンスされた周波数チャネル（グラウンドトゥルース画像よりも多いディテールを提供する）を用いて、画素毎に４つの画像チャネルを用いるトレーニング及びアップスケーリング（２２０）を示す。
[0028] 図３は、本開示の一実装形態による、アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするためのプロセス３００を示すフローチャートである。図３に示す実装形態では、トレーニングプロセスにおいて余分のステップを行って、シャープネス及びディテールをエンハンスさせる。
[0029] 一実装形態では、ブロック３１０において、入力画像の明度チャネル（例えば、入力画像がＹＣｂＣｒであるときには輝度チャネル（Ｙ））にフーリエ変換関数を適用して、グラウンドトゥルース画像の２－Ｄ周波数マップを生成する。別の実装形態では、シャープネス及びディテールのレベルを提供することができる輝度以外のパラメータを使用することができる。例えば、非ライブキャプチャコンテンツの場合、Ｙは不変であるが、Ｃｂ及び／又はＣｒチャネルのみが変化する画像があり得る。この状況は、同じ輝度レベルであるが色彩に富んだコンピュータグラフィックス（ＣＧ）画像を提供する。カラーパターンのシャープネスを抽出するために、輝度がカラーパターンエッジ／周波数情報を与えない場合、他のチャネルの２Ｄ周波数マップを利用することができる。
[0030] ブロック３２０において、グラウンドトゥルース画像の周波数マップを調整して、アップスケーリングされた出力においてシャープネス及びディテールの目標量を制御する。次に、ブロック３３０において、トレーニングプロセスへの入力データにおいて、調整された２－Ｄ周波数マップを追加のチャネルとして（すなわち、ＲＧＢ又はＹＣｂＣｒ画像データに加えて）使用する。一実装形態では、トレーニング及びアップスケーリングのために、標準カラー画像データと一緒に、調整された２－Ｄ周波数マップをＭＬベースのアップスケーラーに入力する。
[0031] 図４は、本開示の一実装形態による、アップスケーリングされた出力においてシャープネス及びディテールの目標量を制御するための調整プロセス３３０を示す詳細フローチャートである。図４に示す実装形態では、グラウンドトゥルース画像の周波数マップを調整する。
[0032] 一実装形態では、ブロック４００において、周波数マップのより高い周波数エリアに利得係数を適用して、エンハンスされた周波数マップを生成する。次に、ブロック４１０において、エンハンスされた周波数マップを、シャープネス及び／又はディテールに関して目標として使用する。トレーニングプロセスは、出力画像の周波数マップを、エンハンスされた目標のできるだけ近くに調整して、更なるディテールを追加する、且つ／又はよりシャープな画像を生成する。
[0033] 図５は、本開示の一実装形態によるシャープネス調整システム５００を示すブロック図である。図５に示す実装形態では、シャープネス調整システム５００は、フーリエ変換ユニット５１０と、周波数マップ調整部５３０とを含む。
[0034] 図５に示す実装形態では、フーリエ変換ユニット５１０は、入力画像の輝度チャネルにフーリエ変換関数を適用して、グラウンドトゥルース画像の２－Ｄ周波数マップを生成するように構成される。別の実装形態では、フーリエ変換ユニット５１０は、シャープネス及びディテールのレベルを提供することができる輝度以外のパラメータを使用することができる。周波数マップ調整部５３０は、生成された２－Ｄ周波数マップを調整して、アップスケーリングされた出力においてシャープネス及びディテールの目標量を制御するように構成される。次に、調整された２－Ｄ周波数マップを、ＲＧＢ画像データと一緒に、ＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク５２０）に送る。
[0035] 一実装形態では、シャープネス調整システム５００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装形態では、シャープネス調整システム５００は、ハードウェアとソフトウェアの組み合わせで構成される。
[0036] 図６Ａは、本開示の一実装形態による、シャープネス調整システム６００及びユーザ６０２の図である。ユーザ６０２は、コンピュータシステム６００を使用して、アップスケーリングプロセスにおけるシャープネス調整のためのアプリケーションを実装する。
[0037] コンピュータシステム６００は、図６Ｂのシャープネス調整アプリケーション６９０を記憶して実行する。更に、コンピュータシステム６００は、ソフトウェアプログラム６０４と通信することができる。ソフトウェアプログラム６０４は、シャープネス調整アプリケーションのためのソフトウェアコードを含むことができる。ソフトウェアプログラム６０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。
[0038] 更に、コンピュータシステム６００は、ネットワーク６８０に接続することができる。ネットワーク６８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク６８０は、シャープネス調整アプリケーション内で使用されるエンジン及びデータを協調させるサーバ６８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク６８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。
[0039] 図６Ｂは、本開示の一実装形態による、シャープネス調整アプリケーション６９０をホストするコンピュータシステム６００を示す機能ブロック図である。コントローラ６１０はプログラマブルプロセッサであり、コンピュータシステム６００及びそのコンポーネントの動作を制御する。コントローラ６１０は、メモリ６２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ６１０は、シャープネス調整アプリケーション６９０にソフトウェアシステムを提供して、例えば、シャープネス調整アプリケーション内のエンジン及びデータ抽出部の作成及び構成を可能にする。代替的に、このサービスは、コントローラ６１０又はコンピュータシステム６００において別個のハードウェアコンポーネントとして実装することができる。
[0040] メモリ６２０は、コンピュータシステム６００の他のコンポーネントによって使用するためにデータを一時的に記憶する。一実装形態では、メモリ６２０はＲＡＭとして実装される。一実装形態では、メモリ６２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。
[0041] ストレージ６３０は、コンピュータシステム６００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ６３０は、シャープネス調整アプリケーション６９０によって使用されるデータを記憶する。一実装形態では、ストレージ６３０は、ハードディスクドライブである。
[0042] メディアデバイス６４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。一実装形態では、例えば、メディアデバイス６４０は、光ディスクドライブである。
[0043] ユーザインターフェイス６５０は、コンピュータシステム６００のユーザからユーザ入力を受け取ってユーザ６０２に情報を提示するためのコンポーネントを含む。一実装形態では、ユーザインターフェイス６５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ６１０は、ユーザ６０２からの入力を使用して、コンピュータシステム６００の動作を調整する。
[0044] Ｉ／Ｏインターフェイス６６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。一実装形態では、Ｉ／Ｏインターフェイス６６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装形態では、Ｉ／Ｏインターフェイス６６０は、外部装置と無線で通信するための無線インターフェイスを含む。
[0045] ネットワークインターフェイス６７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。
[0046] コンピュータシステム６００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図６Ｂに具体的に示されていない。他の実装形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。
[0047] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。
[0048] 本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせの形で実現される。いくつかの実装は、１又は２以上のコンピュータ装置により実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータ記憶構成要素（例えば、ハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、及び磁気テープドライブなどの揮発性又は不揮発性メモリモジュール及び持続的な光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、及び１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。
[0049] コンピュータプログラムは、通常、持続的な記憶媒体に記憶され、実行時にメモリにコピーされる実行可能なコードを含む。少なくとも１つのプロセッサが、所定の順序でメモリからプログラム命令を取り出すことによって、コードを実行する。プログラムコードの実行中には、コンピュータは、入力及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、これにより得られたデータを出力及び／又は記憶装置に供給する。
[0050] 当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップを電子ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、本明細書では、様々な例示的なモジュール及び方法ステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、特定の用途及びシステム全体に課せられる設計制約に依存する。当業者であれば、説明した機能を各特定の用途のために様々な方法で実装することができるが、このような実装の決定を、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能のグループ化は、説明を容易にするためのものである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップへ移すことができる。
[0051] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
１００ ＲＧＢ入力画像データ
１１０ フーリエ変換の結果
１２０ エンハンスメントの結果
２００ 画素毎に３つの画像チャネルを用いる学習
２１０ 画素毎に４つの画像チャネル（目標グラウンドトゥルース画像周波数）を用いる学習
２２０ 画素毎に４つの画像チャネル（目標のエンハンスされた周波数－グラウンドトゥルース画像よりも多いディテール）を用いる学習
３００ アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするためのプロセス
３１０ 入力画像の輝度チャネルにフーリエ変換関数を適用して、２－Ｄ周波数マップを生成
３２０ グラウンドトゥルース画像の周波数マップを調整して、アップスケーリングされた出力においてシャープネス及びディテールの目標量を制御
３３０ トレーニングプロセスへの入力データにおいて、調整された２－Ｄ周波数マップを追加のチャネルとして使用
４００ 周波数マップのより高い周波数エリアに利得係数を適用して、エンハンスされた周波数マップを生成
４１０ エンハンスされた周波数マップを、シャープネス及びディテールに関して目標として使用
５００ シャープネス調整システム
５１０ フーリエ変換ユニット
５２０ ニューラルネットワーク
５３０ 周波数マップ調整部
６００ シャープネス調整システム／コンピュータシステム
６０２ ユーザ
６０４ ソフトウェアプログラム
６１０ コントローラ
６２０ メモリ
６３０ ストレージ
６４０ メディアデバイス
６５０ ユーザインターフェイス
６６０ Ｉ／Ｏインターフェイス
６７０ ネットワークインターフェイス
６８０ ネットワーク
６８５ サーバ
６９０ シャープネス調整アプリケーション

Claims (10)

  1. アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするための方法であって、前記方法は、
    入力画像を受け取るステップと、
    前記入力画像の明度（ｂｒｉｇｈｔｎｅｓｓ）チャネルにフーリエ変換関数を適用して、前記入力画像の２－Ｄ周波数マップを生成するステップと、
    エンハンスされた２－Ｄマップを生成するために前記２－Ｄ周波数マップのより高い周波数エリアに利得形成を適用することを含む、前記２－Ｄ周波数マップを調整して、アップスケーリングされた出力画像においてシャープネス及びディテールの目標量を制御するステップと、
    標準カラー画像データと一緒に追加の入力チャネルとして前記調整された２－Ｄ周波数マップを機械学習（ＭＬ）ベースのアップスケーラーに入力することによってアップスケールされた出力画像を生成するステップと、
    を含むことを特徴とする方法。
  2. 前記明度チャネルは、前記入力画像の輝度チャネルを含むことを特徴とする、請求項１に記載の方法。
  3. エンハンスされた周波数マップをシャープネス及びディテールの目標として使用するステップをさらに含む、請求項１に記載の方法。
  4. エンハンスされた周波数マップをシャープネス及びディテールの目標として使用するステップは、前記２－Ｄ周波数マップを、前記エンハンスされた周波数マップの前記目標のできるだけ近くに調整して、更なるディテールを追加して、前記アップスケーリングされた出力画像を鮮明にするステップを含むことを特徴とする、請求項３に記載の方法。
  5. アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするためのシャープネス調整システムであって、前記システムは、
    入力画像を受け取り、前記入力画像の明度チャネルにフーリエ変換関数を適用して、２－Ｄ周波数マップを生成するように構成されるフーリエ変換ユニットと、
    前記２－Ｄ周波数マップを調整して、アップスケーリングされた出力画像においてシャープネス及びディテールを制御するように構成される周波数マップ調整部と、
    標準カラー画像データと一緒に追加の入力チャネルとして前記調整された２－Ｄ周波数マップを機械学習（ＭＬ）ベースのアップスケーラーに入力することによってアップスケールされた出力画像を生成する出力画像生成部と、
    を含むことを特徴とするシステム。
  6. 前記明度チャネルは、前記入力画像の輝度チャネルを含むことを特徴とする、請求項５に記載のシステム。
  7. アップスケーリングにおいて入力画像のシャープネス及びディテールの調整を可能にするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
    入力画像を受け取ることと、
    前記入力画像の明度（ｂｒｉｇｈｔｎｅｓｓ）チャネルにフーリエ変換関数を適用して、前記入力画像の２－Ｄ周波数マップを生成することと、
    エンハンスされた２－Ｄマップを生成するために前記２－Ｄ周波数マップのより高い周波数エリアに利得形成を適用することを含む、前記２－Ｄ周波数マップを調整して、アップスケーリングされた出力画像においてシャープネス及びディテールの目標量を制御することと、
    標準カラー画像データと一緒に追加の入力チャネルとして前記調整された２－Ｄ周波数マップを機械学習（ＭＬ）ベースのアップスケーラーに入力することによってアップスケールされた出力画像を生成することと、
    を行わせることを特徴とする非一時的コンピュータ可読記憶媒体。
  8. 前記明度チャネルは、前記入力画像の輝度チャネルを含むことを特徴とする、請求項７に記載の非一時的コンピュータ可読記憶媒体。
  9. 更に、実行可能命令を含み、前記実行可能命令は、前記コンピュータに、
    前記エンハンスされた周波数マップをシャープネス及びディテールの目標として使用すること、
    を行わせる、
    ことを特徴とする、請求項７に記載の非一時的コンピュータ可読記憶媒体。
  10. 前記コンピュータに、前記エンハンスされた周波数マップを前記目標として使用することを行わせる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、前記コンピュータに、
    前記２－Ｄ周波数マップを、前記エンハンスされた周波数マップの前記目標のできるだけ近くに調整して、更なるディテールを追加して、前記アップスケーリングされた出力画像を鮮明にすること、
    を行わせる、
    ことを特徴とする、請求項９に記載の非一時的コンピュータ可読記憶媒体。
JP2021521263A 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整 Active JP7304414B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747453P 2018-10-18 2018-10-18
US62/747,453 2018-10-18
US16/442,147 US11252301B2 (en) 2018-10-18 2019-06-14 Adjusting sharpness and details in upscaling output
US16/442,147 2019-06-14
PCT/US2019/056681 WO2020081776A1 (en) 2018-10-18 2019-10-17 Adjusting sharpness and details in upscaling output

Publications (2)

Publication Number Publication Date
JP2022505293A JP2022505293A (ja) 2022-01-14
JP7304414B2 true JP7304414B2 (ja) 2023-07-06

Family

ID=70280043

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2021521273A Active JP7416774B2 (ja) 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理
JP2021521153A Active JP7404359B2 (ja) 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上
JP2021521263A Active JP7304414B2 (ja) 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング
JP2023109105A Pending JP2023139008A (ja) 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2021521273A Active JP7416774B2 (ja) 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理
JP2021521153A Active JP7404359B2 (ja) 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング
JP2023109105A Pending JP2023139008A (ja) 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング

Country Status (6)

Country Link
US (5) US11265446B2 (ja)
EP (4) EP3844707A4 (ja)
JP (5) JP7416774B2 (ja)
KR (4) KR102649544B1 (ja)
CN (4) CN112868045B (ja)
WO (4) WO2020081659A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11265446B2 (en) * 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling
CN112396558B (zh) * 2019-08-15 2024-07-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
US11154773B2 (en) 2019-10-31 2021-10-26 Nvidia Corpration Game event recognition
US11673061B2 (en) 2020-01-17 2023-06-13 Nvidia Corporation Extensible dictionary for game events
US11170471B2 (en) * 2020-01-20 2021-11-09 Nvidia Corporation Resolution upscaling for event detection
US11715200B2 (en) 2020-01-31 2023-08-01 Illumina, Inc. Machine learning-based root cause analysis of process cycle images
JP7325636B2 (ja) * 2020-06-24 2023-08-14 三菱電機株式会社 学習装置、推論装置、プログラム、学習方法及び推論方法
CA3187106A1 (en) * 2021-01-29 2022-08-04 Kimberly Jean GIETZEN Deep learning-based root cause analysis of process cycle images
US20230156169A1 (en) * 2021-11-18 2023-05-18 Capital One Services, Llc Reduced bandwidth image transfer
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법
US20230394647A1 (en) * 2022-06-06 2023-12-07 Nvidia Corporation Determining contour edges for an image
KR20240003817A (ko) 2022-07-01 2024-01-11 아주스틸 주식회사 빅픽쳐 기술을 이용한 디자인 강판 제조방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332999A (ja) 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
JP2013500625A (ja) 2009-07-21 2013-01-07 クゥアルコム・インコーポレイテッド ビデオ画像の検出およびエンハンスメントのための方法およびシステム

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS572353A (en) 1980-06-06 1982-01-07 Toray Ind Inc Polyester resin composition
JP2502175B2 (ja) 1990-08-18 1996-05-29 富士通株式会社 原画像パタ―ンデ―タ再生方法及び装置
JPH08149321A (ja) * 1994-11-16 1996-06-07 Canon Inc カラー画像通信装置及び方法
JPH11112795A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 画像処理システム
EP1164781A1 (en) 1999-03-15 2001-12-19 Matsushita Electric Industrial Co., Ltd. Image processing device, image processing method, and recorded medium
JP2000324337A (ja) * 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
DE60234900D1 (de) 2001-12-21 2010-02-11 Ibm Verfahren und Schaltungen zur Bildskalierung mit Hilfe neuronaler Netzwerke
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
JP4760288B2 (ja) * 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
ES2808569T3 (es) * 2007-04-05 2021-03-01 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistema y método para manejar, diagnosticar y predecir la aparición de una afección médica
JP5271031B2 (ja) * 2008-08-09 2013-08-21 株式会社キーエンス 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8494308B2 (en) 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20130028538A1 (en) 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
JP6075294B2 (ja) 2011-12-12 2017-02-08 日本電気株式会社 画像処理システム及び画像処理方法
CN102682424B (zh) * 2012-01-07 2014-12-17 河南科技大学 基于边缘方向差值的图像放大处理方法
US8620073B2 (en) 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
CN104756151A (zh) * 2012-07-03 2015-07-01 马赛网络股份有限公司 用于增强和处理数字图像的系统及方法
US10147202B2 (en) * 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
CN103646379B (zh) * 2013-11-28 2019-04-26 青岛海信电器股份有限公司 一种图像放大方法和装置
JP6349703B2 (ja) 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
WO2015184549A1 (en) * 2014-06-03 2015-12-10 Mtt Innovation Incorporated Efficient, dynamic, high contrast lensing with applications to imaging, illumination and projection
EP3038049A1 (en) 2014-12-22 2016-06-29 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
EP3166068B1 (en) 2015-11-06 2020-08-12 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
CN108780570B (zh) 2016-01-16 2022-12-06 特利丹菲力尔有限责任公司 使用迭代协同滤波的图像超分辨率的系统和方法
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US9836820B2 (en) 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN106204447A (zh) 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
FR3059804B1 (fr) 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910161B (zh) 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
KR101861342B1 (ko) 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
US11238559B2 (en) * 2017-04-21 2022-02-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method and image receiving apparatus
CN107633229A (zh) 2017-09-21 2018-01-26 北京智芯原动科技有限公司 基于卷积神经网络的人脸检测方法及装置
CN107945125B (zh) * 2017-11-17 2021-06-22 福州大学 一种融合频谱估计法和卷积神经网络的模糊图像处理方法
CN107945146B (zh) * 2017-11-23 2021-08-03 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
CN109146814B (zh) * 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10547823B2 (en) 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332999A (ja) 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
JP2013500625A (ja) 2009-07-21 2013-01-07 クゥアルコム・インコーポレイテッド ビデオ画像の検出およびエンハンスメントのための方法およびシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jeong Ho Lee，Image Resolution Enhancement by Modifying the Frequency Spectrum，2011 IEEE International Conference on Consumer Electronics，2011年03月03日，p.713-714，<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5722824>
江田 孝治，ＤＣＴ符号インデックスを用いた高精細画像の作成法，電気学会論文誌Ｃ，第133巻，第3号，2013年03月01日，p.680-687

Also Published As

Publication number Publication date
EP3844682A4 (en) 2022-07-13
CN112868034A (zh) 2021-05-28
EP3844708A1 (en) 2021-07-07
CN112930552B (zh) 2024-08-13
EP3844682A1 (en) 2021-07-07
CN112868045A (zh) 2021-05-28
JP2022505303A (ja) 2022-01-14
KR20210056376A (ko) 2021-05-18
KR102649544B1 (ko) 2024-03-22
US20200126194A1 (en) 2020-04-23
US10931853B2 (en) 2021-02-23
KR102596182B1 (ko) 2023-11-02
CN112930552A (zh) 2021-06-08
US20200128151A1 (en) 2020-04-23
EP3844706A4 (en) 2022-07-06
US11265446B2 (en) 2022-03-01
US11252300B2 (en) 2022-02-15
JP2022505293A (ja) 2022-01-14
JP2022505275A (ja) 2022-01-14
US20200126184A1 (en) 2020-04-23
CN112868034B (zh) 2024-01-16
US11533413B2 (en) 2022-12-20
EP3844708A4 (en) 2022-06-08
US20210168263A1 (en) 2021-06-03
JP2023139008A (ja) 2023-10-03
WO2020081659A1 (en) 2020-04-23
US11252301B2 (en) 2022-02-15
CN112868045B (zh) 2024-07-12
KR20210054556A (ko) 2021-05-13
EP3844706A1 (en) 2021-07-07
KR102593893B1 (ko) 2023-10-27
KR102550342B1 (ko) 2023-07-05
JP2022505203A (ja) 2022-01-14
WO2020081770A1 (en) 2020-04-23
CN112868046A (zh) 2021-05-28
KR20210057077A (ko) 2021-05-20
CN112868046B (zh) 2024-09-06
US20200126183A1 (en) 2020-04-23
KR20210054554A (ko) 2021-05-13
EP3844707A4 (en) 2022-07-13
WO2020081772A1 (en) 2020-04-23
EP3844707A1 (en) 2021-07-07
JP7416774B2 (ja) 2024-01-17
WO2020081776A1 (en) 2020-04-23
JP7404359B2 (ja) 2023-12-25

Similar Documents

Publication Publication Date Title
JP7304414B2 (ja) 出力のアップスケーリングにおけるシャープネス及びディテールの調整
US8401284B2 (en) Color correcting method and apparatus
US11323676B2 (en) Image white balance processing system and method
US11727543B2 (en) Systems and methods for content-aware enhancement of images
JP2017517818A (ja) デジタル画像の色を処理するための方法及びシステム
WO2013106984A1 (en) Learning painting styles for painterly rendering
US20140079334A1 (en) System for photograph enhancement by user controlled local image enhancement
EP3900328A1 (en) Profile-based standard dynamic range and high dynamic range content generation
US20200388086A1 (en) Blend shape system with dynamic partitioning
JP6444755B2 (ja) 印刷ヘッドの光強度を調整する方法、及び印刷ヘッドの光強度を調整する動作を行う複数の命令をプロセッサに格納する非一時的なコンピュータ可読媒体
US11995795B2 (en) Image processing device and method for operating same
WO2022247702A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN116152083A (zh) 用于图像处理的方法和设备
WO2020166596A1 (ja) 画像処理システム及びプログラム
CN113168709B (zh) 网点外观生成器
US20230334737A1 (en) Partial depth ordering with vector interlacing
JP2023520528A (ja) 輪郭精度評価を用いた画像セグメンテーション訓練
JP2023520893A (ja) オプティカルフローによって支援される、動いている物体のためのハイブリッドビデオセグメンテーション
KR20230055287A (ko) 명암비 향상을 위한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7304414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150