JP6818284B1 - 画像処理装置、画像処理システム、及び画像処理方法 - Google Patents

画像処理装置、画像処理システム、及び画像処理方法 Download PDF

Info

Publication number
JP6818284B1
JP6818284B1 JP2020052164A JP2020052164A JP6818284B1 JP 6818284 B1 JP6818284 B1 JP 6818284B1 JP 2020052164 A JP2020052164 A JP 2020052164A JP 2020052164 A JP2020052164 A JP 2020052164A JP 6818284 B1 JP6818284 B1 JP 6818284B1
Authority
JP
Japan
Prior art keywords
image
unit
brightness
data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020052164A
Other languages
English (en)
Other versions
JP2021152686A (ja
Inventor
好之 井上
好之 井上
Original Assignee
株式会社 アイノグラフィックス
株式会社 アイノグラフィックス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 アイノグラフィックス, 株式会社 アイノグラフィックス filed Critical 株式会社 アイノグラフィックス
Priority to JP2020052164A priority Critical patent/JP6818284B1/ja
Application granted granted Critical
Publication of JP6818284B1 publication Critical patent/JP6818284B1/ja
Priority to US17/207,888 priority patent/US11544825B2/en
Priority to CN202110307855.9A priority patent/CN113450266A/zh
Publication of JP2021152686A publication Critical patent/JP2021152686A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】評価精度の向上を図ることができる画像処理装置、画像処理システム、及び画像処理方法を提供する。【解決手段】撮像された画像を補正する画像処理装置であって、ブロックピクセルを取得する画像取得部と、ブロックピクセルに含まれるRGB値に基づいて、画像の明暗、濃度、輝度、色空間の変換を行う画像変換部と、変換された画像を出力する出力部と、を備え、画像変換部は、画像を二値化し、画像の明暗の面積比を算出し、明暗域を特定する明暗域を設定する二値化処理部と、RGB値に対応する波長域に変換する濃度変換部と、人目による可視が可能な最大波長の輝度に変換する輝度変換部と、色調の色空間を示すHSV値に変換する色空間変換部とを備えることを特徴とする。【選択図】図2

Description

本発明は、撮像された画像の補正を行う画像処理装置、画像処理システム、及び画像処理方法に関する。
従来、デジタルカメラ等で撮像された画像データを判別し、階調特性を考慮して、異なる出力装置でも同等の階調および色特性で可視的に出力可能とするような装置として、例えば特許文献1の画像処理装置等が提案されている。
特許文献1に開示された画像処理装置は、所定の入力情報に基づいて、所定の機器がデジタルカメラであるか否かを判別する判別手段と、判別手段によって、所定の機器がデジタルカメラであると判別された場合に、入力画像データを明度・色度情報に変換する変換手段と、明度・色度情報について、色度を変更せずに特定の明度範囲のコントラストを強調する階調変換を行い、出力画像データを生成する生成手段と、を有する。
特開2003−299116号公報
ここで、撮像された画像の補正を行う画像処理については、人間の視覚に近い画像となるような補正精度の向上が求められている。この点、特許文献1では、入力画像データの取得機器がデジタルカメラであると判別した場合に、入力画像データを明度・色度情報に変換し、明度を変更せずにシャドーからミドルトーンにかかる明度範囲のコントラストを強調し、階調変換する技術について開示されているに留まり、人間の視覚に近い画像となるような補正精度を向上することができない。
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる画像処理装置、画像処理システム、及び画像処理方法を提供することにある。
第1発明に係る画像処理装置は、撮像された画像を補正する画像処理装置であって、 前記画像を構成するブロックピクセルを順次に取得する画像取得部と、前記画像取得部により取得された前記ブロックピクセルに含まれるRGB値に基づいて、前記画像の明暗、濃度、輝度、色空間の変換を行う画像変換部と、前記画像変換部により変換された前記画像を出力する出力部と、を備え、前記画像変換部は、前記画像取得部により取得された前記ブロックピクセルに含まれるRGB値に基づき、前記画像を二値化し、前記画像の明暗の面積比を算出し、算出した前記面積比に応じた明暗域を特定する明暗域を設定する二値化処理部と、前記二値化処理部により設定された前記明暗域に基づき、前記RGB値に対応する波長域に変換する濃度変換部と、前記濃度変換部により変換された前記波長域に基づき、各々の前記波長域に含まれる前記RGB値を、人目による可視が可能な最大波長の輝度に変換する輝度変換部と、前記輝度変換部により変換された前記RGB値に基づき、色調の色空間を示すHSV値に変換する色空間変換部を更に備えることを特徴とする。
第2発明に係る画像処理装置は、第1発明において、前記画像変換部は、前記画像を構成する各々の前記ブロックピクセルを細分化し、前記細分化された前記ブロックピクセルに基づいて、前記ブロックピクセルに含まれる各々の前記RGB値を補間する補間処理部を更に備えることを特徴とする。
第3発明に係る画像処理装置は、第1発明において、前記画像変換部は、前記画像取得部により取得された前記RGB値に基づき、前記画像の濃淡の頻度分布を判別し、判別の結果に基づいて、他の濃度の区間に頻度を振り分ける、又は特定濃度の区間に集約する頻度変換部を更に備えることを特徴とする。
第4発明に係る画像処理装置は、第1発明〜第3発明のいずれかにおいて、前記画像を構成する前記ブロックピクセルに含まれる前記RGB値を示す数値データ、前記画像の二値化を示す面積比データ、前記画像の明暗を示す明暗データ、及び前記画像の輝度を示す輝度データを複数有する画像データを取得する取得部と、予め取得された過去の画像データと、前記過去の画像データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、前記参照データベースを参照し、前記画像データに対する評価結果を生成する評価部と、を備えることを特徴とする。
第5発明に係る画像処理装置は、第4発明において、前記学習モデルは、前記過去の画像データと、前記参照情報とを学習データとして用いた機械学習により構築されること を特徴とする。
第6発明に係る画像処理システムは、撮像された画像を補正する画像処理システムであって、前記画像を構成するブロックピクセルを順次に取得する画像取得手段と、前記画像取得手段により取得された前記ブロックピクセルに含まれるRGB値に基づいて、前記画像の明暗、濃度、輝度、色空間の変換を行う画像変換手段と、前記画像変換手段により変換された前記画像を出力する出力手段と、を備え、 前記画像変換手段は、前記画像取得手段により取得された前記ブロックピクセルに含まれるRGB値に基づき、前記画像を二値化し、前記画像の明暗の面積比を算出し、算出した前記面積比に応じた明暗域を特定する明暗域を設定する二値化処理手段と、前記二値化処理手段により設定された前記明暗域に基づき、前記RGB値に対応する波長域に変換する濃度変換手段と、前記濃度変換手段により変換された前記波長域に基づき、各々の前記波長域に含まれる前記RGB値を、人目による可視が可能な最大波長の輝度に変換する輝度変換手段と、前記輝度変換手段により変換された前記RGB値に基づき、色調の色空間を示すHSV値に変換する色空間変換手段を更に備えることを特徴とする。
第7発明に係る画像処理方法は、撮像された画像を補正する画像処理方法であって、 前記画像を構成するブロックピクセルを順次に取得する画像取得ステップと、前記画像取得ステップにより取得された前記ブロックピクセルに含まれるRGB値に基づいて、前記画像の明暗、濃度、輝度、色空間の変換を行う画像変換ステップと、前記画像変換ステップにより変換された前記画像を出力する出力ステップと、を有し、前記画像変換ステップは、前記画像取得ステップにより取得された前記ブロックピクセルに含まれるRGB値に基づき、前記画像を二値化し、前記画像の明暗の面積比を算出し、算出した前記面積比に応じた明暗域を特定する明暗域を設定する二値化処理ステップと、前記二値化処理ステップにより設定された前記明暗域に基づき、前記RGB値に対応する波長域に変換する濃度変換ステップと、前記濃度変換ステップにより変換された前記波長域に基づき、各々の前記波長域に含まれる前記RGB値を、人目による可視が可能な最大波長の輝度に変換する輝度変換ステップと、前記輝度変換ステップにより変換された前記RGB値に基づき、色調の色空間を示すHSV値に変換する色空間変換ステップを更に有することを特徴とする。
第1発明〜第5発明によれば、画像変換部は、ブロックピクセルに含まれるRGB値に基づいて、画像の明暗、濃度、輝度、色空間の変換を行う。このため、人目に見えるような波長域で画像の変換が可能となる。これにより、人間の視覚に近い画像となるような補正精度の向上を図ることが可能となる。
特に、第2発明によれば、補間処理部は、画像を構成するブロックピクセルを細分化する。このため、細分化されたブロックピクセルに含まれる各々のRGB値を補間することができる。これにより、画像を構成するブロックピクセルを増やすことができ、人間の視覚に近い画像となるような補正精度の向上を図ることが可能となる。
特に、第3発明によれば、頻度変換部は、画像の濃淡の頻度分布を判別する。このため、判別結果に基づいて、他の濃度の区間に頻度を振り分ける、又は特定濃度の区間に集約することができる。これにより、画像の濃淡の頻度分布に応じて、補正精度の向上を図ることが可能となる。
特に、第4発明によれば、画像データは、画像を構成するブロックピクセルに含まれるRGB値を示す数値データ、画像の二値化を示す面積比データ、画像の明暗を示す明暗データ、及び画像の輝度を示す輝度データを複数有する。このため、補正対象の画像における全体の撮像状態に基づく画像データに対する評価を実施することができる。これにより、映像・画像の画像処理を大幅に効率化できる。また、人間の視覚に近い画像となるような補正精度の向上を図ることが可能となる。従って、評価することができる評価対象画像の種類を飛躍的に増加させることができる。
特に、第5発明によれば、学習モデルは、過去の画像データと、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の膨大な画像データに加え、それらとは異なる未知の画像データを評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。
特に、第6発明によれば、画像変換手段は、ブロックピクセルに含まれるRGB値に基づいて、画像の明暗、濃度、輝度、色空間の変換を行う。このため、人目に見えるような波長域で画像の変換が可能となる。これにより、人間の視覚に近い画像となるような補正精度の向上を図ることが可能となる。
第7発明によれば、画像変換ステップは、ブロックピクセルに含まれるRGB値に基づいて、画像の明暗、濃度、輝度、色空間の変換を行う。このため、人目に見えるような波長域で画像の変換が可能となる。これにより、人間の視覚に近い画像となるような補正精度の向上を図ることが可能となる。
図1は、第1実施形態における画像処理システムの一例を示す模式図である。 図2は、第1実施形態における画像処理装置の動作の一例を示す模式図である。 図3(a)、(b)は、第1実施形態における画像処理装置の出力の一例を示す模式図である。 図4(a)は、第1実施形態における画像処理装置の構成の一例を示す模式図であり、図4(b)は、第1実施形態における画像処理装置の機能の一例を示す模式図である。 図5は、第1実施形態における参照データベースの一例を示す模式図である。 図6は、第1実施形態における画像処理システムの動作の一例を示すフローチャートである。 図7は、第2実施形態における画像処理装置の動作の一例を示すフローチャートである。
以下、本発明を適用した実施形態における画像処理装置、画像処理システム、及び画像処理方法の一例について、図面を参照しながら説明する。
図1を参照して、第1実施形態における画像処理装置1、及び画像処理システム100の一例について説明する。
第1実施形態における画像処理システム100は、例えば図1に示すように、画像処理装置1を有する。画像処理装置1は、例えば撮像装置2と接続するほか、例えば通信網4を介して他の端末5やサーバ6に接続されてもよい。
画像処理装置1は、撮像対象となる対象物が撮像された画像3の画像データを取得する。画像処理装置1は、画像データに含まれるRGB色空間におけるR(赤)、G(緑)、及びB(青)の各要素の明度の値を取得する。画像処理装置1は、取得した画像3の画像データを、コンピュータのハードディスク等の記憶装置に記憶し、画像データの補正等の演算処理時には、画像処理装置1の作業メモリに適宜ロードされる。
画像処理装置1は、取得した画像3を構成する画像データに含まれる複数のブロックピクセルを順次に走査する。画像処理装置1は、走査の結果により、各々のブロックピクセルに含まれるRGB値に基づいて、画像3の明暗、濃度、輝度、色空間の変換により、適宜に補正を行う。画像処理装置1は、例えば画像3の画像データを補正する際の処理装置として用いられるほか、画像処理装置1により取得された画像3の画像データを評価する評価装置として用いることができる。
画像処理装置1は、例えば図2に示すように、対象物を撮像し、画像3を構成する画像データを取得したあと、後述する二値化変換、濃度変換処理、輝度変換処理、色空間処理、補間処理、及び頻度変換を行い、それらの処理の後に補正変換された画像データを出力する。
画像処理装置1は、後述する参照データベースを参照し、画像3を構成する画像データに対する評価結果を生成する。画像処理装置1は、例えば評価結果に対応する画像情報を出力する(図2では濃度変換・輝度変換されたデフォルト画像データを出力)。画像データは、例えばブロックピクセルに含まれるRGB値を示す数値データ、及び画像3の輝度を示す輝度データ、撮影された場所や環境に関する位置データ、撮影条件や設定値等の撮影データ、撮像された画像データに紐づく各種のデータを複数有する。
画像データは、画像3を構成する複数のブロックピクセルであって、例えばビットマップ形式、JPEG形式等のフォーマットが採用される。画像データは、色のついたドットと呼ばれる点の羅列・集合として表現され、格子状に細かい点に分割されており、その点の一つ一つに対して、色や輝度等の情報が付与されており、画像全体が表現される。
画像データは、画像3を構成するRGBの三原色により示されるデータであり、それをJPEG形式の画像データに変換される場合は、通常色差や輝度といった画像成分に分けられる。
画像データは、JPEG形式が対象としている写真等のフルカラー画像の場合は、例えば輝度より色の変化の度合いが少ない。そのため、色の成分を輝度と差分化し、ある間隔で色の成分だけ間引かれる。画像データは、間引く割合をサンプリングファクタと言うパラメータで指定することが可能であり、サンプリングファクタは、通常1、または2という値で、成分毎に横(H)と縦(V)の値を保持する。
画像データは、例えばJPEG形式のファイルに変換される場合、画像成分の分解と共に、四角い小さな画像データに分割(サンプリング)される。画像データは、サンプリングファクタにより、画像3を構成する画像データの成分の中で、例えば最大のサンプリングファクタを8倍した値が、小さな画像の一辺の長さとなる。
画像データは、例えば画像3が撮像された撮影者データ、撮影機器データ、位置データ、時間データ等を有してもよい。
画像データは、例えば評価対象となる画像3に対し、それぞれ異なる2方向以上から撮像された位置データ、及び色データを有する。この場合、位置データ毎の相対的な位置関係の精度を向上させることができる。
画像処理装置1は、例えば図3(a)に示すように、取得した画像3を構成する画像データに基づき、画像データを構成する複数のブロックピクセルに含まれる補正前の各々のRGB値を順次に走査する。画像処理装置1は、取得した画像3の画像データを二値化し、画像データの明暗の面積比を算出する。画像処理装置1は、算出した面積比に応じて明暗域を特定し、黒の割合の高い明暗域を設定(黒比率:80.43%、白比率:19.57%)し、設定された明暗域に基づき、RGB値に対応する波長域を、相対感度として示される低い波長域に変換し、(波長:ローキー調域)、変換された波長域に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換し、変換された最大波長のRGB値に基づき、色調の色空間の高い輝度を示すHSV値に変換する(色調&鮮やかさ:正常)。
また、画像処理装置1は、画像3を構成する画像データの各々のブロックピクセルを細分化し、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々の前記RGB値を補間する。画像処理装置1は、取得されたRGB値に基づき、画像の濃淡の頻度分布を判別し、特定濃度の区間に偏りがある場合は、他の濃度の区間に頻度を振り分ける(頻度分布:強)。
次に、画像処理装置1は、補正後の画像3として、補正後のRGB値を含むブロックピクセルを含む画像データを出力する。
また、画像処理装置1は、例えば図3(b)に示すように、取得した画像3を構成する画像データに基づき、画像データを構成する複数のブロックピクセルに含まれる補正前の各々のRGB値を順次に走査する。画像処理装置1は、取得した画像3の画像データを二値化し、画像データの明暗の面積比を算出する。画像処理装置1は、算出した面積比に応じて明暗域を特定し、黒と白の割合が近い明暗域を設定(黒比率:51.50%、白比率:48.50%)し、設定された明暗域に基づき、RGB値に対応する波長域を、相対感度として示される中間の波長域に変換し、(波長:中間域)、変換された波長域に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換し、変換された最大波長のRGB値に基づき、色調の色空間の弱い輝度を示すHSV値に変換する(色調:不足)。
また、画像処理装置1は、画像3を構成する画像データの各々のブロックピクセルを細分化し、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々の前記RGB値を補間する。画像処理装置1は、取得されたRGB値に基づき、画像の濃淡の頻度分布を判別し、複数濃度の区間で頻度分布が低い場合は、特定濃度の区間に集約する(頻度分布:弱)。
次に、画像処理装置1は、補正後の画像3として、補正後のRGB値を含むブロックピクセルを含む画像データを出力する。
(画像処理装置1)
次に、図4を参照して、第1実施形態における画像処理装置1の一例を説明する。図4(a)は、第1実施形態における画像処理装置1の構成の一例を示す模式図であり、図4(b)は、第1実施形態における画像処理装置1の機能の一例を示す模式図である。
画像処理装置1として、例えばパーソナルコンピュータ(PC)等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、IoT(Internet of Things)デバイス等の電子機器、Raspberry Pi(登録商標)等のシングルボードコンピュータが用いられてもよい。画像処理装置1は、例えば図4(a)に示すように、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105〜107とを備える。各構成101〜107は、内部バス110により接続される。
CPU101は、画像処理装置1全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。保存部104は、画像データや参照データベース等の各種情報が保存される。保存部104として、例えばHDD(Hard Disk Drive)の他、SSD(solid state drive)やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば画像処理装置1は、図示しないGPU(Graphics Processing Unit)を有してもよい。GPUを有することで、通常よりも高速演算処理が可能となる。
I/F105は、撮像装置2との各種情報の送受信を行うためのインターフェースであるほか、例えばインターネット等の通信網4を介して、他の端末5やサーバ6等との各種情報の送受信を行うためのインターフェースでもよい。I/F106は、入力部分108との情報の送受信を行うためのインターフェースである。入力部分108として、例えばキーボードが用いられ、画像処理装置1の管理者等は、入力部分108を介して、各種情報又は画像処理装置1の制御コマンド等を入力する。I/F107は、出力部分109との各種情報の送受信を行うためのインターフェースである。出力部分109は、保存部104に保存された各種情報、又は画像処理装置1の処理状況等を出力する。出力部分109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。
<参照データベース>
保存部104に保存された参照データベースには、学習モデルが記憶される。学習モデルは、予め取得された過去の画像データと、過去の画像データに紐づく参照情報との間における連関性を有する。参照データベースには、例えば過去の画像データ、及び参照情報が記憶されてもよい。学習モデルは、例えば過去の画像データ、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。
この場合、例えば連関性は、多対多の情報の間における繋がりの度合いを示す。連関性は、機械学習の過程で適宜更新される。このため、学習モデルは、例えば過去の画像データ、及び参照情報に基づいて最適化された連関性(例えば関数)を有する分類器を示す。このため、過去に評価対象の画像3の撮像状態を評価した結果を全て踏まえて構築された学習モデルを用いて、画像データに対する評価結果が生成される。これにより、評価対象の画像3が複雑な撮像状態を有する場合においても、最適な評価結果を生成することができる。また、画像データが、過去の画像データと同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、人間の視覚に近い画像となるような補正精度の向上を図ることができる。
なお、連関性は、例えば各過去の画像データと各参照情報との間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。
過去の画像データは、上述した画像データと同種の情報を示す。過去の画像データは、例えば過去に評価対象の画像3を評価した際に取得された画像データを複数含む。
参照情報は、過去の画像データに紐づき、補正の評価対象となる画像3の撮像状態に関する情報を示す。参照情報は、例えば評価対象の画像3の種類や状態(例えば「黒比率:○○%」や「白比率:○○%」等)を示す二値化情報や明暗の面積比の最適値を示すデフォルト画像、評価対象の画像3を構成するブロックピクセルのピクセル数(例えば「縦・横:25px」、「縦・横:50px」等)の分割情報や分割されたブロックピクセルの数値画像、演算画像、または処理後の数値画像の最適値を示すデフォルト画像や、評価対象の画像3を構成するブロックピクセルの明暗の程度(例えば「ローキー調:460nm〜499nm」、「中間調:500nm〜549nm」、または「ハイキー調:550nm〜560nm」等)を示す各々の波長域の画像、各々の波長域の最適値を示すデフォルト画像や、評価対象の画像3を構成するブロックピクセルのRGB値に基づいて変換されたHSV値の色の種類や状態(例えば「鮮やかさ不足」、「色調不足」、または「色調&鮮やかさ正常」等)の色補正の最適値を示すデフォルト画像や、評価対象の画像3を構成するブロックピクセルのRGB値の頻度分布を表すスケルトン(エッジ強調)の種類や状態(例えば「強」、「弱」、または「正常」等)のエッジ強度、状態の最適値を示すデフォルト画像、等を含む。なお、参照情報に含まれる具体的な内容や設定、各種の最適値のデフォルト画像は、任意に追加や設定することができる。
連関性は、例えば図5に示すように、過去の画像データと参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の画像データに含まれる複数のデータ(図5では「データA」〜「データC」)のそれぞれに対し、参照情報に含まれる複数のデータ(図5では「参照A」〜「参照C」)の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の画像データに含まれる1つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。
連関性は、例えば過去の画像データに含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、10段階、又は5段階等の3段階以上で示され、例えば線の特徴(例えば太さ等)で示される。例えば、過去の画像データに含まれる「データA」は、参照情報に含まれる「参照A」との間の連関度AA「85%」を示し、参照情報に含まれる「参照B」との間の連関度AB「73%」を示す。また、例えば、過去の画像データに含まれる「データB」は、参照情報に含まれる「参照A」との間の連関度BA「19%」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により学習モデルを構築する際、連関性が3段階以上の連関度を有するように設定してもよい。
過去の画像データは、例えば過去の位置データと、過去の色データとを分割して、参照データベースに記憶されてもよい(図示せず)。この場合、過去の位置データ及び過去の色データの組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の画像データは、例えば上記に加え、過去の画像データ及び過去の色データの少なくとも何れかを分割して、参照データベースに記憶されてもよい。
例えば、過去の位置データに含まれる「位置A」、及び過去の色データに含まれる「色A」の組み合わせは、「参照A」との間の連関度AAA「63%」を示し、「参照B」との間の連関度ABA「63%」を示す。この場合、過去の位置データ及び過去の色データをそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。
連関性は、例えば合成データと、類似度とを含んでもよい(図示せず)。合成データは、過去の位置データ又は過去の色データとの間における3段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶されてもよい。
図4(b)は、画像処理装置1の機能の一例を示す模式図である。画像処理装置1は、画像取得部11と、画像変換部12として、二値化変換部と、濃度変換部と、輝度変換部と、色空間変換部と、補間処理部と、頻度変換部と、を備える。また、画像処理装置1は、取得部13と、評価部14と、記憶部15、出力部16と、を備え、例えば更新部17を有してもよい。なお、図4(b)に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。
<画像取得部11>
画像取得部11は、画像3の画像データを構成する複数のブロックピクセルを順次に取得する。画像取得部11は、撮像装置2等から画像3の画像データを取得するほか、例えば内蔵された図示しない撮像部から、画像データを取得する。なお、画像取得部11が画像3の画像データを取得する頻度及び周期は、任意である。
画像取得部11は、画像処理装置1に送信された各種情報を受信する。画像取得部11は、例えば通信網4及びI/F105を介して、他の端末5等の外部端末から送信された画像データ等の各種情報を受信してもよい。
<画像変換部12>
画像変換部12は、画像取得部11により取得された画像3の画像データの各種の変換を行う。画像変換部12は、例えば二値化変換部と、濃度変換部と、輝度変換部と、色空間変換部と、頻度変換部と、を備える。
<二値化変換部>
二値化変換部は、画像取得部11により取得されたブロックピクセルに含まれるRGB値に基づき、ブロックピクセルを二値化のデータ形式に変換する。二値化変換部は、二値化された画像を構成するブロックピクセルにより、画像3の画像全体の明暗の面積比を算出する。面積比は、例えば図3の(a)、及び図3(b)に示されるような面積比(黒比率:80.43%、白比率:19.57%等)で示される。
二値化変換部は、算出した画像3の面積比(黒色と白色の面積に占める割合)に基づいて、暗部として波長の低い帯域(ローキー域:例えば460nm〜499nm)、明部として波長の高い帯域(ハイキー域:例えば550nm〜560nm)、暗部(ローキー域)と明部(ハイキー域)の中間部として中間の帯域(中間域:500nm〜549nm)とし、対象部分を特定する。
<濃度変換部>
濃度変換部は、二値化変換部により二値化された画像データの面積比に基づき、対応する対象部分に対する波長域を特定し、特定した波長の範囲内で各々のRGB値の濃度を変換する。濃度変換部は、例えば暗部〜明部に対するRGB値の濃度の変換を行う。
また、濃度変換部は、補正対象が動画である場合は、複数枚の画像データの組み合せにより、各々の暗部〜明部の画像詳細が、より鮮明な可視化最大適度になるよう組み合わせることを繰り返し行う。
<輝度変換部>
輝度変換部は、濃度変換部により変換された波長域に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換する。人間の知覚は明暗を光量でなく、ほぼ光量の対数で知覚する。したがって、反射(透過)光量が等差のステップパターンは視覚的には明部が長く、暗部が急激に変化することとなる。輝度変換部は、濃度変換部により変換された波長域に基づき、その各々の波長域の中で、RGB値を人目に見えるような輝度に変換する。
ここで、人間の知覚は、明暗を光量ではなく、ほぼ光量の対数で知覚し、人により感じ方に違いがある。これは、通常のデジタルカメラ等の撮像処理とは異なるものであり、人目に見えるための変換が必要となる。そのため、濃度変換部では、明暗の濃度変換として、光量(光度エネルギー)を光束の時間積分として、例えばある時間から経過の時間までの光束の時間積分として算出するようにしてもよい。高度エネルギーは、画像の例えば一般的に知られている技術であるウェーバー比を用いた数式、フェヒナーの仮説、暗所視と明所視の最大感度波長の差異(プルキンエシフト)に基づいて算出するようにしてもよい。
ここでウェーバー比は、例えば弁別閾(気づくことができる最小の刺激差)は、原刺激の値に比例するという関係式により求められる。また、フェヒナーの仮説では、弁別閾を感覚の単位と捉え、人間の感覚の最小単位とし、弁別閾を基本の単位として間接的に感覚量を尺度化することにより求められる。二つの刺激の間の感覚の違いにより、刺激と弁別閾の連続的な変化とし、それらの関係性から、感覚量を求めるため指数関数の逆関数による対数関数から、フェヒナーの仮説(微分方程式を感覚量を刺激量の対数化)として算出する。
<色空間変換部>
色空間変換部は、輝度変換部により変換されたRGB値に基づき、画像3の画像データを構成するRGB値の各々の色調の色空間を示すHSV値に変換する。
ここで、HSV(値)とは、色を「色相(Hue)」、「彩度(Saturation)」、「明度(Value・Brightness)」の3要素で表現する方法であり、RGB(値)との違いとして、例えばRGBは原色の組み合わせで色を表現しているが、HSVは「鮮やかさ」や「明るさ」といった人間が直感的にわかりやすい方法で表現され。また、照明条件が変化しても色相には変化が少ないといった特徴を持つ。RGBが0.0を最小量、1.0を最大値とする範囲にあり、例えばRGB値が定義された色(ピクセルブロック)が与えられたとすると、それに相当するHSV値は、RGBの三つの値の内、最大のものをMAX、最小のものをMINとして変換される。
HSV(値)では、Hは0.0から360.0まで変化し、色相が示された色環に沿った角度で表現される。Vは、0.0から1.0までの範囲で変化する彩度および明度である。角座標系で、Hの範囲は0から360までであるが、その範囲を超えるHは360.0で割った剰余(またはモジュラ演算)でこの範囲に対応させることができる。
色空間変換部は、輝度変換部により変換されたRGB値(「R成分は何%、G成分は何%、B成分は何%」)に基づき、HSV値(「何色か(色相)、鮮やかな色か渋い色か(彩度)、明るい色か暗い色か(明度)」)に変換する。このため、人間の色に対する考え方、直感的に理解しやすい色調として算出することができる。これにより、人間の視覚に近い画像となるような補正精度の向上を図ることができる。
<補間処理部>
補間処理部は、画像3の画像データを構成する各々のRGB値のブロックピクセルを細分化し、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々のRGB値を補間する。これにより、公知の画像処理の技術(例えば「バイキュービック補間」)と組み合わせて、画像3の濃度が変化する部分の形状をなめらかに記録することができる。
ここで「バイキュービック補間」とは、例えば対象の画像3の画像データにおいて、求めたい位置(x,y)の値(x,y)を、周囲の16点の画素値からの行列式を用いて、3次多項式による近似で求めることができる。補間処理部は、画像3の画像データ(数値画像)を構成するブロックピクセルを細分化(演算画像)し、細分化されたブロックピクセルに含まれるRGB値に対して演算を行う。これにより、画像3のRGB値の濃度が変化する部分の形状をなめらかにすることができる。
<頻度変換部>
頻度変換部は、画像3の画像データのRGB値の濃度を、その発生の頻度に従って変更し、画像3の補正を行う。頻度変換部は、頻度変換では、画像3の画像データのヒストグラムに偏りがある場合、ダイナミックレンジ極端に小さい場合に、意図的に変更したい頻度分布を設定しておき、両者の画像データの変換テーブルを作成した上で、画像処理を行う。
一般的に、変換すべき頻度分布は正規分布に近い形が見やすいとされているが、この場合、画像3の画像データのRGB値の範囲より、分割区間の数が多い場合は同じ値を別の区間に振り分けを行う。また頻度変換部は、画像3の画像データのRGB値の範囲より、複数濃度の区間で頻度分布が低いと判別した場合は、特定濃度の区間に集約する処理を行う。これにより、画像3の画像データの各々のRGB値のエッジの判別ができ、判別の結果に応じて、各々のエッジの濃淡を強調させることが可能となる。
<取得部13>
取得部13は、評価対象の画像データを取得する。取得部13は、例えば入力部分108から入力された評価対象の画像データを取得するほか、例えば通信網4を介して端末5等から評価対象の画像データを取得してもよい。
取得部13は、例えば評価装置を用いて学習方法を行う場合、取得部13は、複数の評価モデルによって予め導出されたテストデータに対する複数の判定結果と、複数のテストデータとを取得する。なお、例えば評価装置を用いて、テストデータに対する判定結果を導出する処理を行うことで、複数の判定結果を取得してもよい。
<評価部14>
評価部14は、参照データベースを参照し、画像データに対する評価結果を生成する。評価部14は、例えば画像データを入力データとし、学習モデルに基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。
評価部14は、例えば図5に示した参照データベースを参照した場合、画像データに含まれるデータと同一又は類似するデータ(例えば「データA」:第1データとする)を選択する。第1データとして、画像データと一部一致又は完全一致するデータが選択されるほか、例えば類似するデータが選択される。画像データが行列等の数値で表される場合、選択される第1データに含まれる数値範囲を、予め設定してもよい。
評価部14は、選択した第1データに紐づく参照情報、及び選択した第1データと参照情報との間における連関度(第1連関度)を選択し、選択した参照情報及び第1連関度に基づき評価結果を生成する。なお、第1連関度は、予め構築された連関性から選択されるほか、評価部14によって算出されてもよい。
例えば評価部14は、第1データ「データA」に紐づく参照情報に含まれるデータ「参照A」、及び「データA」と「参照A」との間における第1連関度(連関度AA)「75%」を選択する。なお、参照情報及び第1連関度は、複数のデータを含んでもよい。この場合、上述した「参照A」及び「75%」に加えて、第1データ「データA」に紐づく参照情報「参照B」、及び「データA」と「参照B」との間における第1連関度(連関度AB)「12%」を選択し、「参照A」及び「75%」、並びに、「参照B」及び「12%」に基づき評価結果を生成してもよい。
評価結果は、画像データを含んでもよい。また、第1連関度は、例えば百分率等の3段階以上で示される。
評価部14は、例えば予め保存部104等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第1連関度等を、ユーザが理解できる形式(例えば文字列)を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。
評価部14は、例えば選択した第1連関度に基づいて、評価結果の内容を決定する。例えば評価部14は、「50%」以上の第1連関度に紐づく参照情報に基づいて、評価結果を生成し、「50%」未満の第1連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第1連関度に基づく判定基準は、例えば管理者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部14は、例えば2以上の第1連関度を演算した結果や、2以上の第1連関度の比較に基づいて、評価結果の内容を決定してもよい。
<記憶部15>
記憶部15は、保存部104に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部15は、各構成11、13〜14により取得又は生成された各種情報を、保存部104に保存する。
<出力部16>
出力部16は、評価結果を出力する。出力部16は、I/F107を介して出力部分109に評価結果を送信するほか、例えばI/F105を介して、他の端末5等に評価結果を送信する。出力部16は、例えば図3に示した評価対象の画像3の補正画像を再現した画像を表示するデータを、出力部分109等に出力する。
<更新部17>
更新部17は、例えば参照データベースを更新する。更新部17は、過去の画像データと、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。例えば評価部14により生成された評価結果を踏まえ、管理者等が評価結果の内容における精度を判定し、判定結果を画像処理装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに含まれる連関性を更新する。
<通信網4>
通信網4は、例えば画像処理装置1等が通信回路を介して接続されるインターネット網等である。通信網4は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網4は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。
<他の端末5>
他の端末5として、例えば画像処理装置1と同様に電子機器で具現化されたものが用いられる。他の端末5は、例えば複数の画像処理装置1と通信可能な中央制御装置等を示す。
<サーバ6>
サーバ6には、例えば上述した各種情報が記憶される。サーバ6には、例えば通信網4を介して送られてきた各種情報が蓄積される。サーバ6には、例えば保存部104と同様の情報が保存され、通信網4を介して画像処理装置1と各種情報の送受信が行われてもよい。即ち、画像処理装置1は、保存部104の代わりにサーバ6を用いてもよい。
(第1実施形態:画像処理システム100の動作の一例)
次に、第1実施形態における画像処理システム100の動作の一例について説明する。図6は、第1実施形態における画像処理システム100の動作の一例を示すフローチャートである。
<画像取得手段S110>
図2に示すように、画像3の画像データを取得する(画像取得手段S110)。画像取得部11は、画像取得部11は、画像3の画像データを構成する複数のブロックピクセルを順次に取得するようにしてもよい。
例えば画像取得部11は、撮像装置2等から画像3の画像データを取得するほか、例えば内蔵された図示しない撮像部から、リアルタイムに画像データを取得するようにしてもよい。なお、画像取得部11は、静止画として画像3を取得する他、動画を取得するようにしてもよく、その場合は、1つの画像フレームごとに画像データを取得する。なお、画像データを取得する頻度及び周期は、任意である。また、画像3や動画の形式やフォーマットは、任意である。
<画像変換手段S120>
次に、画像の明暗、濃度、輝度、色空間を変換する(画像変換手段S120)。画像変換部12は、ブロックピクセルに含まれるRGB値に基づいて、画像3の明暗、濃度、輝度、色空間の変換を行う。画像変換部12は、例えば二値化変換部と、濃度変換部と、輝度変換部と、色空間変換部と、頻度変換部とを備え、各々の変換を行うようにしてもよい。
<二値化処理手段S130>
次に、画像を二値化し、明暗の面積比を算出する(二値化処理手段S130)。二値化処理部は、ブロックピクセルに含まれるRGB値を判別し、判別結果に基づいて画像3のRGB値を二値化し、画像3の明暗(例えば白黒)の面積比を算出する。二値化処理部は、算出した面積比に応じて明暗域を特定する。明暗域は、例えば面積比と明暗域とを各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
<濃度変換手段S140>
次に、RGB値に対応する波長域に変換する(濃度変換手段S140)。濃度変換部は、二値化処理部により設定された明暗域を判別する。濃度変換部は、RGB値に応じて波長域を特定する。濃度変換部は、判別の結果に基づき、RGB値に対応する波長域に変換するようにしてもよい。波長域は、例えばRGB値と波長域とを各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
<輝度変換手段S150>
次に、最大波長の輝度に変換する(輝度変換手段S150)。輝度変換部は、濃度変換部により変換された波長域を判別する。濃度変換部は、変換された波長域に応じてRGB値を最大波長の輝度を特定する。輝度変換部は、判別の結果に基づき、各々の波長域に含まれるRGB値を、人目による可視が可能な最大波長の輝度に変換するようにしてもよい。最大波長の輝度は、例えば最大波長の輝度を含む波長域とRGB値を各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
<色空間変換手段S160>
次に、色調の色空間を示すHSV値に変換する(色空間変換手段S160)。色空間変換部は、輝度変換部により変換されたRGB値を判別する。色空間変換部は、変換されたRGB値に応じてHSV値を特定する。色空間変換部は、判別されたRGB値に基づき、色調の色空間を示すHSV値に変換するようにしてもよい。HSV値は、例えばHSV値とRGB値を各々対応付けるデータテーブル(図示せず)として、予め画像処理システム1の記憶部15に設定されていてもよい。
<出力手段S170>
その後、変換された画像を出力する(出力手段S170)。出力部16は、例えば画像変換部12により変換された画像3を出力してもよい。出力部16は、評価結果を出力部分109等に出力するほか、例えば通信網4を介して他の端末5に出力するようにしてもよい。
<補間処理手段S180>
また、ブロックピクセルに含まれるRGB値を補間する(補間処理手段S180)。補間処理部は、画像3を構成する各々のブロックピクセルを判別し、細分化する。補間処理部は、細分化されたブロックピクセルに基づいて、ブロックピクセルに含まれる各々のRGB値を補間するようにしてもよい。
<頻度変換手段S190>
また、頻度分布を判別し、振り分け・集約する(頻度変換手段S190)。頻度変換部は、RGB値に基づき、画像3の濃淡の頻度分布を判別する。頻度変換部は、特定濃度の区間に偏りがあると判別した場合は、他の濃度の区間に頻度の振り分けを行う。また、頻度変換部は、複数の濃度の区間において頻度分布が低い場合は、特定濃度の区間に集約するようにしてもよい。
これにより、第1実施形態における画像処理システム100の動作が終了してもよい。
本実施形態によれば、画像取得部は、画像3を構成するブロックピクセルを順次に取得する。このため、さまざまな環境下で撮像された画像3を細かく取得することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
また、本実施形態によれば、二値化処理部は、二値化した画像3から明暗の面積比を算出し、算出結果から面積比に応じた明暗域を特定する。このため、画像3の白黒の明暗域を詳細に判別することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
また、本実施形態によれば、濃度変換部は、RGB値に対応する波長域に変換する。このため、画像3のRGB値の各々の濃度の波長域を詳細に判別することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
また、本実施形態によれば、輝度変換部は、波長域に含まれるRGB値を変換する。このため、人目による可視が可能な最大波長の輝度に可能することができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
また、本実施形態によれば、色空間変換部輝度変換部は、RGB値に基づき、色調の色空間を示すHSV値に変換する。このため、人間が直感的に分かりやすい表示をすることができる。これにより、人間の視覚(人目)に近い画像となるような補正精度の向上を図ることができる。
(第2実施形態:画像処理システム100の動作の一例)
次に、第2実施形態における画像処理システム100の動作の一例について説明する。図7は、第2実施形態における画像処理システム100の動作の一例を示すフローチャートである。
<取得手段S210>
取得部13は、画像データを取得する(取得手段S210)。取得部13は、画像3を構成するブロックピクセルに含まれるRGB値を示す数値データ、画像3の二値化を示す面積比データ、画像3の明暗を示す明暗データ、及び画像3の輝度を示す輝度データを複数有する画像データを取得するようにしてもよい。取得部13は、例えば記憶部15を介して、評価対象の画像3の画像データを保存部104に保存する。
<評価手段S220>
次に、評価結果を生成する(評価手段S220)。評価部14は、参照データベースを参照し、評価対象の画像データに対する評価結果を生成する。評価部14は、取得部13により取得された画像3の画像データを取得し、例えば保存部104に保存された参照データベースを取得する。評価部14は、例えば評価対象の画像データを入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。このとき、例えば評価部14は、1つの評価対象の画像データに対して、複数の参照情報を選択してもよい。
評価部14は、1つの評価対象の画像データに対して、1つの評価結果を生成するほか、例えば複数の評価対象の画像データに対して1つの評価結果を生成してもよい。評価部14は、例えば保存部104に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部14は、例えば記憶部15を介して、評価結果を保存部104に保存する。
<出力手段S230>
次に、評価結果を出力する(出力手段S230)。出力部16は、評価結果を出力部分109等に出力する。出力部16は、例えば通信網4を介して他の端末5又はサーバ6に出力してもよい。
<更新手段S240>
次に、関係を連関度に反映する(更新手段S240)。更新部17は、例えば過去の評価対象の画像データと、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させてもよい。例えば評価部14により生成された評価結果を踏まえ、評価者等が評価結果の精度を判定した判定結果を画像処理装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに記憶された連関性を更新する。
これにより、第2実施形態における画像処理システム100の動作が終了する。なお、更新手段S240を実施する場合のタイミングは、任意である。
本実施形態によれば、評価部14は、参照データベースを参照し、画像3の画像データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象の画像3に対するRGB値を示す数値データ、画像3の二値化を示す面積比データ、画像3の明暗を示す明暗データ、及び画像3の輝度を示す輝度データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。
また、本実施形態によれば、学習モデルは、過去の画像データと、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の画像データとは異なる未知の画像データを評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。
また、本実施形態によれば、評価手段S220は、参照データベースを参照し、画像データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象の画像3に対するRGB値を示す数値データ、画像3の二値化を示す面積比データ、画像3の明暗を示す明暗データ、及び画像3の輝度を示す輝度データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 :画像処理装置
2 :撮像装置
3 :画像
4 :通信網
5 :端末
6 :サーバ
10 :筐体
11 :画像取得部
12 :画像変換部
13 :取得部
14 :評価部
15 :記憶部
16 :出力部
17 :更新部
100 :画像処理システム
101 :CPU
102 :ROM
103 :RAM
104 :保存部
105 :I/F
106 :I/F
107 :I/F
108 :入力部分
109 :出力部分
110 :内部バス
S110 :画像取得手段
S120 :画像変換手段
S130 :二値化処理手段
S140 :濃度変換手段
S150 :輝度変換手段
S160 :色空間変換手段
S170 :出力手段
S180 :補間処理手段
S190 :頻度変換手段
S210 :取得手段
S220 :評価手段
S230 :出力手段
S240 :更新手段

Claims (7)

  1. 撮像された画像を補正する画像処理装置であって、
    前記画像を構成するブロックピクセルを順次に取得する画像取得部と、
    前記画像取得部により取得された前記ブロックピクセルに含まれるRGB値に基づいて、前記画像の明暗、濃度、輝度、色空間の変換を行う画像変換部と、
    前記画像変換部により変換された前記画像を出力する出力部と、を備え、
    前記画像変換部は、
    前記画像取得部により取得された前記ブロックピクセルに含まれるRGB値に基づき、前記画像を二値化し、前記画像の明暗の面積比を算出し、算出した前記面積比に応じた明暗域を特定する明暗域を設定する二値化処理部と、
    前記二値化処理部により設定された前記明暗域に基づき、前記RGB値に対応する波長域に変換する濃度変換部と、
    前記濃度変換部により変換された前記波長域に基づき、各々の前記波長域に含まれる前記RGB値を、人目による可視が可能な最大波長の輝度に変換する輝度変換部と、
    前記輝度変換部により変換された前記RGB値に基づき、色調の色空間を示すHSV値に変換する色空間変換部と、を更に備えること
    を特徴とする画像処理装置。
  2. 前記画像変換部は、
    前記画像を構成する各々の前記ブロックピクセルを細分化し、前記細分化された前記ブロックピクセルに基づいて、前記ブロックピクセルに含まれる各々の前記RGB値を補間する補間処理部を更に備えること
    を特徴とする請求項1に記載の画像処理装置。
  3. 前記画像変換部は、
    前記画像取得部により取得された前記RGB値に基づき、前記画像の濃淡の頻度分布を判別し、判別の結果に基づいて、他の濃度の区間に頻度を振り分ける、又は特定濃度の区間に集約する頻度変換部を更に備えること
    を特徴とする請求項1に記載の画像処理装置。
  4. 前記画像を構成する前記ブロックピクセルに含まれる前記RGB値を示す数値データ、前記画像の二値化を示す面積比データ、前記画像の明暗を示す明暗データ、及び前記画像の輝度を示す輝度データを複数有する画像データを取得する取得部と、
    予め取得された過去の画像データと、前記過去の画像データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、
    前記参照データベースを参照し、前記画像データに対する評価結果を生成する評価部と、を備えること
    を特徴とする請求項1〜3の何れか1項記載の画像処理装置。
  5. 前記学習モデルは、
    前記過去の画像データと、前記参照情報とを学習データとして用いた機械学習により構築されること
    を特徴とする請求項4記載の画像処理装置。
  6. 撮像された画像を補正する画像処理システムであって、
    前記画像を構成するブロックピクセルを順次に取得する画像取得手段と、
    前記画像取得手段により取得された前記ブロックピクセルに含まれるRGB値に基づいて、前記画像の明暗、濃度、輝度、色空間の変換を行う画像変換手段と、
    前記画像変換手段により変換された前記画像を出力する出力手段と、を備え、
    前記画像変換手段は、
    前記画像取得手段により取得された前記ブロックピクセルに含まれるRGB値に基づき、前記画像を二値化し、前記画像の明暗の面積比を算出し、算出した前記面積比に応じた明暗域を特定する明暗域を設定する二値化処理手段と、
    前記二値化処理手段により設定された前記明暗域に基づき、前記RGB値に対応する波長域に変換する濃度変換手段と、
    前記濃度変換手段により変換された前記波長域に基づき、各々の前記波長域に含まれる前記RGB値を、人目による可視が可能な最大波長の輝度に変換する輝度変換手段と、
    前記輝度変換手段により変換された前記RGB値に基づき、色調の色空間を示すHSV値に変換する色空間変換手段と、を更に備えること
    を特徴とする画像処理システム。
  7. 撮像された画像を補正する画像処理方法であって、
    前記画像を構成するブロックピクセルを順次に取得する画像取得ステップと、
    前記画像取得ステップにより取得された前記ブロックピクセルに含まれるRGB値に基づいて、前記画像の明暗、濃度、輝度、色空間の変換を行う画像変換ステップと、
    前記画像変換ステップにより変換された前記画像を出力する出力ステップと、を有し、
    前記画像変換ステップは、
    前記画像取得ステップにより取得された前記ブロックピクセルに含まれるRGB値に基づき、前記画像を二値化し、前記画像の明暗の面積比を算出し、算出した前記面積比に応じた明暗域を特定する明暗域を設定する二値化処理ステップと、
    前記二値化処理ステップにより設定された前記明暗域に基づき、前記RGB値に対応する波長域に変換する濃度変換ステップと、
    前記濃度変換ステップにより変換された前記波長域に基づき、各々の前記波長域に含まれる前記RGB値を、人目による可視が可能な最大波長の輝度に変換する輝度変換ステップと、
    前記輝度変換ステップにより変換された前記RGB値に基づき、色調の色空間を示すHSV値に変換する色空間変換ステップと、を更に有すること
    を特徴とする画像処理方法。
JP2020052164A 2020-03-24 2020-03-24 画像処理装置、画像処理システム、及び画像処理方法 Active JP6818284B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020052164A JP6818284B1 (ja) 2020-03-24 2020-03-24 画像処理装置、画像処理システム、及び画像処理方法
US17/207,888 US11544825B2 (en) 2020-03-24 2021-03-22 Image processing apparatus, image processing system, and image processing method
CN202110307855.9A CN113450266A (zh) 2020-03-24 2021-03-23 图像处理装置、图像处理系统以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020052164A JP6818284B1 (ja) 2020-03-24 2020-03-24 画像処理装置、画像処理システム、及び画像処理方法

Publications (2)

Publication Number Publication Date
JP6818284B1 true JP6818284B1 (ja) 2021-01-20
JP2021152686A JP2021152686A (ja) 2021-09-30

Family

ID=74164712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020052164A Active JP6818284B1 (ja) 2020-03-24 2020-03-24 画像処理装置、画像処理システム、及び画像処理方法

Country Status (3)

Country Link
US (1) US11544825B2 (ja)
JP (1) JP6818284B1 (ja)
CN (1) CN113450266A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210107955A (ko) * 2020-02-24 2021-09-02 삼성전자주식회사 컬러 스테인 분석 방법 및 상기 방법을 이용하는 전자 장치
CN114491466B (zh) * 2022-04-08 2022-06-21 北京奥康达体育产业股份有限公司 一种基于私有云技术的智能训练系统
CN118096546A (zh) * 2024-04-29 2024-05-28 南京诺源医疗器械有限公司 内窥镜图像的处理方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299116A (ja) 2002-04-01 2003-10-17 Minolta Co Ltd 画像処理装置、およびプログラム
US9064173B2 (en) * 2012-03-07 2015-06-23 Blue River Technology, Inc. Method and apparatus for automated plant necrosis
JP6627703B2 (ja) * 2016-09-23 2020-01-08 ブラザー工業株式会社 印刷データ作成プログラム、印刷データ作成装置、印刷装置、印刷データ作成方法

Also Published As

Publication number Publication date
CN113450266A (zh) 2021-09-28
JP2021152686A (ja) 2021-09-30
US11544825B2 (en) 2023-01-03
US20210304376A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
JP6818284B1 (ja) 画像処理装置、画像処理システム、及び画像処理方法
JP4375781B2 (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4319620B2 (ja) 局所的色補正
US8649625B2 (en) Method, device and program for measuring image quality adjusting ability, and method, device and program for adjusting image quality
WO2010087162A1 (ja) カラー画像処理方法、カラー画像処理装置および記録媒体
CN111163268B (zh) 一种图像处理方法、装置以及计算机存储介质
JP2009055465A (ja) 画像処理装置および方法
US8319853B2 (en) Image processing apparatus, image processing method, and computer program
JPWO2009104787A1 (ja) カラー画像処理方法、装置およびプログラム
CN105493489A (zh) 色域映射系统及方法
US8290262B2 (en) Color processing apparatus and method thereof
JP5943112B1 (ja) 画像処理装置、画像処理システムおよびプログラム
JPH1023279A (ja) 画像処理装置
CN109064431A (zh) 一种图片亮度调节方法、设备及其存储介质
JP4359662B2 (ja) カラー画像の露出補正方法
JP4608961B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPH1141622A (ja) 画像処理装置
US20080100749A1 (en) Image processing device capable of performing retinex process at high speed
JPWO2006106750A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5050141B2 (ja) カラー画像の露出評価方法
CN113395407A (zh) 图像处理装置、图像处理方法及计算机可读介质
JP2020088709A (ja) 画像処理装置、画像処理方法及びプログラム
US11669591B2 (en) Information processing apparatus and non-transitory computer readable medium
JP3664395B2 (ja) 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体
JPH11308474A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200825

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200825

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201216

R150 Certificate of patent or registration of utility model

Ref document number: 6818284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250