JP7176614B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP7176614B2
JP7176614B2 JP2021508103A JP2021508103A JP7176614B2 JP 7176614 B2 JP7176614 B2 JP 7176614B2 JP 2021508103 A JP2021508103 A JP 2021508103A JP 2021508103 A JP2021508103 A JP 2021508103A JP 7176614 B2 JP7176614 B2 JP 7176614B2
Authority
JP
Japan
Prior art keywords
data
image data
learning
conversion
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508103A
Other languages
English (en)
Other versions
JPWO2020195015A1 (ja
Inventor
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020195015A1 publication Critical patent/JPWO2020195015A1/ja
Application granted granted Critical
Publication of JP7176614B2 publication Critical patent/JP7176614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
ディープラーニング等を用いた機械学習において、認識精度の良い学習モデル(認識辞書)を作るためには、大量の学習データ(訓練データ)と、正解ラベルとが必要である。しかしながら、限られた運用期間中に、様々なパターン(主に環境変化(春夏秋冬又は昼夜等))を学習データとして収集することは困難である。
この技術に関連し、特許文献1は、撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に用いる訓練画像を生成することができる画像生成方法を開示する。特許文献1にかかる方法は、第一の画像に含まれる第一の領域の画像と、第二の画像に含まれる第二の領域の画像とを取得する。また、特許文献1にかかる方法は、第一の領域の画像の色情報を第二の領域の画像の色情報に類似させるように第一の領域の画像を変換する第一の変換パラメータを算出する。特許文献1にかかる方法は、第一の変換パラメータを用いて第一の画像を変換し、変換後の第一の画像と第二の画像とを合成することで第三の画像を生成する。
特開2017- 45441号公報
特許文献1にかかる技術では、第一の画像と第二の画像とを用いて新たな第三の画像を生成することで、多くの訓練画像が生成される。一方、単に多くの訓練画像を生成するだけでは、認識精度の良い学習モデルを生成することは困難である。
本開示の目的は、このような課題を解決するためになされたものであり、効率よく精度の良い学習モデルを生成することができる画像処理装置、画像処理方法及びプログラムを提供することにある。
本開示にかかる画像処理装置は、入力画像データを取得するデータ取得手段と、データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成するデータ生成手段と、予め記憶された学習モデルを用いて、前記データ生成手段によって生成された前記画像データの認識精度を算出する認識精度算出手段と、前記認識精度算出手段で算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力する学習データ出力手段とを有する。
また、本開示にかかる画像処理方法は、入力画像データを取得し、データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成し、予め記憶された学習モデルを用いて、生成された前記画像データの認識精度を算出し、算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力する。
また、本開示にかかるプログラムは、入力画像データを取得するステップと、データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成するステップと、予め記憶された学習モデルを用いて、生成された前記画像データの認識精度を算出するステップと、算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力するステップとをコンピュータに実行させる。
本開示によれば、効率よく精度の良い学習モデルを生成することができる画像処理装置、画像処理方法及びプログラムを提供できる。
本開示の実施の形態にかかる画像処理装置の概要を示す図である。 実施の形態1にかかる画像処理装置の構成を示す図である。 撮影画像である入力画像を例示する図である。 図3に示した入力画像に対応するインデックス画像を例示する図である。 実施の形態1にかかるパラメータ記憶部に記憶されるデータを例示する図である。 実施の形態1にかかる画像処理装置で実行される画像処理方法を示すフローチャートである。 色分布データの決定方法の第1の例について説明するための図である。 色分布データの決定方法の第2の例について説明するための図である。 色分布データの決定方法の第3の例について説明するための図である。 実施の形態2にかかる画像処理装置の構成を示す図である。 実施の形態2にかかる画像処理装置で実行される画像処理方法を示すフローチャートである。
(本開示にかかる実施の形態の概要)
本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図1は、本開示の実施の形態にかかる画像処理装置1の概要を示す図である。画像処理装置1は、例えば、サーバ等のコンピュータである。
画像処理装置1は、データ取得部2と、データ生成部4と、認識精度算出部6と、学習データ出力部8とを有する。データ取得部2は、データ取得手段として機能する。データ生成部4は、データ生成手段として機能する。認識精度算出部6は、認識精度算出手段として機能する。学習データ出力部8は、学習データ出力手段として機能する。
データ取得部2は、入力画像データを取得する。入力画像データは、撮影された入力画像を示すデータである。データ生成部4は、データ変換パラメータを用いて入力画像データを変換して、画像データを新たに生成する。認識精度算出部6は、予め記憶された学習モデルを用いて、データ生成部4によって生成された画像データの認識精度を算出する。学習データ出力部8は、認識精度算出部6で算出された認識精度が予め定められた第1の閾値よりも低い画像データを、学習データとして出力する。出力された学習データは、学習モデルを生成(予め記憶された学習モデルを更新)するために使用される。
本開示にかかる画像処理装置1は、上記のように構成されているので、自動的に、認識精度の低い画像データを、学習データとして取得することができる。ここで、ディープラーニング等の機械学習を行って学習モデルを生成する際に用いる学習データは多い方が好ましいが、単純に学習データが多いだけでは、精度の良い学習モデルを生成することは困難である。すなわち、学習モデルの精度(汎化性能)を向上させるため、学習モデルを生成する際に使用される学習データは、様々なバリエーションの画像データであることが望ましい。具体的には、ある物体を認識する学習モデルを生成する場合、その物体が撮影された環境のバリエーション(季節、天候、時刻等)が少ない場合、そのバリエーションから逸脱した環境下で撮影されたその物体を認識できない学習モデルが生成され得る。例えば、物体Aを認識する際に、晴れた夏の朝に撮影された物体Aの画像のみを用いて学習モデルを生成したとする。この場合、その学習モデルは、雨の降る冬の夜に撮影された物体Aの画像について、物体Aを認識できないおそれがある。
このようなことを抑制するために、生成しようとしている学習モデルにおいて認識精度が低い環境下で撮影された画像データを、新たに学習データとすることで、認識精度の低かった環境下における画像の認識精度が向上し得る。したがって、その学習モデルの精度(汎化性能)が向上し得る。したがって、本開示にかかる画像処理装置1によって認識精度の低い画像データを学習データとして取得することで、効率よく、精度の良い学習モデルを生成することが可能となる。なお、画像処理装置1で実行される画像処理方法及び画像処理方法を実行するプログラムを用いても、効率よく、精度の良い学習モデルを生成することが可能となる。
(実施の形態1)
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図2は、実施の形態1にかかる画像処理装置100の構成を示す図である。画像処理装置100は、図1に示した画像処理装置1に対応する。画像処理装置100は、例えばサーバ等のコンピュータである。画像処理装置100は、撮影された入力画像を処理して、画像認識で使用される学習モデルの生成(機械学習)に用いる学習データ(訓練データ)を出力する。
画像処理装置100は、主要なハードウェア構成として、制御部102と、記憶部104と、通信部106と、インタフェース部108(IF;Interface)とを有する。制御部102、記憶部104、通信部106及びインタフェース部108は、データバスなどを介して相互に接続されている。
制御部102は、例えばCPU(Central Processing Unit)等のプロセッサである。制御部102は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部104は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部104は、例えばROM(Read Only Memory)又はRAM(Random Access Memory)等である。記憶部104は、制御部102によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部104は、処理データ等を一時的に記憶するための機能を有する。記憶部104は、データベースを含み得る。
通信部106は、他の装置とネットワークを介して通信を行うために必要な処理を行う。通信部106は、通信ポート、ルータ、ファイアウォール等を含み得る。インタフェース部108(IF;Interface)は、例えばユーザインタフェース(UI)である。インタフェース部108は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。インタフェース部108は、ユーザ(オペレータ)によるデータの入力の操作を受け付け、ユーザに対して情報を出力する。インタフェース部108は、例えば、後述する入力画像、ターゲット画像、インデックス画像及び、変換後の画像データを表示してもよい。
実施の形態1にかかる画像処理装置100は、データ取得部112、パラメータ記憶部114、データ生成部120、認識精度算出部130、学習モデル記憶部132、学習データ出力部140、及びパラメータ決定部150を有する。また、データ生成部120は、色分布算出部122及び画像変換部124を有する。
データ取得部112は、データ取得手段として機能する。パラメータ記憶部114は、パラメータ記憶手段として機能する。データ生成部120は、データ生成手段として機能する。認識精度算出部130は、認識精度算出手段として機能する。学習モデル記憶部132は、学習モデル記憶手段として機能する。学習データ出力部140は、学習データ出力手段として機能する。パラメータ決定部150は、パラメータ決定手段として機能する。色分布算出部122は、色分布算出手段として機能する。画像変換部124は、画像変換手段として機能する。なお、各構成要素の具体的な機能については後述する。
なお、各構成要素は、例えば、制御部102の制御によって、プログラムを実行させることによって実現できる。より具体的には、各構成要素は、記憶部104に格納されたプログラムを、制御部102が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。以上のことは、後述する他の実施の形態においても同様である。
データ取得部112は、図1に示したデータ取得部2に対応する。パラメータ記憶部114は、後述する画像変換で用いられる複数のデータ変換パラメータを予め記憶する。パラメータ記憶部114に記憶されているデータについては後述する。ここで、データ変換パラメータは、色分布を含み得る。また、色分布は、例えば、画像の輝度の平均及び標準偏差(又は分散)であるが、これに限られない。
データ生成部120は、図1に示したデータ生成部4に対応する。色分布算出部122は、入力画像データの色分布を算出する。画像変換部124は、入力画像データの色分布とデータ変換パラメータ(色分布)とに基づいて、入力画像データを変換する。これにより、データ生成部120は、学習データの候補となる画像データを新たに生成する。学習モデル記憶部132は、認識精度の算出に用いられる学習モデルを予め記憶する。認識精度算出部130は、図1に示した認識精度算出部6に対応する。学習データ出力部140は、図1に示した学習データ出力部8に対応する。
パラメータ決定部150は、学習データ出力部140によって出力される学習データ(画像データ)を生成するときの変換で用いられたデータ変換パラメータを用いて、入力画像データの変換に用いる新たなデータ変換パラメータを決定する。具体的には、パラメータ決定部150は、学習データに関する変換で用いられた色分布を用いて、新たな色分布を決定する。データ生成部120は、パラメータ決定部150によって決定されたデータ変換パラメータ(色分布)を用いて、入力画像データを変換する。これにより、実施の形態1にかかる画像処理装置100は、効率的に学習データを生成できる。
ここで、実施の形態1にかかるデータ生成部120は、入力画像データの複数の領域それぞれについてのデータ変換パラメータ(色分布)に基づいて、複数の領域ごとに入力画像データを変換する。パラメータ決定部150は、学習データに関する変換で用いられたデータ変換パラメータ(色分布)を用いて、複数の領域ごとに、新たなデータ変換パラメータ(色分布)を決定する。これにより、実施の形態1にかかる画像処理装置100は、効率的に多くのパターンの学習データを生成できる。
図3は、撮影画像である入力画像800を例示する図である。図3に例示する入力画像800は、朝の川岸の画像である。入力画像800は、草の画像に対応する草領域802と、棒の画像に対応する棒領域804と、アスファルトの画像に対応するアスファルト領域806と、川の画像に対応する川領域808とを含む。なお、領域の区分の仕方は、上記に限定されず、入力画像に応じて適宜決定される。例えば、入力画像が道路を走行する車両の画像であれば、入力画像は、車両領域、車道領域、歩道領域、標識領域、建物領域、及び歩行者領域といった領域に区分され得る。
図4は、図3に示した入力画像800に対応するインデックス画像820を例示する図である。インデックス画像820は、例えば、入力画像800を用いて人の手によって生成され得る。インデックス画像820は、入力画像800のどの領域が何を表しているかを示している。そして、インデックス画像820は、画素ごとに、何を表しているかをラベリングしている。インデックス画像820において、領域822の画素には、「草」を示すラベル(例えば「1」)が付されている。また、領域824の画素には、「棒」を示すラベル(例えば「2」)が付されている。また、領域826の画素には、「アスファルト」を示すラベル(例えば「3」)が付されている。また、領域828の画素には、「川」を示すラベル(例えば「4」)が付されている。入力画像800とインデックス画像820とを用いることによって、色分布算出部122は、入力画像800の各領域の色分布を算出することができる。そして、画像変換部124は、入力画像800の領域ごとに画像変換を行うことができる。
図5は、実施の形態1にかかるパラメータ記憶部114に記憶されるデータを例示する図である。パラメータ記憶部114は、ターゲット画像データ900-1,900-2、インデックス画像データ920-1,920-2、及び、色分布データ940-1,940-2を記憶する。インデックス画像データ920-1及び色分布データ940-1は、ターゲット画像データ900-1に対応する。インデックス画像データ920-2及び色分布データ940-2は、ターゲット画像データ900-2に対応する。なお、以降、ターゲット画像データ900-1,900-2のように、複数ある構成要素を区別せずに説明するときに、単に、ターゲット画像データ900を称することがある。
ターゲット画像データ900は、予め撮影されラベル付けされた画像である。ターゲット画像データ900-1,900-2は、夜の川岸の画像である。なお、ターゲット画像データ900の川岸は、入力画像800の川岸とは異なり得る。つまり、ターゲット画像データ900の被写体は、入力画像800の被写体と異なり得る。ターゲット画像データ900は、草の画像に対応する草領域902と、棒の画像に対応する棒領域904と、アスファルトの画像に対応するアスファルト領域906と、川の画像に対応する川領域908とを含む。
インデックス画像データ920は、例えば、ターゲット画像データ900を用いて人の手によって生成され得る。インデックス画像データ920は、ターゲット画像データ900のどの領域が何を表しているかを示している。そして、インデックス画像データ920は、画素ごとに、何を表しているかをラベリングしている。インデックス画像データ920において、領域922の画素は、「草」を示すラベル(例えば「1」)が付されている。また、領域924の画素は、「棒」を示すラベル(例えば「2」)が付されている。また、領域926の画素は、「アスファルト」を示すラベル(例えば「3」)が付されている。また、領域928の画素は、「川」を示すラベル(例えば「4」)が付されている。
色分布データ940は、ターゲット画像データ900の各領域の色分布を示す。つまり、色分布データ940は、領域922に対応する画素の色分布データ、領域924に対応する画素の色分布データ、領域926に対応する画素の色分布データ、及び、領域928に対応する画素の色分布データを含み得る。なお、色分布データ940は、画像全体の色分布データを含んでもよい。
図6は、実施の形態1にかかる画像処理装置100で実行される画像処理方法を示すフローチャートである。データ取得部112は、入力画像データを取得する(ステップS100)。具体的には、例えば、ユーザは、インタフェース部108を用いて、図3に例示するような入力画像800を示す入力画像データを入力する。これにより、データ取得部112は、入力画像データを取得する。このとき、データ取得部112は、入力画像データに対応するインデックス画像820を示すインデックス画像データも取得し得る。
データ生成部120は、パラメータ記憶部114に記憶されたデータ変換パラメータを用いて入力画像データを変換して、学習データの候補となる画像データを新たに生成する(ステップS110)。ここで、入力画像データの変換は、例えばColor Transferの技術を用いて、入力画像データの色合いをターゲット画像データの色合いと類似するようにして行われる。
具体的には、色分布算出部122は、以下に示す方法により、入力画像データの色分布(輝度の平均及び標準偏差)を算出する。そして、画像変換部124は、入力画像データの色分布とデータ変換パラメータ(色分布)とに基づいて、入力画像データを変換する。なお、S110で使用されるデータ変換パラメータは、生成したい学習データの環境に応じて、適宜選択され得る。例えば、「晴れた夜」の環境下の学習データを生成する場合は、パラメータ記憶部114に記憶された、「晴れた夜」の環境下で撮影されたターゲット画像データ900に関する色分布が選択され得る。なお、データ生成部120は、その指定された環境下で撮影されたターゲット画像データ900が複数ある場合は、データ変換で使用するデータ変換パラメータを、パラメータ記憶部114から、ランダムに選択してもよい。
ここで、色分布の算出方法及び画像の変換方法について説明する。まず、色分布算出部122は、入力画像データ(source)の色空間を、RGB色空間(255,255,255)から、LAB(L*a*b*)色空間に変換する。色分布算出部122は、インデックス画像データを用いて、入力画像データの各画素がどの領域(草領域802、棒領域804と、アスファルト領域806、又は川領域808)に属するか認識する。そして、色分布算出部122は、領域ごとに、各チャネル(L,A,B)それぞれの画素値の平均値s_meanを算出する。また、色分布算出部122は、領域ごとに、各チャネル(L,A,B)それぞれの画素値の標準偏差s_stdを算出する。
また、ターゲット画像データ900についても同様にして、色分布を算出することができる。なお、ターゲット画像データ900については、入力画像データを変換するタイミングの前に、予め、色分布データ940を算出しておいて、パラメータ記憶部114に記憶しておいてもよい。また、ターゲット画像データ900の色分布は、画像処理装置100以外の演算装置(図示せず)によって算出されてもよい。演算装置は、ターゲット画像データ900(target)の色空間を、RGB色空間(255,255,255)から、LAB(L*a*b*)色空間に変換する。演算装置は、インデックス画像データを用いて、入力画像データの各画素がどの領域に属するか認識する。そして、演算装置は、領域ごとに、各チャネル(L,A,B)それぞれの画素値の平均値t_meanを算出する。また、演算装置は、領域ごとに、各チャネル(L,A,B)それぞれの画素値の標準偏差t_stdを算出する。
画像変換部124は、変換処理において、入力画像データのどの領域を変換するかを決定する。なお、画像変換部124は、領域ごとに変換の有無を決定し得る。例えば、画像変換部124は、入力画像800の川領域808を変換すると決定してもよいし、入力画像800の草領域802及び川領域808を変換すると決定してもよいし、入力画像800の全ての領域を変換すると決定してもよい。
そして、画像変換部124は、変換する領域のそれぞれの画素の各チャネルの画素値sourceを、以下の式1によって正規化する。
(式1)
s_normed=(source-s_mean)/s_std
そして、画像変換部124は、以下の式2によって、変換する領域のそれぞれの画素の各チャネルの画素値を変換する。これにより、入力画像データが変換されて、新たな画像データが生成される。なお、式2において、source’は、変換後の画素値である。また、t_mean及びt_stdは、それぞれ、ターゲット画像データ900における、変換する領域に対応する領域についての各チャネルの、平均値及び標準偏差である。例えば、入力画像800の川領域808を変換する場合、t_mean及びt_stdは、それぞれ、ターゲット画像データ900の川領域908における画素の各チャネルに対応する平均値及び標準偏差である。
(式2)
source’=s_normed*t_std+t_mean
なお、上述したように、画像変換部124は、入力画像データにおいて変換する領域を任意に決定できる。したがって、例えば、領域数をN、適用するターゲット画像データ900のパターン数をMとすると、1つの入力画像データから、(2-1)*M個の画像データが生成され得ることとなる。このように、領域ごとに変換を行うことにより、効率的に多くの学習データを生成することができる。
認識精度算出部130は、学習モデル記憶部132に記憶された学習モデルを用いて、画像データの認識精度を算出する(ステップS122)。具体的には、認識精度算出部130は、S110の処理で生成された画像データを学習モデルに入力することで得られる認識精度を算出する。ここで、画像認識の手法が画像分類又は画像検出である場合、認識精度は、認識された物体の信頼度(確信度等)であってもよい。また、画像データに複数の物体が含まれる場合、認識精度は、各物体の信頼度の平均値であってもよいし、正解率(正解した物体数/画像に含まれる物体数)であってもよい。また、画像認識の手法が領域分割である場合、認識精度は、正解率(正解した画素数/総画素数)であってもよい。
学習データ出力部140は、S122の処理で算出された認識精度が予め定められた閾値Th1(第1の閾値)よりも低いか否かを判定する(ステップS124)。閾値Th1は、例えば70%であるが、この値に限定されない。認識精度が閾値Th1以上である場合(S124のNO)、学習データ出力部140は、この画像データを学習データとして出力しない。そして、処理はS110に戻り得る。この場合、再度実行されるS110では、データ生成部120は、以前に使用されたデータ変換パラメータ(色分布データ)とは異なるデータ変換パラメータを用いて、画像データを生成し得る。
一方、認識精度が閾値Th1よりも低い場合(S124のYES)、学習データ出力部140は、この画像データを学習データとして出力する(ステップS126)。そして、パラメータ決定部150は、S126の処理で出力される学習データに関する変換で用いられたデータ変換パラメータを用いて、入力画像データの変換に用いる新たなデータ変換パラメータを決定する(ステップS130)。データ生成部120は、S130の処理で決定されたデータ変換パラメータを用いて入力画像データを変換して、学習データの候補となる画像データを新たに生成する(ステップS142)。なお、S142における画像データの生成方法は、S110における方法と実質的に同様である。そして、認識精度算出部130は、再度、その新たに生成された画像データについて、学習モデル記憶部132に記憶された学習モデルを用いて、認識精度を算出する(S122)。
具体的には、パラメータ決定部150は、学習データとして出力された画像データを生成する際に使用された、ターゲット画像データ900に関する色分布データ(第1の色分布データ)を取得する。そして、パラメータ決定部150は、取得した第1の色分布データの近傍の色分布データを、新たなデータ変換パラメータとして決定する。以下、第1の色分布データの近傍の色分布データの決定方法の具体例について、さらに説明する。
図7は、色分布データの決定方法の第1の例について説明するための図である。図7は、環境光変化パターンを示す。この環境光変化パターンは、例えばパラメータ記憶部114に記憶されてもよい。環境光変化パターンは、時間成分と、天候成分と、物体種類成分とで構成されるテーブルである。物体種類は、入力画像又はターゲット画像の各領域に対応し得る。つまり、図3~図5の例では、物体種類は、「草」、「棒」、「アスファルト」及び「川」に対応し得る。時間成分は、例えば、「朝」、「昼」及び「夜」の区分で構成され得る。天候成分は、例えば、「晴れ」、「雨」及び「曇り」の区分で構成され得る。なお、時間成分、天候成分及び物体種類成分の各区分は、上記のものに限定されない。
環境光変化パターンは、各要素(セル)ごとに、複数のデータ変換パラメータ(色分布データ)で構成されるパラメータ群を含む。このパラメータ群の1つ1つは、学習データの1つ1つに対応し得る。例えば、物体種類「川」、時間「夜」、天候「晴れ」の要素E1には、晴れの夜の画像に対応する学習データを生成する際に、川領域を変換するために使用されたデータ変換パラメータ(色分布データ)が対応付けられている。
パラメータ決定部150は、環境光変化パターンにおいて、取得した第1の色分布データが属する要素を判定する。パラメータ決定部150は、第1の色分布データが属する要素に属する他の色分布データを、第1の色分布データの近傍の色分布データとして決定してもよい。また、パラメータ決定部150は、第1の色分布データが属する要素の近傍の要素に属する色分布データを、第1の色分布データの近傍の色分布データとして決定してもよい。また、パラメータ決定部150は、第1の色分布データが属する要素と予め対応付けられた他の要素に属する色分布データを、第1の色分布データの近傍の色分布データとして決定してもよい。
例えば、第1の色分布データに対応する学習データが、晴れの夜に対応するターゲット画像データ900から得られた色分布データを用いて川領域を変換して生成されたとする。このケースでは、第1の色分布データは、物体種類「川」、時間「夜」、天候「晴れ」の要素E1に属する。したがって、パラメータ決定部150は、同じ要素E1に属する他の色分布データを、新たなデータ変換パラメータとして決定してもよい。また、パラメータ決定部150は、要素E1の近傍の要素(例えば物体種類「川」、時間「昼」、天候「晴れ」の要素)に属する色分布データを、新たなデータ変換パラメータとして決定してもよい。また、パラメータ決定部150は、要素E1に予め対応付けられた要素(例えば物体種類「川」、時間「夜」、天候「曇り」の要素)に属する色分布データを、新たなデータ変換パラメータとして決定してもよい。
図8は、色分布データの決定方法の第2の例について説明するための図である。図8は、ターゲット画像データ900について、横軸を輝度の平均値t_meanとし、縦軸を輝度の標準偏差t_stdとして色分布データ(データ変換パラメータ)をプロットした色分布グラフを示す。プロットされた点は、ターゲット画像データ900の数だけ存在し得る。ここで、黒丸で表される点は、パラメータ記憶部114に記憶された色分布データのうち、既にデータ変換に使用された色分布データに対応する。一方、白丸で表される点は、パラメータ記憶部114に記憶された色分布データのうち、データ変換に使用されていない色分布データに対応する。また、図8において、黒丸で表される点の近傍には、対応する色分布データを用いて変換を行って生成された画像データの認識精度が示されている。例えば、色分布データP1を用いて変換を行って生成された画像データの認識精度は、20%である。色分布データP2を用いて変換を行って生成された画像データの認識精度は、30%である。色分布データP3を用いて変換を行って生成された画像データの認識精度は、90%である。なお、この図8に示した色分布グラフは、パラメータ記憶部114に記憶されてもよく、データ変換(データ生成)及び認識精度の算出が行われるごとに、更新され得る。
ここで、パラメータ決定部150は、色分布グラフにおいて、第1の色分布データとの差分が予め定められた閾値(第2の閾値)よりも小さい色分布データを、第1の色分布データの近傍の色分布データとして選択してもよい。つまり、パラメータ決定部150は、パラメータ記憶部114に記憶された複数の色分布データのうち、第1の色分布データとの差分が第2の閾値よりも小さいデータ変換パラメータを、新たなデータ変換パラメータとして選択する。ここで、C1は、色分布データP1に対する第2の閾値を示す閉曲線(例えば円)である。また、C2は、色分布データP2に対する第2の閾値を示す閉曲線(例えば円)である。つまり、C1の内部にプロットされた色分布データと色分布データP1との差分は、第2の閾値よりも小さい。同様に、C2の内部にプロットされた色分布データと色分布データP2との差分は、第2の閾値よりも小さい。
ここで、認識精度の閾値(第1の閾値)をTh1=50%とする。図8の例では、色分布データP1を用いて画像データが生成された場合、その画像データの認識精度は第1の閾値よりも低い。したがって、パラメータ決定部150は、色分布データP1との差分が第2の閾値よりも小さい(つまりC1の内部にある)色分布データP1’を、新たなデータ変換パラメータとして選択する。同様に、色分布データP2を用いて画像データが生成された場合、その画像データの認識精度は第1の閾値よりも低い。したがって、パラメータ決定部150は、色分布データP2との差分が第2の閾値よりも小さい(つまりC2の内部にある)色分布データP2’を、新たなデータ変換パラメータとして選択する。一方、色分布データP3を用いて画像データが生成された場合、その画像データの認識精度は第1の閾値よりも高い。したがって、色分布データP3の近傍にプロットされた色分布データP3’は、新たなデータ変換パラメータとして選択されない。
ここで、例えば、第1の色分布データとの差分は、色分布グラフにおける、第1の色分布データからの距離であってもよく、第2の閾値は、予め定められた距離Rth2であってもよい。この場合、第1の色分布データを(t_mean1,t_std1)とすると、パラメータ決定部150は、以下の式3を満たす値の組(t_mean,t_std)の色分布データを、第1の色分布データの近傍の色分布データと決定してもよい。
(式3)
Rth2>√{(t_mean-t_mean1)+(t_std-t_std1)
また、例えば、第1の色分布データとの差分は、平均値成分(横軸方向)と標準偏差成分(縦軸方向)とで、別個に規定されてもよく、第2の閾値は、平均値成分(横軸方向)Mth2と標準偏差成分(縦軸方向)Sth2とで、別個に設けられてもよい。この場合、第1の色分布データを(t_mean1,t_std1)とすると、パラメータ決定部150は、以下の式4を満たす値の組(t_mean,t_std)の色分布データを、第1の色分布データの近傍の色分布データと決定してもよい。
(式4)
Mth2>|t_mean-t_mean1|
Sth2>|t_std-t_std1|
図9は、色分布データの決定方法の第3の例について説明するための図である。図9は、図8と同様に、ターゲット画像データ900について、横軸を輝度の平均値t_meanとし、縦軸を輝度の標準偏差t_stdとして色分布データ(データ変換パラメータ)をプロットした色分布グラフを示す。プロットされた点は、ターゲット画像データ900の数だけ存在し得る。ここで、図9にかかる例では、図8にかかる例と比較して、ターゲット画像データ900の数が少ない。したがって、パラメータ記憶部114には、色分布グラフにおいて、既にデータ変換に使用された色分布データ(黒丸で示す)の近傍の未使用の色分布データが記憶されていない可能性がある。
この場合、パラメータ決定部150は、第1の色分布データとの差分が予め定められた閾値(第2の閾値)よりも小さい色分布データを、第1の色分布データの近傍の色分布データとして生成してもよい。つまり、パラメータ決定部150は、第1の色分布データとの差分が第2の閾値よりも小さいデータ変換パラメータを、新たなデータ変換パラメータとして生成する。例えば、パラメータ決定部150は、色分布データP1との差分が第2の閾値よりも小さい(つまりC1の内部に存在することとなる)色分布データを、新たなデータ変換パラメータとして生成する。同様に、パラメータ決定部150は、色分布データP2との差分が第2の閾値よりも小さい(つまりC2の内部に存在することとなる)色分布データを、新たなデータ変換パラメータとして選択する。
例えば、第1の色分布データを(t_mean1,t_std1)とすると、パラメータ決定部150は、上記の式3を満たす値の組(t_mean,t_std)の色分布データを、第1の色分布データの近傍の色分布データとして生成してもよい。また、例えば、パラメータ決定部150は、上記の式4を満たす値の組(t_mean,t_std)の色分布データを、第1の色分布データの近傍の色分布データとして生成してもよい。これらの場合、パラメータ決定部150は、例えば上記の式3又は式4を満たす色分布データ(t_mean1+α,t_std1+β)を生成してもよい。
このようにすることで、現在の学習モデルでは認識精度の低い学習データが、次々と生成され得る。生成されたこれらの複数の学習データを用いて、ディープラーニング等の機械学習によって学習モデルが生成される。このとき、学習モデル記憶部132に記憶された学習モデルを、これらの生成された複数の学習データを用いて更新することで、学習モデルを生成してもよい。実施の形態1においては、学習モデルを生成する処理は、画像処理装置100以外の装置が行ってもよい。
上述したように、実施の形態1にかかる画像処理装置100は、データ変換パラメータを用いて入力画像データを変換して、学習データの候補となる画像データを新たに生成する。そして、実施の形態1にかかる画像処理装置100は、学習モデルを用いて生成された画像データの認識精度を算出し、算出された認識精度が予め定められた第1の閾値よりも低い画像データを、学習データとして出力する。これにより、上述したように、効率よく、学習モデルの認識精度を向上させることが可能となる。
また、上述したように、実施の形態1にかかるパラメータ決定部150は、出力される学習データに関する変換で用いられたデータ変換パラメータを用いて、入力画像データの変換に用いる新たなデータ変換パラメータを決定するように構成されている。ここで、認識精度の低かったデータ変換パラメータの近傍のデータ変換パラメータを用いて生成される画像データの認識精度は、低い可能性が高い。したがって、効率よく、認識精度が低い可能性が高い学習データを生成することが可能となる。
また、上述したように、実施の形態1にかかるデータ生成部120は、入力画像データの色分布に基づいて、入力画像データを変換するように構成されている。そして、実施の形態1にかかるパラメータ決定部150は、学習データに関する変換で用いられた色分布を用いて、新たな色分布を決定するように構成されている。このように、色分布を用いて画像を変換することで、効率的に、新たな画像データを生成することができる。したがって、効率的に学習データを生成することができる。
また、上述したように、実施の形態1にかかるデータ生成部120は、入力画像データの複数の領域それぞれについてのデータ変換パラメータに基づいて、複数の領域ごとに入力画像データを変換するように構成されている。そして、実施の形態1にかかるパラメータ決定部150は、学習データに関する変換で用いられたデータ変換パラメータを用いて、複数の領域ごとに、新たなデータ変換パラメータを決定するように構成されている。このように、実施の形態1では、入力画像データの領域ごとに変換を行うので、効率的に多くの学習データを生成することが可能となる。
また、実施の形態1にかかるパラメータ記憶部114は、複数のデータ変換パラメータを記憶する。また、実施の形態1にかかるパラメータ決定部150は、記憶されている複数のデータ変換パラメータから、学習データに関する変換で用いられたデータ変換パラメータとの差分が第2の閾値よりも小さいデータ変換パラメータを、新たなデータ変換パラメータとして決定する。このように、既に記憶されているデータ変換パラメータから新たなデータ変換パラメータを選択することによって、効率的に、新たなデータ変換パラメータを決定することが可能となる。
また、実施の形態1にかかるパラメータ決定部150は、学習データに関する変換で用いられたデータ変換パラメータとの差分が第2の閾値よりも小さいデータ変換パラメータを、入力画像データの変換に用いる新たなデータ変換パラメータとして生成する。これにより、予め記憶されているターゲット画像データの数が少なくても、新たなデータ変換パラメータを決定することが可能となる。
(実施の形態2)
次に、実施の形態2について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図10は、実施の形態2にかかる画像処理装置100の構成を示す図である。実施の形態2にかかる画像処理装置100のハードウェア構成は、実施の形態1にかかるものと実質的に同様であるので、説明を省略する。実施の形態2にかかる画像処理装置100は、実施の形態1と同様に、データ取得部112、パラメータ記憶部114、データ生成部120、認識精度算出部130、学習モデル記憶部132、学習データ出力部140、及びパラメータ決定部150を有する。また、データ生成部120は、色分布算出部122及び画像変換部124を有する。
さらに、実施の形態2にかかる画像処理装置100は、学習モデル更新部210を有する。学習モデル更新部210は、学習モデル更新手段として機能する。学習モデル更新部210は、学習データ出力部140によって出力される学習データを用いて、学習モデル記憶部132に記憶された学習モデルを更新する。
図11は、実施の形態2にかかる画像処理装置100で実行される画像処理方法を示すフローチャートである。図6のS100と同様に、データ取得部112は、入力画像データを取得する(ステップS200)。次に、図6のS110と同様に、データ生成部120は、パラメータ記憶部114に記憶されたデータ変換パラメータを用いて入力画像データを変換して、学習データの候補となる画像データを新たに生成する(ステップS210)。次に、図6のS122と同様に、認識精度算出部130は、学習モデル記憶部132に記憶された学習モデルを用いて、画像データの認識精度を算出する(ステップS222)。
次に、図6のS124と同様に、学習データ出力部140は、S122の処理で算出された認識精度が予め定められた閾値Th1(第1の閾値)よりも低いか否かを判定する(S224)。認識精度が閾値Th1以上である場合(S224のNO)、学習データ出力部140は、この画像データを学習データとして出力しない。そして、処理はS210に戻る。一方、認識精度が閾値Th1よりも低い場合(S124のYES)、図6のS126と同様に、学習データ出力部140は、この画像データを学習データとして出力する(S226)。
図6のS130と同様に、パラメータ決定部150は、S226の処理で出力される学習データに関する変換で用いられたデータ変換パラメータを用いて、入力画像データの変換に用いる新たなデータ変換パラメータを決定する(ステップS230)。そして、図6のS142と同様に、データ生成部120は、S230の処理で決定されたデータ変換パラメータを用いて入力画像データを変換して、学習データの候補となる画像データを新たに生成する(ステップS242)。
学習モデル更新部210は、出力された学習モデルを用いて、学習モデルを更新する(ステップS250)。具体的には、学習モデル更新部210は、学習データが出力されるたびに、オンライン学習によって学習モデルを更新する。この場合、出力された学習データに対応する正解ラベルは、S200の処理で入力されたインデックス画像データを用いて行われてもよい。なお、画像処理装置100等が現在の学習モデルを生成するのに使用された学習データを全て記憶できる場合は、それらの記憶された学習データと、S226の処理で出力された学習データとを用いて、バッチ学習を行ってもよい。また、この学習モデルの更新は、1つの学習データが出力されるごとに行われる必要はなく、例えば10個といった予め定められた数の学習データが出力されるごとに行われてもよい。そして、認識精度算出部130は、S242の処理で生成された画像データについて、S250の処理で更新された学習モデルを用いて、認識精度を算出する(S222)。
ここで、上述したように、S226の処理で出力される学習データは、更新前の学習モデルでは認識精度が低かった画像データである。そして、実施の形態2においては、学習データが出力されるたびに学習モデルが更新される。つまり、実施の形態2では、認識精度が低かった画像データである学習データを用いて学習モデルが更新されるので、学習モデルの認識精度が向上していく。
このような場合に、S250の処理で更新された学習モデルを用いて認識精度が算出されると、更新前の学習モデルを用いて認識精度が算出される場合と比較して、認識精度が高くなり得る。これにより、更新前の学習モデルを用いたと仮定した場合に出力されるはずの学習データが、S226の処理で出力されにくくなる。したがって、出力される学習データの数を削減することができるので、機械学習に要する時間等の負荷を削減することができる。したがって、実施の形態2にかかる画像処理装置100によって、学習の効率を向上させることが可能となる。また、出力される学習データの数を削減することができるので、学習データを記憶しておくリソースを削減することができる。また、S226の処理で学習データが出力されにくくなるので、S242の処理がなされることが抑制される。したがって、パラメータ決定部150の負荷を抑制することができる。
ここで、実施の形態1では、複数の学習データを次々と出力していく際に使用される学習モデルは、図6の処理全体を通じて同じである。このような場合では、互いに類似した色分布の複数の学習データが出力され、機械学習に用いられる。しかしながら、これらの互いに類似した色分布の複数の学習データのうちの1つの学習データで学習すれば、残りの学習データの認識ができるように学習できる可能性がある。言い換えると、これらの残りの学習データは、機械学習を行う上で余計な学習データとなり得る。つまり、この余計な学習データは、学習モデルの認識精度の向上にあまり寄与しない可能性がある。一方、実施の形態2では、このような余計な学習データの出力を抑制することができる。したがって、実施の形態2にかかる画像処理装置100は、学習モデルの認識精度の向上に寄与し得る有効な学習データを収集する可能性を高くすることができる。
例えば、実施の形態1のような学習モデルを更新しないケースで、100個の学習データが出力されるとする。この場合、実施の形態2では、これらの100個のうちの1個の学習データで学習モデルを更新することで、残りの99個の学習データを認識可能な学習モデルを生成し得る。したがって、実施の形態2では、余計な99個の学習データの出力を抑制することができる。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、各処理(ステップ)の順序は、適宜、変更可能である。また、複数ある処理(ステップ)のうちの1つ以上は、省略されてもよい。例えば、図6において、S126の処理はS142の処理の後で実行されてもよい(図11においても同様)。また、図11において、S250の処理はS230の処理の前に実行されてもよい。また、図6において、S130及びS142の処理はなくてもよい(図11においても同様)。
また、上述した実施の形態では、色分布の算出方法において、色分布算出部122は、入力画像データ(source)の色空間を、RGB色空間から、LAB色空間に変換するとした。しかしながら、色分布の算出方法において、色空間を、RGB色空間からLAB色空間に変換する必要はない。しかしながら、色空間をLAB空間に変換することで、人間の視覚に近い形式で処理を行うことができる。
また、上述した実施の形態では、データ変換パラメータは色分布であるとしたが、データ変換パラメータは色分布に限られない。また、上述した実施の形態では、画像変換として色変換を行っているが、画像変換は色変換でなくてもよい。例えば、強調処理(シャープネス)、平滑化処理(スムージング)、又は輪郭抽出を行ってもよい。あるいは、画像中の特定の物体の大きさ又は傾き等を変更する幾何学変換 (アフィン変換)等を行ってもよい。
また、上述した実施の形態では、画像変換を行う際に、入力画像データの領域ごとに変換を行うとしたが、このような構成に限られない。入力画像データ全体を変換してもよい。また、データ生成部は、入力画像データの複数の領域ごとに変換して画像データを生成し、さらに、入力画像データ全体を変換して画像データを生成してもよい。これにより、生成される画像データのバリエーションをさらに増やすことができる。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
入力画像データを取得するデータ取得手段と、
データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成するデータ生成手段と、
予め記憶された学習モデルを用いて、前記データ生成手段によって生成された前記画像データの認識精度を算出する認識精度算出手段と、
前記認識精度算出手段で算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力する学習データ出力手段と
を有する画像処理装置。
(付記2)
前記学習データ出力手段によって出力される前記学習データに関する変換で用いられた前記データ変換パラメータを用いて、前記入力画像データの変換に用いる新たなデータ変換パラメータを決定するパラメータ決定手段
をさらに有し、
前記データ生成手段は、前記パラメータ決定手段によって決定された前記データ変換パラメータを用いて、前記入力画像データをさらに変換する
付記1に記載の画像処理装置。
(付記3)
前記データ生成手段は、前記入力画像データの色分布に基づいて、前記入力画像データを変換し、
前記パラメータ決定手段は、前記学習データに関する変換で用いられた前記色分布を用いて、新たな色分布を決定する
付記2に記載の画像処理装置。
(付記4)
前記データ生成手段は、前記入力画像データの複数の領域それぞれについての前記データ変換パラメータに基づいて、前記複数の領域ごとに前記入力画像データを変換し、
前記パラメータ決定手段は、前記学習データに関する変換で用いられた前記データ変換パラメータを用いて、前記複数の領域ごとに、新たなデータ変換パラメータを決定する
付記2又は3に記載の画像処理装置。
(付記5)
複数の前記データ変換パラメータを予め記憶するパラメータ記憶手段
をさらに有し、
前記パラメータ決定手段は、前記パラメータ記憶手段に記憶された前記複数のデータ変換パラメータのうち、前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして選択する
付記2~4のいずれか1項に記載の画像処理装置。
(付記6)
前記パラメータ決定手段は、前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして生成する
付記2~4のいずれか1項に記載の画像処理装置。
(付記7)
前記学習データ出力手段によって出力される前記学習データを用いて、前記学習モデルを更新する学習モデル更新手段
をさらに有し、
前記認識精度算出手段は、前記学習モデル更新手段によって更新された前記学習モデルを用いて、前記データ生成手段によって変換されて得られた前記画像データの認識精度を算出する
付記1~6のいずれか1項に記載の画像処理装置。
(付記8)
入力画像データを取得し、
データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成し、
予め記憶された学習モデルを用いて、生成された前記画像データの認識精度を算出し、
算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力する
画像処理方法。
(付記9)
出力される前記学習データに関する変換で用いられた前記データ変換パラメータを用いて、前記入力画像データの変換に用いる新たなデータ変換パラメータを決定し、
決定された前記データ変換パラメータを用いて、前記入力画像データをさらに変換する
付記8に記載の画像処理方法。
(付記10)
前記入力画像データの色分布に基づいて、前記入力画像データを変換し、
前記学習データに関する変換で用いられた前記色分布を用いて、新たな色分布を決定する
付記9に記載の画像処理方法。
(付記11)
前記入力画像データの複数の領域それぞれについての前記データ変換パラメータに基づいて、前記複数の領域ごとに前記入力画像データを変換し、
前記学習データに関する変換で用いられた前記データ変換パラメータを用いて、前記複数の領域ごとに、新たなデータ変換パラメータを決定する
付記9又は10に記載の画像処理方法。
(付記12)
予め記憶された複数のデータ変換パラメータのうち、前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして選択する
付記9~11のいずれか1項に記載の画像処理方法。
(付記13)
前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして生成する
付記9~11のいずれか1項に記載の画像処理方法。
(付記14)
出力される前記学習データを用いて、前記学習モデルを更新し、
更新された前記学習モデルを用いて、変換されて得られた画像データの認識精度を算出する
付記8~13のいずれか1項に記載の画像処理方法。
(付記15)
入力画像データを取得するステップと、
データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成するステップと、
予め記憶された学習モデルを用いて、生成された前記画像データの認識精度を算出するステップと、
算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力するステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2019年3月27日に出願された日本出願特願2019-061866を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 画像処理装置
2 データ取得部
4 データ生成部
6 認識精度算出部
8 学習データ出力部
100 画像処理装置
112 データ取得部
114 パラメータ記憶部
120 データ生成部
122 色分布算出部
124 画像変換部
130 認識精度算出部
132 学習モデル記憶部
140 学習データ出力部
150 パラメータ決定部
210 学習モデル更新部

Claims (8)

  1. 入力画像データを取得するデータ取得手段と、
    データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成するデータ生成手段と、
    予め記憶された学習モデルを用いて、前記データ生成手段によって生成された前記画像データの認識精度を算出する認識精度算出手段と、
    前記認識精度算出手段で算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力する学習データ出力手段と
    前記学習データ出力手段によって出力される前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして決定するパラメータ決定手段と、
    を有し、
    前記データ生成手段は、前記パラメータ決定手段によって決定された前記データ変換パラメータを用いて、前記入力画像データをさらに変換する、
    画像処理装置。
  2. 前記データ生成手段は、前記入力画像データの色分布に基づいて、前記入力画像データを変換し、
    前記パラメータ決定手段は、前記学習データに関する変換で用いられた前記色分布を用いて、新たな色分布を決定する
    請求項に記載の画像処理装置。
  3. 前記データ生成手段は、前記入力画像データの複数の領域それぞれについての前記データ変換パラメータに基づいて、前記複数の領域ごとに前記入力画像データを変換し、
    前記パラメータ決定手段は、前記学習データに関する変換で用いられた前記データ変換パラメータを用いて、前記複数の領域ごとに、新たなデータ変換パラメータを決定する
    請求項1又は2に記載の画像処理装置。
  4. 複数の前記データ変換パラメータを予め記憶するパラメータ記憶手段
    をさらに有し、
    前記パラメータ決定手段は、前記パラメータ記憶手段に記憶された前記複数のデータ変換パラメータのうち、前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして選択する
    請求項1~3のいずれか1項に記載の画像処理装置。
  5. 前記パラメータ決定手段は、前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして生成する
    請求項1~3のいずれか1項に記載の画像処理装置。
  6. 前記学習データ出力手段によって出力される前記学習データを用いて、前記学習モデルを更新する学習モデル更新手段
    をさらに有し、
    前記認識精度算出手段は、前記学習モデル更新手段によって更新された前記学習モデルを用いて、前記データ生成手段によって変換されて得られた前記画像データの認識精度を算出する
    請求項1~のいずれか1項に記載の画像処理装置。
  7. 入力画像データを取得し、
    データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成し、
    予め記憶された学習モデルを用いて、生成された前記画像データの認識精度を算出し、
    算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力し、
    出力される前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして決定し、
    決定された前記データ変換パラメータを用いて、前記入力画像データをさらに変換する、
    画像処理方法。
  8. 入力画像データを取得するステップと、
    データ変換パラメータを用いて前記入力画像データを変換して、画像データを新たに生成するステップと、
    予め記憶された学習モデルを用いて、生成された前記画像データの認識精度を算出するステップと、
    算出された前記認識精度が予め定められた第1の閾値よりも低い前記画像データを、学習データとして出力するステップと
    出力される前記学習データに関する変換で用いられた前記データ変換パラメータとの差分が予め定められた第2の閾値よりも小さいデータ変換パラメータを、前記入力画像データの変換に用いる新たなデータ変換パラメータとして決定するステップと、
    決定された前記データ変換パラメータを用いて、前記入力画像データをさらに変換するステップと、
    をコンピュータに実行させるプログラム。
JP2021508103A 2019-03-27 2020-01-10 画像処理装置、画像処理方法及びプログラム Active JP7176614B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019061866 2019-03-27
JP2019061866 2019-03-27
PCT/JP2020/000728 WO2020195015A1 (ja) 2019-03-27 2020-01-10 画像処理装置、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2020195015A1 JPWO2020195015A1 (ja) 2020-10-01
JP7176614B2 true JP7176614B2 (ja) 2022-11-22

Family

ID=72611312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508103A Active JP7176614B2 (ja) 2019-03-27 2020-01-10 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20220164990A1 (ja)
JP (1) JP7176614B2 (ja)
WO (1) WO2020195015A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257227B2 (ja) * 2018-08-29 2023-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及び情報処理システム
JP2024012721A (ja) * 2020-10-13 2024-01-31 株式会社Preferred Networks 物体認識支援システム、物体認識システム、物体認識支援方法及び物体認識方法
US11709913B2 (en) 2020-10-14 2023-07-25 Delta Electronics, Inc. Automatic generation system of training image and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137756A (ja) 2013-01-17 2014-07-28 Canon Inc 画像処理装置および画像処理方法
JP2016076073A (ja) 2014-10-06 2016-05-12 日本電気株式会社 データ処理装置、データ処理方法、及び、コンピュータ・プログラム
WO2017109904A1 (ja) 2015-12-24 2017-06-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2017145960A1 (ja) 2016-02-24 2017-08-31 日本電気株式会社 学習装置、学習方法および記録媒体
JP2018169672A (ja) 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347817B2 (ja) * 1993-06-22 2002-11-20 株式会社ビュープラス 画像認識装置
JP7098351B2 (ja) * 2018-02-28 2022-07-11 キヤノン株式会社 画像処理装置および画像処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137756A (ja) 2013-01-17 2014-07-28 Canon Inc 画像処理装置および画像処理方法
JP2016076073A (ja) 2014-10-06 2016-05-12 日本電気株式会社 データ処理装置、データ処理方法、及び、コンピュータ・プログラム
WO2017109904A1 (ja) 2015-12-24 2017-06-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2017145960A1 (ja) 2016-02-24 2017-08-31 日本電気株式会社 学習装置、学習方法および記録媒体
JP2018169672A (ja) 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム

Also Published As

Publication number Publication date
WO2020195015A1 (ja) 2020-10-01
US20220164990A1 (en) 2022-05-26
JPWO2020195015A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
JP7176614B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11887362B2 (en) Sky filter method for panoramic images and portable terminal
CN110838126B (zh) 细胞图像分割方法、装置、计算机设备和存储介质
US20080136820A1 (en) Progressive cut: interactive object segmentation
BR112020001729A2 (pt) método, aparelho e dispositivo de reconhecimento de gestos
CN109993101B (zh) 基于多分支循环自注意力网络与循环边框回归的车辆检测方法
US10803355B2 (en) Method for training image generator
JP2015185149A (ja) 機械学習装置、機械学習方法、及びプログラム
CN104915972A (zh) 图像处理装置、图像处理方法以及程序
CN105335701A (zh) 一种基于hog与d-s证据理论多信息融合的行人检测方法
CN112052818A (zh) 无监督域适应的行人检测方法、系统及存储介质
JP2017102622A (ja) 画像処理装置、画像処理方法及びプログラム
CN109784216A (zh) 基于概率图的车载热成像行人检测RoIs提取方法
CN105225218A (zh) 用于文档图像的畸变校正方法和设备
Turan et al. A novel method to identify and grade DNA damage on comet images
CN117456590A (zh) 一种针对智能城市应用的视觉转换的人脸识别方法及装置
JP2021196451A (ja) 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム
Akther et al. Detection of Vehicle's Number Plate at Nighttime using Iterative Threshold Segmentation (ITS) Algorithm
CN116385466A (zh) 一种基于边界框弱标注的图像中目标分割方法及系统
JP6249508B2 (ja) 異動検出支援装置、異動検出支援方法、及びプログラム
CN116612041A (zh) 基于超像素分析的低照度图像增强方法及系统
CN114283431B (zh) 一种基于可微分二值化的文本检测方法
CN113222867B (zh) 基于多模板图像的图像数据增强方法及系统
CN113221826B (zh) 一种基于自监督学习显著性估计像素嵌入的道路检测方法
CN113723345B (zh) 基于风格转换和联合学习网络的域自适应行人再识别方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R151 Written notification of patent or utility model registration

Ref document number: 7176614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151