JP7300027B2 - Image processing device, image processing method, learning device, learning method, and program - Google Patents
Image processing device, image processing method, learning device, learning method, and program Download PDFInfo
- Publication number
- JP7300027B2 JP7300027B2 JP2022022303A JP2022022303A JP7300027B2 JP 7300027 B2 JP7300027 B2 JP 7300027B2 JP 2022022303 A JP2022022303 A JP 2022022303A JP 2022022303 A JP2022022303 A JP 2022022303A JP 7300027 B2 JP7300027 B2 JP 7300027B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- estimator
- area
- learning
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラムに関する。 The present invention relates to an image processing device, a learning device, a focus control device, an exposure control device, an image processing method, a learning method, and a program.
近年、画像を領域分割する研究も広く行われている。例えば、画像から人物の領域、自動車の領域、道路の領域、建物の領域、又は空の領域等を切り出すことができる。これは意味的領域分割(Semantic Segmentation)と呼ばれ、分割結果は被写体の種類に対応した画像補正又はシーン解釈等に応用可能である。 In recent years, research on image segmentation has also been widely conducted. For example, a person's area, an automobile area, a road area, a building area, a sky area, or the like can be cut out from an image. This is called semantic segmentation, and the result of segmentation can be applied to image correction or scene interpretation corresponding to the type of subject.
意味的領域分割方法としては、画像を事前にいくつかの領域に分割し、分割された各領域をクラス分類する方法がある。例えば、画像を複数の矩形ブロックに分割し、それぞれのブロックをクラス分類することができる。画像をクラス分類する方法としては、非特許文献1に記載のように、深層学習を用いた分類が広く研究されている。また、例えば非特許文献2に記載の方法を用いて画像を不定形の小領域(superpixel)に分割し、その領域の特徴量及び領域周辺のコンテクスト特徴量を用いて領域をクラス分類することもできる。クラス分類には、学習画像を用いて学習が行われた推定器を用いることができる。
As a semantic segmentation method, there is a method of segmenting an image into several regions in advance and classifying each segmented region. For example, an image can be divided into a plurality of rectangular blocks and each block can be classified. As a method for classifying images, classification using deep learning, as described in Non-Patent
近年では、深層学習を利用した領域分割も研究されている。非特許文献3は、CNN(Convolutional Neural Network)の中間層出力を特徴量として利用し、複数の中間層特徴による画素ごとのクラス判定結果を統合する。この方法では、小領域分割結果を利用することなく、画素ごとに直接クラス判定を行うことができる。 In recent years, region segmentation using deep learning has also been studied. Non-Patent Document 3 uses an intermediate layer output of a CNN (Convolutional Neural Network) as a feature amount, and integrates class determination results for each pixel based on a plurality of intermediate layer features. With this method, class determination can be performed directly for each pixel without using the result of segmentation into small regions.
従来の方法によれば、画像上のそれぞれの小領域を、被写体の種類に基づいてクラス分類することができた。例えば、各領域の特徴量に基づいて、領域が空を表す領域であるか前景(空以外)の領域であるかを判定することができた。一方、異なる種類の被写体が混在している領域については、適切な判定を行うことが困難であった。例えば、たくさんの木の枝の隙間に空が見えるような複数の領域について判定を行うと、テクスチャが類似しているために、全ての領域について前景であると判定するか、全ての領域について空であると判定してしまう可能性が高かった。 According to the conventional method, each small area on the image can be classified into classes based on the type of subject. For example, based on the feature amount of each area, it was possible to determine whether the area represents the sky or the foreground (other than the sky). On the other hand, it has been difficult to make an appropriate determination for an area where different types of subjects coexist. For example, if multiple regions where the sky can be seen through the gaps between many tree branches are judged, all regions will be judged to be foreground, or all regions will be judged to be empty because the textures are similar. There was a high possibility that it would be determined that
本発明は、分類結果を用いた処理の精度を向上できるように、画像の各領域のクラス分類を行うことを目的とする。 An object of the present invention is to classify each region of an image so as to improve the accuracy of processing using the classification results.
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
入力画像を取得する取得手段と、
前記入力画像から特徴を抽出する抽出手段と、
前記入力画像から抽出された前記特徴が入力された推定器から、前記入力画像において特定のクラスに属する領域の面積に対応する情報を出力する出力手段と、を備え、
前記推定器は、学習画像を使用して学習されたパラメータを有する。
In order to achieve the object of the present invention, for example, the image processing apparatus of the present invention has the following configuration. i.e.
an acquisition means for acquiring an input image;
extracting means for extracting features from the input image;
output means for outputting information corresponding to the area of a region belonging to a specific class in the input image from the estimator to which the features extracted from the input image are input;
The estimator has parameters learned using training images.
本発明によれば、分類結果を用いた処理の精度を向上できるように、画像の各領域のクラス分類を行うことができる。 According to the present invention, each region of an image can be classified into classes so as to improve the accuracy of processing using classification results.
本発明の一実施形態によれば、入力画像上の識別単位となる所定領域における、複数のクラスの混ざり方(以下、混合状態と呼ぶ)を推定することができる。以下では、推定対象となる領域内の画像のことを対象画像と呼ぶことがある。より具体的には、本発明の一実施形態によれば、対象画像における、互いに異なる属性を持つ領域の混合状態が判定される。それぞれの属性の領域は、同じクラスに属する被写体が占める領域である。すなわち、この属性の領域の1つは、特定のクラスに属する被写体の領域であり、この属性の領域の別の1つは、特定のクラスとは別のクラスに属する被写体の領域である。 According to one embodiment of the present invention, it is possible to estimate how a plurality of classes are mixed (hereinafter referred to as a mixed state) in a predetermined area serving as a discrimination unit on an input image. Hereinafter, the image within the estimation target area may be referred to as the target image. More specifically, according to one embodiment of the present invention, the mixed state of regions having mutually different attributes in the target image is determined. Each attribute area is an area occupied by subjects belonging to the same class. That is, one of the regions with this attribute is the region of the subject belonging to a specific class, and the other one of the regions of this attribute is the region of the subject belonging to a class different from the specific class.
一実施形態によれば、例えばたくさんの木の枝(前景)の隙間に空が見えるような領域について、前景部分と空部分との混合状態(例えば面積比、エッジ面積、又は配置パターン等)を推定することができる。従来の方法で得られるような各領域のクラス情報(例えば前景領域であるか空領域であるかを示す情報)だけでなく、このような混合状態を示す情報を用いることにより、後に画像に対して行う処理の精度を向上させることができる。具体例については各実施形態において詳しく説明する。 According to one embodiment, for example, for an area where the sky can be seen between many tree branches (foreground), the mixture state of the foreground part and the sky part (for example, area ratio, edge area, arrangement pattern, etc.) is calculated. can be estimated. By using not only the class information of each region (for example, information indicating whether it is a foreground region or a sky region) as obtained by the conventional method, but also information indicating such a mixture state, it is possible to later apply to the image It is possible to improve the accuracy of the processing performed by A specific example will be described in detail in each embodiment.
以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実形態に限定されるものではない。以下の実施形態においては、図1等に示される各処理部は、コンピュータにより実現してもよいし、専用のハードウェアによって実現してもよい。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. However, the scope of the present invention is not limited to the following embodiments. In the following embodiments, each processing unit shown in FIG. 1 and the like may be implemented by a computer or may be implemented by dedicated hardware.
図10は、各実施形態を実現可能なコンピュータの基本構成を示す図である。図10においてプロセッサ101は、例えばCPUであり、コンピュータ全体の動作をコントロールする。メモリ102は、例えばRAMであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体103は、例えばハードディスク又はCD-ROM等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体103が格納している、各部の機能を実現するプログラムが、メモリ102へと読み出される。そして、プロセッサ101が、メモリ102上のプログラムに従って動作することにより、各部の機能が実現される。
FIG. 10 is a diagram showing the basic configuration of a computer that can implement each embodiment. In FIG. 10, a
図10において、入力インタフェース104は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース105は外部の装置へと情報を出力するためのインタフェースである。バス106は、上述の各部を接続し、データのやりとりを可能とする。
In FIG. 10, an
[実施形態1]
図1(A)及び(B)に沿って、実施形態1に係る画像処理装置及び学習装置の基本的な構成を説明する。
[Embodiment 1]
The basic configurations of the image processing device and the learning device according to the first embodiment will be described with reference to FIGS.
最初に、図1(A)に従って、学習装置の装置構成の概要を説明する。本実施形態において学習装置は、後述する画像処理装置が混合状態を認識する処理を行う際に利用する推定器を、事前に用意された学習画像から生成する。学習処理の詳細については後述する。学習データ記憶部5100には、あらかじめ用意された学習データを記憶している。学習データは、学習画像と教師情報とを含む。データ取得部2100は、学習データ記憶部5100から、学習画像と教師情報とを取得する。学習部2200は、特徴抽出部610を用いて、学習画像の所定領域にある、推定器の学習に用いる識別画像の特徴量を抽出する。また、学習部2200は、特徴量から混合状態を推定する推定器の学習を、識別画像の特徴量と教師情報との組み合わせを用いて行う。例えば、学習部2200は、特徴量を入力されると混合状態を示す情報を出力する推定器の学習を行うことができる。ここで、教師情報は、識別画像における、互いに異なる属性の領域間の混合状態を示す情報である。学習により得られた推定器は、推定器記憶部5200に記憶される。具体的には、推定器記憶部5200は、学習により決定された推定器のパラメータを記憶することができる。
First, according to FIG. 1A, the outline of the device configuration of the learning device will be described. In the present embodiment, the learning device generates an estimator, which is used when an image processing device, which will be described later, performs processing for recognizing a mixed state, from learning images prepared in advance. Details of the learning process will be described later. The learning
次に、図1(B)に従って、画像処理装置の装置構成の概要を説明する。本実施形態において画像処理装置は、未知の入力画像における混合状態を推定する処理を行う。処理内容の詳細は後述する。画像取得部1100は、入力画像を取得する。推定部1200は、特徴抽出部610を用いて、入力画像の所定領域にある、混合状態の識別対象となる対象画像から特徴量を抽出する。推定部1200が用いる特徴抽出部610は、学習部2200が用いる特徴抽出部610と同様に動作できる。また、推定部1200は、特徴量に基づいて、対象画像における互いに異なる属性を持つ領域の混合状態を推定する。例えば、推定部1200は、あらかじめ学習が行われた推定器620を推定器記憶部5200から読み込み、推定器に特徴量を入力することにより得られた、対象画像における互いに異なる属性の領域間の混合状態を示す情報を、出力部1300に出力する。推定器620は、学習部2200による学習により得られたものでありうる。出力部1300は、推定部1200による推定結果を出力する。
Next, according to FIG. 1B, an overview of the configuration of the image processing apparatus will be described. In this embodiment, the image processing apparatus performs processing for estimating a mixed state in an unknown input image. Details of the processing contents will be described later. The
学習装置のデータ取得部2100及び学習部2200は、同じ計算機上で実現されてもよいし、それぞれ独立したモジュールとして構成されていてもよいし、計算機上で動作するプログラムとして実装されてもよい。学習装置の学習データ記憶部5100及び推定器記憶部5200は、計算機の内部又は外部にあるストレージを用いて実現することができる。
The
画像処理装置の画像取得部1100及び推定部1200は、同じ計算機上で実現されてもよいし、それぞれ独立したモジュールとして構成されていてもよいし、計算機上で動作するプログラムとして実装されてもよい。また、これらはカメラ等の撮影装置内部に回路又はプログラムとして実装されてもよい。
The
画像処理装置は、学習装置と同じ計算機上で実現されてもよいし、別々の計算機上で実現されてもよい。学習装置及び画像処理装置が備える推定器記憶部5200は、同じストレージであってもよいし、異なるストレージであってもよい。異なるストレージを用いる場合、学習装置により推定器記憶部5200に格納された推定器を、画像処理装置が備える推定器記憶部5200にコピー又は移動することができる。
The image processing device may be implemented on the same computer as the learning device, or may be implemented on a separate computer. The
以下に、本実施形態に係る処理を詳細に説明する。まず、学習装置が行う学習時の処理に関して図2(A)のフローに従って説明する。S2100においてデータ取得部2100は、学習データ記憶部5100から、学習画像と、混合状態の教師情報と、を学習データとして取得する。
The processing according to this embodiment will be described in detail below. First, processing during learning performed by the learning device will be described according to the flow of FIG. 2(A). In S2100, the
学習データ記憶部5100には、あらかじめ複数の学習画像と混合状態の教師情報が記憶されている。学習画像とは、推定器の学習に用いられる画像のことを指す。学習画像は、例えば、デジタルカメラ等で撮影された画像データでありうる。画像データの形式は特に限定されず、例えばJPEG、PNG、又はBMP等でありうる。以下では、用意された学習画像の枚数をN枚とし、n番目の学習画像をIn(n=1・・・N)と表す。
In the learning
混合状態の教師情報は、学習画像の所定領域における混合状態を示す。この教師情報は予め用意されており、例えば人間が学習画像を見ながら作成することができる。本実施形態においては、学習画像には識別単位となる複数の領域が設定されており、それぞれの領域について教師情報が用意されている。以下、1つの識別単位となる、学習画像中の所定領域の画像を、識別画像と呼ぶ。 The mixed state teacher information indicates the mixed state in a predetermined region of the learning image. This teacher information is prepared in advance, and can be created by a person, for example, while viewing the learning image. In the present embodiment, a plurality of regions that are identification units are set in the learning image, and teacher information is prepared for each region. Hereinafter, an image of a predetermined region in a learning image, which serves as one identification unit, will be referred to as an identification image.
領域の設定方法は特に限定されない。例えば、所定の領域設定パターンに従って、入力画像中に複数の領域を設定することができる。具体例としては、学習画像を所定サイズ(例えば16×16ピクセル)の複数の矩形領域に分割し、それぞれの矩形領域を識別単位として扱うことができる。また、非特許文献2に記載の手法で得られた小領域を識別単位の領域として扱うことができる。一方、学習画像の一部にのみ所定サイズの矩形領域を設定してもよい。なお、学習データ記憶部5100には、所定サイズの識別画像が学習データとして記憶されていてもよい。
A method of setting the area is not particularly limited. For example, multiple regions can be set in the input image according to a predetermined region setting pattern. As a specific example, it is possible to divide the learning image into a plurality of rectangular regions of a predetermined size (for example, 16×16 pixels), and treat each rectangular region as an identification unit. In addition, the small area obtained by the method described in Non-Patent Document 2 can be treated as an identification unit area. On the other hand, a rectangular area of a predetermined size may be set only in part of the learning image. Note that the learning
以下に、教師情報が示す混合状態について説明する。画像上の被写体は、複数のクラスに分類することができる。図3は、このようなクラス分類の例を示す。図3(A)には、学習画像500の例を示す。学習画像500には、空、人物、及び植物が写っており、それぞれを異なるクラスに分類することができる。すなわち、図3(B)に示すように、領域541に含まれる画素には「空」のクラスラベルを、領域542に含まれる画素には「人物」のクラスラベルを、領域543に含まれる画素には「植物」のクラスラベルを、それぞれ与えることができる。
The mixed state indicated by the teacher information will be described below. A subject on an image can be classified into a plurality of classes. FIG. 3 shows an example of such class classification. FIG. 3A shows an example of a
クラス及びクラスラベルの定義は様々であり、クラス分類の方法は特に限定されない。図3の例では、被写体の種類に応じてクラス分類を行った。別のクラスラベルの例としては、肌領域又は髪領域、犬又は猫等の動物、及び自動車又は建物等の人工物、等が挙げられる。工場で用いられる部品A又は部品Bといったような、特定物体を示すクラスラベルを用いることもできる。一方、各画素を主被写体領域と背景領域にクラス分類してもよい。また、光沢面又はマット面といった表面性状の違いや、金属面又はプラスチック面のような素材の違いに応じて、クラス分類を行ってもよい。以下では、クラスは全部でM種類あるものとする。 There are various definitions of classes and class labels, and the method of classifying is not particularly limited. In the example of FIG. 3, class classification is performed according to the type of subject. Examples of other class labels include skin or hair regions, animals such as dogs or cats, and man-made objects such as automobiles or buildings. A class label can also be used to indicate a particular object, such as Part A or Part B used in the factory. On the other hand, each pixel may be classified into a main subject area and a background area. Classification may also be performed according to the difference in surface properties such as a glossy surface or a matte surface, or the difference in materials such as a metal surface or a plastic surface. In the following, it is assumed that there are M types of classes in total.
クラスの混合状態とは、対象画像における互いに異なる属性の領域間の混合状態のことである。それぞれの属性の領域は、同じ特定のクラスに属する被写体が占める領域である。互いに異なる属性の領域の一方は、特定のクラスに属する被写体の領域であり、他方は、特定のクラスとは別のクラスに属する被写体の領域である。以下では、あるクラスに属する被写体が占める属性の領域のことを、単にそのクラスに属する領域と呼ぶことがある。また、各画素に写っている被写体のクラスのことを、以下では画素の属性又はクラスと呼ぶことがある。 A mixed state of classes is a mixed state between regions of mutually different attributes in the target image. Each attribute area is an area occupied by subjects belonging to the same specific class. One of the regions with attributes different from each other is a region of a subject belonging to a specific class, and the other is a region of a subject belonging to a class different from the specific class. Hereinafter, an attribute area occupied by a subject belonging to a certain class may simply be referred to as an area belonging to that class. Also, the class of the subject captured in each pixel may be referred to as the attribute or class of the pixel below.
混合状態の定義はさまざまなものが考えられる。本実施形態では、以下のように混合状態を数値で表すものとする。一実施形態において、混合状態を示す情報は、対象画像における属性の領域の分布に依存して定まる情報である。例えば、混合状態を示す情報は、対象画像における属性の領域のそれぞれの比率を表す情報である。具体例として、混合状態を示す情報は、対象画像において各クラスに属する領域の面積比でありうる。クラスが「空」と「非空」の2クラスである場合について、図4の例を参照して説明する。図4には、学習画像510と、そのクラスラベル520が表されている。クラスラベル520は、クラスが「空」である画素を白で、クラスが「非空」である画素を黒で表す。図4には、学習画像510中の識別画像515に対応するクラスラベル520上の領域525を拡大した、拡大図(526)が示されている。拡大図(526)には、非空領域511と、空領域522とが示されている。このとき、識別画像515の混合状態を、対応する領域525における空領域と非空領域との面積比rで表すことができる。例えば、16×16pixelの矩形領域において、空領域画素が192pixel、非空領域画素が64pixelであった場合には、r=192/256=0.75となる。
There are many possible definitions of mixed state. In this embodiment, the mixed state is expressed numerically as follows. In one embodiment, the information indicating the mixed state is information determined depending on the distribution of attribute regions in the target image. For example, the information indicating the mixed state is information representing the ratio of each attribute area in the target image. As a specific example, the information indicating the mixed state can be the area ratio of the regions belonging to each class in the target image. A case where there are two classes, "empty" and "non-empty", will be described with reference to the example in FIG. FIG. 4 shows a
上の例では2クラスの面積比について説明したが、3つ以上のクラスの面積比を表すこともできる。図5には、学習画像530と、学習画像530中の識別画像535と、識別画像535についてのクラスラベル536が示されている。この例では、学習画像530の各画素は「空」、「植物」、及び「人工物」の3クラスに分類されている。この場合の混合状態は、植物領域531、空領域532、及び人工物領域533の面積比に応じて定めることができる。一例として、この場合に面積比を示す点545を、それぞれのクラスの面積比に応じて、図6(A)に示す座標空間中の単体540(図5の場合三角形)上にプロットすることができる。この点545は、単体の二つの辺を内分する内分比t1及びt2を用いて一意に表すことができるため、このときの面積比を、r=(t1,t2)というベクトルで表すことができる。これは一般M次元においても同様であるため、クラス数Mのときの面積比は、r=(t1,t2,・・・tM-1)というM-1次元のベクトルで一意に表すことができる。なお、前述のような2クラスの場合の面積比は、この一般化された形式においてM=2と設定した場合と同値である。
Although the above example describes area ratios of two classes, area ratios of three or more classes can also be represented. FIG. 5 shows a
また、上記のように表されるMクラスの面積比を、低次の空間にマッピングして扱ってもよい。例えば、識別画像における面積比をM次元空間にプロットし、SOM(Self-Organizing Map)やLLE(Locally Linear Embedding)を用いて低次の空間にマッピングすることができる。図6(B)は、上記の3クラスの混合比の空間を1次元のSOM550で量子化した例を示す。551はSOM550の始端ノードを表し、552はSOM550の終端ノードを表す。図6(C)は、これらを1次元空間にマッピングすることにより得られる。始端ノードの位置を0、終端ノードの位置を1とし、ノードを均等に配置すると、マップ上の位置を表すスカラ値により面積比を示す点545を表現することができる。例えば、図6(B)に示す面積比を示す点545は、図6(C)上の点546として近似することができ、そして点546のマップ上の位置(この例ではr=0.37)を用いて面積比を表すことができる。マッピング後の次元数は、図6(C)に示すように1次元には限られず、一般的にMの値が大きい場合には1以上の次元RのSOMで近似することができ、その場合rはR次元のベクトルで表すことができる。例えば、クラス数M=5のとき、2次元のSOMで面積比空間を量子化した場合には、rは2次元ベクトルで表すことができる。
Also, the M-class area ratio expressed as above may be mapped to a lower-order space. For example, the area ratio in the identification image can be plotted in an M-dimensional space and mapped in a low-dimensional space using SOM (Self-Organizing Map) or LLE (Locally Linear Embedding). FIG. 6B shows an example of quantizing the three-class mixing ratio space with a one-dimensional SOM550. 551 represents the start node of
また、Mクラスの面積比を、複数の基底ベクトルの合成ベクトルとして表現してもよい。例えば、さまざまな識別画像から得られたクラス面積比を、主成分分析又はスパースコーディング等を用いて複数の基底ベクトルに分解し、寄与度の大きい少数のベクトルでこれを近似することができる。この場合、面積比空間における面積比は、これら基底ベクトルの合成ベクトルとして表現することができ、そのときの各基底ベクトルに対する重み係数を用いて面積比を表すことができる。 Also, the M-class area ratio may be expressed as a composite vector of a plurality of basis vectors. For example, class area ratios obtained from various identification images can be decomposed into multiple basis vectors using principal component analysis, sparse coding, or the like, and approximated by a small number of vectors with large contribution. In this case, the area ratio in the area ratio space can be expressed as a composite vector of these basis vectors, and the area ratio can be expressed using a weighting factor for each basis vector at that time.
別の例として、混合状態を示す情報は、対象画像における互いに異なる属性の領域間の境界に係る情報、例えば対象画像中におけるこの境界を表す画素の比率を表す情報でありうる。一例として、各画素のクラス(例えば空領域又は非空領域)を示す二値画像に対してエッジ検出を行い、得られたエッジ画素数をカウントし、所定領域の画素数とエッジ画素数との比eを用いて混合状態を表すことができる。図4には、クラスラベル526に対するエッジ検出結果527が示されており、検出されたエッジ画素523が表されている。16×16pixelの矩形領域におけるエッジ画素のカウント結果が64である場合、エッジ画素率はe=64/256=0.25と表すことができる。
As another example, the information indicating the mixed state may be information relating to the boundary between regions of different attributes in the target image, for example, information representing the ratio of pixels representing this boundary in the target image. As an example, edge detection is performed on a binary image that indicates the class of each pixel (for example, sky region or non-sky region), the number of obtained edge pixels is counted, and the number of pixels in a predetermined region and the number of edge pixels are calculated. The ratio e can be used to represent the mixing state. FIG. 4 shows an
さらなる別の例として、混合状態を示す情報は、対象画像における属性の領域の配置を表す情報でありうる。例えば、所定領域内における各クラスの画素の配置パターンに従って混合状態を表すことができる。クラス数がM、所定領域の画素数がKである場合、所定領域内の各画素のクラスを、M×K次元の二値ベクトルで表すことができる。例えば、「空」「非空」の2クラスが定義されており、所定領域のサイズが16×16pixelである場合、所定領域内のクラスラベル配置パターンを、2×16×16=512次元の二値ベクトルとして表現することができる。このように識別画像から得られたさまざまな二値ベクトルをベクトル空間上にプロットし、SOM若しくはLLE等を用いて量子化することにより、所定領域におけるクラスラベル配置パターンをベクトルpとして表現することができる。また、識別画像から得られたさまざまな二値ベクトルを主成分分析若しくはスパースコーディング等を用いて基底ベクトルで表現する方法を用いることもできる。 As yet another example, the information indicating the mixed state may be information representing the arrangement of attribute regions in the target image. For example, the mixed state can be represented according to the arrangement pattern of pixels of each class within a predetermined area. If the number of classes is M and the number of pixels in the predetermined area is K, the class of each pixel in the predetermined area can be represented by an M×K binary vector. For example, if two classes of "empty" and "non-empty" are defined, and the size of the predetermined area is 16×16 pixels, the class label arrangement pattern in the predetermined area is a 2×16×16=512-dimensional two-dimensional It can be represented as a value vector. By plotting various binary vectors obtained from the identification image in this way on a vector space and quantizing them using SOM, LLE, etc., it is possible to express the class label arrangement pattern in a predetermined region as a vector p. can. It is also possible to use a method of expressing various binary vectors obtained from an identification image with basis vectors using principal component analysis, sparse coding, or the like.
図7は、所定領域におけるクラスラベル配置パターンを2次元のSOMを用いてマッピングすることにより得られたマップ900を示す。マップ900において、各四角形はSOMのノードであって、量子化されたクラスラベル配置パターンをそれぞれ表す。SOMの特性上、類似したパターンがマップ上で近い位置に配置される。識別画像におけるクラスラベル配置パターンを、各ノードのパターンとの近さに基づいて、マップ上の位置座標pで表すことができる。例えば図7の2次元SOMの例では、マップ上の位置をp=(p1,p2)の2次元ベクトルで表すことができる。
FIG. 7 shows a
このように、混合状態はさまざまな方法で表現することができる。混合状態は、これらの表現のうちいずれか一つを用いて表してもよい。例えば、混合状態を面積比だけで表すのであれば、C=rと定義すればよく、エッジ画素率だけで表わすのであればC=eと表わせばよく、クラスラベル配置パターンだけで表すのであればC=pと定義すればよい。また、混合状態は複数の表現を組み合わせて表してもよい。例えば、混合状態を面積比とエッジ画素率との組み合わせC=(r,e)と定義してもよいし、面積比、エッジ画素率、及びクラスラベル配置パターンの組み合わせC=(r,e,p)と定義してもよい。本発明において、混合状態の表現方法は特に限定されない。 Thus, the mixed state can be represented in various ways. Mixed states may be represented using any one of these representations. For example, if the mixed state is expressed only by the area ratio, it can be defined as C=r, if it is expressed only by the edge pixel rate, it can be expressed as C=e, and if it is expressed only by the class label arrangement pattern, It suffices to define C=p. Also, the mixed state may be expressed by combining multiple expressions. For example, the mixed state may be defined as a combination of area ratio and edge pixel ratio C=(r, e), or a combination of area ratio, edge pixel ratio, and class label arrangement pattern C=(r, e, p). In the present invention, the method of expressing the mixed state is not particularly limited.
上記のように、混合状態Cは1つ以上の数値で表されるベクトルとして表現することができる。すなわち、一実施形態において得られる混合状態を表す情報は、所定領域における混合状態を表す特徴量であるといえる。混合状態Cを表すベクトルの次元数をLとする。以下では、画像In上の所定領域iにおける混合状態ベクトルをCniと表し、混合状態ベクトルCniのl(l=1,……,L)番目の要素をc(n,i,l)と表す。なお、混合状態は、所定領域において各クラスの画素がどのように混合されているかだけでなく、所定領域が特定の1つのクラスの画素で構成されることを示してもよい。 As noted above, the mixture state C can be represented as a vector of one or more numbers. That is, it can be said that the information representing the mixed state obtained in one embodiment is a feature quantity representing the mixed state in the predetermined region. Let L be the number of dimensions of the vector representing the mixed state C. In the following, the mixture state vector in a predetermined region i on the image In is represented as Cni , and the l (l=1, ..., L) element of the mixture state vector Cni is c(n, i, l) is represented as Note that the mixed state may indicate not only how the pixels of each class are mixed in the given area, but also whether the given area is composed of pixels of one specific class.
本実施形態においては、各学習画像の各画素について図3(B)に示すようにクラスラベルが与えられているものとする。そして、このクラスラベルに基づいて、学習画像から得られるそれぞれの識別画像について、上記のようにスカラ値又はベクトル値として表される混合状態Cが教師情報として予め算出され、学習データ記憶部5100に予め格納されているものとする。しかしながら、データ取得部2100は、識別画像の各画素の属性を示す情報を取得し、各画素の属性を示す情報を用いて混合状態を示す情報を生成することにより、教師情報を取得してもよい。例えば、データ取得部2100は、学習データ記憶部5100に格納されている学習画像の各画素のクラスラベルに基づいて、上記のようにそれぞれの識別画像の混合状態Cを算出することができる。さらに、各学習画像の各画素について図3(B)に示すようにクラスラベルが与えられていることは必須ではない。例えば、学習画像から得られる識別画像を見ながら作業者が入力したこの識別画像の混合状態、又は作業者が入力した情報(エッジ情報など)に基づいて自動的に算出されたこの識別画像の混合状態が、学習データ記憶部5100に予め格納されていてもよい。
In this embodiment, it is assumed that each pixel of each learning image is given a class label as shown in FIG. 3(B). Then, based on this class label, for each identification image obtained from the learning images, the mixed state C represented as a scalar value or vector value as described above is calculated in advance as teacher information, and stored in the learning
ステップS2200で、学習部2200は、データ取得部2100から識別画像及び混合状態の教師情報を取得して、混合状態を推定する推定器の学習を行う。以下では、推定器としてCNN(Convolutional Neural Network)を利用する場合について説明する。CNNの構成としては従来既知のものを用いることができる。典型的には、CNNは、畳み込み層とプーリング層とを繰り返すことにより入力信号の局所的な特徴を次第にまとめていき、変形や位置ずれに対してロバストな特徴を得ることにより、認識タスクを行うニューラルネットワークである。
In step S2200, the learning unit 2200 acquires the identification image and the teacher information of the mixture state from the
CNNを用いた推定処理の例を、図8(A)を参照しながら説明する。学習部2200は、特徴抽出部610を用いて、推定器の学習に用いる識別画像の特徴量を抽出する。また、学習部2200は、特徴量を入力されると混合状態を示す情報を出力する推定器の学習を、識別画像の特徴量と教師情報との組み合わせを用いて行う。図8(A)は、学習部2200が処理のために用いることができるCNNの一例を示す。図8(A)には、特徴抽出部610が行う処理に相当する部分が示されており、これは特徴抽出を行うCNNの畳み込み層に相当する。また、図8(A)には、学習を行う推定器620に相当する部分が示されており、これはパターン推定を行うCNNの完全結合層に相当する。
An example of estimation processing using CNN will be described with reference to FIG. The learning unit 2200 uses the
畳み込み層は、学習画像の部分画像である識別画像630の各位置における畳み込み演算結果を信号として受け取る入力層611を有する。入力層611からの信号は、畳み込み層とプーリング層とが配置され、畳み込み演算とプーリングによる信号の選択とが繰り返される複数の中間層612,613を介して、最終層615へと送られる。特徴抽出部610の最終層615からの出力信号は、推定器620へと送られる。以下では、特徴抽出部610の出力信号をXとする。完全結合層では、各層の素子が前後の層と全結合しており、特徴抽出部610から入力された信号は、重み係数を用いた積和演算を介して出力層640へと送られる。出力層640は、混合状態ベクトルCの次元数Lと同数の出力素子を有している。
The convolution layer has an
学習部2200は、推定器の学習を行う際に、学習画像Inの所定領域iから得られた識別画像をCNNに入力した際に、出力層640で得られる出力信号の値を、教師情報と比較する。ここで、学習画像Inの所定領域iを特徴抽出部610に入力して得られた特徴量をXn
i、これを推定器620に入力した結果得られた出力層640におけるl番目の素子の出力信号をyl(Xn
i)とする。また、出力層640のうちl番目の出力素子における教師信号は、混合状態Cniのl番目の要素c(n,i,l)で表される。この場合、出力信号と教師情報との誤差は下記のように計算される。
誤差逆伝搬法を用いて、このように得られた誤差を出力層から入力層へと順次逆伝搬することにより、CNNの学習を行うことができる。例えば、確率的勾配降下法等を用いてCNNにおける各層の重み係数を更新することができる。CNNの重み係数の初期値としては、ランダムな値を用いることもできるし、何らかのタスクに関する学習により得られた重み係数を用いてもよい。例えば、画像分類タスクにおいては画像ごとにクラスラベルが与えられた学習画像を用いるが、領域分割タスクにおいては画素ごとにクラスラベルが与えられた学習画像を用いるため、領域分割タスク用の学習画像を人間が用意するための負荷は大きい。一方、画像分類タスク用の学習画像は一般に公開されており、簡単に入手することができる。例えばILSVRC(ImageNet Large-scale Visual Recognition Challenge)では120万枚の画像分類タスク用の学習画像が公開されている。よって、このような画像分類タスクのためにCNNの学習を行い、この学習により得られた重み係数を初期値として用いて、本実施形態のような混合状態推定タスクのための学習を行ってもよい。 CNN can be trained by sequentially back-propagating the errors obtained in this way from the output layer to the input layer using the error back-propagation method. For example, a stochastic gradient descent method or the like can be used to update the weight coefficients of each layer in the CNN. A random value can be used as the initial value of the weighting factor of the CNN, or a weighting factor obtained by learning about some task may be used. For example, in the image classification task, training images with class labels assigned to each image are used, but in the segmentation task, training images with class labels assigned to each pixel are used. The burden for humans to prepare is large. On the other hand, training images for image classification tasks are publicly available and can be easily obtained. For example, in ILSVRC (ImageNet Large-scale Visual Recognition Challenge), 1.2 million learning images for image classification tasks are published. Therefore, even if the CNN is trained for such an image classification task, and the weighting coefficients obtained by this learning are used as initial values, learning for the mixed state estimation task as in the present embodiment is performed. good.
ここではCNNを用いた推定器について説明したが、推定器の構成は特に限定されない。図8(B)には、推定部1200が処理のために用いることができる構成の別の一例を示す。図8(B)には、特徴抽出部610が行う処理に相当する部分、及び推定器650が行う処理に相当する部分が示されている。推定器650は、特徴抽出部610における各層の出力信号を連結して得られた一つの特徴量に対する回帰値を与える。推定器650が用いる手法としては、例えばSVR(Support Vector Reggression)やロジスティック回帰等が挙げられるが、特に限定されない。そして、学習画像を用いて、この推定器650が用いる回帰関数の学習を行うことができる。例えば、上記の出力信号と教師情報との誤差に基づく誤差関数を最小化するように、回帰関数の学習を行うことができる。また、図8(A)のような構成を用いてCNNの学習をあらかじめ行っておき、その後にCNNの各層の出力信号に基づく特徴量を使って推定器650のみの学習を行ってもよい。ここで、推定器650を完全結合の多層ニューラルネットワークで構成すれば、図8(A)の構成と同様に、誤差逆伝搬法を用いてCNNと推定器650との学習を同時に行うこともできる。
Although the estimator using CNN has been described here, the configuration of the estimator is not particularly limited. FIG. 8B shows another example of a configuration that
また、特徴抽出部610は、HOG又はSIFTのような別の特徴抽出手法を用いて特徴量を抽出することができる。また、推定器は、SVR、ロジスティック回帰、又は多層ニューラルネットワーク等の識別関数を用いて、混合状態の推定を行うことができる。このように、一実施形態においては、特徴抽出手法と推定手法との任意の組み合わせを用いることができる。このような場合にも、従来の方法に従って推定器の学習を行うことができる。ステップS2200における学習により得られた推定器のパラメータは、推定器記憶部5200に記憶される。
Also, the
このようにして学習が行われた推定器を用いて、入力画像の混合状態を識別する方法について、図2(B)のフローチャートを参照して説明する。S1100において、画像取得部1100は、混合状態の識別対象となる入力画像を取得する。画像取得部1100は、撮像装置から得られた現像前の画像データを取得することもできる。
A method of identifying the mixed state of the input image using the estimator trained in this way will be described with reference to the flowchart of FIG. 2(B). In S1100, the
以下で、入力画像の所定領域にある混合状態の推定対象となる画像を対象画像と呼ぶ。画像取得部1100は、所定の領域設定パターンに従って、入力画像中に複数の領域を設定することができる。設定された領域のそれぞれに含まれる入力画像の部分画像が、対象画像となる。対象画像は、識別単位に従う所定サイズの部分画像であり、その設定方法は特に限定されない。例えば、学習時と同様、入力画像を所定サイズ(例えば16×16ピクセル)の複数の矩形領域に分割し、それぞれの矩形領域にある複数の対象画像について判定を行うことができる。一方、入力画像の一部領域にある対象画像に対して判定を行ってもよい。
Hereinafter, an image that is an object for estimating a mixed state in a predetermined region of an input image is called a target image. The
ステップS1200において、推定部1200は、特徴抽出部610を用いて、S1100で得られた入力画像の所定領域にある対象画像から特徴量を抽出する。また、推定部1200は、学習された推定器620を推定器記憶部5200から読み込み、推定器620に特徴量を入力することにより、対象画像における互いに異なる属性の領域間の混合状態を示す情報を生成する。こうして、推定部1200は、ステップS1100で取得した入力画像中の対象画像について混合状態を推定する。図8(A)は、推定部1200が処理のために用いることができるCNNの一例を示す。図8(A)には、特徴抽出部610が行う処理に相当する部分が示されており、ここでは入力画像中の所定領域における信号が各層に順伝搬され、対象画像の特徴量Xiが抽出される。また、図8(A)には、推定器620に相当する部分が示されており、ここでは得られた特徴量Xiから、混合状態ベクトルの各要素に割り当てられた出力素子621における出力信号が生成される。各素子lの出力信号の値は、混合状態ベクトルの各要素yl(Xi)の値となる。
In step S1200,
ステップS1300において、出力部1300は、ステップS1200で得られた推定結果を出力する。出力部1300が行う処理は、識別結果の利用方法に依存し、特に限定されない。混合状態を示す情報を用いた処理例を以下に挙げる。
In step S1300,
例えば、入力画像の各領域に対する画像処理を、その領域における混合状態に応じて変更することができる。この場合、出力部1300は画像補正アプリケーションに対して各領域の混合状態を出力することができる。
For example, the image processing for each region of the input image can be changed according to the blending state in that region. In this case, the
また、別の例として、混合状態に応じたカメラのフォーカス制御を行うこともできる。例えば、複数の測距点を備える撮像装置のためのフォーカス制御装置は、取得部と、制御部とを備えることができる。取得部は、撮像装置により得られた画像のうち複数の測距点のそれぞれに対応する領域について、領域に占める特定の属性の領域の面積比を示す情報を取得する。そして、制御部は、面積比に応じて複数の測距点を重み付けし、撮像装置のフォーカス制御を行う。より具体的には、多点測距AFを行う場合に、フォーカスを合わせる対象となる被写体成分がより多い測距点の重みを大きくすることができる。例えば、前景に重点を置くフォーカス制御を行う場合、前景成分がより多い測距点の重みを大きくすることができ、特定の被写体に重点を置くフォーカス制御を行う場合、特定の被写体成分がより多い測距点の重みを大きくすることができる。このようなフォーカス制御装置は、上記の情報処理装置から混合状態を示す情報を取得してもよいし、上記の情報処理装置が備える上記の各構成を有していてもよいし、本実施形態とは異なる方法で生成された混合状態を示す情報を取得してもよい。 As another example, camera focus control can be performed according to the mixed state. For example, a focus control device for an imaging device with multiple ranging points can include an acquisition unit and a control unit. The acquisition unit acquires information indicating an area ratio of a region having a specific attribute in an image obtained by the imaging device, with respect to each region corresponding to each of the plurality of ranging points. Then, the control unit weights the plurality of distance measuring points according to the area ratio, and performs focus control of the imaging device. More specifically, when performing multi-point ranging AF, it is possible to increase the weight of ranging points having more subject components to be focused. For example, when performing focus control that emphasizes the foreground, it is possible to increase the weight of AF points with more foreground components. The weight of the distance measurement point can be increased. Such a focus control device may acquire information indicating a mixed state from the above information processing device, may have the above configurations provided in the above information processing device, or may have the above configuration. Information indicating the mixed state generated by a method different from that may be obtained.
さらなる別の例として、混合状態に応じたカメラの露出制御を行うこともできる。例えば、撮像装置のための露出制御装置は、取得部と、算出部と、選択部と、制御部とを備えることができる。取得部は、撮像装置により得られた画像と、画像の各領域について、領域に占める特定の属性の領域の面積比を示す情報を取得することができる。算出部は、画像全体に占める特定の属性の領域の面積比を算出することができる。選択部は、算出された面積比に応じて、露出制御アルゴリズムを選択することができる。制御部は、選択された露出制御アルゴリズムを用いて、撮像装置の露出制御を行うことができる。より具体的には、視野における空の面積に応じて異なる露出制御を行う場合に、混合状態に基づいて空の面積を算出することができる。この場合、従来技術のように、空と枝が混ざっている領域について、ほとんどの領域を前景であると判定したり、ほとんどの領域について空であると判定したりすることにより、空の面積が実際の値と大きく異なってしまう可能性を減らせることが期待できる。 As yet another example, camera exposure control may be performed in response to the blend state. For example, an exposure control device for an imaging device can comprise an acquisition unit, a calculation unit, a selection unit, and a control unit. The obtaining unit can obtain an image obtained by the imaging device and information indicating an area ratio of a region having a specific attribute in each region of the image. The calculation unit can calculate the area ratio of the area of the specific attribute in the entire image. The selection unit can select an exposure control algorithm according to the calculated area ratio. The control unit can use the selected exposure control algorithm to control the exposure of the imaging device. More specifically, the area of the sky can be calculated based on the mixed state when different exposure controls are performed according to the area of the sky in the field of view. In this case, as in the conventional technique, most of the area where the sky and branches are mixed is determined to be the foreground, or most of the area is determined to be the sky, thereby reducing the area of the sky. It can be expected to reduce the possibility that the values differ greatly from the actual values.
ここでは静止画像を学習画像及び入力画像として用いる場合について説明したが、動画像を学習画像及び入力画像として用いることもできる。この場合、混合状態の定義は時間方向に拡張される。例えば、16×16pixelの所定領域及び5フレームを識別単位とする場合、16×16×5のボクセルに関して混合状態を定義することができる。例えば、面積比を用いて混合状態を表す上記の例を拡張することにより、体積比を用いて混合状態を表すことが可能である。 Although the case where still images are used as learning images and input images has been described here, moving images can also be used as learning images and input images. In this case, the definition of mixed state is extended in the temporal direction. For example, if a predetermined region of 16×16 pixels and 5 frames are used as identification units, the mixed state can be defined with respect to 16×16×5 voxels. For example, by extending the above example of expressing mixed states using area ratios, it is possible to express mixed states using volume ratios.
本実施形態では、それぞれが複数の画素を含む複数の領域へと入力画像(及び学習画像)が分割され、この領域内の混合状態が推定された。このような処理によれば、全ての画素のそれぞれについてクラスを推定する場合と比較して、推定処理の回数が少なくなるため、処理の高速化が期待できる。一方、入力画像のそれぞれの画素について混合状態を推定することもできる。すなわち、1つの画素に異なるクラスに属する複数の被写体が写っていることがあり、この1つの画素に対応する被写体領域における、それぞれのクラスの被写体の混合状態を推定することもできる。 In this embodiment, the input image (and training image) was divided into multiple regions, each containing multiple pixels, and the mixture state within the regions was estimated. According to such processing, compared to the case of estimating the class for each of all pixels, the number of times of estimation processing is reduced, and speeding up of processing can be expected. On the other hand, the mixture state can also be estimated for each pixel of the input image. That is, a plurality of subjects belonging to different classes may appear in one pixel, and it is possible to estimate the mixed state of the subjects of each class in the subject area corresponding to this one pixel.
本実施形態では、混合状態を示す情報はスカラ値又は複数のスカラ値で構成されるベクトルとして得られた。一方で、混合状態を示す情報は、3つ以上の値から選択される情報でありうる。例えば、所定領域におけるクラス「空」及び「非空」の混合状態を示す情報は、所定領域が「空」で構成されることを示す値、所定領域が「非空」で構成されることを示す値、又は所定領域において「空」及び「非空」が混合されていることを示す値でありうる。このような混合状態を示す情報も、上述の処理例及び後述する実施形態4,5において利用可能である。 In this embodiment, the information indicating the mixed state was obtained as a scalar value or a vector composed of multiple scalar values. On the other hand, the information indicating the mixed state can be information selected from three or more values. For example, the information indicating the mixed state of the classes "empty" and "non-empty" in the given area is a value indicating that the given area is composed of "empty", It can be a value that indicates, or a value that indicates that "empty" and "non-empty" are mixed in a given region. Information indicating such a mixed state can also be used in the above-described processing example and the fourth and fifth embodiments described later.
[実施形態2]
実施形態1では、学習画像の各画素に対してクラスラベルが設定されていることを前提にして説明した。しかしながら、画素毎にクラスラベルを設定するには時間がかかる。実施形態2では、学習画像に対してクラスラベルを入力するユーザ作業を軽減する方法を説明する。本実施形態においては、学習画像の各領域に対して入力されたクラスラベルに基づいて、データ取得部2100は、画素ごとのクラスラベルを自動的に算出する。
[Embodiment 2]
In the description of the first embodiment, it is assumed that the class label is set for each pixel of the learning image. However, it takes time to set the class label for each pixel. In the second embodiment, a method of reducing the user's work of inputting class labels for learning images will be described. In this embodiment, the
以下、図1(C)を参照して、本実施形態における学習装置の基本的な構成を説明する。本実施形態における画像処理装置の構成は実施形態1と同様であり、説明を省略する。本実施形態において学習データ記憶部5100には、識別画像の他に、識別画像における第1の属性の領域、第2の属性の領域、及び第1の属性の領域と第2の属性の領域とが混在している混在領域を示す情報が格納されている。例えば、学習データ記憶部5100は、学習画像と、学習画像上の各領域に対して付与されたクラスラベルと、を含む学習データが記憶する。ここで、複数のクラスが混在している領域には、混在領域であることを示すクラスラベルが与えられている。
The basic configuration of the learning device according to this embodiment will be described below with reference to FIG. The configuration of the image processing apparatus according to this embodiment is the same as that of the first embodiment, and the description thereof will be omitted. In the present embodiment, the learning
データ取得部2100は、学習データ記憶部5100から学習データを読み込む。すなわち、データ取得部2100は、識別画像の他に、識別画像における第1の属性の領域、第2の属性の領域、及び第1の属性の領域と第2の属性の領域とが混在している混在領域を示す情報を取得する。
The
詳細化部2300は、第1の属性の領域に含まれる画素の画素値、及び前記第2の属性の領域に含まれる画素の画素値に基づいて、混在領域の各画素の属性を判定する。例えば、詳細化部2300は、混在領域であることを示すクラスラベルが与えられている領域について、混合状態を示す教師情報を算出する。詳細については後述する。学習部2200は、学習画像と混合状態の教師情報とを用いて、実施形態1と同様に推定器の学習を行う。
The
本実施形態において学習装置が行う処理のフローを、図2(C)に従って説明する。ステップS2100においてデータ取得部2100は、学習データ記憶部5100から、学習画像とクラスラベルデータとを学習データとして読み込む。学習データ記憶部5100には、あらかじめ複数の学習画像とそれぞれについてのクラスラベルデータとが用意されている。
The flow of processing performed by the learning device in this embodiment will be described with reference to FIG. 2(C). In step S2100, the
ここで、本実施形態におけるクラスラベルデータについて説明する。図9(A)には学習画像500が示されており、図9(B)には学習画像500についてのクラスラベルデータ400が示されている。この例では、学習画像500は空領域410、非空領域420、及び混在領域430から構成されており、それぞれの領域の画素には「空」、「非空」、及び「混在」がそれぞれクラスラベルとして付されている。このように、学習画像500には、単一クラスの領域と、複数クラスが混在している領域と、が設定されている。
Here, the class label data in this embodiment will be explained. A
これらのクラスラベルは、ツール等を介して予め人間が入力することができる。例えば作業者は、学習画像の空領域及び非空領域を決定することができる。その際、前景の木の枝が細かく複雑になっている箇所においては、空領域と非空領域とを正確に切り分けることは、作業者に対する大きな作業負荷を要求する。そこで、作業者は、このように複数のクラスが混在している領域に対しては、「混在」というクラスラベルを与えることができる。 These class labels can be entered in advance by a human using a tool or the like. For example, the operator can determine sky and non-sky regions of the training images. At that time, in a place where the branches of the foreground tree are fine and complicated, accurately separating the sky area and the non-sky area requires a heavy workload for the operator. Therefore, the operator can assign a class label of "mixed" to an area in which a plurality of classes are mixed in this way.
ここでは、「空」と「非空」が混在している領域について説明したが、実施形態1で説明したように、クラス定義はこのようなものに限定されない。また、クラスが3クラス以上ある場合には、クラスの組み合わせの数だけ混在領域の種類を定義することができる。例えば、図5に示すように「空」、「植物」、「人工物」の3クラスが定義されている場合には、「空と植物の混在領域」、「空と人工物の混在領域」、「植物と人工物の混在領域」、「空と植物と人工物の混在領域」、の4種類の混在領域クラスを定義できる。以下では、「空」と「非空」の2クラスが定義されている場合を例にして説明する。 Here, an area in which "empty" and "non-empty" are mixed has been described, but as described in the first embodiment, the class definition is not limited to such. Also, when there are three or more classes, it is possible to define as many types of mixed regions as there are combinations of classes. For example, as shown in FIG. 5, when three classes of "sky", "plant", and "artificial object" are defined, "space and plant mixed area" and "sky and artificial object mixed area" are defined. , “mixed area of plants and artifacts” and “mixed area of sky, plants and artifacts” can be defined. In the following, a case where two classes of "empty" and "non-empty" are defined will be described as an example.
ステップS2300において、詳細化部2300は、混在領域に関してクラスラベルの詳細化を行う。具体的には、詳細化部2300は、混在領域の各画素についてクラスラベルを設定する。ここで、詳細化部2300は、第1の属性の領域に含まれる画素の画素値、及び第2の属性の領域に含まれる画素の画素値に基づいて、混在領域の各画素の属性を判定する。例えば、詳細化部2300は、各クラスの色情報を参考に、混在領域のクラスラベルを判定することができる。具体例として、詳細化部2300は、学習画像Inにおける、空領域と非空領域とのそれぞれについて、各画素のRGB値を抽出してRGB色空間にプロットする。混在領域以外の空領域及び非空領域は、学習データに示されている。そして、詳細化部2300は、空領域と非空領域とのそれぞれについて、混合ガウス分布を推定する。すると、混合領域の各画素について、そのRGB値及び空領域の混合ガウス分布に基づいて空領域の尤度を求めることができ、またそのRGB値及び非空領域の混合ガウス分布に基づいて非空領域にある尤度を推定することができる。詳細化部2300は、そして、「空」「非空」のうち尤度が高い方のクラスラベルを画素に割り当てることができる。こうして、詳細化部2300は、混在領域内のクラスラベルを詳細化することができる。図9(C)は、このようにして詳細化されたクラスラベルデータ450を示し、ここには詳細化された空領域460及び非空領域470が表されている。
In step S2300, the detailing
このようにして詳細化されたクラスラベルデータを基に、詳細化部2300は、識別単位となる識別領域について混合状態を表す教師情報を算出する。識別領域、並びに混合状態を示す教師情報の定義及び算出方法に関しては、実施形態1で詳しく説明したとおりであるため、ここでは詳細な説明は省く。なお、詳細化部2300がクラスラベルの詳細化を行うことは必須ではない。例えば、識別領域内の混在領域にある画素のRGB値分布と、空領域及び非空領域の混合ガウス分布とに基づいて、混在領域における混合状態を推定することが可能であり、これに基づいて識別領域における混合状態を表す教師情報を算出してもよい。
Based on the class label data detailed in this way, the detailing
変形例として、学習データにおいて、複数のクラスが混在している領域に対しては混合状態が設定されていてもよい。例えば、作業者は、特定の領域について、「非空領域の割合は30%」というような、クラスの面積比を示す情報を入力することができる。この場合、詳細化部2300は、各画素についてのクラスラベルを推定することなく、識別単位となる識別領域について混合状態を表す教師情報を算出することができる。一方、詳細化部2300は、混合状態を参照して、入力画像の各画素のクラスラベルを推定することもできる。この場合には、後述する実施形態5と同様に、学習データから計算可能な混合状態を表す情報と、推定された各画素の属性に基づいて計算される混合状態を示す情報と、の類似度が大きいほど高くなる評価値を用いて、推定を行うことができる。
As a modification, a mixed state may be set for an area in which a plurality of classes are mixed in the learning data. For example, the operator can input information indicating the area ratio of the class, such as "the percentage of non-empty areas is 30%" for a specific area. In this case, the detailing
[実施形態3]
実施形態1,2では、識別単位となる識別領域は、あらかじめ矩形領域又は小領域として設定されているという前提で説明を行った。一方で、識別領域の大きさや切り方を、さまざまな撮影情報に基づいて変えることができる。例えば、ボケの強い領域では、細かいテクスチャが情報として失われるため、より広い識別領域に対して推定を行うことにより、混合状態の推定精度を向上できる可能性がある。
[Embodiment 3]
In the first and second embodiments, the description has been given on the premise that the identification area, which is the identification unit, is set in advance as a rectangular area or a small area. On the other hand, the size and cutting method of the identification area can be changed based on various shooting information. For example, in highly blurred areas, fine texture information is lost, so there is a possibility that the mixed state estimation accuracy can be improved by estimating a wider identification area.
撮影情報は、撮像装置固有の情報と、撮影された画像固有の情報を含む。撮像装置固有の情報としては、センサのサイズ若しくは許容錯乱円径、及び光学系の明るさ若しくは焦点距離等が挙げられる。撮影された画像固有の情報としては、絞り値、合焦距離、Bv値、RAW画像、露出時間、ゲイン(ISO感度)、ホワイトバランス係数、距離情報、GPS等による位置情報、日時等の時間情報、等が挙げられる。他にも、撮影された画像固有の情報としては、撮影時における、重力センサ値、加速度、地磁気方向、温度、湿度、気圧、又は高度等が挙げられる。また、可視光以外に、赤外光や紫外光の情報を得ることができる撮像系もある。撮像装置の仕様により、得られる撮影情報はそれぞれ異なる。撮影情報は、入力画像の撮影時に入力画像に関連付けて付された情報、入力画像の撮影時における撮像装置の状態を示す情報、又は入力画像の撮影時に撮像装置によって測定された情報でありうる。また、撮影情報は、入力画像の撮影時に撮像装置によって検知された入力画像の特性を表す情報でありうる。また、撮影情報は、入力画像自体のデータとは異なる情報である。 The imaging information includes information specific to the imaging device and information specific to the captured image. The information specific to the imaging device includes the size of the sensor or the diameter of the permissible circle of confusion, the brightness of the optical system or the focal length, and the like. Information unique to the captured image includes aperture value, focus distance, Bv value, RAW image, exposure time, gain (ISO sensitivity), white balance coefficient, distance information, location information such as GPS, and time information such as date and time. , etc. In addition, the information specific to the captured image includes the gravity sensor value, acceleration, geomagnetic direction, temperature, humidity, atmospheric pressure, altitude, etc. at the time of capturing. In addition to visible light, there are imaging systems that can obtain information on infrared light and ultraviolet light. The imaging information obtained differs depending on the specifications of the imaging apparatus. The shooting information may be information attached in association with the input image when the input image was shot, information indicating the state of the imaging device when the input image was shot, or information measured by the imaging device when the input image was shot. Also, the shooting information may be information representing the characteristics of the input image detected by the imaging device when the input image was shot. Also, the shooting information is information different from the data of the input image itself.
図1(D)に沿って、実施形態3に係る学習装置の基本的な構成を説明する。学習データ記憶部5100には、あらかじめ学習データが記憶されている。本実施形態において学習データは、学習画像と、各学習画像に対応する撮影情報と、学習画像上のさまざまな大きさの領域に対して付与された混合状態の教師情報と、を含む。データ取得部2100は、学習データ記憶部5100から、学習画像、撮影情報、及び教師情報を読み込む。学習部2200は、学習画像と混合状態の教師情報を用いて、混合状態を推定する推定器の学習を行い、得られた推定器を推定器記憶部5200に記憶する。ここで、学習部2200は、第1の領域設定パターンに従って設定された所定領域にある識別画像を用いた学習により第1の推定器を生成し、第2の領域設定パターンに従って設定された所定領域にある識別画像を用いた学習により第2の推定器を生成する。評価部2400は、確認データ記憶部5400から読み込んだ確認データを使って、学習により得られたそれぞれの推定器の推定精度を評価する。そして、評価部2400は、撮影情報と推定精度とに基づいて領域設定器を生成し、設定器記憶部5300に記憶する。
The basic configuration of the learning device according to the third embodiment will be described along FIG. 1(D). Learning data is stored in the learning
次に図1(E)に沿って、画像処理装置の装置構成の概要を説明する。画像取得部1100は、入力画像と撮影情報とを取得する。領域設定部1400は、撮影情報に応じて、複数の領域設定パターンの中から、対象画像の設定に用いる領域設定パターンを選択する。本実施形態において領域設定部1400は、領域設定器を設定器記憶部5300から読み込み、撮影情報に従って識別単位となる領域を設定する。推定部1200は、推定器を推定器記憶部5200から読み込み、設定された識別単位に従って設定された所定領域にある対象画像について、推定器を使って混合状態を推定する。
Next, an overview of the configuration of the image processing apparatus will be described with reference to FIG. The
本実施形態における処理の詳細な説明を以下に記す。まず、学習時の処理に関して図2D)のフローチャートを参照して説明する。ステップS2100において、データ取得部2100は、学習データ記憶部5100から、学習画像、撮影情報、及び混合状態の教師情報を、学習データとして読み込む。
A detailed description of the processing in this embodiment is provided below. First, processing during learning will be described with reference to the flowchart of FIG. 2D). In step S2100, the
ステップS2200において、学習部2200は、データ取得部2100が取得した学習画像と混合状態の教師情報とを用いて、混合状態を推定する推定器の学習を行う。上述のように、本実施形態においては複数種類の領域設定パターンのそれぞれに従って識別単位が設定される。すなわち、識別単位となる領域としては、さまざまなものが用意されている。例えば、3×3、9×9、及び15×15の矩形領域など、サイズの異なる複数パターンの識別単位を用意することができる。実施形態1でも説明したように、識別単位は矩形領域には限られない。例えば、実施形態1で説明したように、複数の領域設定パターンとして、領域分割により小領域を設定する際に用いるパラメータを複数用意することができる。
In step S2200, the learning unit 2200 uses the learning image acquired by the
領域設定パターンの違いにより、画像上の同じ位置であっても、混合状態の教師情報は変化しうる。図3(C)には、学習画像の同じ位置にあるさまざまなサイズの矩形領域551、552、及び553が示されている。最も小さい矩形領域551においては、空:非空の面積比はr=1である。一方、矩形領域552及び553は、それぞれ非空領域を含むため、面積比はそれぞれr=0.9及びr=0.8となる。
Even at the same position on the image, teacher information in a mixed state may change due to differences in area setting patterns. FIG. 3C shows
学習部2200は、それぞれの領域設定パターンに対応する推定器の学習を行う。すなわち、学習部2200は、着目領域設定パターンに従って設定された識別領域と、この識別領域について与えられた教師情報とに基づき、着目領域設定パターンに対応する推定器の学習を行う。この結果、学習部2200は、複数の領域設定パターンのそれぞれに対応する推定器を生成する。例えば、領域設定パターンのインデックスをqとし、領域設定パターンの総数をQとすると、学習によってQ種類の推定器yqを得ることができる。推定器の学習は実施形態1と同様に行うことができる。一例として、それぞれの推定器yqは、回帰関数fq(X)(q=1,……,Q)に従って混合状態の推定を行うことができる。学習により得られた推定器は、推定器記憶部5200に記憶される。
A learning unit 2200 learns an estimator corresponding to each region setting pattern. That is, the learning section 2200 learns the estimator corresponding to the region-of-interest setting pattern based on the identification region set according to the region-of-interest setting pattern and the teacher information given for this identification region. As a result, learning section 2200 generates an estimator corresponding to each of the plurality of region setting patterns. For example, if the region setting pattern index is q and the total number of region setting patterns is Q, Q types of estimators yq can be obtained by learning. Training of the estimator can be performed in the same manner as in the first embodiment. As an example, each estimator yq can perform mixture state estimation according to a regression function fq(X) (q=1, . . . , Q). The estimator obtained by learning is stored in
ステップS2300において評価部2400は、ステップS2200で得られた推定器の識別精度を、撮影情報とともに評価し、領域設定器を生成する。例えば、評価部2400は、教師情報及び撮影情報が関連付けられている検証画像を用いて、それぞれの推定器の識別精度を評価することができる。そして、評価部2400は、所定の撮影情報が関連付けられている識別画像の判定を行う際に良好な識別精度が得られるように、特定の撮影情報に対応する推定器を示す情報を生成することができる。
In step S2300,
撮影情報の中には、学習画像の画素ごとに得られる情報がある。また、撮影情報の組み合わせにより新たな撮影情報を得ることもできる。例えば、画素位置pにおけるレンズ面から被写体までの距離Z(p)と、光学系の焦点距離fと、が撮影情報として得られた場合、像倍率S(p)を算出することができる。
また、光学系のF値、焦点距離f、撮影時の合焦距離Zf、及び画素位置pにおける被写体までの距離Z(p)が撮影情報として得られた場合、各画素位置におけるボケ量B(p)を得ることができる。
さらに、RAW画像の各画素位置pにおける値r(p)、g(p)、及びb(p)、露出時間T、ゲインG、並びに絞り量Fが撮影情報として得られた場合、画素位置pにおける入射光量BV(p)の絶対値を得ることができる。
以下、撮影情報として画素位置pにおけるボケ量B(p)を用いて、領域設定器を生成する場合について説明する。もっとも、用いる撮影情報はこれには限定されず、像倍率S(p)又は入射光量BV(p)等の他の撮影情報を用いてもよい。また、複数の撮影情報を組み合わせてもよく、例えばボケ量B(p)と入射光量BV(p)を組み合わせて用いてもよい。 A case of generating an area setter using the blur amount B(p) at the pixel position p as the imaging information will be described below. However, the photographic information to be used is not limited to this, and other photographic information such as the image magnification S(p) or the incident light amount BV(p) may be used. Also, a plurality of shooting information may be combined, for example, the amount of blur B(p) and the amount of incident light BV(p) may be combined and used.
まず、評価部2400は、ボケ量Bを複数のビンに区切り、領域設定パターンqに関するテーブルを生成する。この例では、ボケ量Bが2未満、2以上3未満、3以上4未満、4以上、の4つのビンに区切られている。また、領域設定パターンqとしては3×3、9×9、及び15×15の3種類が用いられており、3×4のテーブルが得られる。
First, the
次に、評価部2400は、確認データを確認データ記憶部5400から読み込む。確認データは、学習データと同様、複数の確認画像、それぞれの確認画像についてのクラスラベルデータ、及び撮影情報を含む。ここでは、確認画像の総枚数をNvと表し、v番目の確認画像をIv(v=1,……,Nv)と表す。
Next, the
評価部2400は、領域設定パターンqのそれぞれに従って、確認画像中の識別単位となる領域iにおける特徴量を抽出し、対応する推定器に入力する。こうして、領域設定パターンqを用いた場合の確認画像Iν中の領域iの混合状態の推定値yq(Xν
i)を得ることができる。このとき、混合状態教師情報cq(ν,i)に対する二乗誤差は下記のように表すことができる。
また、ボケ量Bと領域設定パターンqとの組み合わせに対するビン(B,q)における二乗誤差平均MSE(B,q)は下記のように表される。
そして、ビン(B,q)に関する信頼度T(B,q)は、1から二乗平均平方根誤差を減じた値として定義できる。
このようにして、評価部2400は、各ビン(B,q)に対する信頼度T(B,q)のテーブルを得ることができる。こうして得られたテーブルの例を下に示す。評価部2400は、このようにして得られたテーブルを、領域設定器として設定器記憶部5300に記憶する。
本実施形態では、得られたテーブルが領域設定器として設定器記憶部5300に格納された。一方、評価部2400は、信頼度T(B,q)の値を教師情報として、ボケ量Bに対する信頼度Tを回帰値として出力する回帰関数gq(B)を各領域設定パターンqに対して生成し、これを領域設定器として用いてもよい。
In this embodiment, the obtained table is stored in the
このように得られた混合状態推定器及び領域設定器を用いて、入力画像の混合状態を推定する処理について、図2(E)のフローチャートを用いて説明する。ステップS1100において画像取得部1100は、撮像装置により得られた画像データと撮影情報とを取得する。
Processing for estimating the mixed state of the input image using the mixed state estimator and region setter thus obtained will be described with reference to the flowchart of FIG. 2(E). In step S1100, the
ステップS1400において領域設定部1400は、設定器記憶部5300から領域設定器を読み込み、撮影情報に従って使用する領域設定パターンを決定する。例えば、領域設定部1400は、下式に従って、入力画像Iの各領域iに対して、撮影情報として得られたボケ量B(i)から得られる信頼度Tが最も大きくなる領域設定パターンqwinを選ぶことができる。なお、ボケ量B(i)は、入力画像Iの領域iの中心位置におけるボケ量を指す。具体的な処理は特に限定されないが、例えば、1つの領域設定パターンに従って入力画像Iを複数の領域に分割し、1つの領域を別の領域設定パターンに従って細分化した方が信頼度が高くなる場合に、この細分化を行うことができる。別の例としては、ボケ量が類似している領域を連結し、それぞれの連結領域についてボケ量に従う領域設定パターンを用いて領域分割を行うことができる。
ステップS1200において、推定部1200は、推定器記憶部5200から推定器を読み込み、入力画像の各位置における混合状態を推定する。具体的には、推定部1200は、各位置pにおいて設定された所定領域の画像の特徴量を抽出し、抽出された特徴量を推定器に入力することにより、この位置pにおける混合状態を推定することができる。ここで、各位置pについての所定領域は、ステップS1400で決定された領域設定パターンqwinに従って設定される。上述のように、本実施形態においては、複数の領域設定パターンのそれぞれに対応する推定器が生成されている。したがって、推定部1200は、ステップS1400で決定された領域設定パターンに従って複数の推定器から選択された推定器を用いることができる。例えば、位置pにおける推定器としてはyqwinが選択され、位置pにおける所定領域の混合状態の推定値は、yqwin(Xi)として得られる。図3(D)は、画像上の位置によって領域設定方法を変えた場合の例を示し、それぞれの矩形が推定器に入力される1つの領域を示す。
In step S1200, the
ステップS1300に係る処理は実施形態1と同様であるため、説明は省略する。本実施形態のように、撮影情報を利用して混合状態を推定する識別単位となる領域の設定方法を変ることにより、より誤差の少ない混合状態の推定を行うことができる。 Since the processing related to step S1300 is the same as that of the first embodiment, description thereof is omitted. As in the present embodiment, by changing the method of setting areas that serve as identification units for estimating a mixed state using photographing information, it is possible to estimate a mixed state with less error.
[実施形態4]
実施形態1~3では、識別単位となる所定領域における混合状態を推定した。実施形態4では、得られた混合状態の推定結果を用いて、領域を細分化することにより、詳細な領域分割結果を得る方法について説明する。学習装置及び画像処理装置の基本的な構成は実施形態1と同様であり、説明を省略する。
[Embodiment 4]
In
以下、学習時の処理について図2(A)のフローチャートに従って説明する。ステップS2100においてデータ取得部2100は、学習データ記憶部5100から、学習画像と混合状態の教師情報と学習データとして読み込む。
The processing during learning will be described below with reference to the flowchart of FIG. 2(A). In step S2100, the
ステップS2200で学習部2200は、実施形態3と同様の処理を行う。すなわち、識別単位としては様々な大きさの領域が用意される。例えば、複数の領域設定パターンのそれぞれに従って、1×1、3×3、9×9、及び15×15等、異なるサイズの矩形領域を複数パターン用意することができる。そして、学習部2200は、それぞれの領域サイズに対応する推定器の学習を、実施形態3と同様にそれぞれの領域サイズについて得られた混合状態の教師情報を用いて行うことができる。すなわち、領域サイズのインデックスをqとし、領域サイズの総数をQとすると、学習によってQ種類の推定器yq(q=1,……,Q)を得る事ができる。一例として、それぞれの推定器yqは、回帰関数fq(X)に従って混合状態の推定を行うことができる。学習により得られた推定器yqは、推定器記憶部5200に書きこまれる。
In step S2200, the learning unit 2200 performs processing similar to that of the third embodiment. That is, areas of various sizes are prepared as identification units. For example, it is possible to prepare a plurality of patterns of rectangular areas of different sizes, such as 1×1, 3×3, 9×9, and 15×15, according to each of the plurality of area setting patterns. Then, the learning unit 2200 can learn the estimator corresponding to each region size using the mixed state teacher information obtained for each region size, as in the third embodiment. That is, if the region size index is q and the total number of region sizes is Q, Q types of estimators yq (q=1, . . . , Q) can be obtained by learning. As an example, each estimator yq can make an estimation of the mixture state according to the regression function fq(X). The estimator yq obtained by learning is written in the
次に、判定時の処理に関して、図2(F)のフローチャートに従って説明する。ステップS1100において、画像取得部1100は入力画像を取得する。ステップS1200において、推定部1200は、推定器を用いて入力画像中の所定領域における混合状態を推定する。ここで、推定部1200は、複数の領域設定パターンのうちの第1の領域設定パターンを用いて領域設定を行う。すなわち、推定部1200は、第1の領域設定パターンに従う大きさの第1の対象画像について混合状態を判定する。本実施形態において、識別単位としては、Q種類の領域サイズのうち最も大きいサイズが用いられる。前述の例では、識別単位として15×15pixelが選択され、また推定器としては15×15pixelに対応する推定器が用いられる。
Next, processing at the time of determination will be described according to the flowchart of FIG. 2(F). In step S1100, the
そして、推定部1200は、入力画像の第1の部分にある第1の対象画像について推定された混合状態を示す情報に従って、第1の部分の混合状態を再判定するか否かを判定する。例えば、推定部1200は、混合状態の推定を行った所定領域について混合状態の再判定を行うか否かを判定する。例えば、推定部1200は、クラス純度が閾値以上である領域については、このクラス推定結果を採用する。
Then, the
一方、推定部1200は、クラス純度が閾値よりも低い領域については、この領域について混合状態の再判定を行う。再判定を行うとの判定に応じて、推定部1200は、第1の部分にある、第2の領域設定パターンに従う大きさの第2の対象画像の混合状態を示す情報を出力する。ここで、第2の対象画像は第1の対象画像よりも小さい。すなわち、推定部1200は、クラス純度が閾値よりも低い領域について、より小さい識別単位に従って領域を再分割し、再分割された領域のそれぞれについて、再び推定器を用いて混合状態の推定を行う。推定部1200は、例えば、一段階小さい領域サイズを用いて再分割を行うことができる。上述のように、本実施形態においては、複数の領域設定パターンのそれぞれに対応する推定器が生成されている。したがって、推定部1200は、再分割に用いた領域設定パターンに従って複数の推定器から選択された推定器を用いることができる。
On the other hand, the
ここで、クラス純度とは、領域内における同一クラスラベルが割り振られている画素の割合を示す。例えば、実施形態1に示した面積比rの値が0.8以上又は0.2以下である場合に、クラス純度が高いと定義することができる。図7に示すマップを用いる場合、p1≧0.9かつp2≦0.8の場合にクラス純度が高いと定義することもできる。 Here, the class purity indicates the ratio of pixels to which the same class label is assigned in the area. For example, when the value of the area ratio r shown in the first embodiment is 0.8 or more or 0.2 or less, it can be defined that the class purity is high. Using the map shown in FIG. 7, one can also define high class purity when p1≧0.9 and p2≦0.8.
このように、クラス純度が低い領域については細分化及び混合状態の再推定を行うことにより、詳細な領域分割を行うことができる。領域が細分化できなくなるか、すべての領域のクラス純度が閾値以上になると、処理はステップS1300へと進むことができる。ステップS1300における処理は実施形態1と同様であるため、説明は省略する。このようにして得られた詳細な領域分割結果は、領域別のトーンマッピング又はホワイトバランス調整等の高画質化処理に利用することができる。 In this way, by subdividing and re-estimating the mixed state for regions with low class purity, detailed region division can be performed. If the region can no longer be subdivided, or if the class purity of all regions is greater than or equal to the threshold, processing may proceed to step S1300. Since the processing in step S1300 is the same as that of the first embodiment, the description is omitted. Detailed region division results obtained in this way can be used for image quality enhancement processing such as tone mapping or white balance adjustment for each region.
[実施形態5]
実施形態4では、識別単位を細分化していくことによって詳細な領域分割結果を算出したが、領域分割の方法はこの方法には限定されない。実施形態5では、各領域についての混合状態の推定結果を利用して、画素単位のクラス判定を行うことにより、詳細な領域分割結果を得る方法について説明する。
[Embodiment 5]
In the fourth embodiment, a detailed area division result is calculated by subdividing the identification unit, but the area division method is not limited to this method. In the fifth embodiment, a method of obtaining a detailed segmentation result by performing class determination on a pixel-by-pixel basis using the mixed state estimation result for each region will be described.
本実施形態に係る画像処理装置の基本構成を図1(F)に示す。画像取得部1100及び推定部1200の機能は実施形態1と同様であるため説明を省略する。判定部1500は、対象画像の各画素の属性を判定する。判定部1500は、評価値に基づいて各画素の属性を決定し、この評価値が示す評価は、各画素の属性に基づいて計算される混合状態を示す情報と、推定部1200により得られた混合状態を示す情報と、の類似度が大きいほど高くなる。本実施形態においては、判定部1500は、混合状態推定結果及び画像情報に基づいて、入力画像の各画素のクラスラベルを推定する。出力部1300は、入力画像の各画素について推定されたクラスラベルを示す情報を出力する。
FIG. 1F shows the basic configuration of the image processing apparatus according to this embodiment. The functions of the
本実施形態に係る判定処理の詳細を図2(G)に従って説明する。ステップS1100及びS1200における処理は、実施形態1と同様であるため説明を省略する。ステップS1500において判定部1500は、ステップS1200にて推定された各領域の混合状態を利用して、入力画像の各画素についてクラスを推定する。例えば、推定された各画素のクラスに従って求められる混合状態が、ステップS1200にて推定された混合状態に近くなるように、各画素のクラスの推定を行うことができる。各画素のクラスの推定には、さらに各画素の色情報を用いて、例えば同じクラスに属する画素の色が類似するように、又は異なるクラスに属する画素の色が類似しないように、行うことができる。
Details of the determination processing according to this embodiment will be described with reference to FIG. The processing in steps S1100 and S1200 is the same as that of the first embodiment, so the description is omitted. In step S1500, the
入力画像の各画素のクラスを推定する方法の一例として、CRF(Conditional Random Field、条件付き確率場)のような繰り返し処理を利用する場合について以下説明する。CRFは、複数のノードからなるグラフに対して、対となるノード間の類似度によるpairwise potentialと、各ノードの持つunary potentialを考慮して、各ノードの状態を安定した状態まで逐次推移させていく方法である。画像の画素判別にCRFを使う場合は、各ノードが画像の各画素に対応するCRFモデルを使うことができる。 As an example of a method of estimating the class of each pixel of an input image, a case of using iterative processing such as CRF (Conditional Random Field) will be described below. CRF considers the pairwise potential based on the similarity between pairs of nodes and the unary potential of each node for a graph consisting of multiple nodes, and sequentially transitions the state of each node to a stable state. It is a way to go. If a CRF is used for image pixel discrimination, a CRF model can be used in which each node corresponds to each pixel in the image.
入力画像I上の画素iのクラスラベルciの条件付き確率は、下式で表すことができる。
pairwise potentialは下式で表すことができる。
unary potentialは下記で表すことができる。
Li
c(t)は、CRFに従って画素単位のクラスラベルが遷移していったときの、時刻tにおける、画素iが含まれる所定領域のクラスcの混合状態である。Li
c(t)は、推定部1200が推定する混合状態と同種の情報であり、推定部1200が時刻tにおいて所定領域内の各画素について推定されているクラスを参照して算出できる。実施形態1で説明した混合状態の例に従って、以下に具体的な例を挙げる。例えば、遷移途中の時刻tにおいて、画素iが含まれる所定領域内におけるクラスラベルcが割り当てられている画素をカウントすることにより、クラスcの面積比r(t)を求めることができる。また、所定領域内におけるクラスラベルの配置に従ってエッジ画素を抽出してカウントすることにより、エッジ画素率e(t)を求めることができる。さらに、所定領域内におけるクラスラベルの配置を、図7に示されるマップのどれに最も近いかを判定することにより、クラスラベル配置パターンp(t)を求めることができる。実施形態1で説明したように、Li
c(t)は、これら時刻tにおける混合状態の組み合わせによって表すこともできる。
L i c (t) is the mixed state of class c in a predetermined region including pixel i at time t when the class label for each pixel transitions according to the CRF. L i c (t) is the same kind of information as the mixed state estimated by the
このように、推移中の時刻tにおける画素レベルでのクラスラベル配置に基づいて決定された時刻tにおける所定領域内の混合状態と、所定領域についての混合状態推定値と、の類似度を、unary potentialとして表現することができる。具体的には、時刻tにおける所定領域内の混合状態と、所定領域についての混合状態推定値と、の類似度が大きいほど評価が高くなるように、unary potentialを表現することができる。 In this way, the similarity between the mixture state in the predetermined region at time t determined based on the pixel-level class label arrangement at time t during the transition and the mixture state estimate value for the predetermined region is expressed as unary It can be expressed as potential. Specifically, the unary potential can be expressed such that the higher the similarity between the mixed state in the predetermined region at time t and the mixed state estimated value for the predetermined region, the higher the evaluation.
本実施形態における学習処理について、図2(A)に従って説明する。ステップS2100でデータ取得部2100は、学習画像と教師データとを取得する。ステップS2200で学習部2200は、実施形態1と同様に推定器の学習を行う。また、学習部2200は、入力画像の各画素のクラスを推定する際に用いるパラメータ(例えば上述のθψ及びθφ)の値を決定する。学習部2200は、複数の学習画像と、学習画像の各画素のクラスを示すクラスラベルのデータを用いて、この処理を行うことができる。クラスラベルのデータとしては、例えば、実施形態2に従って図9(C)のように作成されたものを用いることができる。本実施形態において学習部2200は、全学習画像に対するポテンシャルが最大となるようにθψ及びθφの値を算出することができる。すなわち、下式をそれぞれ最大化するθψとθφの値を、勾配法等によって求めることができる。
学習部2200は、得られたパラメータを、推定器とともに推定器記憶部5200に格納する。本実施形態ではθψ及びθφの値が推定器記憶部5200に記憶され、判定部1500によって上述のように用いられる。こうして得られた画素ごとのクラスラベルのデータは、実施形態4と同様にして、領域ごとに高画質化処理を行う場合等に利用することができる。
Learning section 2200 stores the obtained parameters in
混合状態の推定結果を利用して画素単位のクラス判定を行う方法は、上記の方法には限定されない。例えば、実施形態2と同様に、クラスが確定している領域を用いて求められた各クラスの混合ガウス分布と、上記の混合状態の類似度と、に基づいて、画素単位のクラス判定を行うこともできる。 The method of performing class determination on a pixel-by-pixel basis using the mixed state estimation result is not limited to the above method. For example, similar to the second embodiment, class determination is performed on a pixel-by-pixel basis based on the mixed Gaussian distribution of each class obtained using the region where the class is determined and the similarity of the mixed state. can also
本実施形態に係る処理は、混合状態として、面積比、エッジ画素率、及びクラスラベル配置パターンのいずれを用いても可能であるし、利用可能な混合状態がこれらに限られるわけでもない。また、複数の表現を組み合わせて表現された混合状態を用いることにより、判定精度を向上させることができる。例えば、面積比に加えてエッジ画素率を用いることにより、建物と空との境界のように輪郭が単純な場合と、枝と空との境界のように輪郭が複雑な場合と、を区別することが可能となる。 The processing according to the present embodiment can use any of the area ratio, the edge pixel ratio, and the class label arrangement pattern as the mixed state, and usable mixed states are not limited to these. Also, by using a mixed state expressed by combining a plurality of expressions, it is possible to improve the judgment accuracy. For example, by using the edge pixel ratio in addition to the area ratio, we distinguish between simple contours such as the boundary between a building and the sky and complex contours such as the boundary between a branch and the sky. becomes possible.
本実施形態において、混合状態を示す情報は推定部1200の処理により得られた。しかしながら、判定部1500は、異なる方法により得られた混合状態を示す情報を取得し、同様の方法で各画素の属性を判定することもできる。
In this embodiment, the information indicating the mixed state is obtained by the processing of the
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
1100:画像取得部、1200:推定部、1300:出力部、1400:領域設定部、1500:判定部、2100:データ取得部、2200:学習部、2300:詳細化部 1100: image acquisition unit, 1200: estimation unit, 1300: output unit, 1400: area setting unit, 1500: determination unit, 2100: data acquisition unit, 2200: learning unit, 2300: detailing unit
Claims (20)
前記入力画像から特徴を抽出する抽出手段と、
前記入力画像から抽出された前記特徴が入力された推定器から、前記入力画像において特定のクラスに属する領域の面積に対応する情報を出力する出力手段と、を備え、
前記推定器は、学習画像を使用して学習されたパラメータを有することを特徴とする、画像処理装置。 an acquisition means for acquiring an input image;
extracting means for extracting features from the input image;
output means for outputting information corresponding to the area of a region belonging to a specific class in the input image from the estimator to which the features extracted from the input image are input;
The image processing apparatus, wherein the estimator has parameters learned using learning images.
前記入力画像から特徴を抽出する工程と、
前記入力画像から抽出された前記特徴が入力された推定器から、前記入力画像において特定のクラスに属する領域の面積に対応する情報を出力する工程と、を含み、
前記推定器は、学習画像を使用して学習されたパラメータを有することを特徴とする、画像処理方法。 obtaining an input image;
extracting features from the input image;
outputting information corresponding to the area of a region belonging to a specific class in the input image from the estimator to which the features extracted from the input image are input;
A method of image processing, wherein the estimator has parameters learned using training images.
前記教師情報が、前記学習画像において前記特定のクラスに属する複数の領域の合計領域面積に対応する数値を表すことを特徴とする、請求項1から6のいずれか1項に記載の画像処理装置。 The estimator has parameters learned based on (a) features extracted from a training image and (b) teacher information representing a quantity corresponding to the area of a region belonging to a particular class in the training image. ,
7. The image processing apparatus according to any one of claims 1 to 6, wherein said teacher information represents a numerical value corresponding to a total area area of a plurality of areas belonging to said specific class in said learning image. .
前記学習画像から特徴を抽出する抽出手段と、
前記学習画像において特定のクラスに属する領域の面積に対応する情報を、教師情報として取得する第2の取得手段と、
前記特徴と前記教師情報との組み合わせを用いて、前記推定器の学習を行う学習手段と、
を備えることを特徴とする学習装置。 a first acquisition means for acquiring training images for training the estimator;
extracting means for extracting features from the training image;
a second acquiring means for acquiring, as teacher information, information corresponding to the area of a region belonging to a specific class in the learning image;
learning means for learning the estimator using a combination of the features and the teacher information;
A learning device comprising:
前記学習画像から特徴を抽出する工程と、
前記学習画像において特定のクラスに属する領域の面積に対応する情報を、教師情報として取得する工程と、
前記特徴と前記教師情報との組み合わせを用いて、前記推定器の学習を行う工程と、を含むことを特徴とする学習方法。 obtaining training images for training the estimator;
extracting features from the training images;
a step of acquiring, as teacher information, information corresponding to the area of a region belonging to a specific class in the learning image;
and a step of learning the estimator using a combination of the features and the teacher information.
前記分割画像から特徴を抽出する抽出手段と、
前記分割画像から抽出された前記特徴が入力された推定器から、前記分割画像において特定のクラスに属する面積比率に対応する情報を出力する出力手段と、を備え、
前記推定器は、学習画像を使用して学習されたパラメータを有することを特徴とする、画像処理装置。 an acquisition means for acquiring divided images obtained by dividing an input image;
extraction means for extracting features from the divided images;
output means for outputting information corresponding to the area ratio belonging to a specific class in the divided image from the estimator to which the feature extracted from the divided image is input;
The image processing apparatus, wherein the estimator has parameters learned using learning images.
前記分割画像から特徴を抽出する抽出工程と、
前記分割画像から抽出された前記特徴が入力された推定器から、前記分割画像において特定のクラスに属する面積比率に対応する情報を出力する出力工程と、を備え、
前記推定器は、学習画像を使用して学習されたパラメータを有することを特徴とする、画像処理方法。 an obtaining step of obtaining divided images obtained by dividing an input image;
an extraction step of extracting features from the divided images;
an output step of outputting information corresponding to the area ratio belonging to a specific class in the divided image from the estimator to which the feature extracted from the divided image is input;
A method of image processing, wherein the estimator has parameters learned using training images.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022022303A JP7300027B2 (en) | 2017-07-05 | 2022-02-16 | Image processing device, image processing method, learning device, learning method, and program |
JP2023099538A JP7350208B2 (en) | 2017-07-05 | 2023-06-16 | Image processing device, image processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017132259A JP7026456B2 (en) | 2017-07-05 | 2017-07-05 | Image processing device, learning device, focus control device, exposure control device, image processing method, learning method, and program |
JP2022022303A JP7300027B2 (en) | 2017-07-05 | 2022-02-16 | Image processing device, image processing method, learning device, learning method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017132259A Division JP7026456B2 (en) | 2017-07-05 | 2017-07-05 | Image processing device, learning device, focus control device, exposure control device, image processing method, learning method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023099538A Division JP7350208B2 (en) | 2017-07-05 | 2023-06-16 | Image processing device, image processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022068282A JP2022068282A (en) | 2022-05-09 |
JP2022068282A5 JP2022068282A5 (en) | 2023-02-13 |
JP7300027B2 true JP7300027B2 (en) | 2023-06-28 |
Family
ID=86900720
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022022303A Active JP7300027B2 (en) | 2017-07-05 | 2022-02-16 | Image processing device, image processing method, learning device, learning method, and program |
JP2023099538A Active JP7350208B2 (en) | 2017-07-05 | 2023-06-16 | Image processing device, image processing method, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023099538A Active JP7350208B2 (en) | 2017-07-05 | 2023-06-16 | Image processing device, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7300027B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116193682B (en) * | 2023-04-19 | 2023-07-04 | 江西惜能照明有限公司 | Classroom lighting lamp control method and device |
CN117349027B (en) * | 2023-12-04 | 2024-02-23 | 环球数科集团有限公司 | Multi-mode large model construction system and method for reducing calculation force demand |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013257843A (en) | 2012-06-14 | 2013-12-26 | Canon Inc | Image processing apparatus, image processing method, program, and storage medium |
KR20150018759A (en) | 2014-12-29 | 2015-02-24 | 재단법인 아산사회복지재단 | Automatic calorie caculation method using food image and feeding behavior managing system using thereof |
JP2015207212A (en) | 2014-04-22 | 2015-11-19 | サクサ株式会社 | Vehicle detection device and system, and program |
JP2015215372A (en) | 2014-05-07 | 2015-12-03 | キヤノン株式会社 | Focus adjustment unit, control method therefor, control program therefor, and storage medium |
JP2017117019A (en) | 2015-12-21 | 2017-06-29 | キヤノン株式会社 | Image processing device, image processing method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8526699B2 (en) * | 2010-03-12 | 2013-09-03 | Siemens Aktiengesellschaft | Method and system for automatic detection and classification of coronary stenoses in cardiac CT volumes |
-
2022
- 2022-02-16 JP JP2022022303A patent/JP7300027B2/en active Active
-
2023
- 2023-06-16 JP JP2023099538A patent/JP7350208B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013257843A (en) | 2012-06-14 | 2013-12-26 | Canon Inc | Image processing apparatus, image processing method, program, and storage medium |
JP2015207212A (en) | 2014-04-22 | 2015-11-19 | サクサ株式会社 | Vehicle detection device and system, and program |
JP2015215372A (en) | 2014-05-07 | 2015-12-03 | キヤノン株式会社 | Focus adjustment unit, control method therefor, control program therefor, and storage medium |
KR20150018759A (en) | 2014-12-29 | 2015-02-24 | 재단법인 아산사회복지재단 | Automatic calorie caculation method using food image and feeding behavior managing system using thereof |
JP2017117019A (en) | 2015-12-21 | 2017-06-29 | キヤノン株式会社 | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7350208B2 (en) | 2023-09-25 |
JP2022068282A (en) | 2022-05-09 |
JP2023115104A (en) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7026456B2 (en) | Image processing device, learning device, focus control device, exposure control device, image processing method, learning method, and program | |
US11847826B2 (en) | System and method for providing dominant scene classification by semantic segmentation | |
CN108182441B (en) | Parallel multichannel convolutional neural network, construction method and image feature extraction method | |
CN107133616B (en) | Segmentation-free character positioning and identifying method based on deep learning | |
CN108520226B (en) | Pedestrian re-identification method based on body decomposition and significance detection | |
JP6664163B2 (en) | Image identification method, image identification device, and program | |
Remez et al. | Deep class-aware image denoising | |
CN108717524B (en) | Gesture recognition system based on double-camera mobile phone and artificial intelligence system | |
JP7350208B2 (en) | Image processing device, image processing method, and program | |
CN107273905B (en) | Target active contour tracking method combined with motion information | |
KR101198322B1 (en) | Method and system for recognizing facial expressions | |
JP7142420B2 (en) | Image processing device, learning method, trained model, image processing method | |
JP6497579B2 (en) | Image composition system, image composition method, image composition program | |
JP2017157138A (en) | Image recognition device, image recognition method and program | |
CN111783779B (en) | Image processing method, apparatus and computer readable storage medium | |
JP2014041476A (en) | Image processing apparatus, image processing method, and program | |
CN112329662B (en) | Multi-view saliency estimation method based on unsupervised learning | |
CN106157330A (en) | A kind of visual tracking method based on target associating display model | |
Schulz et al. | Object-class segmentation using deep convolutional neural networks | |
Carvajal-Gámez et al. | Photo-id of blue whale by means of the dorsal fin using clustering algorithms and color local complexity estimation for mobile devices | |
Hassan et al. | Salient object detection based on CNN fusion of two types of saliency models | |
CN114724190A (en) | Mood recognition method based on pet posture | |
Poma et al. | Improving edge detection in RGB images by adding NIR channel | |
Riaz et al. | Visibility restoration using generalized haze-lines | |
JP2017207960A (en) | Image analysis device, image analysis method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220930 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7300027 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |