JP5263010B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP5263010B2 JP5263010B2 JP2009133434A JP2009133434A JP5263010B2 JP 5263010 B2 JP5263010 B2 JP 5263010B2 JP 2009133434 A JP2009133434 A JP 2009133434A JP 2009133434 A JP2009133434 A JP 2009133434A JP 5263010 B2 JP5263010 B2 JP 5263010B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency band
- band
- extracted
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
この発明は、画像処理装置、及びプログラムに関する。 The present invention relates to an image processing apparatus and a program.
特許文献1には、テレビカメラなどの撮像装置から入力された2次元の画像を処理して画像中に存在する物体の品種・個数・分類・正常/異常の判別などを行なう画像処理装置において、入力画像に一種類または複数種類の空間的バンドパスフィルタを作用させるフィルタリング手段と、上記空間的バンドパスフィルタの出力を2つの閾値で処理し3値画像を得る3値化処理手段と、3値画像と局所パターンとの類似度を検出する局所特徴検出手段,局所パターンとの類似度が一定値以上であったときに出力を発生する閾値手段,画像中において閾値手段の出力が何点で発生したかを計数する複数の局所特徴計数手段を有する特徴ベクトル抽出手段と、その特徴ベクトル抽出手段の出力とあらかじめ記憶されている1つまたは複数の標準ベクトルとの類似度を求め、最終的な判別結果を出力する特徴ベクトル判別手段とを備えた画像処理装置が記載されている。 Patent Document 1 describes an image processing apparatus that processes a two-dimensional image input from an imaging device such as a television camera and determines the type / number / classification / normal / abnormality of an object present in the image. Filtering means for applying one or more kinds of spatial bandpass filters to the input image, ternary processing means for processing the output of the spatial bandpass filter with two threshold values to obtain a ternary image, and ternary values Local feature detection means for detecting the similarity between an image and a local pattern, threshold means for generating an output when the similarity between a local pattern and a local pattern exceeds a certain value, and the output of the threshold means in the image at several points A feature vector extracting means having a plurality of local feature counting means for counting whether or not, an output of the feature vector extracting means and one or more standard vectors stored in advance Obtains the similarity between the Le, the image processing apparatus having a feature vector determination unit for outputting a final determination results is described.
特許文献2には、画像データを区画化する方法であって、周波数情報に基づいて画像特徴空間を画定し、その画像特徴空間の画像データをモルフォロジカルツールを用いてフィルタ処理し、そのフィルタ処理された画像特徴空間の領域を初期被写体として割り当て、そのフィルタ処理された画像特徴空間の初期被写体の境界を識別し、画像データサイズに対して初期被写体のサイズを確定する方法が記載されている。 Patent Document 2 discloses a method for partitioning image data, in which an image feature space is defined based on frequency information, the image data in the image feature space is filtered using a morphological tool, and the filtering process is performed. A method is described in which a region of the image feature space is assigned as an initial subject, the boundary of the initial subject of the filtered image feature space is identified, and the size of the initial subject is determined with respect to the image data size.
特許文献3には、画像中から被写体が存在する領域を抽出する画像処理装置であって,画像を入力する画像入力部と,入力画像を複数の異なる解像度を持つ解像度変換画像に変換する解像度変換部と,解像度変換画像の各々について所定の特徴量を算出する特徴抽出部と,所定の特徴量に基づいて,解像度変換画像の各々が持つ注目度を算出する注目度算出部と,解像度変換画像の各々が持つ注目度を合成し,注目度マップを生成する注目度合成部と,注目度マップに基づいて被写体領域を決定する領域決定部を備える画像処理装置が記載されている。 Patent Document 3 discloses an image processing apparatus that extracts an area where a subject is present from an image, an image input unit that inputs an image, and resolution conversion that converts the input image into resolution-converted images having a plurality of different resolutions. A feature extraction unit that calculates a predetermined feature amount for each of the resolution conversion images, an attention degree calculation unit that calculates an attention level of each of the resolution conversion images based on the predetermined feature amount, and a resolution conversion image The image processing apparatus includes an attention level synthesis unit that synthesizes the attention level of each and generates an attention level map, and an area determination unit that determines a subject area based on the attention level map.
本発明は、画像全体に焦点が合っている画像であっても当該画像に含まれる主要な被写体を特定できる画像処理装置、及びプログラムを提供することを目的とする。 An object of the present invention is to provide an image processing apparatus and a program that can identify a main subject included in an image even if the image is in focus.
請求項1に記載の発明は、処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも1つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する生成手段と、前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、を備えている。 According to the first aspect of the present invention, a predetermined frequency band in which a contour of a focused subject is extracted from image information indicating an image to be processed and at least one frequency band lower than the predetermined frequency band are extracted. Generating means for generating a band image obtained by extracting an image of each frequency band; extracting means for extracting a characteristic part for each band image generated by the generating means; and Based on the band images of each frequency band excluding the band image of the predetermined frequency band when the proportion of the feature portion in the extracted band image of the predetermined frequency band is greater than or equal to the predetermined ratio Specifying means for specifying the subject area of the image indicated by the image information.
また、請求項2に記載の発明は、請求項1記載の発明において、前記特定手段が、各周波数帯域の帯域画像において特徴部分が重複する領域を前記画像情報により示される画像の被写体領域と特定する。 According to a second aspect of the present invention, in the first aspect of the invention, the specifying unit specifies a region where characteristic portions overlap in a band image of each frequency band as a subject region of an image indicated by the image information. To do.
また、請求項3に記載の発明は、請求項1又は請求項2記載の発明において、前記予め定めた周波数帯域を、前記画像情報により示される画像の128/長辺長さ〜64/長辺長さの何れか以上の周波数帯域としている。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the predetermined frequency band is 128 / long side length to 64 / long side of the image indicated by the image information. The frequency band is longer than either length.
一方、請求項4に記載の発明は、コンピュータを、処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも1つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する生成手段と、前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、として機能させるためのプログラムである。 On the other hand, in the invention according to claim 4, the computer is caused to extract a contour of a focused subject from image information indicating an image to be processed, and at least a predetermined frequency band lower than the predetermined frequency band. Generating means for generating a band image obtained by extracting an image of each frequency band for each frequency band; extracting means for extracting a characteristic portion that is characteristic for each band image generated by the generating means; and the extraction Each frequency band excluding the band image of the predetermined frequency band when the ratio of the characteristic part in the band image of the predetermined frequency band from which the characteristic part has been extracted by the means is equal to or greater than a predetermined ratio And a specifying unit that specifies a subject area of an image indicated by the image information based on the band image.
請求項1、及び請求項4に記載の発明によれば、画像全体に焦点が合っている画像であっても当該画像に含まれる主要な被写体が特定される、という優れた効果を有する。 According to the first and fourth aspects of the invention, there is an excellent effect that the main subject included in the image is specified even if the image is in focus.
また、請求項2に記載の発明によれば、各帯域画像で個別に被写体を判別した場合に比べて、精度よく被写体を判別できる、という優れた効果を有する。 Further, according to the second aspect of the present invention, there is an excellent effect that the subject can be discriminated more accurately than in the case where the subject is discriminated separately from each band image.
また、請求項3に記載の発明によれば、他の周波数帯域の帯域画像に比べて、精度よく被写体の輪郭が抽出される、という優れた効果を有する。 In addition, according to the third aspect of the present invention, there is an excellent effect that the contour of the subject is extracted with higher accuracy than the band images of other frequency bands.
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下では、画像処理装置としてパーソナル・コンピュータ(以下「PC」という。)に本発明を適用した場合について説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Hereinafter, a case where the present invention is applied to a personal computer (hereinafter referred to as “PC”) as an image processing apparatus will be described.
図1には、本実施の形態に係るPC12の概略構成が示されている。 FIG. 1 shows a schematic configuration of the PC 12 according to the present embodiment.
PC12は、操作メニュー及びメッセージ等を表示するディスプレイ50と、ユーザからの各種の操作指示が入力されるキーボード及びポインティングデバイス等の操作入力部52と、を備えている。 The PC 12 includes a display 50 that displays an operation menu, a message, and the like, and an operation input unit 52 such as a keyboard and a pointing device for inputting various operation instructions from the user.
また、PC12は、装置全体の動作を司るCPU(中央処理装置)54と、制御プログラムを含む各種プログラム等が予め記憶された記録媒体としてROM(Read Only Memory)56と、各種情報を一時的に記憶するRAM58(Random Access Memory)と、インストールされた各種のアプリケーションソフトや各種情報を記憶して保持するHDD60と、ディスプレイ50への各種情報の表示を制御するディスプレイ・ドライバ62と、操作入力部52に対する操作状態を検出する操作入力検出部64と、USBメモリやSD(Secure Digital)カード等の可搬型記憶メディア65に対して情報の書き込み及び読み出しを行うメディアI/F部66と、ネットワーク18と通信を行うための通信I/F部68と、を備えている。 The PC 12 temporarily stores a CPU (Central Processing Unit) 54 that controls the operation of the entire apparatus, a ROM (Read Only Memory) 56 as a recording medium in which various programs including a control program are stored in advance, and various types of information. A RAM 58 (Random Access Memory) to be stored, an HDD 60 that stores and holds various installed application software and various information, a display driver 62 that controls display of various information on the display 50, and an operation input unit 52 An operation input detection unit 64 that detects an operation state of the device, a media I / F unit 66 that writes and reads information to and from a portable storage medium 65 such as a USB memory or an SD (Secure Digital) card, and the network 18. And a communication I / F unit 68 for performing communication.
CPU54、ROM56、RAM58、HDD60、ディスプレイ・ドライバ62、操作入力検出部64、メディアI/F部66、及び通信I/F部68は、システムバスBUSを介して相互に接続されている。従って、CPU54は、ROM56、RAM58、及びHDD60へのアクセスを行うと共に、ディスプレイ・ドライバ62を介したディスプレイ50への各種情報の表示の制御、メディアI/F部66を介した可搬型記憶メディア65に対する情報の書き込み及び読み出しの制御、及び通信I/F部68を介したネットワーク18との情報の送受信の制御を行う。また、CPU54は、操作入力検出部64を介して操作入力部52に対するユーザの操作状態を把握する。 The CPU 54, ROM 56, RAM 58, HDD 60, display driver 62, operation input detection unit 64, media I / F unit 66, and communication I / F unit 68 are connected to each other via a system bus BUS. Accordingly, the CPU 54 accesses the ROM 56, RAM 58, and HDD 60, controls the display of various information on the display 50 via the display driver 62, and the portable storage medium 65 via the media I / F unit 66. Control of writing and reading information to and from the network 18 via the communication I / F unit 68 is performed. Further, the CPU 54 grasps the operation state of the user with respect to the operation input unit 52 via the operation input detection unit 64.
ところで、本実施の形態に係るPC12は、画像情報に対して画像を補正する予め定められた画像処理を行うものとされている。PC12は、メディアI/F部66に装着された可搬型記憶メディア65から画像情報を読み出したり、通信I/F部68を介して画像情報を受信することにより、画像情報を取得する。 Incidentally, the PC 12 according to the present embodiment performs predetermined image processing for correcting an image with respect to image information. The PC 12 acquires the image information by reading the image information from the portable storage medium 65 attached to the media I / F unit 66 or receiving the image information via the communication I / F unit 68.
ここで、画像中の主要な被写体(例えば人間の顔の領域等)が適性な濃度及びカラーバランスで仕上がっていれば良好であると判断されることが多い。 Here, it is often judged that the main subject (for example, a human face region) in the image is satisfactory if it is finished with an appropriate density and color balance.
このため、本実施の形態に係るPC12では、被写体特定処理を行って画像情報により示される画像から主要な被写体を特定しており、特定した主要な被写体が適性な濃度及びカラーバランスで仕上がるように画像を補正している。 For this reason, in the PC 12 according to the present embodiment, the subject identification processing is performed to identify the main subject from the image indicated by the image information, and the identified main subject is finished with an appropriate density and color balance. The image is corrected.
図2には、本実施の形態に係る被写体特定処理を機能的に示したブロック図が示されている。このブロック図は、被写体特定処理を機能的に分けたものであり、ハード構成を限定するものではない。 FIG. 2 is a block diagram functionally showing the subject specifying process according to the present embodiment. This block diagram divides the subject specifying process functionally, and does not limit the hardware configuration.
本実施の形態に係る被写体特定処理は、処理対象とする画像を示す画像情報から予め定めた複数の周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する帯域画像生成部70と、帯域画像生成部70により生成された各帯域画像に対して特徴となる特徴部分を抽出する特徴抽出部72と、処理対象とする画像が画像全体に焦点が合っている画像(所謂、パンフォーカス画像)であるか否かを判定するパンフォーカス判定部74と、画像情報により示される画像の被写体領域を特定する被写体領域特定部76とを備えている。 The subject specifying process according to the present embodiment includes a band image generation unit 70 that generates a band image obtained by extracting an image of each frequency band for each of a plurality of predetermined frequency bands from image information indicating an image to be processed; A feature extraction unit 72 that extracts a feature portion that is a feature of each band image generated by the band image generation unit 70, and an image in which an image to be processed is focused on the entire image (a so-called pan focus image) ) And a subject region specifying unit 76 for specifying the subject region of the image indicated by the image information.
本実施の形態に係る帯域画像生成部70は、複数の周波数帯域として、画像に含まれる被写体の輪郭が抽出される高周波数帯域、画像の主な画像構成が抽出される中周波数帯域、及び画像全体のなかの注目領域が抽出される低周波数帯域の3つの周波数帯域の帯域画像を抽出するものとされており、ハイパスフィルタ80、ローパスフィルタ82A、82B、平均値フィルタ84、及び減算処理部86A、86Bを備えている。 The band image generation unit 70 according to the present embodiment includes, as a plurality of frequency bands, a high frequency band in which the contour of a subject included in the image is extracted, a medium frequency band in which the main image configuration of the image is extracted, and an image A band image of three frequency bands of a low frequency band from which a region of interest is extracted is extracted, and a high pass filter 80, low pass filters 82A and 82B, an average value filter 84, and a subtraction processing unit 86A. , 86B.
処理対象とする画像を示す画像情報は、ハイパスフィルタ80、ローパスフィルタ82A、82B、及び平均値フィルタ84に入力される。 Image information indicating an image to be processed is input to the high-pass filter 80, the low-pass filters 82A and 82B, and the average value filter 84.
ハイパスフィルタ80は、処理対象とする画像から当該画像の128/長辺長さ〜64/長辺長さの何れか以上の周波数帯域の画像を抽出して高周波数帯域の帯域画像を生成する。 The high-pass filter 80 extracts an image having a frequency band greater than or equal to 128 / long side length to 64 / long side length of the image to be processed to generate a high frequency band image.
ローパスフィルタ82Aは、処理対象とする画像から当該画像の64/長辺長さ〜16/長辺長さの何れか以下の周波数帯域の画像を抽出する。ローパスフィルタ82Bは、処理対象とする画像から当該画像の16/長辺長さ〜4/長辺長さの何れか以下の周波数帯域の画像を抽出する。平均値フィルタ84は、処理対象とする画像の画素値の平均値を求め、当該平均値を各画素値とした平均値画像を生成する。 The low-pass filter 82A extracts an image having a frequency band equal to or less than 64 / long side length to 16 / long side length of the image to be processed. The low-pass filter 82B extracts an image in a frequency band equal to or less than any of 16 / long side length to 4 / long side length of the image to be processed. The average value filter 84 obtains an average value of pixel values of an image to be processed, and generates an average value image using the average value as each pixel value.
減算処理部86Aは、画像内で位置が対応する画素毎に、ローパスフィルタ82Aで抽出された画像の各画素値からローパスフィルタ82Bで抽出された画像の各画素値を減算して中周波数帯域の帯域画像を生成する。 The subtraction processing unit 86A subtracts each pixel value of the image extracted by the low-pass filter 82B from each pixel value of the image extracted by the low-pass filter 82A for each pixel corresponding to a position in the image, and A band image is generated.
減算処理部86Bは、画像内で位置が対応する画素毎に、ローパスフィルタ82Bで抽出された画像の各画素値から平均値フィルタ84で生成された画像の各画素値を減算して低周波数帯域の帯域画像を生成する。 The subtraction processing unit 86B subtracts each pixel value of the image generated by the average value filter 84 from each pixel value of the image extracted by the low-pass filter 82B for each pixel corresponding to a position in the image, and outputs the low frequency band. A band image is generated.
本実施の形態に係る特徴抽出部72は、帯域画像生成部70により生成された各帯域の帯域画像に対して特徴となる特徴部分を抽出するものとされており、非線形変換処理部90、膨張処理部92を備えている。 The feature extraction unit 72 according to the present embodiment is configured to extract a feature portion that is a feature of the band image of each band generated by the band image generation unit 70. A processing unit 92 is provided.
非線形変換処理部90は、各帯域画像毎に、画像の各画素値の平均値を求め、当該平均値と各画素の画素値との差を新たな画素値とした画像を生成する。そして、非線形変換処理部90は、新たな画素値が大きいほど画素値の増加率が大きくなるように各画像の画素値を非線形変換する。この非線形変換には、例えば、指数関数などを用いて画素値が大きいほど画素値の値を大きくなるように変換してもよく、また、複数の閾値を用いて段階的に画素値が大きいほど増加率が大きくなるように変換してもよい。 For each band image, the nonlinear conversion processing unit 90 obtains an average value of each pixel value of the image, and generates an image having a difference between the average value and the pixel value of each pixel as a new pixel value. Then, the non-linear conversion processing unit 90 performs non-linear conversion on the pixel value of each image so that the increase rate of the pixel value increases as the new pixel value increases. In this non-linear conversion, for example, an exponential function or the like may be used so that the pixel value increases as the pixel value increases, and as the pixel value increases step by step using a plurality of threshold values. You may convert so that an increase rate may become large.
膨張処理部92は、非線形変換処理部90で処理された各帯域の画像に対して膨張処理を行うことで画像内での情報量の大きい特徴部分を抽出する。 The expansion processing unit 92 performs an expansion process on the image of each band processed by the nonlinear conversion processing unit 90 to extract a feature portion having a large amount of information in the image.
図3〜図6には、パンフォーカスの画像100に対して帯域画像生成部70及び特徴抽出部72による処理を行った結果の一例が示されている。なお、図4、5は、図3の画像100、高周波数帯域の帯域画像102A、中周波数帯域の帯域画像102B、低周波数帯域の帯域画像102Cを拡大したものである。 FIGS. 3 to 6 show examples of results obtained by performing processing by the band image generation unit 70 and the feature extraction unit 72 on the pan-focus image 100. 4 and 5 are enlarged views of the image 100, the high-frequency band image 102A, the middle-frequency band image 102B, and the low-frequency band image 102C in FIG.
図3に示すように、画像100は、帯域画像生成部70による処理により高周波数帯域の帯域画像102A、中周波数帯域の帯域画像102B、及び低周波数帯域の帯域画像102Cに変換される。 As illustrated in FIG. 3, the image 100 is converted into a high-frequency band image 102 </ b> A, a medium-frequency band image 102 </ b> B, and a low-frequency band image 102 </ b> C by processing by the band image generation unit 70.
図4、図5に示すように、帯域画像102Aには、画像100内での合焦した被写体の輪郭が抽出されており、帯域画像102Bには、画像100の主な画像構成が抽出されており、帯域画像102Cには、画像100の人間の視覚特性として注目しやすい明暗差の大きな領域が注目領域として抽出される。 As shown in FIGS. 4 and 5, the outline of the focused subject in the image 100 is extracted from the band image 102A, and the main image configuration of the image 100 is extracted from the band image 102B. In the band image 102 </ b> C, a region with a large contrast that is easily noticed as human visual characteristics of the image 100 is extracted as a region of interest.
帯域画像102A〜102Cは、その後、図6に示すように、非線形変換処理部90による処理により特徴部分が抽出された画像104A〜104Cに変換され、画像104A〜104Cは、膨張処理部92による処理により特徴部分の像が膨張した画像106A〜106Cに変換される。 As shown in FIG. 6, the band images 102A to 102C are then converted into images 104A to 104C from which feature portions have been extracted by the processing by the nonlinear conversion processing unit 90, and the images 104A to 104C are processed by the expansion processing unit 92. Thus, the images of the characteristic portions are converted into the expanded images 106A to 106C.
ここで、画像100がパンフォーカス画像である場合、画像全体に焦点が合っているため、帯域画像102Aの画像全体で輪郭が抽出される。このため、画像106Aでは、特徴部分の占める割合が多くなる。 Here, when the image 100 is a pan-focus image, since the entire image is in focus, the contour is extracted from the entire band image 102A. For this reason, in the image 106A, the proportion of the characteristic portion increases.
そこで、パンフォーカス判定部74は、画像106Aを予め定めた閾値で二値化し、二値化した画像において特徴部分と同一の値(画像107において白)となる部分の占める割合が予め定めた割合(例えば、60%)以上である場合、画像100がパンフォーカス画像であると判定する。この予め定めた割合は、パンフォーカス画像を精度良く判別される値として、実機を用いた実験や、コンピュータ・シミュレーション等によって予め得られた値が適用される。 Therefore, the pan focus determination unit 74 binarizes the image 106A with a predetermined threshold value, and the ratio of the portion that has the same value as the feature portion (white in the image 107) in the binarized image is a predetermined ratio. If it is (for example, 60%) or more, it is determined that the image 100 is a pan-focus image. As this predetermined ratio, a value obtained in advance by an experiment using a real machine, a computer simulation, or the like is applied as a value for accurately discriminating a pan focus image.
被写体領域特定部76は、パンフォーカス判定部74による判定の結果、画像100がパンフォーカス画像ではないと判定された場合、画像106A〜106Cにおいて特徴部分が重複する領域を画像の被写体領域と特定し、画像100がパンフォーカス画像であると判定された場合、画像106Aを除いて、画像106B、106Cにおいて特徴部分が重複する領域を画像の被写体領域と特定する。 As a result of the determination by the pan focus determination unit 74, the subject region specifying unit 76 specifies a region where the characteristic portions overlap in the images 106A to 106C as the subject region of the image when it is determined that the image 100 is not a pan focus image. When it is determined that the image 100 is a pan-focus image, an area where the characteristic portions overlap in the images 106B and 106C is specified as the subject area of the image except for the image 106A.
図6では、画像106Aで特徴部分の占める割合が上記予め定めた割合以上であるでの、画像106B、106Cにおいて特徴部分が重複する領域(図6の画像108の白い領域)が画像100の被写体領域と特定される。 In FIG. 6, the area occupied by the characteristic portion in the images 106 </ b> B and 106 </ b> C (the white area of the image 108 in FIG. 6) is the subject of the image 100, where the ratio of the characteristic portion in the image 106 </ b> A is equal to or greater than the predetermined ratio. Identified as an area.
図7には、本実施の形態に係る被写体特定処理により画像100の被写体領域を特定した結果が示されている。 FIG. 7 shows the result of specifying the subject area of the image 100 by the subject specifying process according to the present embodiment.
一方、図8〜図11には、パンフォーカスではない画像120に対して同様の処理を行った結果の一例が示されている。なお、図9、10は、図8の画像100、高周波数帯域の帯域画像102A、中周波数帯域の帯域画像102B、低周波数帯域の帯域画像102Cを拡大したものである。 On the other hand, FIGS. 8 to 11 show an example of the result of performing the same processing on the image 120 that is not pan-focused. 9 and 10 are enlarged views of the image 100 of FIG. 8, the high-frequency band image 102A, the medium-frequency band image 102B, and the low-frequency band image 102C.
画像120がパンフォーカス画像ではない場合、画像の一部(画像120では馬部分)に焦点が合っているため、帯域画像122Aの一部で輪郭が抽出される。このため、図11に示すように、画像126Aでは、特徴部分の占める割合が小さくなり、画像120がパンフォーカス画像ではないと判定される。 When the image 120 is not a pan-focus image, since a part of the image (the horse part in the image 120) is in focus, a contour is extracted from a part of the band image 122A. For this reason, as shown in FIG. 11, in the image 126A, the proportion of the characteristic portion is reduced, and it is determined that the image 120 is not a pan-focus image.
図11では、画像126Aで特徴部分の占める割合が上記予め定めた割合未満であるでの、画像126A〜126Cにおいて特徴部分が重複する領域(図11の画像128の白い領域)が画像120の被写体領域と特定される。 In FIG. 11, the area where the characteristic portion overlaps in the images 126 </ b> A to 126 </ b> C (the white area of the image 128 in FIG. 11) is the subject of the image 120, where the proportion of the characteristic portion in the image 126 </ b> A is less than the predetermined ratio. Identified as an area.
図12には、本実施の形態に係る被写体特定処理により画像120の被写体領域を特定した結果が示されている。 FIG. 12 shows the result of specifying the subject area of the image 120 by the subject specifying process according to the present embodiment.
本実施の形態に係るPC12では、上記被写体特定処理の各構成要素(帯域画像生成部70、特徴抽出部72、パンフォーカス判定部74、及び被写体領域特定部76)による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現している。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。 In the PC 12 according to the present embodiment, the processing by each component of the subject specifying process (the band image generating unit 70, the feature extracting unit 72, the pan focus determining unit 74, and the subject region specifying unit 76) executes a program. Therefore, it is realized by a software configuration using a computer. However, the implementation is not limited to the software configuration, and may be realized by a hardware configuration or a combination of the hardware configuration and the software configuration.
以下では、本実施の形態に係るPC12が、被写体特定処理プログラムを実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。 In the following, a case will be described in which the PC 12 according to the present embodiment realizes processing by each of the above-described components by executing a subject specifying processing program.
図13には、CPU54により実行される被写体特定処理プログラムの処理の流れを示すフローチャートが示されている。なお、当該プログラムは記録媒体としてのHDD60に予め記憶されている。 FIG. 13 shows a flowchart showing the flow of the subject specifying processing program executed by the CPU 54. The program is stored in advance in the HDD 60 as a recording medium.
同図のステップ150では、処理対象とする画像を示す画像情報から当該画像の128/長辺長さ〜64/長辺長さの何れか以上の高周波数帯域、当該画像の64/長辺長さ〜16/長辺長さの何れか以下の中周波数帯域、及び当該画像の16/長辺長さ〜4/長辺長さの何れか以下の低周波数帯域の画像をそれぞれ抽出し、高周波数帯域、中周波数帯域、及び低周波数帯域の帯域画像をそれぞれ生成する。 In step 150 of the figure, from the image information indicating the image to be processed, a high frequency band greater than or equal to 128 / long side length to 64 / long side length of the image, 64 / long side length of the image. A medium frequency band less than or equal to 16 / long side length and an image in a low frequency band less than or equal to 16 / long side length to 4 / long side length of the image are respectively extracted. Band images of a frequency band, a medium frequency band, and a low frequency band are generated.
次のステップ152では、上記ステップ150で生成された各帯域画像毎に、画像の各画素値の平均値を求め、当該平均値と各画素の画素値との差を新たな画素値とした画像を生成する。 In the next step 152, an average value of each pixel value of the image is obtained for each band image generated in the above step 150, and the difference between the average value and the pixel value of each pixel is used as a new pixel value. Is generated.
次のステップ154では、上記ステップ152で生成された各画素の画素値が大きいほど画素値が大きくなるように各画像の画素値を非線形変換する。 In the next step 154, the pixel value of each image is nonlinearly converted so that the pixel value becomes larger as the pixel value of each pixel generated in step 152 becomes larger.
次のステップ156では、上記ステップ154で変換された画像に対して膨張処理を行う。 In the next step 156, expansion processing is performed on the image converted in step 154.
次のステップ158では、上記ステップ156で膨張処理を行った高周波数帯域の画像で特徴部分の占める割合が上記予め定めた割合以上であるか否かを判定し、肯定判定となった場合はステップ160へ移行し、否定判定となった場合はステップ162へ移行する。 In the next step 158, it is determined whether or not the proportion of the feature portion in the high frequency band image subjected to the expansion process in step 156 is equal to or greater than the predetermined proportion. The process proceeds to 160, and if a negative determination is made, the process proceeds to step 162.
ステップ160では、高周波数帯域の画像を除いて、中周波数帯域の画像及び低周波数帯域の画像において特徴部分が重複する領域を画像の被写体領域と特定する。 In step 160, an area where the characteristic portions overlap in the image in the medium frequency band and the image in the low frequency band is specified as the subject area of the image except for the image in the high frequency band.
一方、ステップ162では、高周波数帯域の画像、中周波数帯域の画像及び低周波数帯域の画像において特徴部分が重複する領域を画像の被写体領域と特定する。 On the other hand, in step 162, an area where the characteristic portions overlap in the high frequency band image, the medium frequency band image, and the low frequency band image is specified as the subject area of the image.
このように、処理対象とする画像が画像全体に焦点が合っているパンフォーカス画像である場合は、高周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて画像の被写体領域を特定することにより、処理対象とする画像の主要な被写体が精度良く特定される。 In this way, when the image to be processed is a pan-focus image in which the entire image is in focus, the subject area of the image is identified based on the band image of each frequency band excluding the band image of the high frequency band As a result, the main subject of the image to be processed is identified with high accuracy.
なお、上記実施の形態では、PC12に本発明を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、デジタルカメラ、ビデオカメラ等の撮影装置、複写器やプリンタ等の画像形成装置に本発明を適用してもよい。本発明の画像処理装置には、撮影装置及び画像形成装置が含まれる。撮影装置の場合は、主要な被写体を特定して主要な被写体に対して焦点を合わせたり、主要な被写体が適性な濃度及びカラーバランスとなるように画像補正すればよい。また、画像形成装置の場合は、主要な被写体が適性な濃度及びカラーバランスとなるように画像補正すればよい。 In the above embodiment, the case where the present invention is applied to the PC 12 has been described. However, the present invention is not limited to this, for example, a photographing apparatus such as a digital camera or a video camera, a copying machine, a printer, or the like. The present invention may be applied to other image forming apparatuses. The image processing apparatus of the present invention includes a photographing apparatus and an image forming apparatus. In the case of a photographing apparatus, a main subject may be identified and focused on the main subject, or image correction may be performed so that the main subject has an appropriate density and color balance. In the case of an image forming apparatus, image correction may be performed so that a main subject has an appropriate density and color balance.
また、上記実施の形態では、各帯域画像毎に、各画素の画素値と当該平均値との差を求めることにより、画像内で情報量の大きい特徴部分を抽出する場合について説明したが、本発明はこれに限定されるものではなく、情報量は、画素分散・エッジ量等を用いて算出してもよく、特徴部分を抽出の仕方はこれに限定されるものではない。例えば、エントロピーを求めてエントロピーの大きい部分を特徴部分と抽出してもよい。 Further, in the above embodiment, a case has been described in which a feature portion having a large amount of information is extracted from an image by obtaining a difference between the pixel value of each pixel and the average value for each band image. The invention is not limited to this, and the amount of information may be calculated using pixel dispersion, the amount of edge, and the like, and the method of extracting the feature portion is not limited to this. For example, a portion having a large entropy may be extracted as a feature portion by obtaining entropy.
また、上記実施の形態では、各帯域の画像に対して膨張処理を行うことにより、特徴部分の領域を抽出する場合について説明したが、本発明はこれに限定されるものではなく、例えば、膨張処理と収縮処理を繰り返して画像の輪郭のクロージング処理を行い、輪郭で囲まれた領域を特徴部分の領域として抽出してもよい。 Further, in the above-described embodiment, the case where the region of the characteristic portion is extracted by performing the expansion process on the image of each band has been described. However, the present invention is not limited to this, and for example, the expansion is performed. It is also possible to perform processing for closing the contour of the image by repeating the processing and the contraction processing, and extract the region surrounded by the contour as the region of the feature portion.
また、上記実施の形態では、高周波数帯域の帯域画像と共に、中周波数帯域及び低周波数帯域の帯域画像を抽出する場合について説明したが、本発明はこれに限定されるものではなく、中周波数帯域又は低周波数帯域の何れか一方の帯域画像のみであってもよい。 In the above embodiment, the case of extracting the medium frequency band and the low frequency band image together with the high frequency band image has been described. However, the present invention is not limited to this, and the medium frequency band is extracted. Alternatively, only one of the low-frequency band images may be used.
また、上記実施の形態に係る被写体特定処理プログラムは、HDD60に予め記憶しておく形態の他、ROM56に予め記憶しておく形態、CD−ROMやDVD−ROM等のコンピュータ読み取り可能な記憶媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等に適用することができる。 The subject identification processing program according to the above embodiment is stored in advance in the HDD 60, stored in the ROM 56 in advance, or on a computer-readable storage medium such as a CD-ROM or DVD-ROM. The present invention can be applied to a form provided in a stored state, a form distributed via wired or wireless communication means, and the like.
12 PC
54 CPU
70 帯域画像生成部
72 特徴抽出部
74 パンフォーカス判定部
76 被写体領域特定部
12 PC
54 CPU
70 Band Image Generation Unit 72 Feature Extraction Unit 74 Pan Focus Determination Unit 76 Subject Area Identification Unit
Claims (4)
前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、
前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、
を備えた画像処理装置。 An image of each frequency band is extracted for each of a predetermined frequency band from which the contour of the focused subject is extracted from image information indicating an image to be processed and at least one frequency band lower than the predetermined frequency band Generating means for generating a band image;
Extraction means for extracting a characteristic portion that is characteristic for each band image generated by the generation means;
In the band image of the predetermined frequency band in which the characteristic part is extracted by the extracting unit, when the proportion of the characteristic part is equal to or higher than a predetermined ratio, each of the band images except for the predetermined frequency band is excluded Specifying means for specifying a subject region of an image indicated by the image information based on a band image of a frequency band;
An image processing apparatus.
請求項1記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the specifying unit specifies a region where characteristic portions overlap in a band image of each frequency band as a subject region of an image indicated by the image information.
請求項1又は請求項2記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the predetermined frequency band is a frequency band greater than or equal to 128 / long side length to 64 / long side length of the image indicated by the image information. .
処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも1つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する生成手段と、
前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、
前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、
として機能させるためのプログラム。 Computer
An image of each frequency band is extracted for each of a predetermined frequency band from which the contour of the focused subject is extracted from image information indicating an image to be processed and at least one frequency band lower than the predetermined frequency band Generating means for generating a band image;
Extraction means for extracting a characteristic portion that is characteristic for each band image generated by the generation means;
When the proportion of the feature portion in the band image of the predetermined frequency band from which the feature portion has been extracted by the extraction unit is equal to or greater than a predetermined proportion, Specifying means for specifying a subject region of an image indicated by the image information based on a band image of a frequency band;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009133434A JP5263010B2 (en) | 2009-06-02 | 2009-06-02 | Image processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009133434A JP5263010B2 (en) | 2009-06-02 | 2009-06-02 | Image processing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010282297A JP2010282297A (en) | 2010-12-16 |
JP5263010B2 true JP5263010B2 (en) | 2013-08-14 |
Family
ID=43538990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009133434A Expired - Fee Related JP5263010B2 (en) | 2009-06-02 | 2009-06-02 | Image processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5263010B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3576812B2 (en) * | 1998-06-11 | 2004-10-13 | 富士写真フイルム株式会社 | Image processing apparatus and image processing method |
JP2002305683A (en) * | 2001-04-04 | 2002-10-18 | Olympus Optical Co Ltd | Image pickup device and recording medium for recording image pickup program |
WO2005125215A1 (en) * | 2004-06-18 | 2005-12-29 | Fujitsu Limited | Image data encoding device and encoding method |
JP2006279925A (en) * | 2005-03-03 | 2006-10-12 | Fuji Photo Film Co Ltd | Imaging apparatus, imaging method, and imaging program |
JP2007096437A (en) * | 2005-09-27 | 2007-04-12 | Seiko Epson Corp | Determination of image creator's intention |
-
2009
- 2009-06-02 JP JP2009133434A patent/JP5263010B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010282297A (en) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9569831B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for extracting information embedded in a printed material | |
US9773193B2 (en) | Image processing apparatus, image processing method, and program | |
JP6282095B2 (en) | Image processing apparatus, image processing method, and program. | |
EP2819392A1 (en) | Image processing apparatus, image forming system, and computer program product | |
JP7212554B2 (en) | Information processing method, information processing device, and program | |
JP5653104B2 (en) | Image processing apparatus, image processing method, and program | |
EP3422690B1 (en) | Information processing apparatus, control method thereof, and program | |
JP6105950B2 (en) | Image processing apparatus and method | |
KR101437626B1 (en) | System and method for region-of-interest-based artifact reduction in image sequences | |
US20130208984A1 (en) | Content scene determination device | |
JP2007122101A (en) | Image processor and image processing method | |
JP5737387B2 (en) | Image processing device | |
JP5263010B2 (en) | Image processing apparatus and program | |
JP2010193154A (en) | Image processor and method | |
JP6468751B2 (en) | Image processing apparatus, image processing method, and program | |
Hwang et al. | Identification method for digital image forgery and filtering region through interpolation | |
JP6118295B2 (en) | Marker embedding device, marker detection device, method, and program | |
JP5734080B2 (en) | Information processing apparatus, processing method thereof, and program | |
JP2012113398A (en) | Image processing device and image processing system | |
JP2010039968A (en) | Object detecting apparatus and detecting method | |
JP2021047653A (en) | Learning model generation device, image correction device, learning model generation program, and image correction program | |
JP5752011B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP5103436B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6314281B1 (en) | Image processing method and foreground region acquisition method | |
JP6494817B2 (en) | Image processing apparatus, image processing method, and program. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5263010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |