JP2848749B2 - Feature image data extraction method - Google Patents

Feature image data extraction method

Info

Publication number
JP2848749B2
JP2848749B2 JP4308964A JP30896492A JP2848749B2 JP 2848749 B2 JP2848749 B2 JP 2848749B2 JP 4308964 A JP4308964 A JP 4308964A JP 30896492 A JP30896492 A JP 30896492A JP 2848749 B2 JP2848749 B2 JP 2848749B2
Authority
JP
Japan
Prior art keywords
color
face
original image
region
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4308964A
Other languages
Japanese (ja)
Other versions
JPH06160993A (en
Inventor
博明 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP4308964A priority Critical patent/JP2848749B2/en
Priority to US08/154,118 priority patent/US5557688A/en
Publication of JPH06160993A publication Critical patent/JPH06160993A/en
Priority to US08/294,053 priority patent/US5497431A/en
Application granted granted Critical
Publication of JP2848749B2 publication Critical patent/JP2848749B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Control Of Exposure In Printing And Copying (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は特徴画像データ抽出方法
に係り、より詳しくは、カラー原画像をカラー複写材料
または黒白複写材料に複写するときに使用する、人物の
顔の濃度データ等の特徴画像データを抽出する方法に関
する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for extracting characteristic image data, and more particularly, to characteristics such as density data of a person's face used when copying a color original image onto a color copying material or a black and white copying material. The present invention relates to a method for extracting image data.

【0002】[0002]

【従来の技術及び発明が解決しようとする課題】人物写
真を観賞するときに最も注目される部位は、人物の顔で
あり、品質の良い写真を作成するためには人物の顔の色
を適正な色に焼付ける必要がある。
2. Description of the Related Art The most noticeable part when viewing a photograph of a person is the face of the person. To create a high-quality photograph, the color of the face of the person must be adjusted appropriately. It is necessary to bake to a different color.

【0003】従来では、カラーフィルムの原画像中の顔
領域をライトペンで指定して人物の顔の濃度データを抽
出し、この抽出した濃度データに基づいて顔の色が適正
に焼付けられるように露光量を決定している。このよう
な技術としては、特開昭62−115430号公報、特
開昭62−115431号公報、特開昭62−1154
32号公報、特開昭62−189456号公報、特開昭
62−189457号公報、特開昭63−138340
号公報、特開昭63−178222号公報に記載のもの
がある。
Conventionally, a face area in an original image of a color film is designated with a light pen to extract density data of a person's face, and the face color is appropriately printed based on the extracted density data. Exposure is determined. Such a technique is disclosed in JP-A-62-115430, JP-A-62-115431, and JP-A-62-1154.
No. 32, JP-A-62-189456, JP-A-62-189457, JP-A-63-138340
And JP-A-63-178222.

【0004】しかしながら、上記従来の技術では、画像
毎にオペレータがライトペンで顔領域を指定しなければ
ならないため、焼付作業に時間がかかる、という問題が
ある。また、オペレータが目視して顔領域を指定しなけ
ればならないため、無人化が困難である。
[0004] However, in the above-mentioned conventional technique, there is a problem that the printing operation takes a long time because the operator has to specify a face area with a light pen for each image. Further, since the operator must visually specify the face area, it is difficult to perform unmanned operation.

【0005】そこで、自動的に人物の顔のデータを抽出
する方法が考えられる。この例として、特開昭52−1
56624号公報、特開昭52−156625号公報、
特開昭53−12330号公報、特開昭53−1456
20号公報、特開昭53−145621号公報、特開昭
53−145622号公報には、肌色データを抽出する
ことによって人物の顔のデータを抽出する以下の方法が
記載されている。すなわち、カラー原画像を多数の測光
点に分割すると共に各測光点をR(赤)、G(緑)、B
(青)の3色に分解して測光し、測光データから計算し
た各測光点の色が肌色範囲内か否か判断する。そして、
肌色範囲と判断された測光点のクラスタ(群)を顔の濃
度データとする。
Therefore, a method of automatically extracting the face data of a person can be considered. For example, Japanese Patent Application Laid-Open No.
No. 56624, JP-A-52-156625,
JP-A-53-12330, JP-A-53-1456
No. 20, JP-A-53-145621, and JP-A-53-145622 describe the following method of extracting human face data by extracting skin color data. That is, the color original image is divided into a number of photometric points, and each photometric point is divided into R (red), G (green), B
Photometry is performed by decomposing the color into three colors (blue), and it is determined whether or not the color of each photometric point calculated from the photometric data is within the flesh color range. And
A cluster (group) of photometric points determined to be in the skin color range is used as face density data.

【0006】しかしながら、この方法では肌色範囲内の
色を顔の濃度データと仮定しているため、地面、木の
幹、洋服等の肌色または肌色に近似した色をした顔以外
の部位も顔の濃度データとして抽出されてしまう。ま
た、同一被写体を同一条件で撮影した場合であってもフ
ィルム種によって撮影画像の色味が異るため、フィルム
種が異ると顔の濃度データを自動的に抽出できないこと
がある。更に、被写体を照明する光源の色が異ると撮影
画像の色味が異る(例えば、蛍光灯を光源として撮影し
た画像は緑味になる)ため、光源色が異ると顔の濃度デ
ータを自動的に抽出できないことがある。
However, in this method, since the color within the skin color range is assumed as the density data of the face, parts other than the face having the skin color or the color similar to the skin color, such as the ground, a tree trunk, and clothes, are also included in the face. It is extracted as density data. Further, even when the same subject is photographed under the same conditions, the color of the photographed image differs depending on the film type, so that if the film type differs, the face density data may not be automatically extracted. Furthermore, if the color of the light source that illuminates the subject differs, the tint of the captured image differs (for example, an image captured using a fluorescent lamp as a light source becomes green). May not be extracted automatically.

【0007】上記の光源色が異ることによって発生する
問題点を解決するためには、光源色補正を行ってから肌
色範囲の測光データを抽出すればよい。光源としては、
太陽光、蛍光灯、タングステン光に大別できるが、太陽
光は季節、時間帯によって色味が異り、また季節や時間
帯が同じでも直接光か間接光かによって色味が異る。ま
た、蛍光灯等の人工光は製品の多種多様化に伴い様々な
色味がある。従って、光源の各々について光源種を特定
して光源補正を行うのは困難である。また、仮に光源補
正が完全に行えたとしても地面や木の幹等の肌色または
肌色に近似した部位を抽出しないようにすることはでき
ず、更にフィルム種が異ったときに対処することができ
ない。
In order to solve the above-mentioned problem caused by different light source colors, it is necessary to perform light source color correction and then extract photometric data in a flesh color range. As a light source,
Sunlight, fluorescent light, and tungsten light can be broadly classified. The color of sunlight varies depending on the season and time zone, and the color varies depending on whether the light is direct light or indirect light even in the same season and time zone. In addition, artificial lights such as fluorescent lamps have various colors with the diversification of products. Therefore, it is difficult to perform light source correction by specifying the light source type for each light source. Further, even if the light source correction can be completely performed, it is not possible to prevent extraction of a skin color or a portion similar to the skin color such as the ground or a tree trunk, and to cope with a case where the film type is different. Can not.

【0008】本発明は上記問題点を解決するために成さ
れたもので、ネガフィルム等のカラー原画像から人物の
顔のデータ等の特徴画像データのみを高い確度で自動的
に抽出することができる特徴画像データ抽出方法を提供
することを目的とする。
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is possible to automatically extract only characteristic image data such as face data of a person from a color original image such as a negative film with high accuracy. It is an object of the present invention to provide a method for extracting characteristic image data that can be performed.

【0009】[0009]

【課題を解決するための手段】上記目的を達成するため
に請求項1に記載の発明は、カラー原画像を多数画素に
分割して各画素を赤光、緑光及び青光の3色に分解して
測光し、測光により得られたデータに基づいて前記カラ
ー原画像を色相値が同一または類似の色領域毎に分割
し、分割された色領域でかつ前記カラー原画像の外縁に
接している色領域以外の色領域の少なくとも1つの色領
域を選択して選択された分割領域のデータを特徴画像デ
ータとして抽出する。
According to the first aspect of the present invention, a color original image is divided into a large number of pixels and each pixel is separated into three colors of red light, green light and blue light. The color original image is divided for each color region having the same or similar hue value based on data obtained by the photometry, and the divided color region is in contact with the outer edge of the color original image. At least one color region other than the color region is selected, and data of the selected divided region is extracted as feature image data.

【0010】また、請求項2に記載の発明は、カラー原
画像を多数画素に分割して各画素を赤光、緑光及び青光
の3色に分解して測光し、測光により得られたデータに
基づいて前記カラー原画像を色相値及び彩度値が同一ま
たは類似の色領域毎に分割し、分割された色領域でかつ
前記カラー原画像の外縁に接している色領域以外の色領
域の少なくとも1つの色領域を選択して選択された分割
領域のデータを特徴画像データとして抽出する。
According to a second aspect of the present invention, a color original image is divided into a large number of pixels, and each pixel is decomposed into three colors of red light, green light and blue light, and photometry is performed. The color original image is divided into color regions having the same or similar hue value and saturation value based on the color regions, and the divided color regions and color regions other than the color region in contact with the outer edge of the color original image At least one color region is selected, and data of the selected divided region is extracted as feature image data.

【0011】上記各発明では領域を選択するときに、分
割された領域が人物の顔か否かを判断し、人物の顔と判
断された領域を選択することにより、人物の顔の濃度デ
ータを特徴画像データとして抽出することができる。
In each of the above-mentioned inventions, when selecting an area, it is determined whether or not the divided area is a person's face, and the area determined to be a person's face is selected. It can be extracted as feature image data.

【0012】[0012]

【作用】請求項1の発明では、カラー原画像を多数画素
に分割して各画素を赤光、緑光及び青光の3色に分解し
て測光し、測光により得られたデータに基づいて色相値
が同一または類似の色領域毎にカラー原画像を分割す
る。従って、カラー原画像上の1つの色領域内には、色
相値が同一または類似した所定範囲内の画素が含まれる
ことになる。カラー原画像の特徴を表している注目され
る部位は、主にカラー原画像の中心付近にあるので、カ
ラー原画像の分割された各色領域について、カラー原画
像の外縁に接している色領域以外の色領域から少なくと
も1つの色領域を選択すれば、選択された色領域のデー
タが特徴画像データを表すことになるから、カラー原画
像の外縁に接している色領域以外の色領域の選択によっ
て特徴画像データを抽出することができる。
According to the first aspect of the present invention, a color original image is divided into a large number of pixels, and each pixel is decomposed into three colors of red light, green light and blue light, photometry is performed, and a hue is obtained based on data obtained by photometry. The color original image is divided for each color region having the same or similar value. Therefore, one color region on the color original image includes pixels having the same or similar hue values within a predetermined range. The region of interest that represents the characteristics of the color original image is mainly near the center of the color original image, and therefore, for each of the divided color regions of the color original image, other than the color region that is in contact with the outer edge of the color original image If at least one color area is selected from among the color areas, the data of the selected color area represents the characteristic image data. Therefore, by selecting a color area other than the color area in contact with the outer edge of the color original image, Characteristic image data can be extracted.

【0013】フィルム種や光源種の変化、経時変化、フ
ィルム現像差等があると、カラー原画像の色味は画面全
体で均一に変化するが、このような色味の変化は画面全
体に生じているのでカラー原画像の色相値が同一または
類似の色領域の範囲は色味が変化しても変化しない。従
って、本発明では、フィルム種や光源種の変化、経時変
化、フィルム現像差等によってカラー原画像の色味が変
化しても特徴画像のデータを抽出することができる。
If there is a change in the type of film or light source, a change over time, a difference in film development, or the like, the color of the color original image changes uniformly over the entire screen, but such a change in color occurs over the entire screen. Therefore, the range of the color region having the same or similar hue value of the color original image does not change even if the color tone changes. Therefore, in the present invention, data of a characteristic image can be extracted even if the color of a color original image changes due to a change in film type or light source type, a change over time, a film development difference, or the like.

【0014】画像の特徴部である特徴画像の色相が、他
の部位の色相と同一または近似している場合、色相値の
みの類似性に基づいてカラー原画像を分割すると、特徴
画像と他の部位とを区別できないことがある。そこで、
請求項2の発明では色相値に加えて更に彩度値を導入
し、色相値及び彩度値が同一または類似の色領域毎にカ
ラー原画像を分割する。この分割された色領域のカラー
原画像の外縁に接している色領域以外の色領域から少な
くとも1つを選択して特徴画像データを抽出する。本発
明では、色相値と彩度値とを用いているため、特徴画像
と色相が同一または近似した部位が混在していても特徴
画像データを抽出することができる。
If the hue of the characteristic image, which is the characteristic part of the image, is the same as or approximate to the hue of another part, dividing the original color image based on the similarity of only the hue values, In some cases, it cannot be distinguished from the site. Therefore,
According to the second aspect of the present invention, a saturation value is further introduced in addition to the hue value, and the original color image is divided for each color region having the same or similar hue value and saturation value. The characteristic image data is extracted by selecting at least one of the color regions other than the color region in contact with the outer edge of the color original image of the divided color region. In the present invention, since the hue value and the saturation value are used, the feature image data can be extracted even if the feature image and the part having the same or similar hue are mixed.

【0015】人物写真を観賞するときに最も注目される
部位は、人物の顔であるので、カラー原画像の分割され
た領域が人物の顔か否かを判断し、人物の顔と判断され
た領域のデータを特徴画像データとして抽出するのが好
ましい。例えはアジア系の人物の顔の色相は、地面、木
等の肌色部分と近似しているが、ほとんどの場合彩度が
異るため、カラー原画像の外縁に接している色相値また
は色相値及び彩度値が同一または類似した色領域を除い
た色領域からデータを抽出するようにすれば、顔、地
面、木等が混合する画像からもカラー原画像の背景等の
外縁に接している地面、木等が除外されて人物の顔のデ
ータを抽出することができる。
The most noticeable part when viewing a portrait is a person's face. Therefore, it is determined whether or not the divided region of the color original image is a person's face. It is preferable to extract the data of the area as feature image data. For example, the hue of an Asian person's face is similar to the skin color of the ground, trees, etc., but in most cases the saturation is different, so the hue value or hue value in contact with the outer edge of the original color image If the data is extracted from the color region excluding the color region having the same or similar saturation value, even the image in which the face, the ground, the tree, and the like are mixed is in contact with the outer edge such as the background of the original color image. The data of the face of the person can be extracted by excluding the ground and trees.

【0016】なお、特徴画像データとして抽出するデー
タは、人物の顔のデータ以外であってもよい。
The data to be extracted as the characteristic image data may be other than the data of the face of a person.

【0017】[0017]

【実施例】以下図面を参照して本発明の実施例を詳細に
説明する。本実施例は、オートプリンタに本発明を適用
したものである。図1に示されるように、本実施例のオ
ートプリンタは、カラーネガフィルム10を搬送する搬
送ローラ12を備えている。搬送ローラ12によって搬
送されるカラーネガフィルム10の下方には、光源1
4、調光フイルタ等の色補正フィルタ16および拡散ボ
ックス18が順に配列されている。また、ネガフィルム
10の上方には、ネガフィルム10を透過した光線を2
方向に分配する分配用プリズム20が配置されている。
分配用プリズム20によって分配された一方の光路上に
は、投影光学系22、ブラックシャッタ23及びカラー
ペーパー(印画紙)24が順に配列され、他方の光路上
には投影光学系26及びCCDイメージセンサ28が順
に配列されている。このCCDイメージセンサ28は、
ネガフィルム10の1画面(1コマ)全体を多数の画素
(例えば256×256画素)に分割して各画素をR
(赤)、G(緑)、及びB(青)の3色に分解して測光
する。CCDイメージセンサ28は、CCDイメージセ
ンサ出力を増幅する増幅器30及びアナログ−デジタル
(A/D)変換器32を介してCCDイメージセンサの
感度補正用の3×3マトリックス回路34に接続されて
いる。3×3マトリックス回路34は、以下で説明する
ルーチンのプログラムを記憶したマイクロコンピュータ
で構成された顔抽出回路36を介して適正露光量計算回
路40に接続されると共に、1画面全体の平均濃度を演
算する平均濃度演算回路38を介して適正露光量計算回
路40に接続されている。そして、適正露光量計算回路
40は、色補正フイルタを駆動するドライバ42を介し
て色補正フィルタ16に接続されている。
Embodiments of the present invention will be described below in detail with reference to the drawings. In this embodiment, the present invention is applied to an auto printer. As shown in FIG. 1, the automatic printer according to the present embodiment includes a transport roller 12 that transports a color negative film 10. A light source 1 is provided below the color negative film 10 transported by the transport rollers 12.
4. A color correction filter 16 such as a dimming filter and a diffusion box 18 are sequentially arranged. Above the negative film 10, the light transmitted through the negative film 10 is
A distribution prism 20 for distributing in the direction is arranged.
On one optical path distributed by the distribution prism 20, a projection optical system 22, a black shutter 23, and color paper (printing paper) 24 are sequentially arranged, and on the other optical path, a projection optical system 26 and a CCD image sensor. 28 are arranged in order. This CCD image sensor 28
The entire screen (one frame) of the negative film 10 is divided into a large number of pixels (for example, 256 × 256 pixels), and each pixel is
Photometry is performed by separating the color into three colors (red), G (green), and B (blue). The CCD image sensor 28 is connected to a 3 × 3 matrix circuit 34 for correcting the sensitivity of the CCD image sensor via an amplifier 30 for amplifying the output of the CCD image sensor and an analog-digital (A / D) converter 32. The 3 × 3 matrix circuit 34 is connected to an appropriate exposure amount calculation circuit 40 via a face extraction circuit 36 composed of a microcomputer storing a program of a routine described below, and calculates the average density of the entire screen. It is connected to an appropriate exposure calculation circuit 40 via an average density calculation circuit 38 for calculating. The appropriate exposure amount calculation circuit 40 is connected to the color correction filter 16 via a driver 42 for driving a color correction filter.

【0018】次に本実施例の作用を説明する。光源14
から照射された光線は、色補正フィルタ16、拡散ボッ
クス18及びカラーネガフィルム10を透過し、分配用
プリズム20によって分配され、投影光学系26を介し
てCCDイメージセンサ28に受光される。なお、この
ときブラックシャツタ23は閉じられている。この受光
によってCCDイメージセンサ28は、1画面全体を多
数の画素に分割して各画素をR、G、B3色に分解して
測光し、測光データ信号を出力する。測光データ信号は
増幅器30で増幅された後A/D変換器32でデジタル
信号に変換され、3×3マトリックス回路34でイメー
ジセンサの感度補正が行われ、顔抽出回路36と平均濃
度演算回路38に入力される。この平均濃度演算回路3
8では、1画面全体の平均濃度を演算する。顔抽出回路
36では、以下で説明するように1画面中の人物の顔の
部位を推定し、顔と推定された部位のR、G、B3色測
光データを出力する。露光量演算回路40は、顔抽出回
路36から出力された3色測光データと平均濃度演算回
路38で求められた平均濃度とを用いて露光量を演算
し、ドライバ42を介して色補正フイルタ16を制御す
ると共にブラックシャッタ23を開閉して焼付けを行
う。なお、平均濃度演算回路38で求めた平均濃度を用
いるとき、平均濃度に対する露光補正量を求めることが
できる。露光補正量を求めない場合、必ずしも平均濃度
演算回路38を必要とせず、直接顔抽出回路36から出
力された3色測光データより露光量を求めてもよい。
Next, the operation of this embodiment will be described. Light source 14
Are transmitted through the color correction filter 16, the diffusion box 18, and the color negative film 10, are distributed by the distribution prism 20, and are received by the CCD image sensor 28 via the projection optical system 26. At this time, the black shirt 23 is closed. By receiving the light, the CCD image sensor 28 divides the entire screen into a large number of pixels, decomposes each pixel into three colors of R, G, and B, performs photometry, and outputs a photometric data signal. The photometric data signal is amplified by an amplifier 30 and then converted into a digital signal by an A / D converter 32. The sensitivity of the image sensor is corrected by a 3 × 3 matrix circuit 34, and a face extraction circuit 36 and an average density calculation circuit 38 Is input to This average density calculation circuit 3
In step 8, the average density of one entire screen is calculated. The face extraction circuit 36 estimates the portion of the face of the person in one screen as described below, and outputs R, G, and B colorimetric data of the portion estimated as the face. The exposure calculation circuit 40 calculates the exposure using the three-color photometric data output from the face extraction circuit 36 and the average density calculated by the average density calculation circuit 38, and outputs the color correction filter 16 via the driver 42. Is controlled, and the black shutter 23 is opened and closed to perform printing. When the average density calculated by the average density calculation circuit 38 is used, an exposure correction amount for the average density can be calculated. If the exposure correction amount is not determined, the exposure amount may be determined directly from the three-color photometric data output from the face extraction circuit 36 without necessarily requiring the average density calculation circuit 38.

【0019】図2は顔抽出回路36よる顔抽出ルーチン
を示すものであり、ステップ100において入力された
3色測光データのノイズ除去、すなわちスムージングを
行う。次のステップ102では下記の(1)〜(3)式
によってR、G、B3色測光データをH(色相値)、L
(明度値)、S(彩度値)に変換する。
FIG. 2 shows a face extraction routine by the face extraction circuit 36. In step 100, noise removal, that is, smoothing of the three-color photometric data input at step 100 is performed. In the next step 102, the R, G, and B colorimetric data are converted to H (hue value) and L by the following equations (1) to (3).
(Lightness value) and S (saturation value).

【0020】 L=(R+G+B)/3 ・・・・(1) S=1−min(r’,g’,b’)・・・・(2) H=H’/2Pi ・・・・(3) ただし、R、G、Bは図3の3次元色座標に示すように
各々最小値が0、最大値が1になるように規格された3
色測光データ、min( )は( )内の数値の最小
値、r’、g’、b’はr’=R/L、g’=G/L、
b’=B/Lを表す。またH’は次の(4)式で与えら
れ、Pi(iは、R、G、Bのうちの1つ)は図3のP
である。
L = (R + G + B) / 3 (1) S = 1-min (r ′, g ′, b ′) (2) H = H ′ / 2Pi (.) 3) However, R, G, and B are standardized such that the minimum value is 0 and the maximum value is 1 as shown in the three-dimensional color coordinates of FIG.
Colorimetric data, min () is the minimum value in parentheses, r ′, g ′, b ′ are r ′ = R / L, g ′ = G / L,
b ′ = B / L. H ′ is given by the following equation (4), and Pi (i is one of R, G, and B) is P
It is.

【0021】[0021]

【数1】 (Equation 1)

【0022】ただし、However,

【0023】[0023]

【数2】 (Equation 2)

【0024】ステップ104では、原画像上の各画素に
ついて、図4(2)に示すように、各々直交する色相値
軸、彩度値軸及び明度値軸から成る座標系の色空間(以
下、HLS色空間という)において求めた距離Vに基づ
いて反復型領域拡張法により統合処理(詳細は後述)を
行う。次のステップ106では、統合処理された各々の
領域について原画像の外縁に接した領域を除去する。次
のステップ108では除去された領域以外の領域、すな
わち原画像の中心付近の領域から特徴画像である人物の
顔の候補となる領域を抽出する。次のステップ110で
は、顔の候補として抽出された領域から顔の領域を推定
し、顔として推定された領域のR、G、B3色測光デー
タを出力する。そして、ステップ112において全コマ
の焼付けが終了したか否か判断し、焼付終了と判断され
たときにこのルーチンを終了する。
In step 104, for each pixel on the original image, as shown in FIG. 4 (2), a color space of a coordinate system (hereinafter, referred to as a hue value axis, a saturation value axis, and a brightness value axis). Based on the distance V obtained in the HLS color space), an integration process (details will be described later) is performed by an iterative region expansion method. In the next step 106, a region in contact with the outer edge of the original image is removed from each of the integrated regions. In the next step 108, an area that is a candidate for a person's face as a feature image is extracted from an area other than the removed area, that is, an area near the center of the original image. In the next step 110, a face area is estimated from the area extracted as a face candidate, and R, G, B three-color photometric data of the area estimated as the face is output. Then, it is determined in step 112 whether or not printing of all frames has been completed. When it is determined that printing has been completed, this routine is terminated.

【0025】次に、上記ステップ104〜110の詳細
を説明する。図5はステップ104の詳細を示すもの
で、ステップ120において、ラスタ走査等により原画
像上から何れか1つの画素Ji(i=1〜n:全画素
数)を選択する。例えば、図4(1)に示した画素J1
を選択する。次のステップ121では、選択された画素
が既に後述するラベルが付与された領域に含まれている
か否かを判断する。肯定判断の場合にはステップ122
において原画像の全画素について選択が終了したか否か
を判断し、全画素の選択が終了するまで繰り返して実行
する。
Next, the details of steps 104 to 110 will be described. FIG. 5 shows the details of step 104. In step 120, one pixel Ji (i = 1 to n: the total number of pixels) is selected from the original image by raster scanning or the like. For example, the pixel J 1 shown in FIG.
Select In the next step 121, it is determined whether or not the selected pixel is already included in a region to which a label described later is added. In the case of a positive determination, step 122
It is determined whether or not the selection has been completed for all the pixels of the original image, and the process is repeatedly executed until the selection of all the pixels is completed.

【0026】選択された画素Jiがラベル付与された領
域に含まれていないときには、ステップ123へ進み、
選択された画素Jiの周囲の1画素(所謂、8近傍の1
画素)を選択する。例えば、図4(1)に示した画素J
2 を選択する。この選択された画素が既に何れかのラベ
ルが付与された領域に含まれているか否かをステップ1
24において判断し、否定判断の場合にはステップ12
5へ進む。ステップ125では、これら選択された2つ
の画素J1 ,J2 について、以下の式(5)に基づいて
HLS色空間における距離Vを求める。すなわち、図4
(2)に示したように、HLS色空間における画素J1
に対応する点Z1 と画素J2 に対応する点Z2 との距離
Vを求める。この距離Vは、2つの画素J1 ,J2 の明
度、彩度及び色相の類似性を表している。すなわち、距
離Vが長ければ類似性が低く、距離Vが短ければ類似性
が高いことになる。
If the selected pixel Ji is not included in the labeled area, the process proceeds to step 123,
One pixel around the selected pixel Ji (so-called 1 in the vicinity of 8)
Pixel). For example, the pixel J shown in FIG.
Select 2 . Step 1 determines whether or not the selected pixel is already included in any of the labeled regions.
The determination is made in step 24, and in the case of a negative determination, step 12
Go to 5. In step 125, the distance V in the HLS color space is determined for the two selected pixels J 1 and J 2 based on the following equation (5). That is, FIG.
As shown in (2), the pixel J 1 in the HLS color space
Determining the distance V between the point Z 2 corresponding to Z 1 and pixel J 2 point corresponding to. This distance V represents the similarity of the brightness, saturation and hue of the two pixels J 1 and J 2 . That is, the similarity is low when the distance V is long, and the similarity is high when the distance V is short.

【0027】[0027]

【数3】 (Equation 3)

【0028】但し、dH:画素J1 、J2 の色相値の
差。
Where dH is the difference between the hue values of the pixels J 1 and J 2 .

【0029】dL:画素J1 、J2 の明度値の差。 dS:画素J1 、J2 の彩度値の差。DL: Difference between brightness values of pixels J 1 and J 2 . dS: difference between saturation values of pixels J 1 and J 2 .

【0030】次のステップ126では、求めた距離Vが
所定値θ未満か否かを判断することによって、2つの画
素が類似しているか否かを判断し、類似している場合に
はステップ127において2つの画素に同一のラベルを
付与する処理(ラベリング)を行って、ステップ128
へ進む。一方、類似していない場合にはラベリングする
ことなくステップ128へ進む。
In the next step 126, it is determined whether or not the obtained distance V is less than a predetermined value θ, thereby determining whether or not the two pixels are similar. In step (128), a process (labeling) of giving the same label to two pixels is performed.
Proceed to. On the other hand, if they are not similar, the process proceeds to step 128 without labeling.

【0031】ステップ128では、8近傍の全画素につ
いて上記処理が行われたか否かを判断し、8近傍の未処
理画素がある場合にはステップ123へ戻る。8近傍の
全画素が終了するとステップ129へ進み、同一ラベル
の付与された領域(原画像における)の最外周の1画素
を選択する。続いて、ステップ130においてこの最外
周の全画素の選択が終了したか否かを判断し、否定判断
の場合には、ステップ123へ戻り、上記処理を再度実
行する。肯定判断の場合には、ステップ120へ戻り、
次の画素Jiを選択し上記処理を繰り返し実行する。こ
のように、同一ラベルの付与された領域の最外周の画素
から類似性の高い周囲の画素について同一ラベル付与を
順次実行することによって、原画像上における色相、明
度及び彩度が類似した画素の統合処理を行うことができ
る。
In step 128, it is determined whether or not the above processing has been performed on all the eight neighboring pixels. If there are eight neighboring unprocessed pixels, the process returns to step 123. When all the pixels in the vicinity of 8 have been completed, the process proceeds to step 129, where one pixel on the outermost periphery of the region (in the original image) to which the same label is added is selected. Subsequently, it is determined in step 130 whether or not the selection of all the outermost pixels has been completed. If the determination is negative, the process returns to step 123 and the above processing is executed again. If the determination is affirmative, the process returns to step 120,
The next pixel Ji is selected, and the above processing is repeatedly executed. In this way, by sequentially executing the same label assignment on the peripheral pixels having high similarity from the outermost peripheral pixel of the area assigned with the same label, pixels having similar hue, lightness and saturation on the original image can be obtained. Integration processing can be performed.

【0032】原画像の画面について上記統合処理が終了
すると、ステップ122で肯定判定され、ステップ13
1へ進む。ステップ131では、同一ラベルが付与され
た画素群について、色相値、彩度値及び明度値のそれぞ
れの平均値を求め、求めた平均値を各々の画素の色相
値、彩度値及び明度値に置き換える。次のステップ13
2では、上記ステップ126で用いた所定値θを増分値
θkだけ増加させてステップ133へ進む。この増分値
θkは上記統合処理の領域拡張の度合いに対応されてお
り、予め定めた値(例えば、1)が設定されている。ス
テップ133では、ステップ131及びステップ132
の実行回数(例えば、4回)を判断することにより上記
統合処理の反復回数を判断し、所定回数未満の場合には
ステップ134において付与された全てのラベルを解除
したのち、ステップ120へ戻る。反復回数が所定回数
になったときには本ルーチンを終了する。図4(1)の
例では、本ルーチン終了後に、図12(1)に示したよ
うに、ラベルA〜ラベルGが付与されることになる。
When the above integration process is completed for the screen of the original image, an affirmative determination is made in step 122, and step 13
Proceed to 1. In step 131, the average value of each of the hue value, the saturation value, and the brightness value is obtained for the pixel group to which the same label is assigned, and the obtained average value is converted to the hue value, the saturation value, and the brightness value of each pixel. replace. Next Step 13
In step 2, the predetermined value θ used in step 126 is increased by the increment value θk, and the process proceeds to step 133. The increment value θk corresponds to the degree of area expansion in the integration processing, and is set to a predetermined value (for example, 1). In step 133, steps 131 and 132
Is determined by determining the number of times (for example, four times) the execution of the integration process is performed. If the number of repetitions is less than the predetermined number, all labels assigned in step 134 are released, and the process returns to step 120. When the number of repetitions reaches the predetermined number, this routine ends. In the example of FIG. 4A, after the end of this routine, labels A to G are added as shown in FIG. 12A.

【0033】このように、ステップ104では、原画像
の隣接した画素について色相、明度及び彩度の類似性に
よって統合処理しているため、より目視感にあった領域
毎に原画像を分類することができる。
As described above, in step 104, since the adjacent pixels of the original image are integrated by the similarity of hue, lightness, and saturation, the original image is classified for each region that is more visible. Can be.

【0034】図6は図2のステップ106の詳細を示す
もので、ステップ136では、上記のようにしてラベリ
ングされた画素群の原画像上の1領域を選択する。
FIG. 6 shows the details of step 106 in FIG. 2. In step 136, one area on the original image of the pixel group labeled as described above is selected.

【0035】ここで、カメラ等の撮影装置のフォーカス
合わせの位置が略中心に存在することから理解されるよ
うに、原画像における人物の顔等の特徴画像は、その殆
どが原画像の中心部位に存在している。従って、原画像
の外縁(画像枠)に接している画像の領域は、背景等の
特徴画像でないことが殆どである。このため、次のステ
ップ137では、選択された領域内に含まれる画素が原
画像の最外周に位置しているか否かを判断することによ
って選択された領域が原画像の外縁に接しているか否か
を判断する。選択された領域が原画像の外縁に接してい
ると判断された場合には、ステップ138において選択
された領域を除去した後にステップ139へ進む。この
ステップ138では、選択された領域のみのラベルを解
除することにより、領域を除去したことと等価に扱うこ
とができる。一方、接していないと判断された場合には
そのままステップ139へ進む。
Here, as can be understood from the fact that the focusing position of the photographing device such as a camera is substantially at the center, most of the characteristic images such as the face of the person in the original image are located at the central portion of the original image. Exists. Therefore, in most cases, the region of the image that is in contact with the outer edge (image frame) of the original image is not a characteristic image such as a background. For this reason, in the next step 137, it is determined whether or not the pixel included in the selected area is located at the outermost periphery of the original image to determine whether or not the selected area is in contact with the outer edge of the original image. Judge. If it is determined that the selected area is in contact with the outer edge of the original image, the processing proceeds to step 139 after removing the selected area in step 138. In this step 138, by removing the label of only the selected area, it can be treated equivalent to the removal of the area. On the other hand, if it is determined that they are not in contact, the process proceeds directly to step 139.

【0036】次のステップ139では、原画像内のラベ
リングされた画素群の全領域について上記処理が終了し
たか否かを判断し、未処理の領域が存在する場合にはス
テップ136へ戻り、繰り返し実行する。上記処理が全
領域について終了した場合には、本ルーチンを終了す
る。従って、本ルーチン終了後には特徴画像、例えば顔
を含んだ領域が高い確度で残存することになる。図4
(1)の例では、本ルーチン終了後に、図12(2)に
示したように、ラベルC,ラベルDが残存することにな
る。
In the next step 139, it is determined whether or not the above processing has been completed for all areas of the labeled pixel group in the original image, and if there is an unprocessed area, the process returns to step 136 and repeats. Execute. If the above processing has been completed for all areas, this routine ends. Therefore, after the end of this routine, a feature image, for example, a region including a face remains with high accuracy. FIG.
In the example of (1), after the end of this routine, as shown in FIG. 12 (2), the labels C and D remain.

【0037】図7は図2のステップ108の詳細を示す
もので、ステップ140では、上記のようにしてラベリ
ングされた原画像の領域毎に原画像を分割する。また、
分割された各領域にナンバリングする。この場合、原画
像の外縁に接した領域は除去されている。
FIG. 7 shows details of step 108 in FIG. 2. In step 140, the original image is divided for each area of the original image labeled as described above. Also,
Number each divided area. In this case, the area in contact with the outer edge of the original image has been removed.

【0038】次のステップ142では、分割された領域
の面積を判断することにより徴小領域を除去し、ナンバ
リングをし直す。次のステップ144では、領域の境界
画素をすべて削除してひと皮分取り除く収縮処理と、収
縮処理とは逆に境界画素を背景画素方向へ増殖させてひ
と皮分太らせる膨張処理とを行って大領域と繁がってい
る小領域を大領域から分離する。次のステップ146で
はステップ142と同様に徴小領域を除去してリナンバ
リングを行い、ステップ148で弱い結合をしている領
域同士を分離するために、上記と同様の収縮、膨張処理
を行い、ステップ150において上記と同様に徴小領域
の除去とリナンバリングを行う。図4(1)の例では、
本ルーチン終了後に、図12(3)に示したように、符
号1、2がナンバリングされることになる。
In the next step 142, the small area is removed by judging the area of the divided area, and the numbering is performed again. In the next step 144, a large area is obtained by performing a contraction process of deleting all the boundary pixels of the region and removing it by one skin, and a dilation process of expanding the boundary pixels in the direction of the background pixel and increasing the thickness of one skin in contrast to the contraction process. Are separated from the large area. In the next step 146, the small area is removed and renumbering is performed in the same manner as in step 142, and in step 148, the same contraction and expansion processing as described above is performed to separate the weakly coupled areas from each other. In step 150, the small area is removed and renumbered in the same manner as described above. In the example of FIG.
After the end of this routine, numbers 1 and 2 are numbered as shown in FIG.

【0039】図8はステップ110の詳細を示すもの
で、ステップ162においてステップ108、すなわち
図7のルーチンで抽出された領域の中から1つの領域を
注目領域として選択し、注目領域の水平フィレ径および
垂直フィレ径が所定値になるように注目領域の拡大縮小
処理を行って注目領域のサイズの規格化を行うと共に、
次の(6)式に従って濃度値または輝度値の規格化を行
う。
FIG. 8 shows the details of step 110. In step 162, one of the areas extracted in step 108, that is, the routine extracted in FIG. 7, is selected as the attention area, and the horizontal fillet diameter of the attention area is selected. In addition to normalizing the size of the attention area by performing scaling processing of the attention area so that the vertical fillet diameter becomes a predetermined value,
The density value or the luminance value is normalized according to the following equation (6).

【0040】[0040]

【数4】 (Equation 4)

【0041】ただし、 dmax :領域内最大濃度値(または輝度値) dmin :領域内最低濃度値(または輝度値) ds :イメージセンサのフルスケール濃度値(または
輝度値) d :規格化前濃度値(または輝度値) dr :規格化後濃度値(または輝度値)
Where dmax: maximum density value (or luminance value) in the area dmin: minimum density value (or luminance value) in the area ds: full scale density value (or luminance value) of the image sensor d: density value before standardization (Or luminance value) dr: density value (or luminance value) after standardization

【0042】ステップ164では、予め記憶された複数
種(本実施例では10種類)の標準的な顔画像(正面か
ら見た顔画像、横から見た顔画像(左右)、下向き顔画
像、上向き顔画像等)に対する注目領域の相関係数rを
次の(7)式によって演算し、この相関係数を特徴量と
する。この標準的な顔画像は、顔の輪郭のみのデータで
あっても、顔の輪郭のデータに顔の内部構造(眼、鼻、
口等)データを加えたデータであってもよい。
In step 164, a plurality of (ten in this embodiment) standard face images stored in advance (face images viewed from the front, face images viewed from the side (left and right), downward face images, upward face images, The correlation coefficient r of the attention area with respect to the face image or the like is calculated by the following equation (7), and this correlation coefficient is used as a feature amount. Even if this standard face image is data of only the face outline, the face outline data is added to the face internal structure (eye, nose,
Data).

【0043】[0043]

【数5】 (Equation 5)

【0044】ただし、However,

【0045】[0045]

【数6】 (Equation 6)

【0046】であり、Tは画像の水平、垂直フィレ径の
長さ(ここでは、フィレ径の長さは同じとした)、f
(x、y)は注目領域、g(x、y)は標準的な顔画像
を表す。
Where T is the length of the horizontal and vertical fillet diameters of the image (here, the lengths of the fillet diameters are the same), f
(X, y) represents a region of interest, and g (x, y) represents a standard face image.

【0047】そして、ステップ166において上記特徴
量を変量とした線形判別分析により注目領域が人物の顔
であるか否かを判断し、顔であると判断された領域の
R、G、B測光データを適正露光量計算回路40に出力
する。ステップ168では抽出された全領域について顔
か否かの判定が終了したか否か判断し、終了していない
ときにはステップ162〜ステップ168を繰り返す。
Then, in step 166, it is determined whether or not the region of interest is a person's face by linear discriminant analysis using the above feature amount as a variable, and the R, G, B photometric data of the region determined to be a face is determined. Is output to the appropriate exposure amount calculation circuit 40. In step 168, it is determined whether or not the determination as to whether or not the face is a face has been completed for all the extracted areas. If not, steps 162 to 168 are repeated.

【0048】上記では人物の顔か否かの判定を行うため
に用いる特徴量として相関係数を使用したが、重心回り
の正規化されたセントラル・モーメントから導出される
不変量、自己相関関数または幾何学的不変量を用いても
よい。
In the above description, the correlation coefficient is used as the feature value used to determine whether or not the face is a person. However, the invariant derived from the normalized central moment around the center of gravity, the autocorrelation function, or Geometric invariants may be used.

【0049】画像f(x、y)の(p+q)次の重心回
りのセントラル・モーメントμpq
The central moment μ pq around the (p + q) th order center of gravity of the image f (x, y) is expressed by

【0050】[0050]

【数7】 (Equation 7)

【0051】ただし、However,

【0052】[0052]

【数8】(Equation 8)

【0053】とすれば、重心回りの正規化されたセント
ラル・モーメントは次のようになる。
Then, the normalized central moment around the center of gravity is as follows.

【0054】[0054]

【数9】(Equation 9)

【0055】ただし、y=(p+q+2)/2 p+q=2,3,…… 以上のことより、2次、3次の重心回りの正規化された
セントラル・モーメントから次の七つの不変量ψi,(i
=1,2,……,7)が導出される。
Here, y = (p + q + 2) / 2 p + q = 2, 3,... From the above, the following seven invariants ψ i are obtained from the normalized central moments around the second and third centroids. , (I
= 1, 2,..., 7) are derived.

【0056】[0056]

【数10】 (Equation 10)

【0057】また、自己相関関数Rf は次のように表さ
れる。
The autocorrelation function R f is expressed as follows.

【0058】[0058]

【数11】 [Equation 11]

【0059】そして、幾何学的不変特徴量は次の式で表
わされる。
The geometric invariant feature is expressed by the following equation.

【0060】[0060]

【数12】 (Equation 12)

【0061】このようにすることによって、原画像の外
縁に接している背景領域が除去され、さらに領域の輪郭
及び内部構造を用いて判断しているため、色相が類似し
ている顔、地面、木等が混在する画像からも顔のデータ
を高い確度で抽出することができる。
By doing so, the background region in contact with the outer edge of the original image is removed, and the judgment is made using the outline and internal structure of the region. Face data can be extracted with high accuracy from an image in which trees and the like are mixed.

【0062】なお、上記人物の顔か否かの判定に所定肌
色範囲の領域であるか否かの判定を加えてもよい。すな
わち、図7のルーチンで抽出された領域の中から1つの
領域を注目領域として選択し、注目領域の色相値、明度
値及び彩度値の各々の平均値を求め、求めた色相値、明
度値及び彩度値の平均値の各々が肌色を示す所定範囲に
含まれるか否かを判断する。肌色を示す所定範囲である
場合には、注目領域が人物の顔であると推定する。な
お、この場合、注目領域の色相値、明度値及び彩度値の
各々の平均値を求めることなく、上記所定範囲に含まれ
る画素があるか否かを判断するようにしてもよい。
It should be noted that the determination as to whether or not the face is a person's face may be added to the determination as to whether or not the area is within a predetermined skin color range. That is, one region is selected as a region of interest from the regions extracted in the routine of FIG. 7, and the average value of each of the hue value, lightness value, and saturation value of the region of interest is obtained, and the obtained hue value, lightness value It is determined whether or not each of the average values of the values and the saturation values is included in a predetermined range indicating the skin color. If it is within the predetermined range indicating the skin color, it is estimated that the attention area is a person's face. In this case, it may be determined whether or not there is a pixel included in the predetermined range without calculating the average value of each of the hue value, lightness value, and saturation value of the attention area.

【0063】適正露光量計算回路40は、顔抽出回路3
6で上記のように抽出された顔領域のR、G、B測光デ
ータと平均濃度演算回路38で演算された1コマの画面
平均濃度Di (i=R、G、Bのうちのいずれか)とを
用いて以下の式に従って適正露光量Ei を演算し、ドラ
イバ42に出力する。ドライバ42は適正露光量Ei
ら露光コントロール値を演算して調光フイルタ16を制
御する。
The proper exposure amount calculating circuit 40 includes the face extracting circuit 3
6, the R, G, and B photometric data of the face area extracted as described above and the screen average density D i (i = R, G, or B) of one frame calculated by the average density calculation circuit 38 ) and using the calculated the proper exposure amount E i according to the following equation, and outputs to the driver 42. The driver 42 controls the light adjustment filter 16 calculates an exposure control value from the appropriate exposure amount E i.

【0064】 logi =LMi ・CSi ・(DNi −Di )+PBi +LBi +MBi +NBi +K1 +K2 …(8) ただし、各記号は次のものを表す。[0064] l og E i = However LM i · CS i · (DN i -D i) + PB i + LB i + MB i + NB i + K 1 + K 2 ... (8), each symbol is a thing of the next.

【0065】LM:倍率スロープ係数であり、ネガの種
類とプリントサイズから決まる引伸倍率に応じて予め設
定されている。
LM: Magnification slope coefficient, which is set in advance according to the enlargement magnification determined by the type of negative and the print size.

【0066】CS:ネガの種類毎に用意されたカラース
ロープ係数でアンダー露光用とオーバー露光用とがあ
り、プリントすべきコマの平均濃度が標準ネガ濃度値に
対してアンダーかオーバーかを判定してアンダー露光用
またはオーバー露光用のいずれかが選択される。
CS: There are color slope coefficients prepared for each type of negative for underexposure and overexposure, and it is determined whether the average density of a frame to be printed is under or over the standard negative density value. Under exposure or over exposure is selected.

【0067】DN:標準ネガ濃度値。 D :プリントコマの平均濃度値。DN: standard negative density value. D: Average density value of print frame.

【0068】PB:標準カラーペーパーに対する補正バ
ランス値であり、カラーペーパーの種類に応じて決定さ
れている。
PB: Correction balance value for standard color paper, which is determined according to the type of color paper.

【0069】LB:標準焼付レンズに対する。補正レン
ズバランス値であり、焼付レンズの種類に応じて決定さ
れてる。
LB: For a standard printing lens. The correction lens balance value is determined according to the type of the printing lens.

【0070】MB:プリント光源の変動やペーパー現像
性能の変化に対する補正値(マスターバランス値)。
MB: a correction value (master balance value) for a change in the printing light source and a change in the paper developing performance.

【0071】NB:ネガフィルムの特性によって定めら
れるネガバランス(カラーバランス)値。
NB: Negative balance (color balance) value determined by the characteristics of the negative film.

【0072】K2 :カラー補正量。 K1 :以下の式で表される濃度補正量。K 2 : color correction amount. K 1 : a density correction amount represented by the following equation.

【0073】[0073]

【数13】 (Equation 13)

【0074】ここで、Ka 、Kb は定数であり、FDは
顔領域平均濃度である。また、上記(8)式の濃度補正
量K1 をフィルム検定装置によって求められた補正値と
し、カラー補正量K2 を次のように顔領域平均濃度を用
いて表してもよい。
[0074] Here, K a, K b are constants, FD is the face region average density. Further, as the correction value determined density correction amount K 1 in equation (8) by the film detecting device may represent a color correction amount K 2 using the face region average density as follows.

【0075】[0075]

【数14】 [Equation 14]

【0076】ただし、Kc は定数である。更に、上記
(8)式の濃度補正量K1 、カラー補正量K2 をフィル
ム検定装置によって求められた補正量とし、(8)式の
プリントコマの平均濃度Di を顔領域の平均濃度FDi
置きかえて露出量を求めてもよい。
Here, K c is a constant. Furthermore, the density correction amount K 1 in equation (8), the color correction amount K 2 is a correction amount determined by the film detecting device, the average concentration FD of average density D i a face region of the print frame in formula (8) i
The exposure amount may be determined instead.

【0077】本実施例では、原画像の外縁に接している
背景領域が除去された後に抽出した領域が人物の顔か否
かを判断しているため、色相が類似している顔、地面、
木等が混在する画像からも顔のデータを高い確度で抽出
することができる。
In this embodiment, since it is determined whether or not the extracted area after removing the background area in contact with the outer edge of the original image is a person's face, the face, ground,
Face data can be extracted with high accuracy from an image in which trees and the like are mixed.

【0078】なお、上記ステップ108で抽出された候
補領域の各々について注目領域の形状及び色情報と注目
領域の周辺に位置する領域である近傍領域の形状及び色
情報とから注目領域が顔か否かを判断することができ
る。すなわち、注目領域の周辺に注目領域と同一色相
値、及び彩度値または近似した色相値及び彩度値を持
ち、かつ、サイズ(例えば、水平フィレ径、垂直フィレ
径を採用することができる)が注目領域のサイズの25
〜100%の範囲の領域が抽出されているか否か判断す
ることによって、人物の手または足に対応する領域が抽
出されているか否か判断すればよい。
Note that, for each of the candidate regions extracted in step 108, the shape and color information of the region of interest and the shape and color information of the neighboring region located around the region of interest determine whether the region of interest is a face. Can be determined. That is, it has the same hue value and saturation value or approximate hue value and saturation value as the attention area around the attention area, and has a size (for example, a horizontal fillet diameter and a vertical fillet diameter can be adopted). Is the size of the attention area
It may be determined whether or not an area corresponding to a person's hand or foot has been extracted by determining whether or not an area in a range of 100100% has been extracted.

【0079】また、抽出された領域を線図形化して注目
領域の周辺に位置する近傍領域の形状及び注目領域の形
状に基づいて注目領域が顔か否かを判断することもでき
る。この場合、上記のように抽出された領域の線情報抽
出処理を行って各領域を線図形に変換する。ここで、予
め記憶された人物の肩を表す標準線図形と一画面の線図
形とを比較することによって肩を表す線図形が存在する
か否かを判断し、肩を表す線図形が存在する場合にはそ
の上側に線図形が存在する場合に、この線図形を注目線
図形として、この注目線図形の上側に頭部(例えば、帽
子、頭髪、ヘルメット等)を表す線図形が存在するか判
断する。注目線図形の上側に頭部を表す線図形が存在し
かつ注目線図形の下側に肩を表す線図形が存在するため
注目線図形は顔の線図形である確立が高い。このため注
目線図形の輪郭が標準的な顔の線図形の輪郭に近似して
いるか否か判断する。注目線図形が顔であると判断して
この注目線図形に対応する領域のR、G、B測光データ
を出力する。このように、注目領域の形状等から顔か否
かを判断することにより、色相が類似している顔、地
面、木等が混在する画像からも顔のデータを抽出するこ
とができる。また、顔の徴細構造を用いて顔を判定して
いないため、判定対象画像の分解能が低くても少ない演
算時間で顔か否かを判定できる。
Further, it is also possible to determine whether or not the attention area is a face based on the shape of the neighborhood area located around the attention area and the shape of the attention area by converting the extracted area into a line graphic. In this case, each area is converted into a line figure by performing the line information extraction processing of the area extracted as described above. Here, it is determined whether there is a line figure representing a shoulder by comparing a standard line figure representing the shoulder of a person stored in advance with a line figure on one screen, and a line figure representing a shoulder exists. In this case, if a line figure exists above the line figure, the line figure is regarded as a line figure of interest, and a line figure representing a head (eg, hat, hair, helmet, etc.) exists above the line figure of interest. to decide. Since a line figure representing the head exists above the line figure of interest and a line figure representing the shoulder exists below the line figure of interest, the line figure of interest is likely to be a line figure of the face. For this reason, it is determined whether or not the contour of the line graphic of interest is similar to the contour of the line graphic of the standard face. It is determined that the line graphic of interest is a face, and R, G, and B photometric data of an area corresponding to the line graphic of interest is output. As described above, by determining whether or not the face is a face based on the shape of the attention area or the like, face data can be extracted from an image in which faces, grounds, trees, and the like having similar hues are mixed. Further, since the face is not determined using the fine structure of the face, it is possible to determine whether the face is a face in a short calculation time even if the resolution of the determination target image is low.

【0080】図9はプリンタまたはプリンタプロセッサ
とは別体の露光量決定装置に本発明を適用した変形例を
示すものである。なお、図9において図1と対応する部
分には同一符号を付して説明を省略する。また、平均濃
度演算回路38は必ずしも必要ではないが、これに代え
て画面全体のLATDを検出する積算透過濃度検出回路
を用いてもよい。
FIG. 9 shows a modification in which the present invention is applied to an exposure amount determining apparatus separate from a printer or a printer processor. In FIG. 9, parts corresponding to those in FIG. Although the average density calculation circuit 38 is not always necessary, an integrated transmission density detection circuit for detecting LATD of the entire screen may be used instead.

【0081】図10は、図9の顔抽出回路を複数の顔抽
出回路361 、362 ・・・36nで構成し、並列処理
により露光量を演算するものである。顔抽出回路3
1 、362 ・・・36nは図11のタイムチャートに
従って画像を読込み、露光量を演算し、その結果を出力
する。図11においてt1 は1コマの画像読込み時間、
2 は1コマの露光量演算時間、t3 は1コマの露光量
演算結果転送時間であり、t2 >>t1 、t3 である。
顔抽出回路361 はt1 時間で1コマの画像を読込み、
2 時間で露光量を演算し、t3 時間で演算結果を転送
する。顔抽出回路361 による1コマの画像読込みが終
了すると同時にフィルムが1コマ分送られ顔抽出回路3
2 による1コマり画像読込みが開始され、顔抽出回路
361 の露光量演算と顔抽出回路362 の画像読込みと
が並列して行われ、以下同様に顔抽出回路363 、36
4 ・・・36nによって並列処理される。
FIG. 10 shows a face extraction circuit of FIG.
Output circuit 361, 36Two... Composed of 36n, parallel processing
Is used to calculate the amount of exposure. Face extraction circuit 3
61, 36Two... 36n is in the time chart of FIG.
Therefore, read the image, calculate the amount of exposure, and output the result
I do. In FIG. 11, t1Is the image reading time for one frame,
t TwoIs the exposure calculation time for one frame, tThreeIs the exposure per frame
Calculation result transfer time, tTwo>> t1, TThreeIt is.
Face extraction circuit 361Is t1Read one frame of image in time,
tTwoCalculate the exposure amount with time, tThreeTransfer calculation results by time
I do. Face extraction circuit 361Reading of one frame by
At the same time, the film is sent for one frame and the face extraction circuit 3
6TwoReading of a single frame image is started by the face extraction circuit
361Exposure calculation and face extraction circuit 36TwoImage reading and
Are performed in parallel, and thereafter, the face extraction circuit 36Three, 36
Four.. 36n are processed in parallel.

【0082】mxnのコマを並列処理するに要する時間
Tpは、 Tp=m(t1 +t2 +t3 )+(n−1)t1 である。一方、並列処理を行わない場合の処理時間Ts
は Ts=m・n(t1 +t2 +t3 ) である。従って、
The time Tp required for parallel processing of mxn frames is Tp = m (t 1 + t 2 + t 3 ) + (n−1) t 1 . On the other hand, the processing time Ts when the parallel processing is not performed
Is Ts = mn (t 1 + t 2 + t 3 ). Therefore,

【0083】[0083]

【数15】 (Equation 15)

【0084】倍高速化が可能である。なお、この並列処
理装置は図1のプリンタにも適用できる。
It is possible to double the speed. This parallel processing device can be applied to the printer shown in FIG.

【0085】本発明は写真焼付装置の露光量決定以外
に、ディジタルカラープリンタの露光量決定、複写機の
複写条件決定、カメラの露出量決定、CRT画面の表示
条件決定、磁気画像データからハードコピーを作成する
ときの光量決定にも適用することができる。
The present invention, besides determining the exposure amount of the photographic printing apparatus, determines the exposure amount of the digital color printer, the copy condition of the copying machine, the exposure amount of the camera, the display condition of the CRT screen, and the hard copy from the magnetic image data. Can also be applied to the determination of the amount of light when creating.

【0086】上記実施例では、色相値、彩度値及び明度
値による色空間における距離によって各画素の類似性を
判断しているが、本発明はこの色空間に限定されるもの
ではなく、色相値の類似性、色相値及び彩度値の類似性
を判断するようにしてもよい。
In the above embodiment, the similarity of each pixel is determined based on the distance in the color space based on the hue value, the saturation value, and the lightness value. However, the present invention is not limited to this color space. The similarity of the values, the similarity of the hue value and the saturation value may be determined.

【0087】例えば、色相値の類似性を求めるには、カ
ラー原画像の色相値についてのヒストグラムを求め、求
められたヒストグラムをヒストグラムの谷または山の裾
を境にして山毎に分割することによって、各山の色相値
範囲を定める。次に、各画素の色相値がどの色相値範囲
に属するかを判断することにより、各画素が分割された
山のどれに属するかを判断し、多数画素を分割された山
に対応する群(クラスタ)に分ける。続いて、カラー原
画像を分割された群に対応する領域に分ける。これによ
って、カラー原画像は、ヒストグラムによって分けられ
た色相値範囲内の色相値を持つ画素を含む領域毎に分け
られることになる。従って、カラー原画像上の1つの領
域内には、色相値が所定範囲内の画素が含まれることに
なり、上記のようにカラー原画像の外縁に接した領域以
外の領域から画像の特徴を表す少なくとも1つの領域を
選択すれば、選択された領域のデータが人物の顔等の特
徴画像のデータを含んだ領域を選択できる。
For example, to obtain the similarity of the hue values, a histogram for the hue values of the original color image is obtained, and the obtained histogram is divided into hills or valleys of the histogram. The hue value range of each mountain is determined. Next, it is determined which hue value range the hue value of each pixel belongs to, so that it is determined which of the crests each pixel belongs to. Cluster). Subsequently, the color original image is divided into regions corresponding to the divided groups. As a result, the color original image is divided into regions each including a pixel having a hue value within the hue value range divided by the histogram. Therefore, one area on the color original image includes pixels whose hue value is within a predetermined range, and the image features are extracted from the area other than the area in contact with the outer edge of the color original image as described above. By selecting at least one region to be represented, it is possible to select a region in which data of the selected region includes data of a characteristic image such as a human face.

【0088】また、色相値及び彩度値の類似性を求める
には、色相値及び彩度値の2次元ヒストグラムを求め、
この2次元ヒストグラムを山毎に分割して上記と同様に
してカラー原画像を分割し、分割された領域のうちカラ
ー原画像の外縁に接した領域以外の少なくとも1つの領
域を選択してデータを抽出する。人物の顔の色相は、地
面、木等の肌色部分と近似しているが、ほとんどの場合
彩度が異りかつ原画像の外縁に接していることが多いた
め、カラー原画像の外縁に接している色相値及び彩度値
が同一または類似した領域を除い色領域からデータを抽
出するようにすれば、人物の顔等の特徴画像のデータを
抽出することができる。
To determine the similarity between the hue value and the saturation value, a two-dimensional histogram of the hue value and the saturation value is obtained.
The color original image is divided in the same manner as described above by dividing the two-dimensional histogram for each mountain, and at least one region other than the region in contact with the outer edge of the color original image is selected from the divided regions to obtain data. Extract. The hue of a person's face is similar to the skin color of the ground, trees, etc., but in most cases the saturation is different and it often touches the outer edge of the original image. If data is extracted from the color region excluding the region having the same or similar hue value and saturation value, data of a characteristic image such as a human face can be extracted.

【0089】[0089]

【発明の効果】以上説明したように本発明によれば、色
相値に基づいて原画像の外縁に接した色領域以外の色領
域からデータを抽出しているため、原画像の特徴画像の
データを高い確度で抽出することができる、という効果
が得られる。
As described above, according to the present invention, data is extracted from a color area other than a color area in contact with the outer edge of the original image based on the hue value. Can be extracted with high accuracy.

【0090】また、色相値及び彩度値に基づいて原画像
の外縁に接した色領域以外の色領域からデータを抽出し
ているため、色相値が同一または類似した部位が混在し
ていても原画像の特徴画像のデータを高い確度で抽出す
ることができる、という効果が得られる。
Further, since data is extracted from the color area other than the color area in contact with the outer edge of the original image based on the hue value and the saturation value, even if parts having the same or similar hue value coexist. An effect is obtained that data of the characteristic image of the original image can be extracted with high accuracy.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1実施例のプリンタを示す概略図で
ある。
FIG. 1 is a schematic diagram illustrating a printer according to a first embodiment of the present invention.

【図2】顔抽出回路の顔抽出ルーチンを示す流れ図であ
る。
FIG. 2 is a flowchart showing a face extraction routine of a face extraction circuit.

【図3】色座標を示す線図である。FIG. 3 is a diagram showing color coordinates.

【図4】(1)は原画像を示す線図である。(2)は明
度値、色相値及び彩度値を軸とする色空間を示す線図で
ある。
FIG. 4A is a diagram showing an original image. (2) is a diagram showing a color space having lightness value, hue value, and saturation value as axes.

【図5】図2のステップ104の詳細を示す流れ図であ
る。
FIG. 5 is a flowchart showing details of step 104 in FIG. 2;

【図6】図2のステップ106の詳細を示す流れ図であ
る。
FIG. 6 is a flowchart showing details of step 106 in FIG. 2;

【図7】図2のステップ108の詳細を示す流れ図であ
る。
FIG. 7 is a flowchart showing details of step 108 in FIG. 2;

【図8】図2のステップ110の詳細を示す流れ図であ
る。
FIG. 8 is a flowchart showing details of step 110 in FIG. 2;

【図9】本発明を適用した露光量演算装置の概略図であ
る。
FIG. 9 is a schematic diagram of an exposure calculation device to which the present invention is applied.

【図10】複数の顔抽出回路によって並列処理を行う露
光量演算装置の概略図である。
FIG. 10 is a schematic diagram of an exposure calculation device that performs parallel processing by a plurality of face extraction circuits.

【図11】並列処理のタイムチャートを示す線図であ
る。
FIG. 11 is a diagram showing a time chart of parallel processing.

【図12】原画像の顔候補領域を抽出するまでを説明す
るためのイメージ図である。
FIG. 12 is an image diagram for describing up to extraction of a face candidate region of an original image.

【符号の説明】[Explanation of symbols]

28 CCDイメージセンサ 30 増幅器 36 顔抽出回路 28 CCD image sensor 30 Amplifier 36 Face extraction circuit

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 カラー原画像を多数画素に分割して各画
素を赤光、緑光及び青光の3色に分解して測光し、 測光により得られたデータに基づいて前記カラー原画像
を色相値が同一または類似の色領域毎に分割し、 分割された色領域でかつ前記カラー原画像の外縁に接し
ている色領域以外の色領域の少なくとも1つの色領域を
選択して選択された分割領域のデータを特徴画像データ
として抽出する、 特徴画像データの抽出方法。
1. A color original image is divided into a large number of pixels, each pixel is separated into three colors of red light, green light and blue light, and photometry is performed. Based on data obtained by the photometry, the color original image is converted into a hue. A division selected by selecting at least one color region of a color region other than a color region that is divided into color regions that are the same or similar and that is in contact with the outer edge of the color original image in the divided color regions A method for extracting characteristic image data, in which data of a region is extracted as characteristic image data.
【請求項2】 カラー原画像を多数画素に分割して各画
素を赤光、緑光及び青光の3色に分解して測光し、 測光により得られたデータに基づいて前記カラー原画像
を色相値及び彩度値が同一または類似の色領域毎に分割
し、 分割された色領域でかつ前記カラー原画像の外縁に接し
ている色領域以外の色領域の少なくとも1つの色領域を
選択して選択された分割領域のデータを特徴画像データ
として抽出する、 特徴画像データの抽出方法。
2. A color original image is divided into a large number of pixels, each pixel is decomposed into three colors of red light, green light and blue light, and photometry is performed. The color original image is converted into a hue based on data obtained by photometry. Dividing at least one color region having the same or similar value and saturation value, and selecting at least one color region other than the color region that is the divided color region and is in contact with the outer edge of the color original image. A feature image data extraction method for extracting data of a selected divided region as feature image data.
【請求項3】 領域を選択するときに、分割された領域
が人物の顔か否かを判断し、人物の顔と判断された領域
を選択する請求項1または2の特徴画像データの抽出方
法。
3. The method for extracting characteristic image data according to claim 1, wherein when selecting an area, it is determined whether or not the divided area is a human face, and the area determined to be a human face is selected. .
JP4308964A 1992-11-18 1992-11-18 Feature image data extraction method Expired - Fee Related JP2848749B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP4308964A JP2848749B2 (en) 1992-11-18 1992-11-18 Feature image data extraction method
US08/154,118 US5557688A (en) 1992-11-18 1993-11-18 Method of extracting characteristic image data and color data conversion device for image processing apparatus
US08/294,053 US5497431A (en) 1992-11-18 1994-08-24 Method of extracting characteristic image data and color data conversion device for image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4308964A JP2848749B2 (en) 1992-11-18 1992-11-18 Feature image data extraction method

Publications (2)

Publication Number Publication Date
JPH06160993A JPH06160993A (en) 1994-06-07
JP2848749B2 true JP2848749B2 (en) 1999-01-20

Family

ID=17987356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4308964A Expired - Fee Related JP2848749B2 (en) 1992-11-18 1992-11-18 Feature image data extraction method

Country Status (1)

Country Link
JP (1) JP2848749B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3461626B2 (en) 1995-07-28 2003-10-27 シャープ株式会社 Specific image region extraction method and specific image region extraction device
JPH09138471A (en) * 1995-09-13 1997-05-27 Fuji Photo Film Co Ltd Specified shape area extracting method, specified area extracting method and copy condition deciding method
JP3490559B2 (en) * 1995-11-14 2004-01-26 富士写真フイルム株式会社 Method for determining main part of image and method for determining copy conditions
US6813395B1 (en) 1999-07-14 2004-11-02 Fuji Photo Film Co., Ltd. Image searching method and image processing method
US6834127B1 (en) 1999-11-18 2004-12-21 Fuji Photo Film Co., Ltd. Method of adjusting output image areas
EP1467549B1 (en) 2000-10-20 2011-03-23 FUJIFILM Corporation Image processing system associating information with identified subject persons of image
JP2009123234A (en) * 2002-07-30 2009-06-04 Fujifilm Corp Object identification method, apparatus and program
JP5585826B2 (en) * 2010-06-15 2014-09-10 株式会社Ihi Object recognition method and apparatus
JP5786544B2 (en) * 2011-08-11 2015-09-30 株式会社ニコン Image processing apparatus, imaging apparatus, and program

Also Published As

Publication number Publication date
JPH06160993A (en) 1994-06-07

Similar Documents

Publication Publication Date Title
EP0514909B1 (en) Method of determining exposure
US5557688A (en) Method of extracting characteristic image data and color data conversion device for image processing apparatus
US7289664B2 (en) Method of detecting and correcting the red eye
US20050286793A1 (en) Photographic image processing method and equipment
JPH09171220A (en) Exposure deciding method
JP2695067B2 (en) Method of extracting data of human face and method of determining exposure amount
JP2848749B2 (en) Feature image data extraction method
JP3733873B2 (en) Photo image processing apparatus, method, and photo processing apparatus
JP2638691B2 (en) Exposure determination method
JP3516786B2 (en) Face area extraction method and copy condition determination method
JP3576025B2 (en) Main subject extraction method and apparatus
JPH10268447A (en) Image processor and photographic printer
JP2638693B2 (en) Feature image data extraction method
US7359566B2 (en) Bright point detecting method and computer program product for conducting the bright point detecting method
JP2638702B2 (en) Feature image data extraction method
JP2638701B2 (en) Feature image data extraction method
JP2638692B2 (en) Method of extracting data of human face and method of determining exposure amount
JP3575976B2 (en) Main subject extraction method
JP2763221B2 (en) How to extract human face data
JP2642262B2 (en) Exposure determination method
JP2848750B2 (en) Exposure determination method
JP2923401B2 (en) Exposure determination method
JP2001103304A (en) Method and system for extracting specific object
JP2001076149A (en) Method and device for extracting main object
JP2695074B2 (en) Photometric image data collection method and exposure amount determination method

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071106

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071106

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081106

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091106

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091106

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101106

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111106

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees