JP4163651B2 - Red-eye correction work support apparatus and program - Google Patents

Red-eye correction work support apparatus and program Download PDF

Info

Publication number
JP4163651B2
JP4163651B2 JP2004099936A JP2004099936A JP4163651B2 JP 4163651 B2 JP4163651 B2 JP 4163651B2 JP 2004099936 A JP2004099936 A JP 2004099936A JP 2004099936 A JP2004099936 A JP 2004099936A JP 4163651 B2 JP4163651 B2 JP 4163651B2
Authority
JP
Japan
Prior art keywords
red
eye
image
confidence level
work support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004099936A
Other languages
Japanese (ja)
Other versions
JP2005286837A (en
Inventor
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004099936A priority Critical patent/JP4163651B2/en
Priority to US11/092,570 priority patent/US20050220346A1/en
Publication of JP2005286837A publication Critical patent/JP2005286837A/en
Application granted granted Critical
Publication of JP4163651B2 publication Critical patent/JP4163651B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、写真画像を局所的に修正する処理の過程で必要となるオペレータの作業を支援する装置およびプログラムに関する。   The present invention relates to an apparatus and a program for supporting an operator's work required in the process of locally correcting a photographic image.

夜間あるいは暗い場所で人物や動物をストロボ撮影すると、瞳孔(あるいは瞳孔の一部)が、赤色あるいは金色に撮影されてしまうことがある。このため、赤く、あるいは金色に撮影されてしまった瞳孔(以下、金色の場合も含めて「赤目」と称する)を、デジタル画像処理により本来の瞳孔の色に修正する方法が種々提案されている。   When a person or animal is photographed with a stroboscope at night or in a dark place, the pupil (or part of the pupil) may be photographed in red or gold. For this reason, various methods have been proposed in which a pupil that has been photographed in red or gold (hereinafter referred to as “red-eye” including gold) is corrected to the original pupil color by digital image processing. .

例えば、特許文献1には、オペレータが指定した領域の中から、瞳孔の色、位置、大きさに基づいて赤目を自動認識する方法および装置が開示されている。また、特許文献2にも、オペレータが指定した領域について画素ごとに所定の特徴量を計算し、瞳孔部分の特徴を最も有する部分を修正対象として選択する方法が開示されている。但し、瞳孔部分の特徴のみに基づく認識処理では、赤い電飾など局所的に赤みを持つ対象を赤目と区別することは難しい。このため、オペレータの操作を介さず、すべて自動で処理することは困難である。   For example, Patent Document 1 discloses a method and apparatus for automatically recognizing red eyes based on the color, position, and size of a pupil from a region designated by an operator. Also, Patent Document 2 discloses a method of calculating a predetermined feature amount for each pixel in a region designated by an operator and selecting a portion having the most pupil feature as a correction target. However, in recognition processing based only on the features of the pupil part, it is difficult to distinguish an object having a local redness, such as red illumination, from red eyes. For this reason, it is difficult to perform all the processing automatically without the operator's operation.

これに対し、特許文献3には、顔検出処理との組み合わせにより、赤目を検出する方法が開示されている。この方法では、顔を正確に検出することができれば赤目を自動検出することができる。しかし、横顔、手や髪で顔が覆われている場合など、顔検出が困難な画像では、やはりオペレータの介入なく赤目を検出することは難しい。
特開2000−13680号公報 特開2001−148780号公報 特開2000−125320号公報
On the other hand, Patent Document 3 discloses a method for detecting red eyes by a combination with face detection processing. In this method, red eyes can be automatically detected if the face can be accurately detected. However, it is difficult to detect red eyes without operator intervention in an image in which face detection is difficult, such as when the face is covered with a profile, hands or hair.
JP 2000-13680 A JP 2001-148780 A JP 2000-125320 A

本発明は、上記事情に鑑みて、赤目を検出して修正する過程で必要となるオペレータの作業負担を軽減するための、赤目修正作業支援装置およびプログラムを提供することを目的とする。   In view of the above circumstances, an object of the present invention is to provide a red-eye correction work support device and a program for reducing an operator's work load required in the process of detecting and correcting red eyes.

本発明は上記目的を達成するために、画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して赤目の色を修正する作業を支援する赤目修正作業支援装置を提供する。この赤目修正作業支援装置は、赤目を自動検出する赤目自動検出部と、赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部と、赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部とを備え、その処理選択実行部が、算出された自信度が高いほどユーザの操作負担が少ない処理を選択することを特徴とする。   In order to achieve the above-mentioned object, the present invention provides a red-eye correction work support device that supports the work of correcting red eye color by detecting red eyes in which at least a part of the pupil is displayed in red from an image. This red-eye correction work support apparatus obtains an image in which red-eye color is corrected, and a red-eye automatic detection unit that automatically detects red-eye, a confidence level calculation unit that calculates the confidence level of the detection result of red eyes by the red-eye automatic detection unit A process selection execution unit that selects and executes one process based on the confidence level calculated by the confidence level calculation unit from among a plurality of processes that are different from each other and the content of the operation requested by the user The process selection execution unit selects a process with a smaller operation burden on the user as the calculated degree of confidence is higher.

ここで、自信度とは、赤目検出の過程で行われた判断がどの程度確実なものかを表す指標である。例えば、通常コンピュータによる判定処理は判定の対象となる値と所定の閾値との大小を比較することにより行われるが、閾値との差が大きければその判定に対する自信の度合いは強く、閾値との差が小さければ、その判定に対する自信の度合いは弱いと考えることができる。   Here, the degree of confidence is an index representing how reliable the judgment made in the process of red-eye detection is. For example, the determination process by a normal computer is performed by comparing the value to be determined with a predetermined threshold value. If the difference from the threshold value is large, the degree of confidence in the determination is strong, and the difference from the threshold value is large. If is small, it can be considered that the degree of confidence in the determination is weak.

処理選択実行部は、例えば自信度算出部により算出された自信度が所定の閾値よりも低い場合に、ユーザに対し検出結果や修正画像の確認操作を要求する処理を選択して実行する機能を提供する。確認操作を要求する処理としては、所定の音声を出力する処理などが考えられる。   The process selection execution unit has a function of selecting and executing a process for requesting the user to confirm the detection result or the corrected image when the confidence level calculated by the confidence level calculation unit is lower than a predetermined threshold, for example. provide. As a process for requesting the confirmation operation, a process for outputting a predetermined sound can be considered.

また、処理選択実行部は、自信度算出部により算出された自信度が所定の閾値よりも低い場合に、画像を所定のリストに登録する処理を選択し、ユーザが後でまとめて確認操作を行えるようにしてもよい。   The process selection execution unit selects a process for registering images in a predetermined list when the degree of confidence calculated by the confidence level calculation unit is lower than a predetermined threshold, and the user performs confirmation operations collectively later. You may be able to do it.

また、本発明の赤目修正作業支援プログラムは、画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して該赤目の色を修正する作業を支援する処理をコンピュータに実行させる赤目修正作業支援プログラムであって、コンピュータを、赤目を自動検出する赤目自動検出部、赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部、および赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部として機能させ、処理選択実行部を、自信度が高いほどユーザの操作負担が少ない処理を選択するように機能させることを特徴とする。   Further, the red-eye correction work support program of the present invention detects a red eye in which at least a part of the pupil is displayed in red from the image, and causes the computer to execute processing for supporting the work of correcting the color of the red eye. A work support program, comprising: a red eye automatic detection unit that automatically detects red eyes; a confidence level calculation unit that calculates a confidence level of a red eye detection result by the red eye detection unit; and an image with a corrected red eye color Function as a process selection execution unit that selects and executes one process based on the confidence level calculated by the confidence level calculation unit from among a plurality of processes that are different to the user and require different operations. The process selection execution unit is made to function so as to select a process with less user operation burden as the degree of confidence increases.

本発明の赤目修正作業支援装置およびプログラムによれば、自信度に基づいて、ユーザの確認操作が必要なケースと自動処理でよいケースとが自動的に区別される。このため、オペレータの作業負担は大幅に軽減される。   According to the red-eye correction work support apparatus and program of the present invention, a case where a user's confirmation operation is necessary and a case where automatic processing is sufficient are automatically distinguished based on the degree of confidence. For this reason, the work burden on the operator is greatly reduced.

特に、自信度が低く確認操作が必要なケースについては、音声出力などユーザの注意を喚起する処理を実行するようにすれば、ユーザは確認の要不要を調べることなく、ただ要求された操作を行うのみで必要な確認を行うことができる。   In particular, in cases where the degree of confidence is low and a confirmation operation is required, if a process that alerts the user, such as voice output, is executed, the user can simply perform the requested operation without checking whether confirmation is necessary. Necessary confirmation can be performed only by performing.

また、自信度が低く確認操作が必要なケースをリストに登録する機能を設ければ、リストに蓄積された情報をまとめて確認することが可能になるので、さらに使い勝手が向上する。   In addition, if a function for registering a case with a low confidence level that requires a confirmation operation is provided, it is possible to collectively confirm information stored in the list, which further improves usability.

本発明の赤目修正作業支援装置の機能は、主としてソフトウェアプログラムにより実現される。したがって、赤目修正作業支援装置は、プログラムや画像データを記憶し得る記憶手段と、記憶されたプログラムを実行し得る演算手段を備えている装置であればよく、外観、大きさは特に問わない。   The function of the red-eye correction work support device of the present invention is realized mainly by a software program. Therefore, the red-eye correction work support device is not particularly limited in appearance and size as long as it has a storage unit that can store a program and image data and a calculation unit that can execute the stored program.

具体的には、例えば、CPU、メモリ、ハードディスク、その他各種入出力インタフェースを備えた汎用コンピュータに、赤目修正作業支援プログラムをインストールすれば、その汎用コンピュータは赤目修正作業支援装置として機能する。   Specifically, for example, if a red-eye correction work support program is installed in a general-purpose computer having a CPU, a memory, a hard disk, and other various input / output interfaces, the general-purpose computer functions as a red-eye correction work support device.

また、デジタル写真プリンタのような専用機の場合も、赤目修正作業支援プログラムを組み込んで実行させることが可能であれば、その装置に赤目修正作業支援機能を追加することができる。   Also, in the case of a dedicated machine such as a digital photographic printer, a red-eye correction work support function can be added to the apparatus if it can be executed by incorporating a red-eye correction work support program.

あるいは、メモリ・ロジック混載型の半導体デバイスとして提供することも可能である。半導体デバイスとして提供した場合には、そのデバイスをデジタルカメラなどに搭載して動作させれば、そのデジタルカメラが赤目修正作業支援機能つきのカメラとして機能するようになる。   Alternatively, it may be provided as a memory / logic mixed type semiconductor device. When provided as a semiconductor device, if the device is mounted on a digital camera or the like and operated, the digital camera functions as a camera with a red-eye correction work support function.

一般には、赤目検出プログラムや赤目修正プログラムにより実行される一連の処理の中に、赤目修正作業支援処理を追加することにより実現することが好ましい。よって以下の説明では、赤目修正作業支援機能を備えた各種装置の処理を通して、本発明の赤目修正作業支援装置を開示する。   In general, it is preferable to realize this by adding a red-eye correction work support process to a series of processes executed by the red-eye detection program or the red-eye correction program. Therefore, in the following description, the red-eye correction work support device of the present invention is disclosed through the processing of various devices having a red-eye correction work support function.

(実施の形態1)
第1の実施の形態は、写真のプリントサービスを提供するラボラトリィに設置される画像処理装置に、赤目修正作業支援機能を組み込んだ例である。図1に、画像処理装置が実行する赤目検出処理および赤目修正処理の概要を示す。
(Embodiment 1)
The first embodiment is an example in which a red-eye correction work support function is incorporated in an image processing apparatus installed in a laboratory that provides a photo print service. FIG. 1 shows an outline of red-eye detection processing and red-eye correction processing executed by the image processing apparatus.

図1のフローチャートに示すように、画像処理装置は、赤目検出、補正処理の対象となる画像を取得する(S101)。画像は、ハードディスクや各種メディアに記憶されているデータを読み出すことにより取得する。続いて、取得した画像に対し赤目検出(S102)および赤目修正(S103)の処理を施す。   As shown in the flowchart of FIG. 1, the image processing apparatus acquires an image to be subjected to red-eye detection and correction processing (S101). The image is acquired by reading data stored in a hard disk or various media. Subsequently, red-eye detection (S102) and red-eye correction (S103) are performed on the acquired image.

続いて、赤目検出、修正処理の自信度を算出する(S104)。自信度は赤目検出が正確に行われたか否か、あるいは画像の修正が適切に行われたか否かを表す指標である。   Subsequently, the degree of confidence in red-eye detection and correction processing is calculated (S104). The degree of confidence is an index that indicates whether red-eye detection has been performed accurately or whether an image has been corrected appropriately.

ステップS105において、算出された自信度が所定の閾値よりも大きいと判定された場合には、ステップS103において修正された画像が、そのままステップS109において出力される。   If it is determined in step S105 that the calculated confidence level is greater than a predetermined threshold, the image corrected in step S103 is output as it is in step S109.

ステップS105において、算出された自信度が所定の閾値以下であると判定された場合には、画像処理装置は通知音を発生させるとともにステップS103において修正された画像を画像処理装置の表示画面に表示する(S106)。オペレータからの修正を指示する入力が検出された場合(S107)には、その指示にしたがって画像を修正した後(S108)、修正画像を出力する(S109)。   If it is determined in step S105 that the calculated confidence level is equal to or less than a predetermined threshold, the image processing apparatus generates a notification sound and displays the image corrected in step S103 on the display screen of the image processing apparatus. (S106). When an input for instructing correction from the operator is detected (S107), the image is corrected in accordance with the instruction (S108), and then the corrected image is output (S109).

一方、オペレータからの入力がない場合には、ステップS103において修正された画像を、修正前の画像、およびステップS102において得られた検出結果とともに、確認待ちリストに登録する(S110)。以上の処理が完了したら、ステップS101に戻り次の画像を取得して同様の処理を繰り返す。   On the other hand, if there is no input from the operator, the image corrected in step S103 is registered in the confirmation wait list together with the image before correction and the detection result obtained in step S102 (S110). When the above processing is completed, the process returns to step S101 to acquire the next image and repeat the same processing.

図2は、確認待ちリストに登録された画像に対する確認処理の概要を示すフローチャートである。図に示すように、画像処理装置は、最初に確認待ちリストを画面に表示する(S201)。オペレータがリストの中から一の画像を選択すると、その選択を受け付け(S202)、選択された画像を表示画面に表示する(S203)。オペレータからの修正を指示する入力が検出された場合(S204)には、その指示にしたがって画像を修正した後(S205)、修正画像を出力する(S206)。オペレータからの指示入力がない場合には、図1のステップS103において得られ、ステップS110において保存された修正画像をそのまま出力する。   FIG. 2 is a flowchart showing an outline of confirmation processing for an image registered in the confirmation waiting list. As shown in the figure, the image processing apparatus first displays a waiting list for confirmation on the screen (S201). When the operator selects one image from the list, the selection is accepted (S202), and the selected image is displayed on the display screen (S203). When an input for instructing correction from the operator is detected (S204), the image is corrected in accordance with the instruction (S205), and then the corrected image is output (S206). If there is no instruction input from the operator, the corrected image obtained in step S103 of FIG. 1 and stored in step S110 is output as it is.

以上の説明から明らかであるように、上記処理では、赤目検出・修正処理の自信度が高い場合には、オペレータが介入することなく修正画像が自動的に出力される。一方、自信度が低い場合には、オペレータの介入を促す通知音が発生し、オペレータからの修正を受け付ける。また、オペレータが直ぐに修正作業を行えない場合に備え、後で修正作業を行えるように一旦確認待ちリストに登録しておいて、後で確認を行う機能も提供している。   As is clear from the above description, in the above processing, when the degree of confidence in red-eye detection / correction processing is high, a corrected image is automatically output without intervention by the operator. On the other hand, when the degree of confidence is low, a notification sound for prompting the operator's intervention is generated, and correction from the operator is accepted. In addition, in preparation for the case where the operator cannot immediately perform the correction work, a function is also provided in which the operator once registers in the confirmation waiting list so that the correction work can be performed later, and the confirmation is performed later.

したがって、オペレータはすべての画像を1つ1つ確認しながら介入が必要か否かを判断する必要はなく、通知があったときのみ画像に注意を向ければよい。さらには、リストに登録しておき、後にまとめて処理することもできるため、自分の都合に合わせて作業を進めることができる。これによりオペレータの負担は大幅に軽減される。   Therefore, the operator does not need to determine whether or not intervention is necessary while checking all the images one by one, and only has to pay attention to the images when notified. Furthermore, since it can be registered in the list and processed later, it is possible to proceed with work according to the convenience of the user. This greatly reduces the operator's burden.

以下、図1のフローチャートを構成する主なステップについて、さらに詳細に説明する。はじめにステップS102の赤目検出処理について説明する。本実施の形態では、以下に説明する方法により赤目を検出する。但し、本発明において赤目を自動的に検出する方法は特に限定されず、公知のあらゆる方法を適用することができる。   Hereinafter, the main steps constituting the flowchart of FIG. 1 will be described in more detail. First, the red-eye detection process in step S102 will be described. In the present embodiment, red eyes are detected by the method described below. However, the method of automatically detecting red eyes in the present invention is not particularly limited, and any known method can be applied.

図3は、赤目検出処理の概要を示すフローチャートである。はじめに、解像度別画像を取得する(S301)。図4は解像度別画像について説明するための図である。本実施の形態では、図に示すように、入力画像10と同じ解像度の画像15、入力画像10の1/2の解像度の画像16、入力画像10の1/4の解像度の画像17が、前もって生成され、メモリに記憶されている。   FIG. 3 is a flowchart showing an outline of the red-eye detection process. First, an image according to resolution is acquired (S301). FIG. 4 is a diagram for explaining resolution-specific images. In the present embodiment, as shown in the figure, an image 15 having the same resolution as the input image 10, an image 16 having a resolution ½ of the input image 10, and an image 17 having a resolution ¼ of the input image 10 are obtained in advance. Generated and stored in memory.

入力画像10と解像度が同じ画像15は、入力画像10をコピーすることにより生成され、入力画像10と解像度が異なる画像16、17は、入力画像10のデータに対し画素数を低減する、いわゆる間引き処理を実行することによって生成される。図3のステップS301では、メモリ内に記憶されている一の解像度別画像を読み出すことにより、解像度別画像を取得する。   An image 15 having the same resolution as the input image 10 is generated by copying the input image 10, and images 16 and 17 having a resolution different from that of the input image 10 are so-called thinning that reduces the number of pixels with respect to the data of the input image 10. Generated by executing the process. In step S301 in FIG. 3, the image by resolution is acquired by reading out the image by resolution stored in the memory.

次に、取得した解像度別画像に対し、色空間変換処理を施す(S302)。具体的には、解像度別画像を構成する各画素のR(赤),G(緑),B(青)の値を、所定の変換式により、Y(輝度)、Cb(緑と青の色差)、Cr(緑と赤の色差)、Cr(肌色と赤の色差)の値に置き換えることにより、画像の表色系を変換する。 Next, color space conversion processing is performed on the acquired resolution-specific image (S302). Specifically, the R (red), G (green), and B (blue) values of each pixel constituting the resolution-specific image are converted into Y (luminance) and Cb (green and blue color differences) according to a predetermined conversion formula. ), Cr (color difference between green and red), and Cr * (color difference between skin color and red) to convert the color system of the image.

Y,Cb,Crは、一般にJPEG画像などで利用されている座標系であり、Crは、RGB空間において赤色と肌色とをもっともよく分離する方向を表す座標軸である。この座標軸の方向は、赤色のサンプルと肌色のサンプルに線形判別分析法を適用して予め決定しておく。このような座標軸を定義することにより、赤目の検出精度を、通常のYCbCr空間で検出を行う場合よりも高めることができる。 Y, Cb, and Cr are coordinate systems generally used in JPEG images and the like, and Cr * is a coordinate axis that represents the direction in which red and skin color are best separated in RGB space. The direction of the coordinate axes is determined in advance by applying a linear discriminant analysis method to the red sample and the skin color sample. By defining such coordinate axes, the red-eye detection accuracy can be increased as compared with the case where detection is performed in a normal YCbCr space.

続いて、色空間変換後の画像上に判定対象範囲を設定し(S303)、その判定対象範囲について赤目の識別判定処理を行う(S304)。図4に、ステップS303の対象範囲設定処理と、ステップS304の識別判定処理の概要を示す。   Subsequently, a determination target range is set on the image after color space conversion (S303), and red-eye identification determination processing is performed for the determination target range (S304). FIG. 4 shows an overview of the target range setting process in step S303 and the identification determination process in step S304.

図5(a)は、ステップS302において色空間変換された解像度別画像15上に、判定対象範囲18を設定した状態を表している。本実施の形態では、判定対象範囲18は13画素×13画素の領域であるが、説明の便宜上、図では判定対象範囲18を大きめに表している。   FIG. 5A shows a state in which the determination target range 18 is set on the resolution-specific image 15 that has been color space converted in step S302. In the present embodiment, the determination target range 18 is an area of 13 pixels × 13 pixels, but for the sake of convenience of explanation, the determination target range 18 is shown larger in the figure.

識別判定処理では、設定された判定対象範囲18に含まれる画像を、複数の赤目検出器にかけ、その複数の検出器の検出結果の組み合わせから、その判定対象範囲18に含まれる画像が、赤目と推定し得るか否か判断する。赤目と推定し得る場合には、その領域を赤目として検出する。   In the identification determination process, an image included in the set determination target range 18 is applied to a plurality of red-eye detectors, and an image included in the determination target range 18 is determined as a red eye from a combination of detection results of the plurality of detectors. Judge whether it can be estimated. If it can be estimated as red-eye, the area is detected as red-eye.

但しここで、赤目検出器とは、赤目と非赤目との区別に有効な特徴量を算出するためのパラメータと、算出された特徴量を入力として赤目らしさの度合いを表す識別ポイントを出力する識別器と、そのパラメータと識別器を多数の赤目サンプルに適用して識別ポイントの累積加算値を算出し、所定の正検出率を維持できるように決定された閾値の組み合わせを意味する。   However, here, the red-eye detector is an identification that outputs a parameter for calculating a feature quantity effective for distinguishing between red-eye and non-red-eye, and an identification point that represents the degree of red-eyeness by using the calculated feature quantity as input. Means a combination of threshold values determined so as to maintain a predetermined positive detection rate by calculating a cumulative addition value of the identification points by applying the detector and its parameters and the identifier to a large number of red-eye samples.

パラメータや識別器は、多数の赤目サンプルと非赤目サンプルを利用してあらかじめ学習を行うことにより決定する。学習は、マシーンラーニング技術として知られているニューラルネットワークの手法あるいはブースティングの手法など、公知の方法を用いて行うことができる。   Parameters and classifiers are determined by performing learning in advance using a large number of red-eye samples and non-red-eye samples. Learning can be performed using a known method such as a neural network method or a boosting method known as a machine learning technique.

学習に用いられるサンプルは、例えば図6(a)、(b)、(c)に示すように、瞳孔全体が赤いサンプル、瞳孔の80%の領域が赤いサンプル、瞳孔の60%が赤いサンプルというように、単位矩形内に締める赤色領域の大きさに所定のバリエーションをもたせることが好ましい。   The samples used for learning are, for example, as shown in FIGS. 6A, 6B, and 6C, a sample in which the entire pupil is red, a sample in which 80% of the pupil is red, and a sample in which 60% of the pupil is red. Thus, it is preferable to give a predetermined variation to the size of the red region to be tightened in the unit rectangle.

また学習用サンプルの中に、赤色領域の中心が単位矩形の中心から少しずれたサンプルを含めておけば、ずれた状態でも赤色領域を抽出できるようになる。このため、画像上に特徴量を算出する判定対象範囲を設定し、走査する際に、間隔をあけても抽出の精度を保つことができ、処理時間を短縮することができる。   In addition, if the learning sample includes a sample in which the center of the red region is slightly shifted from the center of the unit rectangle, the red region can be extracted even in a shifted state. For this reason, it is possible to maintain the extraction accuracy even if the interval is set when scanning is performed by setting a determination target range for calculating the feature amount on the image, and the processing time can be shortened.

また、閾値は、学習により決定された特徴量算出パラメータおよび識別器を、できるだけ多くの赤目サンプルに対して適用して識別ポイントの累積加算値を算出し、所定の確率以上の確率で正しく検出できるように定めるとよい。   Further, the threshold value can be correctly detected with a probability equal to or higher than a predetermined probability by applying the feature amount calculation parameter and the discriminator determined by learning to as many red-eye samples as possible to calculate the cumulative addition value of the discrimination points. It is good to define as follows.

図7は、図3のステップS304の識別判定処理の具体的な処理ステップを示すフローチャートである。フローチャート中の記号iは赤目検出器を区別するための記号であり、赤目検出器がN個ある場合には、0≦i≦N−1となる。N個の赤目検出器、すなわち特徴量の算出に利用されるパラメータi、識別器i、閾値i(0≦i≦N−1)は、メモリあるいはハードディスクなどに記憶されている。   FIG. 7 is a flowchart showing specific processing steps of the identification determination processing in step S304 of FIG. The symbol i in the flowchart is a symbol for distinguishing red-eye detectors. When there are N red-eye detectors, 0 ≦ i ≦ N−1. N red-eye detectors, that is, a parameter i, a discriminator i, and a threshold value i (0 ≦ i ≦ N−1) used for calculating a feature value are stored in a memory or a hard disk.

はじめに、iおよび累積識別ポイントの値を、いずれも0に初期化する(S401)。次に、特徴量算出パラメータiを利用して前述の判定対象範囲18について、特徴量を算出し、算出結果を得る(S402)。次に、算出結果に基づいて識別器iを参照して識別ポイントを得(S403)、その識別ポイントを累積識別ポイントに加算する(S404)。次に、その累積識別ポイントを、閾値iと比較する(S405)。この時点で、累積識別ポイントが閾値iを下回っていれば、非赤目と判定する。   First, both i and the value of the cumulative identification point are initialized to 0 (S401). Next, using the feature quantity calculation parameter i, a feature quantity is calculated for the above-described determination target range 18, and a calculation result is obtained (S402). Next, an identification point is obtained by referring to the classifier i based on the calculation result (S403), and the identification point is added to the accumulated identification point (S404). Next, the accumulated identification point is compared with a threshold value i (S405). At this time, if the cumulative identification point is below the threshold value i, it is determined as non-red-eye.

一方、累積識別ポイントが閾値iを越えていれば、iがN−1か否かを判定することによって全識別器について処理が終了したか否かを判定する(S406)。iがN−1より小さい場合には、iを1つカウントアップして(S407)、同様に、ステップS402からS407までの処理を繰り返す。全識別器について処理が終了した場合には(S406)、その時点で判定対象範囲18内の画像を、赤目候補領域と判断し、候補リストに登録する。   On the other hand, if the cumulative identification point exceeds the threshold value i, it is determined whether or not the processing has been completed for all the classifiers by determining whether i is N−1 (S406). If i is smaller than N-1, i is incremented by 1 (S407), and the processing from step S402 to S407 is repeated in the same manner. When the processing is completed for all the classifiers (S406), the image within the determination target range 18 is determined as a red-eye candidate region at that time, and is registered in the candidate list.

なお、本実施の形態では、特徴量算出パラメータは、参照するチャンネル(Y、Cb、Cr、Cr)、特徴量のタイプ(画素値そのもの、2点差分、4点差分)、参照する画素の判定対象範囲内における座標からなる。 In this embodiment, the characteristic amount calculating parameters, reference channels (Y, Cb, Cr, Cr *), the feature quantity of type (pixel value itself, 2-point difference, 4-point difference), referenced pixel Consists of coordinates within the determination target range.

以上に説明した識別判定処理は、図5の画像15中の矢印に示すように、判定対象範囲18を少しずつずらしながら(走査しながら)、繰り返し実行する。判定対象範囲の設定と識別判定処理は、図3のフローチャートのステップS305において走査終了と判定された時点で終了する。   The identification determination process described above is repeatedly executed while gradually shifting (scanning) the determination target range 18 as indicated by an arrow in the image 15 of FIG. The setting of the determination target range and the identification determination process are ended when it is determined that the scanning is ended in step S305 in the flowchart of FIG.

次に、図3のステップS306において、全解像度画像についての処理が終了したか否かを判定する。他の解像度別画像が未処理であれば、ステップS301に戻り、図4の次の解像度別画像16が取得されて、同様の処理が繰り返される。   Next, in step S306 of FIG. 3, it is determined whether or not the processing for all resolution images has been completed. If another image by resolution is unprocessed, the process returns to step S301, the next image 16 by resolution in FIG. 4 is acquired, and the same processing is repeated.

なお、解像度を異ならせて処理を繰り返すのは、以下の理由による。図5(b)は、解像度別画像15よりも解像度が低い画像16上に、判定対象範囲18を設定した状態を表している。判定対象範囲18の大きさは前述のとおり13画素×13画素である。解像度を低くすると、判定対象範囲18には、解像度が高い場合よりも、より広い範囲が含まれることになる。   The reason why the processing is repeated with different resolutions is as follows. FIG. 5B shows a state in which the determination target range 18 is set on the image 16 having a lower resolution than the resolution-specific image 15. The size of the determination target range 18 is 13 pixels × 13 pixels as described above. When the resolution is lowered, the determination target range 18 includes a wider range than when the resolution is high.

したがって、例えば図5(a)、(b)に示すように、画像中に瞳孔19の画像が含まれている場合、図5(a)の解像度別画像15に対する識別処理では検出できなかった瞳孔19が、解像度別画像16に対する識別処理では検出できる場合がある。赤目を検出できたときの画像の解像度の情報は、メモリなどに記憶される。   Therefore, for example, as shown in FIGS. 5A and 5B, when the image of the pupil 19 is included in the image, the pupil that could not be detected by the identification processing for the resolution-specific image 15 in FIG. 19 may be detected by the identification processing for the resolution-specific image 16. Information on the resolution of the image when the red eye can be detected is stored in a memory or the like.

ステップS306において、全解像度別画像についての処理が終了したと判定したら、次に、候補整理処理を実行する(S307)。図8は候補整理処理について説明するための図である。図に示すように、上記判定対象範囲設定処理および識別判定処理では、1つの赤目が2個の赤目として検出されてしまう場合がある。   If it is determined in step S306 that the processing for all resolution-specific images has been completed, candidate organization processing is executed (S307). FIG. 8 is a diagram for explaining the candidate organization process. As shown in the figure, in the determination target range setting process and the identification determination process, one red eye may be detected as two red eyes.

例えば赤目が図8に示される楕円領域20である場合に、判定対象範囲18aに対して行われた識別判定処理で領域21aが赤目と判定され、判定対象範囲18bに対して行われた識別判定処理で、領域21bが赤目と判定されるような場合である。候補整理処理は、このような場合に、赤目21aと赤目21bのうち、前述の識別ポイントが高いほうの領域のみを残し、他方をリストから削除する処理である。   For example, when the red eye is the ellipse area 20 shown in FIG. 8, the identification determination performed for the determination target range 18b when the area 21a is determined to be red eye by the identification determination processing performed for the determination target range 18a. This is a case where the region 21b is determined to be red-eye in the processing. In such a case, the candidate rearrangement process is a process of leaving only the region with the higher identification point among the red-eye 21a and the red-eye 21b and deleting the other from the list.

以上の処理により最終的に残った領域の中心座標およびサイズが赤目リストとして出力される。   The center coordinates and size of the region finally left by the above processing are output as a red-eye list.

続いて、図1のステップS103の赤目修正処理について説明する。本実施の形態では、赤目検出処理により検出された各赤目について、色差Crの値が所定の値を越えている画素を抽出し、モフォロジー処理により、その領域を整形し、整形した領域を構成する各画素の色を、所定の明るさのグレーなど、瞳孔の色として適切な色に置き換えている。但し、本発明において、赤目の自動修正方法も特に限定されず、公知のあらゆる方法を適用することができる。   Subsequently, the red-eye correction process in step S103 of FIG. 1 will be described. In the present embodiment, for each red eye detected by the red eye detection process, a pixel having a color difference Cr value exceeding a predetermined value is extracted, and the area is shaped by the morphology process to form the shaped area. The color of each pixel is replaced with a color suitable for the pupil, such as gray having a predetermined brightness. However, in the present invention, the red-eye automatic correction method is not particularly limited, and any known method can be applied.

次に、ステップS104の自信度算出処理について説明する。本実施の形態では、自信度は、上記赤目検出処理の過程で算出される識別ポイントを利用して算出される。赤目検出処理では、前述のように、識別ポイントが閾値i以上であれば赤目、閾値iを下回っていれば非赤目と判定しているが、この方法では、識別ポイントと閾値との差が小さいときよりも識別ポイントと閾値の差が大きいときのほうが判定結果の信頼性は高いと考えられる。そこで、自信度を、その差が大きいときに高く、差が小さいときに低くなるように予め定義しておけば、検出処理後に、その検出の信頼性を表す指標となる自信度を求めることができる。   Next, the confidence level calculation process in step S104 will be described. In the present embodiment, the degree of confidence is calculated using an identification point calculated in the course of the red-eye detection process. In the red-eye detection process, as described above, if the identification point is greater than or equal to the threshold value i, it is determined as red-eye, and if it is below the threshold value i, it is determined as non-red-eye. However, in this method, the difference between the identification point and the threshold value is small. It is considered that the reliability of the determination result is higher when the difference between the identification point and the threshold value is larger than when it is. Therefore, if the confidence level is defined in advance to be high when the difference is large and low when the difference is small, the confidence level can be obtained as an index representing the reliability of the detection after the detection process. it can.

続いて、ステップS105の判定処理について説明する。ステップS105では前述のように、算出された自信度が所定の閾値よりも大きいか否かの判定がなされる。閾値は常時一定の値としてもよいが、誤検出・誤修正がもたらす影響は画像の用途によっても変わるため、本実施の形態では、用途に応じて、それぞれ最適な閾値を設定した上で判定を行っている。   Next, the determination process in step S105 will be described. In step S105, as described above, it is determined whether or not the calculated confidence level is greater than a predetermined threshold value. Although the threshold value may be a constant value at all times, the effect of false detection / correction changes depending on the application of the image.Therefore, in this embodiment, determination is performed after setting an optimal threshold value for each application. Is going.

例えば、赤目補正後の画像をプリント出力する場合、プリントサイズが大きくなるほど、誤検出や誤修正は目立ちやすい。そこで、本実施の形態では、閾値を、プリントサイズが大きいほど高くなるように設定している。   For example, when a red-eye corrected image is printed out, erroneous detection and correction are more conspicuous as the print size increases. Therefore, in the present embodiment, the threshold value is set so as to increase as the print size increases.

また、プリントサイズが大きくなくても、人物の顔がアップで写された写真など、画像の中で赤目の占める割合が大きい画像でも、同様に誤検出や誤修正が目立ちやすいので、閾値を高く設定している。   In addition, even if the print size is not large, even if the proportion of red eyes in the image is large, such as a photograph of a person's face that is up, misdetection and correction are conspicuous in the same way. It is set.

さらに、フィルムに記録された画像をデジタル化してメディアなどに保管するサービスの場合、その画像は将来あらゆる用途に利用される可能性がある。そこで、このようなサービスでは、その画像がどのような用途に利用されても誤検出や誤修正の影響が気にならないように、閾値を高めに設定して判定を行う。   Furthermore, in the case of a service for digitizing an image recorded on a film and storing it on a medium or the like, the image may be used for any purpose in the future. Therefore, in such a service, determination is performed by setting a high threshold value so that the influence of erroneous detection or correction is not a concern regardless of the use of the image.

ステップS106の処理は、本実施の形態では通知音を発生し、修正画像を画面上に表示する処理としているが、オペレータの注意を喚起することができる処理であれば、他の処理であってもよい。例えば、音に代えて、画面全体を点滅させることにより注意を喚起する方法なども考えられる。また、自信度に応じて段階的に通知のしかたを代えてもよい。例えば音量を自信度に応じて変化させたり、画面を表示して修正指示入力を待つ時間を自信度に応じて変化させてもよい。   The process of step S106 is a process for generating a notification sound and displaying a corrected image on the screen in the present embodiment, but is another process as long as it can call the operator's attention. Also good. For example, a method of calling attention by blinking the entire screen instead of sound can be considered. Further, the notification method may be changed step by step according to the degree of confidence. For example, the volume may be changed according to the degree of confidence, or the time for displaying a screen and waiting for a correction instruction input may be changed according to the degree of confidence.

次にステップS107およびS108の処理について説明する。ユーザから入力される修正指示としては、例えば次のような指示が考えられる。1つは、誤検出の除去の指示である。本実施の形態では、赤目以外の例えば電飾などが赤目として検出され、目の色に修正されてしまっている場合に、ユーザが修正を要求できるように、画面上の所望の領域を指定する手段と修正のキャンセル指示を入力するためのメニュー、ボタンなどを画面に表示する。さらには、誤って修正された箇所をユーザが直接修正できる機能も提供する。   Next, the processing of steps S107 and S108 will be described. As the correction instruction input from the user, for example, the following instruction can be considered. One is an instruction to remove erroneous detection. In the present embodiment, when, for example, electrical decoration other than red-eye is detected as red-eye and has been corrected to the eye color, a desired area on the screen is designated so that the user can request correction. Menus, buttons, etc. for inputting means and correction cancellation instructions are displayed on the screen. Furthermore, the function which a user can correct directly the location corrected accidentally is also provided.

一方、検出から漏れた赤目を画面上で直接指定して修正を指示したり、検出から漏れた赤目を含む領域を指定して、その限られた領域で赤目の再検出処理を実行させ、自動修正を行う機能も提供する。あるいは、特に領域は指定させず、赤目の自動検出、自動補正処理を再実行させてもよい。再実行の際に、識別ポイントの閾値を低めに設定して検出処理を行えば、赤目の検出数が増加し、未検出を減らすことができる。   On the other hand, red eyes leaking from detection are specified directly on the screen to instruct correction, or an area including red eyes leaking from detection is specified, and red-eye re-detection processing is executed in that limited area, automatically It also provides the ability to make corrections. Alternatively, the red-eye automatic detection and automatic correction processing may be re-executed without particularly specifying the region. If the detection process is performed with the threshold of the identification point set to a lower value at the time of re-execution, the number of red-eye detections can be increased and undetected.

なお、ステップS109において修正済画像を出力する際には、ステップS101で取得した画像を直接書き換えた画像を出力してもよいし、もとの画像と修正済画像との差分情報を出力してもよい。後者の場合には、その結果を利用する装置(プリンタなど)において、もとの画像と差分情報を合成して、修正画像を形成する。   When outputting the corrected image in step S109, an image obtained by directly rewriting the image acquired in step S101 may be output, or difference information between the original image and the corrected image may be output. Also good. In the latter case, a correction image is formed by synthesizing the original image and difference information in an apparatus (such as a printer) that uses the result.

(実施の形態2)
第2の実施の形態は、第1の実施の形態と同様、写真のプリントサービスを提供するラボラトリィに設置される画像処理装置に、赤目修正作業支援機能を組み込んだ例である。但し、本実施の形態では、赤目修正作業支援機能が組み込まれている第1の画像処理装置と、赤目修正処理を実行する第2の画像処理装置とは異なる装置である。
(Embodiment 2)
As in the first embodiment, the second embodiment is an example in which a red-eye correction work support function is incorporated in an image processing apparatus installed in a laboratory that provides a photo print service. However, in the present embodiment, the first image processing apparatus incorporating the red-eye correction work support function is different from the second image processing apparatus that executes the red-eye correction process.

図9に、第1の画像処理装置が実行する赤目検出処理の概要を示す。フローチャートに示すように、画像処理装置は、赤目検出処理の対象となる画像を取得する(S501)。画像は、ハードディスクや各種メディアに記憶されているデータを読み出すことにより取得する。続いて、取得した画像に対し赤目検出の処理が自動的に施される(S502)。   FIG. 9 shows an outline of the red-eye detection process executed by the first image processing apparatus. As shown in the flowchart, the image processing apparatus acquires an image to be subjected to red-eye detection processing (S501). The image is acquired by reading data stored in a hard disk or various media. Subsequently, a red-eye detection process is automatically performed on the acquired image (S502).

続いて、赤目検出の自信度を算出する(S503)。ステップS504において、算出された自信度が所定の閾値よりも大きいと判定された場合には、ステップS502において検出された結果が、ステップS508において、そのまま出力される。   Subsequently, the degree of confidence in red-eye detection is calculated (S503). If it is determined in step S504 that the calculated degree of confidence is greater than a predetermined threshold, the result detected in step S502 is output as it is in step S508.

ステップS504において、算出された自信度が所定の閾値以下であると判定された場合には、画像処理装置は通知音を発生させるとともにステップS502において検出された赤目の位置や大きさなど、赤目検出結果を表示画面に表示する(S505)。オペレータからの修正を指示する入力が検出された場合(S506)には、その指示にしたがって検出結果を修正した後(S507)、検出結果を出力する(S508)。   If it is determined in step S504 that the calculated degree of confidence is equal to or less than a predetermined threshold, the image processing apparatus generates a notification sound and detects the red eye such as the position and size of the red eye detected in step S502. The result is displayed on the display screen (S505). When an input for instructing correction from the operator is detected (S506), the detection result is corrected according to the instruction (S507), and then the detection result is output (S508).

一方、オペレータからの入力がない場合には、ステップS502において赤目検出の対象となった画像を、その赤目検出結果とともに、確認待ちリストに登録する(S509)。以上の処理が完了したら、ステップS501に戻り、次の画像を取得して同様の処理を繰り返す。   On the other hand, if there is no input from the operator, the red eye detection target image in step S502 is registered in the confirmation wait list together with the red eye detection result (S509). When the above process is completed, the process returns to step S501, the next image is acquired, and the same process is repeated.

図10は、確認待ちリストに登録された画像に対する確認処理の概要を示すフローチャートである。図に示すように、画像処理装置は、最初に確認待ちリストを画面に表示する(S601)。オペレータがリストの中から一の画像を選択すると、その選択を受け付け(S602)、選択された画像に対する赤目検出の結果を表示画面に表示する(S603)。オペレータからの修正を指示する入力が検出された場合(S604)には、その指示にしたがって画像を修正した後(S605)、修正済みの検出結果を出力する(S606)。オペレータからの指示入力がない場合には、図9のステップS502において得られた検出結果をそのまま出力する。   FIG. 10 is a flowchart showing an outline of confirmation processing for an image registered in the confirmation waiting list. As shown in the figure, the image processing apparatus first displays a confirmation waiting list on the screen (S601). When the operator selects one image from the list, the selection is accepted (S602), and the result of red-eye detection for the selected image is displayed on the display screen (S603). If an input for instructing correction from the operator is detected (S604), the image is corrected according to the instruction (S605), and then the corrected detection result is output (S606). If there is no instruction input from the operator, the detection result obtained in step S502 of FIG. 9 is output as it is.

図11は、第2の画像処理装置が実行する赤目修正処理の概要を示すフローチャートである。図に示すように第2の画像処理装置は、第1の画像処理装置が出力した画像および赤目検出結果を取得する(S701)。そして、検出された赤目を修正して(S702)、修正画像を出力する(S704)。   FIG. 11 is a flowchart showing an outline of red-eye correction processing executed by the second image processing apparatus. As shown in the figure, the second image processing apparatus acquires the image and red-eye detection result output by the first image processing apparatus (S701). Then, the detected red eye is corrected (S702), and a corrected image is output (S704).

なお、赤目検出や赤目修正の方法および自信度の算出方法については、第1の実施の形態と同じであるため説明を省略する。   Note that the red-eye detection and red-eye correction method and the confidence level calculation method are the same as those in the first embodiment, and thus description thereof is omitted.

第1の実施の形態は、ユーザが自動修正された後の画像を確認して修正の指示を入力する形態であったが、第2の実施の形態は画像を修正する前の検出結果のみの段階で、自信度が低い場合にはユーザに確認を促す。画像の修正処理を実行する前に、オペレータに誤認識などを訂正させるので、第1の実施の形態よりも装置にかかる負担は少なくなる。   The first embodiment is a mode in which the user confirms the image after being automatically corrected and inputs a correction instruction, but the second embodiment only includes a detection result before the image is corrected. If the confidence level is low at the stage, the user is prompted for confirmation. Since the operator corrects misrecognition and the like before executing the image correction process, the burden on the apparatus is less than that in the first embodiment.

(実施の形態3)
第3の実施の形態は、デジタルカメラに、赤目修正作業支援機能を組み込んだ例である。図12に、デジタルカメラが実行する赤目検出処理および赤目修正処理の概要を示す。
(Embodiment 3)
The third embodiment is an example in which a red-eye correction work support function is incorporated in a digital camera. FIG. 12 shows an outline of red-eye detection processing and red-eye correction processing executed by the digital camera.

図12のフローチャートに示すように、デジタルカメラは、赤目検出、補正処理の対象となる画像を撮影もしくはメモリから読み出すことにより取得する(S801)。続いて、取得した画像に対し赤目検出(S802)および赤目修正(S803)の処理を施す。   As shown in the flowchart of FIG. 12, the digital camera obtains an image to be subjected to red-eye detection and correction processing by capturing or reading from the memory (S801). Subsequently, red-eye detection (S802) and red-eye correction (S803) are performed on the acquired image.

続いて、赤目検出、修正処理の自信度を算出する(S804)。ステップS805において、算出された自信度が所定の閾値よりも大きいと判定した場合には、修正画像をデジタルカメラが備える液晶モニタに出力する(S806)。   Subsequently, the degree of confidence in red-eye detection and correction processing is calculated (S804). If it is determined in step S805 that the calculated degree of confidence is greater than a predetermined threshold, the corrected image is output to a liquid crystal monitor provided in the digital camera (S806).

ステップS805において、算出された自信度が所定の閾値以下であると判定した場合には、デジタルカメラは通知音を発生させるとともにステップS803において修正された画像を液晶モニタに表示する。この際、デジタルカメラはモニタのサイズが小さく確認が難しいため、修正画像を表示するときは修正箇所に枠をつけて強調表示したり、修正箇所を拡大表示するなどして確認が容易になるようにする(S807)。   If it is determined in step S805 that the calculated confidence level is equal to or less than a predetermined threshold, the digital camera generates a notification sound and displays the image corrected in step S803 on the liquid crystal monitor. At this time, since the monitor size of the digital camera is small and difficult to check, when displaying a corrected image, it is easy to check by displaying a frame with a frame around the correction area or enlarging the correction area. (S807).

オペレータからの修正を指示する入力を検出した場合(S808)には、その指示にしたがって画像を修正した後(S809)、修正画像を出力する(S810)。   When an input for instructing correction from the operator is detected (S808), the image is corrected according to the instruction (S809), and then the corrected image is output (S810).

一方、オペレータからの入力がない場合には、ステップS803において修正された画像を、そのまま修正画像として保存する(S810)。以上の処理が完了したら、ステップS801に戻り次の画像を取得して同様の処理を繰り返す。   On the other hand, if there is no input from the operator, the image corrected in step S803 is stored as it is as a corrected image (S810). When the above processing is completed, the process returns to step S801 to acquire the next image and repeat the same processing.

なお、赤目検出や赤目修正の方法および自信度の算出方法については、第1の実施の形態と同じであるため説明を省略する。   Note that the red-eye detection and red-eye correction method and the confidence level calculation method are the same as those in the first embodiment, and thus description thereof is omitted.

デジタルカメラの場合には、特に液晶モニタが小さい場合、修正操作が必要な画像か否かを判断することは困難である。このため、本実施の形態の装置のように、検出処理の自信度に基づいて自動的に修正を要する画像と修正を必要としない画像とを振り分けることができれば、ユーザの負担は軽減される。   In the case of a digital camera, particularly when the liquid crystal monitor is small, it is difficult to determine whether the image requires a correction operation. For this reason, if the image which needs correction and the image which does not need correction can be automatically distributed based on the confidence degree of a detection process like the apparatus of this Embodiment, a user's burden will be reduced.

赤目検出・修正処理の一例を示すフローチャートFlow chart showing an example of red-eye detection / correction processing リスト登録された画像の確認処理の概要を示すフローチャートFlow chart showing an overview of the confirmation process for registered images 赤目検出処理の概要を示すフローチャートFlow chart showing the outline of the red-eye detection process 解像度別画像について説明するための図Illustration for explaining images by resolution 判定対象範囲設定処理と識別判定処理の概要を示す図The figure which shows the outline of judgment object range setting processing and identification judgment processing 赤目検出器の学習に用いられるサンプルの例を示す図Diagram showing an example of a sample used for red-eye detector learning 識別判定処理の具体的な処理ステップを示すフローチャートFlow chart showing specific processing steps of identification determination processing 候補整理処理について説明するための図Diagram for explaining candidate organization process 赤目検出処理の他の例を示すフローチャートFlow chart showing another example of red-eye detection processing リスト登録された検出結果の確認処理の概要を示すフローチャートFlowchart showing an overview of processing for confirming registered detection results 赤目修正処理の概要を示すフローチャートFlow chart showing the outline of red-eye correction processing 赤目検出・修正処理の他の例を示すフローチャートFlow chart showing another example of red-eye detection / correction processing

符号の説明Explanation of symbols

10 入力画像
15,16,17 解像度別画像
18,18a,18b,23 判定対象範囲
19 瞳孔
20 赤目
21a,21b 赤目候補
10 Input images 15, 16, 17 Resolution-specific images 18, 18a, 18b, 23 Determination target range 19 Pupil 20 Red-eye 21a, 21b Red-eye candidate

Claims (5)

画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して該赤目の色を修正する作業を支援する赤目修正作業支援装置であって、
赤目を自動検出する赤目自動検出部と、
前記赤目自動検出部による赤目の検出結果の自信度を、前記自動検出の過程で得られた値を利用して算出する自信度算出部と、
赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、前記自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部とを備え、
前記処理選択実行部は、前記自信度が高いほど前記ユーザの操作負担が少ない処理を選択することを特徴とする赤目修正作業支援装置。
A red-eye correction work support device that supports the work of detecting red eyes in which at least part of a pupil is displayed in red from an image and correcting the color of the red eyes,
A red-eye automatic detection unit that automatically detects red-eye,
A confidence level calculation unit that calculates the confidence level of the detection result of the red eye by the red eye automatic detection unit using a value obtained in the process of the automatic detection ,
A process for obtaining an image in which the color of the red eye is corrected, and one process based on the confidence level calculated by the confidence level calculation unit is selected from among a plurality of processes having different operation contents requested from the user. A process selection execution unit for selecting and executing,
The red eye correction work support apparatus, wherein the process selection execution unit selects a process with less operation burden on the user as the degree of confidence is higher.
前記処理選択実行部が、前記自信度算出部により算出された自信度が所定の閾値よりも低い場合に、ユーザに対し前記検出結果および/または修正画像の確認操作を要求する処理を選択して実行することを特徴とする請求項1記載の赤目修正作業支援装置。   The process selection execution unit selects a process for requesting the user to confirm the detection result and / or the corrected image when the confidence level calculated by the confidence level calculation unit is lower than a predetermined threshold. The red-eye correction work support apparatus according to claim 1, wherein the red-eye correction work support apparatus is executed. 前記確認操作を要求する処理は、所定の音声を出力する処理であることを特徴とする請求項1または2記載の赤目修正作業支援装置。   The red-eye correction work support apparatus according to claim 1, wherein the process of requesting the confirmation operation is a process of outputting a predetermined sound. 前記処理選択実行部が、前記自信度算出部により算出された自信度が所定の閾値よりも低い場合に、前記画像を所定のリストに登録する処理を選択することを特徴とする請求項1から3のいずれか1項記載の赤目修正作業支援装置。   The processing selection execution unit selects processing for registering the image in a predetermined list when the confidence level calculated by the confidence level calculation unit is lower than a predetermined threshold. 4. The red-eye correction work support device according to any one of 3 above. 画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して該赤目の色を修正する作業を支援する処理をコンピュータに実行させる赤目修正作業支援プログラムであって、コンピュータを、
赤目を自動検出する赤目自動検出部、
前記赤目自動検出部による赤目の検出結果の自信度を、前記自動検出の過程で得られた値を利用して算出する自信度算出部、および
前記赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、前記自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部として機能させ、
前記処理選択実行部を、前記自信度が高いほど前記ユーザの操作負担が少ない処理を選択するように機能させることを特徴とする赤目修正作業支援プログラム。
A red-eye correction work support program for causing a computer to execute a process for supporting the work of detecting a red eye in which at least part of a pupil is displayed in red from an image and correcting the color of the red eye.
Red-eye automatic detection unit that automatically detects red-eye,
A confidence level calculation unit that calculates the confidence level of the detection result of the red eye by the red eye automatic detection unit by using a value obtained in the process of the automatic detection , and for obtaining an image in which the color of the red eye is corrected It functions as a process selection execution unit that selects and executes one process based on the confidence level calculated by the confidence level calculation unit from among a plurality of processes that differ in the content of the operation requested from the user. ,
A red-eye correction work support program that causes the process selection execution unit to function so as to select a process with less operational burden on the user as the degree of confidence increases.
JP2004099936A 2004-03-30 2004-03-30 Red-eye correction work support apparatus and program Expired - Fee Related JP4163651B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004099936A JP4163651B2 (en) 2004-03-30 2004-03-30 Red-eye correction work support apparatus and program
US11/092,570 US20050220346A1 (en) 2004-03-30 2005-03-29 Red eye detection device, red eye detection method, and recording medium with red eye detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004099936A JP4163651B2 (en) 2004-03-30 2004-03-30 Red-eye correction work support apparatus and program

Publications (2)

Publication Number Publication Date
JP2005286837A JP2005286837A (en) 2005-10-13
JP4163651B2 true JP4163651B2 (en) 2008-10-08

Family

ID=35184735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004099936A Expired - Fee Related JP4163651B2 (en) 2004-03-30 2004-03-30 Red-eye correction work support apparatus and program

Country Status (1)

Country Link
JP (1) JP4163651B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4708250B2 (en) * 2006-04-06 2011-06-22 富士フイルム株式会社 Red-eye correction processing system, red-eye correction processing method, and red-eye correction processing program
JP5116513B2 (en) * 2008-03-10 2013-01-09 キヤノン株式会社 Image display apparatus and control method thereof
JP5621286B2 (en) * 2010-03-16 2014-11-12 株式会社リコー Image processing apparatus, image forming apparatus, information processing apparatus, image processing system, image processing method, image processing program, and storage medium
JP6717461B2 (en) * 2016-08-25 2020-07-01 株式会社知能フレームワーク研究所 Condition monitoring system

Also Published As

Publication number Publication date
JP2005286837A (en) 2005-10-13

Similar Documents

Publication Publication Date Title
US20050220346A1 (en) Red eye detection device, red eye detection method, and recording medium with red eye detection program
US10187546B2 (en) Method and device for correcting document image captured by image pick-up device
US7450756B2 (en) Method and apparatus for incorporating iris color in red-eye correction
JP4505362B2 (en) Red-eye detection apparatus and method, and program
US20070172122A1 (en) Image processing apparatus, image processing method, and program
JP5939705B2 (en) Subject determination device, subject determination method, and program
WO2018233637A1 (en) Video processing method and apparatus, electronic device, and storage medium
KR20100124738A (en) Automatic redeye detection
JP2008283649A (en) Image processing method, image region detecting method, image processing program, image region detection program, image processing apparatus, and image region detecting apparatus
CN111080571B (en) Camera shielding state detection method, device, terminal and storage medium
JP2007264742A (en) Method for detecting face and imaging device using it
US8369619B2 (en) Method and apparatus for skin color correction and digital photographing apparatus using both
US9147115B2 (en) Method and device for detecting an object in an image
JP2005316958A (en) Red eye detection device, method, and program
JP4163651B2 (en) Red-eye correction work support apparatus and program
JP2006323779A (en) Image processing method and device
JP7151787B2 (en) Information processing device, information processing method, and program
JP2015176252A (en) Image processor and image processing method
US10896344B2 (en) Information processing apparatus, information processing method, and computer program
JP2016046701A (en) Image processing apparatus, image processing method and program
JP2011029710A (en) Image processor, image processing program, and imaging apparatus
JP4779851B2 (en) Object detection device
CN114359162A (en) Saliency detection method, saliency detection device, and storage medium
JP2007219899A (en) Personal identification device, personal identification method, and personal identification program
US11238144B2 (en) User selection assistance apparatus, image forming apparatus, user selection assistance method, and storage medium storing user selection assistance program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060518

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080724

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees