JP5440241B2 - Image enhancement device, image enhancement method, and image enhancement program - Google Patents

Image enhancement device, image enhancement method, and image enhancement program Download PDF

Info

Publication number
JP5440241B2
JP5440241B2 JP2010035332A JP2010035332A JP5440241B2 JP 5440241 B2 JP5440241 B2 JP 5440241B2 JP 2010035332 A JP2010035332 A JP 2010035332A JP 2010035332 A JP2010035332 A JP 2010035332A JP 5440241 B2 JP5440241 B2 JP 5440241B2
Authority
JP
Japan
Prior art keywords
luminance
image
pixel
target image
diffuse reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010035332A
Other languages
Japanese (ja)
Other versions
JP2010191968A5 (en
JP2010191968A (en
Inventor
源 何
俊 孫
浩 于
聡 直井
明洋 皆川
伸之 原
裕 勝山
悦伸 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2010191968A publication Critical patent/JP2010191968A/en
Publication of JP2010191968A5 publication Critical patent/JP2010191968A5/en
Application granted granted Critical
Publication of JP5440241B2 publication Critical patent/JP5440241B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像強調方法及び画像強調装置に関する。   The present invention relates to an image enhancement method and an image enhancement apparatus.

従来、討論会や会議などにおいては、ホワイトボードを利用して情報の説明及び意見交換を行うことが一般的である。また、高性能及び低価格な画像装置の発展に伴って、例えば、携帯電話やＰＤＡ（Personal Digital Assistant）などの画像撮影装置を備える携帯用デバイスは、日常生活中に既に非常に普及している。したがって、このような画像撮影装置を用いてホワイトボードを撮影することにより、ホワイトボードに記載又は描写された内容情報を画像として記録した対象画像を得ることは、非常に便利である。   Conventionally, in discussion meetings and conferences, it is common to use a whiteboard to explain information and exchange opinions. Further, along with the development of high-performance and low-cost image devices, for example, portable devices including image photographing devices such as mobile phones and PDAs (Personal Digital Assistants) are already very popular in daily life. . Therefore, it is very convenient to obtain a target image in which the content information described or depicted on the whiteboard is recorded as an image by photographing the whiteboard using such an image photographing device.

撮影されるホワイトボード画像の画質は、光の照射環境と対象画像のコントラストに密接に関連している。ホワイトボードは、通常、室内で使用される。また、室内では、自然光の不足を人工の照明を利用することで補っている。したがって、撮影されるホワイトボード画像には、一つあるいは複数の鏡面反射により高輝度領域が頻繁に発生する。このように、撮影されるホワイトボード画像の２つの主なる問題は、鏡面反射及び低いコントラストであり、これらは画像の可視性及び可読性を低下させる。   The image quality of the captured whiteboard image is closely related to the light irradiation environment and the contrast of the target image. Whiteboards are usually used indoors. In addition, the lack of natural light is made up indoors by using artificial lighting. Therefore, a high brightness region frequently occurs in one or more specular reflections in the photographed whiteboard image. Thus, the two main problems with captured whiteboard images are specular reflection and low contrast, which reduce the visibility and readability of the image.

ヒストグラムに基づく方法を利用して、コントラストを強調する技術が開示されている。また、様々な撮影された画像の拡散反射成分と鏡面反射成分とを分離する方法が開示されており、これにより分離された鏡面反射成分を除去することで画像を強調することができる。例えば、入力されたカラー画像に対して、まず、照明彩度を利用して、単純な白色の鏡面反射成分を有する画像をシュミレーションした後、当該画像を利用し、画素ごとの輝度及び最大彩度を偏移して鏡面反射成分がない画像を取得する。   A technique for enhancing contrast using a histogram-based method is disclosed. In addition, a method for separating a diffuse reflection component and a specular reflection component of various captured images is disclosed, and an image can be enhanced by removing the specular reflection component thus separated. For example, for an input color image, first, an image having a simple white specular reflection component is simulated using illumination saturation, and then the luminance and maximum saturation for each pixel are used using the image. To obtain an image having no specular reflection component.

米国特許第５０６３６０７号明細書US Pat. No. 5,063,607

Robby T, Tan， 「Separating Reflection Components of Textured Surfaces Using a Single Image」， IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，２００５年２月， ＶＯＬ．２７， Ｎｏ．２， ｐ．１７８−１９３Robby T, Tan, “Separating Reflection Components of Textured Surfaces Using a Single Image”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, February 2005, VOL. 27, no. 2, p. 178-193

しかしながら、上述した従来の技術では、ホワイトボードを撮影した画像に対して、画像を強調することはできないという課題があった。   However, the above-described conventional technique has a problem that the image cannot be emphasized with respect to the image obtained by photographing the whiteboard.

例えば、ヒストグラムに基づく方法を利用すると、対象画像の可読性を向上するが、鏡面反射によって発生する高輝度領域が依然として残るので、画像の可視性を低下させている。また、鏡面反射成分を除去する方法は、ホワイトボードの画像には、直接、適用できない。   For example, the use of a histogram-based method improves the readability of the target image, but reduces the visibility of the image because a high-intensity region generated by specular reflection still remains. Further, the method of removing the specular reflection component cannot be directly applied to the whiteboard image.

開示の技術は、上記に鑑みてなされたものであって、ホワイトボード画像などに対して、画像の可視性及び／又は可読性を効果的に向上させる画像強調方法及び画像強調装置を提供することを目的とする。   The disclosed technique has been made in view of the above, and provides an image enhancement method and an image enhancement apparatus that effectively improve the visibility and / or readability of an image with respect to a whiteboard image or the like. Objective.

以下の記載は、本願に関する基本的な一面の理解を提供するために、本願が開示する画像強調方法及び画像強調装置に関する概略である。しかし、係る記載は、本願に関する十分な記載ではないことを理解するべきである。すなわち、本願のポイント部分又は重要な部分を確定することを意図しておらず、また、本願の範囲を限定することを意図するものでもない。以下の記載の目的は、簡潔な形式で本願が開示する画像強調方法及び画像強調装置に関する概念を与えることであり、後述する詳細な説明の前書きとする。   The following description is an outline of an image enhancement method and an image enhancement apparatus disclosed in the present application in order to provide an understanding of a basic aspect related to the present application. However, it should be understood that such a description is not sufficient for the present application. That is, it is not intended to determine the point portion or the important portion of the present application, nor is it intended to limit the scope of the present application. The purpose of the following description is to give a concept relating to the image enhancement method and the image enhancement apparatus disclosed in the present application in a concise form, and is a preface to the detailed description to be described later.

上述した課題を解決する目的を達成するために、本願の開示する画像強調方法及び画像強調装置は、撮影された画像の画素ごとのカラー及び濃淡の拡散反射輝度を示す全拡散反射輝度を計算する。また、画像強調方法及び画像強調装置は、計算された画素ごとの全拡散反射輝度に基づいて、画素ごとを高輝度画素又は非高輝度画素に分類する。そして、画像強調方法及び画像強調装置は、分類された非高輝度画素ごとに対して、当該非高輝度画素の全拡散反射輝度に基づいて、当該非高輝度画素の彩度を強調する。   In order to achieve the object of solving the above-described problem, an image enhancement method and an image enhancement apparatus disclosed in the present application calculate a total diffuse reflection luminance indicating diffuse reflection luminance of color and shading for each pixel of a captured image. . In addition, the image enhancement method and the image enhancement apparatus classify each pixel into a high luminance pixel or a non-high luminance pixel based on the calculated total diffuse reflection luminance for each pixel. Then, the image enhancement method and the image enhancement apparatus emphasize the saturation of the non-high luminance pixel for each classified non-high luminance pixel based on the total diffuse reflection luminance of the non-high luminance pixel.

さらに、画像強調方法及び画像強調装置は、画素が画像における対象画像である場合には、対象画像の強度を示す対象画像強度を試算する。そして、画像強調方法及び画像強調装置は、画素ごとに対して、当該画素の対象画像強度に基づいて対象画像を強調する。   Furthermore, the image enhancement method and the image enhancement apparatus calculate the target image intensity indicating the intensity of the target image when the pixel is the target image in the image. Then, the image enhancement method and the image enhancement device enhance the target image for each pixel based on the target image intensity of the pixel.

また、本願の開示する画像強調方法及び画像強調装置の一つの態様によれば、上述した画像強調方法を実現するための画像強調プログラムを提供する。また、本願の開示する画像強調方法及び画像強調装置の一つの態様によれば、上述した画像強調方法を実現するためのコンピュータプログラムコードを記録するコンピュータ読み取り可能な記録媒体を提供する。   Moreover, according to one aspect of the image enhancement method and the image enhancement apparatus disclosed in the present application, an image enhancement program for realizing the above-described image enhancement method is provided. Moreover, according to one aspect of the image enhancement method and the image enhancement apparatus disclosed in the present application, a computer-readable recording medium for recording the computer program code for realizing the above-described image enhancement method is provided.

本願の開示する画像強調方法及び画像強調装置の一つの態様によれば、ホワイトボード画像に対して、画像を強調することができるという効果を奏する。例えば、画像における鏡面反射成分を減少又は除去することにより、画像の可視性を向上し、対象画像を強調することにより画像の可読性を向上することができる。   According to one aspect of the image enhancement method and the image enhancement apparatus disclosed in the present application, there is an effect that the image can be enhanced with respect to the whiteboard image. For example, the visibility of the image can be improved by reducing or removing the specular reflection component in the image, and the readability of the image can be improved by enhancing the target image.

図１は、画像強調装置が実行する実施例１に係る画像強調方法の処理の処理手順を示すフローチャートである。FIG. 1 is a flowchart illustrating the processing procedure of the image enhancement method according to the first embodiment executed by the image enhancement apparatus. 図２は、一般的なホワイトボード画像の例を示す図である。FIG. 2 is a diagram illustrating an example of a general whiteboard image. 図３は、図２のホワイトボード画像中の画素を画像強調装置が高輝度画素又は非高輝度画素に分類した例を示す図である。FIG. 3 is a diagram illustrating an example in which the pixels in the whiteboard image of FIG. 2 are classified into high luminance pixels or non-high luminance pixels by the image enhancement device. 図４は、画像強調装置が実施例１に係る画像強調方法に従って図２のホワイトボード画像に対して彩度強調を行った画像の例を示す図である。4 is a diagram illustrating an example of an image obtained by performing saturation enhancement on the whiteboard image in FIG. 2 according to the image enhancement method according to the first embodiment. 図５は、画像強調装置が実行する実施例２に係る画像強調方法の処理の処理手順を示すフローチャートである。FIG. 5 is a flowchart of the process procedure of the image enhancement method according to the second embodiment executed by the image enhancement apparatus. 図６は、図５に示すステップＳ５４０の対象画像強度試算処理の処理手順を示すフローチャートである。FIG. 6 is a flowchart showing the processing procedure of the target image intensity trial calculation process in step S540 shown in FIG. 図７は、図２のホワイトボード画像から画像強調装置が抽出した背景輝度画像の例を示す図である。FIG. 7 is a diagram illustrating an example of a background luminance image extracted by the image enhancement device from the whiteboard image of FIG. 図８は、図２のホワイトボード画像から画像強調装置が試算した対象画像強度の例を示す図である。FIG. 8 is a diagram illustrating an example of target image intensity calculated by the image enhancement device from the whiteboard image of FIG. 図９は、画像強調装置が実施例２に係る画像強調方法に従って、図２のホワイトボード画像に対して強調を行った画像の例を示す図である。FIG. 9 is a diagram illustrating an example of an image in which the image enhancement apparatus has enhanced the whiteboard image in FIG. 2 according to the image enhancement method according to the second embodiment. 図１０は、実施例３に係る画像強調装置の構成を示すブロック図である。FIG. 10 is a block diagram illustrating the configuration of the image enhancement device according to the third embodiment. 図１１は、実施例４に係る画像強調装置の構成を示すブロック図である。FIG. 11 is a block diagram illustrating the configuration of the image enhancement device according to the fourth embodiment. 図１２は、図１１に示す対象画像強度試算部１１１０の構成を示すブロック図である。FIG. 12 is a block diagram illustrating a configuration of the target image intensity estimation unit 1110 illustrated in FIG.

以下に、本願の開示する画像強調方法及び画像強調装置の実施例を図面に基づいて詳細に説明する。実施例においては、記載を明瞭かつ簡潔にするために、全ての特徴を記載していない。しかしながら、いかなる実施例を具体化する過程においても、実施例を多く見出すことによって開発者は目的を達成する。すなわち、この実施例によりこの発明が限定されるものではない。例えば、システム及び作業に関する限定条件を満たさなければならない。また、限定条件は、実施例によって変化する場合がある。また、実施例の具体化は、非常に複雑で、工夫を必要とする可能性がある。しかし、本願が開示する画像強調方法及び画像強調装置を利用した当業者にとって、限定条件を含む実施例の具体化は、日常的な作業に過ぎない。   Embodiments of an image enhancement method and an image enhancement apparatus disclosed in the present application will be described below in detail with reference to the drawings. In the examples, not all features are described for clarity and brevity. However, in the process of embodying any embodiment, the developer achieves the goal by finding many embodiments. That is, the present invention is not limited to the embodiments. For example, limited conditions regarding systems and operations must be met. Further, the limiting condition may vary depending on the embodiment. Also, the implementation of the example is very complex and may require some ingenuity. However, for those skilled in the art using the image enhancement method and the image enhancement apparatus disclosed in the present application, the implementation of the embodiment including the limiting conditions is only a daily work.

以下の実施例では、全ての図面において、同一又は類似な図面及び符号を用いて、同一又は類似の構成部を示す。図面は、以下の実施例とともに本明細書に添付される。そして、図面は、さらに例を挙げて、本願の画像強調方法及び画像強調装置に適した実施例を説明し、また、本願の原理及び効果を解釈するのに用いられる。   In the following embodiments, the same or similar components are indicated by the same or similar drawings and symbols in all the drawings. The drawings are appended hereto along with the following examples. The drawings are used to further illustrate the embodiments suitable for the image enhancement method and the image enhancement apparatus of the present application, and to interpret the principles and effects of the present application.

また、図面における構成部は簡潔及び明瞭を趣旨として示したものであり、比例に基づいて描いたものではない。例えば、図面におけるある構成部の大きさは、他の構成部に対して拡大又は縮小されることも可能である。これは、本願の実施例の理解に役立つようにするためである。   In addition, constituent parts in the drawings are shown for the sake of brevity and clarity, and are not drawn based on proportion. For example, the size of a component in the drawing can be enlarged or reduced with respect to other components. This is to help understand the embodiments of the present application.

また、必要でないものを詳細に説明することにより本願が不明瞭になることを回避するため、図面においては、本願の開示する技術に密接に関連する装置の構造及び／又は処理の処理手順のみを図示しており、本願に必須ではない他の詳細については省略する。   In addition, in order to avoid obscuring the present application by explaining in detail what is not necessary, only the structure of the apparatus and / or the processing procedure of the process closely related to the technology disclosed in the present application are illustrated in the drawings. Other details not shown and essential to the present application are omitted.

本願の実施例による画像強調方法及び画像強調装置は、ホワイトボード画像を処理対象画像とすることに最適化しているが、例えば、背景部分の輝度が、全体的に対象画像部分の輝度より高ければ、一般的な画像にも適用することが可能である。   The image enhancement method and the image enhancement apparatus according to the embodiments of the present application are optimized to use a whiteboard image as a processing target image. For example, if the luminance of the background portion is generally higher than the luminance of the target image portion. It can also be applied to general images.

図１は、画像強調装置が実行する実施例１に係る画像強調方法の処理の処理手順を示すフローチャートである。図１に示すように、画像強調装置は、ステップＳ１１０において、撮影された画像の画素ごとの全拡散反射輝度（ｔｏｔａｌ ｄｉｆｆｕｓｅ ｉｎｔｅｎｓｉｔｙ）を計算する。ここで、全拡散反射輝度は、カラー及び濃淡の拡散反射輝度を示す。低い全拡散反射輝度では、色は淡色に近づき、低い全拡散反射輝度では、鮮やかさの度合いが高まる。具体的には、画像強調装置は、画素（ｘ，ｙ）の全拡散反射輝度ｍｄ（ｘ，ｙ）を（式１）により計算することができる。なお、（ｘ，ｙ）は、画像における画素の位置座標を示す。 FIG. 1 is a flowchart illustrating the processing procedure of the image enhancement method according to the first embodiment executed by the image enhancement apparatus. As shown in FIG. 1, in step S110, the image enhancing apparatus calculates a total diffuse intensity for each pixel of a captured image. Here, the total diffuse reflection luminance indicates diffuse reflection luminance of color and shading. At low total diffuse reflection luminance, the color approaches a light color, and at low total diffuse reflection luminance, the degree of vividness increases. Specifically, the image enhancement apparatus can calculate the total diffuse reflection luminance m d (x, y) of the pixel (x, y) by (Equation 1). Note that (x, y) indicates the position coordinates of the pixel in the image.

ただし、（式１）の（１）は、画素（ｘ，ｙ）の各色成分量の最大値であり、（式１）の（２）は、画素（ｘ，ｙ）の最大彩度である。また、（式１）の（３）は、画素（ｘ，ｙ）の最大正規化拡散反射輝度であり、最大正規化拡散反射輝度が通常取る値の範囲は［１／３，１］である。全拡散反射輝度の計算については非特許文献１を参照することができる。   However, (1) in (Expression 1) is the maximum value of each color component amount of the pixel (x, y), and (2) in (Expression 1) is the maximum saturation of the pixel (x, y). . Also, (3) in (Expression 1) is the maximum normalized diffuse reflection luminance of the pixel (x, y), and the range of values that the maximum normalized diffuse reflection luminance normally takes is [1/3, 1]. . Non-patent document 1 can be referred to for the calculation of the total diffuse reflection luminance.

次に、画像強調装置は、ステップＳ１２０において、計算された画素ごとの全拡散反射輝度に基づいて各画素を高輝度画素又は非高輝度画素に分類する。以下に、画像強調装置が実行する当該画素分類処理の詳細な処理方法を具体的に説明する。   Next, in step S120, the image enhancing apparatus classifies each pixel as a high luminance pixel or a non-high luminance pixel based on the calculated total diffuse reflection luminance for each pixel. Hereinafter, a detailed processing method of the pixel classification processing executed by the image enhancement device will be specifically described.

まず、画像強調装置は、画素の全拡散反射輝度に基づいて、当該画素の拡散反射成分を計算する。詳細な計算については非特許文献１を参照することができる。次に、画像強調装置は、色成分ごとに、計算された拡散反射成分と所定の閾値とを比較する。計算された拡散反射成分がいずれの色成分においても所定の閾値より小さい場合には、画像強調装置は、ステップＳ１２０において、当該画素が非高輝度画素であると判定する。一方、計算された拡散反射成分がいずれかの色成分において所定の閾値より大きい場合には、画像強調装置は、ステップＳ１２０において、当該画素が高輝度画素であると判定する。   First, the image enhancement device calculates the diffuse reflection component of the pixel based on the total diffuse reflection luminance of the pixel. Non-patent document 1 can be referred to for detailed calculation. Next, the image enhancement device compares the calculated diffuse reflection component with a predetermined threshold value for each color component. When the calculated diffuse reflection component is smaller than the predetermined threshold value in any color component, the image enhancing apparatus determines in step S120 that the pixel is a non-high luminance pixel. On the other hand, when the calculated diffuse reflection component is larger than a predetermined threshold value in any of the color components, the image enhancing apparatus determines in step S120 that the pixel is a high luminance pixel.

図３は、図２のホワイトボード画像中の画素を画像強調装置が高輝度画素又は非高輝度画素に分類した例を示す図である。なお、図２は一般的なホワイトボード画像の例を示す図である。このうち、白色画素は高輝度画素を示し、黒色画素は非高輝度画素を示す。なお、当業者は、上述した実施の方法は、模式的な例に過ぎず、本願の開示する技術がこれに限定されないことを理解すべきである。例えば、画像強調装置は、画素の鏡面反射成分量を計算し、当該鏡面反射成分量と所定の閾値とを比較し、比較した結果に基づいて、画素の分類を行ってもよい。   FIG. 3 is a diagram illustrating an example in which the pixels in the whiteboard image of FIG. 2 are classified into high luminance pixels or non-high luminance pixels by the image enhancement device. FIG. 2 is a diagram showing an example of a general whiteboard image. Among these, a white pixel shows a high-intensity pixel and a black pixel shows a non-high-intensity pixel. It should be understood by those skilled in the art that the above-described implementation method is only a schematic example, and the technology disclosed in the present application is not limited thereto. For example, the image enhancement apparatus may calculate the specular reflection component amount of the pixel, compare the specular reflection component amount with a predetermined threshold value, and perform pixel classification based on the comparison result.

図１に戻って、画像強調装置は、ステップＳ１３０において、非高輝度画素ごとに対して、当該非高輝度画素の全拡散反射輝度に基づいて、彩度を強調する。これにより、画像強調装置は、画像における非高輝度画素の可視性を向上する。ここで、画像強調装置が実行する当該彩度強調処理は、具体的には、線形的又は非線形的な強調を用いることができる。例えば、画像強調装置は、（式２）により彩度強調を行うことができる。   Returning to FIG. 1, in step S <b> 130, the image enhancing apparatus enhances the saturation for each non-high luminance pixel based on the total diffuse reflection luminance of the non-high luminance pixel. As a result, the image enhancement device improves the visibility of the non-high brightness pixels in the image. Here, the saturation enhancement processing executed by the image enhancement device can specifically use linear or nonlinear enhancement. For example, the image enhancement apparatus can perform saturation enhancement according to (Equation 2).

ただし、（式２）の（１）は、強調後の彩度である。また、（式２）の（２）は、強調前の彩度である。また、（式２）の（３）は、画素（ｘ，ｙ）の正規化した全拡散反射輝度である。また、（式２）の（４）は、強調度合いを制御する所定の重み付けである。   However, (1) in (Equation 2) is the saturation after enhancement. Also, (2) in (Expression 2) is the saturation before enhancement. Also, (3) in (Expression 2) is the normalized total diffuse reflection luminance of the pixel (x, y). Further, (4) in (Expression 2) is a predetermined weighting for controlling the degree of enhancement.

図４は、画像強調装置が実施例１に係る画像強調方法に従って図２のホワイトボード画像に対して彩度強調を行った画像の例を示す図である。   4 is a diagram illustrating an example of an image obtained by performing saturation enhancement on the whiteboard image in FIG. 2 according to the image enhancement method according to the first embodiment.

画像強調装置は、ステップＳ１３０において、高輝度画素ごとに対して、その色相と彩度を保持した状況で、当該高輝度画素の輝度を画像の平均輝度まで低下させて最適化する。このように、高輝度画素の輝度を減少することにより、画像における鏡面反射により発生する高輝度領域を除去することができるので、画像強調装置は、画像の可視性をさらに向上することができる。   In step S130, the image enhancement apparatus optimizes the high luminance pixel by reducing the luminance of the high luminance pixel to the average luminance of the image in a state where the hue and saturation are maintained for each high luminance pixel. In this way, by reducing the luminance of the high luminance pixels, the high luminance region generated by the specular reflection in the image can be removed, so that the image enhancement device can further improve the visibility of the image.

図５は、画像強調装置が実行する実施例２に係る画像強調方法の処理の処理手順を示すフローチャートである。なお、図５のステップＳ５１０からステップＳ５３０までの処理は、図１のステップＳ１１０からステップＳ１３０までの処理に対応する。このため、ここではステップＳ５１０からステップＳ５３０までの処理の説明を省略し、実施例１と異なるステップＳ５４０以降の処理についてのみ説明する。   FIG. 5 is a flowchart of the process procedure of the image enhancement method according to the second embodiment executed by the image enhancement apparatus. Note that the processing from step S510 to step S530 in FIG. 5 corresponds to the processing from step S110 to step S130 in FIG. For this reason, description of the process from step S510 to step S530 is omitted here, and only the process after step S540 different from the first embodiment will be described.

画像強調装置は、ステップＳ５４０において、画像における画素ごとの対象画像強度を試算する。ここで、対象画像強度は、画像における画素の対象画像の強度を示す。以下、図６を用いて、当該対象画像強度試算処理の具体的な処理手順について詳細に説明する。しかし、当業者は、本願の開示する技術が下記の実施の方法に限定されないことを理解すべきである。   In step S540, the image enhancement apparatus calculates the target image intensity for each pixel in the image. Here, the target image intensity indicates the intensity of the target image of the pixel in the image. Hereinafter, a specific processing procedure of the target image intensity trial calculation process will be described in detail with reference to FIG. However, those skilled in the art should understand that the technology disclosed in the present application is not limited to the following implementation method.

図６は、図５に示すステップＳ５４０の対象画像強度試算処理の処理手順を示すフローチャートである。図６に示すように、画像強調装置は、ステップＳ６１０において、画像の背景輝度画像を抽出する。従来技術において、画像の背景輝度画像を抽出する方法が多く開示されている。ここでは、一種の簡単な方法、画像の輝度画像に対して平均値フィルターを加味する方法を用いる。具体的に言えば、画像強調装置は、画素ごとに対して、当該画素に隣接する領域内の画素の輝度平均値を当該画素の背景輝度として計算する。ここで、画像強調装置は、当該画素に隣接する領域を当該画素を中心とする方形及び円形の領域を選択することができる。   FIG. 6 is a flowchart showing the processing procedure of the target image intensity trial calculation process in step S540 shown in FIG. As shown in FIG. 6, the image enhancing apparatus extracts a background luminance image of the image in step S610. In the prior art, many methods for extracting a background luminance image of an image have been disclosed. Here, a kind of simple method, a method of adding an average value filter to the luminance image of the image, is used. Specifically, for each pixel, the image enhancement device calculates the luminance average value of the pixels in the area adjacent to the pixel as the background luminance of the pixel. Here, the image enhancement apparatus can select a square area and a circular area around the pixel as an area adjacent to the pixel.

ホワイトボード画像における対象画像の輝度がホワイトボード画像における背景の輝度より低いという仮定に基づいて、画像強調装置は、上記背景輝度画像抽出処理に対して補正を行う。画像強調装置は、平均値計算において対象画像である可能性がある画素を除去することで最適化する。具体的には、画像強調装置が実行する画像の背景輝度画像を抽出する処理は、以下の処理を所定の回数繰り返す。   Based on the assumption that the luminance of the target image in the whiteboard image is lower than the luminance of the background in the whiteboard image, the image enhancement device corrects the background luminance image extraction process. The image enhancement device performs optimization by removing pixels that may be the target image in the average value calculation. Specifically, in the process of extracting the background luminance image of the image executed by the image enhancement apparatus, the following process is repeated a predetermined number of times.

すなわち、画像強調装置は、画素ごとに対して、当該画素に隣接する領域内の画素において、輝度が当該画素の背景輝度に係数を掛けた輝度より大きい画素を選択し、選択された画素の輝度平均値を当該画素の背景輝度として計算する。ここで、係数は、対象画像画素又は背景画素を判別する所定の重み付けであり、例えば、０．９又は他の値が取られる。通常、画像強調装置が２回から３回の繰り返し処理を行った後に得られる背景輝度画像は、非常に質の高い画像である。図７は、上記処理に従って、図２のホワイトボード画像から画像強調装置が抽出した背景輝度画像の例を示す図である。   That is, for each pixel, the image enhancement device selects a pixel whose luminance is higher than the luminance obtained by multiplying the background luminance of the pixel by a coefficient in the pixel in the region adjacent to the pixel, and the luminance of the selected pixel. The average value is calculated as the background luminance of the pixel. Here, the coefficient is a predetermined weight for determining the target image pixel or the background pixel, and for example, 0.9 or another value is taken. Usually, the background luminance image obtained after the image enhancement device performs the repeated processing from 2 to 3 times is a very high quality image. FIG. 7 is a diagram illustrating an example of a background luminance image extracted by the image enhancement device from the whiteboard image of FIG. 2 according to the above processing.

次に、画像強調装置は、ステップＳ６２０において、画像の輝度画像と背景輝度画像との差分の値から計算される画像である、差分画像を取得する。具体的には、画像強調装置は、（式３）により差分画像を計算する。   Next, in step S620, the image enhancement apparatus obtains a difference image that is an image calculated from the difference value between the luminance image of the image and the background luminance image. Specifically, the image enhancement device calculates a difference image by (Equation 3).

ただし、ｇ（ｘ，ｙ）は、画素（ｘ，ｙ）の輝度であり、ｇｎ（ｘ，ｙ）は画素（ｘ，ｙ）の背景輝度である。 However, g (x, y) is the luminance of the pixel (x, y), and g n (x, y) is the background luminance of the pixel (x, y).

次に、画像強調装置は、ステップＳ６３０において、画像の輝度極値を試算する。画像において、例えば、対象画像が文字である画素の輝度は少なくとも一方向においてその周囲画素の輝度より低いという仮定に基づくと、画像強調装置が実行する対象画像の輝度極値試算処理の具体的な計算手順は下記のようになる。すなわち、画像強調装置は、まず画素ごとに対して、当該画素の少なくとも一方向における対象画像の輝度極値を計算し、算出された輝度極値中の最大値を当該画素の輝度極値として確定する。０°、４５°、９０°、１３５°の４つの方向を取って最適化する場合、画像強調装置は、画素ｐ＝（ｘ，ｙ）の４方向（ｋ＝１から４）における輝度極値ｔｋ（ｘ，ｙ）を（式４）により計算することができる。 Next, in step S630, the image enhancement apparatus calculates a luminance extreme value of the image. In the image, for example, based on the assumption that the luminance of a pixel whose target image is a character is lower than the luminance of its surrounding pixels in at least one direction, a specific processing of the luminance extreme value calculation process of the target image executed by the image enhancement device The calculation procedure is as follows. That is, for each pixel, the image enhancement device first calculates the luminance extreme value of the target image in at least one direction of the pixel, and determines the maximum value among the calculated luminance extreme values as the luminance extreme value of the pixel. To do. When optimization is performed by taking four directions of 0 °, 45 °, 90 °, and 135 °, the image enhancing apparatus performs luminance extreme values in four directions (k = 1 to 4) of the pixel p = (x, y). t k (x, y) can be calculated by (Equation 4).

ただし、ｐ１１＝（ｘ−τ，ｙ），ｐ１２＝（ｘ＋τ，ｙ），ｐ２１＝（ｘ＋τ，ｙ＋τ），ｐ２２＝（ｘ−τ，ｙ−τ），ｐ３１＝（ｘ，ｙ＋τ），ｐ３２＝（ｘ，ｙ−τ），ｐ４１＝（ｘ−τ，ｙ＋τ），ｐ４２＝（ｘ＋τ，ｙ−τ）である。また、τは予め設定された幅である。なお、τは、画像における文字の幅に近い値に設定され最適化される。また、ｇ（ｐｋ１）は画素ｐｋ１の輝度を、ｇ（ｐｋ２）は画素ｐｋ２の輝度を、ｇ（ｐ）は画素ｐの輝度を示す。そして、画素（ｘ，ｙ）の輝度極値ｔ（ｘ，ｙ）はｔｋ（ｘ，ｙ）の最大値であり、ここで、Ｋ＝１から４である。 However, p11 = (x−τ, y), p12 = (x + τ, y), p21 = (x + τ, y + τ), p22 = (x−τ, y−τ), p31 = (x, y + τ), p32 = (X, y−τ), p41 = (x−τ, y + τ), p42 = (x + τ, y−τ). Τ is a preset width. Note that τ is set to a value close to the character width in the image and optimized. Further, g (pk1) represents the luminance of the pixel pk1, g (pk2) represents the luminance of the pixel pk2, and g (p) represents the luminance of the pixel p. The luminance extreme value t (x, y) of the pixel (x, y) is the maximum value of t k (x, y), where K = 1 to 4.

最後に、画像強調装置は、ステップＳ６４０において、差分画像と輝度極値画像に基づいて、画像における画素ごとの対象画像強度を計算する。ここで、画像強調装置は、さまざまな算法を用いて画素の対象画像強度を計算することができる。例えば、画像強調装置は、画素（ｘ，ｙ）の対象画像強度ｓ（ｘ，ｙ）を下記のように計算する。すなわち、画像強調装置は、画素（ｘ，ｙ）の背景輝度値と輝度値との差ｄ（ｘ，ｙ）を画素（ｘ，ｙ）の輝度極値ｔ（ｘ，ｙ）に掛けた後、区間[０，１]に正規化する。   Finally, in step S640, the image enhancement apparatus calculates the target image intensity for each pixel in the image based on the difference image and the luminance extreme value image. Here, the image enhancement apparatus can calculate the target image intensity of a pixel using various arithmetic methods. For example, the image enhancement device calculates the target image intensity s (x, y) of the pixel (x, y) as follows. That is, the image enhancement apparatus applies the difference d (x, y) between the background luminance value and the luminance value of the pixel (x, y) to the luminance extreme value t (x, y) of the pixel (x, y). , Normalize to interval [0, 1].

もしくは、画像強調装置は、対象画像強度を計算する過程において、画素の輝度ｇ（ｘ，ｙ）を利用して更なる補正を行って、高輝度領域内の対象画像強度が一定の抑制を受けるようにする。具体的には、画像強調装置は、画素（ｘ，ｙ）の対象画像強度ｓ（ｘ，ｙ）を（式５）により計算することができる。   Alternatively, in the process of calculating the target image intensity, the image enhancement apparatus performs further correction using the luminance g (x, y) of the pixel, and the target image intensity in the high luminance region is subjected to a certain suppression. Like that. Specifically, the image enhancement device can calculate the target image intensity s (x, y) of the pixel (x, y) by (Equation 5).

ここで、ｇｍａｘは、許容する最大の輝度値であり、通常、その値は、２５５をとる。図８は、上記処理に従って、図２のホワイトボード画像から画像強調装置が試算した対象画像強度の例を示す図である。 Here, g max is an allowable maximum luminance value, and normally the value takes 255. FIG. 8 is a diagram illustrating an example of the target image intensity calculated by the image enhancement device from the whiteboard image of FIG. 2 according to the above processing.

図５に戻って、画像強調装置は、ステップＳ５５０において、画素ごとに対して、その対象画像強度に基づいて、その輝度を調整することにより、画像における対象画像を明確化し、画像の可読性を向上するようにする。例えば、画像強調装置は、（式６）に従って、直接、画素（ｘ，ｙ）の対象画像強度ｓ（ｘ，ｙ）に基づいてその対象画像を強調することができる。   Returning to FIG. 5, in step S550, the image enhancement device clarifies the target image in the image and improves the readability of the image by adjusting the luminance for each pixel based on the target image intensity. To do. For example, the image enhancement apparatus can directly enhance the target image based on the target image intensity s (x, y) of the pixel (x, y) according to (Equation 6).

ここで、（式６）の（１）は、画素（ｘ，ｙ）の強調後の輝度であり、（式６）の（２）は画像背景の平均輝度であり、画像の中心領域内に現れる頻度が最も高い輝度として試算されることができる。また、（式６）の（３）は、画素（ｘ，ｙ）の対象画像強度を区間[０，１]に正規化した後の値である。   Here, (1) in (Equation 6) is the luminance after enhancement of the pixel (x, y), (2) in (Equation 6) is the average luminance of the image background, and is within the central region of the image. It can be calculated as the luminance with the highest frequency of appearance. Further, (3) in (Expression 6) is a value after normalizing the target image intensity of the pixel (x, y) to the interval [0, 1].

もしくは、画像強調装置は、画素（ｘ，ｙ）の対象画像強度ｓ（ｘ，ｙ）に基づいて画素（ｘ，ｙ）の輝度ｇ（ｘ，ｙ）を調整するに際して、画素の全拡散反射輝度ｍｄ（ｘ，ｙ）をさらに考慮することができる。具体的には、画像強調装置は、ｇ＊（ｘ，ｙ）を（式７）により計算することができる。 Alternatively, when the image enhancement device adjusts the luminance g (x, y) of the pixel (x, y) based on the target image intensity s (x, y) of the pixel (x, y), the total diffuse reflection of the pixel is performed. The luminance m d (x, y) can be further taken into account. Specifically, the image enhancing apparatus can calculate g * (x, y) by (Expression 7).

ここで、ｍｄ（ｘ，ｙ）＜Ｔである場合、ｆ＝１であり、ｍｄ（ｘ，ｙ）＞＝Ｔである場合、ｆ＝１−（ｍｄ（ｘ，ｙ）―Ｔ）＊Ｔ２である。なお、Ｔは閾値であり、Ｔ２は重み付けであり、全拡散反射輝度に基づいて画像強調装置が対象画像の輝度を強調するのに用いられる。こうして、画像強調装置は、輝度が高い画素に対しては、輝度を低下させてコントラストを調整することができる。そうでなければ、すべての対象画像画素を黒色に近づける可能性がある。なぜなら、輝度が低すぎる場合には、カラー画素も黒色に近づくからである。図９は、画像強調装置が実施例２に係る画像強調方法に従って、図２のホワイトボード画像に対して強調を行った画像の例を示す図である。なお、（式７）の（１）は、画素（ｘ，ｙ）の強調後の輝度であり、（式７）の（２）は画像背景の平均輝度であり、画像の中心領域内現れる頻度が最も高い輝度として試算されることができる。また、（式７）の（３）は、画素（ｘ，ｙ）の対象画像強度を区間[０，１]に正規化した後の値である。 Here, when m d (x, y) <T, f = 1, and when m d (x, y)> = T, f = 1− (m d (x, y) −T. ) * T2. Note that T is a threshold value, T2 is weighting, and is used by the image enhancement device to enhance the luminance of the target image based on the total diffuse reflection luminance. In this way, the image enhancement apparatus can adjust the contrast by reducing the luminance of pixels with high luminance. Otherwise, all target image pixels may be brought closer to black. This is because when the luminance is too low, the color pixel also approaches black. FIG. 9 is a diagram illustrating an example of an image in which the image enhancement apparatus has enhanced the whiteboard image in FIG. 2 according to the image enhancement method according to the second embodiment. Note that (1) in (Expression 7) is the brightness after enhancement of the pixel (x, y), (2) in (Expression 7) is the average brightness of the image background, and the frequency of appearing in the central region of the image Can be calculated as the highest luminance. Further, (3) in (Expression 7) is a value after normalizing the target image intensity of the pixel (x, y) to the interval [0, 1].

以上、図面を参照して、画像強調装置が実行する本願の実施例に係る画像強調方法を詳細に説明した。以下は、図面を参照して、本願の実施例に係る画像強調装置を説明する。   The image enhancement method according to the embodiment of the present application executed by the image enhancement apparatus has been described above in detail with reference to the drawings. Hereinafter, an image enhancement apparatus according to an embodiment of the present application will be described with reference to the drawings.

図１０は、実施例３に係る画像強調装置の構成を示すブロック図である。簡単のため、実施例に密接に関連する部分のみを示す。画像強調装置１０００は、図１を参照して記載した画像強調方法を実行することができる。図１０に示すように、画像強調装置１０００は、全拡散反射輝度計算部１０１０と、画素分類部１０２０と、彩度強調部１０３０とを有する。   FIG. 10 is a block diagram illustrating the configuration of the image enhancement device according to the third embodiment. For simplicity, only those parts closely related to the embodiment are shown. The image enhancement apparatus 1000 can execute the image enhancement method described with reference to FIG. As illustrated in FIG. 10, the image enhancement apparatus 1000 includes a total diffuse reflection luminance calculation unit 1010, a pixel classification unit 1020, and a saturation enhancement unit 1030.

全拡散反射輝度計算部１０１０は、撮影された画像の画素ごとのカラー及び濃淡の拡散反射輝度を示す全拡散反射輝度を計算することができる。画素分類部１０２０は、画素ごとの全拡散反射輝度に基づいて、画素ごとを高輝度画素または非高輝度画素に分類することができる。彩度強調部１０３０は、非高輝度画素に対して、その全拡散反射輝度に基づいて彩度を強調することができる。彩度強調部１０３０は、高輝度画素に対しても、色相と彩度を維持したまま、輝度を当該画像の平均輝度まで低下させることで彩度を最適化することができる。   The total diffuse reflection luminance calculation unit 1010 can calculate the total diffuse reflection luminance indicating the color and shading diffuse reflection luminance for each pixel of the captured image. The pixel classifying unit 1020 can classify each pixel into a high luminance pixel or a non-high luminance pixel based on the total diffuse reflection luminance for each pixel. The saturation enhancement unit 1030 can enhance the saturation of non-high luminance pixels based on the total diffuse reflection luminance. The saturation enhancement unit 1030 can optimize the saturation of high luminance pixels by reducing the luminance to the average luminance of the image while maintaining the hue and saturation.

ここで、全拡散反射輝度計算部１０１０は、図１のステップＳ１１０に対応する処理を実行する。また、画素分類部１０２０は、図１のステップＳ１２０に対応する処理を実行する。また、彩度強調部１０３０は、図１のステップＳ１３０に対応する処理を実行する。なお、上述した処理の処理手順の説明を参照することによって、画像強調装置１０００の各構成部がどのように処理を行うかが明確であるので、詳細な説明は省略する。   Here, the total diffuse reflection luminance calculation unit 1010 executes a process corresponding to step S110 in FIG. In addition, the pixel classification unit 1020 executes a process corresponding to step S120 in FIG. In addition, the saturation enhancement unit 1030 executes a process corresponding to step S130 in FIG. Note that it is clear how each component of the image enhancement apparatus 1000 performs processing by referring to the description of the processing procedure of the processing described above, and thus detailed description thereof is omitted.

図１１は、実施例４に係る画像強調装置の構成を示すブロック図である。簡潔化のため、実施例に密接に関連する部分のみを示す。画像強調装置１１００は、図５を用いて説明した画像強調方法を実行することができる。図１１に示すように、画像強調装置１１００は、図１０に示す画像強調装置１０００に追加して、以下の２つの制御部、すなわち、対象画像強度試算部１１１０と対象画像強調部１１２０とを有する。なお、図１０に示した制御部と同様の役割を果たす制御部については、同一符号を付すことにしてその詳細な説明を省略する。   FIG. 11 is a block diagram illustrating the configuration of the image enhancement device according to the fourth embodiment. For the sake of brevity, only the part closely related to the embodiment is shown. The image enhancement apparatus 1100 can execute the image enhancement method described with reference to FIG. As shown in FIG. 11, in addition to the image enhancement apparatus 1000 shown in FIG. 10, the image enhancement apparatus 1100 includes the following two control units, that is, a target image intensity trial calculation unit 1110 and a target image enhancement unit 1120. . In addition, about the control part which plays the role similar to the control part shown in FIG. 10, the detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.

対象画像強度試算部１１１０は、当該画像における画素ごとの対象画像強度を試算することができる。ここで、当該対象画像強度は、当該画素の当該画像における対象画像の強度を示す。対象画像強調部１１２０は、画素ごとに対して、その対象画像強度に基づいて、その輝度を調整することができる。   The target image intensity estimation unit 1110 can calculate the target image intensity for each pixel in the image. Here, the target image intensity indicates the intensity of the target image in the image of the pixel. The target image emphasizing unit 1120 can adjust the luminance of each pixel based on the target image intensity.

図１２に示すように、対象画像強度試算部１１１０は、当該画像の背景輝度画像を抽出するための背景輝度画像抽出部１２１０と、当該画像の輝度画像と当該背景輝度画像との差分画像を取得するための差分画像取得部１２２０と、当該画像の輝度極値を試算するための輝度極値試算部１２３０と、当該差分画像と当該輝度極値画像に基づいて、当該画像における画素ごとの対象画像強度を計算するための対象画像強度計算部１２４０とをさらに有するように最適化されてもよい。なお、図１２は、図１１に示す対象画像強度試算部１１１０の構成を示すブロック図である。   As illustrated in FIG. 12, the target image intensity estimation unit 1110 obtains a background luminance image extraction unit 1210 for extracting a background luminance image of the image, and a difference image between the luminance image of the image and the background luminance image. A difference image acquisition unit 1220 for performing the calculation, a luminance extreme value calculation unit 1230 for calculating a luminance extreme value of the image, and a target image for each pixel in the image based on the difference image and the luminance extreme value image You may optimize so that it may further have the object image intensity | strength calculation part 1240 for calculating an intensity | strength. FIG. 12 is a block diagram showing a configuration of the target image intensity trial calculation unit 1110 shown in FIG.

対象画像強度試算部１１１０は、図５のステップＳ５４０に対応する処理を実行する。また、対象画像強調部１１２０は、図５のステップＳ５５０に対応する処理を実行する。また、背景輝度画像抽出部１２１０は、図６のステップＳ６１０に対応する処理を実行する。また、差分画像取得部１２２０、図６のステップＳ６２０に対応する処理を実行する。また、輝度極値試算部１２３０は、図６のステップＳ６３０に対応する処理を実行する。また、対象画像強度計算部１２４０は、図６のステップＳ６４０に対応する処理を実行する。なお、上述した処理の処理手順の説明を参照することによって、画像強調装置１１００と対象画像強度試算部１１１０の各構成部がどのように処理を行うかが明確であるので、詳細な説明は省略する。ここで、図１１に示す画像強調装置１１００の構成と図１２に示す対象画像強度試算部１１１０の構成は、模式的に示した例に過ぎず、当業者は必要に応じて図１１及び図１２に示すブロック図に対して変更を行うことができることを補足する。   The target image intensity calculation unit 1110 executes processing corresponding to step S540 in FIG. In addition, the target image emphasizing unit 1120 executes processing corresponding to step S550 in FIG. Further, the background luminance image extraction unit 1210 executes processing corresponding to step S610 in FIG. Moreover, the process corresponding to the difference image acquisition part 1220 and step S620 of FIG. 6 is performed. Moreover, the brightness | luminance extreme value estimation part 1230 performs the process corresponding to FIG.6 S630. In addition, the target image intensity calculation unit 1240 executes processing corresponding to step S640 of FIG. Note that it is clear how each component of the image enhancement device 1100 and the target image intensity estimation unit 1110 performs the processing by referring to the description of the processing procedure of the above-described processing, and thus detailed description is omitted. To do. Here, the configuration of the image enhancement apparatus 1100 shown in FIG. 11 and the configuration of the target image intensity trial calculation unit 1110 shown in FIG. 12 are only examples schematically shown, and those skilled in the art will be able to use FIGS. It is supplemented that changes can be made to the block diagram shown in FIG.

本願に係る画像強調方法及び画像強調装置は、画像撮影装置を備える携帯用デバイスに適用することができる。あるいは、デジタルカメラ又はビデオカメラの画像撮影装置に適用することができる。さらに、本願に係る画像強調方法及び画像強調装置は、汎用のコンピュータを含む他の何らかの計算装置にも適用されることは明らかである。   The image enhancement method and the image enhancement apparatus according to the present application can be applied to a portable device including an image capturing apparatus. Alternatively, it can be applied to an image photographing device of a digital camera or a video camera. Furthermore, it is obvious that the image enhancement method and the image enhancement apparatus according to the present application are also applied to some other calculation apparatus including a general-purpose computer.

また、本実施例に係る上述した方法の各作業過程は、各種のデバイスが読み取り可能な記録媒体に記憶される、コンピュータが実行可能なプログラムの形で実現されることは、明らかである。   In addition, it is obvious that each operation process of the above-described method according to the present embodiment is realized in the form of a computer-executable program stored in a recording medium readable by various devices.

なお、本願の目的は、下記の形態で実現されることも可能である。すなわち、実行可能なプログラムコードを記憶している記録媒体を、直接または間接的にシステム又は装置に提供し、当該システムまたは装置中のコンピュータあるいは中央処理装置（ＣＰＵ）がそれを読み出してプログラムコードを実行する。このとき、当該システムあるいは装置がプログラムを実行する機能を備えていれば、本願の実施例はプログラムに限定されず、かつ当該プログラムはいずれの形でもよい。例えば、オブジェクトプログラム、インタープリタが実行するプログラムあるいはオペレーティングシステムに提供されたシナリオプログラムなどの可能性もある。   The object of the present application can also be realized in the following form. That is, a recording medium storing executable program code is directly or indirectly provided to a system or apparatus, and a computer or central processing unit (CPU) in the system or apparatus reads the program code to read the program code. Run. At this time, as long as the system or apparatus has a function of executing the program, the embodiment of the present application is not limited to the program, and the program may take any form. For example, there may be an object program, a program executed by an interpreter, or a scenario program provided to an operating system.

上記のデバイスがプログラムを読み取る記録媒体は、各種メモリ、記憶装置、半導体装置、ディスク装置、例えば光ディスク、磁気ディスク、光磁気ディスク、及び他の情報を記憶するに適した媒体などが含まれているが、これらに限られるものではない。   Recording media from which the device reads the program include various memories, storage devices, semiconductor devices, disk devices such as optical disks, magnetic disks, magneto-optical disks, and other media suitable for storing information. However, it is not limited to these.

また、コンピュータは、インターネット上の対応のウェブサイトに接続して、本願に係るコンピュータプログラムコードをダウンロードしてコンピュータにインストールした後、当該プログラムを実行することにより、本実施例を実現することができる。   In addition, the computer can be realized by connecting to a corresponding website on the Internet, downloading the computer program code according to the present application, installing the computer program code on the computer, and then executing the program. .

本実施例の画像強調方法及び画像強調装置において、各ステップ又は各構成部は、分散及び／又は統合することができる。これらの分散及び／又は統合は、本実施例の同等の実施の形態として見なされるべきである。かつ、上述した処理の処理手順の各ステップは、説明の順を時間順として正常に実行することができるが、必ずしも説明の順に実行する必要はない。幾つかのステップは、並列あるいは互いに独立して実行することができる。   In the image enhancement method and the image enhancement apparatus of the present embodiment, each step or each component can be distributed and / or integrated. These distributions and / or integrations should be considered as equivalent embodiments of this example. And although each step of the processing procedure of the processing described above can be normally executed in the order of description as a time order, it is not always necessary to execute in the order of description. Some steps can be performed in parallel or independently of each other.

以上、図面を参照して、開示技術の実施例を詳細に説明したが、上述した実施例は、開示技術を説明するために過ぎず、開示技術に対して如何なる限定にもならない。当業者にとっては、本願の実質及び範囲を脱離しない限り、上述した実施例に対して各種の訂正と変更を行えることが可能であることは明らかである。従って、本願の範囲は、添付の特許請求の範囲及びそれに同等する意味のみにより限定される。   The embodiments of the disclosed technology have been described in detail above with reference to the drawings. However, the above-described embodiments are merely for explaining the disclosed technology and do not limit the disclosed technology in any way. It will be apparent to those skilled in the art that various modifications and variations can be made to the embodiments described above without departing from the substance and scope of the present application. Accordingly, the scope of the present application is limited only by the appended claims and equivalents thereof.

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。   The following supplementary notes are further disclosed with respect to the embodiments including the above examples.

（付記１）画像強調装置が、
撮影された画像の画素ごとのカラー及び濃淡の拡散反射輝度を示す全拡散反射輝度を計算する全拡散反射輝度計算ステップと、
前記全拡散反射輝度計算ステップによって計算された画素ごとの全拡散反射輝度に基づいて、画素ごとを高輝度画素又は非高輝度画素に分類する画素分類ステップと、
前記画素分類ステップによって分類された非高輝度画素ごとに対して、当該非高輝度画素の全拡散反射輝度に基づいて、当該非高輝度画素の彩度を強調する彩度強調ステップと
を実行することを特徴とする画像強調方法。 (Supplementary note 1) The image enhancement device is
A total diffuse reflection luminance calculating step for calculating a total diffuse reflection luminance indicating the diffuse reflection luminance of color and shading for each pixel of a captured image;
A pixel classification step for classifying each pixel into a high-luminance pixel or a non-high-luminance pixel based on the total diffuse reflection luminance for each pixel calculated by the total diffuse reflection luminance calculation step;
For each non-high luminance pixel classified by the pixel classification step, a saturation enhancement step of enhancing the saturation of the non-high luminance pixel based on the total diffuse reflection luminance of the non-high luminance pixel An image enhancement method characterized by that.

（付記２）前記彩度強調ステップは、前記画素分類ステップによって分類された高輝度画素ごとに対して、当該高輝度画素の色相及び彩度を維持したまま、当該高輝度画素の輝度を画像の平均輝度まで低下させる輝度低下ステップをさらに含むことを特徴とする付記１に記載の画像強調方法。 (Supplementary Note 2) For the high-brightness pixels classified by the pixel classification step, the saturation emphasis step is configured to change the luminance of the high-brightness pixels while maintaining the hue and saturation of the high-brightness pixels. The image enhancement method according to appendix 1, further comprising a luminance reduction step of reducing the luminance to an average luminance.

（付記３）前記画素分類ステップは、
前記画素の全拡散反射輝度に基づいて、前記画素の拡散反射成分を計算する拡散反射成分計算ステップと、
前記拡散反射成分計算ステップによって計算された拡散反射成分と所定の閾値とを色成分ごとに比較する比較ステップと、
前記比較ステップによって比較された拡散反射成分が、いずれの色成分においても所定の閾値より小さい場合には、前記画素を非高輝度画素であると判定し、いずれかの色成分において所定の閾値より大きい場合には、前記画素を高輝度画素であると判定する判定ステップと
をさらに含むことを特徴とする付記１に記載の画像強調方法。 (Supplementary Note 3) The pixel classification step includes:
A diffuse reflection component calculation step of calculating a diffuse reflection component of the pixel based on the total diffuse reflection luminance of the pixel;
A comparison step for comparing the diffuse reflection component calculated by the diffuse reflection component calculation step with a predetermined threshold value for each color component;
If the diffuse reflection component compared in the comparison step is smaller than a predetermined threshold value in any color component, the pixel is determined to be a non-high luminance pixel, and the color component is determined to be less than the predetermined threshold value in any color component. The image enhancement method according to appendix 1, further comprising: a determination step of determining that the pixel is a high-luminance pixel if the pixel is large.

（付記４）画像強調装置が、
対象画像の輝度を強調する際の係数である対象画像強度を試算する対象画像強度試算ステップと、
前記画素ごとに対して、当該画素の対象画像強度に基づいて対象画像を強調する対象画像強調ステップと
をさらに実行することを特徴とする付記１に記載の画像強調方法。 (Appendix 4) The image enhancement device is
A target image strength trial calculation step for trial calculation of a target image strength which is a coefficient for enhancing the luminance of the target image;
The image enhancement method according to claim 1, further comprising: a target image enhancement step of enhancing a target image based on a target image intensity of the pixel for each pixel.

（付記５）前記対象画像強度試算ステップは、
画像の背景輝度画像を抽出する背景輝度画像抽出ステップと、
前記画像の輝度画像と前記背景輝度画像抽出ステップによって抽出された背景輝度画像との差分画像を取得する差分画像取得ステップと、
前記画像の対象画像の輝度極値を試算する対象画像の輝度極値試算ステップと、
前記差分画像取得ステップによって取得された差分画像と前記対象画像の輝度極値試算ステップによって試算された対象画像の輝度極値とに基づいて、前記画像における画素ごとの対象画像強度を計算する対象画像強度計算ステップと
をさらに含むことを特徴とする付記４に記載の画像強調方法。 (Supplementary Note 5) The target image intensity estimation step includes:
A background luminance image extraction step for extracting a background luminance image of the image;
A difference image acquisition step of acquiring a difference image between the luminance image of the image and the background luminance image extracted by the background luminance image extraction step;
A luminance extreme value calculation step of the target image for calculating the luminance extreme value of the target image of the image; and
A target image for calculating the target image intensity for each pixel in the image based on the difference image acquired in the difference image acquisition step and the luminance extreme value of the target image calculated in the luminance extreme value calculation step of the target image The image enhancement method according to appendix 4, further comprising: an intensity calculation step.

（付記６）前記背景輝度画像抽出ステップは、画素ごとに対して、当該画素が隣接する領域内の画素の輝度平均値を前記画素の背景輝度として計算する背景輝度計算ステップを含むことを特徴とする付記５に記載の画像強調方法。 (Supplementary Note 6) The background luminance image extraction step includes a background luminance calculation step for calculating, for each pixel, an average luminance value of pixels in an area adjacent to the pixel as a background luminance of the pixel. The image enhancement method according to appendix 5.

（付記７）前記背景輝度画像抽出ステップは、画素ごとに対して、当該画素が隣接する領域内の画素の輝度が前記画素の背景輝度に所定の係数を掛けた輝度より大きい画素を選択する画素選択ステップと、
前記画素選択ステップによって選択された画素の輝度平均値を前記画素の背景輝度として計算し、当該計算を所定の回数反復する背景輝度反復計算ステップと
をさらに含むことを特徴とする付記６に記載の画像強調方法。 (Supplementary note 7) The background luminance image extracting step selects, for each pixel, a pixel whose luminance in a region adjacent to the pixel is larger than a luminance obtained by multiplying the background luminance of the pixel by a predetermined coefficient. A selection step;
7. The supplementary note 6, further comprising: a background luminance iteration calculation step of calculating an average luminance value of the pixels selected in the pixel selection step as a background luminance of the pixel and repeating the calculation a predetermined number of times. Image enhancement method.

（付記８）前記対象画像の輝度極値試算ステップは、画素ごとに対して、前記画素の少なくとも一方向における対象画像の輝度極値を計算する対象画像の輝度極値計算ステップと、
前記対象画像の輝度極値計算ステップによって計算された対象画像の輝度極値の最大値を前記画素の輝度極値として判定する対象画像の輝度極値判定ステップと
を含むことを特徴とする付記５に記載の画像強調方法。 (Supplementary Note 8) The luminance extreme value calculation step of the target image includes, for each pixel, a luminance extreme value calculation step of the target image that calculates a luminance extreme value of the target image in at least one direction of the pixel;
And a step of determining a luminance extreme value of the target image, wherein the maximum value of the luminance extreme value of the target image calculated by the step of calculating the luminance extreme value of the target image is determined as the luminance extreme value of the pixel. The image enhancement method described in 1.

（付記９）前記対象画像強調ステップは、前記画素の対象画像強度と全拡散反射輝度とに基づいて、前記画素の輝度を補正する輝度補正ステップをさらに含むことを特徴とする付記４に記載の画像強調方法。 (Supplementary note 9) The supplementary note 4, wherein the target image enhancement step further includes a luminance correction step of correcting the luminance of the pixel based on the target image intensity and total diffuse reflection luminance of the pixel. Image enhancement method.

（付記１０）撮影された画像の画素ごとのカラー及び濃淡の拡散反射輝度を示す全拡散反射輝度を計算する全拡散反射輝度計算部と、
前記全拡散反射輝度計算部によって計算された画素ごとの全拡散反射輝度に基づいて、画素ごとを高輝度画素又は非高輝度画素に分類する画素分類部と、
前記画素分類部によって分類された非高輝度画素ごとに対して、当該非高輝度画素の全拡散反射輝度に基づいて、当該非高輝度画素の彩度を強調する彩度強調部と
を有することを特徴とする画像強調装置。 (Supplementary Note 10) A total diffuse reflection luminance calculation unit for calculating total diffuse reflection luminance indicating the diffuse reflection luminance of color and shading for each pixel of a captured image;
A pixel classifying unit that classifies each pixel into a high luminance pixel or a non-high luminance pixel based on the total diffuse reflection luminance for each pixel calculated by the total diffuse reflection luminance calculating unit;
A saturation enhancement unit that enhances the saturation of the non-high luminance pixel based on the total diffuse reflection luminance of the non-high luminance pixel for each non-high luminance pixel classified by the pixel classification unit. An image enhancement device characterized by the above.

（付記１１）前記彩度強調部は、前記画素分類部によって分類された高輝度画素ごとに対して、当該高輝度画素の色相及び彩度を維持したまま、当該高輝度画素の輝度を画像の平均輝度まで低下させる輝度低下部をさらに有することを特徴とする付記１０に記載の画像強調装置。 (Supplementary Note 11) For each high-brightness pixel classified by the pixel classification unit, the saturation emphasizing unit determines the luminance of the high-brightness pixel while maintaining the hue and saturation of the high-brightness pixel. The image enhancement apparatus according to appendix 10, further comprising a luminance reduction unit that reduces the average luminance.

（付記１２）前記画素分類部は、
前記画素の全拡散反射輝度に基づいて、前記画素の拡散反射成分を計算する拡散反射成分計算部と、
前記拡散反射成分計算部によって計算された拡散反射成分と所定の閾値とを色成分ごとに比較する比較部と、
前記比較部によって比較された拡散反射成分が、いずれの色成分においても所定の閾値より小さい場合には、前記画素を非高輝度画素であると判定し、いずれかの色成分において所定の閾値より大きい場合には、前記画素を高輝度画素であると判定する判定部と
をさらに含むことを特徴とする付記１０に記載の画像強調装置。 (Supplementary Note 12) The pixel classification unit includes:
A diffuse reflection component calculation unit that calculates a diffuse reflection component of the pixel based on the total diffuse reflection luminance of the pixel;
A comparison unit that compares the diffuse reflection component calculated by the diffuse reflection component calculation unit with a predetermined threshold value for each color component;
When the diffuse reflection component compared by the comparison unit is smaller than a predetermined threshold value in any color component, the pixel is determined to be a non-high luminance pixel, and the color component is determined to be less than the predetermined threshold value in any color component. The image enhancement apparatus according to appendix 10, further comprising: a determination unit that determines that the pixel is a high-luminance pixel when the pixel is large.

（付記１３）対象画像の輝度を強調する際の係数である対象画像強度を試算する対象画像強度試算部と、
前記画素ごとに対して、当該画素の対象画像強度に基づいて対象画像を強調する対象画像強調部と
をさらに含むことを特徴とする付記１０に記載の画像強調装置。 (Supplementary note 13) A target image intensity calculation unit for calculating a target image intensity which is a coefficient for enhancing the luminance of the target image;
The image enhancement apparatus according to appendix 10, further comprising: a target image enhancement unit that enhances a target image based on a target image intensity of the pixel for each pixel.

（付記１４）前記対象画像強度試算部は、
画像の背景輝度画像を抽出する背景輝度画像抽出部と、
前記画像の輝度画像と前記背景輝度画像抽出部によって抽出された背景輝度画像との差分画像を取得する差分画像取得部と、
前記画像の対象画像の輝度極値を試算する対象画像の輝度極値試算部と、
前記差分画像取得部によって取得された差分画像と前記対象画像の輝度極値試算部によって試算された対象画像の輝度極値とに基づいて、前記画像における画素ごとの対象画像強度を計算する対象画像強度計算部と
をさらに含むことを特徴とする付記１３に記載の画像強調装置。 (Supplementary Note 14) The target image intensity estimation unit
A background luminance image extraction unit for extracting a background luminance image of the image;
A difference image acquisition unit for acquiring a difference image between the luminance image of the image and the background luminance image extracted by the background luminance image extraction unit;
A luminance extreme value trial calculation unit of the target image for trial calculation of the luminance extreme value of the target image of the image;
The target image for calculating the target image intensity for each pixel in the image based on the difference image acquired by the difference image acquisition unit and the luminance extreme value of the target image calculated by the luminance extreme value calculation unit of the target image The image enhancement apparatus according to appendix 13, further comprising: an intensity calculation unit.

（付記１５）前記背景輝度画像抽出部は、画素ごとに対して、当該画素が隣接する領域内の画素の輝度平均値を前記画素の背景輝度として計算する背景輝度計算部を含むことを特徴とする付記１４に記載の画像強調装置。 (Supplementary Note 15) The background luminance image extraction unit includes a background luminance calculation unit that calculates, for each pixel, an average luminance value of pixels in an area adjacent to the pixel as a background luminance of the pixel. The image emphasizing device according to appendix 14.

（付記１６）前記背景輝度画像抽出部は、画素ごとに対して、当該画素が隣接する領域内の画素の輝度が前記画素の背景輝度に所定の係数を掛けた輝度より大きい画素を選択する画素選択部と、
前記画素選択部によって選択された画素の輝度平均値を前記画素の背景輝度として計算し、当該計算を所定の回数反復する背景輝度反復計算部と
をさらに含むことを特徴とする付記１５に記載の画像強調装置。 (Supplementary Note 16) The background luminance image extraction unit selects, for each pixel, a pixel whose luminance in a region adjacent to the pixel is higher than a luminance obtained by multiplying the background luminance of the pixel by a predetermined coefficient. A selection section;
16. The supplementary note 15, further comprising: a background luminance iteration calculation unit that calculates an average luminance value of the pixels selected by the pixel selection unit as a background luminance of the pixel and repeats the calculation a predetermined number of times. Image enhancement device.

（付記１７）前記対象画像の輝度極値試算部は、画素ごとに対して、前記画素の少なくとも一方向における対象画像の輝度極値を計算する対象画像の輝度極値計算部と、
前記対象画像の輝度極値計算部によって計算された対象画像の輝度極値の最大値を前記画素の対象画像の輝度極値として判定する対象画像の輝度極値判定部と
を含むことを特徴とする付記１４に記載の画像強調装置。 (Supplementary Note 17) The luminance extreme value calculation unit of the target image, for each pixel, the luminance extreme value calculation unit of the target image that calculates the luminance extreme value of the target image in at least one direction of the pixel;
A luminance extreme value determination unit of the target image that determines the maximum value of the luminance extreme value of the target image calculated by the luminance extreme value calculation unit of the target image as the luminance extreme value of the target image of the pixel, The image emphasizing device according to appendix 14.

（付記１８）前記対象画像強調部は、前記画素の対象画像強度と全拡散反射輝度とに基づいて、前記画素の輝度を補正する輝度補正部をさらに含むことを特徴とする付記１３に記載の画像強調装置。 (Additional remark 18) The said target image emphasis part further contains the brightness correction part which correct | amends the brightness | luminance of the said pixel based on the target image intensity | strength and total diffuse reflection brightness | luminance of the said pixel, The additional description 13 characterized by the above-mentioned. Image enhancement device.

１０００ 画像強調装置
１０１０ 全拡散反射輝度計算部
１０２０ 画素分類部
１０３０ 彩度強調部 1000 Image enhancement device 1010 Total diffuse reflection luminance calculation unit 1020 Pixel classification unit 1030 Saturation enhancement unit

Claims (9)

撮影された画像の画素ごとのカラー及び濃淡の拡散反射輝度を示す全拡散反射輝度を計算する全拡散反射輝度計算部と、
前記全拡散反射輝度計算部によって計算された画素ごとの全拡散反射輝度に基づいて、画素ごとを高輝度画素又は非高輝度画素に分類する画素分類部と、
前記画素分類部によって分類された非高輝度画素ごとに対して、当該非高輝度画素の全拡散反射輝度に基づいて、当該非高輝度画素の彩度を強調する彩度強調部と、
対象画像の輝度を強調する際の係数である対象画像強度を試算する対象画像強度試算部と、
前記画素ごとに対して、当該画素の対象画像強度に基づいて対象画像を強調する対象画像強調部と
を有し、
前記対象画像強度試算部は、
画像の背景輝度画像を抽出する背景輝度画像抽出部と、
前記画像の輝度画像と前記抽出した背景輝度画像との差分画像を取得する差分画像取得部と、
前記画像の対象画像の輝度極値を試算する対象画像の輝度極値試算部と、
前記差分画像取得部によって取得された差分画像と前記対象画像の輝度極値試算部によって試算された対象画像の輝度極値とに基づいて、前記画像における画素ごとの対象画像強度を計算する対象画像強度計算部と
をさらに含むことを特徴とする画像強調装置。 A total diffuse reflection luminance calculation unit for calculating a total diffuse reflection luminance indicating a diffuse reflection luminance of color and shading for each pixel of a captured image;
A pixel classifying unit that classifies each pixel into a high luminance pixel or a non-high luminance pixel based on the total diffuse reflection luminance for each pixel calculated by the total diffuse reflection luminance calculating unit;
For each non-high luminance pixel classified by the pixel classification unit, a saturation enhancement unit that enhances the saturation of the non-high luminance pixel based on the total diffuse reflection luminance of the non-high luminance pixel ;
A target image intensity calculation unit for calculating a target image intensity which is a coefficient for enhancing the luminance of the target image;
For every said pixel, a target image possess a highlight target image enhancement unit on the basis of the target image intensity of the pixel,
The target image intensity estimation unit is
A background luminance image extraction unit for extracting a background luminance image of the image;
A difference image acquisition unit for acquiring a difference image between the luminance image of the image and the extracted background luminance image;
A luminance extreme value trial calculation unit of the target image for trial calculation of the luminance extreme value of the target image of the image;
The target image for calculating the target image intensity for each pixel in the image based on the difference image acquired by the difference image acquisition unit and the luminance extreme value of the target image calculated by the luminance extreme value calculation unit of the target image Strength calculator
An image enhancement device further comprising: 前記彩度強調部は、前記画素分類部によって分類された高輝度画素ごとに対して、当該高輝度画素の色相及び彩度を維持したまま、当該高輝度画素の輝度を画像の平均輝度まで低下させる輝度低下部
をさらに含むことを特徴とする請求項１に記載の画像強調装置。 For each high-brightness pixel classified by the pixel classification unit, the saturation enhancement unit reduces the luminance of the high-brightness pixel to the average luminance of the image while maintaining the hue and saturation of the high-brightness pixel. The image enhancement apparatus according to claim 1, further comprising: a luminance reduction unit that causes the image to decrease. 前記画素分類部は、
前記画素の全拡散反射輝度に基づいて、前記画素の拡散反射成分を計算する拡散反射成分計算部と、
前記拡散反射成分計算部によって計算された拡散反射成分と所定の閾値とを色成分ごとに比較する比較部と、
前記比較部によって比較された拡散反射成分が、いずれの色成分においても所定の閾値より小さい場合には、前記画素を非高輝度画素であると判定し、いずれかの色成分において所定の閾値より大きい場合には、前記画素を高輝度画素であると判定する判定部と
をさらに含むことを特徴とする請求項１に記載の画像強調装置。 The pixel classification unit includes:
A diffuse reflection component calculation unit that calculates a diffuse reflection component of the pixel based on the total diffuse reflection luminance of the pixel;
A comparison unit that compares the diffuse reflection component calculated by the diffuse reflection component calculation unit with a predetermined threshold value for each color component;
When the diffuse reflection component compared by the comparison unit is smaller than a predetermined threshold value in any color component, the pixel is determined to be a non-high luminance pixel, and the color component is determined to be less than the predetermined threshold value in any color component. The image enhancement apparatus according to claim 1, further comprising: a determination unit that determines that the pixel is a high-luminance pixel when the pixel is large. 前記背景輝度画像抽出部は、画素ごとに対して、当該画素が隣接する領域内の画素の輝度平均値を前記画素の背景輝度として計算する背景輝度計算部
を含むことを特徴とする請求項１に記載の画像強調装置。 The background luminance image extraction unit, to the each pixel, according to claim 1, characterized in that the pixel contains the background luminance calculator for calculating average luminance value of the pixels in adjacent regions as a background luminance of the pixel The image enhancement apparatus described in 1. 前記背景輝度画像抽出部は、画素ごとに対して、当該画素が隣接する領域内の画素の輝度が前記画素の背景輝度に所定の係数を掛けた輝度より大きい画素を選択する画素選択部と、
前記画素選択部によって選択された画素の輝度平均値を前記画素の背景輝度として計算し、当該計算を所定の回数反復する背景輝度反復計算部と
をさらに含むことを特徴とする請求項４に記載の画像強調装置。 The background luminance image extraction unit, for each pixel, a pixel selection unit that selects a pixel whose luminance in a region adjacent to the pixel is larger than a luminance obtained by multiplying the background luminance of the pixel by a predetermined coefficient;
5. The image processing apparatus according to claim 4 , further comprising: a background luminance repetition calculation unit that calculates an average luminance value of the pixels selected by the pixel selection unit as the background luminance of the pixel and repeats the calculation a predetermined number of times. Image enhancement device. 前記対象画像の輝度極値試算部は、画素ごとに対して、前記画素の少なくとも一方向における対象画像の輝度極値を計算する対象画像の輝度極値計算部と、
前記対象画像の輝度極値計算部によって計算された対象画像輝度極値の最大値を前記画素の輝度極値として判定する対象画像の輝度極値判定部と
を含むことを特徴とする請求項１に記載の画像強調装置。 The luminance extreme value calculation unit of the target image, for each pixel, the luminance extreme value calculation unit of the target image for calculating the luminance extreme value of the target image in at least one direction of the pixel,
Claim 1, characterized in that it comprises a luminance extremum determining section of determining a target image the maximum value of the target image luminance extremes calculated by the luminance extremes calculating unit of the target image as the brightness extremum of the pixel The image enhancement apparatus described in 1. 前記対象画像強調部は、前記画素の対象画像強度と全拡散反射輝度とに基づいて、前記画素の輝度を補正する輝度補正部
をさらに含むことを特徴とする請求項１に記載の画像強調装置。 The image enhancement apparatus according to claim 1 , wherein the target image enhancement unit further includes a luminance correction unit that corrects the luminance of the pixel based on the target image intensity and total diffuse reflection luminance of the pixel. . 画像強調装置が、
撮影された画像の画素ごとのカラー及び濃淡の拡散反射輝度を示す全拡散反射輝度を計算する全拡散反射輝度計算ステップと、
前記全拡散反射輝度計算ステップによって計算された画素ごとの全拡散反射輝度に基づいて、画素ごとを高輝度画素又は非高輝度画素に分類する画素分類ステップと、
前記画素分類ステップによって分類された非高輝度画素ごとに対して、当該非高輝度画素の全拡散反射輝度に基づいて、当該非高輝度画素の彩度を強調する彩度強調ステップと、
対象画像の輝度を強調する際の係数である対象画像強度を試算する対象画像強度試算ステップと、
前記画素ごとに対して、当該画素の対象画像強度に基づいて対象画像を強調する対象画像強調ステップと
を実行し、
前記対象画像強度試算ステップは、
画像の背景輝度画像を抽出する背景輝度画像抽出ステップと、
前記画像の輝度画像と前記抽出した背景輝度画像との差分画像を取得する差分画像取得ステップと、
前記画像の対象画像の輝度極値を試算する対象画像の輝度極値試算ステップと、
前記差分画像取得ステップによって取得された差分画像と前記対象画像の輝度極値試算ステップによって試算された対象画像の輝度極値とに基づいて、前記画像における画素ごとの対象画像強度を計算する対象画像強度計算ステップと
をさらに実行することを特徴とする画像強調方法。 Image enhancement device
A total diffuse reflection luminance calculating step for calculating a total diffuse reflection luminance indicating the diffuse reflection luminance of color and shading for each pixel of a captured image;
A pixel classification step for classifying each pixel into a high-luminance pixel or a non-high-luminance pixel based on the total diffuse reflection luminance for each pixel calculated by the total diffuse reflection luminance calculation step;
For each non-high luminance pixel classified by the pixel classification step, a saturation enhancement step of enhancing the saturation of the non-high luminance pixel based on the total diffuse reflection luminance of the non-high luminance pixel ;
A target image strength trial calculation step for trial calculation of a target image strength which is a coefficient for enhancing the luminance of the target image;
For each pixel , execute a target image enhancement step of enhancing the target image based on the target image intensity of the pixel ,
The target image intensity estimation step includes:
A background luminance image extraction step for extracting a background luminance image of the image;
A difference image acquisition step of acquiring a difference image between the luminance image of the image and the extracted background luminance image;
A luminance extreme value calculation step of the target image for calculating the luminance extreme value of the target image of the image; and
A target image for calculating the target image intensity for each pixel in the image based on the difference image acquired in the difference image acquisition step and the luminance extreme value of the target image calculated in the luminance extreme value calculation step of the target image Strength calculation step and
An image enhancement method , further comprising : コンピュータに、
撮影された画像の画素ごとのカラー及び濃淡の拡散反射輝度を示す全拡散反射輝度を計算する全拡散反射輝度計算ステップと、
前記全拡散反射輝度計算ステップによって計算された画素ごとの全拡散反射輝度に基づいて、画素ごとを高輝度画素又は非高輝度画素に分類する画素分類ステップと、
前記画素分類ステップによって分類された非高輝度画素ごとに対して、当該非高輝度画素の全拡散反射輝度に基づいて、当該非高輝度画素の彩度を強調する彩度強調ステップと、
対象画像の輝度を強調する際の係数である対象画像強度を試算する対象画像強度試算ステップと、
前記画素ごとに対して、当該画素の対象画像強度に基づいて対象画像を強調する対象画像強調ステップと
を実行させ、
前記対象画像強度試算ステップは、
画像の背景輝度画像を抽出する背景輝度画像抽出ステップと、
前記画像の輝度画像と前記抽出した背景輝度画像との差分画像を取得する差分画像取得ステップと、
前記画像の対象画像の輝度極値を試算する対象画像の輝度極値試算ステップと、
前記差分画像取得ステップによって取得された差分画像と前記対象画像の輝度極値試算ステップによって試算された対象画像の輝度極値とに基づいて、前記画像における画素ごとの対象画像強度を計算する対象画像強度計算ステップと
をさらに実行させることを特徴とする画像強調プログラム。 On the computer,
A total diffuse reflection luminance calculating step for calculating a total diffuse reflection luminance indicating the diffuse reflection luminance of color and shading for each pixel of a captured image;
A pixel classification step for classifying each pixel into a high-luminance pixel or a non-high-luminance pixel based on the total diffuse reflection luminance for each pixel calculated by the total diffuse reflection luminance calculation step;
For each non-high luminance pixel classified by the pixel classification step, a saturation enhancement step of enhancing the saturation of the non-high luminance pixel based on the total diffuse reflection luminance of the non-high luminance pixel ;
A target image strength trial calculation step for trial calculation of a target image strength which is a coefficient for enhancing the luminance of the target image;
For each pixel, a target image enhancement step for enhancing the target image based on the target image intensity of the pixel is performed .
The target image intensity estimation step includes:
A background luminance image extraction step for extracting a background luminance image of the image;
A difference image acquisition step of acquiring a difference image between the luminance image of the image and the extracted background luminance image;
A luminance extreme value calculation step of the target image for calculating the luminance extreme value of the target image of the image; and
A target image for calculating the target image intensity for each pixel in the image based on the difference image acquired in the difference image acquisition step and the luminance extreme value of the target image calculated in the luminance extreme value calculation step of the target image Strength calculation step and
An image enhancement program characterized in that the program is further executed .
JP2010035332A 2009-02-19 2010-02-19 Image enhancement device, image enhancement method, and image enhancement program Active JP5440241B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2009100056951A CN101814179B (en) 2009-02-19 2009-02-19 Image enhancement method and image enhancement device
CN200910005695.1 2009-02-19

Publications (3)

Publication Number Publication Date
JP2010191968A JP2010191968A (en) 2010-09-02
JP2010191968A5 JP2010191968A5 (en) 2012-12-13
JP5440241B2 true JP5440241B2 (en) 2014-03-12

Family

ID=42621427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010035332A Active JP5440241B2 (en) 2009-02-19 2010-02-19 Image enhancement device, image enhancement method, and image enhancement program

Country Status (2)

Country Link
JP (1) JP5440241B2 (en)
CN (1) CN101814179B (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514588B (en) * 2013-10-10 2016-05-18 广东威创视讯科技股份有限公司 Image enchancing method and system
CN103903229B (en) * 2014-03-13 2017-01-04 中安消技术有限公司 A kind of evening images Enhancement Method and device
CN107305685B (en) * 2016-04-20 2020-06-05 瑞昱半导体股份有限公司 Image contrast enhancement method and apparatus
CN105976344A (en) * 2016-04-26 2016-09-28 北京小米移动软件有限公司 Whiteboard image processing method and whiteboard image processing device
CN106210446B (en) * 2016-07-18 2019-08-30 北京小米移动软件有限公司 Saturation degree Enhancement Method and device
CN106331427B (en) * 2016-08-24 2019-12-03 北京小米移动软件有限公司 Saturation degree Enhancement Method and device
CN110858281B (en) * 2018-08-22 2022-10-04 浙江宇视科技有限公司 Image processing method, image processing device, electronic eye and storage medium
KR102664754B1 (en) * 2019-02-20 2024-05-10 삼성전자주식회사 Method for Applying Image Effect and the Electronic Device supporting the same
CN110070009A (en) * 2019-04-08 2019-07-30 北京百度网讯科技有限公司 Road surface object identification method and device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6579239B1 (en) * 2002-04-05 2003-06-17 Ge Medical Systems Global Technology Company, Llc System and method for automatic adjustment of brightness and contrast in images
JP2004304641A (en) * 2003-03-31 2004-10-28 Minolta Co Ltd Image processing method and image processing apparatus
JP4595660B2 (en) * 2005-05-06 2010-12-08 カシオ計算機株式会社 Imaging apparatus, captured image processing method, and program
JP4140619B2 (en) * 2005-06-14 2008-08-27 松下電器産業株式会社 Image composition apparatus, image collation apparatus using the same, and image composition method
US7426312B2 (en) * 2005-07-05 2008-09-16 Xerox Corporation Contrast enhancement of images
CN101044507B (en) * 2005-09-01 2010-08-18 松下电器产业株式会社 Image processing method, image processor

Also Published As

Publication number Publication date
CN101814179B (en) 2012-06-27
CN101814179A (en) 2010-08-25
JP2010191968A (en) 2010-09-02

Similar Documents

Publication Publication Date Title
JP5440241B2 (en) Image enhancement device, image enhancement method, and image enhancement program
CN113454981B (en) Techniques for multi-exposure fusion of multiple image frames based on convolutional neural networks and for deblurring the multiple image frames
US10200632B2 (en) Low-illumination photo capture with reduced noise and blur
EP2987135B1 (en) Reference image selection for motion ghost filtering
US9479695B2 (en) Generating a high dynamic range image using a temporal filter
JP6469678B2 (en) System and method for correcting image artifacts
JP5726914B2 (en) Parameter interpolation for high dynamic range video tone mapping
US9514525B2 (en) Temporal filtering for image data using spatial filtering and noise history
US8666148B2 (en) Image adjustment
US20160071253A1 (en) Method and apparatus for image enhancement
EP2059902A1 (en) Method and apparatus for image enhancement
WO2021135702A1 (en) Video denoising method and electronic device
JP5437414B2 (en) Image processing apparatus, image processing method, program, and recording medium
US20240086661A1 (en) Method and apparatus for processing graphic symbol and computer-readable storage medium
CN117152182B (en) Ultralow-illumination network camera image processing method and device and electronic equipment
WO2016026072A1 (en) Method, apparatus and computer program product for generation of extended dynamic range color images
CN117274085A (en) Low-illumination image enhancement method and device
EP3062288B1 (en) Method, apparatus and computer program product for reducing chromatic aberrations in deconvolved images
KR20090063826A (en) Method for processing image
KR20140000788A (en) Apparatus and method for enhancing image using back-light region detection based variable block
US9355456B2 (en) Method, apparatus and computer program product for compensating eye color defects
US20240169497A1 (en) Airy-Disk Correction for Deblurring an Image
CN117876254A (en) Method, device, equipment and storage medium for adjusting local highlight
CN115908150A (en) Image enhancement method and device, computer equipment and computer readable storage medium
JP2021033502A (en) Image processing device, method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131202

R150 Certificate of patent or registration of utility model

Ref document number: 5440241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150