WO2012099165A1 - 画像処理装置、および画像処理プログラム製品 - Google Patents

画像処理装置、および画像処理プログラム製品 Download PDF

Info

Publication number
WO2012099165A1
WO2012099165A1 PCT/JP2012/050962 JP2012050962W WO2012099165A1 WO 2012099165 A1 WO2012099165 A1 WO 2012099165A1 JP 2012050962 W JP2012050962 W JP 2012050962W WO 2012099165 A1 WO2012099165 A1 WO 2012099165A1
Authority
WO
WIPO (PCT)
Prior art keywords
chromaticity
image processing
achromatic
pixel
intersection
Prior art date
Application number
PCT/JP2012/050962
Other languages
English (en)
French (fr)
Inventor
佐野 央
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to US13/979,912 priority Critical patent/US20130293568A1/en
Publication of WO2012099165A1 publication Critical patent/WO2012099165A1/ja
Priority to US15/923,414 priority patent/US20180204537A1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/028Circuits for converting colour display signals into monochrome display signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast

Definitions

  • the present invention relates to an image processing apparatus and an image processing program product.
  • This image processing apparatus sets a straight line (achromatic axis) having an achromatic ratio in the RAW data space in a form in which the upper limit of AD conversion is canceled, and projects the coordinates of a saturated signal onto this straight line.
  • achromatic axis achromatic axis
  • This image processing apparatus sets a straight line (achromatic axis) having an achromatic ratio in the RAW data space in a form in which the upper limit of AD conversion is canceled, and projects the coordinates of a saturated signal onto this straight line.
  • the image processing apparatus includes a luminance / chromaticity calculation unit that calculates the luminance and chromaticity of each pixel based on the value of each pixel of the image data, and the coordinates of the pixel in the RAW data space.
  • the image processing apparatus of the first aspect further includes a trajectory determining unit that determines an achromatic trajectory in the RAW data space.
  • the image processing device further includes a display control unit that displays the image data composed of the pixels after being converted by the conversion unit on the display device. It is preferable.
  • the image processing program product includes a luminance chromaticity calculation procedure for calculating the luminance and chromaticity of each pixel based on the value of each pixel of the image data, and the pixel in the RAW data space.
  • a plane calculation procedure for calculating a plane including coordinates, an intersection calculation procedure for obtaining an intersection of an achromatic locus and a plane in the RAW data space, an intersection chromaticity calculation procedure for calculating the chromaticity of the intersection, and a pixel chromaticity has an image processing program for causing a computer to execute a conversion procedure for converting the chromaticity of a pixel to an achromatic chromaticity vicinity.
  • the image processing program further includes a trajectory determination procedure for determining an achromatic trajectory in the RAW data space.
  • the image processing program displays on the display device the image data composed of the pixels after the conversion by the conversion procedure. It is preferable to further have a control procedure.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus according to this embodiment.
  • a personal computer personal computer
  • the personal computer 100 includes an operation member 101, a connection IF (interface) 102, a control device 103, an HDD (hard disk drive) 104, a monitor. 105.
  • the operation member 101 includes various devices operated by the user, such as a keyboard and a mouse.
  • the connection IF 102 is an interface for connecting the personal computer 100 and an external device.
  • the personal computer 100 is connected to the digital camera via the connection IF 102, and an image file obtained by photographing is taken from the digital camera.
  • a USB interface for connecting the personal computer 100 and the digital camera by wire, a wireless LAN module for wireless connection, or the like is used as the connection IF 102.
  • the control device 103 is constituted by a CPU, a memory, and other peripheral circuits, and controls the entire personal computer 100.
  • the memory constituting the control device 103 is a volatile memory such as SDRAM, for example. This memory includes a work memory for the CPU to expand the program when the program is executed, and a buffer memory for temporarily recording data.
  • the HDD 104 is a recording device for recording image files captured via the connection IF 102, data of various programs executed by the control device 103, and the like.
  • the program data recorded in the HDD 104 is provided by being recorded in a storage medium 106 such as a CD-ROM or DVD-ROM.
  • the control device 103 can execute the program.
  • an image display application for displaying an image is installed in HDD 104.
  • the monitor 105 is a liquid crystal monitor, for example, and displays various display data output from the control device 103.
  • control device 103 executes a process for preventing the achromatic object from being displayed as colored when displaying the image on the monitor 105. First, the coloring of an achromatic subject will be described.
  • RGB image signals are obtained by photoelectrically converting light transmitted through RGB color filters using an image sensor.
  • the obtained image signal is called RAW data and the like, and this RAW data is subjected to conversion such as Bayer interpolation, white balance conversion, matrix conversion, and ⁇ conversion, and is optimal when viewed on a display, for example, the monitor 105.
  • the image data is converted into converted image data and stored in Jpeg format data.
  • RGB ratio of the RAW data is set to 1: 1: 1 so that it can be felt as an achromatic color when finally viewed on the display.
  • RAW data especially the saturation of the signal when the brightness of an achromatic subject changes.
  • the signal value of the RAW data increases as the subject becomes brighter, and does not exceed 4095 for the upper limit of AD conversion, for example, 12 bits.
  • the brightness exceeds 4095 saturated
  • the signal value is recorded as 4095.
  • the ratio of RAW data of an achromatic subject is generally not 1: 1: 1 as described above.
  • the channel that saturates first is The G channel having the largest ratio value of 1.0 and then saturating in the order of B and G, and the RAW data ratio when saturated is the ratio of 0.6: 1.0: 0.8 Different ratios.
  • the gain value based on the ratio of 0.6: 1.0: 0.8 is applied to the white balance process described above. Therefore, an unsaturated signal is achromatic, but a saturated signal is not achromatic. As a result, when the subject is achromatic, when viewed on the display, the image becomes colored.
  • FIG. 2 is a flowchart showing a flow of image processing in the present embodiment.
  • the process shown in FIG. 2 is executed by the control device 103 as a program that is activated when an instruction to display an image on the monitor 105 is given by the user.
  • the control device 103 selects image data such as RAW RGB data from the display target image file. Will be described with reference to FIG.
  • FIG. 3 shows the color space of the RAW data composed of RGB three colors on coordinates.
  • the number of bits of the RAW data is 12 bits. For this reason, values of 0 to 4095 can be obtained for each color, and the cube shown in FIG. 3 is an area where RAW data can be taken.
  • the locus OP1P2P3 indicated by the arrows in FIG. 3 shows achromatic data in the cube.
  • the locus OP1P2P3 indicating the achromatic data in the cube is referred to as an achromatic locus.
  • the achromatic locus can be obtained as follows from the RGB ratio of the RAW data when a gray card is photographed. Here, it is assumed that the RGB ratio is 0.6: 1.0: 0.8, and that the luminance of the achromatic color increases from the lower RAW data.
  • the locus OP1 formed by the point maintaining this ratio in the space of FIG. 3 becomes a part of the achromatic color locus.
  • the G channel is saturated at the terminal P1.
  • the coordinates of P1 are P1 (2457, 4095, 3276) according to the following equations (1) to (3).
  • the locus P2P3 becomes a part of the achromatic locus.
  • the coordinates of P3 are P3 (4095, 4095, 4095).
  • the locus OP1P2P3 calculated in this way is an achromatic locus.
  • the achromatic color locus may be calculated dynamically by recognizing white balance data after shooting, or may be calculated in advance and recorded in the HDD (storage unit) 104.
  • an achromatic locus is previously determined for each type of light source (for example, a fluorescent lamp, an incandescent light bulb, a flashlight, etc.), and these achromatic loci are obtained when the image processing apparatus of the present embodiment is manufactured.
  • An achromatic locus corresponding to the illumination light source of the captured image stored in the storage unit and stored in the storage unit may be selected and used in the conversion process described later.
  • step S1 the control device 103 converts RAW RGB data to be displayed into luminance and chromaticity data.
  • the RAW RGB data has been Bayer-interpolated and has RGB 3 channel data per pixel.
  • the control device 103 converts the RAW RGB data into luminance data using a relational expression between the RAW RGB data and the luminance Y shown in the following equation (5).
  • s, t, and u are values obtained by optimizing by performing actual shooting or colorimetry in advance.
  • the luminance Yi of the pixel of interest Pi is obtained by conversion using the following equation (5).
  • Y sR + tG + uB (5)
  • control device 103 obtains the chromaticity from the following equations (6) and (7).
  • the chromaticity is rg chromaticity
  • the chromaticity rigi of the pixel of interest Pi is obtained by substituting (Ri, Gi, Bi) into the following equations (6) and (7).
  • r R / (R + G + B)
  • g G / (R + G + B) (7)
  • step S2 the control device 103 compares the luminance Yi of the pixel of interest Pi calculated in step S1 with the luminance Yp1 at P1 in FIG. Yp1 can be obtained by substituting the coordinates of P1 into R, G, and B in Expression (5). As a result of the comparison, if Yi ⁇ Yp1, it is determined that chromaticity conversion in the present invention is not necessary, and the process is terminated. On the other hand, if Yi> Yp1, the process proceeds to step S3.
  • step S3 the control device 103 calculates the luminance Yp2 at P2.
  • step S4 the control device 103 determines the chromaticity point Ci of the pixel of interest Pi, the chromaticity point of the achromatic locus, that is, the chromaticity point Cc of the intersection Pc calculated in step S3, and the achromatic chromaticity.
  • the point Ca can be obtained by substituting RGB coordinates into Equations (6) and (7).
  • the RGB coordinates of a point on OP1 for example, P1 may be substituted. Then, it progresses to step S5.
  • step S5 the control device 103 determines whether the chromaticity point Ci of the pixel of interest Pi is near the chromaticity point Cc of the achromatic locus. For example, as illustrated in FIG. 5, the control device 103 determines that the chromaticity point Ci is in the vicinity of the chromaticity point Cc when the relationship of the following expression (8) is established. If it is determined in step S5 that the chromaticity point Ci is in the vicinity of the chromaticity point Cc, the process proceeds to step S6. If it is determined that the chromaticity point Ci is not in the vicinity, the process ends.
  • step S6 the control device 103 calculates the conversion amount t of the chromaticity point Ci of the pixel of interest Pi from the following equation (9), and proceeds to step S7.
  • step S7 the control device 103 converts the chromaticity point Ci of the pixel of interest Pi into the chromaticity point Cd using the conversion formula shown in the following formula (10).
  • the chromaticity point Ci of the pixel of interest Pi is converted into Cd as the chromaticity point of the conversion destination as shown in FIG. It is converted to a chromaticity near the achromatic chromaticity while maintaining.
  • step S8 the control device 103 calculates R, G, and B values based on the converted chromaticity point Cd (rd, gd) and the luminance Yi of the pixel of interest Pi.
  • the control device 103 obtains k by the following equation (11), and calculates Rd, Gd, and Bd by the following equations (12) to (14) using k.
  • k Yi / [s.rd + t.gd + u. (1-rd-gd)] (11)
  • Rd k ⁇ rd (12)
  • Gd k ⁇ gd (13)
  • Bd k ⁇ (1 ⁇ rd ⁇ gd) (14)
  • step S9 the control device 103 performs white balance conversion and color conversion on Rd, Gd, and Bd calculated in step S8.
  • the control device 103 can perform white balance conversion and color conversion using a 3 ⁇ 3 matrix calculated based on the light source state at the time of shooting, the spectral sensitivity of the image sensor, the display characteristics, and the like.
  • step S10 the control device 103 performs gradation conversion suitable for the ⁇ characteristic of the monitor 105, that is, ⁇ conversion.
  • the control device 103 completes the process after performing the processes of steps S1 to S10 described above for all the pixels.
  • the control device 103 outputs the image data after performing the processing of steps S1 to S10 for all the pixels to the monitor 105 and displays it.
  • the control device 103 determines whether the chromaticity point Ci of the pixel of interest Pi is in the vicinity of the chromaticity point Cc of the achromatic locus, and if it is determined to be in the vicinity, the chromaticity point Ci of the pixel of interest Pi. Is converted to a chromaticity point Cd. As a result, the chromaticity of the point on the achromatic locus is converted to the achromatic chromaticity. Further, the chromaticity of the point in the vicinity of the achromatic locus is converted into the chromaticity in the vicinity of the achromatic chromaticity while maintaining the gradation. For this reason, it is possible to suppress coloring that occurs due to the saturation of the RAW data in the high luminance part.
  • the image processing apparatus can be modified as follows. (1) In the above-described embodiment, the example in which the personal computer 100 is used as the image processing apparatus has been described. However, the present invention can also be applied to other devices that can display images, such as mobile terminals and digital cameras.
  • FIG. 7 shows the state.
  • the personal computer 100 has a connection function with the communication line 401.
  • a computer 402 is a server computer that provides the program, and stores the program in a storage medium such as a hard disk 403.
  • the communication line 401 is a communication line such as the Internet or personal computer communication, or a dedicated communication line.
  • the computer 402 reads the program using the hard disk 403 and transmits the program to the personal computer 100 via the communication line 401. That is, the program is transmitted as a data signal via a communication line 401 via a carrier wave.
  • the program can be supplied as a computer readable computer program product in various forms such as a storage medium and a data signal (carrier wave).
  • the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

 画像処理装置は、画像データの各画素の値に基づいて、各画素の輝度と色度を算出する輝度色度算出部と、RAWデータ空間における前記画素の座標を含む平面を演算する平面演算部と、前記RAWデータ空間における無彩色の軌跡と前記平面との交点を求める交点算出部と、前記交点の色度を算出する交点色度算出部と、前記画素の色度が前記交点の色度近傍にある場合に、前記画素の色度を無彩色の色度近傍に変換する変換部とを備える。

Description

画像処理装置、および画像処理プログラム製品
 本発明は、画像処理装置、および画像処理プログラム製品に関する。
 次のような画像処理装置が知られている。この画像処理装置は、RAWデータ空間で、無彩色の比をもつ直線(無彩色軸)をAD変換の上限を解除したかたちで設定し、飽和している信号の座標をこの直線上に射影することにより、無彩色の比を復元することによって、無彩色の被写体をディスプレイに表示した際の色づきを抑制する(特許文献1)。
日本国特開2005-318499号公報
 しかしながら、従来の画像処理装置では、白色点を調整する際に、画像全体の明るさを保つために露出調整等の操作が必要となるため、無彩色の被写体をディスプレイに表示した際の色づきを抑制するための操作が煩雑になる可能性があった。
 本発明の第1の態様によると、画像処理装置は、画像データの各画素の値に基づいて、各画素の輝度と色度を算出する輝度色度算出部と、RAWデータ空間における画素の座標を含む平面を演算する平面演算部と、RAWデータ空間における無彩色の軌跡と平面との交点を求める交点算出部と、交点の色度を算出する交点色度算出部と、画素の色度が交点の色度近傍にある場合に、画素の色度を無彩色の色度近傍に変換する変換部とを備える。
 本発明の第2の態様によると、第1の態様の画像処理装置において、RAWデータ空間における無彩色の軌跡を決定する軌跡決定部をさらに備えることが好ましい。
 本発明の第3の態様によると、第1または第2の態様の画像処理装置において、変換部によって変換された後の画素で構成される画像データを表示装置に表示する表示制御部をさらに備えることが好ましい。
 本発明の第4の態様によると、画像処理プログラム製品は、画像データの各画素の値に基づいて、各画素の輝度と色度を算出する輝度色度算出手順と、RAWデータ空間における画素の座標を含む平面を演算する平面演算手順と、RAWデータ空間における無彩色の軌跡と平面との交点を求める交点算出手順と、交点の色度を算出する交点色度算出手順と、画素の色度が交点の色度近傍にある場合に、画素の色度を無彩色の色度近傍に変換する変換手順とをコンピュータに実行させるための画像処理プログラムを有する。
 本発明の第5の態様によると、第4の態様の画像処理プログラム製品において、画像処理プログラムは、RAWデータ空間における無彩色の軌跡を決定する軌跡決定手順をさらに有することが好ましい。
 本発明の第6の態様によると、第4または第5の態様の画像処理プログラム製品において、画像処理プログラムは、変換手順で変換した後の画素で構成される画像データを表示装置に表示する表示制御手順をさらに有することが好ましい。
 本発明によれば、煩雑な操作を行うことなく、無彩色の被写体をディスプレイに表示した際の色づきを抑制することができる。
パソコンの一実施の形態の構成を示すブロック図である。 画像処理の流れを示すフローチャート図である。 RGB3色で構成されるRAWデータの色空間を座標上に示した図である。 RAWデータ空間における画素の座標を含む平面と無彩色の軌跡の交点の具体例を示す図である。 色度点Ciが色度点Ccの近傍にあると判断される場合の具体例を示す図である。 変換先の色度点Cdの具体例を示す図である。 プログラムの提供の様子を説明する図である。
 図1は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ(パソコン)100が用いられ、このパソコン100は、操作部材101と、接続IF(インターフェース)102と、制御装置103と、HDD(ハードディスクドライブ)104と、モニタ105とを備えている。
 操作部材101は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続IF102は、パソコン100と外部機器とを接続するためのインターフェースである。本実施の形態では、パソコン100は、この接続IF102を介してデジタルカメラと接続され、デジタルカメラからは撮影によって得られた画像ファイルが取り込まれる。なお、接続IF102としては、パソコン100とデジタルカメラとを有線接続するためのUSBインターフェースや、無線接続するための無線LANモジュールなどが用いられる。
 制御装置103は、CPU、メモリ、およびその他の周辺回路によって構成され、パソコン100の全体を制御する。なお、制御装置103を構成するメモリは、例えばSDRAM等の揮発性のメモリである。このメモリは、CPUがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。
 HDD104は、接続IF102を介して取り込まれた画像ファイルや、制御装置103で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、HDD104に記録されるプログラムのデータは、CD-ROMやDVD-ROMなどの記憶媒体106に記録されて提供される。使用者が当該記憶媒体106を用いてプログラムのデータをHDD104にインストールすることによって、制御装置103がプログラムを実行できるようになる。本実施の形態では、HDD104には、画像を表示するための画像表示アプリケーションがインストールされている。モニタ105は、例えば液晶モニタであって、制御装置103から出力される種々の表示用データが表示される。
 本実施の形態におけるパソコン100では、制御装置103は、モニタ105に画像を表示するに当たって、無彩色の被写体に色が付いたように表示されるのを防ぐための処理を実行する。まず、無彩色の被写体の色付きについて説明する。
 撮影に用いるデジタルカメラでは、多くの場合、RGB3色のカラーフィルターを透過した光を、撮像素子を用いて光電変換して、RGB3つの画像信号を得ている。得られた画像信号はRAWデータなどと呼ばれ、このRAWデータに対して、ベイヤー補間、ホワイトバランス変換、マトリックス変換、γ変換などの変換を施して、ディスプレイ、例えばモニタ105で観賞する場合に最適化した画像データに変換し、Jpeg形式のデータで保存することが行なわれている。
 ここで、無彩色の被写体について、人間の視覚的な感覚や、デジタルカメラで撮影した場合のカメラの動作について考えてみる。まず、無彩色の被写体に対する人間の視覚的な感覚について考えてみると、人間が、グレーカードのような無彩色の被写体(可視光域で概ね反射率が等しい物体)を見た場合、一般に、光源の色に順応し、光源が変わっても無彩色であると感じる。すなわち青みがかった光源でも赤みがかった光源でも、可視光域で概ね反射率が等しい物体を見た場合は無彩色であると感じる。また、ディスプレイで画像を観賞する場合は、RGB信号が同じ比(1:1:1)になっている場合に無彩色であると感じる。このため、無彩色の被写体を撮影した画像をディスプレイで表示する場合、光源が変化しても、ディスプレイ信号のRGB比は(1:1:1)になることが望ましい。
 次に、デジタルカメラで無彩色の被写体を撮影し、RAWデータが形成される過程について考察してみる。無彩色の被写体は、可視光域でおおむね等しい反射率をもっているため、その反射光は、光源の色特性を反映したものになる。これを撮影した場合のRAWデータは、この反射光の特性を反映したものになる。またRAWデータはデジタルカメラの撮像素子の分光感度にも依存する。したがって、無彩色の被写体を撮影した場合のRAWデータのRGB比は、光源の色特性と撮像素子の分光感度によって決まるため、一般には同じ比(1:1:1)にはならず、例えばこれをそのままディスプレイに表示したとすると無彩色と感じられない。
 このようなことから、無彩色の被写体を撮影したRAWデータに対し、ディスプレイで観賞するための最適化の過程において、ホワイトバランス処理が施されることが行なわれている。これは、光源の色特性と撮像素子の分光感度の情報を用いて、RAWデータの各チャンネルにそれぞれ異なるゲイン値を乗算するものである。このような処理を行なうことにより、RAWデータのRGB比が1:1:1になるようにして、最終的にディスプレイで観賞する際に無彩色であると感じられるようにする。
 ここで、無彩色の被写体の明るさが変化した場合の、RAWデータ、特にその信号の飽和について考えてみる。RAWデータの信号値は被写体が明るくなるにしたがって高くなり、AD変換の上限、例えば12bitでは4095を超えることはない。4095を超える(飽和する)ような明るさの場合は、信号値は4095として記録される。
 ところで、無彩色の被写体のRAWデータの比は、上述のように一般に1:1:1にはならない。ここではこの比を仮に、R:G:B=0.6:1.0:0.8であるとすると、無彩色の被写体の明るさが暗い方から変化した場合、最初に飽和するチャンネルは、最も大きい比の値1.0をもつGチャンネルであり、次いで、B、Gの順に飽和し、飽和した場合のRAWデータの比は0.6:1.0:0.8の比とは異なる比となる。
 これに対し上述のホワイトバランス処理は、0.6:1.0:0.8の比を前提としたゲイン値が適用される。したがって飽和していない信号については無彩色となるが、飽和した信号については無彩色とはならないことになる。その結果、被写体が無彩色であるのに対しディスプレイで観賞した場合には色がついたような画像になってしまう。
 本実施の形態では、制御装置103は、このような問題を解決するために、図2に示す処理を実行する。ここで、図2は、本実施の形態における画像処理の流れを示すフローチャートである。図2に示す処理は、使用者によってモニタ105への画像の表示が指示されると起動するプログラムとして、制御装置103によって実行される。なお、本実施の形態では、HDD104に記録されている画像ファイルのいずれかが表示対象として使用者によって選択されるものとし、制御装置103は、表示対象の画像ファイルから画像データ、例えばRAW RGBデータを読み出して、図2に示す処理を実行する場合について説明する。
 本実施の形態では、図2の処理で画像変換が行われるが、そのための準備としてRAWデータ空間における無彩色の軌跡の算出をあらかじめ行なっておく。ここで、RAWデータ空間における無彩色の軌跡の算出方法について説明する。図3は、RGB3色で構成される、RAWデータの色空間を座標上に示したものである。ここで、RAWデータのbit数は12bitであるとする。そのため各色0~4095の値をとり得ることになり、図3に示す立方体内がRAWデータの取りうる領域となる。
 図3の矢印で示される軌跡OP1P2P3は、立方体内での無彩色のデータを示したものである。本実施の形態では、この立方体内での無彩色のデータを示した軌跡OP1P2P3を無彩色軌跡と呼ぶ。この無彩色軌跡は、仮にグレーカードを撮影したとした場合の、RAWデータのRGB比から以下のようにして求めることができる。なお、ここでは、このRGB比が、0.6:1.0:0.8であるとし、RAWデータの低い方から無彩色の輝度が高くなっていく場合について考える。
 まず、原点Oから出発し、無彩色の輝度が増加した場合について考えると、図3の空間でこの比を保っている点によってできる軌跡OP1が、無彩色軌跡の一部となる。終端のP1でGのチャンネルが飽和する。ここで、P1の座標は、次式(1)~(3)によりP1(2457,4095,3276)となる。
 R=0.6×4095=2457 ・・・(1)
 G=1.0×4095=4095 ・・・(2)
 B=0.8×4095=3276 ・・・(3)
 さらに、輝度がP1を超えた場合、Gのチャンネルは飽和しているため、RとBのチャンネルのデータのみが上記の比を保って増加することになり、この比を保っている点によってできる軌跡P1P2が、無彩色軌跡の一部となる。Gの次に飽和するチャンネルは、Bであり、このときのRチャンネルのデータは、次式(4)により算出される。よって、P2の座標はP2(3071,4095,4095)となる。
 R=4095×(0.6/0.8)=3071 ・・・(4)
 さらに、輝度がP2を超えた場合、G、Bのチャンネルは飽和しているため、Rのチャンネルのデータのみが増加することになり、軌跡P2P3が無彩色軌跡の一部となる。P3の座標はP3(4095,4095,4095)である。このようにして算出される軌跡OP1P2P3が無彩色軌跡となる。この無彩色軌跡の算出は、撮影後にホワイトバランスデータを認識して動的に算出しても良いし、あらかじめ算出しておき、HDD(記憶部)104に記録しておいてもよい。なお、光源の種類毎(例えば、蛍光灯、白熱電球、フラッシュ光等)に無彩色軌跡をあらかじめ求めておき、それらの無彩色軌跡を本実施の形態の画像処理装置の製造時に画像処理装置の記憶部に記憶しておき、後述する変換処理において、記憶部に記憶されている、撮影画像の照明光源に対応する無彩色軌跡を選択して使用するようにしても良い。
 次に、図2の処理について説明する。ステップS1において、制御装置103は、表示対象のRAW RGBデータを輝度、色度データに変換する。ここでRAW RGBデータはベイヤー補間済みであり、1画素にRGB3チャンネルのデータをもつものとする。制御装置103は、次式(5)に示すRAW RGBデータと輝度Yとの関係式を用いて、RAW RGBデータを輝度データに変換する。なお、次式(5)において、s、t、uは、あらかじめ実写や測色を行ない、最適化することにより求められた値である。ここで、着目画素PiのRAW RGBデータを(Ri,Gi,Bi)とすると、着目画素Piの輝度Yiは、次式(5)により変換して求められる。
 Y=sR+tG+uB ・・・(5)
 また、制御装置103は、次式(6)、(7)により色度を求める。色度はここではrg色度とし、着目画素Piの色度rigiは、次式(6)、(7)に(Ri,Gi,Bi)を代入して求められる。
 r=R/(R+G+B) ・・・(6)
 g=G/(R+G+B) ・・・(7)
 その後、ステップS2へ進み、制御装置103は、ステップS1で算出した着目画素Piの輝度Yiと、図3のP1での輝度Yp1とを比較する。Yp1は、式(5)のR、G、BにP1の座標を代入することによって求めることができる。比較の結果、Yi≦Yp1であれば、本発明での色度変換は必要ないと判断して、処理を終了する。これに対して、Yi>Yp1である場合には、ステップS3に進む。
 ステップS3では、制御装置103は、P2での輝度Yp2を算出する。Yp2は、式(5)のR、G、BにP2の座標を代入することによって求めることができる。そして、制御装置103は、Yi≦Yp2の関係が成り立つ場合には、平面Yi=sR+tG+uBと線分P1P2との交点を求める。一方、Yi>Yp2の関係が成り立つ場合には、平面Yi=sR+tG+uBと線分P2P3との交点を求める。なお、RAW RGB空間において、Yi=sR+tG+uBで表される平面上の点は、点Pi(Ri、Gi、Bi)と等輝度であり、ステップS3では、この平面と無彩色軌跡との交点を求めていることになる。したがって、交点は無彩色軌跡上にあり、Piと等輝度をもつことになる。図4では、ここで求められる交点をPcと表している。
 その後、ステップS4へ進み、制御装置103は、着目画素Piの色度点Ciと、無彩色軌跡の色度点、すなわちステップS3で算出した交点Pcの色度点Ccと、無彩色の色度点Caとを求める。具体的には、それぞれの色度点は、式(6)、(7)にRGB座標を代入することにより求めることができる。なお、Caについては、OP1上の点(例えばP1)のRGB座標を代入すればよい。その後、ステップS5へ進む。
 ステップS5では、制御装置103は、着目画素Piの色度点Ciが、無彩色軌跡の色度点Ccの近傍にあるかどうか判定する。例えば、制御装置103は、図5に示すように、次式(8)の関係が成立する場合に、色度点Ciが色度点Ccの近傍にあると判断する。ステップS5で、色度点Ciが色度点Ccの近傍にあると判断した場合には、ステップS6へ進み、近傍にないと判断した場合には、処理を終了する。
Figure JPOXMLDOC01-appb-M000001
 
 ステップS6では、制御装置103は、次式(9)より、着目画素Piの色度点Ciの変換量tを算出して、ステップS7へ進む。
Figure JPOXMLDOC01-appb-M000002
 
 ステップS7では、制御装置103は、次式(10)に示す変換式を用いて、着目画素Piの色度点Ciを色度点Cdに変換する。これにより、着目画素Piの色度点Ciは、図6に示すように、変換先の色度点をCdに変換されるため、無彩色軌跡の近傍の点の色度は、階調性を保ちながら、無彩色の色度近傍の色度に変換されることになる。
Figure JPOXMLDOC01-appb-M000003
 
 その後、ステップS8へ進み、制御装置103は、変換後の色度点Cd(rd,gd)と着目画素Piの輝度Yiとに基づいて、R、G、Bの各値を算出する。このために、まず、制御装置103は、次式(11)によりkを求め、kを用いて次式(12)~(14)により、Rd、Gd、Bdを算出する。
 k=Yi/[s・rd+t・gd+u・(1-rd-gd)] ・・・(11)
 Rd=k・rd ・・・(12)
 Gd=k・gd ・・・(13)
 Bd=k・(1-rd-gd) ・・・(14)
 その後、ステップS9へ進み、制御装置103は、ステップS8で算出したRd、Gd、Bdに対して、ホワイトバランス変換や色変換を行う。例えば、制御装置103は、撮影時の光源状態、撮像素子の分光感度、ディスプレイの特性などに基づいて算出される3×3の行列などを用いてホワイトバランス変換や色変換を行うことができる。その後、ステップS10へ進み、制御装置103は、モニタ105のγ特性に適した階調変換、すなわちγ変換を行なう。制御装置103は、以上説明したステップS1~S10の処理をすべての画素について行なった後、処理を終了する。
 制御装置103は、全ての画素についてステップS1~S10の処理を行った後の画像データをモニタ105に出力して表示する。
 以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
 制御装置103は、着目画素Piの色度点Ciが、無彩色軌跡の色度点Ccの近傍にあるかどうか判定し、近傍にあると判定した場合には、着目画素Piの色度点Ciを色度点Cdに変換するようにした。これによって、無彩色軌跡上の点の色度は、無彩色の色度に変換されることになる。また無彩色軌跡の近傍の点の色度は、階調性を保ちながら、無彩色の色度近傍の色度に変換される。このため、高輝度部分でのRAWデータの飽和によって発生する色づきを抑制することができる。
―変形例―
 なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
(1)上述した実施の形態では、画像処理装置としてパソコン100を用いる例について説明した。しかしながら、画像を表示することができる他の装置、例えば、携帯端末やデジタルカメラ等にも本発明を適用することができる。
(2)上述した実施の形態では、画像処理を行った後の画像データをモニタ105に出力して表示する例について説明したが、本発明は、表示装置以外の出力機器に出力する場合にも適用可能である。例えば、画像処理を行った後の画像データをプリンタ等に出力する場合にも適用できる。
(3)上述した実施の形態では、上述した画像処理に関するプログラムが記憶媒体106に記録されて提供される例について説明した。しかしながら、上記プログラムは、インターネットなどのデータ信号を通じて提供されてもよい。図7はその様子を示す図である。パソコン100は通信回線401との接続機能を有する。コンピュータ402は上記プログラムを提供するサーバコンピュータであり、ハードディスク403などの記憶媒体にプログラムを格納する。通信回線401は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ402はハードディスク403を使用してプログラムを読み出し、通信回線401を介してプログラムをパソコン100に送信する。すなわち、プログラムをデータ信号として搬送波を介して、通信回線401を介して送信する。このように、プログラムは、記憶媒体やデータ信号(搬送波)などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
 なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2011年第7787号(2011年1月18日出願)

Claims (6)

  1.  画像データの各画素の値に基づいて、各画素の輝度と色度を算出する輝度色度算出部と、
     RAWデータ空間における前記画素の座標を含む平面を演算する平面演算部と、
     前記RAWデータ空間における無彩色の軌跡と前記平面との交点を求める交点算出部と、
     前記交点の色度を算出する交点色度算出部と、
     前記画素の色度が前記交点の色度近傍にある場合に、前記画素の色度を無彩色の色度近傍に変換する変換部とを備える画像処理装置。
  2.  請求項1に記載の画像処理装置において、
     前記RAWデータ空間における無彩色の軌跡を決定する軌跡決定部をさらに備える画像処理装置。
  3.  請求項1または2に記載の画像処理装置において、
     前記変換部によって変換された後の画素で構成される画像データを表示装置に表示する表示制御部をさらに備える画像処理装置。
  4.  画像データの各画素の値に基づいて、各画素の輝度と色度を算出する輝度色度算出手順と、
     RAWデータ空間における前記画素の座標を含む平面を演算する平面演算手順と、
     前記RAWデータ空間における無彩色の軌跡と前記平面との交点を求める交点算出手順と、
     前記交点の色度を算出する交点色度算出手順と、
     前記画素の色度が前記交点の色度近傍にある場合に、前記画素の色度を無彩色の色度近傍に変換する変換手順とをコンピュータに実行させるための画像処理プログラムを有する画像処理プログラム製品。
  5.  請求項4に記載の画像処理プログラム製品において、
     前記画像処理プログラムは、前記RAWデータ空間における無彩色の軌跡を決定する軌跡決定手順をさらに有する画像処理プログラム製品。
  6.  請求項4または5に記載の画像処理プログラム製品において、
     前記画像処理プログラムは、前記変換手順で変換した後の画素で構成される画像データを表示装置に表示する表示制御手順をさらに有する画像処理プログラム製品。
PCT/JP2012/050962 2011-01-18 2012-01-18 画像処理装置、および画像処理プログラム製品 WO2012099165A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/979,912 US20130293568A1 (en) 2011-01-18 2012-01-18 Image processing apparatus and image processing program product
US15/923,414 US20180204537A1 (en) 2011-01-18 2018-03-16 Image processing apparatus and program product for calculating luminance and chromaticity related applications

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-007787 2011-01-18
JP2011007787A JP5664261B2 (ja) 2011-01-18 2011-01-18 画像処理装置、および画像処理プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/979,912 A-371-Of-International US20130293568A1 (en) 2011-01-18 2012-01-18 Image processing apparatus and image processing program product
US15/923,414 Continuation US20180204537A1 (en) 2011-01-18 2018-03-16 Image processing apparatus and program product for calculating luminance and chromaticity related applications

Publications (1)

Publication Number Publication Date
WO2012099165A1 true WO2012099165A1 (ja) 2012-07-26

Family

ID=46515787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050962 WO2012099165A1 (ja) 2011-01-18 2012-01-18 画像処理装置、および画像処理プログラム製品

Country Status (3)

Country Link
US (2) US20130293568A1 (ja)
JP (1) JP5664261B2 (ja)
WO (1) WO2012099165A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5664758B1 (ja) * 2013-12-24 2015-02-04 富士ゼロックス株式会社 色変換装置およびプログラム
JP5664757B1 (ja) * 2013-12-24 2015-02-04 富士ゼロックス株式会社 色変換装置およびプログラム
US9508279B2 (en) 2013-12-24 2016-11-29 Fuji Xerox Co., Ltd. Color conversion apparatus and non-transitory computer readable medium
EP3351899B1 (en) * 2017-01-24 2020-06-17 Leica Geosystems AG Method and device for inpainting of colourised three-dimensional point clouds
CN117404636A (zh) * 2023-09-15 2024-01-16 山东省金海龙建工科技有限公司 一种基于图像处理的停车场用智慧路灯

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032482A (ja) * 1998-07-14 2000-01-28 Canon Inc 信号処理装置、信号処理方法及び記憶媒体
JP2001229374A (ja) * 2000-02-17 2001-08-24 Fuji Xerox Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003101804A (ja) * 2001-09-25 2003-04-04 Fuji Photo Film Co Ltd 色変換パラメータ決定方法、色変換パラメータ決定装置、および色変換パラメータ決定プログラム
JP2005318499A (ja) * 2004-03-31 2005-11-10 Seiko Epson Corp 画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724400B2 (en) * 2003-04-02 2010-05-25 Lexmark International, Inc. Simple and configurable all-in-one operator panel
US7453602B2 (en) * 2004-06-01 2008-11-18 Canon Kabushiki Kaisha Color conversion method
WO2006103835A1 (ja) * 2005-03-25 2006-10-05 Mitsubishi Denki Kabushiki Kaisha 画像処理装置、画像表示装置、及び画像表示方法
JP4991411B2 (ja) * 2006-07-28 2012-08-01 キヤノン株式会社 画像処理方法
KR101451982B1 (ko) * 2008-02-12 2014-10-24 삼성전자주식회사 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
JP5305884B2 (ja) * 2008-12-17 2013-10-02 株式会社東芝 画像処理装置、画像処理方法、及び画像処理プログラム
JP5195395B2 (ja) * 2008-12-19 2013-05-08 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
WO2010131499A1 (ja) * 2009-05-15 2010-11-18 シャープ株式会社 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032482A (ja) * 1998-07-14 2000-01-28 Canon Inc 信号処理装置、信号処理方法及び記憶媒体
JP2001229374A (ja) * 2000-02-17 2001-08-24 Fuji Xerox Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003101804A (ja) * 2001-09-25 2003-04-04 Fuji Photo Film Co Ltd 色変換パラメータ決定方法、色変換パラメータ決定装置、および色変換パラメータ決定プログラム
JP2005318499A (ja) * 2004-03-31 2005-11-10 Seiko Epson Corp 画像処理装置

Also Published As

Publication number Publication date
JP2012151598A (ja) 2012-08-09
US20180204537A1 (en) 2018-07-19
JP5664261B2 (ja) 2015-02-04
US20130293568A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
JP4283297B2 (ja) 映像補償方法
JP5179829B2 (ja) グレーデータ補正装置および方法
JP4445693B2 (ja) プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
US8014027B1 (en) Automatic selection of color conversion method using image state information
JP5195430B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、カメラ
US8331665B2 (en) Method of electronic color image saturation processing
US20080253650A1 (en) Image Processing Device, Image Processing Method, Image Processing Program Product, and Image-Capturing Device
JP5897159B2 (ja) 表示装置及びその制御方法
US20180204537A1 (en) Image processing apparatus and program product for calculating luminance and chromaticity related applications
KR101927968B1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
JP5387713B2 (ja) 画像調整装置、画像調整システムおよびプログラム
JPH10215385A (ja) 画像の色変換方法
US9794450B2 (en) Image processor, image display device, and image processing method for correcting input image
JP4333421B2 (ja) 映像表示装置
JP7266179B2 (ja) 画像処理装置及び撮像装置
JP5534825B2 (ja) 映像処理装置及び色温度補正方法
JP2007259472A (ja) プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
JP2005318499A (ja) 画像処理装置
JP6413210B2 (ja) 画像処理装置、撮像装置およびプログラム
JP5082705B2 (ja) 補正データ生成システム、補正データ生成方法
JP4989401B2 (ja) 映像信号処理装置、その方法及びそのプログラム
JP2008219290A (ja) 信号変換装置、映像表示装置及び信号変換方法
JP4552596B2 (ja) 画像処理装置
JP2023044689A (ja) 画像処理装置
JP2019022228A (ja) 画像処理装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12736159

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13979912

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12736159

Country of ref document: EP

Kind code of ref document: A1