JP6129358B2 - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP6129358B2 JP6129358B2 JP2015559727A JP2015559727A JP6129358B2 JP 6129358 B2 JP6129358 B2 JP 6129358B2 JP 2015559727 A JP2015559727 A JP 2015559727A JP 2015559727 A JP2015559727 A JP 2015559727A JP 6129358 B2 JP6129358 B2 JP 6129358B2
- Authority
- JP
- Japan
- Prior art keywords
- ambient light
- color
- data
- image display
- saturation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 27
- 239000003086 colorant Substances 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 32
- 239000011159 matrix material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
- H04N5/58—Control of contrast or brightness in dependence upon ambient light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0242—Compensation of deficiencies in the appearance of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Of Color Television Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Description
この発明は、モニタやプロジェクタ等のカラー画像を表示する画像表示装置に対し、特にさまざまな周囲光が存在する環境下で使用される画像表示装置に関するものである。 The present invention relates to an image display device that is used in an environment where various ambient lights exist, particularly for an image display device that displays a color image, such as a monitor or a projector.
下記の先行技術文献には、赤、緑、青の3色のカラーセンサから、周囲光における赤、緑、青の色成分の大きさを検出し、周囲光に対応した色変換を行うことで、無彩色の階調能力の低下や明るい周囲光下における表示明度の低下を生じることなく、様々な周囲光が存在する環境下での色再現性を改善し、視認性を向上させることができることが開示されている。 In the following prior art documents, the size of red, green, and blue color components in ambient light is detected from color sensors of red, green, and blue, and color conversion corresponding to ambient light is performed. The ability to improve color reproducibility and improve visibility in environments where various ambient lights exist without lowering the gradation capability of achromatic colors or lowering the display brightness under bright ambient light. Is disclosed.
特許文献1に示されたものは、周囲光の色成分を赤、緑、青の3色のカラーセンサから、周囲光における赤、緑、青の色成分の大きさを検出し色変換を行う一方、周囲光の色成分は赤、緑、青の3つのみであり、周囲光色の詳細な検知や補正には3つの色成分では不足していた。 In Japanese Patent Application Laid-Open No. 2005-228688, the color components of ambient light are detected from the color sensors of three colors of red, green, and blue, and the sizes of the red, green, and blue color components in ambient light are detected to perform color conversion. On the other hand, there are only three color components of ambient light, red, green, and blue, and the three color components are insufficient for detailed detection and correction of the ambient light color.
本発明は、上記の問題に鑑みてなされたものであり、周囲光から得られた色空間を算術計算により赤、イエロー、緑、シアン、青、マゼンタの6色の色空間に拡張することで、より精度の高い周囲光検出手段を提供することが課題である。本発明の画像表示装置によれば、周囲光の色成分をより詳細に検出することが可能となり、より適切な彩度調整を行うことができる。特に明るい周囲光が存在する環境や周囲光の色変化が大きい環境下において、鑑賞者にとってコントラストの大きい、視認性の良い画像を提供することが可能となる。 The present invention has been made in view of the above problems, and by expanding the color space obtained from ambient light to six color spaces of red, yellow, green, cyan, blue, and magenta by arithmetic calculation. It is an object to provide a highly accurate ambient light detection means. According to the image display device of the present invention, the color component of ambient light can be detected in more detail, and more appropriate saturation adjustment can be performed. In particular, in an environment where bright ambient light exists or an environment where the color change of the ambient light is large, it is possible to provide an image with high contrast and high visibility for the viewer.
特許文献1の画像表示装置においては、周囲光の色変化が大きい場合には有効であるが、色補正の自由度が低いと同時に、周囲光色の変化量が小さい場合は、周囲光色の細かな色変化を捉えることが出来なかった。
画像表示装置の周囲光は、多くの場合において白色光である。また、色変化がある場合でも、周囲光の色変化は色温度の変化に留まることが通常である。本発明では、あらかじめ周囲光の色変化を色温度変化のみに限定し、周囲光検出手段から得られた赤、緑、青色成分の比の変化を検出することで、周囲光の色温度を算出し、算出結果に応じた色補正を行うことを特徴とする。In the image display device of Patent Document 1, it is effective when the color change of the ambient light is large. However, when the degree of freedom of color correction is low and the change amount of the ambient light color is small, the ambient light color I couldn't catch the fine color change.
In many cases, the ambient light of the image display device is white light. Further, even when there is a color change, the color change of the ambient light is usually limited to the change of the color temperature. In the present invention, the color change of the ambient light is limited to the color temperature change in advance, and the color temperature of the ambient light is calculated by detecting the change in the ratio of the red, green and blue components obtained from the ambient light detection means. The color correction is performed according to the calculation result.
本発明に係る画像表示装置は、カラー画像を表す入力側の色データの彩度を調整して、前記色データに対応する色データを出力する彩度調整部と、彩度調整された前記色データに基づいて画像を表示する画像表示手段と、前記画像表示手段の周囲光の明るさおよび色を検出し、検出結果を表す周囲光データとして前記画像表示手段の周囲光の赤、緑、青の3色の色相における各成分の大きさを表すデータを出力する周囲光検出手段を有し、前記周囲光検出手段の出力から周囲光に対する補正値を生成する周囲光補正部を備え、前記周囲光補正部は、周囲光の色相を赤、イエロー、緑、シアン、青、マゼンタの6色の色相に拡張する算出を行うとともに、算出した結果から前記画像表示手段の周囲光に対する周囲光補正値を演算および出力する機能を備え、前記彩度調整部は、前記周囲光補正値に基づいて前記入力側の色データの彩度を調整するものである。 An image display device according to the present invention adjusts the saturation of input side color data representing a color image and outputs color data corresponding to the color data, and the color after the saturation adjustment Image display means for displaying an image based on the data, brightness and color of ambient light of the image display means, and red, green, blue of ambient light of the image display means as ambient light data representing a detection result An ambient light detection unit that outputs data representing the size of each component in the three colors of hue, and includes an ambient light correction unit that generates a correction value for ambient light from the output of the ambient light detection unit, The light correction unit performs calculation for extending the hue of ambient light to six hues of red, yellow, green, cyan, blue, and magenta, and based on the calculated result, the ambient light correction value for the ambient light of the image display unit Compute and output Includes a capability, the saturation adjustment unit is for adjusting the saturation of color data of the input side based on the ambient light correction value.
また、本発明に係る画像表示装置は、カラー画像を表す第1の色データの彩度を調整して、前記入力側の色データに対応する色データを出力する彩度調整部と、彩度調整された前記色データに基づいて画像を表示する画像表示手段と、前記画像表示手段の周囲光の明るさおよび色を検出し、検出結果を表す周囲光データとして、前記画像表示手段の周囲光の赤、緑、青の3色の色相における各成分の大きさを表すデータを出力する周囲光検出手段を有し、前記周囲光検出手段から周囲光に対する補正値を出力する周囲光補正部を備え、前記周囲光補正部は、前記周囲光データと基準光データの値を比較して比較データを算出するとともに、算出した結果から前記画像表示手段の周囲光に対する周囲光補正値を演算および出力する機能を備え、前記彩度調整部は、前記周囲光補正値に基づいて前記入力側の色データの彩度を調整するものである。 The image display device according to the present invention includes a saturation adjusting unit that adjusts the saturation of the first color data representing a color image and outputs color data corresponding to the color data on the input side, and a saturation Image display means for displaying an image based on the adjusted color data, brightness and color of ambient light of the image display means, and ambient light of the image display means as ambient light data representing a detection result An ambient light detection unit that outputs data representing the size of each component in the three hues of red, green, and blue, and an ambient light correction unit that outputs a correction value for ambient light from the ambient light detection unit The ambient light correction unit calculates the comparison data by comparing the values of the ambient light data and the reference light data, and calculates and outputs the ambient light correction value for the ambient light of the image display means from the calculated result With the ability to Kiirodorido adjuster is used for adjusting the saturation of color data of the input side based on the ambient light correction value.
本発明によれば、周囲光検出手段から得られた赤、緑、青の色空間を赤、緑、青に加えシアン、マゼンタ、イエローと拡張することができ、それに伴い周囲光色解析をさらに詳細に行うことができるため、赤、緑、青の3つの色空間での周囲光色解析に比べ、様々な周囲光が存在する環境下で色の変化をより適切に捉え、周囲光補正を行うことができる。よって画像表示装置の色再現性をより改善し、視認性を向上させることができる。 According to the present invention, the color space of red, green and blue obtained from the ambient light detection means can be expanded to cyan, magenta and yellow in addition to red, green and blue. Since it can be performed in detail, it can capture color changes more appropriately in an environment where various ambient lights exist, and perform ambient light correction compared to ambient light color analysis in the three color spaces of red, green, and blue. It can be carried out. Therefore, the color reproducibility of the image display device can be further improved and the visibility can be improved.
また、本発明によれば、周囲光の色変化を色温度変化に限定することで、より細かな周囲光の色変化にも対応し、それに応じた色補正を提供することができる。また、色補正に伴う補正係数を単純化することが出来る。よって少ない回路規模で周囲光の細かな色変化にも対応できるため、太陽光や室内用照明環境下での色再現性をより改善し、視認性を向上させることができる。 Further, according to the present invention, by limiting the color change of the ambient light to the color temperature change, it is possible to deal with a finer color change of the ambient light and provide a color correction corresponding thereto. Further, the correction coefficient associated with the color correction can be simplified. Therefore, since it is possible to cope with fine color changes of ambient light with a small circuit scale, color reproducibility can be further improved under sunlight or indoor lighting environment, and visibility can be improved.
実施の形態1.
図1は、本発明に係る画像表示装置の一実施形態を示すブロック図である。図1に示す画像表示装置は、周囲光検出手段1、αβ算出手段2、有彩色成分データ算出手段3、演算項算出手段4、および補正係数演算手段5で構成される周囲光補正部と、色変換手段6、およびデータ変換手段7で構成される彩度調整部と、画像表示手段8とで構成される。Embodiment 1 FIG.
FIG. 1 is a block diagram showing an embodiment of an image display apparatus according to the present invention. The image display apparatus shown in FIG. 1 includes an ambient light correction unit including an ambient light detection unit 1, an αβ calculation unit 2, a chromatic color component data calculation unit 3, an operation term calculation unit 4, and a correction coefficient calculation unit 5. The saturation adjustment unit includes the color conversion unit 6 and the data conversion unit 7, and the image display unit 8.
周囲光検出手段1は、色度センサ(カラーセンサ)、照度センサなどにより構成され、画像表示手段8の周囲を照明する周囲光の明るさ、赤、青、緑を検出し、検出結果を表す周囲光データSr、Sg、Sbを出力する。周囲光検出手段1で検出された周囲光データSr、Sg、Sbは、αβ算出手段2に入力、処理され、さらに有彩色成分データ算出手段3、演算項算出手段4、および補正係数演算手段5で処理される。 The ambient light detection unit 1 includes a chromaticity sensor (color sensor), an illuminance sensor, and the like, detects the brightness, red, blue, and green of ambient light that illuminates the periphery of the image display unit 8, and represents the detection result. Ambient light data Sr, Sg, Sb are output. Ambient light data Sr, Sg, Sb detected by the ambient light detection means 1 are input to and processed by the αβ calculation means 2, and further, the chromatic color component data calculation means 3, the calculation term calculation means 4, and the correction coefficient calculation means 5 Is processed.
αβ算出手段2は、周囲光データSr、Sg、Sbの最大値βおよび最小値αを選択して出力する。最大値βおよび最小値αは、有彩色成分データ算出手段3に入力される。最小値αは補正係数演算手段5にも入力される。ここで、最小値αは、周囲光データSr、Sg、Sbに含まれる無彩色成分(グレイ成分)を表すデータである。 The αβ calculating means 2 selects and outputs the maximum value β and the minimum value α of the ambient light data Sr, Sg, Sb. The maximum value β and the minimum value α are input to the chromatic color component data calculation unit 3. The minimum value α is also input to the correction coefficient calculation means 5. Here, the minimum value α is data representing an achromatic component (gray component) included in the ambient light data Sr, Sg, Sb.
有彩色成分データ算出手段3は、周囲光データSr、Sg、Sbおよび最大値β、最小値αを用いて6つの有彩色成分データr、g、b、y、m、cを算出する。有彩色成分データr、g、b、y、m、cは、周囲光データSr、Sg、Sbにより表される色から無彩色成分を除いた色(有彩色)の赤、緑、青、イエロー、マゼンタ、シアンの各色成分の大きさを表すデータである。これらの有彩色データは、r=Sr−α、g=Sg−α、b=Sb−α、y=β−Sb、m=β−Sg、c=β−Srの減算処理により求められる。 The chromatic color component data calculation means 3 calculates six chromatic color component data r, g, b, y, m, c using the ambient light data Sr, Sg, Sb and the maximum value β and the minimum value α. The chromatic color component data r, g, b, y, m, and c are red, green, blue, and yellow of colors (chromatic colors) obtained by removing the achromatic color component from the color represented by the ambient light data Sr, Sg, and Sb. , Magenta, and cyan. These chromatic color data are obtained by subtraction processing of r = Sr-α, g = Sg-α, b = Sb-α, y = β-Sb, m = β-Sg, c = β-Sr.
有彩色成分データ算出手段3により出力された有彩色成分データr、g、b、y、m、cは演算項算出手段4に入力される。演算項算出手段4は、有彩色成分データr、g、b、y、m、cを用いて、赤、イエロー、緑、シアン、青、マゼンタの6つの各色相成分に有効な演算項hr、hg、hb、hc、hm、hyを算出する。演算項hr、hg、hb、hc、hm、hyは、以下の式(1)により算出される。ただし、(1)式において、
min(A,B)の形式は、AとBのうち小さい方の値を表す。The chromatic color component data r, g, b, y, m, and c output from the chromatic color component data calculation means 3 are input to the calculation term calculation means 4. The calculation term calculation means 4 uses the chromatic color component data r, g, b, y, m, c to calculate calculation terms hr, effective for each of six hue components of red, yellow, green, cyan, blue, and magenta. hg, hb, hc, hm, and hy are calculated. The calculation terms hr, hg, hb, hc, hm, and hy are calculated by the following equation (1). However, in equation (1):
The format of min (A, B) represents the smaller value of A and B.
図2(A)〜(F)は、演算項hr、hy、hg、hc、hb、hmと赤、イエロー、緑、シアン、青、マゼンタの6つの色相との関係を模式的に示した図である。図2に示すように、演算項hr、hg、hb、hc、hm、hyは、それぞれ赤、緑、青、シアン、マゼンタ、イエローの色相において最大となり、他の色相においては大きさが0になる。すなわち、演算項hr、hg、hb、hc、hm、hyは、周囲光データSg、Sbにおける赤、緑、青、シアン、マゼンタ、イエローの色相成分のみ有効な演算項と言える。 2A to 2F schematically show the relationship between the operation terms hr, hy, hg, hc, hb, hm and the six hues of red, yellow, green, cyan, blue, and magenta. It is. As shown in FIG. 2, the calculation terms hr, hg, hb, hc, hm, and hy are maximum in the hues of red, green, blue, cyan, magenta, and yellow, respectively, and the magnitude is 0 in the other hues. Become. That is, the calculation terms hr, hg, hb, hc, hm, and hy can be said to be effective only for the hue components of red, green, blue, cyan, magenta, and yellow in the ambient light data Sg and Sb.
補正係数演算手段5は、下記式(2)に示す周囲光の影響を考慮していない色変換係数Fijに対し、上記演算項hr、hg、hb、hc、hm、hyと周囲光データSr、Sg、Sb、最小値αを用いて色補正係数算出処理を行い、周囲光の影響を考慮した色変換係数F’ijを算出する。 The correction coefficient calculation means 5 applies the above calculation terms hr, hg, hb, hc, hm, hy and the ambient light data Sr, for the color conversion coefficient Fij that does not consider the influence of the ambient light shown in the following formula (2). A color correction coefficient calculation process is performed using Sg, Sb, and the minimum value α, and a color conversion coefficient F′ij in consideration of the influence of ambient light is calculated.
上記式(2)において、f11、f21、f31は色変換手段6において第1の(入力側の)色データにおける赤を表現するための第2の色データR2、G2、B2の大きさをそれぞれ決定するための係数である。同様に、f12、f22、f32は緑、f13、f23、f33は青、f14、f24、f34はシアン、f15、f25、f35はマゼンタ、f16、f26、f36はイエローを表現するための第2の色データR2、G2、B2の大きさをそれぞれ決定するための係数である。よって、例えばf11の値を大きくするか、もしくはf21、f22の値を小さくすることにより、表示される赤の彩度を強めることができる。一般に、当該色における原色成分に関わる係数の値を大きく、または補色成分に関わる係数を小さくすることにより、当該色の彩度を強めることができる。また、係数の変化量が大きいほど、彩度の調整量は大きくなる。ただし、無彩色の階調表現能力の低下を避けるため、第1の色データが無彩色を表すデータである場合に演算処理を行わないことを考慮すると、無彩色成分を表すαに対する係数は0となる。 In the above equation (2), f11, f21, and f31 respectively represent the sizes of the second color data R2, G2, and B2 for expressing red in the first (input side) color data in the color conversion means 6. It is a coefficient for determining. Similarly, f12, f22, and f32 are green, f13, f23, and f33 are blue, f14, f24, and f34 are cyan, f15, f25, and f35 are magenta, and f16, f26, and f36 are second colors for expressing yellow. These are coefficients for determining the sizes of the color data R2, G2, B2. Therefore, for example, by increasing the value of f11 or decreasing the values of f21 and f22, the saturation of the displayed red can be increased. In general, the saturation of the color can be increased by increasing the value of the coefficient related to the primary color component in the color or decreasing the coefficient related to the complementary color component. Further, as the coefficient change amount is larger, the saturation adjustment amount is larger. However, in order to avoid a decrease in the gradation expression capability of achromatic colors, considering that the arithmetic processing is not performed when the first color data is data representing an achromatic color, the coefficient for α representing the achromatic color component is 0. It becomes.
補正係数演算手段5においては、色変換係数Fijから演算項hr、hg、hb、hc、hm、hyと周囲光データSr、Sg、Sb、最小値αを用いて周囲光の影響を考慮した色変換係数F’ijを算定し、周囲光の影響を考慮した色変換係数F’ijの値を決定る。 The correction coefficient calculation means 5 uses the color conversion coefficients Fij and the calculation terms hr, hg, hb, hc, hm, hy and the ambient light data Sr, Sg, Sb and the minimum value α to consider the influence of ambient light. The conversion coefficient F′ij is calculated, and the value of the color conversion coefficient F′ij considering the influence of ambient light is determined.
例えば、演算項算出手段4で周囲光が赤い成分が多い光である(hrが大きい場合)と判定される場合には、赤と補色関係となるシアンの彩度を最も強くし、次いで緑および青、次にイエローおよびマゼンタ、最後に赤の順の大きさにて彩度を強めることが考えられる。すなわち、赤から色相が離れる色ほど彩度を強める。この際、色相についても同時に調整することが考えられる。また、上記の場合には、鑑賞者に知覚されるイエローは赤みの強いイエロー(オレンジ)となることが判定され、これを補正するために表示するイエローは赤みの弱い色とする。この場合、上記の式(2)において、f16の値を小さくし、またはf26の値を大きくし、またはこれらをともに行う(f16の値を小さくするとともに、f26の値を大きくする)。 For example, when the calculation term calculation unit 4 determines that the ambient light is light with a large red component (when hr is large), the saturation of cyan that is complementary to red is maximized, and then green and It is conceivable to increase the saturation in the order of blue, then yellow and magenta, and finally red. In other words, the saturation increases as the color moves away from red. At this time, the hue may be adjusted at the same time. In the above case, it is determined that the yellow perceived by the viewer is a yellow with a strong red (orange), and the yellow displayed to correct this is a weak red. In this case, in the above equation (2), the value of f16 is decreased, the value of f26 is increased, or both are performed (the value of f16 is decreased and the value of f26 is increased).
さらに、周囲光強度が大きくなるような場合(周囲光データSr、Sg、Sbの合計値が大きくなる場合)は上記補正を強める処理を行う。 Further, when the ambient light intensity increases (when the total value of the ambient light data Sr, Sg, and Sb increases), a process for increasing the correction is performed.
補正係数演算手段5で得られた色変換係数F’ijは、彩度調整部へと入力される。色変換係数F’ijは、色変換手段6に入力され、第1の色データR1、G1、B1に対して、色変換処理を行い、第2の色データR2、G2、B2を得、さらにデータ変換手段7により処理を行った後、第3の(彩度調整された)色データR3、G3、B3として画像表示手段8に入力され、画面上にカラー画像が表示される。 The color conversion coefficient F′ij obtained by the correction coefficient calculation means 5 is input to the saturation adjustment unit. The color conversion coefficient F′ij is input to the color conversion means 6, performs color conversion processing on the first color data R 1, G 1, B 1 to obtain second color data R 2, G 2, B 2, After the processing by the data conversion means 7, it is input to the image display means 8 as third (saturated) color data R3, G3, B3, and a color image is displayed on the screen.
本実施の形態の画像表示装置において、第1の色データは、それぞれ赤、緑、青の色成分の大きさを表す形式の色データR1、G1、B1として入力される。色変換手段6では、補正係数演算手段からの色変換係数F’ij(i行j列の係数行列)を用い、入力される第1の色データR1、G1、B1に対して色変換処理を行って第2の色データR2、G2、B2を求める。色変換手段6にて行われる色変換処理は、例えば下記の式(3)にて表されるマトリクス演算により行われる。
上記式(3)に示すマトリクス演算によれば、赤、イエロー、緑、シアン、青、マゼンタの6つの色相成分および無彩色における補正値をそれぞれ独自に調整することができる。hr’ hg’ hb’ hc’ hm’ hy’α’はそれぞれ第1の色データR1、G1、B1から(1)式を用いて計算した演算項である。 According to the matrix calculation shown in the above equation (3), the six hue components of red, yellow, green, cyan, blue, and magenta and correction values for achromatic colors can be adjusted independently. hr ′ hg ′ hb ′ hc ′ hm ′ hy′α ′ are calculation terms calculated from the first color data R1, G1, and B1 using the equation (1).
第2の色データR2、G2、B2は、データ変換手段7へと入力される。データ変換手段7では、第2の色データR2、G2、B2を第3の色データR3、G3、B3へと変換する。データ変換手段7にて行われる変換は、例えば下記の式(4)にて表される所定のマトリクス演算により行われる。
なお、上記式(4)において、Dijは入力される第1の色データの従う色空間、または画像表示手段8の特性を考慮して決定されるi行j列のマトリクス係数行列であり、i=3、j=3である。変換された第3の色データR3、G3、B3は、画像表示手段8へと入力され、画面上にカラー画像が形成される。In the above equation (4), D ij is a matrix space matrix of i rows and j columns determined in consideration of the color space according to the input first color data, or the characteristics of the image display means 8; i = 3 and j = 3. The converted third color data R3, G3, B3 is input to the image display means 8, and a color image is formed on the screen.
以上のように、本実施の形態に係る画像表示装置によれば、周囲光の色を検出し、さらにその周囲光成分の色空間を拡張することで、周囲光の色に応じた細かな色補正を実現することができ、画像表示装置のさらなる色再現性の改善が可能となる。 As described above, according to the image display device according to the present embodiment, the color of the ambient light is detected, and further, the color space of the ambient light component is expanded, so that a fine color corresponding to the color of the ambient light is obtained. Correction can be realized, and the color reproducibility of the image display apparatus can be further improved.
実施の形態2.
図3は、本実施の形態に係る画像表示装置の実施形態を示すブロック図である。図中、図1と共通する要素には、図1と同じ符号を付すことにより、詳細な説明を省略する。図3に示す画像表示装置は、周囲光検出手段1、基準光源値差データ算出手段9、およびマトリクス演算手段10からなる周囲光補正部と、入力信号補正手段11、色変換手段6、およびデータ変換手段7からなる彩度調整部と、画像表示手段8から構成される。Embodiment 2. FIG.
FIG. 3 is a block diagram showing an embodiment of the image display device according to the present embodiment. In the figure, elements common to those in FIG. 1 are denoted by the same reference numerals as those in FIG. The image display apparatus shown in FIG. 3 includes an ambient light correction unit including an ambient light detection unit 1, a reference light source value difference data calculation unit 9, and a matrix calculation unit 10, an input signal correction unit 11, a color conversion unit 6, and data. It comprises a saturation adjusting unit comprising a conversion means 7 and an image display means 8.
周囲光検出手段1は、画像表示手段8の周囲を照明する周囲光の明るさに加え、色も検出する。具体的には、例えば周囲光検出手段1は、赤、緑、青の3色のカラーセンサなどにより構成され、周囲光における赤、緑、青の色成分の大きさを検出し、検出結果を表す周囲光データSr、Sg、Sbを出力する。ここで、周囲光データSrは、検出された周囲光の赤成分の大きさを表すデータ、Sgは緑成分の大きさを表すデータ、Sbは青成分の大きさを表すデータである。 The ambient light detection unit 1 detects the color in addition to the brightness of the ambient light that illuminates the periphery of the image display unit 8. Specifically, for example, the ambient light detection means 1 is composed of three color sensors, such as red, green, and blue, and detects the size of the red, green, and blue color components in the ambient light, and displays the detection result. The ambient light data Sr, Sg, Sb to be expressed is output. Here, the ambient light data Sr is data representing the size of the detected red component of ambient light, Sg is data representing the size of the green component, and Sb is data representing the size of the blue component.
基準光源値差データ算出手段9は、周囲光データSr、Sg、Sbの値と基準光源値Mr、Mg、Mbの比との差に基づいた、比較データr、g、bを出力する。マトリクス演算手段10において、比較データr、g、bと色補正係数Hijから周囲光補正値R、GBを決定する。 The reference light source value difference data calculation means 9 outputs comparison data r, g, b based on the difference between the values of the ambient light data Sr, Sg, Sb and the ratio of the reference light source values Mr, Mg, Mb. In the matrix calculation means 10, the ambient light correction values R and GB are determined from the comparison data r, g and b and the color correction coefficient Hij.
周囲光データSr、Sg、Sbは、それぞれ周囲光の赤、緑、青成分の大きさを表すデータである。ここで、基準となる光の赤、緑、青成分の構成比(Mr、Mg、Mb)をあらかじめ保持しておき、得られた周囲光データSr、Sg、Sbの周囲光構成比と比較を行う。例えば、周囲光データSrの値がMrと比較して大きい場合、周囲光の色温度は低く、赤みの強い光であると考えられる。この場合、知覚色としても赤みが強くなるため、色補正係数Hijとしては、赤と比較して緑および青の彩度をより強めるような係数とする。また、周囲光データSr、Sg、Sbの総和(もしくは重みづけ加算した値)が周囲光の明るさを表すと考えられる。したがって、周囲光データSr、Sg、Sbの総和が大きいほど、より彩度を強めるような係数とする。色補正係数Hijは以下の(5)式のように表すことができる。 The ambient light data Sr, Sg, and Sb are data representing the sizes of the red, green, and blue components of the ambient light, respectively. Here, the composition ratios (Mr, Mg, Mb) of the red, green, and blue components of the reference light are stored in advance and compared with the ambient light composition ratios of the obtained ambient light data Sr, Sg, Sb. Do. For example, when the value of the ambient light data Sr is larger than Mr, it is considered that the ambient light has a low color temperature and is strongly reddish. In this case, since redness becomes strong as a perceived color, the color correction coefficient Hij is a coefficient that further enhances the saturation of green and blue compared to red. Further, it is considered that the sum of the ambient light data Sr, Sg, and Sb (or a value obtained by adding weights) represents the brightness of the ambient light. Therefore, the coefficient is set such that the greater the sum of the ambient light data Sr, Sg, and Sb, the stronger the saturation. The color correction coefficient Hij can be expressed as the following equation (5).
上記式(5)において、f11、f21、f31は周囲光の色データにおける赤に応じた補正を実現するための周囲光補正値R、G、Bの大きさをそれぞれ決定するための係数である。またf12、f22、f32は周囲光の色データにおける緑に応じた補正を実現するための周囲光補正値R、G、Bの大きさ、f13、f23、f33は周囲光の色データにおける青に応じた補正を実現するための周囲光補正値R、G、Bの大きさをそれぞれ決定するための係数である。 In the above equation (5), f11, f21, and f31 are coefficients for determining the sizes of the ambient light correction values R, G, and B for realizing the correction according to red in the color data of the ambient light, respectively. . Further, f12, f22, and f32 are the sizes of the ambient light correction values R, G, and B for realizing correction according to green in the ambient light color data, and f13, f23, and f33 are blue in the ambient light color data. It is a coefficient for determining the magnitudes of the ambient light correction values R, G, and B for realizing the corresponding correction.
基準光源値差データ算出手段9においては、周囲光データSr、Sg、Sbの値から基準光との赤、緑、青色光の成分比と比較することで周囲光の色温度を算定し、またSr、Sg、Sbの合計値から明るさを算定する。 The reference light source value difference data calculating means 9 calculates the color temperature of the ambient light by comparing the ambient light data Sr, Sg, Sb with the component ratio of red, green, blue light with the reference light, and Brightness is calculated from the total value of Sr, Sg, and Sb.
マトリクス演算手段10においては、得られた比較データr、g、bと明るさに基づいて赤、緑、青の彩度調整量を決定し、色補正係数Hijの値を決定し、周囲光補正値R、G、Bを出力する。 The matrix calculation means 10 determines the saturation adjustment amounts of red, green, and blue based on the obtained comparison data r, g, b and the brightness, determines the value of the color correction coefficient Hij, and corrects the ambient light. Outputs values R, G, and B.
ここで上記の例では、基準光に対し周囲光は赤みの強い光(色温度が低い光)であると判定される場合には、赤と比較して緑および青の彩度をより強めるような補正係数とすることを述べたが、周囲光が非常に明るい場合には、周囲光の色への順応効果が強くなることが考えられる。この場合には赤、緑、青の彩度を一様に強めるもしくは、緑および青と比較して赤の彩度をより強めるような係数とすることも考えられる。 Here, in the above example, when it is determined that the ambient light is light with a strong redness (light with a low color temperature) with respect to the reference light, the saturation of green and blue is increased more than that of red. However, if the ambient light is very bright, the adaptation effect to the color of the ambient light may be strengthened. In this case, it is also possible to increase the saturation of red, green, and blue uniformly, or to set a coefficient that further increases the saturation of red as compared with green and blue.
入力信号補正手段11において、第1の(入力側の)色データR1、G1、B1と上記マトリクス演算手段9で得られた周囲光補正値R、G、Bを(6)式に示すようにそれぞれ合算する。 In the input signal correction means 11, the first (input side) color data R1, G1, B1 and the ambient light correction values R, G, B obtained by the matrix calculation means 9 are expressed as shown in equation (6). Add up each one.
上記で得られた色データR2、G2、B2から色変換処理を行い、データR3、G3、B3を得、さらにデータ変換手段7により処理を行った後、第4の(彩度調整された)色データR4、G4、B4として画像表示手段8に入力され、画面上にカラー画像が表示される。 Color conversion processing is performed from the color data R2, G2, and B2 obtained above to obtain data R3, G3, and B3, and further processing is performed by the data conversion means 7, and then the fourth (saturation adjustment) is performed. Color data R4, G4, and B4 are input to the image display means 8, and a color image is displayed on the screen.
以上のように、本実施の形態に係る画像表示装置によれば、基準光値からの差を検出することで、周囲光の色温度を算定し、赤みを帯びた白色光、青みを帯びた白色光といった周囲光の色温度変化を検出し、それに応じた色補正値を提供し、これらの周囲光の色温度変化に応じた補正を行うことで画像表示装置の色再現性の改善が可能となる。 As described above, according to the image display device according to the present embodiment, the color temperature of the ambient light is calculated by detecting the difference from the reference light value, and the reddish white light and the bluish color are obtained. Detects changes in the color temperature of ambient light, such as white light, provides color correction values accordingly, and improves the color reproducibility of image display devices by performing corrections in response to changes in the color temperature of these ambient lights It becomes.
実施の形態3.
図4は、本実施の形態に係る画像表示装置を示すブロック図である。図中、図1および図2と共通する要素には、図1および図2と同じ符号を付すことにより、詳細な説明を省略する。図4に示す画像表示装置は、周囲光検出手段1c、基準光源値差データ算出手段9、彩度明度値取得手段12、およびマトリクス演算手段10からなる周囲光補正部と、入力信号補正手段11、色変換手段6、およびデータ変換手段7からなる彩度調整部と、画像表示手段8とから構成される。Embodiment 3 FIG.
FIG. 4 is a block diagram showing the image display apparatus according to the present embodiment. In the figure, elements common to those in FIGS. 1 and 2 are given the same reference numerals as in FIGS. The image display apparatus shown in FIG. 4 includes an ambient light correction unit including an ambient light detection unit 1c, a reference light source value difference data calculation unit 9, a saturation lightness value acquisition unit 12, and a matrix calculation unit 10, and an input signal correction unit 11. , A color adjustment unit comprising a color conversion unit 6 and a data conversion unit 7, and an image display unit 8.
周囲光検出手段1cは、赤、緑、青の3色のカラーセンサなどにより構成され、周囲光における赤、緑、青の色成分の大きさを検出し、検出結果を表す周囲光データSr、Sg、Sbを出力する。ここで、周囲光データSrは、検出された周囲光の赤成分の大きさを表すデータ、Sgは緑成分の大きさを表すデータ、Sbは青成分の大きさを表すデータである。 The ambient light detection means 1c is composed of three color sensors of red, green, and blue, detects the size of the red, green, and blue color components in the ambient light, and ambient light data Sr that represents the detection result. Sg and Sb are output. Here, the ambient light data Sr is data representing the size of the detected red component of ambient light, Sg is data representing the size of the green component, and Sb is data representing the size of the blue component.
基準光源値差データ算出手段9は、周囲光データSr、Sg、Sbの値と基準光源値Mr、Mg、Mbの比との差に基づいた、比較データr、g、bを出力する。彩度明度値取得手段12には、第1の(入力側の)色データR1、G1、B1における彩度および明度の値を、第1の色データR1、G1、B1から取得し、マトリクス演算手段10へと彩度値Caおよび明度値Cbを渡す。また、周囲光検出手段1cでは、赤、緑、青の色成分の他に周囲光成分の明るさを検出し、マトリクス演算手段10へ周囲光明度値Brを渡す。マトリクス演算手段10において、比較データr、g、bと色補正係数Fij、彩度値Ca、明度値Cbおよび周囲光明度値Brから周囲光補正値R、G、Bを決定する。 The reference light source value difference data calculation means 9 outputs comparison data r, g, b based on the difference between the values of the ambient light data Sr, Sg, Sb and the ratio of the reference light source values Mr, Mg, Mb. The saturation lightness value acquisition means 12 acquires the saturation and lightness values in the first (input side) color data R1, G1, B1 from the first color data R1, G1, B1, and performs matrix calculation. The saturation value Ca and the lightness value Cb are passed to the means 10. In addition, the ambient light detection unit 1 c detects the brightness of the ambient light component in addition to the red, green, and blue color components, and passes the ambient light brightness value Br to the matrix calculation unit 10. In the matrix calculation means 10, the ambient light correction values R, G, B are determined from the comparison data r, g, b, the color correction coefficient Fij, the saturation value Ca, the brightness value Cb, and the ambient light brightness value Br.
周囲光検出手段1cでは、周囲光の赤成分の大きさを表すデータSr、周囲光の緑成分の大きさを表すデータSg、周囲光の青成分の大きさを表すデータSbのほかに、周囲光の明るさを表すデータである周囲光明度値Brを検出するセンサまたは、各成分の合計値から周囲光の明るさを表すデータである周囲光明度値Brを算出する手段を備え、周囲光明度値Br、周囲光データSr、Sg、Sbを出力する。 In the ambient light detection means 1c, in addition to data Sr representing the size of the red component of ambient light, data Sg representing the size of the green component of ambient light, and data Sb representing the size of the blue component of ambient light, A sensor for detecting ambient light brightness value Br which is data representing the brightness of light, or means for calculating ambient light brightness value Br which is data representing the brightness of ambient light from the total value of each component, The degree value Br and the ambient light data Sr, Sg, Sb are output.
基準光源値差データ算出手段9においては、周囲光データSr、Sg、Sbの値から基準光との赤、緑、青色光の成分比と比較することで周囲光の色温度を算定、またSr、Sg、Sbの合計値から明るさを算定する。 In the reference light source value difference data calculation means 9, the color temperature of the ambient light is calculated by comparing the ambient light data Sr, Sg, Sb with the component ratio of red, green, blue light with the reference light, and Sr , Sg and Sb are used to calculate the brightness.
マトリクス演算手段10においては、得られた比較データr、g、bと周囲光明度値Br、彩度値Caと明度値Cbから、前記(5)式の色補正係数Fijの値を決定し、周囲光補正値R、G、Bを出力する。 In the matrix calculation means 10, the value of the color correction coefficient Fij in the equation (5) is determined from the obtained comparison data r, g, b, the ambient light brightness value Br, the saturation value Ca, and the brightness value Cb. Ambient light correction values R, G, and B are output.
例えば、通常画像表示手段8の周囲光への影響は、画像表示手段8が表示している色データの彩度、明度が大きいほど小さい。すなわち彩度値Ca、明度値Cbが大きくなるに従い前記補正値をより大きいものにする。また同様に、画像表示手段8の周囲光への影響は、画像表示手段8の周囲光の明るさが大きいほど大きい。よって、周囲光明度Brが大きくなるに従って前記補正値を大きいものにする。 For example, the influence of the normal image display unit 8 on the ambient light is smaller as the saturation and brightness of the color data displayed by the image display unit 8 are larger. That is, the correction value is increased as the saturation value Ca and the lightness value Cb increase. Similarly, the influence of the image display unit 8 on the ambient light increases as the brightness of the ambient light of the image display unit 8 increases. Therefore, the correction value is increased as the ambient light brightness Br increases.
以上のように、本実施の形態に係る画像表示装置によれば、周囲光の明るさおよび色に加え第1の(入力側の)色データの彩度および明度値を補正値算出に用いることで、周囲光および第1の色データに応じた周囲光補正を行うことができ、画像表示装置のさらなる色再現性の改善が可能となる。 As described above, according to the image display device of the present embodiment, the saturation and brightness values of the first (input side) color data are used for correction value calculation in addition to the brightness and color of ambient light. Thus, ambient light correction according to the ambient light and the first color data can be performed, and the color reproducibility of the image display device can be further improved.
以上、この発明を実施の形態により説明したが、この発明は、その発明の範囲内において、各実施の形態を組合わせたり、各実施の形態を適宜、変形または省略することが可能である。 Although the present invention has been described above with reference to the embodiments, the present invention can be combined with each other within the scope of the invention, and the embodiments can be appropriately modified or omitted.
1、1c 周囲光検出手段、2 αβ算出手段、
3 有彩色成分データ算出手段、4 演算項算出手段、
5 補正係数演算手段、6 色変換手段、7 データ変換手段、
8 画像表示手段、9 基準光源値差データ算出手段、
10 マトリクス演算手段、11 入力信号補正手段、
12 彩度明度値取得手段。 1, 1c Ambient light detection means, 2 αβ calculation means,
3 chromatic color component data calculation means, 4 calculation term calculation means,
5 correction coefficient calculation means, 6 color conversion means, 7 data conversion means,
8 image display means, 9 reference light source value difference data calculation means,
10 matrix computing means, 11 input signal correcting means,
12 Saturation lightness value acquisition means.
Claims (4)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014013988 | 2014-01-29 | ||
JP2014013988 | 2014-01-29 | ||
PCT/JP2014/067397 WO2015114852A1 (en) | 2014-01-29 | 2014-06-30 | Image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015114852A1 JPWO2015114852A1 (en) | 2017-03-23 |
JP6129358B2 true JP6129358B2 (en) | 2017-05-17 |
Family
ID=53756456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015559727A Active JP6129358B2 (en) | 2014-01-29 | 2014-06-30 | Image display device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6129358B2 (en) |
WO (1) | WO2015114852A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180096668A1 (en) * | 2016-09-30 | 2018-04-05 | Ford Global Technologies, Llc | Hue adjustment of a vehicle display based on ambient light |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3904841B2 (en) * | 2000-05-15 | 2007-04-11 | シャープ株式会社 | Liquid crystal display device, electronic device using the same, and liquid crystal display method |
JP2004070228A (en) * | 2002-08-09 | 2004-03-04 | Shima Seiki Mfg Ltd | Display device and design device each having ambient light source correction function, method of designing, and colorimeter unit |
JP4703219B2 (en) * | 2005-03-04 | 2011-06-15 | 三菱電機株式会社 | Image display device |
JP4622899B2 (en) * | 2006-03-17 | 2011-02-02 | パナソニック株式会社 | Image processing apparatus, image processing method, program, and recording medium |
EP2523187A4 (en) * | 2010-01-08 | 2014-01-01 | Sharp Kk | Electronic device, method for adjusting color saturation, program therefor, and recording medium |
JP5325135B2 (en) * | 2010-02-12 | 2013-10-23 | パナソニック株式会社 | Color correction device, video display device, and color correction method |
-
2014
- 2014-06-30 WO PCT/JP2014/067397 patent/WO2015114852A1/en active Application Filing
- 2014-06-30 JP JP2015559727A patent/JP6129358B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015114852A1 (en) | 2015-08-06 |
JPWO2015114852A1 (en) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4703219B2 (en) | Image display device | |
JP5897159B2 (en) | Display device and control method thereof | |
KR101927968B1 (en) | METHOD AND DEVICE FOR DISPLAYING IMAGE BASED ON METADATA, AND RECORDING MEDIUM THEREFOR | |
JP6530751B2 (en) | Image processing apparatus, imaging apparatus, information processing apparatus, image processing method and program | |
JP5195430B2 (en) | Image processing method, image processing program, image processing apparatus, camera | |
JP2008165231A (en) | Apparatus and method for correcting ambient light adaptive color | |
WO2020100724A1 (en) | Image processing system, image processing device, and computer program | |
JP2002232905A (en) | Chromaticity transformation device and chromaticity transformation method, display device and display method, recording medium, and program | |
JP5460805B1 (en) | Image display device | |
JP2009177569A (en) | Liquid crystal video display device, and white balance control method thereof | |
WO2014141884A1 (en) | Image processing device and liquid crystal display device | |
JP6129358B2 (en) | Image display device | |
TWI485694B (en) | Image color adjusting method and electronic apparatus thereof | |
JP2007019970A (en) | Device and method for color correction | |
JP2004080402A (en) | Circuit for adjusting dynamic white balance and multi-screen display device | |
KR102160247B1 (en) | Electronic apparatus and Method for controlling the electronic apparatus thereof | |
KR101075773B1 (en) | Calibrating method for white balance | |
CN109600596A (en) | A kind of non-linear colourless constant white balance method | |
JP2014030083A (en) | Image processor, image display device and image processing method | |
JP4470587B2 (en) | Image display device | |
JP2009005097A (en) | Device and method for adjusting color gamut | |
CA2581022A1 (en) | System for selecting matte colors | |
JP2021170767A (en) | Image processing device, image processing method, and image processing system | |
TWI556224B (en) | Field sequential color displaying method and field sequential color displaying device | |
JP2014033272A (en) | Image processing apparatus, digital camera, image processing program, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170411 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6129358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |