JPWO2011102157A1 - Image display method, image display apparatus, image display program, and display medium - Google Patents

Image display method, image display apparatus, image display program, and display medium Download PDF

Info

Publication number
JPWO2011102157A1
JPWO2011102157A1 JP2012500525A JP2012500525A JPWO2011102157A1 JP WO2011102157 A1 JPWO2011102157 A1 JP WO2011102157A1 JP 2012500525 A JP2012500525 A JP 2012500525A JP 2012500525 A JP2012500525 A JP 2012500525A JP WO2011102157 A1 JPWO2011102157 A1 JP WO2011102157A1
Authority
JP
Japan
Prior art keywords
image
color
information
observation condition
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012500525A
Other languages
Japanese (ja)
Other versions
JP5708633B2 (en
Inventor
洪 博哲
博哲 洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012500525A priority Critical patent/JP5708633B2/en
Publication of JPWO2011102157A1 publication Critical patent/JPWO2011102157A1/en
Application granted granted Critical
Publication of JP5708633B2 publication Critical patent/JP5708633B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40012Conversion of colour to monochrome

Abstract

一般色覚者には元の画像情報が保持された状態で観察可能であり、色弱者は色の違いを識別しつつ観察可能な表示を実現することを目的とし、予め定められた第一観察条件では元の画像情報に近似した表示がなされるように調整された第一画像と、前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報に応じた表示がなされるように調整されて前記第一画像に付加された第二画像と、によって画像情報の表示を行うことを特徴とする。General color-sensitive persons can observe the original image information, and weak-colored persons can observe the image while identifying the color difference. In the first image adjusted so that the display approximates the original image information and the second observation condition set in advance as a condition different from the first observation condition, the specific image included in the original image information Corresponding to the color information, displaying the image information with the second image adjusted to be displayed according to the predetermined color information or the emphasis information and added to the first image. Features.

Description

本発明は、色弱者などによる観察に適した状態で有彩色画像表示(色提示)を可能にする画像表示方法、画像表示装置、画像表示プログラム、および表示媒体に関する。   The present invention relates to an image display method, an image display device, an image display program, and a display medium that enable chromatic image display (color presentation) in a state suitable for observation by a color weak person or the like.

また、本発明は、有彩色画像表示を無彩色画像表示とした場合に、元の有彩色画像表示を推測可能にする画像表示方法、画像表示装置、画像表示プログラム、および表示媒体に関する。   The present invention also relates to an image display method, an image display device, an image display program, and a display medium that make it possible to guess the original chromatic color image display when the chromatic color image display is an achromatic color image display.

色弱とは、色を認識する錐体細胞の違いにより、一般色覚者に比較して、色の認識・識別に弱い部分を有することを意味する。ここで、色弱者は、“色彩工学の基礎”,池田光男著,朝倉書店、表9.1 色弱者の分類と簡略記号(p189)にも記載があるように、赤(L錐体)、緑(M錐体)、青(S錐体)の視細胞に関する分類と、それらの感度の程度によって分類される。いずれの視細胞の感度も完全にない者はA型色弱者と呼ばれ、L錐体の場合はP型色弱者、M錐体の場合はD型色弱者、S錐体の場合はT型色弱者と分類される。いずれかの感度が低い場合は、それぞれPA、DA、TAと分類される。P、D、T型色弱者の色覚特性は、“色彩工学の基礎”,池田光男著,朝倉書店、図9.13 二色型色弱者の混同色線(p205)にも記載があるように、ライン上(混同色線)に存在する色が全く同じ色に見え、区別することができない。   The color weakness means that it has a weaker part in color recognition / identification than a general color vision person due to a difference in pyramidal cells that recognize color. Here, as described in “Basics of Color Engineering”, Mitsuo Ikeda, Asakura Shoten, Table 9.1 Classification and Simplified Symbols (p189) for Color Weaker, Red (L cone), They are classified according to the classification of green (M cone) and blue (S cone) photoreceptors and the degree of their sensitivity. Those who do not have the sensitivity of any photoreceptor cells are called A type color weak, P type color weak in the case of the L cone, D type color weak in the case of the M cone, and T type in the case of the S cone. Classified as color deficient. When any one of the sensitivities is low, they are classified as PA, DA, and TA, respectively. The color vision characteristics of P, D, and T type color weak people are also described in “Basics of Color Engineering”, Mitsuo Ikeda, Asakura Shoten, Fig. 9.13 Confusion Color Lines for Two Color Type Color Weak People (p205) The colors existing on the line (the mixed color line) look exactly the same color and cannot be distinguished.

これらの色弱者は、普段、一般色覚者が見ている画像の色を、同じように識別することができず、色弱者用の画像表示あるいは画像変換が必要である。   These color deficient persons cannot normally identify the color of an image viewed by a general color vision person in the same way, and image display or image conversion for color deficient persons is necessary.

なお、有彩色画像表示を無彩色画像表示とした場合、例えば、カラー画像情報をモノクロプリントする場合には、以上の場合と同様の問題が一般色覚者においても発生しうる。すなわち、コンピュータ上のカラー画像情報をモノクロプリンタでプリントアウトすると、元の色が異なっていてもモノクロの濃淡としてしか再現されない状態になる。また、カラー原稿をモノクロ複写機でコピーした場合にも同じ問題が発生する。   When the chromatic color image display is an achromatic color image display, for example, when color image information is printed in monochrome, the same problem as the above case may occur even for a general color vision person. That is, when color image information on a computer is printed out by a monochrome printer, it is in a state of being reproduced only as monochrome shades even if the original colors are different. The same problem occurs when a color original is copied by a monochrome copying machine.

この種の問題に対して、以下の特許文献のような提案がなされている。   The following patent document has been proposed for this type of problem.

WO2009/020115A1WO2009 / 020115A1

上記特許文献1記載の技術は、有彩色にハッチングを付して、色彩の存在を色弱者にも知らしめるようにしている。さらに、色毎にハッチングの角度を変えることで、同一の混同色線上に存在する異なる色の区別も付けられるようになる。また、ハッチングの角度を予め定めた絶対角度としておくことで、色弱者が色を判別することも可能になる。   The technique described in Patent Document 1 gives hatching to chromatic colors so that the color weak can be informed of the existence of colors. Further, by changing the hatching angle for each color, different colors existing on the same mixed color line can be distinguished. In addition, by setting the hatching angle to a predetermined absolute angle, it becomes possible for the color weak to discriminate the color.

この場合、一般色覚者にとってはハッチングによって、元の画像の状態が変わってしまい、煩わしく感じられることもあった。   In this case, the state of the original image is changed by hatching for the general color sensation person, which may be annoying.

本発明は、以上のような課題を解決するためになされたものであって、一般色覚者には元の画像情報がほぼ保持された状態で観察可能であり、色弱者は元の画像情報に対応した色の違いを識別しつつ観察可能であって、一般色覚者と色弱者との双方による観察に適した状態で画像表示可能な画像表示方法、画像表示装置、画像表示プログラム、および表示媒体を提供することを目的とする。   The present invention has been made in order to solve the above-described problems, and can be observed in a state in which the original image information is substantially retained by a general color vision person, and the color weak person is restored to the original image information. An image display method, an image display device, an image display program, and a display medium that are observable while identifying corresponding color differences and that can display images in a state suitable for observation by both general color blind and color weak The purpose is to provide.

また、本発明は、カラー画像情報を白黒化して表示した場合に、白黒化以前の色彩情報が伝わるような画像表示を実現可能な画像表示方法、画像表示装置、画像表示プログラム、および表示媒体を提供することを目的とする。   The present invention also provides an image display method, an image display device, an image display program, and a display medium that can realize an image display in which color information before monochromeization is transmitted when color image information is displayed in black and white. The purpose is to provide.

以上の課題を解決する本発明は、以下に記載するようなものである。   The present invention for solving the above problems is as described below.

(1)本発明の画像表示方法、画像表示装置、画像表示プログラムおよび表示媒体は、予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされる第一画像と、前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報が前記第一画像に対して付加された表示がなされる第二画像と、によって画像情報の表示を行うことを特徴とする。   (1) The image display method, the image display apparatus, the image display program, and the display medium according to the present invention display the same or similar to the original image information as the original image information under a predetermined first observation condition. The predetermined color information or the emphasis information is associated with specific color information included in the original image information in the second observation condition that is predetermined as a condition different from the one image and the first observation condition. The image information is displayed by the second image added to the first image and displayed.

また、予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされる第一画像を生成する第一画像生成部と、前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報が前記第一画像に対して付加された表示がなされる第二画像を生成する第二画像生成部と、前記第一観察条件と前記第二観察条件によって、前記第一画像と前記第二画像を選択的に表示されるように構成された表示媒体を出力する出力部と、を備えたことを特徴とする。   Further, the first observation condition is different from the first image generation unit that generates a first image that is displayed in the same manner as the original image information or approximate to the original image information under a predetermined first observation condition. In the second observation condition predetermined as a condition, display is performed in which predetermined color information or emphasis information is added to the first image in association with the specific color information included in the original image information. And a display medium configured to selectively display the first image and the second image according to the first observation condition and the second observation condition. And an output unit for outputting.

(2)前記強調情報は、元の画像情報の色に応じた角度が異なるパターンあるいは角度が異なるハッチングを含む、ことを特徴とする。   (2) The enhancement information includes a pattern having different angles or hatching having different angles according to the color of the original image information.

(3)前記第一観察条件と前記第二観察条件との違いは、画像を観察する方向の違い、画像に対して照射される光の方向の違い、画像に対して照射される光の波長分布の違い、画像周囲の環境照度の違い、の少なくとも一つである、ことを特徴とする。   (3) The difference between the first observation condition and the second observation condition is the difference in the direction in which the image is observed, the difference in the direction of light irradiated on the image, and the wavelength of the light irradiated on the image. It is at least one of a difference in distribution and a difference in ambient illumination around the image.

(4)前記第二画像は、メタメリズムを用いて第一画像に対して挿入された透かし画像である、ことを特徴とする。   (4) The second image is a watermark image inserted into the first image using metamerism.

(5)前記第二画像には、前記第一画像に使用される色材(通常色材)とは成分又は量が異なる追加色材が使用される、ことを特徴とする。   (5) The second image is characterized in that an additional color material having a component or amount different from that of the color material (normal color material) used in the first image is used.

(6)前記追加色材は、入射光の特定成分を選択的に反射させる性質を有する材料、透過光と反射光とで表示状態が異なる性質を有する材料、画像の光沢度を増加あるいは低減させる材料、入射光を再帰反射させる再帰性材料、特定波長の光を受けて別の波長の発光を行う蛍光塗料、観察角度で色や模様が変化する材料、の少なくとも一つである、ことを特徴とする。   (6) The additional color material is a material having a property of selectively reflecting a specific component of incident light, a material having a property of displaying differently between transmitted light and reflected light, and increasing or decreasing the glossiness of an image. It is at least one of a material, a retroreflective material that retroreflects incident light, a fluorescent paint that emits light of a different wavelength by receiving light of a specific wavelength, and a material whose color or pattern changes depending on the observation angle. And

(7)前記通常色材と前記追加色材との前記第一観察条件における総合的な測色値(第一観察条件総合測色値)に基づいて、元の画像情報に近似した表示がなされるように各色材を選択する、ことを特徴とする。   (7) Based on the total colorimetric values (first observation condition total colorimetric values) of the normal color material and the additional color material in the first observation condition, a display that approximates the original image information is made. Each color material is selected in such a manner.

(8)色差低下度に応じた強調度を算出し、前記第二観察条件において前記第二画像が前記強調度を実現するように前記追加色材を使用する、ことを特徴とする。   (8) The degree of enhancement corresponding to the degree of color difference reduction is calculated, and the additional color material is used so that the second image realizes the degree of enhancement under the second observation condition.

(9)元の画像情報において混同色線上に存在する異なる色の輪郭あるいは境界では、前記第二観察条件において明度,輝度,色度,彩度のいずれかで差が生じるように、前記輪郭あるいは前記境界において前記追加色材を使用する、ことを特徴とする。   (9) The contour or boundary of different colors existing on the confusion color line in the original image information has the contour or boundary such that a difference occurs in any one of brightness, luminance, chromaticity, and saturation in the second observation condition. The additional color material is used at the boundary.

(10)前記色差低下度とは、元の画像情報における注目画素とその周囲画素との色差が、観察者の色覚特性に応じて低下する度合いであることを特徴とする。   (10) The color difference reduction degree is characterized in that the color difference between the target pixel and the surrounding pixels in the original image information is reduced according to the color vision characteristics of the observer.

本発明の画像表示方法、画像表示装置、画像表示プログラムおよび表示媒体によると以下のような効果が得られる。   According to the image display method, image display apparatus, image display program, and display medium of the present invention, the following effects can be obtained.

(1)本発明の画像表示方法、画像表示装置、画像表示プログラムおよび表示媒体では、予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされるように調整された第一画像に対して、第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて予め定められた色情報あるいは強調情報に応じた表示がなされるように調整された第二画像を付加することにより、第一観察条件下での一般色覚者には元の画像情報が保持された状態で観察可能であり、第二観察条件下での色弱者は色の違いを識別しつつ観察可能になり、一般色覚者と色弱者との双方による観察に適した状態で表示できるようになる。   (1) In the image display method, the image display apparatus, the image display program, and the display medium of the present invention, the display is the same as the original image information or approximate to the original image information under a predetermined first observation condition. For the first image adjusted to the predetermined color information corresponding to the specific color information included in the original image information under the second observation condition that is predetermined as a condition different from the first observation condition. Or, by adding a second image that is adjusted to display according to the emphasis information, the general color sense person under the first observation condition can observe the original image information. The color weak person under the second observation condition can be observed while identifying the difference in color, and can be displayed in a state suitable for observation by both the general color blind person and the color weak person.

(2)強調情報は、元の画像情報の色に応じた角度が異なるパターンあるいは角度が異なるハッチングを含むことにより、第二観察条件下での色弱者は色の違いを容易に識別しつつ観察し易くなる。   (2) The emphasis information includes patterns with different angles according to the color of the original image information or hatching with different angles, so that the visually impaired under the second observation condition can easily identify the color difference and observe It becomes easy to do.

(3)画像を観察する方向の違い、画像に対して照射される光の方向の違い、画像に対して照射される光の波長分布の違い、画像周囲の環境照度の違い、の少なくとも一つを、第一観察条件と第二観察条件との違いとすることで、所望の観察条件を容易に設定し、設定された観察条件のもとで適した表示の観察が可能になる。   (3) At least one of a difference in the direction in which the image is observed, a difference in the direction of light irradiated on the image, a difference in wavelength distribution of light irradiated on the image, and a difference in ambient illuminance around the image By making the difference between the first observation condition and the second observation condition, it is possible to easily set a desired observation condition and observe a display suitable for the set observation condition.

(4)第二画像としてメタメリズムを用いて第一画像に対して挿入された透かし画像を用いることで、第一観察条件下での一般色覚者には元の画像情報が保持された状態で観察可能であり、第二観察条件下での色弱者は色の違いを識別しつつ観察可能になり、一般色覚者と色弱者との双方による観察に適した状態で表示できるようになる。   (4) By using a watermark image inserted into the first image using metamerism as the second image, the general color sense person under the first observation condition observes the original image information. It is possible, and the weak color person under the second observation condition can observe the color difference while discriminating the color difference, and can display in a state suitable for observation by both the general color blind person and the weak color person.

(5)第二画像には、第一画像に使用される色材(通常色材)とは成分又は量が異なる追加色材が使用されることにより、元の画像情報の表示状態を損なうことなく、一般色覚者と色弱者との双方による観察に適した状態で表示できるようになる。   (5) The second image uses an additional color material having a different component or amount from the color material (ordinary color material) used for the first image, thereby impairing the display state of the original image information. In addition, the image can be displayed in a state suitable for observation by both general color blind and color weak.

(6)前記追加色材は、入射光の特定成分を選択的に反射させる性質を有する材料、透過光と反射光とで表示状態が異なる性質を有する材料、画像の光沢度を増加あるいは低減させる材料、入射光を再帰反射させる再帰性材料、特定波長の光を受けて別の波長の発光を行う蛍光塗料、観察角度で色や模様が変化する材料、の少なくとも一つを使用することにより、元の画像情報の表示状態を損なうことなく、一般色覚者と色弱者との双方による観察に適した状態で表示できるようになる。   (6) The additional color material is a material having a property of selectively reflecting a specific component of incident light, a material having a property of displaying differently between transmitted light and reflected light, and increasing or decreasing the glossiness of an image. By using at least one of a material, a retroreflective material that retroreflects incident light, a fluorescent paint that emits light of another wavelength by receiving light of a specific wavelength, and a material whose color or pattern changes depending on the observation angle, The original image information can be displayed in a state suitable for observation by both the general color vision person and the color weak person without impairing the display state of the original image information.

(7)第一観察条件における第一画像と第二画像との総合的な測色値(第一観察条件総合測色値)に基づいて、元の画像情報に近似した表示がなされるように各色材を選択することにより、一般色覚者に対する元の画像情報(元の色や模様)の表示状態を正確に保ちつつ、色弱者に対しても色情報の識別が可能な状態での観察に適した表示をできるようになる。   (7) Based on the total colorimetric values (first observation condition total colorimetric values) of the first image and the second image under the first observation condition, a display approximate to the original image information is made. By selecting each color material, the display state of the original image information (original color and pattern) for the general color senser can be accurately maintained, and the color information can be identified even for the weak colorant. Appropriate display becomes possible.

(8)色差低下度に応じた強調度を算出し、第二観察条件において第二画像が強調度を実現するように追加色材を使用することにより、一般色覚者に対する元の画像情報(元の色や模様)の表示状態を正確に保ちつつ、色弱者に対しても色情報の識別が可能な状態での観察に適した表示をできるようになる。   (8) By calculating the degree of enhancement according to the degree of color difference reduction and using an additional color material so that the second image realizes the degree of enhancement under the second observation condition, the original image information (original (Colors and patterns) can be accurately displayed, and display suitable for observation in a state where color information can be identified even for the weak.

(9)元の画像情報において混同色線上に存在する異なる色の輪郭あるいは境界では、前記第二観察条件において明度,輝度,色度,彩度のいずれかで差が生じるように、輪郭あるいは境界において追加色材を使用することにより、色弱者に対して混同色線上の色の違い(輪郭や境界)を明確に識別できる状態で表示できるようになる。   (9) Contours or borders of different colors existing on the confusion color line in the original image information so that a difference occurs in any one of lightness, luminance, chromaticity, and saturation in the second observation condition. By using the additional color material, the color difference (contour or boundary) on the confused color line can be displayed in a state where it can be clearly identified for the color weak.

(10)前記色差低下度とは、元の画像情報における注目画素とその周囲画素との色差が、観察者の色覚特性に応じて低下する度合いであることにより、第二観察条件において色弱者に対して色情報の識別が可能な状態での観察に適した表示をできるようになる。   (10) The degree of color difference reduction is the degree to which the color difference between the target pixel and the surrounding pixels in the original image information is reduced according to the color vision characteristics of the observer, and thus is used for the color-weak person in the second observation condition. On the other hand, it is possible to perform display suitable for observation in a state where color information can be identified.

(11)また、カラー画像情報をモノクロ出力する際に、以上の第一画像に対する第二画像の付加を行うことで、モノクロ画像や全色盲の場合において元の有彩色の状態を識別することが可能になる。   (11) Further, when the color image information is output in monochrome, the original chromatic state can be identified in the case of a monochrome image or all color blindness by adding the second image to the first image. It becomes possible.

本発明の実施形態の動作を示すフローチャートである。It is a flowchart which shows operation | movement of embodiment of this invention. 本発明の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of embodiment of this invention. 本発明の実施形態で使用される色材と観察条件との様子を示す説明図である。It is explanatory drawing which shows the mode of the coloring material used in embodiment of this invention, and observation conditions. 本発明の実施形態で使用される色材と観察条件との様子を示す説明図である。It is explanatory drawing which shows the mode of the coloring material used in embodiment of this invention, and observation conditions. 本発明の実施形態の色材の測色の様子を示す説明図である。It is explanatory drawing which shows the mode of the colorimetry of the coloring material of embodiment of this invention. 本発明の実施形態の表示状態の説明図である。It is explanatory drawing of the display state of embodiment of this invention.

以下、図面を参照して本発明を実施するための最良の形態(以下、実施形態)を詳細に説明する。   The best mode for carrying out the present invention (hereinafter referred to as an embodiment) will be described below in detail with reference to the drawings.

(A)画像表示装置の構成:
図2は本発明の第一の実施形態の画像表示方法を実行する画像表示装置100内の詳細構成を示すブロック図である。
(A) Configuration of image display device:
FIG. 2 is a block diagram showing a detailed configuration in the image display apparatus 100 that executes the image display method according to the first embodiment of the present invention.

なお、この画像表示装置100のブロック図は、画像表示方法の処理手順、画像表示プログラムの各ルーチンをも表している。   Note that the block diagram of the image display apparatus 100 also represents the processing procedure of the image display method and each routine of the image display program.

また、この図2では、本実施形態の動作説明に必要な部分の周囲を中心に記載してあり、その他の画像表示装置100として既知の電源スイッチ、電源回路などの各種の部分については省略してある。   Further, in FIG. 2, the periphery of the portion necessary for the description of the operation of the present embodiment is mainly described, and various portions such as a power switch and a power circuit known as the other image display device 100 are omitted. It is.

本実施形態の画像表示装置100は、一般色覚者には元の画像情報が保持された状態で観察可能であり色弱者は色の違いを識別しつつ観察可能であって一般色覚者と色弱者との双方による観察に適した状態で画像表示可能にする制御を実行する制御部101と、色覚特性や観察条件に対応する第二画像に関する情報などを記憶する記憶部103と、色覚特性情報と観察条件とに関する指定がオペレータにより入力される操作表示部105と、予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされるように調整された第一画像を生成する第一画像生成部110、前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報に応じた表示がなされるように調整されて前記第一画像に付加される第二画像を生成する第二画像生成部120、第一画像と第二画像との合成や画像表示に際しての各種画像処理を実行する画像処理部130、第一画像に第二画像を付加した状態で表示されるように構成された表示媒体を出力する出力部としてのプリンタ部140、を備えて構成されている。   The image display apparatus 100 according to the present embodiment can be observed by a general color blind person in a state where the original image information is held. The color weak person can observe the color difference while identifying the color difference. A control unit 101 that executes control to enable image display in a state suitable for observation by both, a storage unit 103 that stores information about a second image corresponding to color vision characteristics and observation conditions, and color vision characteristic information. The operation display unit 105 in which designation regarding the observation condition is input by the operator, and the first display condition determined in advance are adjusted so that the display is the same as or similar to the original image information. The first image generation unit 110 that generates one image is determined in advance in association with specific color information included in the original image information in a second observation condition that is predetermined as a condition different from the first observation condition. A second image generation unit 120 that generates a second image that is adjusted so as to be displayed according to color information or emphasis information and is added to the first image, composition of the first image and the second image, or an image An image processing unit 130 that executes various image processing at the time of display, and a printer unit 140 as an output unit that outputs a display medium configured to be displayed with the second image added to the first image are provided. It is configured.

なお、この画像表示装置100は一体として構成されるだけでなく、制御部101、記憶部103、操作表示部105、第一画像生成部110と第二画像生成部120と画像処理部130、プリンタ部140、のそれぞれ、あるいは、いずれかが、離れた場所に存在していて、各種通信回線で接続されたものであってもよい。   The image display device 100 is not only configured as a single unit, but also includes a control unit 101, a storage unit 103, an operation display unit 105, a first image generation unit 110, a second image generation unit 120, an image processing unit 130, and a printer. Each or any of the units 140 may exist at a distant place and connected by various communication lines.

なお、プリンタ部140では、予め定められた第一観察条件では元の画像情報に近似した表示がなされるように調整された第一画像を、Y,M,C,Kなどの通常色材により形成し、第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報に応じた表示がなされるように調整されて第一画像に付加された第二画像を追加色材により形成する。強調情報は、元の画像情報の色に応じた角度が異なるパターンあるいは角度が異なるハッチングを含むことにより、第二観察条件下での色弱者は色の違いを容易に識別しつつ観察し易くなる。   Note that the printer unit 140 uses a normal color material such as Y, M, C, or K to display the first image adjusted so that the display approximates the original image information under a predetermined first observation condition. The display according to the predetermined color information or the emphasis information in association with the specific color information included in the original image information in the second observation condition that is formed as a condition different from the first observation condition The second image adjusted so as to be added to the first image is formed with the additional color material. The emphasis information includes patterns with different angles according to the color of the original image information or hatching with different angles, so that it is easy for color-deficient people under the second observation condition to easily observe the color difference while easily identifying the difference in color. .

また、第二画像には、第一画像に使用される色材(通常色材)とは成分又は量が異なる追加色材が使用されることにより、元の画像情報の表示状態を損なうことなく、一般色覚者と色弱者との双方による観察に適した状態で表示できるようになる。   In addition, an additional color material having a component or amount different from that of the color material (ordinary color material) used for the first image is used for the second image without impairing the display state of the original image information. Thus, it is possible to display in a state suitable for observation by both general color blind and color weak.

具体的には、追加色材としては、上記通常色材の色味をできるだけ損なわないように透明に近い状態であって、入射光のうちの特定の成分(波長成分、偏光成分など)を選択的に反射させる性質を有する材料、光を散乱させて画像の光沢度を低減するつや消し剤などの材料(図3(a)参照)、光を効率よく反射させて画像の光沢度を増加する透明トナーなどの材料(図3(b)参照)、入射光を再帰反射させる再帰反射材(図3(c)参照)、特定波長の光を受けて別の波長の発光を行う蛍光塗料、観察角度で色や模様が変化するパールやメタリックやホログラムなどの材料、背面からの透過光を遮断するなどにより透過光と反射光とで表示状態が異なる性質を有する材料(図4(a)との比較において図4(b)の色材220d参照)、の少なくとも一つを使用する。これにより、元の第一画像の画像情報の表示状態を損なうことなく、一般色覚者と色弱者との双方による観察に適した状態で表示できるようになる。   Specifically, as the additional color material, a specific component (wavelength component, polarization component, etc.) of the incident light is selected so that it is nearly transparent so as not to impair the color of the normal color material as much as possible. A material that reflects light automatically, a material such as a matting agent that scatters light to reduce the glossiness of the image (see FIG. 3A), and a transparent material that efficiently reflects light and increases the glossiness of the image Materials such as toner (see FIG. 3B), retroreflecting material that retroreflects incident light (see FIG. 3C), fluorescent paint that emits light of a different wavelength by receiving light of a specific wavelength, observation angle A material such as pearl, metallic, or hologram whose color and pattern change due to, and a material that has different properties in display state between transmitted light and reflected light by blocking transmitted light from the back surface (comparison with Fig. 4 (a)) In FIG. 4B, refer to the color material 220d). The use of at least one. Thereby, it becomes possible to display in a state suitable for observation by both the general color vision person and the color weak person without impairing the display state of the image information of the original first image.

ここで、第一観察条件と前記第二観察条件との違いは、画像を観察する方向の違い、画像に対して照射される光の方向の違い(反射光の角度の違い、透過光と反射光との組み合わせの違い)、画像に対して照射される光の波長分布の違い、画像周囲の環境照度の違い、の少なくとも一つである。そして、たとえば、通常の観察条件を第一観察条件として定め、この第一観察条件と異なる条件の観察条件を第二観察条件として定める。   Here, the difference between the first observation condition and the second observation condition is that there is a difference in the direction in which the image is observed, a difference in the direction of light applied to the image (difference in the angle of reflected light, transmitted light and reflected light). Difference in combination with light), difference in wavelength distribution of light applied to the image, and difference in ambient illuminance around the image. For example, a normal observation condition is defined as the first observation condition, and an observation condition that is different from the first observation condition is defined as the second observation condition.

たとえば、図3の色材220a〜220cを追加色材として使用した場合に、その追加色材による効果が生じない状態での観察を第一観察条件として定め、その追加色材による効果が生じるような光を照射した状態での観察を第二観察条件として定めることが望ましいが、逆に定めてもよい。なお、この追加色材は、通常色材の表面を覆うように形成しても良いし、追加色材の下地として、記録媒体200の表面状態を調整するように形成してもよい。   For example, when the color materials 220a to 220c in FIG. 3 are used as additional color materials, observation in a state where the effect of the additional color material does not occur is defined as the first observation condition, and the effect of the additional color material is produced. It is desirable to set the observation in the state of irradiating light as the second observation condition, but it may be set in reverse. The additional color material may be formed so as to cover the surface of the normal color material, or may be formed so as to adjust the surface state of the recording medium 200 as a base of the additional color material.

また、図4の色材220a1〜220a2を通常色材、色材220dを追加色材として使用した場合に、その追加色材220dによる透過光遮断効果が生じない状態での観察を第一観察条件として定め、その追加色材による透過光遮断効果が生じるような光を照射した状態での観察を第二観察条件として定めることが望ましいが、逆に定めてもよい。   Further, when the color materials 220a1 to 220a2 in FIG. 4 are used as the normal color material and the color material 220d as the additional color material, the observation in a state where the transmitted light blocking effect by the additional color material 220d does not occur is the first observation condition. It is desirable to set the observation in the state of irradiating light that causes the transmitted light blocking effect by the additional color material as the second observation condition.

また、通常色材220a1・220a2の表面を覆うようにして図3の色材220a〜220cを追加色材として使用し、さらに、通常色材220a1・220a2の下地として透過光を遮断する図4の追加色材220dを組み合わせて使用してもよい。   Further, the color materials 220a to 220c of FIG. 3 are used as additional color materials so as to cover the surfaces of the normal color materials 220a1 and 220a2, and further, the transmitted light is blocked as a base of the normal color materials 220a1 and 220a2. The additional color material 220d may be used in combination.

また、正面入射光と背面入射光とで異なる成分の光(可視光と紫外線)とを用いて、追加色材に蛍光塗料を用いて、背面入射光で蛍光発生のようにして、蛍光の有無の違いを用いることも可能である。   In addition, the presence or absence of fluorescence by using fluorescent paint as an additional color material using light of different components (front light and ultraviolet light) for front incident light and rear incident light, and generating fluorescence with rear incident light. It is also possible to use the difference.

(B)画像表示方法の手順、画像表示装置の動作、画像表示プログラムの処理:
以下、図1のフローチャート、図3以降の説明図を参照して、本実施形態の動作説明を行う。
(B) Procedure of image display method, operation of image display device, processing of image display program:
Hereinafter, the operation of this embodiment will be described with reference to the flowchart of FIG. 1 and the explanatory diagrams of FIG.

(B−0)第一観察条件における第一画像のための測色:
まず、図1に示す画像表示についての具体的な処理を実行する前に、あらかじめ、通常色材と追加色材とを用いた状態での測色を実行しておく。ここでは、YMCの3色を通常色材として使用した場合を具体例にする。
(B-0) Colorimetry for the first image under the first viewing condition:
First, before executing the specific processing for image display shown in FIG. 1, color measurement is performed in advance using a normal color material and an additional color material. Here, a case where three colors of YMC are used as normal color materials is taken as a specific example.

図5に示すようなYMCそれぞれ5段階の125色のチャート(LUT測色モデル)の画像情報を用意する。そして、追加色材の使用率を変えた状態、たとえば、125色のチャート+追加色材0%付加(図5(a))、125色のチャート+追加色材50%付加(図5(b))、125色のチャート+追加色材100%付加(図5(c))、をプリンタ部140から出力する。   Image information of a chart of 125 colors (LUT color measurement model) in five stages for each YMC as shown in FIG. 5 is prepared. Then, the usage rate of the additional color material is changed, for example, 125 color chart + additional color material 0% addition (FIG. 5A), 125 color chart + additional color material 50% addition (FIG. 5B). )), A chart of 125 colors + additional color material 100% addition (FIG. 5C) is output from the printer unit 140.

このような追加色材の使用率を変えたチャートを、第一観察条件の下で分光放射計などを用いて測色することで、第一観察条件における通常色材と追加色材との合成された状態での見え方に相当する第一観察条件総合測色値を取得する。多くの場合、追加色材の使用率が増えるに従って、彩度が低下する傾向にある。   By combining a color chart using a spectroradiometer, etc., under the first observation condition with a chart that changes the usage rate of the additional color material, the normal color material and the additional color material under the first observation condition are combined. A first observation condition total colorimetric value corresponding to the appearance in the obtained state is acquired. In many cases, the saturation tends to decrease as the usage rate of the additional color material increases.

なお、実際に使用する予定の追加色材の使用率のチャートを用意して測色しておくことが望ましいが、補間演算などによって必要に応じて測色値を演算により求めることも可能である。追加色材の使用率=25%であれば、追加色材の使用率0%と50%との平均値やスプライン関数補間によって求めることが可能になる。   Although it is desirable to prepare a chart of the usage rate of the additional color material that is actually planned to be used for color measurement, it is also possible to obtain a colorimetric value by calculation as necessary by interpolation calculation or the like. . If the usage rate of the additional color material is 25%, it can be obtained by an average value of the usage rates of the additional color material of 0% and 50% or by spline function interpolation.

そして、本件出願の発明者が別途提案しているカラーマネージメントの手法を用いて、元画像にあった所望の測色値を探索する。具体的な手法は、「Po-Chieh Hung, Colorimetric calibration in electronic imaging devices using a look-up-table model and interpolations, Journal of Electronic Imaging, 2(1), 53- 61 (1993). 」に記載されている。   Then, a desired colorimetric value in the original image is searched by using a color management method separately proposed by the inventor of the present application. The specific technique is described in `` Po-Chieh Hung, Colorimetric calibration in electronic imaging devices using a look-up-table model and interpolations, Journal of Electronic Imaging, 2 (1), 53-61 (1993). '' ing.

なお、追加色材は1種類だけでなく、光沢色材M%と蛍光色材N%のように使用することもある。そのため、図5に示したLUT測色モデルを、第一追加色材M%・第二追加色材N%のように、複数種類の追加色材の組み合わせた状態で作成して測色を行うことが望ましい。   The additional color material is not limited to one type, but may be used as a gloss color material M% and a fluorescent color material N%. Therefore, the LUT color measurement model shown in FIG. 5 is created in a state where a plurality of types of additional color materials are combined, such as the first additional color material M% and the second additional color material N%, and the color measurement is performed. It is desirable.

以上のように第一観察条件総合測色値について測色を行っておくことで、後述する第二画像のための追加色材を使用した場合でも、第一観察条件における第一画像では、従来と変わらない見え方を確保することが可能になり、一般色覚者に対して煩わしさを感じさせることがなくなる。すなわち、図5の測色によって、通常の見え方に悪影響を与えない状態になる。   By performing color measurement for the first observation condition total colorimetric value as described above, even when an additional color material for the second image described later is used, Thus, it is possible to ensure a visual appearance that is not different from that of a general color sense person. That is, the color measurement of FIG. 5 does not adversely affect the normal appearance.

(B−1)色覚特性・観察条件決定:
そして、本実施形態の画像表示方法を実行するに際して、色弱者の型などの色覚特性情報と、観察条件(第一観察条件、第二観察条件)とを、制御部101に対して、操作表示部105からオペレータが入力するか、あるいは、外部PCなどから入力する(図1中のステップS101)。この色覚特性情報としては、色弱者の場合であればいずれの型に属するか、あるいは、何れの色の区別がつきにくいか、といった情報になる。すなわち、色覚特性情報とは、有彩色の画像における異なる色であるものの受光側において受光結果が類似する(類似し区別が付きにくい)領域についての情報になる。なお、ここで入力された色覚特性情報に基づいて、どのように第二画像を生成するかが、制御部101によって決定される。
(B-1) Determination of color vision characteristics and observation conditions:
Then, when executing the image display method of the present embodiment, the color vision characteristic information such as the type of the weak color and the observation conditions (first observation condition, second observation condition) are displayed on the control unit 101 as an operation display. The operator inputs from the unit 105 or inputs from an external PC or the like (step S101 in FIG. 1). This color vision characteristic information is information such as which type belongs to a color weak person or which color is difficult to distinguish. In other words, the color vision characteristic information is information about a region that is a different color in a chromatic image but has a similar light reception result (similar and difficult to distinguish) on the light receiving side. Note that the control unit 101 determines how to generate the second image based on the color vision characteristic information input here.

(B−2)画像情報入力:
つぎに、有彩色の画像情報を画像表示装置100内の第一画像生成部110と第二画像生成部120とに入力する(図1中のステップS102)。なお、画像表示装置100に、図示されない画像メモリを設けておいて、画像情報を一時的に記憶してから、第一画像生成部110と第二画像生成部120とに入力してもよい。
(B-2) Image information input:
Next, chromatic image information is input to the first image generation unit 110 and the second image generation unit 120 in the image display device 100 (step S102 in FIG. 1). Note that an image memory (not shown) may be provided in the image display device 100, and the image information may be temporarily stored and then input to the first image generation unit 110 and the second image generation unit 120.

(B−3)画素位置選定:
以上のようにして入力された画像情報について、制御部101は、一画素(1ピクセル)毎に処理を進めるため、所定の処理順序に従って、画素位置を選択する(図1中のステップS103)。
(B-3) Pixel position selection:
With respect to the image information input as described above, the control unit 101 selects a pixel position according to a predetermined processing order in order to proceed with processing for each pixel (one pixel) (step S103 in FIG. 1).

(B−4)本来の色における周囲との色差算出:
制御部101は、選択された画素位置(注目画素)の画像情報について、本来の色において、周囲の4画素あるいは周囲の8画素の画像情報の平均値と当該画素の画像情報とで色差(dE1)を算出する(図1中のステップS104)。
(B-4) Calculation of color difference from surroundings in original color:
For the image information of the selected pixel position (target pixel), the control unit 101 determines the color difference (dE1) between the average value of the image information of the surrounding 4 pixels or the surrounding 8 pixels and the image information of the pixel in the original color. ) Is calculated (step S104 in FIG. 1).

もしsRGB系で計算されている場合には、sRGBの規格に沿って三刺激値XYZに変換し、さらに、その後にL均等色空間などで色差を計算する。なお、色差計算については、各種の既知の手法を用いることが可能である。If it is calculated in the sRGB system, it is converted into tristimulus values XYZ in accordance with the sRGB standard, and then the color difference is calculated in the L * a * b * uniform color space or the like. For color difference calculation, various known methods can be used.

(B−5)色弱状態の色における周囲との色差算出:
また、制御部101は、画像情報を指定された色覚特性(色弱の型)に近似した見え方に変換したうえで、選択された画素位置の画像情報について、周囲の4画素あるいは周囲の8画素の画像情報の平均値と当該画素の画像情報とで色差(dE2)を算出する(図1中のステップS105)。
(B-5) Calculation of color difference from surrounding color in weak color state:
Further, the control unit 101 converts the image information into a visual appearance that approximates the specified color vision characteristic (color weakness type), and then, for the image information at the selected pixel position, the surrounding 4 pixels or the surrounding 8 pixels. The color difference (dE2) is calculated from the average value of the image information and the image information of the pixel (step S105 in FIG. 1).

なお、ここでは、各種の手法で色弱シミュレーションを実行して見え方を近似すればよい。そして、その近似した状態での色差計算についても、ソーベルフィルタ等の各種の既知の手法を用いることが可能である。   Here, color appearance simulation may be executed by various methods to approximate the appearance. Various known methods such as a Sobel filter can be used for the color difference calculation in the approximated state.

(B−6)色弱状態での色差低下度(低下率)算出:
また、制御部101は、色弱近似状態での色差(dE2)と元の色での色差(dE1)とから色差低下度R=dE2−dE1を算出する(図1中のステップS106)。ここで、dE2<dE1であるためRは負の値であるが、色差低下が生じずに正の値である場合には0としてよい。また、制御部101は、色差低下率R’=dE2/dE1を算出してもよい。
(B-6) Color difference reduction degree (decrease rate) calculation in a color weak state:
Further, the control unit 101 calculates a color difference reduction degree R = dE2-dE1 from the color difference (dE2) in the color weak approximation state and the color difference (dE1) in the original color (step S106 in FIG. 1). Here, since dE2 <dE1, R is a negative value, but may be 0 if the color difference does not decrease and is a positive value. Further, the control unit 101 may calculate the color difference reduction rate R ′ = dE2 / dE1.

(B−7)色差低下度に応じた強調度(強調率)算出:
制御部101は、以上の色差低下度Rまたは色差低下率R’に応じて、低下を相殺するような強調度Aeあるいは強調率Ae’を算出する(図1中のステップS107)。なお、この強調は、低下する領域の識別がつくように、低下する領域全体、あるいは、低下する領域のエッジのいずれであってもよい。ここで、強調度AeとしてはAe=−Rとし、強調率Ae’としてはAe’=1/R’とする。ここで、エッジを強調するのであれば、アンシャープマスキングなどのエッジ強調の手法をもちいることができる。すなわち、図5の測色により、通常の見え方に悪影響を与えない状態であって、かつ、第二観察条件では色弱の色差低下度に応じた強調がなされることで、良好な結果が得られる。
(B-7) Calculation of enhancement degree (enhancement rate) according to the color difference reduction degree:
The control unit 101 calculates the enhancement degree Ae or the enhancement rate Ae ′ that cancels the decrease in accordance with the color difference decrease degree R or the color difference decrease rate R ′ (step S107 in FIG. 1). Note that this enhancement may be performed either on the entire area to be lowered or on the edge of the area to be lowered so that the area to be lowered can be identified. Here, the enhancement degree Ae is set to Ae = −R, and the enhancement rate Ae ′ is set to Ae ′ = 1 / R ′. Here, if the edge is emphasized, an edge enhancement technique such as unsharp masking can be used. That is, the color measurement in FIG. 5 is in a state that does not adversely affect the normal appearance, and under the second observation condition, the enhancement according to the color difference reduction degree of the color weakness is performed, and thus a good result is obtained. It is done.

(B−8)強調度(強調率)に応じた追加色材決定:
制御部101は、以上の色差低下度Rまたは色差低下率R’を相殺するような強調度Aeあるいは強調率Ae’を算出しており、この強調度Aeあるいは強調率Ae’と、第二観察条件とに応じて、追加色材の種類と量と使用表現方法(ハッチング、べた塗り、エッジ(輪郭)強調、これらの併用、など)を決定する(図1中のステップS108)。
(B-8) Determination of additional color material according to the degree of enhancement (emphasis rate):
The control unit 101 calculates an enhancement degree Ae or an enhancement rate Ae ′ that cancels out the above-described color difference reduction degree R or color difference reduction rate R ′. The enhancement degree Ae or the enhancement degree Ae ′ and the second observation Depending on the conditions, the type and amount of the additional color material and the usage expression method (hatching, solid painting, edge (contour) emphasis, combination of these, etc.) are determined (step S108 in FIG. 1).

この場合、ハッチングを用いる場合には、ハッチングの角度、ハッチングの線の太さ、ハッチングの細かさ(線の間隔)などを組み合わせることで、強調することで表現すべき、色度、彩度、明度などを表現することが可能であり、制御部101は、記憶部103に予め格納されたデータを参照し、各種の色覚特性と観察条件とに応じて適切な追加色材の種類と量と使用表現方法とを決定する。   In this case, when hatching is used, chromaticity, saturation, which should be expressed by combining the hatching angle, hatching line thickness, hatching fineness (line spacing), etc. It is possible to express brightness and the like, and the control unit 101 refers to data stored in advance in the storage unit 103, and determines the types and amounts of additional color materials appropriate for various color vision characteristics and observation conditions. Decide how to use.

(B−9)追加色材の影響を相殺する通常色材の調整:
制御部101は、以上の色差低下度Rまたは色差低下率R’を相殺するような強調度Aeあるいは強調率Ae’に応じた追加色材の量を決定しており、この追加色材量に応じて第一観察条件における第一画像の見え方が変化する状況に応じて、通常色材の調整を行う(図1中のステップS109)。
(B-9) Adjustment of normal color material to offset the influence of additional color material:
The control unit 101 determines the amount of the additional color material corresponding to the enhancement degree Ae or the enhancement rate Ae ′ so as to cancel out the color difference reduction degree R or the color difference reduction rate R ′. Accordingly, the normal color material is adjusted according to the situation in which the appearance of the first image changes under the first observation condition (step S109 in FIG. 1).

すなわち、上述した「(B−0)第一観察条件における第一画像のための測色」で説明したように、追加色材の量に応じて第一観察条件における第一画像の見え方が変化するため、その変化を打ち消すように通常色材の調整を行う。   That is, as described above in “(B-0) Colorimetry for the first image under the first viewing condition”, the appearance of the first image under the first viewing condition depends on the amount of the additional color material. Since it changes, the color material is usually adjusted so as to cancel the change.

(B−10)全画素完了確認:
以上のようにして選択された画素位置の画像情報について各処理(図1中のステップS103〜S109)を、画像情報の全画素について実行する(図1中のステップS110)。
(B-10) Confirmation of completion of all pixels:
Each process (steps S103 to S109 in FIG. 1) is performed for the image information at the pixel position selected as described above (step S110 in FIG. 1) for all the pixels of the image information.

全画素についての処理が完了したら(図1中のステップS110でYES)、元の画像情報に応じた通常色材あるいは調整された通常色材による第一画像、強調度に応じて定められた追加色材による第二画像を、制御部101の指示により、プリンタ部140が画像表示出力する(図1中のステップS111)。この実施形態の例では、YMCの通常色材により記録媒体上に第一画像を出力し、これと並行して、追加色材により記録媒体上に第二画像を出力する。   When the processing for all the pixels is completed (YES in step S110 in FIG. 1), the first image with the normal color material according to the original image information or the adjusted normal color material, the addition determined according to the degree of enhancement In response to an instruction from the control unit 101, the printer unit 140 displays and outputs an image of the second image using the color material (step S111 in FIG. 1). In the example of this embodiment, the first image is output on the recording medium using the normal color material of YMC, and in parallel with this, the second image is output on the recording medium using the additional color material.

(C)具体例:
以下、具体例を図示しつつ本実施形態の説明を行う。
(C) Specific example:
Hereinafter, the present embodiment will be described with reference to specific examples.

ここでは、指定された色覚特性が赤と緑の二色型色弱である場合を具体例にする。なお、ここでは、一般色覚者、色弱者の見え方を、特許出願のモノクロ図面において模式的に示すことにする。   Here, a specific example is given of a case where the designated color vision characteristic is a red and green dichroic color weakness. It should be noted that here, the appearance of the general color blind person and the color weak person is schematically shown in the monochrome drawing of the patent application.

一般色覚者には識別可能な、緑地に赤マークの画像(図6(a1))が画像情報として、画像表示装置100に入力された場合を想定する。この図6(a1)の緑地に赤マークの画像は、赤と緑と区別がつかない色弱の色覚特性の場合、図6(a2)のようになっており、内容を識別することができない。   Assume that an image of a red mark (FIG. 6 (a1)) that can be identified by a general color sense person is input to the image display apparatus 100 as image information. The image of the red mark on the green background in FIG. 6 (a1) is as shown in FIG. 6 (a2) in the case of a color vision characteristic of weak color that cannot be distinguished from red and green, and the contents cannot be identified.

ここで、画像表示装置100に対して指定される第一観察条件は通常照明光、第二観察条件では紫外線使用の場合、制御部101は、たとえば、赤と緑の領域全体あるいはエッジ(輪郭)に、もしくは、赤と緑の領域のいずれか一方全体あるいはいずれか一方のエッジ(輪郭)に、蛍光塗料などの追加色材で異なる角度のハッチングを形成するように、第二画像の状態を決定する。ここでは、緑と赤とのそれぞれの領域で、異なる角度の蛍光塗料などの追加色材によるハッチング(図6(b))を第二画像とする。また、制御部101は、上述したように、追加色材によって生じる第一画像の色変化を相殺するように、第一画像の通常色材を調整する。   Here, when the first observation condition specified for the image display apparatus 100 is normal illumination light, and the second observation condition uses ultraviolet light, the control unit 101, for example, the entire red or green region or an edge (contour). Or the state of the second image is determined so that hatching at different angles is formed with an additional color material such as fluorescent paint on the whole or one edge (contour) of either the red or green region. To do. Here, hatching (FIG. 6B) with an additional color material such as a fluorescent paint at different angles in each of the green and red regions is taken as the second image. Further, as described above, the control unit 101 adjusts the normal color material of the first image so as to cancel the color change of the first image caused by the additional color material.

そして、以上のようにして生成した通常色材による第一画像と追加色材による第二画像とを重ねた状態の画像を、制御部101の制御により、プリンタ部140から記録媒体200上に形成して出力する。   Then, an image in a state where the first image of the normal color material generated as described above and the second image of the additional color material are superimposed is formed on the recording medium 200 from the printer unit 140 under the control of the control unit 101. And output.

この記録媒体200上に形成された第一画像と第二画像とを、一般色覚者が第一観察条件のもとで観察した場合、図6(c1)に示すように、図6(a1)に近い見え方の緑地に赤のマークが観察される。この場合に、ハッチングなどは観察されないため、煩わしさは感じられず、また、本来のマークを別なマークのように誤認してしまうこともない。   When the general color vision person observes the first image and the second image formed on the recording medium 200 under the first observation condition, as shown in FIG. A red mark is observed in the green area that looks close to. In this case, since hatching or the like is not observed, no annoyance is felt, and the original mark is not mistaken as another mark.

一方、この記録媒体200上に形成された第一画像と第二画像とを、色弱者が第二観察条件のもとで観察した場合、図6(c2)に示すようにハッチングが示されることで、色の違いが存在していることが明確になる。すなわち、図6(a2)のような識別不能に陥ることはない。また、ハッチングの角度と色との対応を予め決めておくことで、緑地に赤マークであるといった、本来の色を知ることも可能になる。   On the other hand, when the color weak person observes the first image and the second image formed on the recording medium 200 under the second observation condition, hatching is shown as shown in FIG. 6 (c2). It becomes clear that there is a color difference. That is, it does not fall into the indistinguishable state as shown in FIG. In addition, by determining the correspondence between the hatching angle and the color in advance, it becomes possible to know the original color such as a red mark on the green background.

この場合、ハッチングの角度、ハッチングの線の太さ、ハッチングの細かさ(線の間隔)などを組み合わせることで、色度、彩度、明度などを表現することが可能であり、制御部101は、記憶部103に予め格納されたデータを参照し、各種の色覚特性と観察条件とに応じて適切な追加色材による第二画像を生成するように第二画像生成部120を制御する。   In this case, it is possible to express chromaticity, saturation, brightness, etc. by combining hatching angle, hatching line thickness, hatching fineness (line spacing), etc. The second image generation unit 120 is controlled so as to generate a second image with an appropriate additional color material according to various color vision characteristics and observation conditions with reference to data stored in advance in the storage unit 103.

(D)その他の具体例:
なお、ここでは、識別できない色全体にハッチングを施したが、エッジ(輪郭)にハッチングを施すことでも、同様の識別が可能になる。
(D) Other specific examples:
Here, the entire color that cannot be identified is hatched, but the same identification can be performed by hatching the edge (contour).

また、ハッチングではなく、いずれか一方の領域に追加色材として蛍光塗料をべた塗りする、領域のエッジ(輪郭)部分を強調する意味で該エッジ部分に蛍光塗料を塗布する、といったことも可能である。   Instead of hatching, it is also possible to apply a fluorescent paint as an additional color material to one of the areas, or to apply a fluorescent paint to the edge in order to emphasize the edge (contour) of the area. is there.

また、予め蛍光塗料を有する通常色材を利用する場合には、追加色材として、紫外線吸収剤を用いることも可能である。この場合にも、第二観察条件において蛍光の有無の違いを生じさせることで、以上と同様に色の識別を可能にすることができる。   Further, when a normal color material having a fluorescent paint in advance is used, an ultraviolet absorber can be used as an additional color material. Also in this case, it is possible to identify the color in the same manner as described above by causing a difference in the presence or absence of fluorescence in the second observation condition.

また、元の画像情報において混同色線上に存在する異なる色の輪郭あるいは境界では、第二観察条件において明度,輝度,色度,彩度のいずれかで差が生じるように、輪郭あるいは境界において追加色材を使用することにより、色弱者に対して混同色線上の色の違い(輪郭や境界)を明確に識別できる状態で表示できるようになる。   In addition, contours or borders of different colors existing on the confusion color line in the original image information are added at the contours or borders so that differences in brightness, luminance, chromaticity, or saturation occur in the second viewing condition. By using the color material, it becomes possible to display the color difference (contour or boundary) on the confused color line in a state that can be clearly identified for the color weak.

また、観察条件として観察角度を設定し、追加色材としてホログラムを採用した場合、第一の観察条件を真正面以外としておくことで、真正面以外では通常の画像として第一画像が観察でき、真正面ではホログラムによる第二画像が第一画像に重畳して観察されることになる。   In addition, when an observation angle is set as an observation condition and a hologram is adopted as an additional color material, by setting the first observation condition to be other than directly in front, the first image can be observed as a normal image other than directly in front. The second image by the hologram is observed while being superimposed on the first image.

なお、以上の具体例では、カラー画像情報を識別不能な色弱などの色覚特性を具体例にしていたが、これに限定されるものではなく、カラー画像情報を白黒化して表示した場合に、白黒化以前の色彩情報が伝わるような画像表示も可能である。この場合、第一観察条件のもとで観察した場合には通常のモノクロ画像(濃淡画像)によって、元の画像情報に近似した状態で観察可能であり、第二観察条件において観察した場合には、蛍光などのハッチングによって、元の色の存在を確認することが可能になる。   In the above specific examples, the color vision characteristics such as color weakness in which the color image information cannot be identified are specific examples. However, the present invention is not limited to this, and when the color image information is displayed in black and white, the black and white characteristics are displayed. It is also possible to display an image that conveys color information before conversion. In this case, when observed under the first observation condition, it can be observed in a state close to the original image information by a normal monochrome image (grayscale image), and when observed under the second observation condition The presence of the original color can be confirmed by hatching such as fluorescence.

また、以上の説明では、通常色材による第一画像と、追加色材による第二画像として説明してきたが、異なる追加色材や異なる観察条件を使用して複数種類の第二画像(第二画像、第三画像、…)を併用することも可能である。これにより、異なるタイプの色弱者に対する複数種類の第二画像(第二画像、第三画像、…)の表示や、色情報と強調情報とのそれぞれの表示、といったことが可能になる。   In the above description, the first image using the normal color material and the second image using the additional color material have been described. However, a plurality of types of second images (second images) using different additional color materials and different observation conditions. It is also possible to use an image, a third image,. As a result, it is possible to display a plurality of types of second images (second image, third image,...) For different types of color deficient persons, and display each of color information and emphasis information.

また、単一の色覚特性に対する表示であっても、複数の追加色材や複数の観察条件を設定しておいて、ある観察条件では、色の違いによる輪郭が存在することを蛍光で表示し、また、別な観察条件ではその色が何色であるかをハッチングで表示するなど、によって、見えやすさを追求することも可能である。   In addition, even if the display is for a single color vision characteristic, multiple additional color materials and multiple viewing conditions are set, and under certain viewing conditions, the fact that there is an outline due to the difference in color is displayed in fluorescence. In addition, it is possible to pursue visibility by displaying, for example, how many colors are displayed under different observation conditions by hatching.

また、以上の実施形態や具体例で示した表示媒体としては、通常印刷物、ポスター、看板など各種に適用可能であるが、それ以外に、非常時の誘導表示、緊急停止スイッチなどの各種通報スイッチといったものにも適用することが可能である。   In addition, as the display medium shown in the above embodiments and specific examples, it can be applied to various types of prints, posters, signboards, etc. In addition to this, various notification switches such as emergency guidance displays and emergency stop switches are available. It is possible to apply to such things.

すなわち、画像周囲の環境照度の違いにより、通常照明光を第一観察条件、停電などで非常時に通常照明が消灯すると共に点灯する非常灯の光を第二観察条件として定め、該非常灯の光の成分や角度などに反応する追加色材を採用することで、照度が低下したり光の波長成分が通常とは異なる非常灯のもとでは見難くなる各種の誘導表示や通報スイッチなどを明瞭に表示することも可能である。この場合も、通常色材による第一画像と、色弱者のための第二画像、非常時の低照度における第二画像’(第三画像)とすることも可能である。   That is, due to the difference in ambient illuminance around the image, the normal illumination light is set as the first observation condition, the emergency illumination light that is turned off in the event of an emergency due to a power failure, etc. By adopting an additional color material that reacts to the component and angle of the light, various guidance displays, notification switches, etc. that are difficult to see under emergency lights where the illuminance decreases or the wavelength component of light is different from normal Can also be displayed. In this case as well, it is possible to use a first image with a normal color material, a second image for the color weak, and a second image (third image) at low illuminance in an emergency.

また、以上の第二画像を表示する際の第二観察条件としては、色弱者などが特定の照明光源を持参する、予め用意された第二観察条件用の照明光のスイッチを操作する、ICタグなどを所持する特定の観察者が近づいた場合に自動的に第二観察条件用の照明光が動作する、などいずれであってもよい。   In addition, as a second observation condition when displaying the second image described above, a color weak person or the like brings a specific illumination light source, and operates an illumination light switch for a second observation condition prepared in advance. The illumination light for the second observation condition may automatically operate when a specific observer carrying a tag or the like approaches.

また、制御部101は、第二画像としてメタメリズムを用いて第一画像に対して挿入された透かし画像を用いることで、第一観察条件下での一般色覚者には元の画像情報が保持された状態で観察可能であり、第二観察条件下での色弱者は色の違いを識別しつつ観察可能になり、一般色覚者と色弱者との双方による観察に適した状態で表示できるようになる。   In addition, the control unit 101 uses the watermark image inserted into the first image using metamerism as the second image, so that the original image information is retained for the general color vision person under the first observation condition. It is possible to observe under the second observation condition, and the color weak person under the second observation condition can observe while discriminating the difference in color so that it can be displayed in a state suitable for observation by both general color blind and color weak person. Become.

100 画像表示装置
101 制御部
103 記憶部
105 操作表示部
110 第一画像生成部
120 第二画像生成部
130 画像処理部
140 プリンタ部
DESCRIPTION OF SYMBOLS 100 Image display apparatus 101 Control part 103 Memory | storage part 105 Operation display part 110 1st image generation part 120 2nd image generation part 130 Image processing part 140 Printer part

Claims (13)

予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされる第一画像と、
前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報が前記第一画像に対して付加された表示がなされる第二画像と、
によって画像情報の表示を行うことを特徴とする画像表示方法。
A first image that is displayed in a similar manner to the original image information or approximate to the original image information under a predetermined first observation condition;
In the second observation condition predetermined as a condition different from the first observation condition, predetermined color information or enhancement information is associated with the specific color information included in the original image information in the first image. A second image that is added to the display,
An image display method comprising displaying image information by:
前記強調情報は、元の画像情報の色に応じた角度が異なるパターンあるいは角度が異なるハッチングを含む、
ことを特徴とする請求項1に記載の画像表示方法。
The enhancement information includes a pattern with different angles or hatching with different angles according to the color of the original image information.
The image display method according to claim 1.
前記第一観察条件と前記第二観察条件との違いは、
画像を観察する方向の違い、画像に対して照射される光の方向の違い、画像に対して照射される光の波長分布の違い、画像周囲の環境照度の違い、の少なくとも一つである、
ことを特徴とする請求項1に記載の画像表示方法。
The difference between the first observation condition and the second observation condition is:
It is at least one of a difference in the direction of observing the image, a difference in the direction of light irradiated on the image, a difference in wavelength distribution of light irradiated on the image, and a difference in ambient illuminance around the image.
The image display method according to claim 1.
前記第二画像は、メタメリズムを用いて前記第一画像に対して挿入された透かし画像である、
ことを特徴とする請求項1〜3のいずれか一項に記載の画像表示方法。
The second image is a watermark image inserted into the first image using metamerism;
The image display method according to any one of claims 1 to 3.
前記第二画像には、前記第一画像に使用される色材(通常色材)とは成分又は量が異なる追加色材が使用される、
ことを特徴とする請求項1〜4のいずれか一項に記載の画像表示方法。
For the second image, an additional color material having a different component or amount from the color material (normal color material) used for the first image is used.
The image display method according to claim 1, wherein:
前記追加色材は、
入射光の特定成分を選択的に反射させる性質を有する材料、透過光と反射光とで表示状態が異なる性質を有する材料、画像の光沢度を増加あるいは低減させる材料、入射光を再帰反射させる再帰性材料、特定波長の光を受けて別の波長の発光を行う蛍光塗料、観察角度で色や模様が変化する材料、
の少なくとも一つである、
ことを特徴とする請求項5に記載の画像表示方法。
The additional color material is
Materials that selectively reflect specific components of incident light, materials that have different display states between transmitted light and reflected light, materials that increase or decrease the glossiness of images, and recursion that retroreflects incident light Materials, fluorescent paint that emits light of a different wavelength by receiving light of a specific wavelength, materials whose color or pattern changes depending on the observation angle,
Is at least one of
The image display method according to claim 5.
前記通常色材と前記追加色材との前記第一観察条件における総合的な測色値(第一観察条件総合測色値)に基づいて、元の画像情報に近似した表示がなされるように各色材を選択する、
ことを特徴とする請求項5または6に記載の画像表示方法。
Based on a comprehensive colorimetric value (first observation condition total colorimetric value) of the normal color material and the additional color material in the first observation condition, a display approximate to the original image information is made. Select each color material,
The image display method according to claim 5, wherein the image display method is an image display method.
色差低下度に応じた強調度を算出し、前記第二観察条件において前記第二画像が前記強調度を実現するように前記追加色材を使用する、
ことを特徴とする請求項7に記載の画像表示方法。
Calculating the degree of enhancement according to the degree of color difference reduction, and using the additional color material so that the second image realizes the degree of enhancement in the second observation condition;
The image display method according to claim 7.
元の画像情報において混同色線上に存在する異なる色の輪郭あるいは境界では、前記第二観察条件において明度,輝度,色度,彩度のいずれかで差が生じるように、前記輪郭あるいは前記境界において前記追加色材を使用する、
ことを特徴とする請求項5または6に記載の画像表示方法。
In the contour or boundary of different colors existing on the confusion color line in the original image information, in the contour or the boundary, a difference occurs in any one of brightness, luminance, chromaticity, and saturation in the second observation condition. Using the additional colorant,
The image display method according to claim 5, wherein the image display method is an image display method.
前記色差低下度とは、元の画像情報における注目画素とその周囲画素との色差が、観察者の色覚特性に応じて低下する度合いであることを特徴とする請求項8に記載の画像表示方法。   9. The image display method according to claim 8, wherein the color difference reduction degree is a degree in which a color difference between a target pixel and its surrounding pixels in original image information is reduced according to a color vision characteristic of an observer. . 予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされる第一画像を生成する第一画像生成部と、
前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報が前記第一画像に対して付加された表示がなされる第二画像を生成する第二画像生成部と、
前記第一観察条件と前記第二観察条件によって、前記第一画像と前記第二画像を選択的に表示されるように構成された表示媒体を出力する出力部と、
を備えたことを特徴とする画像表示装置。
A first image generation unit that generates a first image that is displayed in the same manner as the original image information or approximate to the original image information under a predetermined first observation condition;
In the second observation condition predetermined as a condition different from the first observation condition, predetermined color information or enhancement information is associated with the specific color information included in the original image information in the first image. A second image generation unit for generating a second image to be displayed added to the display;
An output unit configured to output a display medium configured to selectively display the first image and the second image according to the first observation condition and the second observation condition;
An image display device comprising:
予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされる第一画像を生成する第一画像生成部、
前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報が前記第一画像に対して付加された表示がなされる第二画像を生成する第二画像生成部、
前記第一観察条件と前記第二観察条件によって、前記第一画像と前記第二画像を選択的に表示されるように構成された表示媒体を出力する出力部、
としてコンピュータを機能させることを特徴とする画像表示プログラム。
A first image generation unit that generates a first image that is displayed in the same manner as the original image information or approximate to the original image information under a predetermined first observation condition;
In the second observation condition predetermined as a condition different from the first observation condition, predetermined color information or enhancement information is associated with the specific color information included in the original image information in the first image. A second image generation unit for generating a second image to be displayed added to the display;
An output unit configured to output a display medium configured to selectively display the first image and the second image according to the first observation condition and the second observation condition;
An image display program for causing a computer to function as
予め定められた第一観察条件では元の画像情報と同じ又は元の画像情報に近似した表示がなされる第一画像と、
前記第一観察条件とは異なる条件として予め定められた第二観察条件では元の画像情報に含まれる特定の色情報に対応づけて、予め定められた色情報あるいは強調情報が前記第一画像に対して付加された表示がなされる第二画像と、
を備えて前記第一画像と前記第二画像の選択的な表示を行うことを特徴とする表示媒体。
A first image that is displayed in a similar manner to the original image information or approximate to the original image information under a predetermined first observation condition;
In the second observation condition predetermined as a condition different from the first observation condition, predetermined color information or enhancement information is associated with the specific color information included in the original image information in the first image. A second image that is added to the display,
A display medium comprising: the first image and the second image are selectively displayed.
JP2012500525A 2010-02-16 2011-01-08 Image display method, image display apparatus, image display program, and display medium Expired - Fee Related JP5708633B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012500525A JP5708633B2 (en) 2010-02-16 2011-01-08 Image display method, image display apparatus, image display program, and display medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010030836 2010-02-16
JP2010030836 2010-02-16
JP2012500525A JP5708633B2 (en) 2010-02-16 2011-01-08 Image display method, image display apparatus, image display program, and display medium
PCT/JP2011/050223 WO2011102157A1 (en) 2010-02-16 2011-01-08 Image display method, image display device, image display program, and display medium

Publications (2)

Publication Number Publication Date
JPWO2011102157A1 true JPWO2011102157A1 (en) 2013-06-17
JP5708633B2 JP5708633B2 (en) 2015-04-30

Family

ID=44482761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012500525A Expired - Fee Related JP5708633B2 (en) 2010-02-16 2011-01-08 Image display method, image display apparatus, image display program, and display medium

Country Status (2)

Country Link
JP (1) JP5708633B2 (en)
WO (1) WO2011102157A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012171139A (en) * 2011-02-18 2012-09-10 Seiko Epson Corp Recording device and color sample table

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017081A1 (en) * 2014-07-30 2016-02-04 株式会社ソシオネクスト Image correction device and video content reproduction device
JP6319191B2 (en) * 2015-05-28 2018-05-09 京セラドキュメントソリューションズ株式会社 Image forming apparatus and program
JP6193532B1 (en) * 2016-04-13 2017-09-06 楽天株式会社 Presentation device, presentation method, program, and non-transitory computer-readable information recording medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257867A (en) * 2000-03-13 2001-09-21 Minolta Co Ltd Image processor, printer, image processing method, and recording medium
JP2005170007A (en) * 2003-12-15 2005-06-30 Seiko Epson Corp Recording apparatus, recording method, and program
JP2006154982A (en) * 2004-11-26 2006-06-15 Fuji Xerox Co Ltd Image processing device, image processing method, and program
JP2009278258A (en) * 2008-05-13 2009-11-26 Ricoh Co Ltd Image processor, image processing method, program, and recording medium
US20110090237A1 (en) * 2008-06-09 2011-04-21 Konica Minolta Holdings, Inc., Information conversion method, information conversion apparatus, and information conversion program
JP5229039B2 (en) * 2009-03-23 2013-07-03 富士ゼロックス株式会社 Image processing apparatus, image forming apparatus, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012171139A (en) * 2011-02-18 2012-09-10 Seiko Epson Corp Recording device and color sample table

Also Published As

Publication number Publication date
WO2011102157A1 (en) 2011-08-25
JP5708633B2 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
JP2008086011A (en) System and method for enhancing color-blind image
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US8094918B2 (en) Check and other item design for reflectance values determination prior to item manufacture
US7394468B2 (en) Converted digital colour image with improved colour distinction for colour-blinds
US11494953B2 (en) Adaptive user interface palette for augmented reality
CN105511132B (en) Display with switchable viewing angle and operation method thereof
US20080069439A1 (en) System, method and medium performing color correction of display images
JP5708633B2 (en) Image display method, image display apparatus, image display program, and display medium
US20140035893A1 (en) Color adjustment based on object positioned near display surface
CN113316711A (en) Method and apparatus for estimating ambient light
JP3740229B2 (en) Method for determining color temperature in color display device
JP2008129162A (en) Video conversion processing method and video conversion system
US20190246895A1 (en) System and method for device assisted viewing for colorblindness
JP2009530985A (en) Technology that allows people with color blindness to distinguish between different colors
JP2012044475A (en) Image processing method and image output device
US8842128B2 (en) Image processing method and an image processing device for changing a saturation of image data
US8508545B2 (en) Method and apparatus pertaining to rendering an image to convey levels of confidence with respect to materials identification
JP7119322B2 (en) Display device discrimination system, display device discrimination method and program
JP2022048321A (en) Image processing apparatus, image processing method, and program
CN114820386A (en) Color blindness and color weakness color image enhancement system for terminal display equipment
JP4716406B2 (en) Color image display method
US10542189B2 (en) Print control apparatus and method of controlling the same
JP6977416B2 (en) Image processing equipment, information processing equipment and programs
JP2016125904A5 (en)
Penczek et al. Evaluating the optical characteristics of stereoscopic immersive display systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130913

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150216

R150 Certificate of patent or registration of utility model

Ref document number: 5708633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees