JP6981561B1 - カラーチャート - Google Patents

カラーチャート Download PDF

Info

Publication number
JP6981561B1
JP6981561B1 JP2021039110A JP2021039110A JP6981561B1 JP 6981561 B1 JP6981561 B1 JP 6981561B1 JP 2021039110 A JP2021039110 A JP 2021039110A JP 2021039110 A JP2021039110 A JP 2021039110A JP 6981561 B1 JP6981561 B1 JP 6981561B1
Authority
JP
Japan
Prior art keywords
color
patch
color chart
image
patches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021039110A
Other languages
English (en)
Other versions
JP2022000623A (ja
Inventor
雅人 高橋
康博 森原
徳道 津村
凌 高橋
恵子 小川
一石 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIC Corp
Original Assignee
DIC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIC Corp filed Critical DIC Corp
Priority to EP21826845.6A priority Critical patent/EP4170304A1/en
Priority to US18/010,596 priority patent/US20230258501A1/en
Priority to KR1020227035668A priority patent/KR20230025380A/ko
Priority to CN202180032483.1A priority patent/CN115516284A/zh
Priority to PCT/JP2021/022641 priority patent/WO2021256458A1/ja
Priority to CA3182622A priority patent/CA3182622A1/en
Application granted granted Critical
Publication of JP6981561B1 publication Critical patent/JP6981561B1/ja
Publication of JP2022000623A publication Critical patent/JP2022000623A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/463Colour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • H04N1/6019Conversion to subtractive colour signals using look-up tables
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J2003/466Coded colour; Recognition of predetermined colour; Determining proximity to predetermined colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J2003/467Colour computing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】カラーチャート中のパッチを容易に自動認識することができる技術を提供する。【解決手段】カラーチャート1は複数のパッチと、複数のパッチの少なくとも一つを自動認識するための自動認識用マーカ11a,11bとを有する。自動認識用マーカを有することにより、色補正を行う際の、画像データにおけるカラーチャートの各パッチを認識する作業を、自動で行うことができる。【選択図】図1

Description

本発明は、カラーチャートに関する。
カラーチャートは、色見本を配列した板状の物体であり、画像システムの色彩再現性をチェックするなど色の比較・測定に用いられる。
カラーチャートは、デジタルカメラ等の撮影によって撮影されたデジタル画像の色補正に使用されることがある。
例えば、被写体の撮影時に、カラーチャート(色見本)も一緒に撮影しておき、得られたデジタル画像に含まれるカラーチャートでの画素値を用いることで、デジタル画像を色補正する技術が提案されている(例えば、特許文献1参照)。
特開平6−46448号公報
特許文献1で提案されている技術では、カラーチャートの色票(パッチ)の色と、撮影されたカラーチャートの色票の色との関係を演算するに際して、撮影されたカラーチャートの色票の抽出については、キーボードやマウスを操作して手作業で行う(特許文献1の段落〔0020〕〜〔0021〕)。このような作業は、抽出の間違いが発生する可能性がある上に、カラーチャート中の全ての色票を手作業で抽出しようとすると時間がかかるという問題がある。
そこで、カラーチャート中のパッチを容易に自動認識することができる技術が求められる。
すなわち、本発明は、カラーチャート中のパッチを容易に自動認識することができるカラーチャートを提供することを目的とする。
本発明者らは、上記課題を解決するために鋭意研究を重ねた結果、カラーチャートにマーカを設けることで、カラーチャートからパッチを容易に自動認識することができることを見出し、本発明の完成に至った。
すなわち、本発明は、以下の態様を包含するものである。
[1] 複数のパッチと、前記複数のパッチの少なくとも一つを自動認識するための自動認識用マーカとを有することを特徴とするカラーチャート。
[2] 模様が異なる前記自動認識用マーカを2つ以上有する、[1]に記載のカラーチャート。
[3] 前記複数のパッチが、以下の第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する、[1]又は[2]に記載のカラーチャート。
第1パッチ:L値においてL=72、a=8、及びb=22で表される第1色、又は第1色に対してL色空間において色差ΔEが5以下の色、を有する領域
第2パッチ:L値においてL=78、a=30、及びb=15で表される第2色、又は第2色に対してL色空間において色差ΔEが5以下の色、を有する領域
第3パッチ:L値においてL=58、a=27、及びb=7で表される第3色、又は第3色に対してL色空間において色差ΔEが5以下の色、を有する領域
第4パッチ:L値においてL=60、a=20、及びb=5で表される第4色、又は第4色に対してL色空間において色差ΔEが5以下の色、を有する領域
第5パッチ:L値においてL=48、a=25、及びb=2で表される第5色、又は第5色に対してL色空間において色差ΔEが5以下の色、を有する領域
第6パッチ:L値においてL=52、a=50、及びb=13で表される第6色、又は第6色に対してL色空間において色差ΔEが5以下の色、を有する領域
第7パッチ:L値においてL=33、a=40、及びb=30で表される第7色、又は第7色に対してL色空間において色差ΔEが5以下の色、を有する領域
[4] 前記複数のパッチが、明度が異なる複数の無彩色のパッチを有する、[1]〜[3]のいずれかに記載のカラーチャート。
[5] 前記複数のパッチが、前記第1色から前記第7色とは異なる複数の有彩色のパッチを有する、[3]又は[4]に記載のカラーチャート。
[6] 面積が40cm以上150cm以下である、[1]〜[5]のいずれかに記載のカラーチャート。
[7] 前記複数のパッチの各面積が、0.25cm以上4cm以下である、[1]〜[6]のいずれかに記載のカラーチャート。
[8] 主面の右下部に空白部を有する[1]〜[7]のいずれかに記載のカラーチャート。
本発明によれば、カラーチャート中のパッチを容易に自動認識することができるカラーチャートを提供することができる。
カラーチャートの一例の模式図である。 画像表示システムの一例の構成図である。 表示手段の一例の機能構成図である。 画像表示方法の一例のフローチャートである。 撮影手段でカラーチャート及び患者を同時に撮影する一例の模式図である。 表示手段の表示部に撮影して得られた画像を表示した一例の模式図である。 医師が表示手段の表示部に撮影して得られた画像を表示して遠隔診療を行う一例の模式図である。
以下、本発明のカラーチャートについて詳細に説明するが、以下に記載する構成要件の説明は、本発明の一実施態様としての一例であり、これらの内容に特定されるものではない。
<カラーチャート>
本発明のカラーチャートは、複数のパッチと、自動認識用マーカとを少なくとも有する。
複数のパッチは、例えば、明度が異なる複数の無彩色のパッチを有する。無彩色のパッチの種類は、例えば、5〜7種類が挙げられる。無彩色のパッチの種類が3種類以下であると、例えば、カメラによりカラーチャートが撮影された画像の色補正を、無彩色のパッチを用いて行う際、カメラの非線形性に十分に対応できず、色補正の精度が低下する場合がある。その点で、無彩色のパッチの種類は、5種類以上が好ましい。
複数のパッチは、例えば、複数の有彩色のパッチを有する。複数のパッチは、例えば、後述する第1色から第7色とは異なる複数の有彩色のパッチを有する。これらの有彩色のパッチの種類は、例えば、15〜20種類が挙げられる。
カラーチャートにおける各パッチの大きさとしては、特に限定されないが、色の認識を妨げない点で小さすぎないことが好ましい。その点で、0.25cm以上が好ましい。また、カラーチャートが大きくなりすぎない点で、4cm以下が好ましい。
各パッチの形状としては、例えば、正方形などが挙げられる。
カラーチャートは、複数のパッチの少なくとも一つを自動認識するための自動認識用マーカを有する。カラーチャートが自動認識用マーカを有することにより、後述する色補正を行う際の、画像データにおけるカラーチャートの各パッチを認識する作業を、自動で行うことができる。
自動認識用マーカの形状、大きさとしては、特に限定されないが、例えば、パッチと同程度の形状、大きさであることが好ましい。例えば、自動認識用マーカの大きさは、0.25cm以上4cm以下が好ましい。また、自動認識用マーカは、通常、各パッチが有さない模様を有している。
カラーチャートは、模様が異なる自動認識用マーカを2つ以上有することが好ましい。2つ以上の自動認識用マーカを用いる場合には、2つ以上の自動認識用マーカの相対的な位置関係を考慮して各パッチの自動認識が行われることから、各パッチの自動認識性が向上する。
自動認識用マーカは、自動認識を可能とするマーカであれば特に制限されるものではないが、自動認識用マーカに対し二次元バーコード等によりカラーチャートのバージョン情報、使用方法へのリンク、使用期限等の情報を付加してもよい。なお、カラーチャートは、保管状態により退色する場合がある。その点で、カラーチャートには使用期限を設けることが好ましい場合がある。
ここで、自動認識用マーカを用いてカラーチャートの各パッチを自動認識する方法の一例を説明する。
まず、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。自動認識用マーカの検知は、例えば、汎用の画像認識処理ソフトウェアを備える画像認識手段を用いて行うことができる。具体的には、画像認識手段を用いて、あらかじめ画像認識手段に記憶されている自動認識用マーカの画像と、カラーチャートを撮影して得られた画像とのパターンマッチングを行うことにより、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。
他方、カラーチャートにおける自動認識用マーカと各パッチとの位置関係を、あらかじめ画像認識手段に記憶させておく。例えば、模様が異なる2つの自動認識用マーカを用いる場合には、2つの自動認識用マーカそれぞれと各パッチとの位置関係を、あらかじめ画像認識手段の記憶部に記憶させておく。ここで、画像認識手段としては、CPUとメモリとの組み合わせが挙げられる。
そして、検知した自動認識用マーカを用いて、撮影して得られた画像のカラーチャートに、把握しておいた位置関係を当てはめることで、撮影して得られた画像のカラーチャート中の各パッチを自動認識することができる。
カラーチャートの大きさとしては、特に限定されないが、片手で持つことができ、カラーチャートを顔の近くで持っても邪魔にならない点から、カラーチャートの面積は、40cm以上150cm以下が好ましい。
カラーチャートは、通常、シート状である。そして、カラーチャートの主面の形状は、例えば、矩形である。
カラーチャートの材質としては、各パッチが印刷可能であれば、特に限定されず、例えば、プラスチック樹脂製(例えば、合成紙)であってもよいし、紙製であってもよい。
カラーチャートは、主面の右下部(正面視した際の左下部)に空白部を有することが好ましい。人間は右利きが多い。そのため、カラーチャートの当該空白部を右手で持つと、顔の右横にカラーチャートを自然に配置しやすくなる。
ところで、遠隔医療に関連する市場は、慢性疾患対応やモバイルヘルスアプリなども一要因となり、成長している。新型コロナウイルス感染症(COVID−19)の蔓延により、感染予防の観点からも遠隔診療の重要性が認識され、良好な遠隔診療システムの構築の必要性が生じている。
歯科における歯茎の色の観察、皮膚科における皮膚の色の観察、耳鼻咽喉科における喉の色の観察、漢方医学で行われている、顔の肌色、舌色などによる診察(望診)など、診療においては、色を重視する診療が行われる場合がある。このような診療においては、色の認識が正しく行われないことが診断に影響を与えることがある。
そのため、そのような診療を遠隔診療で行う際には、色を正確に認識することが重要である。
本発明のカラーチャートは、以下の第1パッチから第7パッチからなる群から選択される少なくとも2つのパッチを有することが好ましく、少なくとも3つを有することがより好ましく、少なくとも5つを有することがさらにより好ましく、7つを有することが特に好ましい。カラーチャートが、以下の第1パッチから第7パッチからなる群から選択される少なくとも2つのパッチを有する場合、カラーチャートは、遠隔診療において肌色、舌色などの色を正確に認識することを助けることから、カラーチャートは、患者の肌色、舌色などの色情報を用いた遠隔診療に有用である。
これら第1パッチから第7パッチの組み合わせとして、7つのパッチから選択される2つ以上であれば特に制限されるものではないが、紫赤、薄赤紫、濃い黄赤のように色調が異なるバッチを3つ以上選択することが好ましい。
第1パッチ:L値においてL=72、a=8、及びb=22で表される第1色、又は第1色に対してL色空間において色差ΔEが5以下の色、を有する領域
第2パッチ:L値においてL=78、a=30、及びb=15で表される第2色、又は第2色に対してL色空間において色差ΔEが5以下の色、を有する領域
第3パッチ:L値においてL=58、a=27、及びb=7で表される第3色、又は第3色に対してL色空間において色差ΔEが5以下の色、を有する領域
第4パッチ:L値においてL=60、a=20、及びb=5で表される第4色、又は第4色に対してL色空間において色差ΔEが5以下の色、を有する領域
第5パッチ:L値においてL=48、a=25、及びb=2で表される第5色、又は第5色に対してL色空間において色差ΔEが5以下の色、を有する領域
第6パッチ:L値においてL=52、a=50、及びb=13で表される第6色、又は第6色に対してL色空間において色差ΔEが5以下の色、を有する領域
第7パッチ:L値においてL=33、a=40、及びb=30で表される第7色、又は第7色に対してL色空間において色差ΔEが5以下の色、を有する領域
第1パッチが有する色は、湿(余分な水)が蓄積した舌苔の色に対応する。
第2パッチが有する色は、炎症肌色に対応する。
第3パッチが有する色は、淤血の(微小循環が悪い)舌の色に対応する。
第4パッチが有する色は、健康な舌苔のある部分の色に対応する。
第5パッチが有する色は、舌深静脈の怒張=淤血の色に対応する。
第6パッチが有する色は、健康な舌の色に対応する。
第7パッチが有する色は、熱がある舌の色に対応する。
これらの色を有するカラーチャートを用いることで、患者の肌色、舌色などの色情報を用いた診断を行いやすくできる。
ここで、カラーチャートの一例を、図を用いて説明する。
図1は、カラーチャートの一例の模式図である。
なお、図1のカラーチャートは、グレースケールであるが、実際のカラーチャートは、有彩色のパッチを含んでいる。
図1のカラーチャートは、縦約90mm、横約55mmの長方形であり、その主面の上方の右上部(正面視した際の左上部)、及び下方の左下部(正面視した際の右下部)に、10mm四方の自動認識用マーカ11a、11bが配されている。2つの自動認識用マーカ11a、11bは、黒地に白模様を有している。自動認識用マーカ11aの白模様と自動認識用マーカ11bと白模様とは異なる。上方及び下方に挟まれた中央部には、10mm四方の各パッチが6(A〜F)行5(a〜e)列で間隔を空けずに並んでいる。主面の最右列(第1列:正面視した際の最左列)には、無彩色のパッチが、明度順に並んでいる。
図1に示すカラーチャートの各パッチのL値を表1−1に示す。また、図1に示すカラーチャートの各パッチの色の概略を、表1−2に示す。また、第1パッチから第7パッチについて肌色、舌色との関係を表1−3に示す。
Figure 0006981561
Figure 0006981561
Figure 0006981561
以下に、本発明のカラーチャートを用いた画像表示システム、及び画像表示方法の一例を説明する。
(画像表示システム、画像表示方法)
本発明に関する画像表示システムは、カラーチャートと、撮影手段と、表示手段とを少なくとも有し、更に必要に応じて、その他の手段を有する。
本発明に関する画像表示方法は、撮影工程と、表示工程とを少なくとも有し、更に必要に応じて、その他の工程を有する。
図2に画像表示システムの一例の構成図を示す。図2の画像表示システムは、カラーチャート1と、撮影手段2と、表示手段3とを有する。
<撮影手段、撮影工程>
撮影手段は、カラーチャート及び撮影対象者を同時に撮影し、画像データを取得するための手段である。
撮影工程では、カラーチャート及び撮影対象者が同時に撮影され、画像データが取得される。
撮影工程は、例えば、撮影手段により行われる。
撮影対象者は、例えば、遠隔診療を受診する患者である。
撮影手段としては、例えば、カメラ、カメラ機能付き電子機器などが挙げられる。
カメラ機能付き電子機器としては、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、監視カメラ、医療診断装置に付帯するカメラシステム(例えば、f−MRIに付帯するカメラシステム)などが挙げられる。なお、撮影手段としてのパーソナルコンピュータにおけるカメラは、内臓カメラであってもよいし、外付けのカメラであってもよい。
撮影手段が有する撮像素子としては、例えば、CCD(電荷結合素子)、CMOS(相補性金属酸化膜半導体)などが挙げられる。
撮影手段は、画像データを送信する送信部を有していることが好ましい。
送信部による画像データの送信は、無線通信で行われてもよいし、有線通信で行われてもよい。
無線送信としては、例えば、Wi−Fi、LTE、5Gなど、使用可能な任意の方式の無線通信を利用することができる。
撮影により得られる画像は、静止画像であってもよいし、動画であってもよい。
<表示手段、表示工程>
表示手段は、画像データを受け取り、画像データを画像として表示部に表示するための手段であり、表示部を少なくとも有し、更に必要に応じて色補正部などのその他の部を有する。
表示工程では、画像データが受け取られ、画像データが画像として表示部に表示される。
表示工程では、更に色補正処理が行われてもよい。
表示工程は、例えば、表示手段により行われる。
図3に表示手段の一例の機能構成図を示す。図3の表示手段3は、表示部3aと、色補正部3bとを有する。
表示手段は、例えば、画像データを受信する受信部を有している。
画像データは、例えば、撮影手段から送信され、表示手段で受信される。画像データの送受信は、通常、インターネット回線を通じて行われる。
画像データのファイル形式としては、特に限定されず、使用可能な任意の方式を利用することができ、例えば、静止画像であれば、JPG(JPEG)、GIF、PNG、BMPなどが挙げられ、動画であれば、AVI、QuickTime、Mpeg−1、Mpeg−2、WMV、FLV、MPEG−4などが挙げられる。
画像データの送信及び受信は、例えば、E−メール、ソーシャルネットワーキングサービスなどの通信サービスを用いて行うことができる。
また、画像データが動画である場合、送受信は、例えば、Skype、Zoom、Microsoft Teamsなどのweb会議システムを用い、画像データに加えて、音声データを送受信してもよい。
撮影手段から表示手段へ画像データを伝える方法は、クラウドを利用した、撮影手段からクラウドサーバへの画像データのアップロード、及びクラウドサーバから表示手段への画像データのダウンロードであってもよい。すなわち、表示手段は、クラウドサーバから画像データを受け取ってもよい。
また、撮影手段から表示手段へ画像データを伝える方法は、外部メモリを介した物理的な移動によって行われてもよい。例えば、撮影手段で取得された画像データがUSBメモリなどの外部メモリに保存され、外部メモリが郵送などにより物理的に移動された後、外部メモリを表示手段に接続することで、表示手段は画像データを受け取ることができる。
更に、表示手段に、受け取った複数回の画像データが保存されることで、それら画像データを用いて、撮影対象者の経時変化の確認を行うこともできる。
表示手段としては、特に限定されないが、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、電子カルテシステムの出力端末などが挙げられる。
表示手段としては、特に限定されないが、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータなどが挙げられる。
<<色補正部、色補正処理>>
色補正部は、表示部に表示される画像におけるカラーチャート内の少なくとも一つのパッチの色が、表示部が置かれた場所の光源下において測定されるカラーチャート内の対応する少なくとも一つのパッチの色に近づく乃至は一致するように、表示部の表示色、及び画像データの色情報を補正するための部である。
色補正処理では、表示部に表示される画像におけるカラーチャート内の少なくとも一つのパッチの色が、表示部が置かれた場所の光源下において測定されるカラーチャート内の対応する少なくとも一つのパッチの色に近づく乃至は一致するように、表示部の表示色、及び画像データの色情報が補正される。
色補正処理は、例えば、色補正部により行われる。
色補正部は、例えば、色補正を行うプログラムを実行するCPUである。
ここで、色補正によってどの程度色を近づけるかは、目的に応じて適宜選択すればよい。
このような色補正は、カラーチャート内のパッチの一つのみを用いて行ってもよいし、複数を用いて行ってもよい。
色補正部は、例えば、第1補正部と、第2補正部とを有する。
第1補正部は、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色を補正するための部である。
第2補正部は、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報を補正するための部である。
色補正処理は、例えば、第1補正処理と、第2補正処理とを有する。
第1補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色が補正される。
第2補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報が補正される。
第1補正処理は、例えば、第1補正部により行われる。
第2補正処理は、例えば、第2補正部により行われる。
カラーチャート及び撮影対象者を同時に撮影する場合、撮影環境の違い、撮影手段の種類の違いなどにより、得られる画像データにおける色情報(例えば、RGB値)は異なる。
撮影環境の違いとしては、例えば、室内での撮影の場合は、照明の光源の種類、照明の明るさなどが挙げられる。また、光源と、撮影対象(カラーチャート及び撮影対象者)との位置関係の違いも、得られる画像データにおける色情報に影響を与える。
撮影手段の種類の違いとしては、例えば、撮像素子の種類の違い、画像処理エンジンの違いなどが挙げられる。画像処理エンジンは、例えば、撮像素子から出力される生画像に処理を加え、人間が観察するのに適した画像に変換するシステムLSIである。画像処理エンジンであるシステムLSIは、例えば、組み込みCPU、組み込みDSP、顔検出などを行う専用演算回路、プログラムメモリ、データメモリ、画像メモリなどで構成される。
例えば、カラーチャートを撮影する場合、撮影手段としてのスマートフォンの種類の違い、室内照明の種類の違いなどにより、得られる画像データ毎にカラーチャートのパッチの色情報が異なる場合がある。そのため、それを同じ表示部で表示した場合でも、画像におけるカラーチャートのパッチの色は異なる場合がある。この違いは、遠隔診療に影響を与える場合がある。
また、カラーチャートを観察した場合に人が認識するカラーチャートのパッチの色は、観察する環境(例えば、光源)に依存する。これは、カラーチャートを照らす光の分光分布が、光源に依存するためである。そのため、光源が異なれば、カラーチャートを観察した際に認識又は測定されるカラーチャートのパッチの色は異なる。そのため、表示部にカラーチャートの各パッチの色のRGB値を正確に表示しても、表示部に表示されるカラーチャートの各パッチの色と、表示部が置かれた場所の光源下において人に認識されるカラーチャートの各パッチの色とは異なることがある。
そこで、前述の色補正部、及び色補正処理が有用になる。
ここで、医師がカラーチャートを用いて患者の遠隔診療を行う場合の色補正の具体例について説明する。
色補正の目的は、医師が使用する表示部(例えば、PCのディスプレイ)に表示される画像におけるカラーチャート(患者とともに撮影されたカラーチャート)の色を、正解値である医師の手元にあるカラーチャートの色(ある光源下において医師が認識するカラーチャートの色)に合わせることである。
色補正は、医師が使用するディスプレイの表示色の色補正(第1補正処理)、及び患者が撮影して得られた画像の色補正(第2補正処理)の順で行う。
まず、第1補正処理の一例について説明する。
第1補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色が補正される。
具体的には、まず、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色を測色する。次に、測色された色に近づく乃至は一致するように、ディスプレイの表示色を補正する。
人は、色を3刺激値XYZにより認識する。そのため、正解値のXYZ値を、医師の照明環境と同様の照明環境下で、測色計により測定して求める。測色計としては、例えば、コニカミノルタ 色彩輝度計CS−100Aが用いられる。
ディスプレイの補正は、以下の非特許文献を参考にして、具体的には以下のように実施する。
Matsushita, F., Kiyomitsu, K., Ogawa, K., & Tsumura, N. (2019). Evaluation of Kampo disease states using facial images. Artificial Life and Robotics, 24(1), pp.44−51
輝度と入力されるRGBレベルとの関係は、以下の式(1)で表される。
Figure 0006981561
ここで、L’,L’,及びL’は、それぞれ、赤、緑、及び青の輝度であり、a,b,及びc(i=0、1、2)は係数である。
ディスプレイの表示色の3刺激値X’,Y’,及びZ’は、次の式(2)に示すように、R,G,Bの寄与項に分解できる。
Figure 0006981561
ここで、X’,Y’,及びZ’(i=R,G,B)は、それぞれ、赤、緑、及び青の発光に対する、3刺激値を示す。各発光に対応する3刺激値は、ディスプレイを測定した時の輝度L,色座標x,yから計算できる。各発光についての、X−Y,Y−Zの関係は、次の式(3)のような線形方程式で表すことができる.
Figure 0006981561
ここで、a,b,c,d(i=R,G,B)は係数である。
式(2)、及び式(3)から、次の式(4)が得られる。
Figure 0006981561
式(4)から、ある三刺激値X’Y’Z’をディスプレイに表示したいときの、RGBそれぞれの輝度は、式(5)によって求めることができる。
Figure 0006981561
式(5)のX’、Y’、Z’に、医師の照明環境と同様の照明環境下で、測色計により測定して求めた正解値であるカラーチャート内のパッチのXYZ値を入れる。そして、式(5)によって、求めた輝度を、式(1)に当てはめることで、RGB値(基準RGB値)が算出できる。そして、カラーチャートのパッチの色(RGB値)に対応するディスプレイの表示色(RGB値)を、算出されたRGB値(基準RGB値)に修正する。これにより、医師が使用するディスプレイの表示色の補正ができる。すなわち、上記手順により、ディスプレイの表示色を正解値に補正できる。
次に、第2補正処理の一例について説明する。
第2補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報が補正される。
具体的には、カラーチャート及び患者を撮影して得られた画像の画像データにおけるカラーチャートの少なくとも一つのパッチのRGB値を、第1処理補正で算出した、対応する基準RGB値に補正する。
更に具体的には、撮影して得られた画像から、自動認識用マーカを使ってカラーチャートのそれぞれのパッチの部分を抽出し、それぞれのパッチについて、パッチ内の各画素のRGB値の平均値を求める。平均化された数字(RGB値)と、対応する基準RGB値との違いから、重回帰によってモデルを作成する。そのモデルに基づき、画像データの全画素を変換して、撮影された人の顔、舌などの色の補正を行う。
補正は、患者が撮影して得られた画像の画像データにおけるカラーチャートのパッチのRGB値と、対応する基準RGB値との相関を調べることで行われる。
補正では、まず、撮影して得られた画像のカラーチャートのパッチにおける無彩色を利用して、画像データのガンマ補正を行う。次に、カラーチャートのパッチにおける全ての有彩色を利用して、画像データのRGB値の補正を行う。
ガンマ補正の詳細を説明する。まず、第1補正処理においてカラーチャートのパッチにおける無彩色部分を測色計で測色したときの輝度をもとに、撮影して得られた画像における当該無彩色部分のRGB値に対して、ガンマ補正を行う。同様に、これを基準RGB値のグレースケール部分についても行う。
次に、ガンマ補正をRGB値それぞれに対して行う。Rの場合には式(6)のような形となる。
Figure 0006981561
は、撮影して得られた画像のR値であり、Yは、カラーチャートのパッチにおける無彩色を測色計で測色した際の輝度である。カラーチャートの無彩色において、黒が0、白が1となるように白色の輝度値で正規化を行うことで、無彩色の明るさを0〜1の範囲になるように変換を行っている。このモデルによって任意のRGB値についてガンマの補正を行う。具体的には、式(6)の逆関数をそれぞれのRGB値に対してかけることで、ガンマを補正したRGB値を算出する。
次に、ガンマの補正済みの各パッチの色に対して重回帰でモデルを構築する。Rの場合は式(7)となる。
Figure 0006981561
R’は、補正した画像のR値であり、R,G,及びBは、補正前のRGB値である。各パラメータ(a、b、c、d)は、それぞれのパッチを用いた重回帰により求める。
画像表示システムを用いた画像表示方法の一例を、図を用いて説明する。
図4は、画像表示方法の一例のフローチャートである。
まず、図5に示すように、撮影手段2であるスマートフォンを用いて、カラーチャート1と撮影対象者21とを同時に撮影する(S11)。
次に、撮影により得られた画像データを、撮影手段2から表示手段3に送信する(S12)。
次に、撮影手段2から送信された画像データを表示手段3で受信する(S13)。送受信は、例えば、E−メールに画像データを添付して行われる。
他方、表示部3aの表示色の補正を行う(S14)。具体的には、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色を補正する。この色補正は、色補正部3bが行う。
次に、画像データの補正を行う(S15)。具体的には、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報を補正する(S15)。この色補正は、色補正部3bが行う。色補正を行う際、画像中のカラーチャートの各パッチは、自動認識用マーカを用いて自動認識される。
最後に、図6に示すように、表示手段3であるPCの表示部3a(ディスプレイ)に補正された画像データを画像として表示する(S16)。
以上により、画像表示方法の一例が行われる。なお、工程S14は、工程S13の後に行う必要はなく、工程S14と他の工程とを行う順序は任意でよい。
更に、画像表示方法を用いた遠隔診療を行う場合には、図7に示すように、診断者である医師4が、撮影対象者21である患者が持っているカラーチャート1と同じカラーチャート1を持ちながら、表示部3aに表示された患者の顔の肌色や舌色を観察して、診断を行う。
この例では、色補正が行われているため、画像内の患者の顔の肌色は、色補正が行われない場合と比べて、対面診療を行ったと仮定した際の患者の顔の肌色に近い状態となっている。そのため、医師は、患者の肌色、舌色を望診する際、対面診療を行うのと近い状態で遠隔診療を行うことができる。
なお、本発明のカラーチャートは、上記のような色補正を行わない場合においても利用することができる。すなわち、本発明のカラーチャートは、人間の色順応の能力(色を対比し脳内で色の補正を行う能力)を利用して遠隔診療を行う場合にも利用できる。その場合、例えば、遠隔診療は、以下のように行うことができる。
医師は、手元にカラーチャートを持ちながら、患者から送られてきた画像(カラーチャートと患者とが同時に撮影された画像)をパーソナルコンピュータに表示させ、当該画像を見ながら患者の顔の肌色を観察して診断を行う。その際、医師は、手元のカラーチャートの色と、パーソナルコンピュータに表示された画像のカラーチャートとの色を対比し、それらの色の差を画像の患者の色に反映させることを脳内で行いながら、患者の顔の肌色を観察する。
以下に参考例として、カラーチャートを用いた画像表示方法の一例の実施結果を挙げる。
図4に示すフローチャートに従って、画像表示を行った。
カラーチャートとして、図1に示すカラーチャートを用いた。
画像の色補正は、式(1)〜(7)を用いて、前述の方法で行った。
色補正を行うためのプログラムは、Pythonで作成した。
結果として、表示部に表示された画像の患者の顔の肌色は、対面診療を行ったと仮定した際の顔の肌色と同様であった。
1名の漢方医が、表示部に表示された画像を評価した。評価結果では、診療において信頼できる範囲の色補正がなされているとの意見が得られた。
1 カラーチャート
2 撮影手段
3 表示手段
3a 表示部
4 医師
11a、11b 自動認識用マーカ
21 撮影対象者

Claims (7)

  1. 複数のパッチと、前記複数のパッチの少なくとも一つを自動認識するための自動認識用マーカとを有し、
    前記複数のパッチが、以下の第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する、
    ことを特徴とするカラーチャート。
    第1パッチ:L 値においてL =72、a =8、及びb =22で表される第1色、又は第1色に対してL 色空間において色差ΔE が5以下の色、を有する領域
    第2パッチ:L 値においてL =78、a =30、及びb =15で表される第2色、又は第2色に対してL 色空間において色差ΔE が5以下の色、を有する領域
    第3パッチ:L 値においてL =58、a =27、及びb =7で表される第3色、又は第3色に対してL 色空間において色差ΔE が5以下の色、を有する領域
    第4パッチ:L 値においてL =60、a =20、及びb =5で表される第4色、又は第4色に対してL 色空間において色差ΔE が5以下の色、を有する領域
    第5パッチ:L 値においてL =48、a =25、及びb =2で表される第5色、又は第5色に対してL 色空間において色差ΔE が5以下の色、を有する領域
    第6パッチ:L 値においてL =52、a =50、及びb =13で表される第6色、又は第6色に対してL 色空間において色差ΔE が5以下の色、を有する領域
    第7パッチ:L 値においてL =33、a =40、及びb =30で表される第7色、又は第7色に対してL 色空間において色差ΔE が5以下の色、を有する領域
  2. 模様が異なる前記自動認識用マーカを2つ以上有する、請求項1に記載のカラーチャート。
  3. 前記複数のパッチが、明度が異なる複数の無彩色のパッチを有する、請求項1又は2に記載のカラーチャート。
  4. 前記複数のパッチが、前記第1色から前記第7色とは異なる複数の有彩色のパッチを有する、請求項1〜3のいずれかに記載のカラーチャート。
  5. 面積が40cm以上150cm以下である、請求項1〜のいずれかに記載のカラーチャート。
  6. 前記複数のパッチの各面積が、0.25cm以上4cm以下である、請求項1〜のいずれかに記載のカラーチャート。
  7. 主面の右下部に空白部を有する請求項1〜のいずれかに記載のカラーチャート。
JP2021039110A 2020-06-17 2021-03-11 カラーチャート Active JP6981561B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP21826845.6A EP4170304A1 (en) 2020-06-17 2021-06-15 Color chart
US18/010,596 US20230258501A1 (en) 2020-06-17 2021-06-15 Color chart
KR1020227035668A KR20230025380A (ko) 2020-06-17 2021-06-15 컬러 차트
CN202180032483.1A CN115516284A (zh) 2020-06-17 2021-06-15 比色图表
PCT/JP2021/022641 WO2021256458A1 (ja) 2020-06-17 2021-06-15 カラーチャート
CA3182622A CA3182622A1 (en) 2020-06-17 2021-06-15 Color chart

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020104762 2020-06-17
JP2020104762 2020-06-17

Publications (2)

Publication Number Publication Date
JP6981561B1 true JP6981561B1 (ja) 2021-12-15
JP2022000623A JP2022000623A (ja) 2022-01-04

Family

ID=79190961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021039110A Active JP6981561B1 (ja) 2020-06-17 2021-03-11 カラーチャート

Country Status (7)

Country Link
US (1) US20230258501A1 (ja)
EP (1) EP4170304A1 (ja)
JP (1) JP6981561B1 (ja)
KR (1) KR20230025380A (ja)
CN (1) CN115516284A (ja)
CA (1) CA3182622A1 (ja)
WO (1) WO2021256458A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153223A1 (ja) * 2022-02-10 2023-08-17 内藤弘子 デジタルカラー診断システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646448A (ja) 1992-07-21 1994-02-18 Sony Corp 画像処理方法および装置
US7006246B1 (en) * 1999-09-17 2006-02-28 Canon Kabushiki Kaisha Image processing method, apparatus, recording medium and chart therefor
JP2001260407A (ja) * 2000-03-22 2001-09-25 Konica Corp 画像処理装置校正用カラーチャート、校正用色彩データ作成方法および校正用色彩データ処理方法ならびに画像処理装置
JPWO2004044639A1 (ja) * 2002-10-18 2006-03-16 浜松ホトニクス株式会社 スライドガラス、カバーガラス及び病理診断システム
US20080068625A1 (en) * 2006-09-15 2008-03-20 Eastman Kodak Company Image control system and method incorporating a graininess correction
US7856118B2 (en) * 2007-07-20 2010-12-21 The Procter & Gamble Company Methods for recommending a personal care product and tools therefor
US8915435B2 (en) * 2013-01-25 2014-12-23 Hewlett-Packard Development Company, L.P. Characterization of color charts
US20140232923A1 (en) * 2013-02-20 2014-08-21 Hewlett-Packard Development Company, Llp Device independent color differences
WO2015005152A1 (ja) * 2013-07-09 2015-01-15 Dicグラフィックス株式会社 色見本生成システム、色見本生成方法及びそのプログラム
WO2015160997A1 (en) * 2014-04-15 2015-10-22 Gauss Surgical, Inc. Method for estimating a quantity of a blood component in a fluid canister
WO2016076165A1 (ja) * 2014-11-14 2016-05-19 コニカミノルタ株式会社 測色装置および測色方法
WO2016163266A1 (ja) * 2015-04-06 2016-10-13 コニカミノルタ株式会社 測色装置および測色方法
EP3121571A1 (en) * 2015-07-22 2017-01-25 Archroma IP GmbH Color sample device for providing color information, method for its production and data processing apparatus for reading the color information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153223A1 (ja) * 2022-02-10 2023-08-17 内藤弘子 デジタルカラー診断システム
JP7334004B1 (ja) 2022-02-10 2023-08-28 弘子 内藤 デジタルカラー診断システム及びデジタルカラー診断方法

Also Published As

Publication number Publication date
KR20230025380A (ko) 2023-02-21
CA3182622A1 (en) 2021-12-23
JP2022000623A (ja) 2022-01-04
US20230258501A1 (en) 2023-08-17
CN115516284A (zh) 2022-12-23
WO2021256458A1 (ja) 2021-12-23
EP4170304A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
US20200261016A1 (en) Skin Feature Imaging System
Dimauro et al. A new method and a non-invasive device to estimate anemia based on digital images of the conjunctiva
CN108553081B (zh) 一种基于舌苔图像的诊断系统
US8319857B2 (en) Apparatus and method for correcting digital color photographs
US20170164888A1 (en) Organ imaging device
US20040151379A1 (en) Method of digital image analysis for isolating a region of interest within a tongue image and health monitoring method and apparatus using the tongue image
WO2007010749A1 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
CN111067531A (zh) 一种伤口测量的方法及装置、存储介质
KR101752560B1 (ko) 영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체
WO2016067892A1 (ja) 健康度出力装置、健康度出力システムおよびプログラム
JP6981561B1 (ja) カラーチャート
JP7062926B2 (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
WO2021256459A1 (ja) 画像表示システム、及び画像表示方法
TWI576093B (zh) 血色素與血球比容之檢測系統及方法
CN102419861A (zh) 基于均匀色空间拓扑剖分的彩色图像校正方法
TWI501186B (zh) Automatic analysis of jaundice detection methods and computer program products
Siddiqui et al. Automated peripheral neuropathy assessment using optical imaging and foot anthropometry
KR20180061629A (ko) 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치
KR102226943B1 (ko) 검출 방법 및 검출 패드
EP4231634A1 (en) Display unit color-correction method
CN106127675B (zh) 颜色一致性方法和装置
JP7104913B2 (ja) 撮像装置と撮像プログラムと画像判定装置と画像判定プログラムと画像処理システム
WO2015063940A1 (ja) 血行度測定装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210312

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210312

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R151 Written notification of patent or utility model registration

Ref document number: 6981561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151