以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
〔1〕第1実施形態
〔1−1〕視覚補助装置について
上述のように、色覚補正レンズはフィルタを用いて感度の高い錐体細胞に入る光の量をカットし、各錐体細胞が感じる光の量を整えるものである。このため、色覚補正レンズの装着者は、未装着のときと比べて視界が暗くなり、色覚補正レンズを安全に使用できる場面が制限される。
これに対し、第1実施形態に係る視覚補助装置は、撮像装置と接眼光学系とをそなえ、撮像装置で捉えた映像に対して画像処理を行ない、画像処理後の映像を接眼光学系を通じて利用者に出力することができる。
また、視覚補助装置は、画像処理において、利用者の目に入る光のうち感度の低い錐体細胞が感じる光の量を増幅させることができる。例えば、色覚異常者の各錐体細胞の感度がL:50%,M:50%,S:100%の場合、視覚補助装置は画像処理によって目に入る光の量(RGB)をR:200,G:200,B:100のように増幅させる。これにより、視覚補助装置は、明るさを低下させることなく、各錐体細胞が感じる光の量をR:100,G:100,B:100になるように色覚を補正することができる。
視覚補助装置としては、例えばHMD(Head Mounted Display;ヘッドマウントディスプレイ)等のウェアラブルデバイスを用いることができる。また、視覚補助装置としては、HUD(Head Up Display;ヘッドアップディスプレイ)やEVF(Electronic View Finder)等、映像(画像又は動画)を撮影し使用者に表示する種々の装置を用いることができる。以下、視覚補助装置としてHMDが用いられる場合を例に挙げて説明する。
〔1−2〕視覚補助装置の構成例
以下、第1実施形態に係る視覚補助装置の詳細について説明する。図1は、第1実施形態の一例としてのHMD1の構成例を示す図である。
HMD1は、眼鏡と同様に、テンプル2及び鼻当て3をそなえるフレーム4と2つのレンズ7とを有する。また、HMD1は、撮像装置5と、接眼光学系6と、映像表示装置8と、制御装置9とをそれぞれ2つずつ有する。
なお、HMD1は、例えば小型の光学透過型HMDとすることができる。光学透過型HMDは、HMDの方式の一つであり、装着者がレンズ7を通じて自身の目で見ている視野の中に接眼光学系6を介して画像情報等を重ねて表示させることができる。
撮像装置5は、HMD1のフレーム4の上部に設けられ、装着者の前方の視界を撮影する装置である。撮像装置5はケーブル等により制御装置9に接続され、被写体からの反射光を撮像素子により光電変換し、電気信号として取得した画像情報をケーブルを介して制御装置9に出力する。
なお、図1の例では撮像装置5はHMD1の上部に設けられているが、これに限定されるものではなく、フレーム4の任意の位置に設けられてもよいし、レンズ7の任意の位置に埋め込まれてもよい。撮像装置5により撮影された映像は、装着者の視野の一部として出力されるため、撮像装置5は装着者の視野を狭めない程度に装着者の目の近傍に設けられることが好ましい。
撮像装置5としては、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の種々の撮像素子を用いたカメラを適用できる。
接眼光学系6は、レンズ7に嵌合され、映像表示装置8から出力される映像をホログラム表示して装着者に提供するものである。レンズ7は、クリアレンズやミラーレンズ等、種々のレンズが用いられてよい。
映像表示装置8は、制御装置9から送信される画像情報を電光変換して接眼光学系6に出力するものである。図2は、接眼光学系6及び映像表示装置8の左側面からの断面を示す断面図である。
図2に示すように、接眼光学系6はプリズム61及びホログラム素子62をそなえ、映像表示装置8は筐体81と筐体81内に設けられたLED(Light Emitting Diode)82,レンズ83,及び光透過型液晶表示器84とをそなえる。
光透過型液晶表示器84は、制御装置9から送信される画像情報から映像を生成する。LED82は光源の一例である。また、レンズ83はLED82からの照射光を光透過型液晶表示器84の全面に導くものである。
プリズム61は、光透過型液晶表示器84から照射された映像をプリズム61内部で反射させながらホログラム素子62に導光させる。ホログラム素子62は、プリズム61内部を通過した映像を反射してホログラム映像を表示させ、装着者の目10に映像を結ばせる。
制御装置9は、撮像装置5が撮影した映像(画像情報)に対して以下に詳述する画像処理を施し、映像表示装置8に出力する。以下、HMD1の装着者が1型3色覚又は2型3色覚の色覚異常者であるものとして説明するが、装着者が3型3色覚の色覚異常者であっても、処理対象の領域の検出基準が異なる以外は基本的に同様である。
1型3色覚又は2型3色覚の色覚異常者は、赤及び緑の識別が困難である。そこで、制御装置9は、HMD1の装着者に出力する映像のうちのR及びGの光を増幅させるために、撮像装置5で捉えた画像をより赤く、より緑に補正する。これにより、処理された映像は処理前に比べて赤及び緑が強調された色になる。
色は物体が反射した光の集合である。可視光は380nm〜730nmであり、物体が反射する可視光の各波長の光の量によって人は色を認識する。物体が各波長で反射する割合を示したものを分光反射率という。例えば、赤色とは、分光反射率のピークが可視光領域の高波長側(図4(a)及び(b)参照)にある光の集合である。
よって、画像におけるRの値を上げると、分光反射率のピーク値も上昇する(図4(b)参照)。分光反射率が上がるということは、人の目に入射するRの成分の光の量が増加するということであるから、画像におけるRの光を増幅することにより、より赤く補正した画像を出力することが可能となる。
図4の例では、(a)に示すように一般色覚者の錐体細胞が感知する色(R:84,G:0,B:10)を元の色とすると、1型3色覚又は2型3色覚の色覚異常者は、L錐体細胞でRの光の量を少なく(例えば半分の光量で)感知し、元の色とは異なる色と認識してしまう。そこで、図4(b)に示すように元の色から赤色の色相を約2倍に増幅して色R:164,G0,B13とすることで、色覚異常者に一般色覚者と同様の色を認識させることができる。
制御装置9は、赤及び緑を強調する(より赤く、より緑に補正する)ために、撮像装置5から入力される画像情報のうちの処理対象のRGBの値を調整する。画像情報は、0〜255のRGB値を持つピクセル(画素)の集合であるため、制御装置9は、RGB値を増減させることで色を調整することができる。
以下、制御装置9の詳細について説明する。図3は、制御装置9の機能構成例を示す図である。制御装置9は、図3に示すように、例示的に記憶部21及び画像処理部24をそなえることができる。記憶部21はデータを記憶する記憶装置の一例であり、図3に例示するように画像情報22及び補正情報23を記憶する。
補正情報23は、画像処理の処理対象の色相(所定の色相)と、この色相に対するHMD1の装着者の錐体細胞の感度に関する情報とを含む。画像処理の処理対象の色相としては、例えば国際照明委員会(CIE)が策定したCIE L*a*b*表色系の色空間を用いることができる。なお、L*a*b*表色系においてL*は明度,a*及びb*はそれぞれ色度座標を示す(図5参照)。
図5に示すように、全ての色はa*及びb*の2次元平面並びに明度L*で表すことができる。よって、HMD1の装着者の錐体細胞の感度が低い所定の色相を処理対象の範囲としてa*及びb*により定め、その範囲での錐体細胞の感度に関する情報と対応付けることで、任意の色のピクセルに対してどの程度の補正を行なえばよいかを表すことが可能となる。
なお、図5では、a*及びb*の2次元平面の色彩をグレースケールで表しているが、実際には紙面右側に向かって赤方向,紙面左側に向かって緑方向,紙面上側に向かって黄方向,紙面下側に向かって青方向の色で表されている。また、図5では特定の明度L*(例えば50)におけるa*及びb*の2次元平面を表しているが、L*a*b*表色系は、実際にはa*及びb*と0(黒)〜100(白)の範囲を持つ明度L*とにより3次元空間で表される。
所定の色相Hは下記式(1)のようにa*及びb*を用いて表される。
ここで、一般色覚者の錐体細胞S,M,L(及び桿体細胞R)は図6に例示するような波長(nm)−感度(正規化された吸光度)の特性を有する。色覚異常者は、S,M,L錐体細胞のいずれかの感度が低下している。図6からわかるように、色覚異常者が認識する光(色)を一般色覚者が認識する光(色)と同程度にするには、感度の低下した錐体細胞が他の錐体細胞よりも感度の高い範囲(波長帯)の光量を増加させることが効果的であるといえる。
このため、補正情報23には、上記式(1)で表される所定の色相Hに対応したa*及びb*の情報と、装着者の当該色相Hにおける錐体細胞の感度に関する情報とが対応付けられる。なお、錐体細胞の感度に関する情報としては、一般色覚者の錐体細胞の感度に対する色覚異常者の錐体細胞の感度の割合(例えば0.5(50%)等)が用いられてもよいし、当該色相に対する補正量の割合(補正率:例えば2.0(倍)等)が用いられてもよい。
なお、補正情報23は、上述した情報に限定されるものではない。例えば補正情報23は、所定の色相Hをより細分化してa*及びb*の組み合わせを複数羅列したものとし、これらのa*及びb*の組み合わせに対して感度に関する情報を個別に対応付けたものとしてもよい。
上述した補正情報23は、例えばHMD1の提供元等により、色覚異常者に対して事前に錐体細胞の感度が一般色覚者の錐体細胞の感度からどの程度乖離しているのかを測定することで生成することができる。
画像処理部24は、撮像装置5が撮影した画像情報を取得して画像処理を行ない、画像処理を施した画像情報を映像表示装置8に出力するものである。画像処理部24は、図3に示すように、例示的に画像取得部25,処理対象検出部26,補正量算出部27,及び補正処理部28をそなえることができる。
画像取得部25は、撮像装置5から画像情報(画像データ)を取得し、取得した画像情報にアナログ−デジタル変換を行ない、画像情報22として記憶部21に格納する。例えば撮像装置5は、30fps(Flame Per Second)の場合、1秒間に30コマ(枚)の画像を撮影するため、画像取得部25は撮像装置5から画像情報を送られると、処理対象の画像情報22として1コマずつ記憶部21に格納する。なお、画像処理部24は画像処理を施した画像情報22については記憶部21から削除してよく、これにより記憶部21の記憶容量の増加を抑制できる。
また、画像取得部25は、撮像装置5から入力された画像情報の色空間(例えばRGB)を制御装置9での処理及び映像表示装置8への出力で用いる色空間(例えばRGB又はL*a*b*表色系)に変換するマッピング等を行なうことができる。このマッピングは、例えばICC(International Color Consortium)で規定されるICCプロファイル等のデバイスリンクプロファイルを用いて行なうことができる。
処理対象検出部26は、補正情報23に含まれる処理対象となる所定の色相の画素を画像情報22から検出する。例えばHMD1の装着者が1型3色覚又は2型3色覚である場合、HMD1は、撮像装置5が撮影した画像情報のうち、赤色をより赤く、緑色をより緑に補正して映像表示装置8に表示する。このため処理対象検出部26は、画像情報22から処理対象となる所定の色相(例えば赤系及び緑系)の画素における輝度と画像情報22における当該画素の位置(例えば画像情報22のx,y座標)とを検出する。
このとき、処理対象検出部26は、検出する画素を、輝度γが所定の範囲内である画素に制限することができる。例えば処理対象検出部26は、画像情報22について例えば輝度γが10≦γ≦241の範囲内である画素から、処理対象となる所定の色相の画素及び位置とを検出する。処理対象となる画素の輝度を制限することにより、検出処理の高速化を図ることができる。一定値以上暗い(輝度が第1の値、例えば10よりも低い)色や非常に明るい(輝度が第2の値、例えば241よりも高い)色は、装着者にとって色相の判別が難しく、補正による視認性向上の効果も薄いためである。
補正量算出部27は、記憶部21が記憶する補正情報23と、処理対象検出部26が検出した画素の輝度とに基づいて、当該画素の色相に対する補正量を算出する。
例えば補正量算出部27は、処理対象検出部26が検出した画素のうち、所定の色相について色覚異常者の錐体細胞で感知する光量が一般色覚者と同程度となるように、当該所定の色相に対する補正後の光量(補正量)を算出する。なお、補正量としては、RGBの値を用いることができる。
一例として、補正情報23において所定の色相が赤であり色覚異常者のL錐体細胞の感度が50%である場合、補正量算出部27は、R:84,G:0,B:10の画素について、Rの補正量を84の約2倍の164と算出する(図4(a)及び(b)参照)。
なお、上述のようにRGBの最大値は各255であるため、処理対象の画素のRの値が既に255付近である場合には、Rの補正量が頭打ちとなってしまう可能性がある。この場合、補正量算出部27は、Rの補正量を最大値の255とするとともに、G,Bについて、最大値(所定値)を超えたRの補正量との比率を変化させないように値を減少させた補正量を算出する。換言すれば、補正量算出部27は、所定の色相の光量が所定値を超える場合、最大値を超えるRの光量とG,Bの光量との比率と、Rの最大値とG,Bについての値を減少させた光量との比率とが一定になるように、G,Bに対する値を減少させた光量を算出する。これにより、各色相の比率を保つことができ、各色のバランスを調整することができる。従って、処理対象のRの値が大きい場合であっても、色覚異常者にとって最適な色に調整することができる。なお、所定の色相が緑や青であっても、同様の手法とすることができる。
補正処理部28は、制御装置9から出力される画像情報22のうち、処理対象検出部26が検出した領域の光の量を補正量算出部27が算出した補正量に基づき補正するものである。例えば補正処理部28は、処理対象検出部26が検出した領域の光の量(RGB)を、補正量算出部27が算出した補正量に置き換えて出力する。補正処理部28が出力した画像情報22は、制御装置9から映像表示装置8に供給される。
上述した処理対象検出部26,補正量算出部27,及び補正処理部28による画像処理を行なうために、例えば富士通株式会社のColorFit(登録商標)等の自動画像補正技術を採用することができる。自動画像補正技術は、RGBの光の量の調整の処理のほか、画像処理に関する種々の機能を有しており、これらの機能を一画像あたり1秒程度の性能で実現することが可能である。従って、自動画像補正技術の機能を処理対象検出部26による検出処理と補正量算出部27及び補正処理部28による色補正処理とに絞り込むことで、一画像あたり0.1秒程度で処理することが可能であると考えらえる。
このように、自動画像補正技術を用いて上述した画像処理を行なうことで、大量の画像(映像)を高速且つ適切に処理することが可能となる。
上述したHMD1により、撮像装置5が撮影する映像には、装着者が見ている視界と同じ視界(実環境)が捉えられる。制御装置9の画像処理部24は、映像内の色を判断して赤色及び緑色(1型3色覚又は2型3色覚の場合)を検出し、検出した色だけを補正パラメータに従って補正するという一連の流れをリアルタイムで処理する。このとき、画像処理部24は、撮像装置5で捉えた補正対象物の実環境における座標を記憶しておき、接眼光学系6において補正後の画像をその座標に写像する。
これにより、HMD1は、色覚異常者が判別し難い赤及び緑の光の量だけを実環境よりも増幅した状態で装着者の錐体細胞に入射させることが可能となる。装着者は、補正された画像が実環境に写像された映像を見ることになり、補正された画像の色味が各錐体細胞の感度によって一般色覚者の感じる色味と同程度に認識することができる。
〔1−3〕視覚補助装置の動作例
次に、上述の如く構成されたHMD1の制御装置9の動作例を、図7を参照して説明する。なお、前提として、HMD1の装着者に対応した補正情報23が制御装置9の記憶部21に格納されているものとする。
撮像装置5が装着者の前景を撮影すると、撮影された画像情報が制御装置9に入力される。制御装置9では、画像取得部25が撮像装置5からの画像情報をA/D変換し、A/D変換後の画像情報22を記憶部21に格納する(ステップS1)。また、画像取得部25は、画像情報22に対して、ICCプロファイル等のデバイスリンクプロファイルを用いて撮像装置5の色空間から制御装置9及び映像表示装置8の色空間へ変換する。
次いで、処理対象検出部26が、記憶部21の補正情報23に基づいて、記憶部21に格納された画像情報22から補正情報23に含まれる所定の色相の画素における輝度と画像情報22における当該画素の位置とを検出する(ステップS2)。
次に、補正量算出部27が、処理対象検出部26により検出された画素における所定の色相の補正量を、補正情報23に含まれる感度に関する情報に基づき算出する(ステップS3)。
最後に、補正処理部28が、補正量算出部27が算出した補正量を画像情報22における処理対象検出部26が検出した位置の画素に適用する(ステップS4)。そして、制御装置9は、画像情報22の処理対象の全ての画素についてステップS2〜S4の処理が完了すると、補正した画像情報22を映像表示装置8に出力し(ステップS5)、処理が終了する。
なお、上述したステップS2の処理は、一画像(画像情報22)における複数の画素について並行して(例えば所定サイズの画素ブロックごとに並行して)行なわれてもよい。この場合、ステップS3の処理についても、ステップS2において検出された複数の画素について並行して行なわれてよく、ステップS4の処理についても、ステップS3において算出された複数の画素の補正量について並行して行なわれてよい。
以上のように、ステップS1〜S5の処理は、撮像装置5から一枚の画像情報が制御装置9に入力される都度実施される。
〔1−4〕視覚補助装置の適用例
上述したHMD1における画像処理の手法についてのシミュレーション結果を以下に示す。
なお、シミュレーションにおいては、装着者(1型3色覚又は2型3色覚)の錐体感度をL:20%,M:20%,S:100%と仮定し、補正用の画像(写真)及び補正後の画像(写真)を用意して、両画像を“Kazunori Asada”の「色のシミュレータ」を用いて比較した。なお、「色のシミュレータ」は、色覚異常者の見え方を体験するための色覚シミュレーションツールである。また、補正後の画像については、色相・彩度を調整し、全体的に赤と緑を強調するように手動で補正を行なった。
グレースケールで表したシミュレーション結果を図8に示す。なお、元画像(図8の左上)において、四角形の枠は黄緑色のカレンダーフレームであり、横向きの円筒形は濃い赤色のペンケースである。
HMD1による補正後(手動での色相・彩度の調整後)の画像では、カレンダーフレームの緑色が青緑色に近い色になり、ペンケースの赤色は彩やかな赤色となっている(図8の左下)。
色覚異常者が見た元画像(HMD1無)では、カレンダーフレームの緑色が黄色に近い色になり、ペンケースの赤色の彩度が落ちて黒味がかった色となっている(図8の右上)。このように補正前では、赤色は彩度が落ちてくすんだ赤になり、黒に近いような色として色覚異常者は認識する。
一方、色覚異常者が見た補正後の画像(HMD1有)では、赤色は鮮やかさと明るさが増し、赤色と認識できるまでの色になった(図8の右下)。緑についても同様で、HMD1無の状態では黄色に近いような色として認識されるが、補正後の画像では緑と認識することができる色に近づいた。
このシミュレーション結果より、元画像の赤及び緑を補正することによって、補正後の画像を一般色覚者に近い色覚に補正することができた。
ところで、色覚異常には先天性と後天性がある。先天性の場合は原因が遺伝的なものであるため、現在、有効な治療法がない。後天性の場合は、老化に伴う目の疾患(白内障,緑内障,網膜色素変性症,糖尿病性網膜症等)の1つの症状として、色覚に異常が現れる。
男性の約5%、女性の0.2%が先天性の色覚異常であるといわれており、日本人全体では約320万人、世界では2億人を超える人が先天性の色覚異常であるといわれている。後天性も合わせると、色覚異常者は日本で500万人以上いるといわれており、世界では3億人以上いると予測される。
色覚異常が先天性の遺伝である場合、遺伝子治療が確立されない限り、先天性の色覚異常者の数が減ることは考え難い。また、高齢化が進む現代社会では、今後、緑内障や白内障による後天性の色覚異常者の数が増えると予測される。
例えば色覚異常者が感じる不自由な場面として、以下の5つが挙げられる。
(1)赤が目に飛び込んでこない。
(2)色分けされた資料では情報がわからない。
(3)信号機の色がわからない。
(4)離れたものの色合わせができない。
(5)色の名前がわからない。
このように、色覚異常者は日常生活の様々な場面で不自由な場面を強いられていることが分かる。色を識別できないことによってストレスを抱え、さらには命の危機まで抱える。色が正常に見えないことは、現代社会において大きなハンディギャップとなる。
上述したカラーユニバーサルデザイン及び色覚補正レンズは、あくまで色覚異常者に色の識別をし易くさせるためのものであり、一般色覚者が感じる色と同一に見せるものではない。また、色覚補正レンズは、未装着のときと比べて装着者の視界を暗くさせるため、利用者が色覚補正レンズを安全に使用できる場面は、明るい時間帯や明るい場所に制限される(夜間等の暗い時間や場所での使用は好ましくない)。
これに対し、第1実施形態に係るHMD1によれば、感度の低い錐体細胞が感知する光の量を増加させるという、色覚補正レンズとは逆の補正手法が実現される。
これにより、色覚異常者に対して一般色覚者に近い色覚を提供する視覚補助を実現することができる。また、明るさを変える(低下させる)ことを抑制して画像情報22を補正できるため、HMD1の使用場所・使用時間帯の制限を無くすことができる。従って、上述した色覚異常者の日常生活における不自由さを緩和させることができる。
〔1−5〕視覚補助装置の他の構成例
HMD1として、撮像装置5,接眼光学系6,映像表示装置8,及び制御装置9が2組そなえられるものとして説明したが、これに限定されるものではない。
図9に例示するようにHMD1は、画像処理を施した映像を装着者の片眼に表示するように、撮像装置5,接眼光学系6,映像表示装置8,及び制御装置9を一方のレンズにのみそなえてもよい。
また、HMD1は、撮像装置5,接眼光学系6,映像表示装置8,及び制御装置9を眼鏡に着脱可能としてもよい。この場合、接眼光学系6はレンズ7の内側(装着者とレンズ7との間)又は外側に設けることができる。
さらに、HMD1は、“網膜走査・投影方式ディスプレイ,志水英二,映像情報メディア学会誌Vol.65,No.6,pp.758〜763,2011”で提案されているマックスウェル視を利用した網膜投影方式を採用してもよい。
図10は、網膜投影方式を採用したHMD1Aを示す図である。図10に示すように、HMD1Aは、図1に示すHMD1とは異なる撮像装置11,接眼光学系12,映像表示装置13,及び制御装置14をそなえる。
撮像装置11は、映像表示装置13(制御装置14)の上部に設けられ、装着者の視界の映像を撮影するものであり、撮像装置5と同様の構成とすることができる。接眼光学系12は、HOE(Holographic Optical Element)やハーフミラーにより外界映像に表示映像を重ねるものである。なお、接眼光学系6をレンズ7の形状に形成することで、レンズ7を省略することもできる。
図11は、接眼光学系12及び映像表示装置13の上面からの断面を示す断面図である。図11に例示するように、映像表示装置13はLED131,拡散板132,レンズ133及び135,光透過型液晶表示器134,ピンホール136,及びミラー137をそなえることができる。
LED131は光源の一例である。拡散板132はLED131からの光を拡散してレンズ133に導くものである。レンズ133は拡散されたLED131からの照射光をコリメート光(平行光)になるように屈折させて光透過型液晶表示器134に導くものであり、コリメータレンズを用いることができる。
光透過型液晶表示器134は、制御装置14から送信される画像情報から映像を生成する。光透過型液晶表示器134としては、例えば空間光変調素子を用いることができる。
レンズ135は、光透過型液晶表示器134を通過した光をピンホール136に集光させるレンズである。ピンホール136は、光透過型液晶表示器134からの0次光のみを通過させるローパスフィルタである。
ミラー137は、ピンホール136を通過した光を反射して接眼光学系12に導くものである。接眼光学系12は、ミラー137から入射した映像を反射してホログラム映像を表示させ、装着者の目10に映像を結ばせる。
HMD1Aの装着者の目10,レンズ135,ピンホール136,ミラー137,及び接眼光学系12等の位置関係を調整することにより、接眼光学系12の集光点に目10の瞳孔中心を置くことができ、焦点深度の深い映像を網膜上に照射することができる。
制御装置14は、制御装置9と同様に、撮像装置11で撮影された映像(画像情報)に画像処理を施し、映像表示装置13に画像情報を出力する。
以上のような構成により、HMD1Aによっても、HMD1と同様の効果を奏することができる。また、HMD1Aによれば、網膜投影の広視域化を図ることができ、網膜上に歪みの無い像を結ぶことができる。さらに、HMD1Aによれば、眼の水晶体調節を使用しないため、水晶体に異常のある色覚異常者もHMD1Aを使用することができる。なお、HMD1Aについても、撮像装置11,接眼光学系12,映像表示装置13,及び制御装置14を眼鏡の一方のレンズにのみそなえてもよいし、眼鏡に着脱可能としてもよい。
〔1−6〕制御装置の他の制御例
HMD1の制御装置9には、装着者に対応する補正情報23における感度に関する情報を段階的に切り替えるスイッチを設けることとしてもよい。このスイッチは、例えば記憶部21に設定された補正情報23について、所定の色相に係る感度に関する情報を、±数〜数十%ずつ段階的に切り替えることができる。このスイッチにより感度に関する情報が切り替えられると、補正量算出部27が所定の色相について算出する補正量が変化する。
このスイッチによれば、装着者は接眼光学系6に出力されている画像を見ながら画像処理における画像情報22のRGBの調整を手動で行なうことができ、事前に測定された補正情報23を最適化させることができる。これにより、HMD1における画像の出力系の特性に補正情報23を適合させることができる。また、装着者の色覚異常の程度が進行しても、補正情報23を作成するための再度の検査を行なわずに済み、装着者の色覚異常の状態に柔軟に対応することが可能となる。
なお、制御装置9は補正情報23が調整されると、記憶部21に保持する補正情報23を更新してもよいし、調整後の補正情報23を一定数プロファイルとして記憶し、装着者に適宜任意の補正情報23を選択させるようにしてもよい。補正情報23の選択の態様としては、例えば接眼光学系6にプロファイルの選択画面を表示するといった、既知の種々の手法が挙げられる。
また、装着者ごとにプロファイルを作成することで、例えばHMD1を複数の装着者で共用することも可能である。
〔1−7〕制御装置のハードウェア構成例
上述した機能を実現するため、制御装置9は、図12に例示するハードウェア構成をそなえることができる。
図12に示すように、上述した第1実施形態に係る制御装置9は、CPU20a,揮発性メモリ20b,不揮発性メモリ20c,インタフェース部20d,及び操作部20eをそなえることができる。
CPU20aは、種々の制御や演算を行なう演算処理装置(プロセッサ)の一例である。CPU20aは、対応する各ブロック20b〜20eとバスで相互に通信可能に接続され、揮発性メモリ20b又は不揮発性メモリ20c等に格納されたプログラムを実行することにより、種々の機能を実現することができる。なお、制御装置9は、CPU20aに代えて又は加えて、DSP(Digital Signal Processor)等のマイクロプロセッサをそなえ、画像処理をDSPに実行させてもよい。
揮発性メモリ20bは、種々のデータやプログラムを格納する記憶装置である。CPU20aは、プログラムを実行する際に、揮発性メモリ20bにデータやプログラムを格納し展開する。なお、揮発性メモリ20bとしては、例えば種々のRAM(Random Access Memory)が挙げられる。
なお、図3に示す記憶部21は揮発性メモリ20bによって実現されてもよい。換言すれば、揮発性メモリ20bは記憶部21として画像情報22及び補正情報23を保持することができる。
不揮発性メモリ20cは、種々のデータやプログラム等を格納するハードウェアである。不揮発性メモリ20cとしては、例えばROM(Read Only Memory)やフラッシュメモリ等の各種装置が挙げられる。
例えば不揮発性メモリ20cは、制御装置9の各種機能の全部もしくは一部を実現する画像処理プログラム(視覚補助プログラム)200を格納することができる。CPU20aは、例えば不揮発性メモリ20cに格納された画像処理プログラム200を、揮発性メモリ20b等の記憶装置に展開して実行することにより、コンピュータとしての制御装置9に画像処理の機能を実現させることができる。なお、不揮発性メモリ20cは、揮発性メモリ20bに代えて又は揮発性メモリ20bとともに、記憶部21として補正情報23を保持してもよい。
インタフェース部20dは、有線又は無線による、HMD1(制御装置9)の管理装置(図示省略)との間の接続及び通信の制御等を行なう通信インタフェースである。インタフェース部20dとしては、例えば、有線又は無線LAN(Local Area Network),Bluetooth(登録商標),USB(Universal Serial Bus)等に準拠したアダプタが挙げられる。例えば、CPU20aは、インタフェース部20dを介して管理装置から取得した画像処理プログラム200や補正情報23を不揮発性メモリ20cや揮発性メモリ20bに格納してもよい。
なお、管理装置は、画像処理プログラム200を制御装置9に提供するとともに、HMD1の装着者に対応して予め求めた補正情報23を制御装置9に設定することができる。
操作部20eは、例えば画像処理のON/OFFを切り替えるスイッチや、補正の度合いを切り替える(例えば補正情報23の感度に関する情報を段階的に切り替える)スイッチ等をそなえることができる。これらのスイッチは、接点式のスイッチであってもよいし、タッチセンサ等であってもよい。また、操作部20eは音声操作のためのマイク等であってもよい。
なお、画像処理プログラム200は、インターネット等のネットワークを経由して提供されてもよく、非一時的な記録媒体に格納された状態で提供されてもよい。記録媒体としては、例えばフレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク等の光ディスクや、USBメモリやSDカード等のフラッシュメモリが挙げられる。なお、CDとしては、CD−ROM、CD−R(CD-Recordable)、CD−RW(CD-Rewritable)等が挙げられる。また、DVDとしては、DVD−ROM、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等が挙げられる。
上述した管理装置は、画像処理プログラム200をネットワーク経由で提供元のサーバから、又は記録媒体の読取装置経由で記録媒体から取得し、取得した画像処理プログラム200をインタフェース部20dを介して制御装置9に供給することができるのである。このため、管理装置は、少なくともCPU,不揮発性メモリ,HDD(Hard Disk Drive)等の記憶装置,インタフェース部,及び読取装置をそなえることができる。
上述した制御装置9のハードウェア構成は例示である。従って、制御装置9内でのハードウェアの増減(例えば任意のブロックの追加や省略),分割,任意の組み合わせでの統合,バスの追加又は省略等は適宜行なわれてもよい。
〔2〕第2実施形態
〔2−1〕視覚補助システムについて
色覚のタイプに応じて、色覚異常者が識別し易い色,識別し難い色には互いに相反する面がある。また、色覚異常者の錐体細胞の感度は多種多様であるため、或る人に適切な補正パラメータが別の或る人に適切であるかどうかは実際に試してみないとわからない。
第2実施形態に係る視覚補助システムは、色覚の検査装置を用いて、個人の色覚特性に合った補正パラメータを算出することで、視覚補助装置の使用者に最適に調整された視覚補助装置を提供するものである。
〔2−2〕視覚補助システムの構成例
以下、第2実施形態に係る視覚補助システムの詳細について説明する。図13は、第2実施形態の一例としての視覚補助システム30の構成例を示す図である。図13に示すように、視覚補助システム30は例示的に色覚異常検査装置(以下、単に検査装置と表記する場合がある)40及びHMD50をそなえることができる。
(検査装置40の構成例)
上述のように、一般色覚者と色覚異常者とではS,M,L錐体細胞の特性が異なる。例えば1型3色覚又は2型3色覚の色覚異常者では、L錐体細胞又はM錐体細胞の感度が低下していることにより、分光上においてL錐体細胞がM錐体細胞側へ、又は、M錐体細胞がL錐体細胞側へ移動していると考えられる。
検査装置40は、一般色覚者と色覚異常者との色の見え方についてシミュレーションを行ない、色覚異常者が一般色覚者と同等又は略同等と感じるように、分光レベルで補正係数を算出するものである。なお、検査装置40としては、PC(Personal Computer)やサーバ等の情報処理装置(コンピュータ)を用いることができる。
図13に示すように、検査装置40は例示的に記憶部41,色覚異常検査部(以下、単に検査部と表記する場合がある)40A,表示部49a,及び入力部49bをそなえることができる。
表示部49aは、LCD(Liquid Crystal Display)等のディスプレイである。表示部49aは、検査部40Aにより被検者の色覚異常の有無及び程度を検査するのに用いられる情報(検査情報42)を表示する。この検査で得られた被検者の錐体細胞の特性(補正情報45)はHMD50に出力され、HMD50での画像処理に用いられる。従って、表示部49aでの画面上の表示(出力)特性(明度,彩度,色相等の設定)がHMD50における画像情報22の出力系の特性と同程度となるようにカラーマネジメントされていることが好ましい。
入力部49bは、種々の情報を検査装置40に入力するために用いられる。例えば検査部40Aによる被検者の色覚異常の有無及び程度の検査において、被検者は、被検者が表示部49aに表示された情報をどのように認識したかを、入力部49bを介して検査装置40に入力することができる。入力部49bとしては、マウス,キーボード等の種々の入力装置が挙げられる。なお、表示部49a及び入力部49bを一体化した、情報の表示及び入力が可能なタッチパネルが用いられてもよい。
記憶部41は、データを記憶する記憶装置の一例であり、図13に例示するように色覚異常検査情報(以下、単に検査情報と表記する場合がある)42,画像パラメータ43,補正係数44,及び補正情報45を記憶する。
検査情報42は、例えば表示部49aを介して被検者に表示させる画像情報である。検査部40Aは、色覚異常か否かのスクリーニングを行なうために、検査情報42を表示部49aに表示させる。検査情報42としては、例えば石原色覚検査表等の複数の色相の画素が所定の規則で組み合わされた情報が挙げられる。石原色覚検査表は、色覚異常者が見ると一般色覚者が認知する画像(数字)が認識できなかったり、一般色覚者が認知する画像(数字)とは異なった数字を認識してしまうように調整された1以上の画像を含む。
第2実施形態において検査情報42に含まれる画像は、赤(R),緑(G),青(B),シアン(G+B),マゼンタ(R+B),黄(R+G),橙(2R+G),黄緑(R+2G)の色点の組み合わせで表された、以下の6つの画像である。
(a) 12:一般色覚者及び色覚異常者が認識可能。
(b) 6 :一般色覚者は認識可能だが、色覚異常者には何も見えない又は何とか見える。
(c) 73:一般色覚者は認識可能だが、色覚異常者には何も見えない又は何とか見える。
(d) 15:一般色覚者は認識可能だが、色覚異常者(青系)には17に見える。
(e) 29:一般色覚者は認識可能だが、色覚異常者(赤系)には70に見える。
(f) − :一般色覚者には何も見えないが、色覚異常者(緑系)には5に見える。
検査情報42は、例えばS,M,Lの各錐体細胞について感度の低いいずれかの錐体細胞を検出できるように、少なくとも3種類(例えば上記(d)〜(f))の画像(数字)を含むことが好ましい。なお、予め感度の低い錐体細胞がわかっている場合には検査情報42が1種類の画像(数字)を含むようにしてもよい。
画像パラメータ43は、検査情報42の画像の色に関する情報である。画像パラメータ43には、例えば検査情報42の画像に含まれる色点のRGB成分に対応した分光特性を示す情報が含まれる。
一例として、RGB成分のそれぞれの光の量がいずれも最大値(255)である場合の分光特性を図14に示す。なお、以下の説明では、RGB成分のそれぞれの光の量r,g,bを、R(r),G(g),B(b)と表記する。なお、R(128)である場合、波形は図14に示すR(255)の波形と同一又は略同一となるが、波形の高さ(透過率)が半分(0.5)となる。G(128),B(128)についても同様である。
上述のように、各画像は、赤(R),緑(G),青(B),シアン(G+B),マゼンタ(R+B),黄(R+G),橙(2R+G),黄緑(R+2G)の色点の組み合わせで表される。従って、画像パラメータ43には、図14に例示するような分光特性が、検査情報42の画像における複数の色点の各々のR(r),G(g),B(b)に対応した数だけ含まれる。
検査部40Aは、検査情報42を用いて被検者が色覚異常か否かのスクリーニングを行ない、被検者が検査情報42を一般色覚者と同等に見えるように検査情報42の持つ色を分光レベルで補正し、被検者の錐体細胞の異常の程度の推定及び補正を行なう。このため、図13に示すように検査部40Aは、例示的に分類判定部46,パラメータ調整部47,補正情報算出部48をそなえることができる。
分類判定部46は、記憶部41に保持された検査情報42を表示部49aに表示させ、被検者又は試験実施者(以下、これらをまとめて被検者と表記する)から入力される入力結果に基づいて、被検者の色覚異常の分類を推定するものである。
例えば分類判定部46は、表示部49aに上記(a)〜(f)の画像を順に又は一括で表示させ、被検者の弁別を利用して各画像にどの数字が表示されているかを入力部49bに入力させる。そして、分類判定部46は、例えば入力部49bを介して入力された結果が(d)について17であった場合、被検者が青系の色覚異常であると分類する。同様に、分類判定部46は、例えば結果が(e)について70であった場合、被検者が赤系の色覚異常であると分類し、例えば結果が(f)について5であった場合、被検者が緑系の色覚異常であると分類する。
パラメータ調整部47は、検査情報42の画像の色に関する画像パラメータ43を調整し、調整した画像パラメータ43を検査情報42の画像に適用することで検査情報42を補正する。そして、パラメータ調整部47は、補正した検査情報42を表示部49aに再表示させる処理を行ない、色覚異常の程度(強度)の推定を行なう。
例えばパラメータ調整部47は、分類判定部46による分類結果が入力されると、分類結果に基づいて、記憶部41から画像パラメータ43を読み出し、読み出した画像パラメータ43を調整(更新)して、調整した画像パラメータ43を検査情報42に対して適用する。そして、パラメータ調整部47は、補正した検査情報42を表示部49aに表示させ、補正後の検査情報42に基づく被検者の認識結果の入力待ちを行なう。なお、パラメータ調整部47は、記憶部41に対して調整した画像パラメータ43の更新を行なう。
また、入力部49bを介して被検者の認識結果が入力されると、パラメータ調整部47は、被検者の認識結果が一般色覚者の認識結果と同等になる(弁別できる)まで、画像パラメータ43を調整して検査情報42を補正し、表示部49aに表示させる処理を繰り返す。
具体的には、被検者が表示部49aに表示される検査情報42を観測した結果、色覚異常の可能性がある場合、パラメータ調整部47は、異常の可能性がある画像の色点のRGBの値から、そのRGBの分光特性(画像パラメータ43)を呼び出す。そして、パラメータ調整部47は、取得した分光特性について、異常の可能性のある錐体細胞の特性が他の錐体細胞の特性よりも感度が高い範囲で、当該異常の可能性のある錐体細胞の分光特性に対して分光波長単位で+側に補正する。なお、分光波長単位としては、例えば5nm又は10nm程度の補正単位である。
一例として、分類判定部46により被検者が緑系の色覚異常であると分類された場合、パラメータ調整部47は、M錐体細胞の感度が低下している(2型3色覚である)と推定し、図6に示すM錐体細胞の特性に基づき、画像パラメータ43を調整する。このとき、パラメータ調整部47は、上記(f)の画像に含まれる複数の色点それぞれのRGBの値に対応する分光特性を、記憶部21の画像パラメータ43から取得する。そして、パラメータ調整部47は、取得した分光特性について、534nmをピークとするM錐体細胞の特性が他のS,L錐体細胞の特性よりも感度が高い範囲で、検査情報42の画像の緑(G)の分光特性を分光波長単位で+側に補正する。
パラメータ調整部47が分光特性を補正(調整)する量としては、例えば十数%〜百%程度の範囲の増加量とすることができる。図15には、図14の状態から画像の緑(G)の分光特性(透過率)を100%増加させた(2倍にした)例を示す。
なお、上述した例ではM錐体細胞の感度が低い場合を挙げて説明したが、S又はL錐体細胞の感度が低い場合も同様である。
例えば、分類判定部46により被検者が青系の色覚異常であると分類された場合、パラメータ調整部47は、S錐体細胞の感度が低下している(3型3色覚である)と推定し、図6に示すS錐体細胞の特性に基づき、画像パラメータ43を調整する。このとき、パラメータ調整部47は、上記(d)の画像に含まれる複数の色点それぞれのRGBの値に対応する分光特性を、記憶部21の画像パラメータ43から取得する。そして、パラメータ調整部47は、取得した分光特性について、420nmをピークとするS錐体細胞の特性が他のM,L錐体細胞の特性よりも感度の高い範囲で、検査情報42の画像の青(B)の分光特性を分光波長単位で+側に補正する。
同様に、分類判定部46により被検者が赤系の色覚異常であると分類された場合、パラメータ調整部47は、L錐体細胞の感度が低下している(1型3色覚である)と推定し、図6に示すL錐体細胞の特性に基づき、画像パラメータ43を調整する。このとき、パラメータ調整部47は、上記(e)の画像に含まれる複数の色点それぞれのRGBの値に対応する分光特性を、記憶部21の画像パラメータ43から取得する。そして、パラメータ調整部47は、取得した分光特性について、564nmをピークとするL錐体細胞の特性が他のS,M錐体細胞の特性よりも感度の高い範囲で、検査情報42の画像の赤(R)の分光特性を分光波長単位で+側に補正する。
以上のように分光特性の調整を行なうと、パラメータ調整部47は、調整した分光特性(画像パラメータ43)に基づき、検査情報42の画像を補正する。
検査情報42の画像は上述のように複数の色点の組み合わせで表される。従って、補正された分光特性のRGBを特定できれば、調整された画像パラメータ43適用後の各色点をRGBの加法混色モデルとして表すことができる。
分光特性からRGBへの計算は、例えば下記式(2)〜(4)で表される。
なお、上記式(2)〜(4)におけるX,Y,Zは、それぞれ下記式(5)〜(7)で表される。
上記式(5)〜(7)において、λは分光波長を示し、S(λ)はJIS(日本工業規格) Z8720:2012の表1,表2に定義された値を示す。なお、S(λ)の色温度は6500Kであるものとする。また、上記式(5)〜(7)において、τ(λ)は信号の分光波長単位の値(反射率及び透過率)を示し、x(λ),y(λ),z(λ)は、それぞれJIS Z8701:1999の付表1,付表2に定義された値を示す。さらに、上記式(5)〜(7)において、Kは下記式(8)で表される。
パラメータ調整部47は、以上のように、調整した分光特性を上記式(2)〜(4)によりRGBに変換することで、異常の可能性がある画像の色点に対する補正値を算出することができる。なお、パラメータ調整部47は、異常の可能性がある画像に含まれる複数の色点の各々について、上記式(2)〜(4)を用いた分光特性−RGBの変換を行なう。
そして、パラメータ調整部47は、算出したRGBの補正値を異常の可能性がある画像の対応する色点のRGBと置き換えて(画像を補正して)、補正後の画像を表示部49aに再表示させる。このような補正処理により、補正された検査情報42の画像は一般色覚者には緑色が濃くなったように認識されるが、色覚異常者には一般色覚者が元の画像を見たときの色に近づいた色として認識される。
このように、パラメータ調整部47は、分光特性からRGBを算出し、新たな組に合わせの色点を含む補正後の画像(検査情報42)を被検者に見せ、被検者の反応に変化が出るまで(異常の可能性がある画像を弁別できるまで)、補正演算を繰り返す。
なお、上記の補正過程で、RGBそれぞれの値が255を超えて求められる(データのオーバーフローが発生する)場合がある。その場合、パラメータ調整部47は、255を超えた値の最大値が255になるように、RGBの各信号の数値補正処理を行ない正規化して、表示用の画像を作成する。数値補正処理では、パラメータ調整部47は下記式(9)〜(11)を用いることができる。なお、下記式(9)〜(11)においてRr,Gr,Brは分光特性から算出した実際のRGBの値であり、max(Rr,Gr,Br)はRrGrBrの内の最大の値である。
換言すれば、パラメータ調整部47は、補正により所定の色相の光量が所定値(最大値)を超える場合、所定の色相の光量を所定値とするとともに、検査情報42に含まれる所定の色相以外の他の色相の光量を、値を減少させた光量に補正する。言い換えれば、パラメータ調整部47は、所定値を超える所定の色相の光量と他の色相の光量との比率と、所定値と他の色相についての値を減少させた光量との比率とが一定になるように、検査情報42に含まれる他の色相の光量を、値を減少させた光量に補正するといえる。
被検者が異常の可能性がある画像について一般色覚者と同様の認識をした場合(数字の弁別ができた場合)、パラメータ調整部47は、上述した分光特性(画像パラメータ43)の調整処理を終了する。
被検者が数字を弁別できた場合、このときの色点の分光特性は、当該色点の元の分光特性に被検者固有の補正係数を乗じたものであるといえる。換言すれば、被検者の数字の弁別ができたときの分光特性は、被検者固有の補正係数の元データであるといえる。
以上のように、分類判定部46及びパラメータ調整部47は、検査情報42を表示部49aに表示させ、検査情報42に応じて入力された情報から所定の色相を判定する判定部の一例であるといえる。
また、パラメータ調整部47は、検査情報42に含まれる所定の色相の光量を補正して、補正した検査情報42を表示部49aに出力する補正部の一例であるといえる。
補正情報算出部48は、パラメータ調整部47が算出した被検者の補正係数の元データに基づき、補正係数44を算出する。例えば補正情報算出部48は、元の色点の分光特性に対する、数字の弁別ができたときの補正後の色点の分光特性の割合を算出することにより補正係数44を算出することができる。なお、補正情報算出部48は、算出した補正係数44を記憶部41に保存してもよい。
そして、補正情報算出部48は、算出した補正係数44に基づき、HMD50用の被検者固有の補正情報45を算出する。この補正情報45は、第1実施形態に係る補正情報23とは異なり、HMD50において撮像装置5から入力された画像情報22(RGB)に対して直接演算されるものである。
補正情報45の算出において、補正情報算出部48は、理想的にはRGB各々について0〜255の256段階の掛け合わせ(RGB各々が256階調であるため、256の三乗個)の格子点の出力値をテーブルデータとして持つことが好ましい。このようなテーブルにより、HMD50用の補正係数45(RGBからR’G’B’への変換テーブル)が生成される。
一例として、補正情報算出部48は、補正情報45の算出においてAdobe−RGB又はsRGB(理想はオプチマルgamut)空間でRGBを規則的に(例えばRGBのいずれかの成分の光の量を1ずつ)変化させて理想的な分光特性を発生させる。そして補正情報算出部48は、発生させた分光特性に対して補正係数44を乗じ、上記式(2)〜(4)に示す分光特性−RGBの値の変換処理を行なうことで、分光レベルで補正情報45を生成することができる。
補正情報45の一例を図16に示す。補正情報算出部48は、図16に示すように、発生させた分光特性に対応する入力側のRGBテーブルと、当該分光特性に対して補正係数44を乗じてRGBの値に変換した出力側のR’G’B’テーブルとを含む。
なお、補正情報45は上述のように256^3通りのデータを持つテーブルとなる。HMD50は、使用される態様から小型化が図られることが多く、データを格納するメモリ容量にも上限が設けられる可能性がある。そこで補正情報算出部48は、図17に示すように、RGB各々について0〜255を離散的に選択して、離散的な補正情報45を算出してもよい。
また、上述した説明では、補正情報算出部48は元の分光特性と補正後の分光特性との割合(増加率)に基づき補正係数44を算出するものとして説明したが、これに限定されるものではない。例えば補正情報算出部48は、元の色点のRGBの値に対する、数字の弁別ができたときの補正後の色点のRGBの割合を算出することにより補正係数44を算出してもよい。このとき補正情報算出部48は、補正情報45の算出において、Adobe−RGB又はsRGB空間でRGBを規則的に(例えばRGBのいずれかの成分の光の量を1ずつ)変化させて発生させ、発生させたRGBに対して補正係数44を乗じて、補正情報45を生成することができる。
以上のように、補正情報算出部48は、補正した検査情報42に応じて入力された情報が所定の条件を満たす場合、所定の色相に対する補正係数44を算出し、複数の色相の組み合わせで表される第1情報と第1情報に対して算出した補正係数を乗じた第2情報とを対応付けた補正情報45を生成する生成部の一例であるといえる。
検査部40Aは、以上の処理によって補正情報45を算出すると、HMD50のインタフェース部20dを介して、算出した補正情報45を被検者(色覚異常者)と対応付けてHMD50(制御装置90)に出力(送信)する。
(HMD50の構成例)
HMD50は、上述した第1実施形態に係るHMD1又は1A(図1,図2,図9〜図12参照)と、制御装置90の機能構成を除き基本的に同様の機能構成及びハードウェア構成をそなえることができる。以下、HMD50について、HMD1又は1Aと重複した構成の説明を省略する。図18は、第2実施形態に係る制御装置90の機能構成例を示す図である。
図18に示すように、HMD50の制御装置90は、例示的に記憶部51,A/D(アナログ/デジタル)変換器54,及び演算処理部55をそなえることができる。
記憶部51は、データを記憶する記憶装置の一例であり、図18に例示するように画像情報22及び補正情報53を記憶する。なお、補正情報53は、インタフェース部20dを介して検査装置40から入力された補正情報45に対応するものである。制御装置90は、検査装置40から補正情報45を受信すると、被検者(色覚異常者)つまりHMD50の装着者を示す情報(例えばユーザ名や任意の識別子)と対応付けて補正情報53として記憶部51に保存する。
A/D変換器54は、撮像装置5により撮影された映像(画像情報)を撮像装置5から取得し、取得した画像情報のアナログ−デジタル変換を行ない画像情報52として記憶部51に保存する。
このように、A/D変換器54は、撮像装置5により撮像された画像情報52を取得する取得部の一例であるといえる。
演算処理部55は、撮像装置5から入力された画像情報の色空間(例えばRGB)を制御装置9での処理及び映像表示装置8への出力で用いる色空間(例えばRGB又はL*a*b*表色系)に変換するマッピング等を行なう。このマッピングは、第1実施形態と同様にICCプロファイル等のデバイスリンクプロファイルを用いて行なうことができる。
ここで、演算処理部55は、ICCプロファイルとして記憶部51に記憶された補正情報53を用いることができる。例えば演算処理部55は、図16に示す補正情報45(補正情報53)を用いて、撮像装置5から入力された画像情報における各画素のRGBの値を、当該値を示す入力側RGBテーブルに対応する出力側R’G’B’テーブルの値に変換する。
そして、演算処理部55は、補正情報53に基づき変換した画像情報52を映像表示装置8に出力する。
なお、A/D変換器54は、撮像装置5から取得した画像情報のA/D変換を行なったあと、記憶部51に保存せずに演算処理部55に順次出力してもよい。この場合、演算処理部55は、A/D変換器54から入力されるデータ(画像情報)に対してリアルタイムでRGB変換を行ない、変換したデータを順次映像表示装置8に出力することができる。
また、補正情報53は、図17に示すように離散的なテーブルの場合もある。この場合、演算処理部55は、入力側RGBテーブルに存在しない点(RGB)に関しては、図19に示すように当該点(RGB)の出力値を補間により算出する。例えば図19に示すように、入力側RGBテーブルに存在しない点φ(x,y,z)の出力側のR’G’B’の値を求める場合、演算処理部55は、補正情報53における点φ(x,y,z)の近傍であって入力用及び出力用のテーブルが存在するφ1(x1,y1,z1),φ2(x2,y2,z2),φ3(x3,y3,z3),及びφ4(x4,y4,z4)の値を用いて一般的な補間の手法により算出する。
以上のように、演算処理部55は、A/D変換器54が取得した画像情報52の色空間を、記憶部51が保持する第1情報により表される第1の色空間から、第1情報に対応する第2情報により表される第2の色空間に変換する変換部の一例であるといえる。また、演算処理部55は、第2の色空間に変換された画像情報52を出力する出力部の一例であるといえる。
このように、演算処理部55によれば、撮像装置5から入力された映像(RGB)を、記憶部51に格納されている補正情報53(変換テーブル)を用いて装着者に最適な色(R’G’B’)にリアルタイムで変換することができる。
従って、第2実施形態に係るHMD50によれば、予め検査装置40により算出された補正情報53を用いて、撮像装置5からの画像情報52に対してRGB変換を行なうことができる。これにより、画像情報52から補正対象となる領域を逐次検出し補正せずに済むため、処理を高速化し処理時間を短縮することができる。
また、後天性の色覚異常者は、色覚異常が進行して一度測定・算出された補正情報53の値がずれることもある。しかしながら、検査装置40によれば、改めて色覚異常検査を行ないプロファイル(補正情報53)を生成し、新たな生成した補正情報53をHMD50に設定することで、色覚異常の進行度に柔軟に対応できる。また、補正情報53の設定を行なうだけで既存のHMD50を流用することが可能であり、プロファイルの作成の都度HMD50を新たに用意せずに済むため、コストの削減に寄与できる。
〔2−3〕視覚補助システムの動作例
次に、上述の如く構成された視覚補助システム30の動作例を、図20及び図21を参照して説明する。
はじめに、図20を参照して検査装置40の動作例について説明する。まず、分類判定部46は、所定の検査情報42を表示部49aに表示させ、入力部49bを介した被検者からの入力結果に基づき被検者の色覚異常の分類を判別する(ステップS11)。
次いで、分類判定部46は、被検者に色覚異常があるか否かを判断する(ステップS12)。被検者に色覚異常がない場合(ステップS12のNoルート)、例えば被検者の入力結果が検査情報42の全ての画像について一般色覚者が認識する数字又は画像と一致する場合、分類判定部46は、例えば表示部49aに色覚異常がないことを表示して、処理が終了する。
一方、被検者に色覚異常がある場合(ステップS12のYesルート)、例えば被検者の入力結果のうち、検査情報42の少なくとも1つの画像について一般色覚者とは異なる数字又は画像を認識した或いは何も認識しない場合、処理がステップS13に移行する。ステップS13では、パラメータ調整部47が分類判定部46で判定された分類に基づき、色覚異常の型、例えば1型3色覚,2型3色覚,3型3色覚等を推定する(検査情報42の説明における(d)〜(f)参照)。
そして、パラメータ調整部47は、推定した型に応じて、検査情報42の画像の特定の(異常の可能性のある錐体細胞の)波長帯の分光特性を+側に調整(補正)する(ステップS14)。例えばパラメータ調整部47は、異常の可能性がある画像の色点のRGBの分光特性(画像パラメータ43)を読み出し、取得した分光特性について、当該特定の錐体異常の可能性のある錐体細胞の分光特性に対して分光波長単位で+側に補正する。
次に、パラメータ調整部47は調整した分光特性を上記(2)〜(4)式に基づきRGBに変換する(ステップS15)。このときパラメータ調整部47は、変換の際にデータのオーバーフローが発生したか否かを確認する(ステップS16)。データオーバーフローが発生した場合(ステップS16のYesルート)パラメータ調整部47はオーバーフローしたデータが最大値となるよう、RGBの値を正規化(色域圧縮)し(ステップS17)、処理がステップS18に移行する。なお、データのオーバーフローが発生していない場合(ステップS16のNoルート)、処理がステップS18に移行する。
ステップS18では、パラメータ調整部47が変換したRGBで検査情報42の画像を補正し、表示部49aに表示させる。そして、パラメータ調整部47は、補正した画像が被検者に正しく認識されたか否かを判定する(ステップS19)。補正した画像が被検者に正しく認識されていない場合(ステップS19のNoルート)、例えば被検者の認識が変わらず一般色覚者と異なる場合、処理がステップS14に移行し、更なる分光特性の調整が行なわれる。
一方、補正した画像が被検者に正しく認識された場合(ステップS19のYesルート)、例えば被検者の認識が変化し一般色覚者と同等の認識結果となった場合、補正情報算出部48は、補正係数44を算出する(ステップS20)。補正係数44の算出では、補正情報算出部48は、補正した画像の色点に係る元の分光特性に対する、被検者に正しく認識されたときの分光特性の割合を算出する。なお、補正係数44の算出では、補正情報算出部48は、元の色点のRGBの値に対する、数字の弁別ができたときの補正後の色点のRGBの割合を算出することにより補正係数44を算出してもよい。
次いで、補正情報算出部48は、算出した補正係数44に基づき、補正情報53(入力側RGBテーブル及び出力側R’G’B’テーブル)を生成する(ステップS21)。補正情報53の生成では、補正情報算出部48は、Adobe−RGB又はsRGBの色空間でRGBを規則的に変化させて分光特性を発生させ、補正係数44を乗じて分光特性−RGBの値の変換処理を行なうことで補正情報45を生成する。なお、補正情報53の生成では、補正情報算出部48は、上記色空間でRGBを規則的に変化させて発生させ、発生させたRGBに対して補正係数44を乗じて補正情報45を生成してもよい。
補正情報45の生成が完了すると、検査部40Aは、生成した補正係数44をHMD50に送信して(ステップS22)、処理が終了する。
次に、図21を参照してHMD50(制御装置90)の動作例について説明する。まず、HMD50の制御装置90は、検査装置40から送信された補正情報45を受信し、被検者つまりHMD50の装着者の情報と対応付けて補正情報53として記憶部51に格納する(ステップS31)。
次いで、撮像装置5が装着者の前景を撮影すると、撮影された画像情報が制御装置90に入力される。制御装置90では、A/D変換器54が撮像装置5からの画像情報をA/D変換し(ステップS32)、画像情報52を取得する。このときA/D変換器54は、A/D変換した画像情報52を記憶部51に格納してもよい。
次に、演算処理部55は、A/D変換器54から入力される(又は記憶部51に格納された)画像情報52に対して、補正情報53を用いたRGB−R’G’B’の変換処理を行なう(ステップS33)。この補正情報53は、ICCプロファイル等のデバイスリンクプロファイルとして用いられる。
そして、演算処理部55は、補正情報53に基づき変換した画像情報52を映像表示装置8に出力し(ステップS34)、処理が終了する。
なお、ステップS31〜S34の制御装置90の処理は、撮像装置5から一枚の画像情報が制御装置90に入力される都度実施される。
〔2−4〕視覚補助システムのハードウェア構成例
上述した機能を実現するため、第2実施形態に係る視覚補助システム30の検査装置40及びHMD50(制御装置90)は、それぞれ図22に例示するハードウェア構成をそなえることができる。
図22に示すように、上述した第2実施形態に係る検査装置40は、CPU40a,メモリ40b,記憶装置40c,インタフェース部40d,入出力部40e,及び読取部40fをそなえることができる。
CPU40aは、種々の制御や演算を行なう演算処理装置(プロセッサ)の一例である。CPU40aは、対応する各ブロック40b〜40fとバスで相互に通信可能に接続され、メモリ40b,記憶装置40c,記録媒体40g,又は図示しないROM等に格納されたプログラムを実行することにより、種々の機能を実現することができる。なお、検査装置40は、CPU40aに代えて又は加えて、DSP等のマイクロプロセッサをそなえ、画像処理をDSPに実行させてもよい。
メモリ40bは、種々のデータやプログラムを格納する記憶装置である。CPU40aは、プログラムを実行する際に、メモリ40bにデータやプログラムを格納し展開する。なお、メモリ40bとしては、例えばRAM等の揮発性メモリが挙げられる。
記憶装置40cは、種々のデータやプログラム等を格納するハードウェアである。記憶装置40cとしては、例えばHDD等の磁気ディスク装置,SSD(Solid State Drive)等の半導体ドライブ装置,フラッシュメモリやROM等の不揮発性メモリ等の各種装置が挙げられる。
例えば記憶装置40cは、検査装置40の各種機能の全部もしくは一部を実現する検査プログラム400を格納することができる。CPU40aは、例えば記憶装置40cに格納された検査プログラム400を、メモリ40b等の記憶装置に展開して実行することにより、検査装置40の機能を実現することができる。なお、図13に示す記憶部41は、メモリ40b又は記憶装置40cにより実現されてよい。図22の例では、メモリ40bが記憶部41として検査情報42,画像パラメータ43,補正係数44,及び補正情報45を保持可能であるものとして示している。
インタフェース部40dは、有線又は無線による、HMD50(制御装置90)との間の接続及び通信の制御等を行なう通信インタフェースである。インタフェース部40dとしては、例えば、有線又は無線LAN,Bluetooth(登録商標),USB等に準拠したアダプタが挙げられる。例えば、CPU40aは、補正情報算出部48により生成した補正情報45を、インタフェース部40dを介してHMD50(制御装置90)のインタフェース部20dに送信してもよい。また、CPU40aは、インタフェース部40dを介して他の装置から受信した検査プログラム400や検査情報42を記憶装置40cやメモリ40bに格納してもよい。
入出力部40eは、マウス,キーボード,タッチパネル,音声操作のためのマイク等の入力装置(操作部),並びにディスプレイ,スピーカ,及びプリンタ等の出力装置(出力部,表示部)の少なくとも一方を含むことができる。例えば、入力装置は被検者や試験実施者等による色覚異常検査のための各種操作やデータの入力等の作業に用いられてよく、出力装置は被検者の検査結果や各種通知等の出力に用いられてよい。なお、図13に示す表示部49a及び入力部49bは、いずれも入出力部40eにより実現されてよい。
読取部40fは、コンピュータ読取可能な記録媒体40gに記録されたデータやプログラムを読み出す装置である。この記録媒体40gには検査プログラム400が格納されてもよい。
なお、記録媒体40gとしては、例えばフレキシブルディスク、CD、DVD、ブルーレイディスク等の光ディスクや、USBメモリやSDカード等のフラッシュメモリが挙げられる。なお、CDとしては、CD−ROM、CD−R、CD−RW等が挙げられる。また、DVDとしては、DVD−ROM、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等の非一時的な記録媒体が挙げられる。
上述した検査装置40のハードウェア構成は例示である。従って、検査装置40内でのハードウェアの増減(例えば任意のブロックの追加や省略),分割,任意の組み合わせでの統合,バスの追加又は省略等は適宜行なわれてもよい。
なお、制御装置90におけるA/D変換器54及び演算処理部55の処理は、CPU20aに代えてDSPに実行させてもよい。制御装置90のハードウェア構成は、図12に示す制御装置9のハードウェア構成と基本的に同様であるため、重複した説明を省略する。
〔3〕その他
以上、本発明の好ましい実施形態について詳述したが、本発明は、かかる特定の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。
上述した第1及び第2実施形態の構成は、適宜組み合わせることが可能である。例えば、第1実施形態に係るHMD1の他の構成例や制御装置9の他の制御例は、第2実施形態に係るHMD50及び制御装置90にも適用することができる。
また、図3,図13,及び図18に示す制御装置9,検査装置40,及び制御装置90の各機能ブロックは、任意の組み合わせで併合してもよく、分割してもよい。
さらに、第1及び第2実施形態においては、視覚補助装置の説明としてHMD1,1A,及び50を例に挙げて説明したが、これに限定されるものではない。例えば視覚補助装置として、自動車等の車両の前面に撮像装置5を設置し、車内のフロントガラスの少なくとも一部,カーナビの画面,HUD,その他種々の情報処理装置の画面等のディスプレイに接眼光学系6を設け、さらに映像表示装置8と制御装置9又は90とを車内の任意の個所に設置してもよい。
このような構成とすることで、色覚異常者は、自身の視界を確保しつつ、撮像装置5が車両の前方を撮影し、制御装置9又は90で適切に補正された画像情報を、映像表示装置8を介して接眼光学系6でも確認することができる。このように、信号の色の判別や視認が困難な景色,建物等の確認のために、色覚異常者は色覚補助装置を補助的に用いてもよい。これにより、色覚異常者の利便性を向上させることができる。