JP7011295B2 - 色覚支援装置 - Google Patents

Description

本発明は，ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に搭載される接眼型の色覚支援装置に関するものである。具体的に説明すると，本発明の色覚支援装置は，観察者の眼前に設置される光学装置であって，カメラで撮影した画像データを観察者が色弁別しやすい色相に変換したうえで瞳に投影することで，観察者の色覚を支援するものである。

色の見え方や感じ方が一般色覚者とは異なる状態のことを「色弱」という。ヒトの網膜には，それぞれ長波長（５６５ｎｍ），中波長（５４５ｎｍ），及び短波長（４４０ｎｍ）付近の光に感度の高い錐体が存在しており，それぞれＬ錐体，Ｍ錐体，及びＳ錐体と呼ばれている。Ｌ錐体（赤錐体）は黄緑～赤の光を主に感じ，Ｍ錐体（緑錐体）は緑～黄緑の光を主に感じ，Ｓ錐体（青錐体）は紫～青の光を主に感じる。これら３種類の錐体（視細胞）の分光感度の違いにより，Ｌ錐体が主に黄緑～赤を感じ，Ｍ錐体が緑～黄緑の光を主に感じ，Ｓ錐体が主に紫～青の光を主に感じる。そして，瞳に光が入るとこれらの錐体が反応し，その情報が網膜から視神経を伝わって大脳皮質の視覚中枢に運ばれ，可視光線（４００～８００ｎｍ）の各波長に応じた色覚が起こるといわれている。色弱者は，例えばＬ錐体，Ｍ錐体，Ｓ錐体のうちのいいずれかの感覚が弱いか欠落していることによって，正常者とは少し違った色感覚を持つことになる。

色弱のタイプは，大きく分けて，Ｌ錐体の感覚が弱いか欠落している「１型色覚」，Ｍ錐体の感覚が弱いか欠落している「２型色覚」，及びＳ錐体の感覚が弱いか欠落している「３型色覚」があるといわれている。このような特徴を持つ色弱者は，例えば隣り合った２色（赤と緑など）の区別が困難となる場合がある（赤緑色弱）。

このような色弱者の色覚を補助するための装置として，例えば特許文献１には，ヘッドマウントディスプレイ型の視覚補助装置が開示されている。特許文献１の視覚補助装置は，観察者の色弱が生じる色相を予め記憶しておき，カメラで取得した画像データの中からその色弱が生じる色相が検出された場合に，例えばその色相の光量を他の色相の光量よりも増加させて出力することにより，画像データを観察者とって色弁別しやすい色相に変換することとしている。

特開２０１６－９５５７７号公報

ところで，特許文献１の視覚補助装置は，光源として一般的なＬＥＤが用いられており，光源からの照射光を光透過型の液晶表示器に導入して映像光に変換することとしている。一般的なＬＥＤは，白色光を照射するものであり，例えば赤色，緑色，青色の発光ダイオードを同光量で発光させて白色光を生成するもの（マルチチップ）や，青色の発光ダイオードを黄色蛍光体で被覆することで白色光を生成生成するもの（シングルチップ）などが知られている。このような白色ＬＥＤからの照射光を光透過型の液晶表示器に導入して映像光を生成するにあたり，例えば赤色の感度が乏しい色弱者のために赤色の光量を緑色及び青色よりも増加させる際には，液晶表示器において緑色及び青色の透過量（光量）を減少させて，相対的に赤色の光量を強くする必要がある。すなわち，一般的なＬＥＤを光源として使用した場合，発光源からは白色光のみが提供されるため，色弱者向けに映像光の色相を調整するためには，液晶表示器において各色相の透過量を調整するしか方法がない。しかしながら，ある特定の色相の光量を相対的に増加させるために他の色相の光量を減少させることとすると，その他の色相の階調が劣化し，映像光に擬似輪郭などが発生して画質の低下を招くという問題があった。

そこで，本発明は，カメラで撮影した撮影画像の画質を低下させずに，その撮影画像を観察者が色弁別しやすい色相に変換することのできる色覚支援装置を提供することを目的とする。

本発明の発明者は，上記従来技術の課題を解決する手段について鋭意検討した結果，発光色の異なる複数の発光素子で光源を構成するとともに，各発光素子の光量を独立して制御可能とし，光源において観察者が色弁別しにくい色相の光量を増加させた上で，その光源から照射光を液晶パネルなどの映像素子に導入することにより，画質を低下させずに映像光を観察者の瞳に投影することができるという知見を得た。本発明者は，上記知見に基づけば，従来技術の課題を解決できることに想到し，本発明を完成させた。具体的に説明すると，本発明は以下の構成を有する。

本発明は，色覚支援装置に関する。本発明に係る色覚支援装置は，外界を撮影して画像データを生成するカメラ１０と，この画像データに対応する映像光を射出する表示光学系２０と，この映像光を観察者の瞳に導く接眼光学系３０とを備える。表示光学系２０は，光源部２２，映像素子２５，及び制御回路２６を有する。光源部２２は，それぞれ発光波長の異なる複数の発光素子２１を含む。なお，複数の発光素子２１の例は，赤色，緑色，及び青色の３原色に発光する発光ダイオードであるが，レーザであってもよい。発光素子２１の発光色はこれらに限定されず，観察者の色覚に応じて例えば赤色を橙色に変更するなどの調整を行うこともできる。映像素子２５は，光源部２２からの照射光を映像光に変換する。制御回路２６は，複数の発光素子２１の光量を独立して制御する。表示光学系２０は，画像データを観察者の色弁別しやすい色相に変換した映像光を出力することができる。

上記構成のように，光源部２２の各発光素子２１の光量を独立して調整できるようにすることで，例えば赤色の感度が乏しい色弱者のために赤色の光量を緑色及び青色よりも増加させる際には，光源部２２において赤色の光量を増加させればよい。前述したように，従来技術では，液晶パネルなどの映像素子２５において緑色及び青色の透過量（光量）を減少させて，相対的に赤色の光量を強くする必要があったが，本発明では，緑色及び青色の光量を減少させることなく赤色の光量を強くすることができる。従って，本発明によれば，画質を低下させずに映像光を観察者の瞳に投影することができることが可能である。

本発明において，制御回路２６は，複数の発光素子２１を順次発光させる時分割駆動を行うことが好ましい。すなわち，時分割駆動とは，一つの発光素子２１が点灯しているタイミングにおいて他の発光素子２１は消灯させ，これを各発光素子２１について繰り返し高速で行うことで，観察者に時分割された映像光の残像を視認させて，観察者の脳内で各映像光を合成するという駆動手法である。従来の色覚支援装置の光源は，すべての発光素子（発光ダイオード）を常時点灯して白色光を照射し，その光源からの白色光をカラーフィルタが設けられた液晶パネルを透過させることで，映像光に色を付与することが一般的であった。これに対して，本発明のように各発光素子２１を時分割駆動することにより，実質的には観察者の眼（具体的には網膜のＬ錐体，Ｍ錐体，Ｓ錐体）には各発光素子２１の発光色が別々に投影されることとなる。このため，観察者の眼に投影される段階で映像光の色相が混合されないため，色弱者にとって映像光を色覚しやすいものとなる。

本発明において，光源部２２は，それぞれ発光波長の異なる発光素子２１を４つ以上含むこととしてもよい。この場合に，制御回路２６は，発光素子２１の中から少なくとも３つを選択して駆動することが好ましい。このように，例えば正常者向けの一般的な３原色（赤色，緑色，青色）の発光素子２１に加えて，色弱者向けの発光素子２１を設けておき，必要に応じて利用する発光素子２１を切り替えることができるようにすることで，様々な者が使用できる汎用的な映像表示装置を実現できる。

本発明において，光源部２２は，第１光源ユニット４１と第２光源ユニット４２とを物理的に交換可能に構成されていてもよい。第１光源ユニット４１は，それぞれ発光波長の異なる複数の発光素子２１を含む。他方で，第２光源ユニット４２は，第１光源ユニット４１に含まれる少なくともいずれか１つの発光素子２１と発光波長の異なる発光素子２１を少なくとも１つ以上含む。このような光源ユニット４１，４２を用意しておき，必要に応じて色覚支援装置に装着したり，ユニット自体を交換することで，正常者及び色弱者を含め様々な者が本発明を利用できるようになる。

本発明において，接眼光学系３０は，映像光を反射して観察者の瞳に導くプリズム３２を有し，このプリズム３２の反射面３２ａの裏面側は遮光されていることが好ましい。プリズム３２が透光性のものであると，観察者がプリズム３２の裏側の背景を視認することとなり，観察者に対して色相を調整した映像光を提供しても，その映像光と背景が重なって見えることとなるため，色覚支援の効果が半減する。そこで，上記のように，プリズム３２の反射面３２ａの裏面はほぼ遮光状態とすることで，観察者は色相が調整された映像光を効果的に視認することができるようになる。

本発明において，カメラ１０は，撮影レンズと被写体との距離を検出するオートフォーカスセンサ１１を備えていることが好ましい。この場合に，表示光学系２０は，画像データの色相の変換方法について複数のモードを有し，オートフォーカスセンサ１１が検出した距離に応じてモードを決定することが好ましい。色相の変換方法のモードとは，例えば，特定の発光素子２１の光量を増加する程度を複数のモードに分けることとしてもよい。また，ＲＧＢ比のみを変更するモード（図７参照）や，ＲＧＢの原色色度点の位置変更を含むモード（図８参照），あるいはＲＧＢの原色色度点の位置変更と比率調整によりホワイトバランス（Ｗ／Ｈ）は維持するモード（図１０参照）などを用意してもよい。例えば，観察者が遠くの景色を眺めている場合と，野菜の収穫や電気配線の接続等の手元で色の判断を行う作業をしている場合とで，色相の変換方法のモードを変えるようにすることで，その状況に応じた適切な色覚支援を提供することができる。

本発明において，カメラ１０は，レンズと被写体との距離を検出するオートフォーカスセンサ１１を有していることが好ましい。この場合，制御回路２６は，オートフォーカスセンサ１１が検出した距離に基づいて，カメラ１０が生成した画像データの一部を切り出した表示画像データを生成し，当該表示画像データを表示するための映像信号を光源部２２と映像素子２５へ送出することとしてもよい。観察者が注視している物体までの距離に応じて，画像データから切り出して観察者に視認させる画像範囲を適切に調整することで，その観察者に提供する映像とその周囲の景色とがシームレスに繋がるようになる。

本発明の色覚支援装置によれば，カメラで撮影した撮影画像の画質を低下させずに，その撮影画像を観察者が色弁別しやすい色相に変換することができる。

図１は，本発明に係る色覚支援装置（ヘッドマウントディスプレイ型）の外観の一例を示している。 図２は，色覚支援装置の機能構成を示したブロック図である。 図３は，本発明に係る色覚支援装置の効果を説明するための図であり，（ａ）は白色光を利用する通常の表示状態，（ｂ）は白色光から特定の原色を抽出した状態（従来例）を示している。 図４は，本発明に係る色覚支援装置の効果を説明するための図であり，（ｃ）は発光部において特定の原色の光量を増加させた状態（本発明）を示している。 図５は，錐体の波長感度特性を示している。 図６は，１型，２型，３型の色弱の混同色線を示している。 図７は，原色点強度比変更した場合の色再現範囲と白色色度点を示している。 図８は，原色色度点を変更した場合の色再現範囲と白色色度点を示している。 図９は，原色色度点を変更した場合の効果を１型色弱の混同色線を用いて示している。 図１０は，原色色度点を変更した上でＷ／Ｂ調整した場合の色再現範囲と色色度点を示している。 図１１は，光源で原色色度点を変更する為のスペクトルの変化を示している。 図１２は，発光素子の時分割駆動の一例を示している。 図１３は，複数の光源を備える表示光学系の構成を示している。 図１４は，光源ユニットを交換可能な表示光学系の構成を示している。 図１５は，オートフォーカスを用いて表示画像データを生成する方法の一例を示している。 図１６は，オートフォーカスを用いて表示画像データを生成する方法の一例を示している。 図１７は，表示画像を風景と重ねて示した場合の例を模式的に示している。

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜変更したものも含む。

図１は，ヘッドマウントディスプレイ（ＨＭＤ）型の色覚支援装置１００の例を示した外観斜視図である。ＨＭＤ型の色覚支援装置１００は，観察者の頭部に装着されてその瞳に映像を投影する。本実施形態において，色覚支援装置１００は，観察者の片眼の眼前にのみ配置されている。色覚支援装置１００は，基本的に，カメラ１０と，表示光学系２０と，接眼光学系３０とを備える。カメラ１０は，観察者の視線と同方向の外界を撮影して，その画像データを生成する。表示光学系２０は，カメラ１０で撮影した画像データに色覚支援用の所定の色調補正を施したうえで，その補正後の画像データの映像光を生成し，接眼光学系３０に向けて射出する。接眼光学系３０は，表示光学系２０から射出された映像光を反射又は屈折させて観察者の瞳に導く。図１に示した例では，表示光学系２０から横方向（Ｘ軸方向）に射出された映像光が，接眼光学系３０によって略直角に反射されて奥行き方向（Ｚ軸方向）に進行し，観察者の瞳孔に入射する。また，表示光学系２０と接眼光学系３０の間は空間となっており，映像光は空気中を進行する。

図１に示した実施形態において，接眼光学系３０は，透明基板３１上にプリズム３２を配置した構成となっている。透明基板３１は，観察者の瞳と対向する板状の部材であり，少なくとも一部が光を透過する透明部材又はメッシュ部材で構成されている。図１に示した例では，透明基板３１は，その全体がプラスチックやガラスなどの透明部材で形成された透明基板となっている。また，透明基板３１の外面にはプリズム３２が設けられている。また，この透明基板３１は，表示光学系２０を収容するＨＭＤの筐体に固定されている。このため，透明基板３１は，プリズム３２を表示光学系２０から射出された映像光の光軸上に位置させるための支持具としての機能を果たしている。透明基板３１が透明であるため，映像を視認する観察者の視野を広く確保することができる。また，観察者は，透明基板３１の奥側の背景を映像とともに視認することができる。他方で，プリズム３２の反射面３２ｂは，遮光性の塗料等が塗布されており，観察者はプリズム３２の奥側の背景は視認できないようになっている。このため，観察者にとって，プリズム３２と重なる背景が表示光学系２０において生成された映像に置き換えられることとなる。

なお，図１に示した例において，ＨＭＤ型の色覚支援装置１００は，上記した構成の他に，光学センサやタッチパネルなどを備えていてもよい。ＨＭＤの筐体の中には，ＣＰＵ，メモリ，各種通信機器，加速度センサ，ジャイロセンサ，及びバッテリーなどが搭載されている。ＨＭＤの構成は，適宜公知の構成を採用することができ，本発明においては特に限定されない。

続いて，図２を参照して，色覚支援装置１００が備える光学系の一例について説明する。特に，図２は，透過型の映像素子（液晶パネル）２５を備える光学系を示している。なお，図２は，色覚支援装置１００の構造を平面（ＸＺ面）から描画したものである。図２に示されるように，色覚支援装置１００は，カメラ１０と，映像光（一点鎖線）を生成して射出する表示光学系２０と，映像光を観察者の瞳に導く接眼光学系３０とを備える。カメラ１０によって取得された画像データが，表示光学系２０において補正された上で映像光として射出され，空気中を伝搬して接眼光学系３０に入射し，最終的には観察者の瞳Ｅに投影される。

カメラ１０は，静止画又は動画の画像データを取得するための撮像装置である。カメラ１０は，例えば，撮影レンズ，メカシャッター，シャッタードライバ，ＣＣＤイメージセンサユニットなどの光電変換素子，光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ），及びＩＣメモリで構成される。また，カメラ１０は，撮影レンズから被写体までの距離を測定するオートフォーカスセンサ（ＡＦセンサ）と，このＡＦセンサが検出した距離に応じて撮影レンズの焦点距離を調整するための機構とを備えることが好ましい。ＡＦセンサの種類は特に限定されないが，位相差センサやコントラストセンサといった公知のパッシブ方式のものを用いればよい。また，ＡＦセンサとして，赤外線や超音波を被写体に向けてその反射光や反射波を受信するアクティブ方式のセンサを用いることもできる。カメラ１０によって取得された画像データは，制御回路２６へと供給され，所定の画像処理が行われた上で，表示光学系２０によってその画像データに対応する映像光が生成及び出力される。

図２に示された実施形態において，表示光学系２０は，複数の発光素子２１を含む光源部２２と，均一化素子（インテグレータ）２３と，集光レンズ２４と，映像素子２５と，制御回路２６とを有する。

光源部２２は，それぞれ発光波長（すなわち発光色）の異なる複数の発光素子２１を含んで構成されている。発光素子２１の例は，ＬＥＤ（発光ダイオード）である。発光素子２１は，例えば，Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３原色の光を射出可能なものがそれぞれ設けられる。ただし，発光素子２１の発光色は上記３原色に限定されず，観察者の色弱の状況において，観察者が色弁別しやすい発光色のものに置き換えることもできる。例えば，赤色の発光素子２１に変えて橙色のものを用いたり，緑色の発光素子２１に代えて青緑色のものを用いたり，あるいは青色の発光素子２１に代えて水色のものを用いたりすることも可能である。また，本発明において，各発光素子２１の光量は，独立して調整することが可能である。すなわち，通常のＬＥＤ光源では，３原色の発光素子２１の光量を常時均一なものとして白色光を生成するが，本発明の発光部２２は，白色光を生成するものに限られず，赤色の発光素子２１の光量を多くして赤みがかった照射光を生成してもよいし，その他，青色の発光素子２１や緑色の発光素子２１の光量のみを多くすることもできる。発光部２２における各発光素子２１の光量は，制御回路２６によって独立して調整される。なお，光源部２２が発光するためには電力が必要になるため，この光源部２２は，電源線を介してバッテリー（図示省略）に接続されている。

光源部２２の各発光素子２１から射出された光は，均一化素子２３に入力される。均一化素子２３は，各発光素子２１から出力された照射光の光路のずれを調整して，後段の集光レンズ２４を介して，映像素子２５への照射面を均一化する。集光レンズ２４は，非球面レンズなどで形成されており，各発光素子２１からの照射光をほぼ平行光に変えて，同一の光路を通過するようにして映像素子２５に向けて射出する。

映像素子２５は，入射光を表示画像データに応じて変調することにより，映像光に変換するものである。本実施形態では，映像素子２５は，透過型の液晶パネルが用いられている。液晶パネルの各画素は，例えば，２層の透明電極付きガラス基板の間に液晶層が介在し，またガラス基板のそれぞれに偏光板が取り付けられた構造となっている。透明電極間に電圧をかけない場合は，液晶層の液晶分子はガラス面と平行に並ぶが，透明電極間に電圧をかけると液晶層の液晶分子がガラス面と垂直な方向へ液晶分子の向きが変わる。液晶分子の動きと２枚の偏光板の偏光方向の組み合わせにより，液晶パネルの各画素を透過する光の透過量が調整される。液晶パネルは，このような各画素がマトリクス状に配置された構造となる。なお，本発明においては，後述するように，発光素子２１が時分割駆動されるものである場合には，発光装置２１から映像素子２５に入力される照射光がすでに色成分を含むものであるため，映像素子２５にカラーフィルタ等を設ける必要はない。映像素子２５に印加する電圧等の制御は，制御回路２６によって行われる。なお，映像素子２５は電源線を介してバッテリーに接続されている。映像素子２５は，上記した透過型の液晶パネル以外にも，例えば反射型の液晶パネルを採用することもできる。また，映像素子２５として反射型の液晶パネルを採用する場合，特許６０８１５０８号に開示された「直線配置型の接眼映像表示装置」の構成を参考にすることとしてもよい。

制御回路２６は，カメラ１０で生成された画像データに色弱者向けの色相の補正加工等の画像処理を施して，表示用の画像データ（表示画像データ）を生成する。そして，制御回路２６は，その表示画像データに基づいて，光源部２２を構成する各発光素子２１と映像素子２５とを制御して，映像光を生成及び出力する。

本発明において，制御回路２６は，光源部２２を構成する複数の発光素子２１の光量をそれぞれ独立して制御することができるものである。具体的には，ある発光素子の最大輝度は，他の発光素子の最大輝度に対して２倍以上に設定可能であることが好ましく，３倍以上又は４倍以上であってもよい。

ここで，図３及び図４を参照して，光源部２２において原色の光量を独立して調整することの利点を説明する。図３及び図４では，８ｂｉｔの信号で，赤色，緑色，緑色の各原色の光量を２５６階調で直線的に制御する場合の例を示している。図３に示した（ａ）のパターンは，一般的な光源の制御方法を示している。図３（ａ）では，各原色の最大輝度が同等に設定されており，８ｂｉｔの信号で各原色の光量を０～１００％の間で２５６階調に制御される。一般的な光源は，白色光のみが求められるため，各原色の光量が常時等しくなるように制御される。他方で，図３に示した（ｂ）のパターンは，各原色の光量を同等にして光源から白色光を照射し，映像素子（液晶パネル）側で白色光から特定の原色の光量のみを強調して，他の原色の光量を低下させる制御方法を示している。例えば，図３（ｂ）では，赤色の光量を，緑色及び青色の４倍にした場合の例を示している。この場合，光源における各原色の最大輝度は同等であるため，映像素子で赤色の光量を他の４倍とするためには，赤色の光量を最大１００％に維持しつつ，他の緑色及び青色の光量を２５％に低下させるしか方法がない。この場合，赤色画像の表示には２５６階調すべてを使用できるものの，緑色画像及び青色画像の表示にはその１／４である６４階調しか使用することができない。このように特定の原色の階調が減少すると，疑似輪郭の発生などにより映像の画質が低下するという問題がある。これに対して，図４に示した（ｃ）のパターンは，光源において各原色の光量（最大輝度）を独立的に調整する制御方法を示している。例えば，図４（ｃ）では，緑色と青色の光量を最大１００％に維持しつつ，赤色の光量の最大輝度を緑色と青色の光量の４倍にした場合の例を示している。この場合，赤色，緑色，及び青色の各原色について，２５６階調すべてを使用することができる。このため，図４（ｃ）のパターンは，図３（ｂ）のパターンと異なり，画質の低下を避けることができる。このように，光源部２２を構成する複数の発光素子２１の光量をそれぞれ独立して制御可能に構成することで，映像の画質の低下を回避しつつ，ある特定の原色の光量を増加させることが可能となる。

図２に示されるように，接眼光学系３０は，上記映像素子２５から射出された映像光を反射又は屈折させて観察者の瞳Ｅに導く光学素子である。本実施形態において，接眼光学系３０は，プリズム３２を有している。また，接眼光学系３０は，接眼レンズ３３を有していてもよい。プリズム３２は，表示光学系２０からの映像光を内部で導光する部材である。プリズム３２は，例えば，映像光の入射面３２ａと，反射面３２ｂと，射出面３２ｃを有する形状となっている。プリズム３２の入射面３２ａは，横方向（Ｘ軸方向）に進行する映像光の光軸とほぼ垂直に交差するように設けられている。また，射出面３２ｃは，観察者の瞳と対向するように設けられている。反射面３２ｂは，例えば矩形形状（長方形）であり，映像光の光路を直角に折り曲げる手段として機能している。具体的には，反射面３２ｂは，入射面３２ａを介してプリズム内部に入射した映像光を，Ｚ方向に反射させる。なお，プリズム３２は，単一のプリズムで構成されてもよいし，複数のプリズムを組み合わせて構成されてもよい。また，接眼レンズ３３は，例えばプリズム３２の入射面３２ａに取り付けられる。接眼レンズ３３は，正のパワーを持ち，プリズム３２に入射する映像光を瞳に集光する。接眼レンズ３３は，プリズム３２の入射面３２ａに接合されていてもよいし，プリズム３２と一体化されていてもよい。また，プリズム３２の反射面３２ｂの裏面は，光を吸収又は全反射するための遮光加工が施されていることが好ましい。例えば，反射面３２ｂの裏面に黒色の塗料を塗布したり，あるいは鏡面加工を施すこととすればよい。この場合，反射面３２ｂの裏面からプリズム３２内に外光が入射することや，観察者が反射面３２ｂに重なる景色を視認することを回避できる。

上記の構成においては，表示光学系２０によって映像光が生成される。すなわち，光源部２２からの照射光は，均一化素子２３で照射面が均一化された後，集光レンズ２４で集光されて映像素子２５に入射する。照射光は映像素子２５によって変調されて映像光となる。次に，表示光学系２０から射出された映像光は，接眼光学系３０に入射する。接眼光学系３０では，映像光が，接眼レンズ３３を介してプリズム３２の内部に入射する。その後，映像光は，プリズム３２の内部を横方向（Ｘ軸方向）に沿って進行し，反射面３２ｂで光路が折り曲げられ奥行き方向（Ｚ軸方向）に向きを変えて進行する。これにより，映像光は，プリズム３２の射出面３２ｃを介して射出され，観察者の瞳に導かれる。このようにして，観察者は，瞳Ｅの位置で，表示光学系２０にて生成された映像の拡大虚像を観察することができる。

続いて，図５～図１１を参照して，制御回路２６が光源部２２を構成する各発光素子２１を制御する方法の例について説明する。ここでは，３つの発光素子２１が，赤色，緑色，及び青色の３原色で発光する場合を例に挙げて説明する。

図５は，Ｓ錐体，Ｍ錐体，及びＬ錐体の感度特性を示しており，それぞれの最大値を１として規格化している。原色の青色はＳ錐体で感じ取るが，Ｍ錐体とＬ錐体で感じる波長は重複しているため，赤色と緑色はＭ錐体とＬ錐体の受光量の演算で感じ取ることとなる。この３つの錐体の内，１つ又は２つの感度が低くなると所謂色弱と呼ばれる状態になり，色の感じ方が健常者とは異なってくる。色は通常ｘ，ｙ座標を用いた二次元の色度と呼ばれる数字で定義されるが，色弱者は１次元的な変化しか色を感じ取ることができなくなる。色弱者は，このように色度を１次元的にしか感じ取ることができないため，健常者であれば区別できる色であっても，色弱者にとっては同じ色に見える場合がある。図６は，色弱者が感じる色を示した図であり，色度図内の同一斜め線の上にある色は色弱者にとって全て同じ色に見えることを示している。「１型」はＬ錐体の感度が弱い場合（１型色弱），「２型」はＭ錐体の感度が弱い場合（２型色弱）場合，「３型」はＳ錐体の感度が弱い場合（３型色弱）を示している。

図７は，ディスプレイの原色点，色再現範囲，及び白色（最高輝度）色度点をｘｙ色度図で示したものである。図７では，一般的なディスプレイにおいて各原色（赤色，青色，緑色）の光量の強度比を同等にした場合の白色色度点を×印で示している。他方で，図７では，制御回路２６が発光素子２１の原色の強度比を変えた場合，具体的には赤色の光量を他の緑色や青色の４倍に設定した場合の例を示している。この場合，白色色度点は○印で示した位置となる。このように，赤色の感度が弱い色弱者（主に１型色弱）への支援策として，赤原色の強度（光量）を増強することが有効である。ただし，このような場合には，赤色，緑色，青色の各原色点に変化はないものの，赤色の強度を増したことにより白色色度点（最高輝度）が赤色の原色点に近づくことがわかる。そうすると，単純に赤色の光量のみを増加させた場合，色弱者にとって，赤色を感じる効果は大きくなるものの，白色が赤みがかった色に感じられることとなる。

続いて，図８に示されるように，制御回路２６において各発光素子２１の光量を制御して，原色の位置そのものを変えることもできる。例えば，観察者の錐体の感度低下が大きく，特定の原色の強度（光量）増大では不十分な場合に，原色の位置そのものを変えることが有効である。図８に示した例では，赤色の感度が弱い色弱者（主に１型色弱）への支援策として，通常は赤で表示される色を橙色に変換して表示している。これにより，色弱者は，赤色自体は認識することはできないもの，橙色であればそこに色があることを認識することができる。また，橙色と緑色との違いを明確にするために，緑色の原色も水色に変換させている。このように，各原色点の位置を適切に変換することで，色弱者にとって色の区別を認識しやすくなる。ただし，図８に示されるように，この場合にも，白色（最高輝度）の色度点は元の位置からずれるため，観察者は白色を通常とは異なった色として認識することとなる。

図９は，上記図８に示したように制御回路２６において原色点を変更する制御を行うことで，色弱者（例えば１型）であっても同一混同色線上に存在する色を区別できるようになることを示している。このように，原色点変更前の状態では，同一混同色線上に存在していた色であっても，原色点を変更することにより，同一混同色線上からずれることとなるため，色弱者であってもそれらの色を異なる色として区別できるようになる。また，原色点を変更すると，元々問題なく区別できていた色が同一線上に並ぶこともあるため，原色点を変更した状態と変更しない元の状態とを時間的に切り替えて繰り返し表示することも有効である。つまり，１次元的に感じる色度を時間的に２種類表示することにより，擬似的に２次元の色度を再現することができる。

また，図１０に示されるように，原色色度点の位置そのものを変えた場合であっても，発光素子２１の強度比を調整することにより，白色（最高輝度）の色度点を元の位置に戻すことができる。このように，制御回路２６は，原色色度点を変えたうえで，各発光素子２１の強度比を調整することにより，ホワイトバランスを元に戻すこともできる。

図１１は，通常の光源のスペクトルと，赤・緑の原色点を移動させた場合の光源のスペクトルを一例として示している。なお，原色点の移動は，画像信号の色変換を用いて行うことも可能であるが，原色点を主波長とする光源を用いた方がより望ましいものであるといえる。例えばＬ錐体の感度が低い場合，赤と緑の波長を混ぜることによって変更した赤原色（例えば橙色）を表示する場合よりも，橙色の波長の光源を用いた方がより効率的である。このような光源を用いれば信号での色変換処理が不要となる。

続いて，図１２を参照して，制御回路２６が光源部２２を構成する各発光素子２１を時分割駆動する場合の例について説明する。時分割駆動は，一つの発光素子２１が点灯しているタイミングにおいて他の発光素子２１は消灯させ，これを各発光素子２１について繰り返し高速で行うことで，観察者に時分割された映像光の残像を視認させて，観察者の脳内で各映像光を合成する手法である。

図１２は，赤色，緑色，青色のそれぞれで発光する３種の発光素子を時分割駆動する場合の例を概念的に示している。図１２に示されるように，赤色の発光素子，緑色の発光素子，及び青色の発光素子がこの順で発光し，ある発光素子が点灯しているタイミングでは他の発光素子は消灯している。各発光素子から照射された原色光は映像素子（液晶パネル）へと入力され，そこで映像光に変換される。赤色の映像光，緑色の映像光，及び青色の映像光は，順番に観察者の瞳に投影されるが，観察者の脳内でそれらの３種の映像光が合成されて，一つの映像となる。また，図１２に示されるように，各映像光について映像素子でその透過量を調整することで，３種の映像光を合成した画像については細かい色相（具体的には２５６階調の３乗＝１６７７７２１６色）を表現することができる。

各発光素子２１を時分割駆動すると，実質的には観察者の眼（具体的には網膜のＬ錐体，Ｍ錐体，Ｓ錐体）に各発光素子２１の発光色が別々に（時分割で）投影される。このため，時分割駆動の場合，観察者の眼に投影される段階で映像光の色相が混合されないため，色弱者にとって映像光を色覚しやすくなるというメリットがある。

続いて，図１３及び図１４を参照して，光源部２２を構成する発光素子２１を切り替えることのできる構成について説明する。図１３は，駆動する発光素子２１をスイッチで切り替える例を示しており，図１４は，表示光学系に組み込む発光素子２１を物理的に取り替える例を示している。

図１３に示した例では，表示光学系２０は，発光部２２に予め４種以上の発光素子２１を設けられ，どの発光素子２１を駆動させるのかを制御回路２６で選択することができるように構成されている。具体的に説明すると，発光部２２は，３種の発光素子２１を含む第１光源２２ａと，３種の発光素子２１を含む第２光源２２ｂを備える。第１光源２２ａの発光素子２１と，第２光源２２ｂの発光素子２１は，少なくとも１つ以上の発光素子２１の発光色が異なっており，すべての発光素子２１の発光色が異なっていてもよい。例えば，第１光源２２ａは，通常画像を表示する為の赤色，緑色，及び青色の３原色の発光素子２１で構成されており，第２光源２２ｂは，色弱者向けに上記３原色と異なる色の発光素子２１（例えば橙色・水色・青色の組合わせ，又は赤色・黄色・青緑色の組み合わせなど）で構成されている。第１光源２２ａと第２光源２２ｂは，それぞれ制御回路２６に接続されている。制御回路２６は，観察者が選択したモードに従って，第１光源２２ａと第２光源２２ｂのどちらを駆動させるかを決定する。このように，第１光源２２ａと第２光源２２ｂのどちらを駆動させるのかをスイッチで切り替えることができる。

図１４に示した例では，物理的に分離された複数の光源ユニット４１，４２，４３が予め用意されており，表示光学系２０は，任意に選択された光源ユニットを取り付けることができるように構成されている。具体的に説明すると，表示光学系２０と各光源ユニット４１，４２，４３には，それぞれ接続用の端子が設けられており，両者の端子を繋ぐことで表示光学系２０と各光源ユニット４１，４２，４３とが電気的に接続される。図１４に示した例において，第１光源ユニット４１は，３種の発光素子２１を備えており，各発光素子２１は通常画像を表示する為の赤色，緑色，及び青色の３原色で発光する。第２光源ユニット４２は，第１光源４２ａと第２光源４２ｂを備える。第２光源ユニット４２において，例えば，第１光源２２ａは，通常画像を表示する為の赤色，緑色，及び青色の３原色の発光素子２１で構成され，第２光源２２ｂは，色弱者向けに上記３原色と異なる色の発光素子２１（例えば橙色・水色・青色の組合わせ，又は赤色・黄色・青緑色の組み合わせなど）で構成されている。第２光源ユニット４２が表示光学系２０に取り付けられた場合，制御回路２６は，第１光源２２ａと第２光源２２ｂのどちらを駆動させるかを選択することができる。第３の光源ユニット４３も，第２光源ユニット４２と同様に，第１光源４３ａと第２光源４３ｂを備える。第１光源４３ａは，通常画像を表示する為の赤色，緑色，及び青色の３原色の発光素子２１で構成される。他方で，第２光源４３ｂは，第１光源４３ａと同時に駆動することを想定したものであり，色弱者向けに，例えば第１光源４３ａの３原色のうちの一つと同じ発光色の発光素子２１を３つ備えている。例えば，第２光源４３ａを構成する３つの発光素子２１は同じ色で発光するものであり，赤色，緑色，又は青色から選ばれる。つまり，第３光源ユニット４３が表示光学系２０に取り付けられた場合，制御回路２６は，第１光源４３ａのみを駆動させるか，第１光源４３ａ及び第２光源４３ｂの両方を駆動させるかを選択する。例えば，第２光源４３ｂが赤色で発光する３つの発光素子４１から構成されている場合，第１光源４３ａ及び第２光源４３ｂの両方を駆動させることで，第１光源ユニット４１のみを駆動させたときに比べて赤色の光量（最大輝度）を４倍に設定することができる。

続いて，図１５～図１７を参照して，観察者の瞳とカメラ１０との視差を考慮して，カメラ１０で取得した画像データから観察者の視角と同等の表示画像データを抽出する処理を説明する。図１５に示されるように，例えば，カメラ１０を観察者のこめかみ付近に配置して観察者の片眼に映像光を投影する場合について考える。特に，ここでは，図１等に示した構成のように，プリズム３２によって映像光を観察者に瞳に投影し，そのプリズム３２の背面が遮光されている場合を例に挙げて説明する。

図１５に示されるように，観察者の片眼とカメラ１０の間には隙間が存在し，その結果，観察者の片眼の視線とカメラ１０の視線の間には視差Ｐが生じる。この場合に，カメラ１０で撮影した画像データをそのまま観察者の片眼に投影すると，視差Ｐの影響により，観察者が実際に視ている背景と装置によって生成した映像とをシームレスに重ねることはできない。そこで，この視差Ｐを考慮して，カメラ１０で撮影した画像データの中から，観察者の注視範囲と観察者が注視している物体面とが重なる範囲を表示画像として抽出して（切り出して），表示画像データを生成することが有効である。ただし，図１５と図１６を比較すると判るように，表示画像として抽出する範囲は，カメラ１０の撮影レンズから観察者が注視している物体面までの距離によって変動する。ここで，カメラ１０の撮影レンズから観察者が注視している物体面までの距離は，カメラ１０が備えるオートフォーカスレンズによって測定することが可能である。そこで，制御回路２６は，視差Ｐと，このオートフォーカスレンズで測定した物体面までの距離とに基づいて，画像データの中から表示画像として抽出する範囲を決定することが好ましい。なお，視差Ｐは，色覚支援装置１００全体の構成を考慮して任意に設定することができ，また，観察者の操作によって微調整できるようにしてもよい。また，カメラ１０の撮影レンズから観察者が注視している物体面までの距離は，前述したようにカメラ１０が備えるオートフォーカスレンズの測定値に制御回路２６に入力するようにすればよい。

上記のようにして，制御回路２６は，カメラ１０が取得した画像データから，上記視差Ｐ及びオートフォーカスレンズの測定値に基づいて，観察者の瞳に投影する表示画像データを抽出する。そして，この表示画像データに基づいて，光源部２２及び映像素子２５とを制御して映像光を生成する。図１７は，実際の風景に色覚支援装置１００で生成した映像を重ねて表示する場合の例を示している。映像の表示範囲が実際の視角（みかけの大きさ）よりも縮小されている場合，風景と映像の間にずれが生じ，観察者に違和感を与えるおそれがある。これに対して，映像の表示範囲が実際の視角と同等である場合，風景と映像とがシームレスに繋がり，観察者は風景の中に映像が重なった状態を自然に視認することができる。このような表示を行うことにより，観察者に対して自然な視覚支援を提供することが可能になる。

また，本発明において，表光学系２０の制御回路２６は，オートフォーカスセンサ１１が検出した距離に応じて，画像データの色相を変換するモードを選択することとしてもよい。具体的には，制御回路２６は，画像データの色相の変換方法についての複数のモードをメモリ等に記憶しており，オートフォーカスセンサ１１が検出した距離に応じてモードを決定する。色相の変換方法のモードとは，例えば，特定の発光素子２１の光量を増加する程度を複数のモードに分けることとしてもよい。また，ＲＧＢ比のみを変更するモードや，ＲＧＢ比の変更に加えて原点（白色色度点）の移動を含むモード，あるいはＲＧＢ比は変更するがＷ／Ｂバランスは維持するモードなどを用意してもよい。例えば，観察者が遠くの景色を眺めている場合と，手元で色の判断を行う作業をしている場合とで，色相の変換方法のモードを変えるようにすることで，その状況に応じた適切な色覚支援を提供することができる。具体的には，図１５に示した場合と図１６に示した場合とで，異なるモードで画像データの色変換が行われる。

以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

１０…カメラ １１…オートフォーカスセンサ
２０…表示光学系 ２１…発光素子
２２…光源部 ２２ａ…第１光源
２２ｂ…第２光源 ２３…均一化素子
２４…集光レンズ ２５…映像素子
２６…制御回路 ３０…接眼光学系
３１…透明基板 ３２…プリズム
３２ａ…入射面 ３２ｂ…反射面
３２ｃ…射出面 ３３…接眼レンズ
４１…第１光源ユニット ４２…第２光源ユニット
４３…第３光源ユニット １００…色覚支援装置

Claims (6)

1. 外界を撮影して画像データを生成するカメラ（１０）と，
   前記画像データに対応する映像光を射出する表示光学系（２０）と，
   前記映像光を観察者の瞳に導く接眼光学系（３０）と，を備える
   色覚支援装置であって，
   前記表示光学系（２０）は，
   それぞれ発光波長の異なる複数の発光素子（２１）を含む光源部（２２）と，
   前記光源部（２２）からの照射光を前記映像光に変換する映像素子（２５）と，
   前記複数の発光素子（２１）の光量を独立して制御する制御回路（２６）とを有し，
   前記画像データを観察者の色弁別しやすい色相に変換した映像光を出力することのできるものであり，
   前記光源部（２２）は，それぞれ発光波長の異なる複数の発光素子（２１）を含む第１ 光源ユニット（４１）と，当該第１光源ユニット（４１）に含まれる少なくともいずれか の１つの発光素子（２１）と発光波長の異なる発光素子（２１）を少なくとも１つ以上含 む第２光源ユニット（４２）とを物理的に交換可能に構成されている
   色覚支援装置。
2. 前記制御回路（２６）は，前記複数の発光素子（２１）を順次発光させる時分割駆動を行う
   請求項１に記載の色覚支援装置。
3. 前記光源部（２２）は，それぞれ発光波長の異なる発光素子（２１）を４つ以上含み，
   前記制御回路（２６）は，前記発光素子（２１）の中から少なくとも３つを選択して駆動する
   請求項１に記載の色覚支援装置。
4. 前記接眼光学系（３０）は，前記映像光を反射して観察者の瞳に導くプリズム（３２）を有し，
   前記プリズム（３２）の反射面（３２ａ）の裏面側は遮光されている
   請求項１に記載の色覚支援装置。
5. 外界を撮影して画像データを生成するカメラ（１０）と，
   前記画像データに対応する映像光を射出する表示光学系（２０）と，
   前記映像光を観察者の瞳に導く接眼光学系（３０）と，を備える
   色覚支援装置であって，
   前記表示光学系（２０）は，
   それぞれ発光波長の異なる複数の発光素子（２１）を含む光源部（２２）と，
   前記光源部（２２）からの照射光を前記映像光に変換する映像素子（２５）と，
   前記複数の発光素子（２１）の光量を独立して制御する制御回路（２６）とを有し，
   前記画像データを観察者の色弁別しやすい色相に変換した映像光を出力することので きるものであり，
   前記カメラ（１０）は，撮影レンズと被写体との距離を検出するオートフォーカスセンサ（１１）を有しており，
   前記表示光学系（２０）は，前記画像データの色相の変換方法について複数のモードを有し，前記オートフォーカスセンサ（１１）が検出した前記距離に応じて前記モードを決定する
   色覚支援装置。
6. 前記カメラ（１０）は，撮影レンズと被写体との距離を検出するオートフォーカスセンサ（１１）を有しており，
   前記制御回路（２６）は，前記オートフォーカスセンサ（１１）が検出した前記距離に基づいて，前記カメラ（１０）が生成した画像データの一部を切り出した表示画像データを生成し，当該表示画像データを表示するための映像信号を前記光源部（２２）と前記映像素子（２５）へ送出する
   請求項１に記載の色覚支援装置。

Images