WO2016203844A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2016203844A1 WO2016203844A1 PCT/JP2016/062623 JP2016062623W WO2016203844A1 WO 2016203844 A1 WO2016203844 A1 WO 2016203844A1 JP 2016062623 W JP2016062623 W JP 2016062623W WO 2016203844 A1 WO2016203844 A1 WO 2016203844A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- blur
- user
- blur function
- information processing
- inverse
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 132
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims description 255
- 210000001508 eye Anatomy 0.000 claims description 87
- 238000000034 method Methods 0.000 claims description 28
- 210000001525 retina Anatomy 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 28
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 201000009310 astigmatism Diseases 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 208000001491 myopia Diseases 0.000 description 10
- 230000004379 myopia Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000000695 crystalline len Anatomy 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 208000014733 refractive error Diseases 0.000 description 5
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
Abstract
本発明は、表示画像に対するユーザの視認性を向上させる情報処理装置、情報処理方法、およびプログラムを提供する。ユーザの視野にて発生する焦点ボケに基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部（１０）と、前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部（１２０）と、前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部（１４０）と、を備える、情報処理装置（１）。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近視または乱視等に対する視力矯正装置として眼鏡およびコンタクトレンズ等の装着型の視力矯正装置が広く普及している。一方で、装着型の視力矯正装置は、装着に煩わしさが伴うため、装着型の視力矯正装置を用いずに、裸眼で鮮明な画像を視認したいという要求が存在していた。
また、ヘッドマウントディスプレイ（ＨＭＤ）および電子双眼鏡などのユーザの目に近接して画像を表示する近接表示装置では、裸眼での使用を前提としている。そのため、このような近接表示装置は、眼鏡等の視力矯正装置を装着したユーザに対する利便性が低く、眼鏡等のレンズの反射によって画像を視認し難くなることがあった。したがって、装着型の視力矯正装置を用いずに近接表示装置を使用したいという要求が強かった。
例えば、以下の特許文献１には、光学系を用いずに画像処理によって画像に対する視度補正を行う視度補正装置が開示されている。特許文献１には、ユーザによって入力されたボケ関数にて画像を補正することで、眼鏡等の視力矯正装置を用いずともユーザが知覚する画像のボケを小さくすることができることが開示されている。
また、ユーザが視認しやすい表示画像を画像処理によって生成する技術としては、例えば、以下の特許文献２に開示される技術を例示することができる。特許文献２には、ユーザの年齢等に基づいて表示画像を補正することにより、老齢のユーザに対しても視認しやすい画像を提供する画像処理装置が開示されている。
しかし、ユーザが目の焦点位置を調整した場合、ユーザが知覚するボケは変化してしまう。そのため、所定のボケ関数を用いる上記の特許文献１および２に開示された装置では、ボケに対して常に適切な補正を行うことは困難であった。また、上記の特許文献１および２に開示された装置は、ユーザが変わったり、ユーザの健康状態によって視力が変化したりした場合には、補正に用いるボケ関数を設定し直す必要があり、実用性が低かった。
したがって、表示画像においてユーザが知覚するボケを適切に抑制するために、表示画像に対して動的にボケ補正を行う情報処理装置が求められていた。
そこで、本開示では、表示画像に対するユーザの視認性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザの視野にて発生する焦点ボケに基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの視野にて発生する焦点ボケに関する情報に基づいて、中央演算処理装置により前記焦点ボケのボケ量を表すボケ関数を動的に設定することと、前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定することと、前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータをユーザの視野にて発生する焦点ボケに関する情報に基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、として機能させる、プログラムが提供される。
本開示によれば、ユーザの視野にて発生する焦点ボケを動的に測定し、焦点ボケを補正する画像処理を表示画像に対して動的に施すことが可能である。
以上説明したように本開示によれば、表示画像に対するユーザの視認性を向上させることが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．情報処理装置の概略
１．２．情報処理装置の構成例
１．３．情報処理装置の動作例
２．第２の実施形態
２．１．情報処理装置の概略
２．２．情報処理装置の構成例
２．３．情報処理装置の動作例
３．第３の実施形態
３．１．情報処理装置の概略
３．２．情報処理装置の構成例
３．３．情報処理装置の動作例
４．ハードウェア構成例
１．第１の実施形態
１．１．情報処理装置の概略
１．２．情報処理装置の構成例
１．３．情報処理装置の動作例
２．第２の実施形態
２．１．情報処理装置の概略
２．２．情報処理装置の構成例
２．３．情報処理装置の動作例
３．第３の実施形態
３．１．情報処理装置の概略
３．２．情報処理装置の構成例
３．３．情報処理装置の動作例
４．ハードウェア構成例
＜１．第１の実施形態＞
［１．１．情報処理装置の概略］
まず、図１を参照して、本開示の第１の実施形態に係る情報処理装置の概略について説明する。図１は、本実施形態に係る情報処理装置１の外観例を示した説明図である。
［１．１．情報処理装置の概略］
まず、図１を参照して、本開示の第１の実施形態に係る情報処理装置の概略について説明する。図１は、本実施形態に係る情報処理装置１の外観例を示した説明図である。
図１に示すように、本実施形態に係る情報処理装置１は、例えば、スマートフォン、タブレット端末、携帯電話、およびテレビなどの表示部を備える情報処理装置である。また、ユーザ３は、視覚に近視および乱視などの屈折異常を有しており、眼鏡またはコンタクトレンズ等の視力矯正装置を装着していない状態（すなわち、裸眼の状態）では、視野に焦点ボケが生じている。
なお、焦点ボケとは、ユーザ３の視野において焦点が合わないことで生じるボケである。焦点ボケは、例えば、角膜および水晶体による屈折力調整が適切に機能せず、眼球への入射光線が網膜上で結像しない近視、角膜および水晶体の凹凸や歪みにより、眼球への入射光線が網膜上の一点で結像しない乱視などによって生じる。
本実施形態に係る情報処理装置１は、ユーザ３の視野にて発生する焦点ボケを測定し、測定された焦点ボケを表すボケ関数を動的に設定することにより、該ボケ関数を補正する画像処理を表示画像に対して動的に施す。この構成により、情報処理装置１は、屈折異常を有するユーザ３が裸眼で表示画像を視認した場合でも、ユーザ３に対して焦点ボケが補正された明瞭な表示画像を視認させることが可能である。
また、本開示に係る技術は、上記のような使用例に限られず、屈折異常を有しないユーザ３に対しても好適に用いることができる。具体的には、視覚に近視および乱視などの屈折異常を有していないユーザであっても、焦点を合わせて注視している対象よりも手前または奥に存在する対象については、焦点が合わず焦点ボケが生じてしまう。
本実施形態に係る情報処理装置１によれば、ユーザが注視している対象よりも手前または奥に表示画像が表示され、該表示画像に対してユーザが焦点を合わせていない場合であっても、焦点ボケが補正された表示画像をユーザに対して視認させることが可能である。具体的には、情報処理装置１は、表示装置の後背に位置する背景を視認可能なシースルー型の表示装置において、ユーザが表示装置の後背に存在する対象を注視している場合にも、ユーザに対して焦点ボケが補正された明瞭な表示画像を視認させることができる。
本開示に係る技術を適用可能なシースルー型の表示装置としては、例えば、シースルー型ヘッドマウントディスプレイ装置、透明ディスプレイ装置、自動車等の輸送機器のフロントガラスに対して表示画像を投影するフロントガラスディスプレイ装置などを例示することができる。
［１．２．情報処理装置の構成例］
続いて、図２を参照して、本実施形態に係る情報処理装置１の構成例について説明する。図２は、本実施形態に係る情報処理装置１の内部構成を示すブロック図である。
続いて、図２を参照して、本実施形態に係る情報処理装置１の構成例について説明する。図２は、本実施形態に係る情報処理装置１の内部構成を示すブロック図である。
図２に示すように、情報処理装置１は、焦点ボケ測定部１００と、ボケ関数設定部１１０と、逆ボケ関数設定部１２０と、画像生成部１３０と、ボケ補正部１４０と、表示部１５０と、を備える。
焦点ボケ測定部１００は、ユーザ３の視野にて発生する焦点ボケを動的に測定する。具体的には、焦点ボケ測定部１００は、ユーザ３の目（網膜）の撮像画像からユーザ３の視野における焦点ボケのボケ度合を測定する。
例えば、焦点ボケ測定部１００は、所定の光源と、ユーザ３の網膜を撮像する撮像装置とを備える。焦点ボケ測定部１００は、まず、ユーザ３の網膜に対して、所定の光源を照射し、所定の光源が照射されたユーザ３の網膜の画像を撮像装置にて撮像する。ここで、ユーザ３の網膜に映った所定の光源の像は、ユーザ３の目の光学系（角膜および水晶体）によって、近視および乱視等の屈折異常に応じた焦点ボケが生じた像となっている。そのため、焦点ボケ測定部１００は、所定の光源が照射された網膜の画像から背景となる網膜の画像を減算し、所定の光源のボケ像を抽出することにより、抽出したボケ像からユーザ３の視野における焦点ボケのボケ度合を測定することができる。
なお、所定の光源とは、例えば、赤外光の点光源が好ましい。所定の光源が発する光として赤外光を用いる場合、ユーザ３に対して眩しさを感じさせず、かつ過度の負荷をかけずに焦点ボケを測定することができる。ただし、所定の光源が発する光の波長、および所定の光源の形状は、上記に限定されず、いかなるものであってもよい。
また、焦点ボケ測定部１００は、ユーザの目（網膜）からユーザ３の視野における焦点ボケを測定するために、ユーザ３の目の位置情報を取得することが好ましい。具体的には、焦点ボケ測定部１００は、顔認識技術等を用いてユーザ３の顔を認識し、ユーザ３の顔から目を認識し、目の位置情報を取得する。これにより、焦点ボケ測定部１００は、常にユーザ３の網膜に対して所定の光源を照射し、かつ所定の光源が映ったユーザ３の網膜の画像を取得することができる。これにより、情報処理装置１は、ユーザ３との位置関係および距離に関わらず、ユーザ３の視野にて発生する焦点ボケを動的に測定し、測定された焦点ボケを補正する画像処理を表示画像に対して施すことができる。
ただし、焦点ボケ測定部１００は、ユーザ３の視野にて発生する焦点ボケを動的に測定することが可能であれば、上記構成に限定されない。例えば、焦点ボケ測定部１００は、ユーザの視力を動的に測定するものであってもよい。
ボケ関数設定部１１０は、ユーザの視野にて発生する焦点ボケに基づいて、焦点ボケのボケ量を表すボケ関数を設定する。具体的には、ボケ関数設定部１１０は、焦点ボケ測定部１００が測定した焦点ボケのボケ度合に基づいて、ボケ関数を設定する。例えば、ボケ関数設定部１１０は、ユーザ３の網膜に照射される所定の光源の光の形状と、ユーザ３の網膜に映った所定の光源のボケ像とを比較することによって、ユーザ３の視野にて発生する焦点ボケを表すボケ関数を設定してもよい。また、ユーザ３の網膜に照射される所定の光源が点光源である場合、ボケ関数設定部１１０は、ユーザ３の網膜における点光源の点拡がり関数をボケ関数として設定してもよい。
逆ボケ関数設定部１２０は、ボケ関数設定部１１０が設定したボケ関数に基づいて、ユーザ３の視野にて発生する焦点ボケを補正する逆ボケ関数を設定する。具体的には、逆ボケ関数設定部１２０は、ボケ関数設定部１１０が設定した焦点ボケのボケ量を表すボケ関数の逆変換を行う関数を導出し、導出した関数を逆ボケ関数として設定する。
例えば、逆ボケ関数設定部１２０は、ボケ関数設定部１１０によって設定されたボケ関数を表す行列式を導出し、導出した行列式の逆行列を算出することで、算出した逆行列で表される関数を逆ボケ関数として設定してもよい。
ただし、逆行列を用いて逆ボケ関数を算出する方法は、計算量が膨大になるため、動的に逆ボケ関数を設定するには、好適ではない。動的に逆ボケ関数を設定するには、例えば、逆ボケ関数設定部１２０は、学習型超解像技術を用いた処理によって、逆ボケ関数を設定することが好ましい。
ここで、図３を参照して、学習型超解像技術について説明する。図３は、学習型超解像技術を説明する説明図である。
図３に示すように、学習型超解像では、まず、十分な数の教師画像および生徒画像の学習対が用意される。具体的には、教師画像となる元画像を用意した後、用意した元画像に対して種々のボケ関数をかけることで、生徒画像となる焦点ボケ画像が生成される。次に、生徒画像の一部をタップとして切り出し、切り出したタップの各位置における周辺画素値ｘｉに係数ｗｉをかけて合算した予測画素値ｙと、切り出したタップに対応する位置の教師画像の画素値（教師画素値ｔ）とが比較される。ここで、予測画素値ｙと、教師画素値ｔとの誤差が最小となるように機械学習が行われ、係数ｗｉが算出される。算出された係数ｗｉが生徒画像から教師画像を算出する逆ボケ関数の係数となる。
このような係数ｗｉを種々の逆ボケ関数ごとに算出し、あらかじめデータベース化しておくことにより、逆ボケ関数設定部１２０は、より高速に逆ボケ関数を設定することができる。
なお、ボケ関数は、例えば、水平ボケ量および垂直ボケ量などの複数のパラメータにて表現されてもよい。このような場合、逆ボケ関数設定部１２０は、表現された複数のパラメータから逆ボケ関数の係数を算出する。ボケ関数が複数のパラメータにて縮退して表現された場合、逆ボケ関数設定部１２０は、逆ボケ関数を設定する際の情報処理量を削減することができるため、より高速に逆ボケ関数を設定することができる。
なお、逆ボケ関数設定部１２０による逆ボケ関数の設定方法は、上記の方法に限定されない。逆ボケ関数設定部１２０は、公知の逆変換の算出方法を用いて、ボケ関数から逆ボケ関数を設定してもよい。
画像生成部１３０は、ユーザ３に対して提示する表示画像を生成する。例えば、画像生成部１３０は、情報処理装置１内の記憶部等に記憶される各種アプリケーションまたは各種ファイルの画像情報に基づいて、または接続した公衆網（図示せず）から取得される各種Ｗｅｂページ情報に基づいて、ユーザ３に対して提示する表示画像を生成する。
ボケ補正部１４０は、画像生成部１３０が生成した表示画像に対して、ユーザ３の視野にて発生する焦点ボケを補正する画像処理を施す。具体的には、ボケ補正部１４０は、逆ボケ関数設定部１２０が設定した逆ボケ関数を用いて、画像生成部１３０が生成した表示画像に対して画像処理を施し、表示部１５０にて表示される表示画像を生成する。ボケ補正部１４０が施す画像処理の方法については、公知の画像処理方法を適宜選択して用いることが可能である。
表示部１５０は、画像生成部１３０によって生成され、ボケ補正部１４０によってユーザ３の視野にて発生する焦点ボケが補正された表示画像を表示する。すなわち、表示部１５０は、近視および乱視などの屈折異常等によって視野において焦点ボケが発生しているユーザ３に対しても、焦点ボケが補正されることで明瞭に視認可能な表示画像を表示することができる。表示部１５０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）表示装置、液晶表示装置、または有機ＥＬ表示装置などの公知の表示装置であってもよい。
なお、情報処理装置１は、焦点ボケ測定部１００、画像生成部１３０、および表示部１５０のうちいずれか１つ以上を備えていなくともよい。例えば、情報処理装置１は、外部の測定機器によって測定された焦点ボケに関する情報を取得し、取得した情報に基づいて、ボケ関数および逆ボケ関数を設定する情報処理装置であってもよい。また、情報処理装置１は、外部の表示装置にて表示される表示画像に対して焦点ボケを補正する画像処理を施す画像補正装置であってもよい。
［１．３．情報処理装置の動作例］
次に、図４を参照して、本実施形態に係る情報処理装置１が実行する動作例について説明する。図４は、本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
次に、図４を参照して、本実施形態に係る情報処理装置１が実行する動作例について説明する。図４は、本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
図４に示すように、まず、焦点ボケ測定部１００は、ユーザ３の顔および目を認識し、ユーザ３の目（網膜）に所定の光源を照射する（Ｓ１０１）。また、焦点ボケ測定部１００は、所定の光源が照射されたユーザ３の網膜の画像を撮像する（Ｓ１０３）。次に、焦点ボケ測定部１００は、取得したユーザ３の網膜の画像に映った光源のボケ度合から焦点ボケを測定する（Ｓ１０５）。続いて、ボケ関数設定部１１０は、測定された焦点ボケに基づいて、焦点ボケのボケ量を表すボケ関数を設定する（Ｓ１０７）。
次に、逆ボケ関数設定部１２０は、ボケ関数に基づいて、焦点ボケを補正する逆ボケ関数を設定する（Ｓ１０９）。また、ボケ補正部１４０は、画像生成部１３０が生成した表示画像に対して、逆ボケ関数に基づいた画像処理を施し、ユーザ３の視野にて発生する焦点ボケが相殺された表示画像を生成する（Ｓ１１１）。これにより、表示部１５０は、ユーザ３の視野にて発生する焦点ボケが補正された表示画像を表示することができる。
以上にて説明したように、本実施形態に係る情報処理装置１は、ユーザ３の視野にて発生する焦点ボケを相殺する画像処理を表示画像に対して施すことが可能である。そのため、情報処理装置１は、近視および乱視等の屈折異常により、ユーザ３の視野にて焦点ボケが発生する場合であっても、ユーザ３に焦点ボケが少ない明瞭な表示画像を視認させることが可能である。また、情報処理装置１は、ユーザ３が注視している対象よりも手前または奥に表示画像が表示される場合であっても、ユーザ３に焦点ボケが少ない明瞭な表示画像を視認させることが可能である。
＜２．第２の実施形態＞
［２．１．情報処理装置の概略］
続いて、図５を参照して、本開示の第２の実施形態に係る情報処理装置の概略について説明する。図５は、本実施形態に係る情報処理装置１Ａの外観例を示した説明図である。
［２．１．情報処理装置の概略］
続いて、図５を参照して、本開示の第２の実施形態に係る情報処理装置の概略について説明する。図５は、本実施形態に係る情報処理装置１Ａの外観例を示した説明図である。
図５に示すように、本実施形態に係る情報処理装置１Ａは、ユーザ３の目に近接して画像を表示する近接表示装置であり、例えば、ヘッドマウントディスプレイ装置である。ただし、情報処理装置１Ａは、ユーザ３の目に近接して画像を表示する近接表示装置であれば、図５で例示したヘッドマウントディスプレイに限定されない。例えば、情報処理装置１Ａは、電子双眼鏡、デジタルカメラのファインダなどであってもよい。
このような近接表示装置では、近視および乱視等の屈折異常を有するユーザ３の裸眼での使用を考慮して、視度調節機構を備えることがある。本実施形態に係る情報処理装置１Ａは、視度調節機構を備える表示装置等において、視度調節機構による焦点ボケ補正と、画像処理による焦点ボケ補正とを行うことにより、より適切な焦点ボケの補正を行うものである。
ここで、視度調節機構とは、例えば、レンズ等を用いて光学的に視度を調節する機構である。このような光学的な視度調節機構は、光学設計が複雑になり、かつ光学系の体積および重量が増加するため、重度の近視や乱視に対応することは困難であった。本実施形態に係る情報処理装置１Ａでは、画像処理による焦点ボケ補正が行われるため、光学的な視度調節機構では対応が困難な重度の近視や乱視による焦点ボケについても補正し、ユーザ３に対して明瞭な表示画像を視認させることが可能である。
また、画像処理による焦点ボケ補正は、表示画像のコントラストを強調することで焦点ボケを補正することが多く、焦点ボケ補正後の表示画像は、焦点ボケ補正前の表示画像よりもコントラストのダイナミックレンジが大きくなることが多かった。そのため、例えば、焦点ボケ補正前の表示画像のコントラストが高い場合、焦点ボケ補正後の表示画像において、コントラストが表現可能なダイナミックレンジを超えてしまうことがあった。
このような場合、焦点ボケ補正前の表示画像のコントラストを低下させることで、焦点ボケ補正後の表示画像のコントラストを表現可能なダイナミックレンジに収めることが考えられる。しかしながら、焦点ボケ補正前の表示画像のコントラストを低下させた場合、焦点ボケ補正によって表示画像の画質が低下してしまう。本実施形態に係る情報処理装置１Ａは、画像処理による焦点ボケ補正では焦点ボケ補正後の表示画像のコントラストが低下してしまう場合に、視度調節機構によって焦点ボケ補正を行うことで、表示画像のコントラスト低下を防止することが可能である。
［２．２．情報処理装置の構成例］
次に、図６を参照して、本実施形態に係る情報処理装置１Ａの構成例について説明する。図６は、本実施形態に係る情報処理装置１Ａの内部構成を示すブロック図である。
次に、図６を参照して、本実施形態に係る情報処理装置１Ａの構成例について説明する。図６は、本実施形態に係る情報処理装置１Ａの内部構成を示すブロック図である。
図２に示すように、情報処理装置１Ａは、焦点ボケ測定部１００と、ボケ関数設定部１１０と、逆ボケ関数設定部１２１と、視度調節部１６０と、画像生成部１３０と、ボケ補正部１４０と、表示部１５０と、を備える。
ここで、焦点ボケ測定部１００、ボケ関数設定部１１０、画像生成部１３０、ボケ補正部１４０、および表示部１５０の具体的な構成については、第１の実施形態において説明した構成と実質的に同様であるため、ここでの詳細な説明は省略する。
なお、本実施形態に係る情報処理装置１Ａでは、上述したように、表示部１５０がユーザ３の目に近接した状態にて使用され、情報処理装置１Ａと、ユーザ３の目との位置関係は、固定される。これにより、焦点ボケ測定部１００は、ユーザ３の顔および目を認識せずとも、ユーザ３の目（網膜）に所定の光源を照射することができる。したがって、情報処理装置１Ａは、より容易にユーザ３の視野にて発生する焦点ボケを測定することができる。
視度調節部１６０は、例えば、レンズ等を含む光学系によってユーザ３の視度を補正し、補正している視度を表す伝達関数を逆ボケ関数設定部１２１に伝送する。例えば、視度調節部１６０は、複数のレンズ等を備え、ユーザ３の目に入射する光を屈折させることでユーザ３の視度を補正する。すなわち、視度調節部１６０は、眼鏡またはコンタクトレンズ等と同様の視力矯正装置に相当する。また、視度調節部１６０は、ユーザ３からの操作等によって、補正する視度の度合を調節することが可能であってもよい。
逆ボケ関数設定部１２１は、ボケ関数設定部１１０が設定したボケ関数、および視度調節部１６０から伝送された伝達関数に基づいて、ユーザ３の視野にて発生する焦点ボケを補正する逆ボケ関数を設定する。具体的には、逆ボケ関数設定部１２１は、まず、ボケ関数設定部１１０が設定したボケ関数と、視度調節部１６０から伝送された伝達関数とを掛け合わせて総合ボケ関数を算出する。次に、逆ボケ関数設定部１２１は、総合ボケ関数の逆変換を行う関数を導出し、導出した関数を逆ボケ関数として設定する。逆ボケ関数設定部１２１が総合ボケ関数から逆ボケ関数を導出する方法としては、公知の方法を使用することができるが、上述したような逆行列を用いる方法、および学習型超解像技術を用いる方法などを使用することも可能である。
［２．３．情報処理装置の動作例］
次に、図７を参照して、本実施形態に係る情報処理装置１Ａが実行する動作例について説明する。図７は、本実施形態に係る情報処理装置１Ａの動作例を示すフローチャート図である。
次に、図７を参照して、本実施形態に係る情報処理装置１Ａが実行する動作例について説明する。図７は、本実施形態に係る情報処理装置１Ａの動作例を示すフローチャート図である。
図７に示すように、まず、焦点ボケ測定部１００は、ユーザ３の目（網膜）に所定の光源を照射する（Ｓ１０１）。また、焦点ボケ測定部１００は、所定の光源が照射されたユーザ３の網膜の画像を撮像する（Ｓ１０３）。次に、焦点ボケ測定部１００は、取得したユーザ３の網膜の画像に映った光源のボケ度合から焦点ボケを測定する（Ｓ１０５）。続いて、ボケ関数設定部１１０は、測定された焦点ボケに基づいて、焦点ボケのボケ量を表すボケ関数を設定する（Ｓ１０７）。
ここで、逆ボケ関数設定部１２１は、視度調節部１６０にて補正される視度を表す伝達関数を取得する（Ｓ１２１）。続いて、逆ボケ関数設定部１２１は、ボケ関数および伝達関数に基づいて、焦点ボケを補正する逆ボケ関数を設定する（Ｓ１２３）。また、ボケ補正部１４０は、画像生成部１３０が生成した表示画像に対して、逆ボケ関数に基づいた画像処理を施し、ユーザ３の視野にて発生する焦点ボケが相殺された表示画像を生成する（Ｓ１１１）。これにより、表示部１５０は、ユーザ３の視野にて発生する焦点ボケが補正された表示画像を表示することができる。
なお、上記では、逆ボケ関数設定部１２１において視度調節部１６０によるユーザ３への視度補正を加味して逆ボケ関数を設定したが、本実施形態は、上記例示に限定されない。例えば、情報処理装置１Ａは、ボケ関数設定部１１０にてボケ関数を設定する際に、視度調節部１６０によるユーザ３への視度補正を加味してボケ関数を設定してもよい。また、情報処理装置１Ａは、焦点ボケ測定部１００にて焦点ボケを測定する際に、視度調節部１６０によるユーザ３への視度補正を加味した焦点ボケを測定してもよい。
以上にて説明したように、本実施形態に係る情報処理装置１Ａは、視度調節部１６０による視度補正と、ボケ補正部１４０による焦点ボケ補正とを行うことにより、より適切な焦点ボケの補正を行うことができる。これにより、情報処理装置１Ａは、視度調節部１６０のみでは補正が困難な重度の近視や乱視に対しても焦点ボケを補正し、ユーザ３に対して明瞭な表示画像を視認させることができる。また、情報処理装置１Ａは、コントラストが高い表示画像に対してもコントラストを低下させることなく焦点ボケを補正し、ユーザ３に対して明瞭な表示画像を視認させることができる。
＜３．第３の実施形態＞
［３．１．情報処理装置の概略］
続いて、本開示の第３の実施形態に係る情報処理装置の概略について説明する。本実施形態に係る情報処理装置１Ｂは、第２の実施形態に係る情報処理装置１Ａと同様に、ユーザ３の目に近接して画像を表示する近接表示装置であり、例えば、ヘッドマウントディスプレイ装置、電子双眼鏡、およびデジタルカメラのファインダなどである。
［３．１．情報処理装置の概略］
続いて、本開示の第３の実施形態に係る情報処理装置の概略について説明する。本実施形態に係る情報処理装置１Ｂは、第２の実施形態に係る情報処理装置１Ａと同様に、ユーザ３の目に近接して画像を表示する近接表示装置であり、例えば、ヘッドマウントディスプレイ装置、電子双眼鏡、およびデジタルカメラのファインダなどである。
また、本実施形態に係る情報処理装置１Ｂは、ユーザ３が立体視することが可能な近接表示装置である。具体的には、情報処理装置１Ｂは、ユーザ３の左右の目に対して独立した表示画像を表示することにより、ユーザ３の左右の目に視差を発生させ、ユーザ３に立体感のある画像を視認させることができる。
このような場合、ユーザ３によって立体視される表示画像では、奥行きに関わらず、表示画像の全ての領域で焦点が合うことになる。しかしながら、実空間では注視している対象よりも手前または奥に存在する対象には焦点は合わない。したがって、ユーザ３は、このような仮想的な立体視では、表示画像に対して違和感を覚えることがあった。
本実施形態に係る情報処理装置１Ｂは、ユーザ３が注視している対象よりも手前または奥に存在する対象については、意図的に焦点ボケを発生させることで、ユーザ３に対して、より適切な立体感を付与した表示画像を視認させるものである。
なお、本実施形態に係る情報処理装置１Ｂは、第２の実施形態と組み合わせて実現することも可能であり、このような構成も本開示の技術的範囲に含まれる。
［３．２．情報処理装置の構成例］
次に、図８を参照して、本実施形態に係る情報処理装置の構成例について説明する。図８は、本実施形態に係る情報処理装置１Ｂの内部構成を示したブロック図である。
次に、図８を参照して、本実施形態に係る情報処理装置の構成例について説明する。図８は、本実施形態に係る情報処理装置１Ｂの内部構成を示したブロック図である。
図８に示すように、情報処理装置１Ｂは、焦点ボケ測定部１００と、ボケ関数設定部１１０と、逆ボケ関数設定部１２２と、視線検出部１８０と、デプス算出部１７０と、デプスボケ関数設定部１９０と、右目画像生成部１３１と、左目画像生成部１３２と、ボケ補正部１４０と、右目表示部１５１と、左目表示部１５２と、を備える。
ここで、焦点ボケ測定部１００、ボケ関数設定部１１０、およびボケ補正部１４０の具体的な構成については、第１の実施形態において説明した構成と実質的に同様であるため、ここでの詳細な説明は省略する。
デプス算出部１７０は、表示画像におけるユーザ３と対象との距離（いわゆるデプス）を算出し、表示画像におけるデプス分布を表すデプスマップを生成する。具体的には、デプス算出部１７０は、右目画像生成部１３１が生成した右目画像と、左目画像生成部１３２が生成した左目画像との視差を検出し、検出した視差に基づいて表示画像におけるデプスマップを作成する。例えば、デプス算出部１７０は、右目画像および左目画像にて特徴点をそれぞれ検出し、検出した特徴点をマッチングさせることで特徴点ごとに視差を算出する。ただし、デプス算出部１７０が表示画像においてデプスマップを生成する方法は、上記に限定されず、公知の他の方法を用いてもよい。
視線検出部１８０は、ユーザ３の視線位置を検出する。具体的には、視線検出部１８０は、ユーザ３の目の動かない部分（基準点）と、動く部分（動点）とを検出し、基準点に対する動点の相対位置からユーザ３の視線の向きを検出する。また、視線検出部１８０は、ユーザ３の視線の向きに加えて、ユーザ３の左右の目の輻輳量をさらに検出することで、ユーザ３の視線位置を検出することができる。なお、視線検出部１８０は、ユーザ３の目における基準点として、ユーザ３の目に照射した赤外光等の反射光の位置を用いてもよく、ユーザ３の目における動点として、ユーザ３の目の画像から画像処理によって検出した瞳孔の位置を用いてもよい。
また、視線検出部１８０がユーザ３の視線を検出する方法は、上記に限定されず、公知の他の方法を用いてもよい。ただし、視線検出方法として上記の方法を用いた場合、ユーザ３の目に照射する光源およびユーザ３の目を撮像する撮像装置を焦点ボケ測定部１００と共用することができるため、情報処理装置１Ａの構成をより簡略にすることができる。
デプスボケ関数設定部１９０は、ユーザ３の視線位置と、表示画像におけるデプスマップとに基づいて、表示画像に適切な立体感を付与するデプスボケ関数を設定する。具体的には、デプスボケ関数設定部１９０は、まず、デプス算出部１７０が生成した表示画像におけるデプスマップを参照して、視線検出部１８０が検出したユーザ３の視線位置に対応するデプスを判断し、ユーザ３が焦点を合わせようとしているデプスを判断する。次に、デプスボケ関数設定部１９０は、表示画像の各領域において、ユーザ３が焦点を合わせようとしている領域とのデプスの差分に基づいたボケ量を表すデプスボケ関数を設定する。例えば、デプスボケ関数設定部１９０は、ユーザ３が焦点を合わせようとしている領域とのデプスの差分に基づいたガウシアンフィルタをデプスボケ関数として設定してもよい。
逆ボケ関数設定部１２２は、ボケ関数設定部１１０が設定したボケ関数、およびデプスボケ関数設定部１９０が設定したデプスボケ関数に基づいて、ユーザ３の視野にて発生する焦点ボケを補正する逆ボケ関数を設定する。
具体的には、ボケ関数の逆変換を行う関数を導出するために逆行列を用いる場合、逆ボケ関数設定部１２２は、まず、ボケ関数設定部１１０が設定したボケ関数の逆行列となる関数を導出する。次に、逆ボケ関数設定部１２２は、導出した関数に対して、デプスボケ関数設定部１９０が設定したデプスボケ関数を掛け合わせることで逆ボケ関数を設定する。また、逆ボケ関数設定部１２２は、ボケ関数設定部１１０が設定したボケ関数の焦点ボケ量をデプスボケ関数設定部１９０が設定したデプスボケ関数に基づいて弱化した後、ボケ関数の逆行列となる関数を導出することで、逆ボケ関数を設定してもよい。
また、ボケ関数の逆変換を行う関数を導出するために学習型超解像技術を用いる場合、逆ボケ関数設定部１２２は、学習型超解像技術によるデータベースを参照することで、ボケ関数設定部１１０が設定したボケ関数の逆変換を行う関数を導出する。このとき、逆ボケ関数設定部１２２は、デプスボケ関数設定部１９０が設定したデプスボケ関数に基づいて、ボケ関数の水平ボケ量および垂直ボケ量などのパラメータを変化（ボケ量を弱化）させた後、学習型超解像技術により逆ボケ関数を設定する。このような場合、逆ボケ関数による焦点ボケの補正量を減少させることができるため、第２の実施形態にて説明したように、コントラストが高い表示画像において焦点ボケ補正後にコントラストが低下することを抑制することができる。
なお、逆ボケ関数設定部１２２がボケ関数の逆変換を行う関数を導出する方法は、上記の方法に限定されない。逆ボケ関数設定部１２２は、公知の方法を用いて、ボケ関数の逆変換を行う関数を導出してもよい。
右目画像生成部１３１および左目画像生成部１３２は、それぞれユーザ３に対して表示される右目画像および左目画像を生成する。例えば、右目画像生成部１３１および左目画像生成部１３２は、情報処理装置１Ｂ内の記憶部等に記憶される各種アプリケーションまたは各種ファイルの画像情報に基づいて、または接続した公衆網（図示せず）から取得される各種Ｗｅｂページ情報に基づいて、ユーザ３に対して表示する右目画像および左目画像を生成する。なお、右目画像および左目画像は、視差を有する画像であり、ユーザ３の右目および左目にそれぞれに視認されることで、ユーザ３による立体視を可能にする。
右目表示部１５１および左目表示部１５２は、右目画像生成部１３１および左目画像生成部１３２によって生成され、ボケ補正部１４０によって補正された右目画像および左目画像をそれぞれ表示する。すなわち、右目表示部１５１および左目表示部１５２は、ユーザ３が視線を向けて焦点を合わせている領域では、焦点ボケが補正され、ユーザ３が視線を向けている領域よりも手前または奥の領域では、適切な立体感を付与するボケが施された表示画像を表示する。なお、右目表示部１５１および左目表示部１５２は、表示部１５０と同様に、例えば、ＣＲＴ表示装置、液晶表示装置、または有機ＥＬ表示装置などの公知の表示装置であってもよい。
［３．３．情報処理装置の動作例］
続いて、図９を参照して、本実施形態に係る情報処理装置１Ｂが実行する動作例について説明する。図９は、本実施形態に係る情報処理装置１Ｂの動作例を示すフローチャート図である。
続いて、図９を参照して、本実施形態に係る情報処理装置１Ｂが実行する動作例について説明する。図９は、本実施形態に係る情報処理装置１Ｂの動作例を示すフローチャート図である。
図９に示すように、まず、焦点ボケ測定部１００は、ユーザ３の目（網膜）に所定の光源を照射する（Ｓ１０１）。また、焦点ボケ測定部１００は、所定の光源が照射されたユーザ３の網膜の画像を撮像する（Ｓ１０３）。次に、焦点ボケ測定部１００は、取得したユーザ３の網膜の画像に映った光源のボケ度合から焦点ボケを測定する（Ｓ１０５）。続いて、ボケ関数設定部１１０は、測定された焦点ボケに基づいて、焦点ボケのボケ量を表すボケ関数を設定する（Ｓ１０７）。
ここで、視線検出部１８０は、ユーザ３の目の画像を取得し（Ｓ１３１）、取得したユーザ３の目の画像からユーザ３の視線位置を検出する（Ｓ１３３）。また、デプス算出部１７０は、右目画像および左目画像の視差に基づいて、表示画像におけるデプス分布を算出し、該デプス分布を表すデプスマップを生成する（Ｓ１３５）。続いて、デプスボケ関数設定部１９０は、ユーザ３の視線位置および表示画像におけるデプスマップに基づいて、適切な立体感を付与するデプスボケ関数を設定する（Ｓ１３７）。
次に、逆ボケ関数設定部１２２は、ボケ関数およびデプスボケ関数に基づいて、焦点ボケを補正し、かつ適切な立体感を付与する逆ボケ関数を設定する（Ｓ１３９）。また、ボケ補正部１４０は、右目画像生成部１３１および左目画像生成部１３２が生成した画像に対して、逆ボケ関数に基づいた画像処理を施し、右目画像および左目画像を生成する（Ｓ１１１）。これにより、右目表示部１５１および左目表示部１５２は、ユーザ３の視野にて発生する焦点ボケが補正され、かつ適切な立体感が付与された右目画像および左目画像を表示することができる。
なお、上記では、情報処理装置１Ｂは、ボケ関数を設定した後、デプスボケ関数を設定したが、本実施形態は、上記例示に限定されない。例えば、情報処理装置１Ｂは、デプスボケ関数を設定した後、ボケ関数を設定してもよく、ボケ関数とデプスボケ関数とを並行して設定してもよい。
以上にて説明したように、本実施形態に係る情報処理装置１Ｂは、ユーザ３の視野にて発生する焦点ボケを補正しつつ、適切な立体感が付与された表示画像を生成することができる。これにより、情報処理装置１Ｂは、ユーザ３に対して焦点ボケが補正され、かつ適切な立体感が付与された表示画像を視認させることができる。また、情報処理装置１Ｂでは、第１の実施形態に係る情報処理装置よりも焦点ボケの補正量を減少させることができるため、コントラストが高い表示画像において焦点ボケ補正後にコントラストが低下することを抑制することができる。
＜４．ハードウェア構成＞
以下では、図１０を参照して、本開示の第１の実施形態に係る情報処理装置のハードウェア構成例について説明する。図１０は、本開示の第１の実施形態に係る情報処理装置１のハードウェア構成例を示したブロック図である。なお、本開示の第１～第３の実施形態に係る情報処理装置による情報処理は、ソフトウェアとハードウェアとの協働によって実現される。
以下では、図１０を参照して、本開示の第１の実施形態に係る情報処理装置のハードウェア構成例について説明する。図１０は、本開示の第１の実施形態に係る情報処理装置１のハードウェア構成例を示したブロック図である。なお、本開示の第１～第３の実施形態に係る情報処理装置による情報処理は、ソフトウェアとハードウェアとの協働によって実現される。
また、第２および第３の実施形態に係る情報処理装置１Ａ、１Ｂのハードウェア構成は、第１の実施形態に係る情報処理装置１のハードウェア構成と実質的に同様であるため、ここでの説明は省略する。
図１０に示すように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５と、ブリッジ２１１と、内部バス２０７および２０９と、インターフェース２１３と、入力装置２１５と、出力装置２１７と、ストレージ装置２１９と、ドライブ２２１と、接続ポート２２３と、通信装置２２５と、を備える。
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、ＲＯＭ２０３等に記憶された各種プログラムに従って、情報処理装置１の動作全般を制御する。ＲＯＭ２０３は、ＣＰＵ２０１が使用するプログラム、演算パラメータを記憶し、ＲＡＭ２０５は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。例えば、ＣＰＵ２０１は、ボケ関数設定部１１０、逆ボケ関数設定部１２０、画像生成部１３０、右目画像生成部１３１、左目画像生成部１３２、ボケ補正部１４０、視度調節部１６０、デプス算出部１７０、デプスボケ関数設定部１９０等の機能を実行してもよい。
これらＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５は、ブリッジ２１１、内部バス２０７および２０９等により相互に接続されている。また、ＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５は、インターフェース２１３を介して入力装置２１５、出力装置２１７、ストレージ装置２１９、ドライブ２２１、接続ポート２２３および通信装置２２５とも接続されている。
入力装置２１５は、タッチパネル、キーボード、ボタン、マイクロホン、スイッチおよびレバーなどの情報が入力される入力装置、ならびに撮像装置、光源および各種センサなどの情報を取得するセンサ等を含む。また、入力装置２１５は、入力または取得された情報に基づいて入力信号を生成し、ＣＰＵ２０１に出力するための入力制御回路なども含む。入力装置２１５は、例えば、焦点ボケ測定部１００、視線検出部１８０等の機能を実行してもよい。
出力装置２１７は、例えば、ＣＲＴ表示装置、液晶表示装置、有機ＥＬ表示装置などの表示装置を含む。さらに、出力装置２１７は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。出力装置２１７は、例えば、表示部１５０、右目表示部１５１、左目表示部１５２の機能を実行してもよい。
ストレージ装置２１９は、情報処理装置１の記憶部の一例として構成されるデータ格納用の装置である。ストレージ装置２１９は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。
ドライブ２２１は、記憶媒体用リードライタであり、情報処理装置１に内蔵、または外付けされる。例えば、ドライブ２２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出し、ＲＡＭ２０３に出力する。また、ドライブ２２１は、リムーバブル記憶媒体に情報を書き込むことも可能である。
接続ポート２２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、光オーディオ端子等のような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。
通信装置２２５は、例えば、公衆回線網または専用回線網などのネットワーク５に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置２２５は、有線または無線ＬＡＮ対応通信装置であっても、有線によるケーブル通信を行うケーブル通信装置であってもよい。
また、情報処理装置１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを上述した第１の実施形態に係る情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視野にて発生する焦点ボケに基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、
を備える、情報処理装置。
（２）
前記焦点ボケは、前記ユーザの網膜に照射された所定の光源の画像から算出される、前記（１）に記載の情報処理装置。
（３）
前記ユーザの視度を補正する視度調節部をさらに備え、
前記逆ボケ関数設定部は、前記視度調節部によって補正される視度を表す伝達関数と、前記ボケ関数とに基づいて、前記逆ボケ関数を設定する、前記（１）または（２）に記載の情報処理装置。
（４）
前記視度調節部は、光学的に前記ユーザの視度を補正する、前記（３）に記載の情報処理装置。
（５）
前記表示画像は、前記ユーザの右目で視認される右目画像と、前記ユーザの左目で視認される左目画像とを含み、前記ユーザによって立体視可能な画像である、前記（１）または（２）に記載の情報処理装置。
（６）
前記ユーザの視線位置を検出する視線検出部と、
前記表示画像におけるデプス分布を算出するデプス算出部と、
前記視線位置とのデプス差によって設定されるボケ量を表すデプスボケ関数を設定するデプスボケ関数設定部と、
を備え、
前記逆ボケ関数設定部は、前記デプスボケ関数と、前記ボケ関数とに基づいて、前記逆ボケ関数を設定する、前記（５）に記載の情報処理装置。
（７）
前記表示画像は、前記ユーザの目に近接して表示される、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
前記逆ボケ関数設定部は、学習型超解像技術を用いた処理によって前記逆ボケ関数を設定する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
ユーザの視野にて発生する焦点ボケに関する情報に基づいて、中央演算処理装置により前記焦点ボケのボケ量を表すボケ関数を動的に設定することと、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定することと、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正することと、
を含む、情報処理方法。
（１０）
コンピュータを
ユーザの視野にて発生する焦点ボケに関する情報に基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、
として機能させる、プログラム。
（１）
ユーザの視野にて発生する焦点ボケに基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、
を備える、情報処理装置。
（２）
前記焦点ボケは、前記ユーザの網膜に照射された所定の光源の画像から算出される、前記（１）に記載の情報処理装置。
（３）
前記ユーザの視度を補正する視度調節部をさらに備え、
前記逆ボケ関数設定部は、前記視度調節部によって補正される視度を表す伝達関数と、前記ボケ関数とに基づいて、前記逆ボケ関数を設定する、前記（１）または（２）に記載の情報処理装置。
（４）
前記視度調節部は、光学的に前記ユーザの視度を補正する、前記（３）に記載の情報処理装置。
（５）
前記表示画像は、前記ユーザの右目で視認される右目画像と、前記ユーザの左目で視認される左目画像とを含み、前記ユーザによって立体視可能な画像である、前記（１）または（２）に記載の情報処理装置。
（６）
前記ユーザの視線位置を検出する視線検出部と、
前記表示画像におけるデプス分布を算出するデプス算出部と、
前記視線位置とのデプス差によって設定されるボケ量を表すデプスボケ関数を設定するデプスボケ関数設定部と、
を備え、
前記逆ボケ関数設定部は、前記デプスボケ関数と、前記ボケ関数とに基づいて、前記逆ボケ関数を設定する、前記（５）に記載の情報処理装置。
（７）
前記表示画像は、前記ユーザの目に近接して表示される、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
前記逆ボケ関数設定部は、学習型超解像技術を用いた処理によって前記逆ボケ関数を設定する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
ユーザの視野にて発生する焦点ボケに関する情報に基づいて、中央演算処理装置により前記焦点ボケのボケ量を表すボケ関数を動的に設定することと、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定することと、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正することと、
を含む、情報処理方法。
（１０）
コンピュータを
ユーザの視野にて発生する焦点ボケに関する情報に基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、
として機能させる、プログラム。
１、１Ａ、１Ｂ 情報処理装置
３ ユーザ
１００ 焦点ボケ測定部
１１０ ボケ関数設定部
１２０ 逆ボケ関数設定部
１３０ 画像生成部
１３１ 右目画像生成部
１３２ 左目画像生成部
１４０ ボケ補正部
１５０ 表示部
１５１ 右目表示部
１５２ 左目表示部
１６０ 視度調節部
１７０ デプス算出部
１８０ 視線検出部
１９０ デプスボケ関数設定部
３ ユーザ
１００ 焦点ボケ測定部
１１０ ボケ関数設定部
１２０ 逆ボケ関数設定部
１３０ 画像生成部
１３１ 右目画像生成部
１３２ 左目画像生成部
１４０ ボケ補正部
１５０ 表示部
１５１ 右目表示部
１５２ 左目表示部
１６０ 視度調節部
１７０ デプス算出部
１８０ 視線検出部
１９０ デプスボケ関数設定部
Claims (10)
- ユーザの視野にて発生する焦点ボケに基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、
を備える、情報処理装置。 - 前記焦点ボケは、前記ユーザの網膜に照射された所定の光源の画像から算出される、請求項１に記載の情報処理装置。
- 前記ユーザの視度を補正する視度調節部をさらに備え、
前記逆ボケ関数設定部は、前記視度調節部によって補正される視度を表す伝達関数と、前記ボケ関数とに基づいて、前記逆ボケ関数を設定する、請求項１に記載の情報処理装置。 - 前記視度調節部は、光学的に前記ユーザの視度を補正する、請求項３に記載の情報処理装置。
- 前記表示画像は、前記ユーザの右目で視認される右目画像と、前記ユーザの左目で視認される左目画像とを含み、前記ユーザによって立体視可能な画像である、請求項１に記載の情報処理装置。
- 前記ユーザの視線位置を検出する視線検出部と、
前記表示画像におけるデプス分布を算出するデプス算出部と、
前記視線位置とのデプス差によって設定されるボケ量を表すデプスボケ関数を設定するデプスボケ関数設定部と、
を備え、
前記逆ボケ関数設定部は、前記デプスボケ関数と、前記ボケ関数とに基づいて、前記逆ボケ関数を設定する、請求項５に記載の情報処理装置。 - 前記表示画像は、前記ユーザの目に近接して表示される、請求項１に記載の情報処理装置。
- 前記逆ボケ関数設定部は、学習型超解像技術を用いた処理によって前記逆ボケ関数を設定する、請求項１に記載の情報処理装置。
- ユーザの視野にて発生する焦点ボケに関する情報に基づいて、中央演算処理装置により前記焦点ボケのボケ量を表すボケ関数を動的に設定することと、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定することと、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正することと、
を含む、情報処理方法。 - コンピュータを
ユーザの視野にて発生する焦点ボケに関する情報に基づいて、前記焦点ボケのボケ量を表すボケ関数を動的に設定するボケ関数設定部と、
前記ボケ関数に基づいて、前記焦点ボケを補正する逆ボケ関数を設定する逆ボケ関数設定部と、
前記逆ボケ関数に基づいて、前記ユーザによって視認される表示画像を補正するボケ補正部と、
として機能させる、プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015-120952 | 2015-06-16 | ||
| JP2015120952 | 2015-06-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016203844A1 true WO2016203844A1 (ja) | 2016-12-22 |
Family
ID=57545558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/062623 WO2016203844A1 (ja) | 2015-06-16 | 2016-04-21 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2016203844A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023195394A1 (ja) * | 2022-04-05 | 2023-10-12 | 富士フイルム株式会社 | 撮像支援装置、移動体、撮像支援方法、及びプログラム |
| WO2023238662A1 (ja) * | 2022-06-07 | 2023-12-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10239634A (ja) * | 1997-02-27 | 1998-09-11 | Minolta Co Ltd | 立体映像表示装置 |
| WO2011145311A1 (ja) * | 2010-05-20 | 2011-11-24 | 株式会社ニコン | 表示装置および表示方法 |
| JP2012063589A (ja) * | 2010-09-16 | 2012-03-29 | Nippon Hoso Kyokai <Nhk> | 視度補正装置 |
| US20130300634A1 (en) * | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for determining representations of displayed information based on focus distance |
| JP2015094788A (ja) * | 2013-11-08 | 2015-05-18 | 富士通株式会社 | 表示装置および表示制御プログラム |
-
2016
- 2016-04-21 WO PCT/JP2016/062623 patent/WO2016203844A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10239634A (ja) * | 1997-02-27 | 1998-09-11 | Minolta Co Ltd | 立体映像表示装置 |
| WO2011145311A1 (ja) * | 2010-05-20 | 2011-11-24 | 株式会社ニコン | 表示装置および表示方法 |
| JP2012063589A (ja) * | 2010-09-16 | 2012-03-29 | Nippon Hoso Kyokai <Nhk> | 視度補正装置 |
| US20130300634A1 (en) * | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for determining representations of displayed information based on focus distance |
| JP2015094788A (ja) * | 2013-11-08 | 2015-05-18 | 富士通株式会社 | 表示装置および表示制御プログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023195394A1 (ja) * | 2022-04-05 | 2023-10-12 | 富士フイルム株式会社 | 撮像支援装置、移動体、撮像支援方法、及びプログラム |
| WO2023238662A1 (ja) * | 2022-06-07 | 2023-12-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11350081B2 (en) | Head mounted display device and method for providing visual aid using same | |
| JP5967597B2 (ja) | 画像表示装置および画像表示方法 | |
| US10048750B2 (en) | Content projection system and content projection method | |
| EP2502410B1 (en) | A method for augmenting sight | |
| US11150476B2 (en) | Method for providing a display unit for an electronic information device | |
| JP2010096864A (ja) | 収差補正方法、画像処理装置および画像処理システム | |
| WO2016021034A1 (ja) | ３次元上の注視点の位置特定アルゴリズム | |
| EP3548955B1 (en) | Display apparatus and method of displaying using image renderers and optical combiners | |
| US20150035726A1 (en) | Eye-accommodation-aware head mounted visual assistant system and imaging method thereof | |
| JP7081599B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6576639B2 (ja) | 電子眼鏡および電子眼鏡の制御方法 | |
| CN106708249B (zh) | 交互方法、交互装置及用户设备 | |
| WO2016203844A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| EP3498149B1 (en) | Optoelectronic binocular instrument for the correction of presbyopia and method for the binocular correction of presbyopia | |
| US11934571B2 (en) | Methods and systems for a head-mounted device for updating an eye tracking model | |
| US20230176401A1 (en) | Device and method for correcting user's vision and performing calibration | |
| US20220350141A1 (en) | Head-mountable display apparatus and methods | |
| Hwang et al. | Augmented Edge Enhancement on Google Glass for Vision‐Impaired Users | |
| JP2016133541A (ja) | 電子眼鏡および電子眼鏡の制御方法 | |
| CN117597622A (zh) | 用于提供视力测量和视力校正的增强现实设备和方法 | |
| CN105208366A (zh) | 一种用于近视患者立体视觉增强的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16811319 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16811319 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |