JP7483011B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP7483011B2
JP7483011B2 JP2022540002A JP2022540002A JP7483011B2 JP 7483011 B2 JP7483011 B2 JP 7483011B2 JP 2022540002 A JP2022540002 A JP 2022540002A JP 2022540002 A JP2022540002 A JP 2022540002A JP 7483011 B2 JP7483011 B2 JP 7483011B2
Authority
JP
Japan
Prior art keywords
user
correction
data
lens
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540002A
Other languages
English (en)
Other versions
JPWO2022024434A1 (ja
Inventor
毅 神谷
奨騎 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022024434A1 publication Critical patent/JPWO2022024434A1/ja
Application granted granted Critical
Publication of JP7483011B2 publication Critical patent/JP7483011B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/06Viewfinders with lenses with or without reflectors
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Description

本発明は、電子ビューファインダ(EVF:Electrical View Finder)および光学ビューファインダ(OVF:Optical View Finder)等のように、撮像対象を観察可能な観察部を備える撮像装置に関する。
乱視のユーザが、撮像装置の観察部内を覗き込んだ場合、撮像対象の形が歪んで見えるため、撮像対象を見づらいという問題が生じる。
また、老眼のユーザが、撮像装置の観察部内を覗き込んだ場合、近くの撮像対象にピントを合わせることができないため、撮像対象を見づらいという問題が生じる。
一方、ユーザの視覚に関する情報に基づいて撮像装置の観察部、特に観察部内のレンズを調整する先行技術としては、例えば特許文献1-7に記載の技術が挙げられる。
特開2004-245910号公報 特開2003-169247号公報 特開2008-158195号公報 特開平11-109260号公報 特開平07-333690号公報 特開2010-226193号公報 特開2009-103811号公報
ユーザの視覚に関する情報に基づいて観察部を調整する際には、例えば、ユーザの姿勢及びユーザが使用している眼鏡等、ユーザの状況等を考慮して適切に調整する必要がある。
本発明の目的は、上記従来技術の問題を解決し、ユーザの状況等に応じて観察部を適切に調整することができる撮像装置を提供することにある。
上記目的を達成するために、本発明の一つの実施形態は、撮像素子と、ユーザの目に入光する光線角度を補正する補正レンズを含み、撮像素子の撮像対象を観察可能な観察部と、ユーザの乱視に関するデータを記憶する記憶部と、補正レンズを制御するプロセッサと、を備え、プロセッサは、データを記憶部から読み出す読出処理と、ユーザの目の第1方向に対する、撮像素子の第2方向の傾きを判定する判定処理と、読出処理によって読み出されたデータおよび判定処理の結果に基づいて、補正レンズによる光線角度の補正量を調整する調整処理と、を実行する、撮像装置である。
ここで、プロセッサは、ユーザの虹彩に関するデータを取得し、取得した虹彩に関するデータに基づいて、判定処理を実行することが好ましい。
また、プロセッサは、ユーザの顔の三次元形状に関するデータを取得し、取得した顔の三次元形状に関するデータに基づいて、判定処理を実行することが好ましい。
また、記憶部が記憶する乱視に関するデータは、光線角度の補正量についての調整データを含み、プロセッサは、読出処理において、調整データを記憶部から読み出し、調整処理において、読出処理によって読み出された調整データに基づいて、補正レンズによる光線角度の補正量を調整し、調整処理後に、ユーザによって光線角度の補正量が手動で調整された場合に、プロセッサは、ユーザによって手動で調整された光線角度の補正量に基づいて、記憶部に記憶されている調整データを更新することが好ましい。
また、プロセッサは、ユーザが眼鏡を着用しているか否かを特定する特定処理を実行し、特定処理の結果に基づいて調整処理を行うか否かを切り替えることが好ましい。
また、観察部は、画像を表示する表示器を有し、プロセッサは、調整処理の実行中、画像を表示器に表示させないことが好ましい。
また、記憶部は、複数のユーザについて乱視に関するデータを記憶し、プロセッサは、複数のユーザの中から、撮像装置を使用している使用ユーザを識別する識別処理を実行し、プロセッサは、識別処理によって識別された使用ユーザの乱視に関するデータを記憶部から読み出し、使用ユーザの乱視に関するデータに基づいて、補正レンズによる光線角度の補正量を調整することが好ましい。
また、本発明の一つの実施形態は、撮像素子と、ユーザの目に入光する光線角度を補正する補正レンズを含み、撮像素子の撮像対象を観察可能な観察部と、ユーザが使用する眼鏡のレンズの領域毎の光学特性に対応するデータを記憶する記憶部と、補正レンズを制御するプロセッサと、を備え、補正レンズは、補正レンズによる光線角度の補正量を補正レンズの領域毎に調整することが可能であり、プロセッサは、データを記憶部から読み出す読出処理と、読出処理によって読み出されたデータに基づいて、補正レンズによる光線角度の補正量を補正レンズの領域毎に調整する調整処理と、を実行する、撮像装置である。
ここで、記憶部に記憶されたデータは、眼鏡に対応する処方箋のデータに基づいた眼鏡のレンズの領域毎の光学特性に対応する調整データであり、プロセッサは、読出処理において、調整データを記憶部から読み出すことが好ましい。
また、調整データは、眼鏡が保有する一対のレンズのうち片方のレンズの調整データであることが好ましい。
また、眼鏡のレンズが、眼鏡のレンズの上下方向に複数の領域に分割されている場合に、補正レンズにおける複数の領域の各々は、眼鏡のレンズにおける複数の領域の少なくとも1つと関連付けられており、プロセッサは、眼鏡のレンズにおける複数の領域のうち、関連付けられた領域の光学特性に対応するデータに基づいて、光線角度の補正量を補正レンズの領域毎に調整することが好ましい。
また、観察部は、画像を表示する表示器を有し、プロセッサは、読出処理によって読み出されたデータに基づいて、表示器に表示される画像を補正する補正処理と、補正処理によって補正された画像を表示器に表示させる第1表示処理と、を実行することが好ましい。
また、プロセッサは、調整処理の実行中の画像を表示器に表示させないように制御する第2表示処理を実行することが好ましい。
また、記憶部には、光線角度の補正量についての調整データが記憶され、光線角度の補正量についての調整データは、ユーザが着用する眼鏡のレンズの領域毎の光学特性に対応する第1調整データを備え、プロセッサは、ユーザが眼鏡を着用しているか否かを特定する特定処理を実行し、特定処理の結果に基づいて、第1調整データを用いて調整処理を行うか否かを切り替えることが好ましい。
また、記憶部は、複数のユーザについてデータを記憶し、プロセッサは、複数のユーザの中から、撮像装置を使用している使用ユーザを識別する識別処理を実行し、プロセッサは、識別処理によって識別された使用ユーザのデータを記憶部から読み出し、使用ユーザのデータに基づいて、補正レンズによる光線角度の補正量を調整することが好ましい。
また、本発明の一つの実施形態は、撮像素子と、ユーザの目に入光する光線角度を補正する第1補正レンズを含み、撮像素子の撮像対象を観察可能な第1観察部と、ユーザの目に入光する光線角度を補正する第2補正レンズを含み、撮像素子の撮像対象を観察可能な第2観察部を接続可能な接続部と、第1補正レンズ及び第2補正レンズのうちの少なくとも一方の補正レンズの補正に関し、ユーザの目に基づくデータを記憶する記憶部と、少なくとも一方の補正レンズを制御するプロセッサと、を備え、プロセッサは、第2観察部が接続部に接続されているか否かを判断する判断処理と、判断処理の結果に基づいて、少なくとも一方の補正レンズによる光線角度の補正量を調整するか否かを決定する決定処理と、を実行する、撮像装置である。
ここで、プロセッサは、判断処理によって第2観察部が接続部に接続されていると判定され、かつ、第2補正レンズが補正可能である場合に、第1補正レンズによる光線角度の補正量を調整せず、第2補正レンズによる光線角度の補正量を調整することが好ましい。
また、プロセッサは、判断処理によって第2観察部が接続部に接続されていると判定され、かつ、第2補正レンズが補正可能でない場合に、第1補正レンズによる光線角度の補正量を調整しないことが好ましい。
また、プロセッサは、第1補正レンズおよび第2補正レンズによる光線角度の補正量が調整可能なのか否か、および、第1補正レンズおよび第2補正レンズによる光線角度の補正量が調整されているのか否か、の少なくとも一方をユーザに通知する通知処理を実行することが好ましい。
また、本発明の一つの実施形態は、撮像素子と、ユーザの目に入光する光線角度を補正する補正レンズを含み、撮像素子の撮像対象を観察可能な観察部と、ユーザの乱視に関するデータを記憶する記憶部と、補正レンズを制御するプロセッサと、を備え、補正レンズは、補正レンズによる光線角度の補正量を補正レンズの領域毎に調整することが可能であり、プロセッサは、データを記憶部から読み出す読出処理と、読出処理によって読み出されたデータに基づいて、補正レンズによる光線角度の補正量を補正レンズの領域毎に調整する調整処理と、を実行する、撮像装置である。
ここで、記憶部は、複数のユーザについて乱視に関するデータを記憶し、プロセッサは、複数のユーザの中から、撮像装置を使用している使用ユーザを識別する識別処理を実行し、プロセッサは、識別処理によって識別された使用ユーザの乱視に関するデータを記憶部から読み出し、使用ユーザの乱視に関するデータに基づいて、補正レンズによる光線角度の補正量を調整することが好ましい。
本発明の第1実施形態に係る撮像装置の外観図である。 図1に示す撮像装置の内部構成を示すブロック図である。 円柱レンズの構成を示す一例の概念図である。 複数のユーザの乱視に関するデータを示す一例の概念図である。 眼鏡の処方箋を示す一例の概念図である。 第1実施形態に係る撮像装置の制御処理部の構成を示す一例のブロック図である。 第1実施形態に係る撮像装置の動作を示す一例のフローチャートである。 図7に続く第1実施形態に係る撮像装置の動作を示すフローチャートである。 撮像装置の姿勢とユーザの姿勢との関係を示す一例の概念図である。 撮像装置の姿勢とユーザの姿勢との関係を示す一例の概念図である。 撮像装置の姿勢とユーザの姿勢との関係を示す一例の概念図である。 老眼鏡のレンズの構成を示す一例の概念図である。 眼鏡の処方箋を示す別の例の概念図である。 第2実施形態に係る撮像装置の制御処理部の構成を示す一例のブロック図である。 第2実施形態に係る撮像装置の動作を示す一例のフローチャートである。 図13に続く第2実施形態に係る撮像装置の動作を示すフローチャートである。 第3実施形態に係る撮像装置の制御処理部の構成を示す一例のブロック図である。 第3実施形態に係る撮像装置の動作を示す一例のフローチャートである。 図16に続く第3実施形態に係る撮像装置の動作を示すフローチャートである。 第1観察部と撮像装置とを接続した状態を示す一例の概念図である。
以下、本発明の好適な実施形態について、添付の図面を参照しながら詳細に説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
[第1実施形態に係る撮像装置の構成例]
図1は、本発明の第1実施形態に係る撮像装置(以下、撮像装置10Aという。)の外観図であり、図2は、図1に示す撮像装置10Aの内部構成を示すブロック図である。
撮像装置10Aは、例えばデジタルカメラであり、図1及び2に示すように、撮像レンズ12、絞り16、シャッタ18、撮像素子20、接続部14、背面ディスプレイ22、操作部24、観察部30、レンズ調整機構39、センサ34、姿勢センサ35、輝度センサ36、内部時計37、通信用インタフェイス38、プロセッサ40A、レンズ駆動部46a、46b、内部メモリ50およびメモリカード52等を備える。
接続部14、撮像素子20、背面ディスプレイ22、操作部24、内部時計37、通信用インタフェイス38、プロセッサ40A、内部メモリ50およびメモリカード52は、内部バス54を介して相互に接続されており、相互にデータのやり取りが可能である。
撮像レンズ12は、図2に示すように、ズームレンズ12a及びフォーカスレンズ12bを含み、それぞれのレンズ12a、12bは、プロセッサ40Aによって駆動制御されるレンズ駆動部46a、46bによって、図2に一点鎖線で示す光軸方向に移動可能である。ズームレンズ12aの移動によりズーミング動作が行われ、フォーカスレンズ12bの移動によりオートフォーカス(AF:Auto Focus)動作が行われる。
絞り16は、プロセッサ40Aによって駆動制御され、撮像素子20に入射される光(撮像光)の光量を調整する。シャッタ18は、絞り16と撮像素子20との間に配置され、プロセッサ40Aによって開閉制御される。本実施形態では、シャッタ18による機械式シャッタと、撮像素子20による電子式シャッタとが併用され、シャッタの方式がユーザ操作によって切り替え可能である。
撮像素子20は、RGB(Red Green Blue)3色のカラーフィルタを有するカラー撮像方式のイメージセンサであり、CCD(Charged Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)等によって構成される。撮像素子20は、2次元マトリクス状に配置された複数の画素を備える。各画素は、プロセッサ40Aの読出制御により、撮像レンズ12、絞り16およびシャッタ18を通過してその受光面に結像される光を受光して、その光学像を光電変換により撮像信号(電気信号)に変換して出力する。複数の画素によって構成される受光面は、本実施形態の場合、広画角での撮像を可能とするために、撮像装置10Aの横方向に長い略矩形型となっている。
なお、以下の説明において、撮像は、撮像素子20による撮像を意味する。
接続部14は、図1に示すホットシューのように、フラッシュおよび外付けの観察部等の外部の機器を撮像装置10Aと接続する部位である。
背面ディスプレイ22は、図1に示すように、撮像装置10Aの背面に設けられ、撮像素子20から出力される撮像信号に対応するスルー画像、撮像画像及び各種の情報等を表示する。スルー画像は、撮像中のリアルタイム画像(ライブビュー映像)である。
操作部24は、撮像装置10Aの筐体の外表面に設けられた複数のボタン等を含み、撮像装置10Aのユーザ(撮影者)の操作を受け付ける。ユーザは、画像を撮像したり、撮像に関する各種の項目を設定したり変更したりする際に、操作部24を通じて、対応する操作を行う。また、操作部24の一つとして、図2に示すように、背面ディスプレイ22に、ユーザによるタッチ操作を受け付けるタッチパネル26が設けられてもよい。
操作部24は、図1及び図2に示すレリーズボタン24aを含む。また、操作部24は、後述する補正レンズ(液晶レンズ又は液体レンズ)32aによる光線角度の補正量を手動で調整するためのタッチパネル26のグラフィカルユーザインタフェイス、および、補正レンズ(円柱レンズ)32aによる光線角度の補正量を手動で調整するために、補正レンズ(円柱レンズ)32aを手動で回転するための不図示のレンズ手動回転機構等を含む。
観察部30は、撮像中にユーザが画角及びフォーカス状態等を確認するために覗き見るファインダであり、撮像素子20の撮像対象を観察可能なものである。観察部30は、本実施形態の場合、EVFであるが、OVFでもよいし、OVFのモードとEVFのモードとを切り替え可能なハイブリッド型のファインダでもよい。また、観察部30は、撮像装置10Aに内蔵されたファインダでもよく、図18に示すように、撮像装置10Aの上部に設けられた接続部(ホットシュー)14等に着脱可能に接続される外付け式のファインダでもよい。
観察部30は、図2に示すように、表示器31と、観察光学系32と、接眼窓33と、を有する。
表示器31は、スルー画像等を表示するものであり、撮像装置10A内に配置される。表示器31は、例えばLCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Organic Electroluminescence)ディスプレイ、LED(Light Emitting Diode)ディスプレイ又は電子ペーパー等によって構成される。
観察光学系32は、レンズ及びプリズム等からなり、表示器31に表示される画像等を拡大したり、ユーザの視力に合わせて度数を調整する視度調整をしたりするために、表示器31と接眼窓33との間に配置される。なお、図2では、観察光学系32として一つのレンズが図示されているが、観察光学系32が複数のレンズ等によって構成されてもよい。
観察光学系32は、本実施形態の場合、ユーザの視力を正常な状態に矯正するように、表示器31から、ユーザの目に入光する光線の光線角度(厳密には、光束の出射角度)を補正する補正レンズ32aを含む。補正レンズ32aは、レンズ各部を通過する光線の屈折率を変更して、各部の屈折力(パワー)を変更可能である。ここで、屈折力とは、レンズ各部の屈折力(屈折の度合い)であり、焦点距離をfとしたときに1/fで表される。本実施形態では補正レンズ32aとして可変焦点レンズ、より詳しくは液晶レンズが使用されているが、これに限らず、他の可変焦点レンズである液体レンズ、あるいは円柱レンズ等を使用してもよい。
液晶レンズは、液晶をレンズホルダに封止したものであり、電圧の印加によって液晶分子の配向を制御して、レンズの屈折力を変えることができる。これにより、ユーザの目に入光する光線角度を補正することができる。
液体レンズは、伝導性の水溶液および非伝導性の油をレンズホルダに封止したものであり、水溶液に電圧を加えることによって、レンズ形状、詳しくは水溶液と油との境界面の曲率を変化させ、境界面の屈折力を変えることができる。これにより、ユーザの目に入光する光線角度を補正することができる。
液晶レンズおよび液体レンズは、その領域毎に屈折力を変化させることが可能であり、従って、光線角度の補正量を、その領域毎に調整することが可能である。
円柱レンズは、図3に示すように、直交する2軸方向の曲率半径が異なる凹レンズであり、レンズ各部では、各部での曲率に応じた屈折力にて、光軸方向から入光される光線を屈折させる。また、円柱レンズを光軸に対して回転させてレンズの向きを変えることにより、ユーザの目に入光する光線角度を補正することができる。
レンズ調整機構39は、プロセッサ40Aの制御により、液晶レンズからなる補正レンズ32aに対して、レンズ中の各領域の屈折力を調整するための調整用電圧を印加する。ここで、補正レンズ32a中の各領域とは、レンズの光軸と直交する2方向においてレンズを複数の領域に分けたときの、それぞれの領域のことである。
なお、補正レンズ32aが液体レンズの場合、レンズ調整機構39は、補正レンズ32aが液晶レンズの場合と同様に作用する。また、補正レンズ32aが円柱レンズの場合、レンズ調整機構39は、プロセッサ40Aの制御により、不図示のレンズ自動回転機構を駆動して、円柱レンズを光軸に対して回転させる。
姿勢センサ35は、撮像装置10Aの姿勢を検出する。姿勢センサ35は、例えば撮像装置10Aが横置き姿勢(撮像素子20の長手方向が水平方向に沿う姿勢)なのか、それとも縦置き姿勢(撮像素子20の長手方向が鉛直方向に沿う姿勢)なのかを検出する。
姿勢センサ35は、撮像装置10Aの姿勢を検出することができれば、特に限定されないが、例えば、撮像装置10Aの動きを検出する加速度センサ、重力を検出する重力センサ、および撮像装置10Aの回転を検出するジャイロセンサ等を例示することができる。
輝度センサ36は、撮像装置10Aの周囲の明るさ(光量)を検出するセンサである。
また、接眼窓33における所定箇所又は接眼窓33の近傍には、図1及び図2に示すセンサ34が設置されている。センサ34は、本実施形態の場合、ユーザから観察部30(厳密には、接眼窓33)までの距離のデータおよびユーザの虹彩に関するデータ等を出力する。センサ34としては、距離検出用および虹彩検出用の公知のセンサが利用でき、例えば赤外線センサおよび赤外線カメラ等が利用可能である。センサ34から出力されるデータにより、ユーザの虹彩の特徴量を特定することができる。また、特定された虹彩の特徴量からユーザを識別したり、観察部30を覗き込んでいる目が左目であるか右目であるかを判別したり、観察部30を覗き込んでいるときのユーザの顔と観察部30との相対的な向き等を推定したりすることができる。
なお、センサ34は、ユーザの虹彩に関するデータを出力するものに限られず、例えば、ユーザの顔の3次元形状に関するデータを取得するものであってもよい。この場合、センサ34としては、3次元形状検出用の公知のセンサが利用でき、例えばTOF(Time Of Flight)カメラ等が利用可能である。ユーザの顔の3次元形状に関するデータによれば、例えば、ユーザの瞼の位置等を特定することができる。これにより、観察部30を覗き込んでいる目が左目であるか右目であるかを判別したり、観察部30を覗き込んでいるときのユーザの顔と観察部30との相対的な向き等を推定したりすることができる。
なお、ユーザが観察部30を覗き込んでいる目が左目であるか右目であるかは、例えばユーザが、撮像装置10Aを横置き姿勢から縦置き姿勢に動かす場合、あるいは、その逆の姿勢に動かす場合に、撮像装置10Aを回転させるときの回転方向又は回転角度から判別することもできる。また、撮像装置10Aの回転方向又は回転角度は、姿勢センサ35によって検出することができる。
また、センサ34から取得したデータに基づいて、ユーザから観察部30までの距離のデータを取得することができる。
例えば、センサ34が赤外線センサである場合には、ユーザの目に赤外光を照射し、その反射光に基づいて、ユーザから観察部30までの距離のデータを取得することができる。
センサ34が赤外線カメラである場合には、赤外光でユーザの目を撮像し、その赤外線画像を解析してユーザの虹彩の大きさを特定することにより、ユーザから観察部30までの距離のデータを算出することができる。
センサ34がTOFカメラである場合には、ドットプロジェクタから大量の赤外線ドットをユーザの顔に照射し、その反射光に基づいて得られるユーザの顔の3次元マッピングデータから、ユーザの目の大きさを特定する。これにより、ユーザから観察部30までの距離のデータを算出することができる。
ユーザから観察部30までの距離が、閾値を下回り且つ一定時間同じであれば、ユーザの顔が、接眼窓33を通じて観察部30内を覗き込んでいる距離にあると判断することができる。
なお、センサ34は、特に限定されず、ユーザから観察部30までの距離のデータ、および、ユーザの虹彩に関するデータまたはユーザの顔の3次元形状に関するデータ等を取得することができれば、どのようなセンサを使用してもよい。
内部時計37は、リアルタイムクロック等のように、不図示のバッテリによって常に動作し続ける時計であり、現在時刻を出力する。
通信用インタフェイス38は、外部の機器から、ユーザが、外部の機器を操作した操作時間の情報等を受信する。
通信用インタフェイス38の規格は、外部の機器から、ユーザによる外部の機器の操作時間の情報を受信することができれば、特に限定されないが、例えばUSB(Universal Serial Bus:ユニバーサル・シリアル・バス)、Bluetooth(ブルートゥース、登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)等を例示することができる。また、外部の機器は、ユーザにより外部の機器の操作時間の情報を撮像装置10Aに送信することができれば、特に限定されず、例えばユーザが保有するパーソナルコンピュータ又はスマートフォン等の情報通信端末等を例示することができる。
プロセッサ40Aは、撮像装置10Aの各部を制御し、撮像、撮像画像のデータ(画像データ)の記録、スルー画像および撮像画像等の表示等を含む各種の処理を実行する。また、プロセッサ40Aは、レンズ調整機構39を制御することにより、補正レンズ32aによる光線角度の補正量を調整する処理(調整処理)を実行する。
内部メモリ50は、本発明の記憶部となる記録媒体の一例である。内部メモリ50には、プロセッサ40Aにより実行されるプログラム及び各種のデータ等が格納されている。
内部メモリ50は、図4に示すように、複数のユーザの各人について、ユーザの乱視に関するデータを記憶する。乱視に関するデータは、プロセッサ40Aが調整処理、すなわち補正レンズ32aによる光線角度の補正量を調整する処理を実行する際に参照される。つまり、プロセッサ40は、観察部30内を覗き込むユーザの乱視の度合いに応じて、補正レンズ32aの各領域の屈折力を調整する。
乱視のユーザの目は、角膜および水晶体等が歪んでおり、完全な球体ではなく、ラグビーボールのような楕円形になっている。その結果、光の屈折がずれて、焦点が合わなくなり、被写体を見たときに、その形が歪んで見える。
乱視には、角膜および水晶体等が歪んでいる方向に応じて、被写体の見え方に方向性がある。例えば、乱視のユーザが放射状の乱視表を見たときに、縦方向のラインだけが濃く見えて、それ以外のラインがぼやけて見えたり、横方向のラインだけが濃く見えて、それ以外のラインがぼやけて見えたり、斜めのラインだけが濃く見えて、それ以外のラインがぼやけて見えたりする場合がある。
前述のように、乱視には、被写体の見え方に方向性がある。このため、撮像装置10Aが横置き姿勢である場合と縦置き姿勢である場合とでは、乱視のユーザにとって、表示器31に表示される撮像対象の見え方が異なる。また、同様に、観察部30内を覗き込む際のユーザの顔の向きが縦向き(ユーザの首が真っ直ぐである向き)である場合と横向き(ユーザの首が傾けられた向き)である場合とでは、乱視のユーザにとって、表示器31に表示される撮像対象の見え方が異なる。
したがって、プロセッサ40が調整処理を実行する際に参照する乱視に関するデータについては、その時点における撮像装置10Aの姿勢とユーザの顔の向きとに応じて変える必要がある。換言すると、調整処理の実行時に参照される乱視に関するデータは、ユーザの目の長手方向に対する、撮像素子20の長手方向の傾きに応じて変更する必要がある。
ここで、ユーザの目の長手方向とは、目頭から目尻に向かう方向である。撮像素子20の長手方向とは、矩形状の撮像素子20の長辺方向に相当する方向である。
以上の点を踏まえて、本実施形態の内部メモリ50は、ユーザの乱視に関するデータとして、図4に示すように、平行用乱視データ及び直交用乱視データをユーザ毎に記憶している。平行用乱視データは、撮像素子20の長手方向とユーザの目の長手方向とが平行又は略平行である場合の、乱視に関するデータである。直交用乱視データは、撮像素子20の長手方向とユーザの目の長手方向とが直交又は略直交する場合の、乱視に関するデータである。
なお、平行用乱視データおよび直交用乱視データは、別々に作成してもよいが、例えば平行用乱視データから、平行用乱視データを90度回転させた状態の直交用乱視データを作成してもよい。
ユーザの乱視に関するデータは、ユーザの眼鏡に関する処方箋データでもよい。処方箋データは、例えばユーザが眼鏡を購入等する場合に測定される値を示すデータであり、具体的にはユーザの目の円柱度数(乱視の度数)および乱視軸(乱視の角度)等を示す。処方箋データは、ユーザが眼鏡屋等から入手した眼鏡の処方箋を見ながら円柱度数および乱視軸等を手入力することで内部メモリ50に記憶させてもよい。眼鏡の処方箋には、図5に示すように、ユーザの右目および左目について、球面度数Sph、円柱度数Cyl、乱視軸AX、プリズム、基底および瞳孔間距離PDのそれぞれの測定値が記載されている。
あるいは、ユーザは、撮像装置10Aの通信用インタフェイス38の通信機能を利用して、処方箋データを記憶した外部の機器から撮像装置10Aに処方箋データを送信し、受信したデータを内部メモリ50に記憶させてもよい。
ユーザの乱視に関するデータとして処方箋データが内部メモリ50に記憶されている場合、プロセッサ40は、処方箋データに基づき、調整処理に用いる調整データを生成する。調整データは、調整処理において補正レンズ32aによる光線角度の補正量を調整するためのデータ、つまり、補正レンズ32aによる光線角度の補正量についての調整データである。
なお、調整用データが、ユーザの乱視に関するデータとして内部メモリ50に記憶されてもよい。以下では、調整データがユーザの乱視に関するデータとして内部メモリ50に記憶されているケースについて説明することとする。また、内部メモリ50に記憶されるユーザの乱視に関するデータは、ユーザの乱視の度合いが分かるデータであれば、特に限定されるものではない。
さらに、ユーザの乱視に関するデータは、ユーザの左目用のデータと、右目用のデータとに分けて内部メモリ50に記憶される。ただし、これに限定されるものではなく、ユーザの眼鏡が保有する一対のレンズのうち、片方のレンズと対応するデータ、すなわち左目用のデータだけ、あるいは右目用のデータだけとしてもよい。
また、複数のユーザの各人について、複数の調整データを用意している場合、プロセッサ40Aは、複数の調整データの中から、様々な条件に応じて、最適な調整データを選択して使用してもよい。
例えば、ユーザが眼鏡を着用しているのか否かに応じて、ユーザの視力が変わり得る。そのため、ユーザの乱視に関するデータとして、眼鏡着用時用の調整データおよび眼鏡未着用時用の調整データを内部メモリ50に記憶してもよい。
また、内部時計37から出力される現在時刻が日中なのか夜間なのか、あるいは、輝度センサ36によって検出された周囲の明るさに基づく外光が明るいのか暗いのかの撮像環境に応じて、ユーザの瞳孔の大きさが変わり得る。そのため、内部メモリ50は、ユーザの乱視に関するデータとして、通常時(日中)用の調整データおよび夜間用の調整データを内部メモリ50に記憶してもよい。
メモリカード52は、記録媒体の別の例であり、撮像装置10Aに設けられた不図示のカードスロットに挿し込まれて利用される。メモリカード52は、特に限定されず、SD(Secure Digital)カード等を例示することができる。
記録対象である撮像画像の画像データは、撮像装置10Aの内部メモリ50およびメモリカード52の少なくとも一方の記録媒体に記録される。
[プロセッサの内部構成]
次に、プロセッサ40Aについて説明する。
プロセッサ40Aは、図2に示すように、制御処理部42A及び画像生成部44を備える。プロセッサ40Aは、内部メモリ50に格納されたプログラムがプロセッサ40Aによって実行されることによって、制御処理部42A及び画像生成部44として機能する。
制御処理部42Aは、操作部24を通じて行われたユーザの操作に応じて、あるいは所定の制御プログラムに従って撮像装置10Aの各部を制御する。制御処理部42Aは、本実施形態において、レンズ調整機構39を制御して補正レンズ32aによる光線角度の補正量を調整する。詳しくは、制御処理部42Bは、観察部30内を覗き込むユーザの乱視の度合いに応じて、補正レンズ32aの各領域の屈折力を調整する。これにより、ユーザは、接眼窓33から観察部30内を覗き込んだ場合に、補正レンズ32aを介して、撮像対象を乱視が矯正された正常な状態で見ることができる。
制御処理部42Aは、図6に示すように、撮像処理部60と、読出処理部62と、取得処理部64と、判定処理部66と、調整処理部68と、更新処理部70と、特定処理部72と、切替処理部74と、表示制御部76と、識別処理部78と、を備える。
制御処理部42Aは、接続部14、撮像素子20、背面ディスプレイ22、操作部24、内部時計37、通信用インタフェイス38、内部メモリ50およびメモリカード52と内部バス54を介して相互にデータのやり取りが可能である。また、撮像処理部60、読出処理部62、取得処理部64、判定処理部66、調整処理部68、更新処理部70、特定処理部72、切替処理部74、表示制御部76および識別処理部78も内部バス54を介して相互に接続されており、相互にデータのやり取りが可能である。
撮像処理部60は、ユーザの操作に応じて、絞り16、シャッタ18、撮像素子20およびレンズ駆動部46a、46bの動作を制御して、撮像対象を撮像する撮像処理を実行する。
読出処理部62は、ユーザの乱視に関するデータを読み出す読出処理を実行する。読出処理において、読出処理部62は、平行用乱視データ又は直交乱視用データのいずれかを読み出す。この際、読出処理部62が読み出すデータは、観察部30内を覗き込むユーザの目が左目であるか右目であるか、ユーザが眼鏡を着用しているか、及び現在時刻に応じて変えられる。
取得処理部64は、センサ34から出力されるデータ、本実施形態の場合、ユーザから観察部30までの距離のデータおよびユーザの虹彩に関するデータ等を取得する取得処理を実行する。
なお、取得処理部64は、センサ34から、ユーザから観察部30までの距離のデータおよびユーザの顔の3次元形状に関するデータを取得してもよい。
判定処理部66は、取得処理によって取得されたデータに基づいて、ユーザの目の長手方向に対する、撮像素子20の長手方向の傾きを判定する判定処理を実行する。
ユーザの目の長手方向は、ユーザの目の第1方向に相当する。撮像素子20の長手方向は、撮像素子20の第2方向に相当する。なお、上記の第1方向は、ユーザの目の短手方向でもよく、また、上記の第2方向は、撮像素子20の短手方向でもよい。要するに、ユーザの目と撮像素子20(換言すると、撮像装置10Aの姿勢)との相対的な傾き関係が特定できる限り、第1方向及び第2方向は、どのような方向でもよい。
上記の判定処理を行うのは、調整処理において、乱視のユーザにとって撮像対象が見え易くなるように補正レンズ32aの屈折力を調整する際に、撮像装置10Aの姿勢だけでは正確に調整できないからである。例えば、図9Cに示すように、撮像装置10Aが縦置き姿勢である(すなわち撮像素子20の長手方向が鉛直方向に沿っている)場合であっても、ユーザが例えば寝転んで目の長手方向が鉛直方向に沿っていることがある。このような状況で撮像装置10Aの姿勢が横置き又は縦置きのいずれであるかを判定するだけでは十分ではなく、ユーザの目の長手方向と撮像素子20の長手方向とが平行又は直交のいずれであるかを判定することが重要になる。
判定処理部66は、例えばユーザの虹彩に関するデータ、あるいは、ユーザの顔の3次元形状に関するデータを使用することにより、第1方向と第2方向とが略同一の方向なのか、あるいは、略直交する方向なのかを判定することができる。
判定処理部66は、取得処理によって取得されたユーザの虹彩に関するデータに基づいて、画像解析等によって、例えば虹彩認証等によって得られるユーザの虹彩の領域を含む画像における目の向きおよび瞼の位置等を判別することにより、第1方向に対する第2方向の傾きを判定することができる。
また、判定処理部66は、取得処理によって取得されたユーザの顔の3次元形状に関するデータに基づいて、パターン認識等によって、例えば顔認証等によって得られるユーザの顔の3次元マッピングデータに基づく目の向きおよび瞼の位置等を判別することにより、第1方向に対する第2方向の傾きを判定することができる。
なお、本実施形態では、判定処理部66は、ユーザの目の長手方向に対する撮像素子20の長手方向の傾きとして、両方向が平行であるのか互いに直交するのかを判定する。つまり、傾きの角度まで判定する必要はなく、例えば、ユーザの目の長手方向と撮像素子20の長手方向とが同じ方向であるのか、互いに90度ずれているのかを判定することができればよい。換言すると、ユーザの目に対して、撮像装置10Aの向きが相対的に横向きであるのか、縦向きであるかを判定することができればよい。
また、操作部24として、第1方向に対する第2方向の向き、すなわち、ユーザの目の方向に対する撮像素子20の方向が横方向なのか、あるいは、縦方向なのかを設定するボタンまたは切替スイッチ等を設けておき、ユーザが、このボタンまたは切替スイッチ等を用いて、ユーザの目の方向に対する撮像素子20の方向が横方向なのか、あるいは、縦方向なのかを手動で設定してもよい。この場合、判定処理部66は、このボタンまたは切替スイッチ等の設定状態から、第1方向に対する第2方向の傾きを判定することができる。
調整処理部68は、読出処理によって読み出されたデータおよび判定処理の結果に基づいて、補正レンズ32aによる光線角度の補正量を調整する調整処理を実行する。
具体的に説明すると、判定処理部66の判定処理において、ユーザの目の長手方向と撮像素子20の長手方向とが平行であるという判定結果が得られた場合、読出処理部62は、平行用乱視データを読み出す。この場合、調整処理部68は、平行用乱視データに基づいて調整処理を実行する。他方、ユーザの目の長手方向と撮像素子20の長手方向とが互いに直交するという判定結果が得られた場合、読出処理部62は、直交用乱視データを読み出し、調整処理部68は、直交用乱視データに基づいて調整処理を実行する。
更新処理部70は、調整処理後に、ユーザによって補正レンズ32aによる光線角度の補正量が手動で調整された場合に、ユーザによって手動で調整された光線角度の補正量に基づいて、内部メモリ50に記憶されている調整データを更新する更新処理を実行する。
ユーザによる補正レンズ32aの補正量の手動調整について説明すると、例えば、乱視の度合いによって見え方が変わる複数のサンプル画像(テストチャート)を表示器31に表示する。観察部30内を覗き込んだユーザは、複数のサンプル画像の中から、最もクリアに見える画像を選択する。これにより、補正レンズ32aの補正量を手動で調整することができる。そして、更新処理部70は、内部メモリ50に記憶された調整データを、ユーザによって選択されたサンプル画像に対応する光線角度の補正量に置き換えることによって調整データを更新する。
手動調整の他の例について説明すると、補正レンズ32aによる光線角度の補正量についての調整度合いが異なる複数の調整モードを選択可能に表示する。観察部30内を覗き込んだユーザは、複数の調整モードの中から、撮像対象が最もクリアに見えるモードを選択する。これにより、補正レンズ32aの補正量を手動で調整することができる。そして、更新処理部70は、内部メモリ50に記憶された調整データを、ユーザによって選択された調整モードに対応する光線角度の補正量に置き換えることによって調整データを更新する。
補正レンズ32aが円柱レンズである場合の手動調整の例について説明すると、公知の乱視表を表示器31に表示する。観察部30内を覗き込んだユーザは、表示された乱視表を見ながら、操作部24に含まれるレンズ手動回転機構の操作ダイヤル等を操作することで、補正レンズ32aである円柱レンズを手動で回転させて、乱視表が最もクリアに見える状態に調整する。これにより、補正レンズ32aの補正量を手動で調整することができる。そして、更新処理部70は、内部メモリ50に記憶された調整データを、ユーザが回転させた補正レンズ32aの回転量に応じた光線角度の補正量に置き換えることによって調整データを更新する。
以上のように、本実施形態では、内部メモリ50に記憶されている調整データを、ユーザによる手動調整を反映させて最新のデータに更新することができる。従って、更新処理後の調整処理は、内部メモリ50に記憶されている最新の調整データを使って実行される。これにより、観察部30を覗き込むユーザにとって、撮像対象がより良好に見えるようになる。
特定処理部72は、センサ34から出力されるデータから、ユーザから観察部30までの距離を求め、求めた距離に基づいて、接眼窓33から所定距離以内にユーザの目が接近しているか否かを特定する特定処理を実行する。具体的に説明すると、特定処理部72は、上記の距離が一定時間基準値未満で維持されている場合、ユーザの目が接眼窓33に接近していると特定し、上記の距離が基準値以上である場合に、ユーザの目が接眼窓33から離れていると特定する。
なお、ユーザの目が接眼窓33に接近しているか否かを特定する方法は、上記の方法以外にも考えられる。例えば、ユーザの虹彩に関するデータがセンサ34から出力される場合、その出力データから、画像解析等によってユーザの虹彩の大きさを割り出す。そして、虹彩の大きさが基準値未満である場合には、ユーザの目が接眼窓33から離れていると特定し、ユーザの虹彩の大きさが基準値以上である場合には、ユーザの目が接眼窓33に接近していると特定する。
また、ユーザの顔の3次元形状に関するデータがセンサ34から出力される場合、その出力データから、パターン認識等によってユーザの目の大きさを割り出す。そして、ユーザの目の大きさが基準値未満である場合には、ユーザの目が接眼窓33から離れていると特定し、ユーザの目の大きさが基準値以上である場合には、ユーザの目が接眼窓33に接近していると特定する。
また、特定処理部72は、特定処理において求めたユーザから観察部30までの距離に基づいて、ユーザが眼鏡を着用しているか否かを特定することができる。例えば、ユーザの目が接眼窓33から離れていると特定した場合において、上記の距離が閾値未満であると、特定処理部72は、ユーザが眼鏡を着用していないと特定し、上記の距離が閾値以上であると、ユーザが眼鏡を着用していると特定する。
切替処理部74は、特定処理の結果に基づいて調整処理を行うか否かを切り替える切替処理を実行する。
切替処理部74は、本実施形態の場合、特定処理の結果、使用ユーザが眼鏡を着用していると特定された場合、調整処理を行わないように切り替える。一方、切替処理部74は、使用ユーザが眼鏡を着用していないと特定された場合、調整処理を行うように切り替える。
表示制御部76は、スルー画像等を背面ディスプレイ22または表示器31に表示させる表示処理を実行する。本実施形態において、表示制御部76は、特定処理の結果に基づいて、撮像中のスルー画像の表示先を切り替える。例えば、特定処理においてユーザの目が接眼窓33から離れていると特定された場合、表示制御部76は、スルー画像を背面ディスプレイ22に表示させる表示処理を実行する。一方、特定処理においてユーザの目が接眼窓33に接近していると特定された場合、表示制御部76は、スルー画像を表示器31に表示させる表示処理を実行する。
また、調整処理の実行中は、補正レンズ32aによる光線角度の補正量を調整している最中であり、その間に補正レンズ32aを通してスルー画像を見ると、スルー画像が明瞭に見えない可能性がある。そのような不具合を解消するため、表示制御部76は、調整処理の実行中にはスルー画像を表示器31に表示させないようにしている。そして、調整処理の完了後、表示制御部76は、スルー画像を表示器31に表示させるように表示処理を実行する。
識別処理部78は、撮像装置10Aを使用しているユーザ(以下、使用ユーザという。)を識別する識別処理を実行する。使用ユーザを識別する方法は、特に限定されないが、例えば、センサ34がユーザの虹彩に関するデータを出力する場合には、識別処理において虹彩認証等によって使用ユーザを識別することができる。他にも、指紋認証、顔認証、及び音声(声紋)認証等の公知の生体認証を利用することによって、使用ユーザを識別することができる。
識別処理での識別結果は、読出処理部62による読出処理に反映される。つまり、識別処理において使用ユーザが識別されると、読出処理部62は、内部メモリ50に記憶された複数のユーザ分の調整データ(ユーザの乱視に関するデータ)のうち、使用ユーザと対応する調整データを読み出す読出処理を実行する。
画像生成部44は、撮像素子20から読み出した撮像信号に基づいて、スルー画像および撮像画像を生成する。
次に、図7および図8に示すフローチャートを参照しながら、撮像対象を撮像する場合の撮像装置10Aの動作を説明する。
撮像装置10Aが動作を開始する前段階において、内部メモリ50には、複数のユーザの各人について、ユーザの乱視に関するデータとして、平行用乱視データおよび直交用乱視データを含む調整データが記憶されているものとする。
撮像装置10Aがユーザ(使用ユーザ)によって起動されると、先ず、識別処理部78が識別処理を実行する(ステップS1)。この識別処理によって使用ユーザが識別され、詳しくは予め登録されたユーザであるか否かが判定される。
識別処理の結果、使用ユーザが、予め登録されたユーザではないと識別された場合(ステップS1でNO)、撮像装置10Aを使用することができないため、処理は終了する。
一方、使用ユーザが、予め登録されたユーザであると識別された場合(ステップS1でYES)には、ステップS2へ進む。
使用ユーザが識別されると、撮像中、撮像素子20が撮像対象を撮像し、その撮像信号が撮像素子20から出力される。これに応じて、画像生成部44により、撮像素子20から出力される撮像信号に基づいてスルー画像を生成する生成処理が実行される(ステップS2)。
続いて、使用ユーザが接眼窓33から観察部30内を覗き込むと、取得処理部64により、センサ34から出力されるデータを取得する取得処理が実行される(ステップS3)。センサ34から出力されるデータは、前述したように、ユーザから観察部30までの距離のデータ、および、使用ユーザの虹彩に関するデータまたは使用ユーザの顔の3次元形状に関するデータである。
続いて、特定処理部72により、取得処理で取得されたデータに基づいて、ユーザの目が接眼窓33に接近しているか否かを特定する特定処理が実行される(ステップS4)。特定処理では、取得処理で取得されたデータから、使用ユーザと観察部30までの距離が割り出され、割り出された距離が一定時間基準値未満である場合、使用ユーザの目が接眼窓33に接近していると特定される。一方で、割り出された距離が基準値以上である場合、ユーザの目が接眼窓33から離れていると特定される。
ステップS4の特定処理の結果、使用ユーザの目が接眼窓33から離れていると特定された場合に(ステップS4でNO)、表示制御部76により、スルー画像を背面ディスプレイ22に表示させる表示処理が実行される(ステップS5)。
一方、使用ユーザの目が接眼窓33に接近していると特定された場合に(ステップS4でYES)、表示制御部76により、スルー画像を観察部30の表示器31に表示させる表示処理が実行される(ステップS6)。
これにより、撮像中に、スルー画像が、背面ディスプレイ22または観察部30の表示器31に表示される。つまり、ユーザは、撮像中、背面ディスプレイ22に表示されたスルー画像等を見るか、あるいは、撮像装置10Aの背面に設けられた接眼窓33から観察部30内を覗き込んだ場合に、表示器31に表示されたスルー画像等を、観察光学系32を通じて見ることができる。
なお、操作部24として、例えばスルー画像の表示/非表示を切り替える表示スイッチ等を設けておき、表示スイッチをユーザが操作したタイミングで、スルー画像の表示先を背面ディスプレイ22および表示器31の間で切り替えてもよい。
続いて、特定処理部72により、取得処理によって取得された距離のデータに基づいて、使用ユーザが眼鏡を着用しているか否かを特定する特定処理が実行される(ステップS7)。
ステップS7の特定処理の結果、使用ユーザが眼鏡を着用していると特定された場合(ステップS7でYES)、眼鏡によって使用ユーザの乱視は既に矯正されているため、切替処理部74により、調整処理を行わないように切り替える切替処理が実行された後(ステップS8)、ステップS18へ進む。
一方、使用ユーザが眼鏡を着用していないと特定された場合(ステップS7でNO)、眼鏡によって使用ユーザの乱視は矯正されていないため、切替処理部74により、調整処理を行うように切り替える切替処理が実行された後(ステップS9)、ステップS10へ進む。
調整処理の実行中、表示制御部76により、スルー画像を表示器31に表示させないように制御する処理が実行される(ステップS10)。
調整処理の実行中は、補正レンズの光線角度の補正量が変化する。従って、この期間、スルー画像を表示器31に表示させないように制御することにより、ユーザが、乱視が矯正されていない状態で、表示器31に表示されるスルー画像を見ることを防止することができる。なお、調整処理の実行中は、全面が黒色(単色)等の画像を表示させてもよいし、あるいは、調整中である旨を表すメッセージを表示させてもよい。
続いて、判定処理部66により、使用ユーザの目の長手方向(第1方向)に対する、撮像素子20の長手方向(第2方向)の傾きを判定する判定処理が実行される(ステップS11)。判定処理では、上記2つの方向が平行であるか、互いに直交しているかを判定する。例えば、図9Aに示すように、撮像装置10Aが横置き姿勢であり、かつ、使用ユーザの顔の向きが縦向きである場合には、上記2つの方向が平行であると判定される。また、図9Bに示すように、撮像装置10Aが縦置き姿勢であり、かつ、使用ユーザの顔の向きが縦向きである場合には、上記2つの方向が直交していると判定される。図9Cに示すように、撮像装置10Aが縦置き姿勢であり、かつ、使用ユーザが寝転んでいる場合には、上記2つの方向が平行であると判定される。
続いて、読出処理部62により、識別処理によって識別された使用ユーザの乱視に関するデータとして、使用ユーザと対応付けられた調整データを内部メモリ50から読み出す読出処理が実行される。読出処理において読み出される調整データは、特定処理での特定結果、及び、判定処理での判定結果に応じて変化する。
具体的に説明すると、判定処理において使用ユーザの目の長手方向と撮像素子20の長手方向とが平行であると判定された場合(ステップS11でYES)、読出処理部62により、使用ユーザの平行用乱視データを読み出す読出し処理が実行される(ステップS12)。一方、判定処理において使用ユーザの目の長手方向と撮像素子20の長手方向とが直交していると判定された場合(ステップS11でNO)、読出処理部62により、使用ユーザの直交用乱視データを読み出す読出し処理が実行される(ステップS13)。
なお、ユーザが眼鏡を着用しているのか否か、現在時刻が日中なのか夜間なのか、外光が明るいのか暗いのか、に応じて、読み出す調整データを変えてもよい。
続いて、調整処理部68により、読出処理で読み出された使用ユーザの調整データに基づいて、補正レンズ32aによる光線角度の補正量を調整する調整処理が実行される。読出処理で平行用乱視データが読み出された場合には、平行用乱視データに基づいて調整処理が実行される(ステップS14)。一方、直交用乱視データが読み出された場合には、直交用乱視データに基づいて調整処理が実行される(ステップS15)。
このように、使用ユーザの乱視に関するデータに基づいて調整処理を行うことにより、補正レンズ32aによる補正量が使用ユーザの乱視の度合いに応じて調整される。この結果、使用ユーザは、乱視であっても、表示器31に表示されるスルー画像等を、補正レンズ32aを通じて良好に見ることができる。また、調整処理に用いられる乱視に関するデータ(調整データ)は、使用ユーザの目に対する撮像装置10Aの相対的な傾きに応じて変えられる。これにより、その時点での使用ユーザの目の向きと撮像装置10Aの姿勢に応じて調整処理を実行することができるので、撮像装置の姿勢だけを考慮して調整処理を実行する場合よりも適切に補正レンズ32aによる補正量を調整することができる。
なお、本実施形態では、複数のユーザの各人に対して複数の調整データを用意しておき、複数の調整データの中から、様々な条件に応じて、最適な調整データを選択して使用することができる。
例えば、眼鏡の着用の有無に応じて調整データを使い分けることで、調整処理をより適切に実行することができる。
また、現在時刻が日中なのか夜間なのか、あるいは、外光が明るいのか暗いのかの撮像環境に応じて調整データを使い分けることで、調整処理をより適切に実行することができる。
調整処理の終了後、表示制御部76により、スルー画像を表示器31に表示させるように制御する表示処理が実行される(ステップS16)。
調整処理後に、使用ユーザによって補正レンズ32aによる光線角度の補正量が手動で調整された場合、更新処理部70により、使用ユーザによって手動で調整された光線角度の補正量に基づいて、内部メモリ50に記憶されている調整データを更新する更新処理が実行される(ステップS17)。
続いて、ユーザが、レリーズボタン24aを押圧すると、撮像処理部60により、撮像対象を撮像する撮像処理が実行される(ステップS18)。
撮像対象が撮像されると、画像生成部により、撮像素子20から読み出した撮像信号に基づいて、撮像画像を生成する生成処理が実行される(ステップS19)。
続いて、撮像処理部60により、例えば生成処理によって生成された撮像画像が圧縮され、その圧縮画像データが、メモリカード52に記憶され、処理は終了する(ステップS20)。
なお、撮像処理部60は、撮像画像を圧縮せず、撮像画像の画像データをそのまま内部メモリ50又はメモリカード52に記憶してもよい。
[第2実施形態に係る撮像装置の構成例]
次に、本発明の第2実施形態の撮像装置について説明する。
図1および図2に示すように、第2実施形態の撮像装置10Bは、プロセッサ40Bおよび制御処理部42Bを備える。なお、第1実施形態の撮像装置10Aと第2実施形態の撮像装置10Bとの違いは、内部メモリ50、プロセッサ40Bおよび制御処理部42B等であり、これら以外の同一の構成要素についての繰り返しの説明は省略する。
第2実施形態の観察部30は、老眼のユーザであっても撮像対象を良好に見ることができる構成となっている。観察部30は、第2実施形態の場合も、EVFであるが、OVFでもよいし、ハイブリッド型のファインダでもよい。ただし、EVFからなる観察部30であれば、撮像対象(厳密には、表示器31に表示される撮像対象)までの距離が一定であるため、頻繁に補正量を調整する必要がなく、ピントが合う距離の範囲が狭い老眼のユーザにとって、より有利である。
また、第2実施形態の場合、補正レンズ32aとして液晶レンズが使用されているが、これに限らず、他の可変焦点レンズを使用してもよく、例えば液体レンズを使用してもよい。
老眼は、高齢になるに従って、近くのものが見えづらくなる症状である。目の水晶体は、被写体にピントを合わせるレンズの役割を果たしている。遠くのものを見るときには、ピント調節を行う筋肉の働きによって水晶体の厚みが薄くなり、遠くのものにピントを合わせている。一方、近くのものを見るときには、水晶体の厚みが厚くなり、近くのものにピントを合わせている。
しかし、高齢になるに従って水晶体が固くなり、ピント調節を行う筋肉の力も弱くなるため、次第に水晶体の厚みを厚くすることができなくなり、近くのものにピントを合わせることができなくなる。
老眼鏡には、通常、用途に応じて複数のレンズが用いられ、具体的には遠近両用レンズGL1、中近用レンズGL2、近々用レンズGL3および手元用レンズGL4等が用いられる。これらのレンズの各々は、図10に示すように屈折力が異なる複数の領域に分割されている。例えば、遠近両用レンズGL1及び中近用レンズGL2は、レンズの上側から下側へ向かって遠方用領域Ar1、中間用領域Ar2、近方用領域Ar3および手元用領域Ar4の4つの領域に分割されている。遠方用領域Ar1は、遠方のものを見るための領域であり、中間用領域Ar2は、中間距離のものを見るための領域であり、近方用領域Ar3は、近方のものを見るための領域であり、手元用領域Ar4は、手元のものを見るための領域である。近々用レンズGL3及び手元用レンズGL4は、レンズの上側から下側へ向かって、近方用領域Ar3および手元用領域Ar4の2つの領域に分割されている。
以上のように老眼鏡のレンズは、レンズの上下方向において複数の領域に分割されている。また、老眼鏡のレンズを分割する領域の数、各領域のサイズ、レンズにおける配置位置および光学特性等も様々である。これらを考慮し、第2実施形態では、老眼鏡のレンズの領域毎の光学特性に対応するデータに基づき、補正レンズ32aによる光線角度の補正量を、補正レンズ32aの領域毎に調整する。これにより、老眼のユーザであっても、老眼鏡を着用することなく、観察部30を覗き込んだ際に撮像対象を良好に見ることができる。
以上の構成について、以下に詳しく説明する。
第2実施形態において、内部メモリ50は、複数のユーザの各人について、ユーザの老眼に関するデータとして、図11に示すような、ユーザが使用する眼鏡(老眼鏡)のレンズの領域毎の光学特性に対応するデータを記憶する。
ユーザが使用する眼鏡のレンズの領域毎の光学特性に対応するデータとしては、例えばユーザの目の遠用および近用の度数等を示すデータ、すなわちユーザの眼鏡に対応する処方箋データが利用できる。プロセッサ40Bは、処方箋データに基づき、調整処理に用いる調整データを生成する。第2実施形態において、調整データは、ユーザが使用する眼鏡のレンズの領域に対応する補正レンズ32aの領域毎に、補正レンズ32aによる光線角度の補正量を調整するためのデータである。つまり、第2実施形態における調整データは、ユーザが使用する眼鏡のレンズの領域毎の光学特性に対応する調整データであり、以下では、領域毎の調整データと呼ぶ。
なお、調整データが、ユーザが使用する眼鏡のレンズの領域毎の光学特性に対応するデータとして内部メモリ50に記憶されてもよい。以下では、調整データが内部メモリ50に記憶されている場合について説明することとする。
なお、内部メモリ50は、ユーザの老眼に関するデータとして、ユーザの老眼の度合いが、ユーザの眼鏡の領域毎に分かるデータであれば、どのようなデータを記憶してもよい。処方箋データは、ユーザが眼鏡屋等から入手した眼鏡の処方箋を見ながら老眼に関する情報等を手入力することで内部メモリ50に記憶させてもよい。
あるいは、プロセッサ40Bは、撮像装置10Bの通信用インタフェイス38の通信機能を利用して、処方箋データを記憶した外部の機器から撮像装置10Bに処方箋データを送信し、受信したデータを内部メモリ50に記憶させてもよい。また、ユーザの老眼に関するデータは、ユーザの眼鏡の片方のレンズの調整データ、あるいは、ユーザの眼鏡の処方箋のうち、片方の目の度数のデータだけとしてもよい。
第2実施形態において、制御処理部42Bは、老眼のユーザが、老眼鏡を着用することなく、観察部30内を覗き込んだ場合でも、撮像対象を良好に見られるように、レンズ調整機構を制御して補正レンズ32aの各領域の屈折力を調整する。第2実施形態に係る制御処理部42Bは、図12に示すように、撮像処理部60と、読出処理部62と、補正処理部63と、取得処理部64と、調整処理部68と、更新処理部70、特定処理部72と、切替処理部74と、表示制御部76と、識別処理部78と、を備える。
制御処理部42Bは、第1実施形態の場合と同様に、接続部14、撮像素子20、背面ディスプレイ22、操作部24、内部時計37、通信用インタフェイス38、内部メモリ50およびメモリカード52と内部バス54を介して相互にデータのやり取りが可能である。また、制御処理部42Bの撮像処理部60、読出処理部62、補正処理部63、取得処理部64、調整処理部68、更新処理部70、特定処理部72、切替処理部74、表示制御部76および識別処理部78も内部バス54を介して相互に接続されており、相互にデータのやり取りが可能である。
第1実施形態の制御処理部42Aと第2実施形態の制御処理部42Bとの違いは、読出処理部62、補正処理部63、調整処理部68および更新処理部70等であり、これら以外の同一の構成要素についての繰り返しの説明は省略する。
第2実施形態において、読出処理部62は、ユーザの老眼に関するデータとして、領域毎の調整データを内部メモリ50から読み出す読出処理を実行する。
補正処理部63は、読出処理によって読み出された領域毎の調整データに基づいて、表示器31に表示される画像を補正する補正処理を実行する。
補正処理は、特に限定されないが、例えば輪郭強調および歪み補正等の画像補正を例示することができる。このような画像補正は、老眼鏡による歪みを打ち消すための補正である。例えば、図10の各レンズの破線で囲まれた端部領域は、歪みが発生している領域である。つまり、上記の画像補正は、老眼鏡を着用したユーザが観察部30を覗き込んだ際に表示器31に表示される画像が、各レンズの端部領域でも明瞭に見えるように画像自体を補正するものである。例えば、補正処理部63は、画像の端部領域と中央領域とで歪み度合および画像の輪郭強調度合いを異ならせたテストチャート等の複数のサンプル画像を表示器31に表示する。そしてその中から、ユーザが最も歪みが少なく視認性が高い画像を選択した場合に、ユーザによって選択されたサンプル画像に応じた画像補正を行ってもよい。また、補正処理部63は、表示器31に表示される画像全体を同じように補正してもよいし、あるいは、ユーザの眼鏡のレンズの領域に対応する領域毎に上記の画像補正を行ってもよい。
補正処理によって表示器31に表示される画像を自動で補正してもよいし、ユーザが、表示器31に表示される画像を手動で補正するか、あるいは、表示器31に表示される画像が自動で補正された後に、表示器31に表示される画像を手動で補正してもよい。
調整処理部68は、読出処理によって読み出された領域毎の調整データに基づいて、補正レンズ32aによる光線角度の補正量を補正レンズ32aの領域毎に調整する調整処理を実行する。
更新処理部70は、調整処理後に、ユーザによって補正レンズ32aによる光線角度の補正量が補正レンズ32aの領域毎に手動で調整された場合に、更新処理を実行する。更新処理では、内部メモリ50に記憶されている領域毎の調整データを、ユーザによって手動で調整された領域毎の光線角度の補正量に基づいて更新する。
以上のように、内部メモリ50に記憶されている領域毎の調整データを、ユーザによる調整を反映させて最新のデータに更新することができる。従って、更新処理後の調整処理は、内部メモリ50に記憶された最新のデータを使って実行されるため、老眼のユーザは、常に撮像対象が良好に見えるようになる。
第2実施形態では、補正レンズ(液晶レンズ又は液体レンズ)32aによる光線角度の補正量が自動で調整された後に、ユーザが、補正レンズ32aによる光線角度の補正量を手動で調整してもよい。
次に、図13および図14に示すフローチャートを参照しながら、撮像対象を撮像する場合の撮像装置10Bの動作を説明する。
内部メモリ50には、複数のユーザについて、ユーザの老眼に関するデータとして、領域毎の調整データ(第1調整データ)が記憶されているものとする。
まず、ステップS21からステップS30までの動作は、使用ユーザが老眼である点を除けば、第1実施形態のステップS1からステップS10までの動作と同じである。
続いて、読出処理部62により、識別処理によって識別された使用ユーザの老眼に関する調整データとして領域毎の調整データを内部メモリ50から読み出す読出処理が実行される(ステップS32)。
続いて、調整処理部68により、読出処理で読み出した領域毎の調整データに基づいて、補正レンズ32aによる光線角度の補正量を補正レンズ32aの領域毎に調整する調整処理が実行される(ステップS34)。
ここで、前述のように、使用ユーザが着用する眼鏡(老眼鏡)のレンズは、その上下方向に複数の領域に分割されている。そして、補正レンズ32aにおける複数の領域の各々は、使用ユーザの眼鏡のレンズにおける複数の領域の少なくとも1つと関連付けられている。例えば、補正レンズ32aにおける複数の領域の各々は、ユーザの眼鏡のレンズにおける複数の領域の各々と1対1で関連付けられている。
第2実施形態において、調整処理部68は、領域毎の調整データに基づき、補正レンズ32aの領域について光線角度の補正量を調整する際に、使用ユーザの眼鏡のレンズにおける複数の領域のうち、関連付けられた領域の光学特性に対応する調整データに応じて調整する。
このように、第2実施形態では、ユーザの老眼に関するデータに基づいて調整処理を行うことにより、老眼鏡を着用していなくても、老眼の使用ユーザが、表示器31に表示される画像(スルー画像等)を良好に見ることができる。なお、第1実施形態と同様、調整処理の実行中は、補正途中段階のスルー画像を使用ユーザに見せないようにするため、表示器31にスルー画像を表示しないのが好ましい。
調整処理の終了後、表示制御部76により、スルー画像を表示器31に表示させるように制御する表示処理が実行される(ステップS36)。
調整処理後に、使用ユーザによって補正レンズ32aによる光線角度の補正量が補正レンズ32aの領域毎に手動で調整された場合、更新処理部70により、更新処理が実行される(ステップS37)。更新処理では、使用ユーザによって手動で調整された補正レンズ32aの領域毎の光線角度の補正量に基づいて、内部メモリ50に記憶されている領域毎の調整データが更新される。
これ以降のステップS38からステップS40までの動作は、第1実施形態のステップS18からステップS20までの動作と同じである。
なお、補正処理部63は、読出処理によって読み出されたデータに基づいて、表示器31に表示される画像に対して、歪み補正及び輪郭強調等の画像補正を行う補正処理を実行してもよい。補正処理の実行により、老眼の使用ユーザは、表示器31に表示されるスルー画像等を、より良好に見ることができる。この場合、表示制御部76により、ステップS30において、調整処理の実行中の画像を表示器31に表示させないように制御する表示処理(第2表示処理)が実行されるとよい。
なお、プロセッサ40Cは、操作部24を通じた使用ユーザからの指示に応じて、調整処理だけを行うのか、補正処理だけを行うのか、調整処理および補正処理の両方を行うのかを切り替えてもよい。
プロセッサ40Cは、ある使用ユーザに対して、複数の調整データを内部メモリ50に記憶させてもよい。
例えば、内部時計37から出力される現在時刻が日中なのか夜間なのか、あるいは、輝度センサ36によって検出された周囲の明るさに基づく外光が明るいのか暗いのかの撮像環境に応じて、プロセッサ40Cは、使用する調整データを切り替えても良い。人間の眼の水晶体のピント調整機能は、日中に眼が使われていると夕方を過ぎた後から、低下する傾向にある。言い換えれば、悪化した老眼の度合いに合わせて、調整処理部68は内部メモリ50から異なる調整データを読み出すと好ましい。
さらに、調整処理部68は、内部時計37から出力される現在時刻から計測される、当日におけるユーザによる撮像装置10Aの操作時間、および、通信用インタフェイス38によって外部の機器から受信される、ユーザによる外部の機器の操作時間に基づいて補正データを選択してもよい。これらの操作時間が基準値未満なのか、あるいは、基準値以上なのかに応じて、ユーザの眼の疲労度が変わり、水晶体のピント調整機能が変わる。そのため、調整処理部68は、ユーザの老眼に関するデータとして、長時間作業用の調整データを内部メモリ50から読み出してもよい。
[第3実施形態に係る撮像装置の構成例]
次に、本発明の第3実施形態の撮像装置10Cについて説明する。
図1および図2に示すように、第3実施形態の撮像装置10Cは、プロセッサ40Cおよび制御処理部42Cを備える。なお、第1実施形態の撮像装置10Aと第3実施形態の撮像装置10Cとの違いは、プロセッサ40Cおよび制御処理部42C等であり、これら以外の同一の構成要素についての繰り返しの説明は省略する。
第3実施形態の撮像装置10Cは、図18に示すように、撮像装置10Cに内蔵された第1観察部30Aを備え、さらに、接続部14により、外付け型の第2観察部30Bを接続可能である。
第1観察部30Aおよび第2観察部30Bは、第1実施形態の観察部30と略同じ構造であり、ユーザが覗き込んで撮像素子20の撮像対象を観察するための機器である。第1観察部30A及び第2観察部30Bの各々は、観察光学系32を有する。第1観察部30Aの観察光学系32は、ユーザの目に入光する光線角度を補正する第1補正レンズ32aを含む。第2観察部30Bの観察光学系32は、ユーザの目に入光する光線角度を補正する、不図示の第2補正レンズを含む。
撮像装置10Cに内蔵された第1観察部30Aだけでなく、外付け式の第2観察部30Bを撮像装置10Cに接続して、乱視および老眼ユーザが、外付け式の第2観察部30B内を覗き込んだ場合にも、同様に、撮像対象を見づらいという問題が生じる。
第1観察部30Aおよび第2観察部30Bは、EVFであるが、OVFでもよいし、ハイブリッド型のファインダでもよい。また、第3実施形態では、第1補正レンズ32aおよび第2補正レンズとして、液晶レンズが使用されているが、これに限らず、液体レンズおよび円柱レンズ等を使用してもよい。
接続部14は、第2観察部30Bと撮像装置10Cとを接続する。
接続部14は、第2観察部30Bと撮像装置10Cとを物理的および電気的に接続するホットシューである。ただし、これに限定されるものでなく、第2観察部30Bと撮像装置10Cとを無線で論理的に接続する無線接続回路によって接続部14を構成してもよい。このような第2観察部30Bの例としては、例えば、ユーザによって装着されるHMD(Head Mounted Display:ヘッドマウントディスプレイ)のような観察部が挙げられる。
接続部14を介して第2観察部30Bと撮像装置10Cとが接続された場合、第2観察部30Bと撮像装置10Cとの間でデータの送受信が可能である。本実施形態の場合、第2観察部30Bの第2補正レンズによる光線角度の補正量が調整可能であるのか否かの情報(以下、調整可否情報という)等が、第2観察部30Bから撮像装置10Cに送信される。補正可否情報は、第2観察部30B側に設けられた不図示の観察部側メモリに記憶されている。
また、第2観察部30Bの第2補正レンズによる光線角度の補正量が調整可能である場合に、第2補正レンズによる光線角度の補正量を調整するための制御信号等が、撮像装置10Cから第2観察部30B内のレンズ調整機構(不図示)に送信される。
プロセッサ40Cは、本実施形態の場合、第1観察部30Aの第1補正レンズ32a及び第2観察部30Bの第2補正レンズのうち、光線角度の補正量が調整可能なレンズを対象として調整処理を実行するように構成されている。詳しくは、プロセッサ40Cは、ユーザが覗き込んでいる観察部の補正レンズが調整可能なレンズである場合、その補正レンズを対象として調整処理を実行する。
第3実施形態において、内部メモリ50は、複数のユーザの各人について、第1補正レンズ32aによる光線角度の補正量を調整するためのデータとして、ユーザの視覚に関するデータ(以下、第1視覚データ)を記憶する。また、調整可能な第2補正レンズを備える第2観察部30Bのメモリには、複数のユーザについて、第2補正レンズによる光線角度の補正量を調整するためのデータとして、ユーザの視覚に関するデータ(以下、第2視覚データ)が記憶されている。なお、第2視覚データは、第1視覚データと同様に、撮像装置10Cの内部メモリ50に記憶されてもよい。
第1視覚データおよび第2視覚データは、特に限定されないが、例えば第1実施形態のユーザの乱視に関するデータでもよく、あるいは第2実施形態のユーザの老眼に関するデータでもよく、あるいは、これらのデータの両方を含んでもよい。また、第1視覚データおよび第2視覚データは、ユーザの目に関するデータであれば、どのようなデータを記憶してもよい。さらに、第1視覚データおよび第2視覚データは、ユーザの眼鏡の片方のレンズに関するデータ(例えば、片方の目の度数のデータ)だけとしてもよい。
また、第1視覚データおよび第2視覚データは、ユーザが眼鏡屋等から入手した眼鏡の処方箋を見ながら、ユーザの目に関する情報等を手入力することで内部メモリ50等に記憶させてもよい。あるいは、プロセッサ40Cは、撮像装置10Cの通信用インタフェイス38の通信機能を利用して、処方箋データを記憶した外部の機器から撮像装置10Cに処方箋データを送信し、受信したデータを内部メモリ50に記憶させてもよい。
第3実施形態において、制御処理部42Cは、第1観察部30Aの第1補正レンズ32a及び第2観察部30Bの第2補正レンズのうち、調整可能なレンズを対象とし、そのレンズによる光線角度の補正量を調整する。詳しくは、ユーザが第1観察部30A内または第2観察部30B内を覗き込み、覗き込んだ観察部の補正レンズによる光線角度の補正量が調整可能である場合に、制御処理部42Cは、その補正レンズの屈折力を調整する。制御処理部42Cは、図15に示すように、撮像処理部60と、読出処理部62と、取得処理部64と、調整処理部68と、更新処理部70、特定処理部72と、切替処理部74と、表示制御部76と、識別処理部78と、判断処理部80と、決定処理部82と、通知処理部84と、を備える。
制御処理部42Cは、第1実施形態の場合と同様に、接続部14、撮像素子20、背面ディスプレイ22、操作部24、内部時計37、通信用インタフェイス38、内部メモリ50およびメモリカード52と内部バス54を介して相互にデータのやり取りが可能である。また、制御処理部42Cの撮像処理部60、読出処理部62、取得処理部64、調整処理部68、更新処理部70、特定処理部72、切替処理部74、表示制御部76、識別処理部78、判断処理部80、決定処理部82および通知処理部84も内部バス54を介して相互に接続されており、相互にデータのやり取りが可能である。
なお、第1実施形態の制御処理部42Aと第3実施形態の制御処理部42Cとの違いは、読出処理部62、判断処理部80、決定処理部82および通知処理部84等であり、これら以外の同一の構成要素についての繰り返しの説明は省略する。
読出処理部62は、ユーザの視力に関するデータである第1視覚データおよび第2視覚データのうち、調整対象とする補正レンズと対応するデータを、撮像装置10Cの内部メモリ50、又は第2観察部30Bのメモリから読み出す読出処理を実行する。
判断処理部80は、第2観察部30Bが接続部14に接続されているか否かを判断する判断処理を実行する。
決定処理部82は、判断処理の結果に基づいて、第1観察部30Aの第1補正レンズ32a及び第2観察部30Bの第2補正レンズのうちの少なくとも一方による光線角度の補正量を調整するか否かを決定する決定処理を実行する。決定処理部82は、判断処理によって第2観察部30Bが接続部14に接続されていると判定された場合に、第2補正レンズが調整可能なレンズであるか否かに応じて、第2補正レンズによる光線角度の補正量を調整するか否かを決定する。
一般的に、外付け型の第2観察部30Bが接続部14に接続されているということは、ユーザが撮像対象を観察するために第2観察部30Bを用いる傾向があると考えられる。従って、第2観察部30Bが接続部14に接続されている場合、決定処理部82は、第1観察部30Aより第2観察部30Bを優先し、第2補正レンズによる光線角度の補正量を調整することを決定する。
通知処理部84は、第1補正レンズ32aおよび第2補正レンズの各々に関する情報を、ユーザに通知する通知処理を実行する。通知処理では、第1補正レンズ32aおよび第2補正レンズの各々が調整可能な補正レンズであるのか否か、および、第1補正レンズ32aおよび第2補正レンズによる光線角度の補正量が調整されているのか否か等をユーザに通知する。
次に、図16および図17に示すフローチャートを参照しながら、第3実施形態において撮像対象を撮像する場合の撮像装置10Cの動作を説明する。
なお、複数のユーザの各人について、ユーザの目に関するデータとして、第1視覚データおよび第2視覚データのうちの少なくとも一方が、対応するメモリ(内部メモリ50および第2観察部30Bのメモリ)に記憶されているものとする。ここで、第1視覚データおよび第2視覚データは、第1補正レンズ32aおよび第2補正レンズによる光線角度の補正量を調整するための調整データであることとする。
まず、ステップS41からステップS50までの動作は、2つの観察部(第1観察部30Aおよび第2観察部30B)を用いる点を除き、第1実施形態のステップS1からステップS10までの動作と同じである。
続いて、判断処理部80により、第2観察部30Bが接続部14に接続されているか否かを判断する判断処理が実行される(ステップS51)。判断処理にて第2観察部30Bが接続部14に接続されていないと判定された場合に(ステップS51でNO)、ステップS53へ進む。
一方、判断処理によって第2観察部30Bが接続部14に接続されていると判定された場合に(ステップS51でYES)、通知処理部84により、第1補正レンズ32aおよび第2補正レンズによる光線角度の補正量が調整可能であるか否かをユーザに通知する通知処理が実行される(ステップS52)。
続いて、決定処理部82により、判断処理の結果に基づいて、第1観察部30Aの第1補正レンズ32a及び第2観察部30Bの第2補正レンズによる光線角度の補正量を調整するか否かを決定する決定処理が実行される(ステップS53)。
決定処理での決定は、下記3つのケースに分かれる。
(ケース1)判断処理で第2観察部30Bが接続部14に接続されていると判定され、かつ、第2補正レンズが調整可能である場合。このケースでは、第1補正レンズ32aの調整よりも第2補正レンズの調整を優先する。すなわち、ケース1では、決定処理において、第1補正レンズ32aが調整可能であるか否かに関わらず、第1補正レンズ32aによる光線角度の補正量を調整せず、第2補正レンズによる光線角度の補正量を調整すると決定する。
(ケース2)判断処理で第2観察部30Bが接続部14に接続されていると判定され、かつ、第2補正レンズが調整可能でない場合。このケースでは、補正レンズの調整をしない。すなわち、ケース2では、決定処理において、第1補正レンズ32aが調整可能であるか否かに関わらず、第1補正レンズ32aによる光線角度の補正量を調整しないと決定する。また、第2補正レンズは、調整不可であるため、第2補正レンズによる光線角度の補正量を調整しないと決定する。
(ケース3)判断処理で第2観察部30Bが接続部14に接続されていないと判定される場合。このケースでは、第2観察部30Bが接続部14に接続されておらず第1観察部30Aのみであるため、第1補正レンズ32aの調整を行う。すなわち、ケース3では、決定処理において、第2補正レンズがなく、第1補正レンズ32aによる光線角度の補正量を調整すると決定する。
続いて、読出処理部62により、識別処理によって識別された使用ユーザの目に関するデータとして、第1視覚データおよび第2視覚データのうち、調整対象となる補正レンズと対応するデータを読み出す読出処理が実行される(ステップS61)。
続いて、調整処理部68により、読出処理で読み出された使用ユーザの目に関する調整データ(すなわち、使用ユーザの第1視覚データまたは第2視覚データ)に基づいて、調整処理が実行される(ステップS63)。調整処理では、第1補正レンズ32aおよび第2補正レンズのうち、調整対象となる補正レンズによる光線角度の補正量が調整される。
続いて、通知処理部84により、第1補正レンズ32aおよび第2補正レンズによる光線角度の補正量が調整されているのか否かをユーザに通知する通知処理が実行される(ステップS64)。
このように、ユーザの目に関するデータに基づいて調整処理を行うことにより、使用ユーザは、表示器31に表示されるスルー画像等を良好に見ることができる。
これ以降のステップS66からステップS70までの動作は、第1実施形態のステップS16からステップS20までの動作と同じである。
このように、使用ユーザは、撮像装置10Cに内蔵された第1観察部30Aと、外付け式の第2観察部30Bと、を切り替えて使用することができる。また、第2観察部30Bが撮像装置10Cに接続されている場合、ユーザは、第1観察部30Aよりも第2観察部30Bを優先して用いると考えられる。そのことを考慮して、第2観察部30Bが接続部14に接続されており、かつ第2補正レンズが調整可能であれば、調整処理では第2補正レンズによる光線角度の補正量のみを調整する。これにより、補正レンズによる光線角度の補正量の調整を合理的に実施することができる。
なお、決定処理部82は、判断処理によって第2観察部30Bが撮像装置10Cに接続されていないと判定された場合に、第1補正レンズ32aが調整可能であるか否かに応じて、第1補正レンズ32aによる光線角度の補正量を調整するか否かを決定してもよい。つまり、第2観察部30Bが接続部14に接続されていないと判定され、かつ、第1補正レンズ32aが補正可能である場合に、決定処理部82は、第1補正レンズ32aによる光線角度の補正量を調整すると決定してもよい。
一方、決定処理部82は、判断処理によって第2観察部30Bが接続部14に接続されていないと判定され、かつ、第1補正レンズ32aが調整可能でない場合に、第1補正レンズ32aによる光線角度の補正量を調整しないと決定する。
第1実施形態、第2実施形態および第3実施形態のうち、2以上の実施形態を組み合わせてもよい。また、各々の実施形態に適用可能な内容は、他の実施形態にも同様に適用可能である。
例えば、ユーザの乱視に関するデータを記憶部に記憶し、補正レンズとして、補正レンズによる光線角度の補正量を補正レンズの領域毎に調整することが可能な液晶レンズまたは液体レンズ等を用いてもよい。この場合、調整処理部が、読出処理によって読み出されたユーザの乱視に関するデータに基づいて、補正レンズによる光線角度の補正量を補正レンズの領域毎に調整してもよい。あるいは、プロセッサ40Cは、ユーザの乱視及び老眼のそれぞれの度合いを踏まえて、補正レンズによる光線角度の補正量を調整してもよい。
プロセッサ40A、40B、40Cは、それぞれ、1つ又は複数のハードウェア機器、例えば、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、MPU(Micro-Processing Unit)、又はその他のIC(Integrated Circuit)によって構成されてもよい。あるいは、これらを組み合わせて、それぞれのプロセッサ40A、40B、40Cが構成されてもよい。また、それぞれのプロセッサ40A、40B、40Cは、SoC(System on Chip)等に代表されるように、それぞれのプロセッサ40A、40B、40C全体の機能を1つのIC(Integrated Circuit)チップで構成してもよい。なお、上述したプロセッサ40A、40B、40Cのハードウェア構成は、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)によって実現してもよい。
10A、10B、10C 撮像装置
12 撮像レンズ
12a ズームレンズ
12b フォーカスレンズ
14 接続部
16 絞り
18 シャッタ
20 撮像素子
22 背面ディスプレイ
24 操作部
24a レリーズボタン
26 タッチパネル
30 観察部
30A 第1観察部
30B 第2観察部
31 表示器
32 観察光学系
32a 補正レンズ
33 接眼窓
34 センサ
35 姿勢センサ
36 輝度センサ
37 内部時計
38 通信用インタフェイス
39 レンズ調整機構
40A、40B、40C プロセッサ
42A、42B、42C 制御処理部
44 画像生成部
46a,46b レンズ駆動部
50 内部メモリ
52 メモリカード
54 内部バス
60 撮像処理部
62 読出処理部
64 取得処理部
66 判定処理部
68 調整処理部
69 補正処理部
70 更新処理部
72 特定処理部
74 切替処理部
76 表示制御部
78 識別処理部
80 判断処理部
82 決定処理部
84 通知処理部

Claims (22)

  1. 撮像素子と、
    ユーザの目に入光する光線角度を補正する補正レンズを含み、前記撮像素子の撮像対象を観察可能な観察部と、
    前記ユーザの乱視に関するデータを記憶する記憶部と、
    前記補正レンズを制御するプロセッサと、を備え、
    前記プロセッサは、
    前記データを前記記憶部から読み出す読出処理と、
    前記ユーザの目の向きを表す第1方向に対する、前記撮像素子の向きを表す第2方向の、前記撮像素子の光軸方向と前記ユーザの視線方向とが平行となる状態をもとにした相対的な傾きを判定する判定処理と、
    前記読出処理によって読み出された前記データおよび前記判定処理の結果に基づいて、前記補正レンズによる前記光線角度の補正量を調整する調整処理と、を実行する、撮像装置。
  2. 上記第1方向は、前記目の長手方向、又は短手方向であり、上記第2方向は、前記撮像素子の長手方向、又は短手方向である、請求項1に記載の撮像装置。
  3. 前記プロセッサは、前記ユーザの虹彩に関するデータを取得し、取得した前記虹彩に関するデータに基づいて、前記判定処理を実行する、請求項1または2に記載の撮像装置。
  4. 前記プロセッサは、前記ユーザの顔の三次元形状に関するデータを取得し、取得した前記顔の三次元形状に関するデータに基づいて、前記判定処理を実行する、請求項1または2に記載の撮像装置。
  5. 前記記憶部が記憶する前記乱視に関するデータは、前記光線角度の補正量についての調整データを含み、
    前記プロセッサは、前記読出処理において、前記調整データを前記記憶部から読み出し、前記調整処理において、前記読出処理によって読み出された前記調整データに基づいて、前記補正レンズによる前記光線角度の補正量を調整し、
    前記調整処理後に、前記ユーザによって前記光線角度の補正量が手動で調整された場合に、前記プロセッサは、前記ユーザによって手動で調整された前記光線角度の補正量に基づいて、前記記憶部に記憶されている前記調整データを更新する、請求項1ないしのいずれか一項に記載の撮像装置。
  6. 前記プロセッサは、
    前記ユーザが眼鏡を着用しているか否かを特定する特定処理を実行し、
    前記特定処理の結果に基づいて前記調整処理を行うか否かを切り替える、請求項1ないしのいずれか一項に記載の撮像装置。
  7. 前記観察部は、画像を表示する表示器を有し、
    前記プロセッサは、前記調整処理の実行中、前記画像を前記表示器に表示させない、請求項1ないしのいずれか一項に記載の撮像装置。
  8. 前記記憶部は、複数のユーザについて前記乱視に関するデータを記憶し、
    前記プロセッサは、前記複数のユーザの中から、前記撮像装置を使用している使用ユーザを識別する識別処理を実行し、
    前記プロセッサは、前記識別処理によって識別された前記使用ユーザの前記乱視に関するデータを前記記憶部から読み出し、前記使用ユーザの前記乱視に関するデータに基づいて、前記補正レンズによる前記光線角度の補正量を調整する、請求項1ないしのいずれか一項に記載の撮像装置。
  9. 撮像素子と、
    ユーザの目に入光する光線角度を補正する補正レンズを含み、前記撮像素子の撮像対象を観察可能な観察部と、
    前記ユーザが使用する眼鏡のレンズの領域毎の光学特性に対応するデータを記憶する記憶部と、
    前記補正レンズを制御するプロセッサと、を備え、
    前記補正レンズは、前記補正レンズによる前記光線角度の補正量を前記補正レンズの領域毎に調整することが可能であり、
    前記プロセッサは、
    前記データを前記記憶部から読み出す読出処理と、
    前記読出処理によって読み出された前記データに基づいて、前記補正レンズによる前記光線角度の補正量を前記補正レンズの領域毎に調整する調整処理と、を実行する、撮像装置。
  10. 前記記憶部に記憶された前記データは、前記眼鏡に対応する処方箋のデータに基づいた前記眼鏡のレンズの領域毎の光学特性に対応する調整データであり、
    前記プロセッサは、前記読出処理において、前記調整データを前記記憶部から読み出す、請求項に記載の撮像装置。
  11. 前記調整データは、前記眼鏡が保有する一対のレンズのうち片方のレンズの調整データである、請求項10に記載の撮像装置。
  12. 前記眼鏡のレンズが、前記眼鏡のレンズの上下方向に複数の領域に分割されている場合に、前記補正レンズにおける複数の領域の各々は、前記眼鏡のレンズにおける複数の領域の少なくとも1つと関連付けられており、
    前記プロセッサは、前記眼鏡のレンズにおける複数の領域のうち、前記関連付けられた領域の光学特性に対応するデータに基づいて、前記光線角度の補正量を前記補正レンズの領域毎に調整する、請求項ないし11のいずれか一項に記載の撮像装置。
  13. 前記観察部は、画像を表示する表示器を有し、
    前記プロセッサは、
    前記読出処理によって読み出された前記データに基づいて、前記表示器に表示される画像を補正する補正処理と、
    前記補正処理によって補正された画像を前記表示器に表示させる第1表示処理と、を実行する、請求項ないし11のいずれか一項に記載の撮像装置。
  14. 前記プロセッサは、前記調整処理の実行中の画像を前記表示器に表示させないように制御する第2表示処理を実行する、請求項13に記載の撮像装置。
  15. 前記記憶部には、前記光線角度の補正量についての調整データが記憶され、
    前記光線角度の補正量についての調整データは、前記ユーザが着用する眼鏡のレンズの領域毎の光学特性に対応する第1調整データを備え、
    前記プロセッサは、
    前記ユーザが眼鏡を着用しているか否かを特定する特定処理を実行し、
    前記特定処理の結果に基づいて、前記第1調整データを用いて前記調整処理を行うか否かを切り替える、請求項ないし14のいずれか一項に記載の撮像装置。
  16. 前記記憶部は、複数のユーザについて前記データを記憶し、
    前記プロセッサは、前記複数のユーザの中から、前記撮像装置を使用している使用ユーザを識別する識別処理を実行し、
    前記プロセッサは、前記識別処理によって識別された前記使用ユーザの前記データを前記記憶部から読み出し、前記使用ユーザの前記データに基づいて、前記補正レンズによる前記光線角度の補正量を調整する、請求項ないし15のいずれか一項に記載の撮像装置。
  17. 撮像素子と、
    ユーザの目に入光する光線角度を補正する第1補正レンズを含み、前記撮像素子の撮像対象を観察可能な第1観察部と、
    前記ユーザの目に入光する光線角度を補正する第2補正レンズを含み、前記撮像素子の撮像対象を観察可能な第2観察部を接続可能な接続部と、
    前記第1補正レンズ及び前記第2補正レンズのうちの少なくとも一方の補正レンズの補正に関し、前記ユーザの目に基づくデータを記憶する記憶部と、
    前記少なくとも一方の補正レンズを制御するプロセッサと、を備え、
    前記プロセッサは、
    前記第2観察部が前記接続部に接続されているか否かを判断する判断処理と、
    前記判断処理の結果に基づいて、前記少なくとも一方の補正レンズによる前記光線角度の補正量を調整するか否かを決定する決定処理と、を実行する、撮像装置。
  18. 前記プロセッサは、前記判断処理によって前記第2観察部が前記接続部に接続されていると判定され、かつ、前記第2補正レンズが補正可能である場合に、前記第1補正レンズによる前記光線角度の補正量を調整せず、前記第2補正レンズによる前記光線角度の補正量を調整する、請求項17に記載の撮像装置。
  19. 前記プロセッサは、前記判断処理によって前記第2観察部が前記接続部に接続されていると判定され、かつ、前記第2補正レンズが補正可能でない場合に、前記第1補正レンズによる前記光線角度の補正量を調整しない、請求項17または18に記載の撮像装置。
  20. 前記プロセッサは、前記第1補正レンズおよび前記第2補正レンズによる前記光線角度の補正量が調整可能なのか否か、および、前記第1補正レンズおよび前記第2補正レンズによる前記光線角度の補正量が調整されているのか否か、の少なくとも一方を前記ユーザに通知する通知処理を実行する、請求項17ないし19のいずれか一項に記載の撮像装置。
  21. 撮像素子と、
    ユーザの目に入光する光線角度を補正する補正レンズを含み、前記撮像素子の撮像対象を観察可能な観察部と、
    前記ユーザの乱視に関するデータを記憶する記憶部と、
    前記補正レンズを制御するプロセッサと、を備え、
    前記補正レンズは、前記補正レンズによる前記光線角度の補正量を前記補正レンズの領域毎に調整することが可能であり、
    前記プロセッサは、
    前記データを前記記憶部から読み出す読出処理と、
    前記読出処理によって読み出された前記データに基づいて、前記補正レンズによる前記光線角度の補正量を前記補正レンズの領域毎に調整する調整処理と、を実行する、撮像装置。
  22. 前記記憶部は、複数のユーザについて前記乱視に関するデータを記憶し、
    前記プロセッサは、前記複数のユーザの中から、前記撮像装置を使用している使用ユーザを識別する識別処理を実行し、
    前記プロセッサは、前記識別処理によって識別された前記使用ユーザの前記乱視に関するデータを前記記憶部から読み出し、前記使用ユーザの前記乱視に関するデータに基づいて、前記補正レンズによる前記光線角度の補正量を調整する、請求項21に記載の撮像装置。
JP2022540002A 2020-07-30 2021-03-03 撮像装置 Active JP7483011B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020128890 2020-07-30
JP2020128890 2020-07-30
PCT/JP2021/008194 WO2022024434A1 (ja) 2020-07-30 2021-03-03 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2022024434A1 JPWO2022024434A1 (ja) 2022-02-03
JP7483011B2 true JP7483011B2 (ja) 2024-05-14

Family

ID=80037944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540002A Active JP7483011B2 (ja) 2020-07-30 2021-03-03 撮像装置

Country Status (4)

Country Link
US (1) US20230176448A1 (ja)
JP (1) JP7483011B2 (ja)
CN (1) CN116113878A (ja)
WO (1) WO2022024434A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004245910A (ja) 2003-02-12 2004-09-02 Fuji Photo Film Co Ltd 視度調整システムおよび視度調整装置並びに視度調整方法
JP2009103811A (ja) 2007-10-22 2009-05-14 Nikon Corp ファインダ装置、カメラ
JP2012134680A (ja) 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置
JP2014232158A (ja) 2013-05-28 2014-12-11 株式会社ニコン 視度調整システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS614034A (ja) * 1984-06-18 1986-01-09 Canon Inc カメラの視度調整フアインダ
JPH07333690A (ja) * 1994-06-02 1995-12-22 Canon Inc 視度補正手段を有した光学装置
JPH11109260A (ja) * 1997-09-30 1999-04-23 Dainippon Printing Co Ltd 視度調整用レンズを備えた光学機器の自動視度調整システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004245910A (ja) 2003-02-12 2004-09-02 Fuji Photo Film Co Ltd 視度調整システムおよび視度調整装置並びに視度調整方法
JP2009103811A (ja) 2007-10-22 2009-05-14 Nikon Corp ファインダ装置、カメラ
JP2012134680A (ja) 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置
JP2014232158A (ja) 2013-05-28 2014-12-11 株式会社ニコン 視度調整システム

Also Published As

Publication number Publication date
JPWO2022024434A1 (ja) 2022-02-03
CN116113878A (zh) 2023-05-12
US20230176448A1 (en) 2023-06-08
WO2022024434A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
CN100365470C (zh) 具有用于包括校正各种视觉误差在内的自动清晰度调节的电子摄像机的双目光学装置,尤其是电子眼镜
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
CA2939928C (en) Apparatus and method for improving, augmenting or enhancing vision
JP6854647B2 (ja) 光学レンズ装置を着用者に対して最適化する方法
US10048750B2 (en) Content projection system and content projection method
US10271722B2 (en) Imaging to facilitate object observation
CN103595912B (zh) 局部缩放的成像方法和装置
CN103501406B (zh) 图像采集系统及图像采集方法
JP6461425B2 (ja) 映像投影機能付き眼鏡
CN107890336B (zh) 基于智能手持设备的屈光度检测系统
US20090059364A1 (en) Systems and methods for electronic and virtual ocular devices
JP6422954B2 (ja) 焦点距離の調節
KR20220088678A (ko) 투영 면에 시각적 장면을 매핑하는 장치 및 방법
JP7483011B2 (ja) 撮像装置
WO2014061294A1 (ja) 瞳孔位置測定方法及び両用レンズの作製方法
US20020071047A1 (en) Sight enhancement device
JP2011028011A (ja) 映像表示装置
JP2016059607A (ja) 視覚補助システムおよび視覚補助装置
JP2014232158A (ja) 視度調整システム
WO2010098274A1 (ja) ヘッドマウントディスプレイ
KR200489909Y1 (ko) 안경 렌즈 제작을 위해 필요한 파라미터 측정 장치
CN117982323A (zh) 一种视觉受损患者的视力矫正增强方法及装置
TW202321783A (zh) 眼鏡裝置和相關方法
JP2022124778A (ja) 電子機器
JP2021089351A (ja) 頭部装着システム及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7483011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150