JP6488546B2 - Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program - Google Patents
Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program Download PDFInfo
- Publication number
- JP6488546B2 JP6488546B2 JP2014017537A JP2014017537A JP6488546B2 JP 6488546 B2 JP6488546 B2 JP 6488546B2 JP 2014017537 A JP2014017537 A JP 2014017537A JP 2014017537 A JP2014017537 A JP 2014017537A JP 6488546 B2 JP6488546 B2 JP 6488546B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- spectacle wearing
- subject
- spectacle
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 40
- 238000003703 image analysis method Methods 0.000 title claims description 7
- 238000004458 analytical method Methods 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 description 152
- 238000003384 imaging method Methods 0.000 description 61
- 208000001491 myopia Diseases 0.000 description 54
- 238000005259 measurement Methods 0.000 description 52
- 210000001747 pupil Anatomy 0.000 description 43
- 238000001514 detection method Methods 0.000 description 25
- 238000005286 illumination Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 239000011521 glass Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 5
- 230000004907 flux Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Eyeglasses (AREA)
- Image Processing (AREA)
Description
本発明は、眼鏡を製作するために必要な眼鏡装用パラメータを測定するために、撮影画像の解析を行う眼鏡装用画像解析装置、眼鏡装用画像解析方法、及び眼鏡装用画像解析プログラムに関する。 The present invention relates to a spectacle wearing image analysis apparatus, a spectacle wearing image analysis method, and a spectacle wearing image analysis program for analyzing a photographed image in order to measure spectacle wearing parameters necessary for manufacturing spectacles.
眼鏡フレームを装用した状態の被検者の顔を撮像装置によって撮影し、その画像から眼鏡を製作するために必要な眼鏡装用パラメータを算出する眼鏡装用画像解析装置が提案されている(特許文献1参照)。このような装置では、第1状態(例えば、遠方視状態)の被検者を撮影した撮影画像から被検者の遠方視状態の眼鏡装用パラメータが算出されている。また、第2状態(例えば、近方視状態)の被検者を撮影した撮影画像から被検者の近方視状態の眼鏡装用パラメータが算出されている。 There has been proposed a spectacle wearing image analysis apparatus that photographs a face of a subject wearing a spectacle frame with an imaging device and calculates spectacle wearing parameters necessary for manufacturing spectacles from the image (Patent Document 1). reference). In such an apparatus, the spectacle wearing parameters of the subject in the far vision state are calculated from the captured image obtained by photographing the subject in the first state (for example, the far vision state). Moreover, the spectacle wearing parameter of the near vision state of the subject is calculated from the captured image obtained by photographing the subject in the second state (for example, the near vision state).
従来の装置では、アタッチメントやシール等が眼鏡フレームに取り付けられ、撮影された撮影画像では、それらを目印として眼鏡フレームの位置を検出し、眼鏡装用パラメータを測定していた(特許文献2参照)。また、アタッチメントやシール等を眼鏡フレームに取り付けること無く、撮影を行った場合、撮影画像より眼鏡フレームのエッジを検出することによって、眼鏡フレームを検出していた。 In the conventional apparatus, an attachment, a seal, and the like are attached to the spectacle frame, and in the captured image, the spectacle wearing parameters are detected by using them as a mark and the spectacle wearing parameters are measured (see Patent Document 2). Further, when photographing is performed without attaching an attachment or a seal to the spectacle frame, the spectacle frame is detected by detecting the edge of the spectacle frame from the photographed image.
ところで、眼鏡装用パラメータを算出する場合には、第1状態における撮影画像と第2状態における撮影画像を取得し、それぞれ解析を行う。しかしながら、撮影画像から、眼鏡装用パラメータの取得の際に、眉毛、鼻、髪のような部位と識別をしながら解析を行うため、眼鏡装用パラメータの取得に時間がかかる。このため、第1状態における撮影画像と第2状態における撮影画像の解析をそれぞれ行った場合に、多くの時間がかかってしまう。また、第1状態における撮影画像と第2状態における撮影画像の解析をそれぞれ行った場合に、取得される眼鏡装用パラメータの精度がよくない場合があった。 By the way, when calculating the spectacle wearing parameters, the captured image in the first state and the captured image in the second state are acquired and analyzed respectively. However, when acquiring spectacle wearing parameters from a photographed image, analysis is performed while distinguishing from eyebrow, nose, and hair parts, so it takes time to acquire spectacle wearing parameters. For this reason, it takes much time to analyze the captured image in the first state and the captured image in the second state. In addition, when analyzing the captured image in the first state and the captured image in the second state, the accuracy of the acquired spectacle wearing parameters may not be good.
本発明は、上記問題点の少なくとも1つを鑑み、好適に眼鏡装用パラメータを算出することのできる眼鏡装用画像解析装置、眼鏡装用画像解析方法、及び眼鏡装用画像解析プログラムを提供することを技術課題とする。 In view of at least one of the above problems, the present invention provides a spectacle wearing image analysis apparatus, a spectacle wearing image analysis method, and a spectacle wearing image analysis program capable of suitably calculating spectacle wearing parameters. And
(1) 本開示の第1態様に係る眼鏡装用画像解析装置は、眼鏡を装用した被検者の画像を解析し、被検者の眼鏡装用パラメータを測定するための眼鏡装用画像解析装置であって、被検者の第1状態を撮影した第1撮影画像と、被検者の第1状態とは異なる第2状態を撮影した第2撮影画像と、を取得する画像取得手段と、前記第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得し、前記第1眼鏡装用パラメータに基づいて、前記第2撮影画像を解析し、第2眼鏡装用パラメータを取得する解析手段と、を備え、前記解析手段は、前記第1眼鏡装用パラメータとして、前記被検者の眼鏡に関するレンズと眼鏡フレームの境界であるレンズの下端の位置を規定するための位置情報を、前記第1撮影画像に基づいて取得し、表示手段に前記第2撮影画像を表示するとともに、前記第1撮影画像より取得した前記レンズの下端位置に対応する指標であって、前記第2撮影画像上に重畳させる前記指標の位置を前記レンズの下端の前記位置情報に基づいて設定し、前記指標を前記第2撮影画像上における設定した位置に重畳表示し、前記指標の位置に基づいて前記第2眼鏡装用パラメータを取得することを特徴とする。
(2) 本開示の第2態様に係る眼鏡装用画像解析方法は、眼鏡を装用した被検者の画像を解析し、被検者の眼鏡装用パラメータを測定するための眼鏡装用画像解析方法であって、被検者の第1状態を撮影した第1撮影画像と、被検者の第1状態とは異なる第2状態を撮影した第2撮影画像と、を取得する画像取得ステップと、前記第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得し、前記第1眼鏡装用パラメータに基づいて、前記第2撮影画像を解析し、第2眼鏡装用パラメータを取得する解析ステップであって、前記第1眼鏡装用パラメータとして、前記被検者の眼鏡に関するレンズと眼鏡フレームの境界であるレンズの下端の位置を規定するための位置情報を、前記第1撮影画像に基づいて取得し、表示手段に前記第2撮影画像を表示するとともに、前記第1撮影画像より取得した前記レンズの下端位置に対応する指標であって、前記第2撮影画像上に重畳させる前記指標の位置を前記レンズの下端の前記位置情報に基づいて設定し、前記指標を前記第2撮影画像上における設定した位置に重畳表示し、前記指標の位置に基づいて前記第2眼鏡装用パラメータを取得する解析ステップと、を備えることを特徴とする。
(3) 本開示の第3態様に係る眼鏡装用画像解析プログラムは、眼鏡を装用した被検者の画像を解析し、被検者の眼鏡装用パラメータを測定するための眼鏡装用画像解析装置において実行される眼鏡装用画像解析プログラムであって、前記眼鏡装用画像解析装置のプロセッサによって実行されることで、被検者の第1状態を撮影した第1撮影画像と、被検者の第1状態とは異なる第2状態を撮影した第2撮影画像と、を取得する画像取得ステップと、前記第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得し、前記第1眼鏡装用パラメータに基づいて、前記第2撮影画像を解析し、第2眼鏡装用パラメータを取得する解析ステップであって、前記第1眼鏡装用パラメータとして、前記被検者の眼鏡に関するレンズと眼鏡フレームの境界であるレンズの下端の位置を規定するための位置情報を、前記第1撮影画像に基づいて取得し、表示手段に前記第2撮影画像を表示するとともに、前記第1撮影画像より取得した前記レンズの下端位置に対応する指標であって、前記第2撮影画像上に重畳させる前記指標の位置を前記レンズの下端の前記位置情報に基づいて設定し、前記指標を前記第2撮影画像上における設定した位置に重畳表示し、前記指標の位置に基づいて前記第2眼鏡装用パラメータを取得する解析ステップと、を前記眼鏡装用画像解析装置に実行させることを特徴とする。
(1) A spectacle wearing image analysis apparatus according to a first aspect of the present disclosure is an spectacle wearing image analysis apparatus for analyzing an image of a subject wearing spectacles and measuring a spectacle wearing parameter of the subject. An image acquisition means for acquiring a first photographed image obtained by photographing the first state of the subject and a second photographed image obtained by photographing a second state different from the first state of the subject; Analysis means for obtaining a first spectacle wearing parameter by analyzing one photographed image, analyzing the second photographed image based on the first spectacle wearing parameter, and obtaining a second spectacle wearing parameter; And the analysis means includes, as the first spectacle wearing parameter, position information for defining a position of a lower end of the lens, which is a boundary between the lens related to the subject's spectacles and a spectacle frame , in the first photographed image. Get based on display The second captured image is displayed on the means, and an index corresponding to the lower end position of the lens acquired from the first captured image, the position of the index to be superimposed on the second captured image is set on the lens. It is set based on the position information of the lower end, the index is superimposed on the set position on the second captured image, and the second spectacle wearing parameter is acquired based on the position of the index .
(2) The spectacle wearing image analysis method according to the second aspect of the present disclosure is a spectacle wearing image analysis method for analyzing an image of a subject wearing spectacles and measuring a spectacle wearing parameter of the subject. An image acquisition step of acquiring a first photographed image obtained by photographing the first state of the subject and a second photographed image obtained by photographing a second state different from the first state of the subject; An analysis step of obtaining a first spectacle wearing parameter by analyzing one photographed image, analyzing the second photographed image based on the first spectacle wearing parameter, and obtaining a second spectacle wearing parameter; The position information for defining the position of the lower end of the lens that is the boundary between the lens and the spectacle frame as the first spectacle wearing parameter is acquired based on the first photographed image and displayed. Said to the means While displaying a 2nd picked-up image, it is a parameter | index corresponding to the lower end position of the said lens acquired from the said 1st picked-up image, Comprising: The position of the said index superimposed on the said 2nd captured image is the said lower end of the said lens An analysis step of setting based on position information, displaying the index superimposed on the set position on the second captured image, and acquiring the second spectacle wearing parameter based on the position of the index. Features.
(3) The spectacle wearing image analysis program according to the third aspect of the present disclosure is executed in a spectacle wearing image analysis apparatus for analyzing an image of a subject wearing spectacles and measuring a spectacle wearing parameter of the subject. A spectacle wearing image analysis program that is executed by a processor of the spectacle wearing image analysis apparatus, and a first photographed image obtained by photographing the first state of the subject, and the first state of the subject. Obtains a first spectacle wearing parameter by analyzing an image acquisition step of acquiring a second photographed image obtained by photographing different second states, and based on the first spectacle wearing parameter. Analyzing the second captured image and obtaining a second spectacle wearing parameter, wherein the first spectacle wearing parameter includes a lens and a spectacle lens associated with the subject's spectacles. Position information for defining the position of the lower end of the lens, which is the boundary of the frame, is acquired based on the first photographed image, and the second photographed image is displayed on the display means and obtained from the first photographed image. An index corresponding to the lower end position of the lens, the position of the index to be superimposed on the second captured image is set based on the position information of the lower end of the lens, and the index is set to the second captured image An analysis step of superimposing and displaying on the set position above and acquiring the second spectacle wearing parameter based on the position of the index is executed by the spectacle wearing image analysis apparatus.
本発明によれば、好適に眼鏡装用パラメータを算出することができる。 According to the present invention, the spectacle wearing parameters can be suitably calculated.
以下、本実施形態を図面に基づいて説明する。図1〜図9は本実施形態に係る眼鏡装用画像解析装置の構成について説明する図である。なお、以下の説明において、被検者の左右方向をX軸方向、被検者の上下方向をY軸方向、被検者の前後方向をZ軸方向として説明する。 Hereinafter, the present embodiment will be described with reference to the drawings. 1-9 is a figure explaining the structure of the spectacles wear image-analysis apparatus based on this embodiment. In the following description, the left-right direction of the subject will be described as the X-axis direction, the up-down direction of the subject as the Y-axis direction, and the front-back direction of the subject will be described as the Z-axis direction.
<概要>
本発明の実施形態に係る眼鏡装用画像解析装置1の概要について説明する。本実施形態に関わる眼鏡装用画像解析装置1は、照明光学系110、遠用測定光学系200、近用測定光学系300、光路切換ユニット400と、側方撮影光学系500、を主に備える。
<Overview>
An outline of the spectacle wearing image analysis apparatus 1 according to the embodiment of the present invention will be described. The spectacle wearing image analysis apparatus 1 according to the present embodiment mainly includes an illumination optical system 110, a distance measurement optical system 200, a near measurement optical system 300, an optical path switching unit 400, and a side imaging optical system 500.
例えば、眼鏡装用画像解析装置1は、眼鏡を装用した被検者の画像を解析し、被検者の眼鏡装用パラメータを測定するために用いられる。 For example, the spectacle wearing image analysis apparatus 1 is used for analyzing an image of a subject wearing spectacles and measuring spectacle wearing parameters of the subject.
例えば、遠用測定光学系200、近用測定光学系300は、被検者の正面画像を撮影するために用いられる。また、側方撮影光学系500は、被検者の側方画像を撮影するために用いられる。 For example, the distance measurement optical system 200 and the near measurement optical system 300 are used to capture a front image of the subject. The side photographing optical system 500 is used for photographing a side image of the subject.
例えば、眼鏡装用画像解析装置1は、画像取得手段と、解析手段と、を備える。例えば、本実施形態において、画像取得手段と解析手段は、兼用される。もちろん、別途、画像取得手段と解析手段がそれぞれ設けられる構成としてもよい。 For example, the spectacle wearing image analysis apparatus 1 includes an image acquisition unit and an analysis unit. For example, in this embodiment, the image acquisition unit and the analysis unit are combined. Of course, the image acquisition unit and the analysis unit may be provided separately.
例えば、画像取得手段(制御部70)は、被検者の第1状態を撮影した第1撮影画像と、被検者の第1状態とは異なる第2状態を撮影した第2撮影画像とを取得する。また、例えば、解析手段(制御部70)は、第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得し、第1眼鏡装用パラメータに基づいて、第2撮影画像を解析し、第2眼鏡装用パラメータを取得する。 For example, the image acquisition means (the control unit 70) obtains a first photographed image obtained by photographing the first state of the subject and a second photographed image obtained by photographing a second state different from the first state of the subject. get. Further, for example, the analysis unit (the control unit 70) acquires the first spectacle wearing parameter by analyzing the first picked-up image, analyzes the second picked-up image based on the first spectacle wearing parameter, 2. Obtain spectacle wearing parameters.
例えば、眼鏡装用パラメータとは、瞳孔情報(例えば、瞳孔位置、瞳孔径等)およびフレーム情報(例えば、フレームの幅、フレーム位置等)等が挙げられる。また、例えば、眼鏡装用パラメータとは、瞳孔情報およびフレーム情報から求められるような、瞳孔間距離、アイポジション高さ(フィッティングポイント高さ)等が挙げられる。また、例えば、側方画像からフレーム部位を抽出することによって、算出される眼鏡装用パラメータ(例えば、フレーム前傾角度、眼鏡装用距離等)もある。 For example, the spectacle wearing parameters include pupil information (for example, pupil position, pupil diameter, etc.), frame information (for example, frame width, frame position, etc.), and the like. Further, for example, the spectacle wearing parameters include an interpupillary distance, an eye position height (fitting point height), and the like as determined from pupil information and frame information. In addition, for example, there are spectacle wearing parameters (for example, frame forward tilt angle, spectacle wearing distance, etc.) calculated by extracting a frame part from a side image.
なお、第1状態と第2状態としては、異なる撮影状態であればよい。例えば、異なる撮影状態は、撮影される被検者の撮影状態(顔位置、姿勢、視線の方向等)が異なる構成が挙げられる。 Note that the first state and the second state may be different shooting states. For example, the different imaging states include a configuration in which the imaging state (face position, posture, line-of-sight direction, etc.) of the subject to be imaged is different.
例えば、第1状態と第2状態との撮影画像は、固視標の呈示条件が異なる構成によって撮影されることで取得される。例えば、固視標の呈示条件の変更は、固視標のX軸方向、Y軸方向、Z軸方向(被検者と固視標との距離方向)の少なくともいずれかの呈示位置の変更、固視標の光源の光量変更等が挙げられる。 For example, the captured images in the first state and the second state are acquired by capturing images with different fixation target presentation conditions. For example, the fixation target presentation condition is changed by changing the presentation position of at least one of the fixation target in the X-axis direction, the Y-axis direction, and the Z-axis direction (distance direction between the subject and the fixation target), For example, changing the light amount of the light source of the fixation target.
例えば、固視標のX軸方向、Y軸方向の少なくともいずれかの呈示位置を変更することによって、被検者の視線方向が変更される。例えば、視線方向を変更することによって、被検者を遠方視状態又は近方視状態にすることができる。なお、例えば、固視標のX軸方向、Y軸方向、Z軸方向の少なくともいずれかの呈示位置を変更する構成としては、固視標投影光学系200a、固視標投影光学系300を用いる構成が挙げられる。この場合、例えば、撮影を行う際に点灯する固視標の光源を、固視標投影光学系200aと固視標投影光学系300aとで切り換える構成が挙げられる。また、例えば、固視標投影光学系300aにおける光源320の呈示位置を変更させる構成が挙げられる。 For example, the line-of-sight direction of the subject is changed by changing the presentation position of at least one of the X-axis direction and the Y-axis direction of the fixation target. For example, the subject can be brought into a far vision state or a near vision state by changing the viewing direction. For example, the fixation target projection optical system 200a and the fixation target projection optical system 300 are used as a configuration for changing the presentation position of at least one of the X axis direction, the Y axis direction, and the Z axis direction of the fixation target. A configuration is mentioned. In this case, for example, there is a configuration in which the light source of the fixation target that is turned on when photographing is switched between the fixation target projection optical system 200a and the fixation target projection optical system 300a. Further, for example, there is a configuration in which the presentation position of the light source 320 in the fixation target projection optical system 300a is changed.
例えば、第1状態と第2状態とで異なる撮影状態としては、遠方視状態と近方視状態との組み合わせが挙げられる。もちろん、第1状態と第2状態とは、撮影時の状態が異なる状態であればよい。例えば、第1状態として近方視状態、第2状態として近方視状態であってもよい。この場合、例えば、同様の近方視状態であっても、被検眼と装置間の距離や顔位置等を変更させる構成が挙げられる。 For example, the photographing state that is different between the first state and the second state includes a combination of a far vision state and a near vision state. Of course, the first state and the second state may be any state in which the state at the time of shooting is different. For example, the first state may be a near vision state, and the second state may be a near vision state. In this case, for example, a configuration in which the distance between the eye to be examined and the apparatus, the face position, and the like are changed even in the same near vision state.
例えば、本実施形態において、制御部70は、第1撮影画像として、遠方視状態の被検者を撮影した撮影画像を取得し、第2撮影画像として、近方視状態の被検者を撮影した撮影画像を取得する。制御部70は、遠方視状態の被検者を撮影した第1撮影画像を解析して、第1眼鏡装用パラメータを取得し、第1眼鏡装用パラメータに基づいて、近方視状態の被検者を撮影した第2撮影画像を解析する。このように、遠方視状態と近方視状態での撮影画像を取得し、それらから眼鏡装用パラメータをそれぞれ取得することで、最適な累進レンズの選択、カスタムレンズの作製等に用いることができる。 For example, in the present embodiment, the control unit 70 acquires a photographed image obtained by photographing a subject in the far vision state as the first photographed image, and photographs the subject in the near vision state as the second photographed image. Acquire the captured image. The control unit 70 analyzes the first photographed image obtained by photographing the subject in the far vision state, acquires the first spectacle wearing parameter, and based on the first spectacle wearing parameter, the subject in the near vision state The second photographed image obtained by photographing is analyzed. In this way, by acquiring the captured images in the far vision state and the near vision state and obtaining the spectacle wearing parameters from them, it can be used for selection of an optimal progressive lens, production of a custom lens, and the like.
例えば、第1撮影画像と第2撮影画像を取得する構成としては、眼鏡装用画像解析装置1に備えられた各種光学系を用いて、撮影する構成が挙げられる。また、例えば、第1撮影画像と第2撮影画像を取得する構成としては、別途異なる装置で撮影された画像を受信することによって、取得する構成が挙げられる。 For example, as a configuration for acquiring the first captured image and the second captured image, a configuration in which various types of optical systems provided in the spectacle wearing image analysis apparatus 1 are used is used. Further, for example, as a configuration for acquiring the first captured image and the second captured image, a configuration in which an image captured by a different device is received and acquired.
例えば、第1眼鏡装用パラメータに基づいて、近方視状態の被検者を撮影した第2撮影画像を解析する構成としては、第1眼鏡装用パラメータを近方視状態の被検者を撮影した第2撮影画像の解析に利用する構成であればよい
例えば、制御部70は、第1眼鏡装用パラメータとして、被検者の眼又は眼鏡(例えば、眼鏡フレーム及びレンズ)に関する位置を規定するための位置情報を、第1撮影画像に基づいて取得する。制御部70は、表示手段に第2撮影画像を表示するとともに、位置情報に基づいて、表示手段上における第2撮影画像の表示領域に対し、第1撮影画像の位置情報に対応する指標を表示する。すなわち、制御部70は、第1撮影画像から検出した位置情報に基づいて、第1撮影画像から検出した部位の位置と対応する第2撮影画像上の位置に、対応表示を行う。制御部70は、指標の位置に基づいて第2眼鏡装用パラメータを取得する。例えば、第1眼鏡装用パラメータとして、レンズ下端を用いる場合、制御部70は、第1眼鏡装用パラメータとして、レンズの下端の位置情報を第1撮影画像に基づいて取得する。制御部70は、レンズの下端の位置情報に基づいて、第1撮影画像より取得したレンズの下端位置に対応する指標を第2撮影画像上の位置に重畳表示させる。制御部70は、指標に基づいて第2眼鏡装用パラメータを取得する。もちろん、被検者の眼又は眼鏡に関する位置を規定するための位置情報は、レンズの下端の位置情報に限定されない。被検者の眼又は眼鏡に関するものであれば適用することができる。例えば、フレームの上端や、ブリッジの位置等を用いる構成が挙げられる。
For example, based on the first spectacle wearing parameter, as a configuration for analyzing the second photographed image obtained by photographing the subject in the near vision state, the first spectacle wearing parameter was photographed in the near vision state subject. For example, the control unit 70 may define the position of the subject's eye or glasses (for example, a spectacle frame and a lens) as the first spectacle wearing parameter. Position information is acquired based on the first captured image. The control unit 70 displays the second photographed image on the display unit, and displays an index corresponding to the position information of the first photographed image on the display area of the second photographed image on the display unit based on the position information. To do. That is, based on the position information detected from the first captured image, the control unit 70 performs a corresponding display at a position on the second captured image corresponding to the position of the part detected from the first captured image. The control unit 70 acquires the second spectacle wearing parameter based on the position of the index. For example, when the lower end of the lens is used as the first spectacle wearing parameter, the control unit 70 acquires the position information of the lower end of the lens based on the first captured image as the first spectacle wearing parameter. Based on the position information of the lower end of the lens, the control unit 70 causes an index corresponding to the lower end position of the lens acquired from the first captured image to be superimposed on the position on the second captured image. The control unit 70 acquires the second spectacle wearing parameter based on the index. Of course, the position information for defining the position of the subject's eye or glasses is not limited to the position information of the lower end of the lens. The present invention can be applied if it relates to the eye or glasses of the subject. For example, a configuration using the upper end of the frame, the position of the bridge, and the like can be given.
また、例えば、第1眼鏡装用パラメータを近方視状態の被検者を撮影した第2撮影画像の解析に利用する構成として、制御部70は、第1眼鏡装用パラメータとして、被検者の眼又は眼鏡に関する位置を規定するための位置情報を、第1撮影画像に基づいて取得する。制御部70は、位置情報に基づいて、第2撮影画像を解析し、第2眼鏡装用パラメータを取得する。 Further, for example, as a configuration in which the first spectacle wearing parameter is used for analysis of the second photographed image obtained by photographing the subject in the near vision state, the control unit 70 uses the eye of the subject as the first spectacle wearing parameter. Or the positional information for prescribing | regulating the position regarding spectacles is acquired based on a 1st picked-up image. Based on the position information, the control unit 70 analyzes the second captured image and acquires the second spectacle wearing parameter.
例えば、制御部70は、第1状態の撮影画像から検出された第1眼鏡装用パラメータ(例えば、前傾角、VD、フレーム幅等)を第2状態の第2眼鏡装用パラメータとして適用する構成があげられる。これによって、第2状態の解析時に再検出をしなくてもよくなり、スムーズに眼鏡パラメータを算出することができる。 For example, the control unit 70 may be configured to apply a first spectacle wearing parameter (for example, forward tilt angle, VD, frame width, etc.) detected from the captured image in the first state as the second spectacle wearing parameter in the second state. It is done. This eliminates the need for redetection during the analysis of the second state, and allows the eyeglass parameters to be calculated smoothly.
また、例えば、制御部70は、第1状態の第1撮影画像から取得された位置情報に基づいて、第2状態の第2撮影画像から位置情報を取得する際に、第2状態の第2撮影画像の解析範囲を設定し、解析を行う構成が挙げられる。例えば、制御部70は、第1状態の第1撮影画像から、瞳孔位置を検出する。制御部70は、第2状態の第2撮影画像を解析する際に、第1状態の第1撮影画像から取得された瞳孔位置の情報に基づいて、第2撮影画像上での瞳孔位置を検索する。すなわち、制御部70は、瞳孔位置を検出する際の画像上における解析を行う領域を、第1状態の撮影画像から取得された瞳孔位置情報に基づいて、設定する。これによって、第2状態の撮影画像において、瞳孔位置を検出する際に、画像全体の領域を解析しなくても瞳孔位置を検出することができ、スムーズに第2眼鏡装用パラメータを取得することができる。なお、上記記載では、瞳孔位置の検出を例に挙げたがこれに限定されない。被検者の眼又は眼鏡フレームに関する位置情報の取得の際には、本実施例に開示の技術を適用することができる。例えば、被検者の眼又は眼鏡フレームに関する位置情報の取得としては、眼鏡フレーム全体、眼鏡フレームのブリッジ部分、被検者の目頭等、の位置情報の取得が挙げられる。 Further, for example, when the control unit 70 acquires the position information from the second captured image in the second state based on the position information acquired from the first captured image in the first state, the second state in the second state. There is a configuration in which an analysis range of a captured image is set and analysis is performed. For example, the control unit 70 detects the pupil position from the first captured image in the first state. When analyzing the second captured image in the second state, the control unit 70 searches for the pupil position on the second captured image based on the pupil position information acquired from the first captured image in the first state. To do. That is, the control unit 70 sets a region to be analyzed on the image when detecting the pupil position based on the pupil position information acquired from the captured image in the first state. Accordingly, when detecting the pupil position in the captured image in the second state, the pupil position can be detected without analyzing the entire region of the image, and the second spectacle wearing parameters can be acquired smoothly. it can. In the above description, detection of the pupil position is given as an example, but the present invention is not limited to this. The technique disclosed in the present embodiment can be applied when acquiring position information related to the eye or eyeglass frame of the subject. For example, acquisition of position information related to the eye or eyeglass frame of the subject includes acquisition of position information of the entire eyeglass frame, the bridge portion of the eyeglass frame, the eye of the subject, and the like.
<実施例>
図1は、本実施例に係る眼鏡装用画像解析装置1の外観の概略構成図である。図2は、本実施例に係る眼鏡装用画像解析装置1に収納される光学系の概略構成図である。以下、図1及び図2を参照して、本実施例に係る眼鏡装用画像解析装置1の構成について説明する。図1に示されるように、眼鏡装用画像解析装置の装置本体3の内部には、後述する種々の測定光学系、駆動系、制御系等が備わる。装置本体3の被検者側には呈示窓5が備わる。呈示窓6は、被検者に固視標を呈示する際に、固視光束を通過させる窓である。同じく装置本体3の被検者側には顔支持ユニット5が備わる。顔支持ユニット5は、被検者の顔を支持するためのユニットである。装置本体3の検者側には操作ユニット(操作部)10が備わる。なお、本実施例においては、第1状態として、遠方視状態を例に挙げて説明する。また、本実施例においては、第2状態として、近方視状態を例に挙げて説明する。もちろん、第1状態として、近方視状態を用いてもよい。第2状態として、遠方視状態を用いてもよい。
<Example>
FIG. 1 is a schematic configuration diagram of an appearance of a spectacle wearing image analysis apparatus 1 according to the present embodiment. FIG. 2 is a schematic configuration diagram of an optical system housed in the spectacle wearing image analysis apparatus 1 according to the present embodiment. Hereinafter, the configuration of the spectacle wearing image analysis apparatus 1 according to the present embodiment will be described with reference to FIGS. 1 and 2. As shown in FIG. 1, the apparatus main body 3 of the spectacle wearing image analysis apparatus includes various measurement optical systems, a drive system, a control system, and the like, which will be described later. A presentation window 5 is provided on the subject side of the apparatus body 3. The presentation window 6 is a window through which a fixation light beam passes when presenting a fixation target to a subject. Similarly, a face support unit 5 is provided on the subject side of the apparatus body 3. The face support unit 5 is a unit for supporting the subject's face. An operation unit (operation unit) 10 is provided on the examiner side of the apparatus main body 3. In the present embodiment, the far vision state will be described as an example as the first state. In the present embodiment, the near vision state will be described as an example of the second state. Of course, the near vision state may be used as the first state. A far vision state may be used as the second state.
<操作ユニット>
操作ユニット10は、入力された操作指示に応じた信号を後述する制御部70に出力する。本実施例における操作ユニット10は、タッチパネル式の表示部15が用いられる。すなわち、本実施例においては、操作ユニットと表示部が兼用される。もちろん、操作ユニットと表示部が別に設けられた構成であってもよい。例えば、操作ユニット10には、マウス、ジョイスティック、キーボード等の操作手段の少なくともいずれかを用いる構成が挙げられる。例えば、表示部15は、眼鏡装用パラメータ測定装置1の本体に搭載されたディスプレイであってもよいし、本体に接続されたディスプレイであってもよい。もちろん、タッチパネル式でなくともよい。例えば、パーソナルコンピュータ(以下、「PC」という。)のディスプレイを用いてもよい。また、例えば、複数のディスプレイが併用されてもよい。表示部15には、撮影された遠方視及び近方視状態の正面画像又は側方画像を含む各種画像が表示されてもよい。
<Operation unit>
The operation unit 10 outputs a signal corresponding to the input operation instruction to the control unit 70 described later. The operation unit 10 in this embodiment uses a touch panel type display unit 15. That is, in the present embodiment, the operation unit and the display unit are combined. Of course, the operation unit and the display unit may be provided separately. For example, the operation unit 10 includes a configuration using at least one of operation means such as a mouse, a joystick, and a keyboard. For example, the display unit 15 may be a display mounted on the main body of the spectacle wearing parameter measurement device 1 or a display connected to the main body. Of course, it may not be a touch panel type. For example, a display of a personal computer (hereinafter referred to as “PC”) may be used. For example, a plurality of displays may be used in combination. The display unit 15 may display various images including a captured front image or a side image in the far vision and near vision states.
<顔支持ユニット>
顔支持ユニット5は、被検者の額を支持する。そして、顔支持ユニット5は、後述する測定光学系(例えば、遠用測定光学系200,近用測定光学系300,反射ミラー410等)と被検者との距離を一定にする。また、顔支持ユニット5は、被検者の左右方向に回転可能であり、被検者の顔の向きを調整することができる。これによって、被検者の顔の向きが左右方向のいずれかにずれている場合、被検者の顔が正面を向くように、顔支持ユニット30を回転させることができる。
<Face support unit>
The face support unit 5 supports the subject's forehead. The face support unit 5 keeps the distance between the measurement optical system (for example, the distance measurement optical system 200, the near measurement optical system 300, the reflection mirror 410, etc.) and the subject to be described later. Further, the face support unit 5 can rotate in the left-right direction of the subject, and can adjust the orientation of the subject's face. Accordingly, when the orientation of the subject's face is shifted to either the left or right direction, the face support unit 30 can be rotated so that the subject's face faces the front.
顔支持ユニット5は、当節部31、作動距離調節部40、左右回転調節部50を主に備える。当接部31は、被検者の顔に接触する部分である。作動距離調節部40は、被検者と後述の測定光学系との距離を調節するために当接部31の位置をZ軸方向に調節する。例えば、本実施例において、検者によって作動距離調節部40の調節ノブ41が操作されることによって、当接部31のZ軸方向(作動距離方向)における位置が調節される。水平回旋調節部50は、被検者の顔が正面を向くように、当接部31の左右方向の角度を調節する。例えば、本実施例において、検者によって左右回転調整部50の調節ノブ51が操作されることによって、当接部31の左右方向の位置が調節される。 The face support unit 5 mainly includes a joint portion 31, a working distance adjustment unit 40, and a left / right rotation adjustment unit 50. The abutting portion 31 is a portion that contacts the subject's face. The working distance adjustment unit 40 adjusts the position of the contact portion 31 in the Z-axis direction in order to adjust the distance between the subject and a measurement optical system described later. For example, in this embodiment, when the adjustment knob 41 of the working distance adjusting unit 40 is operated by the examiner, the position of the contact portion 31 in the Z-axis direction (working distance direction) is adjusted. The horizontal rotation adjusting unit 50 adjusts the angle in the left-right direction of the contact portion 31 so that the face of the subject faces the front. For example, in this embodiment, the position of the contact portion 31 in the left-right direction is adjusted by the operator operating the adjustment knob 51 of the left-right rotation adjustment portion 50.
なお、顔支持ユニット5は本実施形態の構成に限定されない。本実施例においては、被検者の額を支持するものとして説明したが、被検者のあごでもよいし、頬、鼻などでもよい。被検者の顔を支持する構成であればよい。また、本実施例において、顔支持ユニット5は、検者が調節ノブ41,51を操作することによって、当接部31の位置が調節される構成としたがこれに限定されない。顔支持ユニット5は、モータ等の駆動部を有し、操作ユニット10の操作等によって、電動で当接部31の位置が調整される構成としてもよい。 The face support unit 5 is not limited to the configuration of this embodiment. In the present embodiment, it has been described that the subject's forehead is supported, but it may be the subject's chin, cheek, nose, or the like. Any configuration that supports the face of the subject may be used. In the present embodiment, the face support unit 5 has a configuration in which the position of the contact portion 31 is adjusted by the examiner operating the adjustment knobs 41 and 51, but is not limited thereto. The face support unit 5 may include a drive unit such as a motor, and the position of the contact unit 31 may be adjusted electrically by operation of the operation unit 10 or the like.
<光学系>
次に、図2を参照して、本実施例に係る眼鏡装用画像解析装置1に収納される光学系について説明する。本実施例の眼鏡装用画像解析装置1は、照明光学系110、遠用測定光学系200、近用測定光学系300、光路切換ユニット400と、側方撮影光学系500、を主に備える。
<Optical system>
Next, an optical system housed in the spectacle wearing image analysis apparatus 1 according to the present embodiment will be described with reference to FIG. The spectacle wearing image analysis apparatus 1 of the present embodiment mainly includes an illumination optical system 110, a distance measurement optical system 200, a near measurement optical system 300, an optical path switching unit 400, and a side imaging optical system 500.
本実施例において、眼鏡パラメータを測定するために眼鏡を装用した被検者の画像を撮影するための撮影手段を有する測定光学系として、少なくとも、遠用測定光学系200、近用測定光学系300のいずれかが用いられる。本実施例において、遠用測定光学系200、近用測定光学系300は、被検者の正面画像を撮影するために用いられる。また、側方撮影光学系500は、被検者の側方画像を撮影するために用いられる。 In this embodiment, at least the distance measuring optical system 200 and the near measuring optical system 300 are used as measuring optical systems having imaging means for capturing an image of a subject wearing spectacles for measuring spectacle parameters. Either of these is used. In the present embodiment, the distance measuring optical system 200 and the near measuring optical system 300 are used for taking a front image of the subject. The side photographing optical system 500 is used for photographing a side image of the subject.
<照明光学系>
照明光学系110は、4つの光源110R,110L,111R,111L(図2では、110L、111Lを省略)を主に備える。照明光学系110は、光源110R,110L,111R,111Lによって、四方向から被検者の顔を照明する。もちろん、照明光学系100は上記の構成に限らない。光源の数はいくつでもよく、配置も任意でよい。照明光学系110は、光源によって被検者の顔を照明することができればよい。例えば、照明光学系110は、顔支持ユニット5の下部、呈示窓6の上部に設けられてもよい。
<Illumination optics>
The illumination optical system 110 mainly includes four light sources 110R, 110L, 111R, and 111L (110L and 111L are omitted in FIG. 2). The illumination optical system 110 illuminates the face of the subject from four directions by the light sources 110R, 110L, 111R, and 111L. Of course, the illumination optical system 100 is not limited to the above configuration. Any number of light sources may be used, and the arrangement may be arbitrary. The illumination optical system 110 only needs to illuminate the subject's face with a light source. For example, the illumination optical system 110 may be provided below the face support unit 5 and above the presentation window 6.
なお、本実施例の照明光学系110においては、赤外光源を用いる。赤外光源と、後述する赤外フィルタ等を用いることによって、外乱光(自然光など)の影響を抑えることができる。ただし、赤外光源でなくてもよく、可視光源を用いてもよい。 In the illumination optical system 110 of this embodiment, an infrared light source is used. By using an infrared light source and an infrared filter, which will be described later, the influence of disturbance light (natural light or the like) can be suppressed. However, it may not be an infrared light source, and a visible light source may be used.
<遠用測定光学系>
図2に基づいて、遠用測定光学系(以下、第1測定光学系とも言う)200について説明する。遠用測定光学系200は、眼鏡フレームに対する遠方視状態における被検眼Eの眼位置を測定するための光学系である。遠用測定光学系200は、第1の固視標投影光学系200aと第1の撮像光学系200bに分けられる。なお、遠用測定光学系200の測定光軸を光軸L1とする。
<Distant measurement optical system>
A distance measurement optical system (hereinafter also referred to as a first measurement optical system) 200 will be described with reference to FIG. The distance measurement optical system 200 is an optical system for measuring the eye position of the eye E in the distance vision state with respect to the spectacle frame. The distance measurement optical system 200 is divided into a first fixation target projection optical system 200a and a first imaging optical system 200b. The measurement optical axis of the distance measurement optical system 200 is an optical axis L1.
固視標投影光学系200aは、被検者を遠方視状態に固視させるための遠用固視標を被検眼Eに投影する。固視標投影光学系200aは、光源220、ハーフミラー230、凹面ミラー240を主に備える。光源220は、被検眼Eに投影される固視標として機能する。凹面ミラー240は、光源220から出射される固視標光束を略平行光束にして反射する。なお、本実施例においては、光源220から出射される固視標光束は、略平行光束にして反射する構成としたがこれに限定されない。光源220から出射される固視標光束は、所定の遠用呈示距離になるように反射する構成としてもよい。 The fixation target projection optical system 200a projects a distance fixation target for fixing the subject to a distance vision state on the eye E. The fixation target projection optical system 200a mainly includes a light source 220, a half mirror 230, and a concave mirror 240. The light source 220 functions as a fixation target projected onto the eye E. The concave mirror 240 reflects the fixation target light beam emitted from the light source 220 as a substantially parallel light beam. In the present embodiment, the fixation target light beam emitted from the light source 220 is reflected as a substantially parallel light beam, but is not limited thereto. The fixation target light beam emitted from the light source 220 may be reflected so as to have a predetermined distance-presenting distance.
光源220からの出射された固視標光束は、ハーフミラー230によって反射され、光軸L1と同軸とされる。ハーフミラー230によって反射された固視標光束は、凹面ミラー240によって反射される。凹面ミラー240に反射された固視標光束は、後述する反射ミラー410によって反射され、呈示窓6を通過して被検眼Eに入射する。凹面ミラー240は、固視標光束を略平行光束にするように反射する。このため、被検者から見た固視標は、被検眼Eから光源220までの実際の距離よりも遠方にあるように見える。その後、固視標光束は、後述の反射ミラー410によって反射され、呈示窓6を通過して被検眼Eに入射する。 The fixation target light beam emitted from the light source 220 is reflected by the half mirror 230 and is coaxial with the optical axis L1. The fixation target light beam reflected by the half mirror 230 is reflected by the concave mirror 240. The fixation target light beam reflected by the concave mirror 240 is reflected by a reflection mirror 410 described later, passes through the presentation window 6 and enters the eye E to be examined. The concave mirror 240 reflects the fixation target light beam so that it becomes a substantially parallel light beam. For this reason, the fixation target viewed from the subject appears to be farther than the actual distance from the subject eye E to the light source 220. Thereafter, the fixation target light flux is reflected by a reflection mirror 410 described later, passes through the presentation window 6 and enters the eye E to be examined.
撮像光学系200bは、遠方視状態における被検者の顔を正面方向(被検者の顔の正面と対向した位置)から撮影する。本実施例において、撮像光学系200bは、遠方視状態における被検者の顔を正面位置から撮影する。もちろん、撮像光学系200bは、正面方向として、斜め下方向(斜め下の位置)から撮影する構成としてもよい。なお、被検者の顔とは、被検者の顔全体でなくてもよく、少なくとも被検眼Eの周辺領域(例えば、少なくとも左右眼及び眼鏡フレームを含む被検者の顔の正面画像であってもよい)を指す。撮像光学系200bは、撮像素子210、撮像レンズ212、絞り214、赤外フィルタ216、ハーフミラー230、凹面ミラー240を主に備える。 The imaging optical system 200b images the subject's face in the distance vision state from the front direction (a position facing the front of the subject's face). In the present embodiment, the imaging optical system 200b photographs the face of the subject in the far vision state from the front position. Of course, the imaging optical system 200b may be configured to take an image from an obliquely downward direction (an obliquely downward position) as the front direction. Note that the subject's face does not have to be the entire subject's face, but is at least a peripheral image of the subject's eye E (for example, a front image of the subject's face including at least the left and right eyes and a spectacle frame). May be). The imaging optical system 200b mainly includes an imaging element 210, an imaging lens 212, an aperture 214, an infrared filter 216, a half mirror 230, and a concave mirror 240.
照明光学系110からの照明光は、被検者の顔によって反射されて、呈示窓6を通過する。呈示窓6を通過した照明光は、反射ミラー410によって反射される。反射ミラー410によって反射された反射光は、凹面ミラー240によって反射された後、ハーフミラー230を通り、赤外フィルタ216を通過する。赤外フィルタ216を通過した赤外光は、絞り214を通過し、撮像レンズ212によって収束された後、撮像素子210の上に像を結ぶ。撮像素子210は瞳と共役な位置関係にある。撮像素子210は、光を検出し、そのときの検出信号を制御部70に出力する。 Illumination light from the illumination optical system 110 is reflected by the face of the subject and passes through the presentation window 6. The illumination light that has passed through the presentation window 6 is reflected by the reflection mirror 410. The reflected light reflected by the reflecting mirror 410 is reflected by the concave mirror 240, passes through the half mirror 230, and passes through the infrared filter 216. The infrared light that has passed through the infrared filter 216 passes through the diaphragm 214, is converged by the imaging lens 212, and then forms an image on the imaging element 210. The imaging element 210 is in a positional relationship conjugate with the pupil. The image sensor 210 detects light and outputs a detection signal at that time to the control unit 70.
<近用測定光学系>
近用測定光学系(以下、第2測定光学系とも言う)300は、近方視状態における被検眼Eの眼位置を測定するための光学系である。近用測定光学系300は、第2の固視標投影光学系300aと第2の撮像光学系300bに分けられる。
<Near-measurement optical system>
A near measurement optical system (hereinafter also referred to as a second measurement optical system) 300 is an optical system for measuring the eye position of the eye E in a near vision state. The near measurement optical system 300 is divided into a second fixation target projection optical system 300a and a second imaging optical system 300b.
固視標投影光学系300aは、被検者を近方視状態に固視させるための近用固視標を斜め下方向から被検眼Eに投影する。固視標投影光学系300aは、光源320、ハーフミラー330、凸レンズ340を主に備える。光源320は、被検眼Eに投影される固視標として機能する。 The fixation target projection optical system 300a projects a near fixation target for fixing the subject to the near vision state on the eye E from an obliquely downward direction. The fixation target projection optical system 300a mainly includes a light source 320, a half mirror 330, and a convex lens 340. The light source 320 functions as a fixation target projected onto the eye E.
光源320からの出射された固視標光束は、ハーフミラー330によって反射され、光軸L2と同軸とされる。ハーフミラー330によって反射された固視標光束は、凸レンズ340を通過し、収束される。その後、固視標光束は、後述の反射ミラー410によって反射され、呈示窓20を通過して被検眼Eに入射する。 The fixation target light beam emitted from the light source 320 is reflected by the half mirror 330 and is coaxial with the optical axis L2. The fixation target light beam reflected by the half mirror 330 passes through the convex lens 340 and is converged. Thereafter, the fixation target light flux is reflected by a reflection mirror 410 described later, passes through the presentation window 20 and enters the eye E to be examined.
撮像光学系300bは、近方視状態における被検者の顔を正面方向(被検者の顔の正面と対向した位置)から撮影する。なお、本実施例において、撮像光学系300bは、近方視状態における被検者の顔を斜め下方向(斜め下の位置)から撮影している。もちろん、撮像光学系300bは、正面方向として、正面位置から撮影する構成としてもよい。撮像光学系300bは、撮像素子310、撮像レンズ312、絞り314、赤外フィルタ316、ハーフミラー330、凸レンズ340を主に備える。 The imaging optical system 300b photographs the face of the subject in the near vision state from the front direction (a position facing the front of the subject's face). In this embodiment, the imaging optical system 300b captures the subject's face in the near vision state from an obliquely downward direction (an obliquely downward position). Of course, the imaging optical system 300b may be configured to take an image from the front position as the front direction. The imaging optical system 300b mainly includes an imaging element 310, an imaging lens 312, an aperture 314, an infrared filter 316, a half mirror 330, and a convex lens 340.
被検者の顔を照明する照明光学系110からの照明光は、呈示窓6を通過し、反射ミラー410によって反射される。反射ミラー410によって反射された反射光は凸レンズを通過し、収束される。収束されたこの光束は、ハーフミラー330を通り、赤外フィルタ316を通過する。赤外フィルタ316を通過した赤外光は、絞り314を通過し、撮像レンズ312によって収束された後、撮像素子310の上に像を結ぶ。撮像素子310は、瞳と共役な位置関係にある。撮像素子310は、光を検出し、そのときの検出信号を制御部70に出力する。 Illumination light from the illumination optical system 110 that illuminates the face of the subject passes through the presentation window 6 and is reflected by the reflection mirror 410. The reflected light reflected by the reflection mirror 410 passes through the convex lens and is converged. The converged light beam passes through the half mirror 330 and passes through the infrared filter 316. The infrared light that has passed through the infrared filter 316 passes through the aperture 314, is converged by the imaging lens 312, and then forms an image on the imaging element 310. The imaging element 310 is in a positional relationship conjugate with the pupil. The image sensor 310 detects light and outputs a detection signal at that time to the control unit 70.
<光学系移動ユニット>
近用測定光学系300は、光学系移動ユニット350を備える。光学系移動ユニット350は、近用測定光学系300を移動可能に保持する。光学系移動ユニット350は、近用測定のときに、後述する反射ミラー410の角度の変更にともなって、近用測定光学系300の全体を移動させることができる。
<Optical system moving unit>
The near measurement optical system 300 includes an optical system moving unit 350. The optical system moving unit 350 holds the near measurement optical system 300 to be movable. The optical system moving unit 350 can move the entire near-field measurement optical system 300 in accordance with a change in the angle of the reflection mirror 410 described later during near-field measurement.
ところで、後述する光路切換ユニット400によって反射ミラー410の角度が変更されると、固視標投影光学系300aの光路(指標の呈示距離)、及び第2の撮像光学系300bの光路が変化してしまう。そこで、本実施形態の光学系移動ユニット350は、反射ミラー410の角度の変更にともなって、近用測定光学系300の全体を移動させる。これによって、反射ミラー410の角度が変更された場合であっても、近用視標の呈示距離が維持される。また、第2の撮像光学系300bの被検眼Eに対するフォーカス状態が維持される。 By the way, when the angle of the reflection mirror 410 is changed by the optical path switching unit 400 described later, the optical path of the fixation target projection optical system 300a (index presentation distance) and the optical path of the second imaging optical system 300b change. End up. Therefore, the optical system moving unit 350 of the present embodiment moves the entire near-field measuring optical system 300 as the angle of the reflecting mirror 410 is changed. Thereby, even when the angle of the reflection mirror 410 is changed, the presentation distance of the near visual target is maintained. In addition, the focus state of the second imaging optical system 300b with respect to the eye E is maintained.
また、光学系移動ユニット350は、呈示距離を調節するための凸レンズ340と、固視標を投影するための光源320を別々に移動させることが可能である。これによって、光学系移動ユニット350は、凸レンズ340と光源320の相対的な距離を変化させ、固視標の呈示距離を変更することができる。なお、光学系移動ユニット350は、例えば、モータや等の図示無き駆動部を用いて、駆動部を駆動させることによって、光学部材を移動させる。 The optical system moving unit 350 can separately move the convex lens 340 for adjusting the presentation distance and the light source 320 for projecting the fixation target. Accordingly, the optical system moving unit 350 can change the relative distance between the convex lens 340 and the light source 320 and change the presenting distance of the fixation target. The optical system moving unit 350 moves the optical member by driving the driving unit using a driving unit (not shown) such as a motor.
<光路切換ユニット>
図2に戻って、光路切換ユニット400について説明する。光路切換ユニットは、遠用測定用光学系200と、近用測定用光学系300の光路を切り換える。また、光路切り換えユニット400は、近用測定時における被検者の視線方向を変化させる。
<Optical path switching unit>
Returning to FIG. 2, the optical path switching unit 400 will be described. The optical path switching unit switches the optical paths of the distance measurement optical system 200 and the near measurement optical system 300. Further, the optical path switching unit 400 changes the direction of the subject's line of sight during near-field measurement.
光路切換ユニット400は、反射ミラー410、ミラー保持部420、駆動部440を主に備える。 The optical path switching unit 400 mainly includes a reflection mirror 410, a mirror holding unit 420, and a driving unit 440.
反射ミラー410は、ミラー保持部420に保持される。ミラー保持部420の上部は、装置に固定された回転シャフト425に保持される。ミラー保持部420は、回転シャフト425の回転軸を中心に回旋可能とされる。このとき、ミラー保持部420は、反射ミラー410と一体的に回旋される。反射ミラー410は、遠用測定光学系200または近用測定光学系300から出射される視標光束を被検眼Eに向けて反射させる。駆動部440は、図示無きリンク機構部によって、ミラー保持部420の裏面と連結される。駆動部440が駆動されることによって、駆動部の駆動力が図示無きリンク機構部を介して、ミラー保持部420に伝達される。ミラー保持部420は、リンク機構部から伝達された駆動力によって回転シャフト425を中心に回旋される。ミラー保持部が回旋されることによって、回転シャフト425を中心に、反射ミラー410が回旋移動をする。 The reflection mirror 410 is held by the mirror holding unit 420. The upper part of the mirror holding part 420 is held by a rotating shaft 425 fixed to the apparatus. The mirror holding part 420 can be rotated around the rotation axis of the rotation shaft 425. At this time, the mirror holding part 420 is rotated integrally with the reflection mirror 410. The reflection mirror 410 reflects the target light beam emitted from the distance measurement optical system 200 or the near measurement optical system 300 toward the eye E. The drive unit 440 is connected to the back surface of the mirror holding unit 420 by a link mechanism unit (not shown). By driving the drive unit 440, the driving force of the drive unit is transmitted to the mirror holding unit 420 via a link mechanism unit (not shown). The mirror holding part 420 is rotated around the rotation shaft 425 by the driving force transmitted from the link mechanism part. When the mirror holding portion is rotated, the reflection mirror 410 rotates around the rotation shaft 425.
反射ミラー420が回旋されることによって、視標光束の光路が変更され、被検眼Eに投影される固視標の呈示位置が変更される。固視標の呈示位置が変更されることで、被検者の視線方向が変更される。例えば、反射ミラーをA方向に回転させる(実線部から点線部へ移動される)ことによって、被検者の撮影を行うための光路が、遠用測定用光学系200の光路から近用測定用光学系300の光路へと切り換えられる。このように、光路切換ユニット400は、反射ミラー410を回旋させることで固視標の呈示位置を変化させ、被検者の視線方向を上下方向に変化させる。 By rotating the reflection mirror 420, the optical path of the target luminous flux is changed, and the presentation position of the fixation target projected onto the eye E is changed. The subject's line-of-sight direction is changed by changing the presentation position of the fixation target. For example, by rotating the reflection mirror in the A direction (moved from the solid line portion to the dotted line portion), the optical path for photographing the subject is changed from the optical path of the distance measurement optical system 200 to the near measurement. The optical path of the optical system 300 is switched. In this way, the optical path switching unit 400 rotates the reflecting mirror 410 to change the fixation target presentation position, and changes the direction of the subject's line of sight in the vertical direction.
<側方撮影光学系>
図3は、側方撮影光学系500の概略構成図を示している。側方撮影光学系500は、被検者を側方から撮影することによって被検者の側方画像を取得する。図3に示されるように、側方撮影光学系500は、被検者の顔が支持される位置の左右方向に固定されている。
<Side shooting optical system>
FIG. 3 shows a schematic configuration diagram of the side photographing optical system 500. The side imaging optical system 500 acquires a side image of the subject by imaging the subject from the side. As shown in FIG. 3, the side imaging optical system 500 is fixed in the left-right direction of the position where the face of the subject is supported.
本実施例の側方撮影光学系500は、被検者の左側に配置される左方撮影光学系500Lと、被検者の右側に配置される右方撮影光学系500Rに大別される。左方撮影光学系500Lは被検者を左側方から撮影する。右方撮影光学系500Rは、被検者を右側方から撮影する。 The side imaging optical system 500 of this embodiment is roughly divided into a left imaging optical system 500L disposed on the left side of the subject and a right imaging optical system 500R disposed on the right side of the subject. The left imaging optical system 500L images the subject from the left side. The right imaging optical system 500R images the subject from the right side.
左方撮影光学系500Lは、ハーフミラー530L、赤外フィルタ540L、絞り550L、撮像レンズ560L、撮像素子570L、を主に備える。 The left photographing optical system 500L mainly includes a half mirror 530L, an infrared filter 540L, an aperture 550L, an imaging lens 560L, and an imaging element 570L.
同様に、右方撮影光学系500Rは、ハーフミラー530R、赤外フィルタ540R、絞り550R、撮像レンズ560R、撮像素子570R、を主に備える。なお、以下の説明においては、便宜上、赤外フィルタ540L,540R、絞り550L,550R、撮像レンズ560L,560R、撮像素子570L,570Rの各部材をまとめて、撮像部575L,575Rと記載する。 Similarly, the right imaging optical system 500R mainly includes a half mirror 530R, an infrared filter 540R, an aperture 550R, an imaging lens 560R, and an imaging element 570R. In the following description, for convenience, the infrared filters 540L and 540R, the diaphragms 550L and 550R, the imaging lenses 560L and 560R, and the imaging elements 570L and 570R are collectively referred to as imaging units 575L and 575R.
赤外フィルタ540L,540Rは可視光を吸収し、赤外光を通過させる。撮像素子570L,570Rには、赤外フィルタ540L,540Rを通過した赤外光が受光される。 The infrared filters 540L and 540R absorb visible light and transmit infrared light. The imaging elements 570L and 570R receive the infrared light that has passed through the infrared filters 540L and 540R.
以下、左方撮影光学系500Lを例に挙げて側方画像の撮像について説明する。照明光学系100からの照明光束は、被検者の顔と眼鏡フレームFに反射される。反射された照明光束は、左方撮影光学系500Lに入射する。その後、照明光束は、ハーフミラー530Lによって反射される。ハーフミラー530Lによって反射された反射光束は、赤外フィルタ540Lを通過する。赤外フィルタ540Lを通過した赤外光は、絞り550Lを通過した後、撮像レンズ560Lによって集光され、撮像素子570Lの撮像面上に像を結ぶ。撮像素子570Lは、検出した撮像画像を制御部70に送信する。このようにして、撮像素子570L,570Rは、被検者の左側の側方画像が撮像される。また、左方撮影光学系500Lと同様にして、右方撮影光学系500Rによって、被検者の右側の側方画像が撮像される。 Hereinafter, imaging of a side image will be described using the left imaging optical system 500L as an example. The illumination light beam from the illumination optical system 100 is reflected by the face of the subject and the spectacle frame F. The reflected illumination light beam enters the left photographing optical system 500L. Thereafter, the illumination light beam is reflected by the half mirror 530L. The reflected light beam reflected by the half mirror 530L passes through the infrared filter 540L. The infrared light that has passed through the infrared filter 540L passes through the diaphragm 550L, and is then collected by the imaging lens 560L, and forms an image on the imaging surface of the imaging element 570L. The image sensor 570L transmits the detected captured image to the control unit 70. In this way, the imaging elements 570L and 570R capture the left side image of the subject. Similarly to the left photographing optical system 500L, a right side image of the subject is picked up by the right photographing optical system 500R.
<制御部>
図4は本実施例の制御系を示すブロック図である。制御部70は、CPU(プロセッサ)、RAM、ROM等を備える。制御部70のCPUは、眼鏡装用画像解析装置1の制御を司る。RAMは、各種情報を一時的に記憶する。制御部70のROMには、眼鏡装用画像解析装置1の動作を制御するための各種プログラム、初期値等が記憶されている。
<Control unit>
FIG. 4 is a block diagram showing a control system of this embodiment. The control unit 70 includes a CPU (processor), a RAM, a ROM, and the like. The CPU of the control unit 70 controls the spectacle wearing image analysis apparatus 1. The RAM temporarily stores various information. The ROM of the control unit 70 stores various programs for controlling the operation of the eyeglass-wearing image analysis apparatus 1, initial values, and the like.
制御部70には、不揮発性メモリ(以下、メモリに省略する)72、操作ユニット10、光源110L,110R,111L,110R,220,320、撮像素子210,310,570L,570R、光学系移動ユニット350の駆動部、駆動部440、等が電気的に接続されている。 The control unit 70 includes a non-volatile memory (hereinafter abbreviated as “memory”) 72, an operation unit 10, light sources 110L, 110R, 111L, 110R, 220, and 320, image sensors 210, 310, 570L, and 570R, an optical system moving unit. 350 drive units, drive unit 440, and the like are electrically connected.
メモリ72は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。例えば、ハードディスクドライブ、フラッシュROM、および、眼鏡装用画像解析装置1に着脱可能に装着されるUSBメモリ等をメモリ72として使用することができる。メモリ72には、眼鏡装用画像解析装置1による遠方視画像(遠方視状態における正面画像)又は近方視画像(近方視状態における正面画像)、側方画像の撮影を制御するための撮影制御プログラム、遠方視画像又は近方視画像、側方画像を処理する画像処理プログラムが記憶されている。また、メモリ72には、撮影された遠方視画像又は近方視画像、側方画像の撮影位置の情報等、撮影に関する各種情報が記憶される。操作ユニット10には、検者による各種操作指示が入力される。 The memory 72 is a non-transitory storage medium that can retain stored contents even when power supply is interrupted. For example, a hard disk drive, a flash ROM, and a USB memory or the like that is detachably attached to the spectacle wearing image analysis apparatus 1 can be used as the memory 72. The memory 72 has a photographing control for controlling the photographing of the far vision image (front image in the far vision state) or the near vision image (front image in the near vision state) and the side image by the spectacle wearing image analysis apparatus 1. An image processing program for processing a program, a far vision image or a near vision image, and a side image is stored. Further, the memory 72 stores various types of information relating to photographing, such as information on photographing positions of far-distance or near-field images and side images. Various operation instructions by the examiner are input to the operation unit 10.
<制御動作>
以下、本実施例における制御動作について、図5を参照して、説明する。図5は、本実施例における制御動作の流れについて説明するフローチャートである。本実施例においては、制御部70は、遠方視状態の被検者を撮影した第1撮影画像と、近方視状態の被検者を撮影した第2撮影画像と、を取得する。制御部70は、第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得する。制御部70は、第1眼鏡装用パラメータに基づいて、第2撮影画像を解析し、第2眼鏡装用パラメータを取得する。
<Control action>
Hereinafter, the control operation in the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart for explaining the flow of the control operation in this embodiment. In the present embodiment, the control unit 70 acquires a first photographed image obtained by photographing a subject in the far vision state and a second photographed image obtained by photographing the subject in the near vision state. The control unit 70 acquires the first spectacle wearing parameter by analyzing the first captured image. The control unit 70 analyzes the second captured image based on the first spectacle wearing parameter and acquires the second spectacle wearing parameter.
例えば、眼鏡装用パラメータとは、瞳孔情報(例えば、瞳孔位置、瞳孔径等)およびフレーム情報(例えば、フレームの幅、フレーム位置等)等が挙げられる。また、例えば、眼鏡装用パラメータとは、瞳孔情報およびフレーム情報から求められるような、瞳孔間距離、アイポジション高さ(フィッティングポイント高さ)等が挙げられる。また、例えば、側方画像からフレーム部位を抽出することによって、算出される眼鏡装用パラメータ(例えば、フレーム前傾角度、眼鏡装用距離等)もある。なお、本実施例において、例えば、アイポジション高さとは、レンズ下端(眼鏡フレーム下端)から被検眼の瞳孔位置までの高さ(距離)である。すなわち、アイポジション高さは、眼鏡フレームとレンズの境界の内で、Y軸方向において、もっとも下方に位置する境界から、瞳孔までの高さである。なお、本実施例において、瞳孔位置として、瞳孔中心を基準する場合を例に挙げて説明する。もちろん、瞳孔位置の基準位置(瞳孔の位置として設定される位置)としては、瞳孔中心に限定されない。瞳孔位置は、被検者の瞳孔において、いずれの位置を基準としてもよい。 For example, the spectacle wearing parameters include pupil information (for example, pupil position, pupil diameter, etc.), frame information (for example, frame width, frame position, etc.), and the like. Further, for example, the spectacle wearing parameters include an interpupillary distance, an eye position height (fitting point height), and the like as determined from pupil information and frame information. In addition, for example, there are spectacle wearing parameters (for example, frame forward tilt angle, spectacle wearing distance, etc.) calculated by extracting a frame part from a side image. In this embodiment, for example, the eye position height is the height (distance) from the lower end of the lens (the lower end of the spectacle frame) to the pupil position of the eye to be examined. That is, the eye position height is the height from the lowest boundary in the Y-axis direction to the pupil in the boundary between the spectacle frame and the lens. In this embodiment, the case where the pupil center is used as the pupil position will be described as an example. Of course, the reference position of the pupil position (position set as the position of the pupil) is not limited to the center of the pupil. The pupil position may be based on any position in the pupil of the subject.
なお、以下の説明においては、眼鏡装用パラメータとして、遠方視状態におけるアイポジション高さ(第1眼鏡装用パラメータ)と、近方視状態におけるアイポイント高さ(第2眼鏡装用パラメータ)を取得する場合を例に挙げて説明する。 In the following description, the eye position height in the far vision state (first spectacle wearing parameter) and the eye point height in the near vision state (second spectacle wearing parameter) are acquired as the spectacle wearing parameters. Will be described as an example.
<遠方視状態における第1撮影画像の取得(S1)>
初めに、遠方視状態における第1撮影画像が取得される。例えば、第1撮影画像としては、遠方視状態における、正面画像、側方画像等が用いられる。検者は操作ユニット10に入力し、遠用撮影モードに設定する。遠用撮影モードでは、遠方視状態の被検者の画像を撮影するために、各種光学系の制御が制御部70によって行われる。
<Acquisition of First Captured Image in Distant Viewing State (S1)>
First, the first captured image in the far vision state is acquired. For example, as the first captured image, a front image, a side image, or the like in a far vision state is used. The examiner inputs to the operation unit 10 and sets to the distance shooting mode. In the distance shooting mode, various optical systems are controlled by the control unit 70 in order to capture an image of the subject in the far vision state.
遠用撮影モードに設定された場合、制御部70は、駆動部440の駆動を制御することによって、光学切換ユニット400の反射ミラー410の角度θを、遠用撮影モードに対応する角度(例えば、水平面(XZ平面)方向に対して40°等)に設定する。遠用撮影モードに対応する角度に傾斜された反射ミラー410によって、光源220からの固視標光束は、被検眼Eに対して水平に投光される。 When the far shooting mode is set, the control unit 70 controls the driving of the driving unit 440 to change the angle θ of the reflection mirror 410 of the optical switching unit 400 to an angle corresponding to the far shooting mode (for example, 40 degrees with respect to the horizontal plane (XZ plane) direction). The fixation target light flux from the light source 220 is projected horizontally to the eye E by the reflection mirror 410 inclined at an angle corresponding to the distance photographing mode.
検者は、眼鏡フレームを装用するよう被検者に指示する。検者は、顔支持ユニット5の当接部31に額を当てるように被検者に指示する。次に、検者は、固視標を注視するように被検者に指示する。 The examiner instructs the subject to wear the spectacle frame. The examiner instructs the subject to put a forehead on the contact portion 31 of the face support unit 5. Next, the examiner instructs the subject to gaze at the fixation target.
被検者が固視標を注視する様子は撮像光学系200b及び側方撮像光学系500によって撮像される。制御部700は撮像光学系200b及び側方撮像光学系500からの検出信号に基づいて、被検眼E及び被検者の正面及び側方から撮影した顔の画像を表示部15に表示する。 The state in which the subject gazes at the fixation target is imaged by the imaging optical system 200b and the side imaging optical system 500. Based on the detection signals from the imaging optical system 200b and the side imaging optical system 500, the control unit 700 displays on the display unit 15 images of the face taken from the front and sides of the eye E and the subject.
初めに、検者は、被検者を顔支持ユニット5に位置させる。検者は、眼鏡装用画像解析装置1に対して被検者の顔が所定位置に配置されるように顔支持ユニット5の調整を行う。すなわち、検者は、アライメント調整を行う。 First, the examiner places the subject on the face support unit 5. The examiner adjusts the face support unit 5 so that the subject's face is arranged at a predetermined position with respect to the spectacle wearing image analysis apparatus 1. That is, the examiner performs alignment adjustment.
例えば、本実施例においては、被検眼Eの角膜頂点を表示部15上の所定位置に表示させるように、被検者と眼鏡装用画像解析装置1の距離が調節される。図6は、表示部15に表示される遠方視状態の被検者の正面画像及び側方画像の一例を示す図である。なお、本実施例においては、側方撮影光学系500によって撮影された画像の中心を示すための基準線V,Hが表示部15の側方画面上に表示される(図6参照)。本実施形態では、基準線V,Hの交点と角膜頂点とが合致されたとき、アライメント位置が適正となるように設定されている。検者は、表示部15に表示された被検者の顔(被検顔)の画像を確認し、アライメントを行う。 For example, in the present embodiment, the distance between the subject and the spectacle wearing image analysis apparatus 1 is adjusted so that the corneal apex of the eye E is displayed at a predetermined position on the display unit 15. FIG. 6 is a diagram illustrating an example of a front image and a side image of a subject in a far vision state displayed on the display unit 15. In this embodiment, reference lines V and H for indicating the center of the image photographed by the side photographing optical system 500 are displayed on the side screen of the display unit 15 (see FIG. 6). In the present embodiment, the alignment position is set to be appropriate when the intersection of the reference lines V and H and the corneal apex are matched. The examiner confirms the image of the face of the subject (examined face) displayed on the display unit 15 and performs alignment.
被検者の顔の位置調整が完了すると、検者は、表示部15に表示された図示無き撮影ボタンをタッチする。撮影ボタンがタッチされると、制御部70は、遠方視状態の被検者の正面画像及び側方画像を撮影する(S1)。以上のようにして、遠方視状態における第1撮影画像(正面画像及び側方画像)が取得される。 When the position adjustment of the subject's face is completed, the examiner touches a photographing button (not shown) displayed on the display unit 15. When the photographing button is touched, the control unit 70 photographs the front image and the side image of the subject in the far vision state (S1). As described above, the first captured image (front image and side image) in the far vision state is acquired.
<第1眼鏡装用パラメータの取得(S2)>
第1撮影画像が取得されると、制御部70は、第1撮影画像の解析を開始し、第1眼鏡装用パラメータ(遠方視状態における眼鏡装用パラメータ)を取得する。例えば、制御部70は、画像解析において、眼鏡のフレーム情報や被検者の瞳孔情報等を検出する。制御部70は、表示部15に解析に用いた撮影画像とともに、検出結果を撮影画像に重畳表示させる。また、制御部70は、検出結果に基づいて、眼鏡フレームに対する被検眼Eの遠方視状態におけるアイポジション高さ等を算出し(S2)、表示部15に表示する。なお、本実施例においては、眼鏡のフレーム情報として、眼鏡フレーム位置を例に挙げて説明する。また、本実施例においては、被検者の瞳孔情報として、瞳孔位置を例に挙げて説明する。
<Acquisition of first spectacle wearing parameter (S2)>
When the first captured image is acquired, the control unit 70 starts the analysis of the first captured image and acquires the first spectacle wearing parameter (the spectacle wearing parameter in the far vision state). For example, in the image analysis, the control unit 70 detects frame information of glasses, pupil information of the subject, and the like. The control unit 70 causes the display unit 15 to superimpose and display the detection result together with the captured image used for the analysis on the captured image. Further, based on the detection result, the control unit 70 calculates the eye position height or the like in the distance vision state of the eye E with respect to the spectacle frame (S2), and displays it on the display unit 15. In this embodiment, the spectacle frame position will be described as an example of the spectacle frame information. In the present embodiment, the pupil position of the subject will be described as an example.
図7は、第1撮影画像の解析終了後において表示部15上に表示される画面の一例を示す図である。図7に示されるように、例えば、制御部70は、正面画像620と、左側方画像621と、右側方画像622等の撮影画像を表示させる。例えば、正面画像620と、左側方画像621と、右側方画像622には、被検眼E及び眼鏡フレームFがそれぞれ含まれる。 FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit 15 after the analysis of the first captured image is completed. As illustrated in FIG. 7, for example, the control unit 70 displays captured images such as a front image 620, a left side image 621, and a right side image 622. For example, the front image 620, the left side image 621, and the right side image 622 include the eye E and the eyeglass frame F, respectively.
例えば、制御部70は、表示部15に、解析結果として、画像解析において検出された検出結果に基づいて、撮影画像上に眼鏡フレーム位置及び被検者の瞳孔位置に指標を重畳表示させる。例えば、制御部70は、眼鏡フレーム位置を示す指標(眼鏡フレーム位置指標)、被検者の瞳孔位置を示す指標(瞳孔位置指標)P等を表示させる。例えば、各指標は、表示部15において、十字マーク、線表示等の種々の表示形態で表示される。なお、本実施例において、眼鏡フレーム位置として、眼鏡フレームの内の所定部位であるレンズ下端LTを表示する場合を例に挙げて説明する。もちろん、眼鏡フレーム位置としては、レンズ下端に限定されない。眼鏡フレーム位置としては、眼鏡フレームに関する部分であれば適用することができる。例えば、眼鏡フレーム位置としては、眼鏡フレーム全体の位置が挙げられる。また、例えば、眼鏡フレーム位置としては、眼鏡フレームの内の所定部位である、レンズの上端(眼鏡フレームの上端)、眼鏡フレームのブリッジ等の位置が挙げられる。 For example, the control unit 70 causes the display unit 15 to superimpose and display the index on the spectacle frame position and the pupil position of the subject on the captured image based on the detection result detected in the image analysis as the analysis result. For example, the control unit 70 displays an index indicating the spectacle frame position (glass spectacle frame position index), an index indicating the pupil position of the subject (pupil position index) P, and the like. For example, each indicator is displayed on the display unit 15 in various display forms such as a cross mark and a line display. In the present embodiment, the case where the lens lower end LT, which is a predetermined part of the spectacle frame, is displayed as the spectacle frame position will be described as an example. Of course, the spectacle frame position is not limited to the lower end of the lens. As the eyeglass frame position, any part relating to the eyeglass frame can be applied. For example, the spectacle frame position includes the position of the entire spectacle frame. Further, for example, the spectacle frame position includes a position of the upper end of the lens (the upper end of the spectacle frame), the bridge of the spectacle frame, or the like, which is a predetermined part of the spectacle frame.
また、例えば、表示部15には、検出結果に基づいて算出されたアイポジション高さを示す指標(アイポジション高さ指標)BT、遠方視状態における瞳孔間距離を示す指標(瞳孔間距離指標)PD等が撮影画像の重畳表示される。例えば、瞳孔間距離PDは、左右の瞳孔中心間の距離である。また、例えば、検出結果に基づいて算出されたアイポジション高さ、瞳孔間距離等は、指標で表示される他に、その測定値が表示部15の表示画面上に表示される。例えば、表示部15に表示された測定値表示欄80には、アイポジション高さ、瞳孔間距離等の測定値が示されている。解析によって取得された第1眼鏡装用パラメータは、メモリ72に記憶される。以上のようにして、第1眼鏡装用パラメータが取得される。 Further, for example, the display unit 15 has an index (eye position height index) BT indicating the eye position height calculated based on the detection result, and an index (interpupillary distance index) indicating the interpupillary distance in the far vision state. A PD or the like is displayed superimposed on the captured image. For example, the inter-pupil distance PD is a distance between the left and right pupil centers. Further, for example, the eye position height, the interpupillary distance, and the like calculated based on the detection result are displayed as indices, and the measured values are displayed on the display screen of the display unit 15. For example, the measurement value display field 80 displayed on the display unit 15 shows measurement values such as eye position height and interpupillary distance. The first spectacle wearing parameters acquired by the analysis are stored in the memory 72. As described above, the first spectacle wearing parameter is acquired.
なお、本実施例において、第1眼鏡装用パラメータは、自動で検出される構成を例に挙げて説明したがこれに限定されない。第1眼鏡装用パラメータは、自動で検出されてもよいし、手動で検出されてもよい。また、第1眼鏡装用パラメータは、手動及び自動によって検出される構成としてもよい。例えば、手動で検出される場合、検者が、撮影画像を観察しながら、操作ユニット10を操作して、撮影画像上に表示された指標を移動させて指標の位置を決定させ、指標が移動された位置での結果を第1眼鏡装用パラメータとして取得する構成が挙げられる。また、例えば、手動及び自動で検出される場合、自動で撮影画像の解析が行われ、撮影画像上に検出結果に基づいた指標が表示される。検者は、撮影画像に表示された指標を表示された位置から、操作ユニット10を操作することによって指標を移動させる。制御部70は、指標が移動された位置での結果を第1眼鏡装用パラメータとして取得する構成が挙げられる。すなわち、指標の移動に連動して、測定値表示欄80の測定値が変更される。 In the present embodiment, the first spectacle wearing parameter has been described by taking a configuration in which the first spectacle wearing parameter is automatically detected, but is not limited thereto. The first spectacle wearing parameter may be detected automatically or manually. Further, the first spectacle wearing parameter may be detected manually and automatically. For example, in the case of manual detection, the examiner operates the operation unit 10 while observing the captured image, moves the index displayed on the captured image, determines the position of the index, and the index moves. The structure which acquires the result in the set position as a 1st spectacles wearing parameter is mentioned. Further, for example, when the detection is performed manually and automatically, the captured image is automatically analyzed, and an index based on the detection result is displayed on the captured image. The examiner moves the index by operating the operation unit 10 from the position where the index displayed on the captured image is displayed. The control unit 70 may be configured to acquire the result at the position where the index is moved as the first spectacle wearing parameter. That is, the measurement value in the measurement value display field 80 is changed in conjunction with the movement of the index.
<近方視状態における第2撮影画像の取得(S5)>
遠用測定が終了すると、検者は操作ユニット10を操作し、近用撮影モードに設定する。近用撮影モードでは、近方視状態の被検者の画像を撮影するために、各種光学系の制御が制御部70によって行われる。なお、本実施例においては、検者の操作によって、遠用撮影モードと、近用撮影モードが設定される構成としたがこれに限定されない。例えば、制御部70は、遠用の測定が完了した場合に、遠用撮影モードから近用撮影モードへとモード切換えを行う構成としてもよい。
<Acquisition of second captured image in near vision state (S5)>
When the distance measurement is completed, the examiner operates the operation unit 10 to set the near-field shooting mode. In the near-field shooting mode, the control unit 70 controls various optical systems in order to capture an image of the subject in the near vision state. In this embodiment, the distance shooting mode and the near shooting mode are set by the examiner's operation. However, the present invention is not limited to this. For example, the control unit 70 may be configured to switch the mode from the distance shooting mode to the near shooting mode when the distance measurement is completed.
近用測定モードに設定された場合、制御部70は、駆動部440の駆動を制御することによって、反射ミラー410の角度θを、近用測定モードに対応する角度(例えば、水平面(XZ平面)に対して55°〜80°等)に設定する。 When the near measurement mode is set, the control unit 70 controls the drive of the drive unit 440 to change the angle θ of the reflection mirror 410 to an angle corresponding to the near measurement mode (for example, a horizontal plane (XZ plane)). For example, 55 ° to 80 ° relative to the angle).
制御部70は、光源220の発光を止め、光源320の発光を開始させる。反射ミラー410の角度θが変更されたことによって、被検者から光源220の固視標は確認できなくなり、光源320の固視標が見えるようになる。 The control unit 70 stops the light emission of the light source 220 and starts the light emission of the light source 320. When the angle θ of the reflection mirror 410 is changed, the fixation target of the light source 220 cannot be confirmed from the subject, and the fixation target of the light source 320 can be seen.
被検者が固視標を注視する様子は撮像光学系300bの撮像素子310によって撮像される。制御部70は撮像光学系300bから及び側方撮像光学系500からの検出信号に基づいて、被検眼E及び被検者の正面及び側方から撮影した顔の画像を表示部15に表示する。 The manner in which the subject gazes at the fixation target is imaged by the imaging element 310 of the imaging optical system 300b. Based on detection signals from the imaging optical system 300 b and the side imaging optical system 500, the control unit 70 displays on the display unit 15 images of the face taken from the front and sides of the eye E and the subject.
初めに、検者は、被検者を顔支持ユニット5に位置させる。検者は、眼鏡装用画像解析装置1に対して被検者の顔が所定位置に配置されるように顔支持ユニット5の調整を行う。すなわち、検者は、アライメント調整を行う。なお、アライメント調整については、遠用撮影モードと同様にして行われる。 First, the examiner places the subject on the face support unit 5. The examiner adjusts the face support unit 5 so that the subject's face is arranged at a predetermined position with respect to the spectacle wearing image analysis apparatus 1. That is, the examiner performs alignment adjustment. The alignment adjustment is performed in the same manner as in the distance shooting mode.
被検者の顔の位置調整が完了すると、検者は、表示部15に表示された図示無き撮影ボタンをタッチする。撮影ボタンがタッチされると、制御部70は、近方視状態の被検者の正面画像及び側方画像を撮影する(S5)。なお、本実施例において、近方視状態における被検者の顔を斜め下方向から撮影される。以上のようにして、近方視状態における第2撮影画像(正面画像及び側方画像)が取得される。 When the position adjustment of the subject's face is completed, the examiner touches a photographing button (not shown) displayed on the display unit 15. When the photographing button is touched, the control unit 70 photographs a front image and a side image of the subject in the near vision state (S5). In this embodiment, the face of the subject in the near vision state is photographed from an obliquely downward direction. As described above, the second captured image (front image and side image) in the near vision state is acquired.
<第2眼鏡装用パラメータの取得(S6)>
第2撮影画像が取得されると、制御部70は、第2撮影画像の解析を開始し、第2眼鏡装用パラメータ(近方視状態における眼鏡装用パラメータ)を取得する(S6)。例えば、制御部70は、画像解析において、眼鏡のフレーム情報や被検者の瞳孔情報等を検出する。制御部70は、表示部15に解析に用いた撮影画像とともに、検出結果を撮影画像に重畳表示させる。また、制御部70は、検出結果に基づいて、眼鏡フレームに対する被検眼Eの近方視状態におけるアイポジション高さ等を算出し、表示部15に表示する。
<Acquisition of second spectacle wearing parameter (S6)>
When the second captured image is acquired, the control unit 70 starts the analysis of the second captured image and acquires the second spectacle wearing parameter (the spectacle wearing parameter in the near vision state) (S6). For example, in the image analysis, the control unit 70 detects frame information of glasses, pupil information of the subject, and the like. The control unit 70 causes the display unit 15 to superimpose and display the detection result together with the captured image used for the analysis on the captured image. Further, the control unit 70 calculates the eye position height or the like in the near vision state of the eye E with respect to the eyeglass frame based on the detection result, and displays the calculated eye position height on the display unit 15.
ここで、本実施例において、近方視状態における第2撮影画像は、斜め下方向より撮影をしている。近方視状態の被検者を撮影した第2撮影画像から、被検者の近方視状態の眼鏡装用パラメータを算出する場合、眼鏡フレームの位置がわかりづらくなる(図8(b)参照)。 Here, in the present embodiment, the second photographed image in the near vision state is photographed obliquely downward. When calculating the glasses wearing parameters of the near vision state of the subject from the second captured image obtained by photographing the subject in the near vision state, the position of the eyeglass frame becomes difficult to understand (see FIG. 8B). .
例えば、画像処理によって、眼鏡フレームが検出される。このとき、眼鏡フレームの厚みの影響によって、レンズと眼鏡フレームとの境界の検出が困難となる。これによって、眼鏡フレームにおける所定部位の検出精度が低くなる。例えば、本実施例において、レンズ下端を第2撮影画像から取得する場合、実際のレンズ下端とは、異なる位置がレンズ下端として検出されてしまう場合がある。 For example, a spectacle frame is detected by image processing. At this time, it is difficult to detect the boundary between the lens and the spectacle frame due to the thickness of the spectacle frame. Thereby, the detection accuracy of the predetermined part in the spectacle frame is lowered. For example, in this embodiment, when the lower end of the lens is acquired from the second captured image, a position different from the actual lower end of the lens may be detected as the lower end of the lens.
本実施例において、制御部70は、第1眼鏡装用パラメータに基づいて、表示部15上における第2撮影画像の表示領域に対し、第1眼鏡装用パラメータに対応する指標を表示する。制御部70は、最終的な指標の位置に基づいて第2眼鏡装用パラメータを取得する。例えば、制御部70は、レンズの下端の位置情報に基づいて、第1撮影画像より取得したレンズの下端位置に対応する指標を、第2撮影画像上の位置に重畳表示させる。制御部70は、最終的な指標の位置に基づいて第2眼鏡装用パラメータを取得する。 In the present embodiment, the control unit 70 displays an index corresponding to the first spectacle wearing parameter on the display area of the second captured image on the display unit 15 based on the first spectacle wearing parameter. The control unit 70 acquires the second spectacle wearing parameter based on the final index position. For example, the control unit 70 causes an index corresponding to the lower end position of the lens acquired from the first captured image to be superimposed and displayed at a position on the second captured image based on the position information of the lower end of the lens. The control unit 70 acquires the second spectacle wearing parameter based on the final index position.
図8は、第1眼鏡装用パラメータに基づいて、第2眼鏡装用パラメータを取得する制御の一例について説明する図である。以下、第1眼鏡装用パラメータに基づいて、第2眼鏡装用パラメータを取得する制御について説明する。なお、以下の解析の説明においては、正面画像を例に挙げて説明をする。もちろん、側方画像に対しても本実施例の解析処理を適用することができる。図8(a)は、遠方視状態において撮影された第1正面画像を示している。図8(b)は、近方視状態において撮影された第2正面画像を示している。 FIG. 8 is a diagram illustrating an example of control for acquiring the second spectacle wearing parameter based on the first spectacle wearing parameter. Hereinafter, control for obtaining the second spectacle wearing parameter based on the first spectacle wearing parameter will be described. In the following explanation of analysis, a front image is taken as an example. Of course, the analysis processing of this embodiment can also be applied to the side image. FIG. 8A shows a first front image taken in the far vision state. FIG. 8B shows a second front image taken in the near vision state.
例えば、制御部70は、第1撮影画像におけるレンズ下端LTの位置をメモリ72に記憶させる。例えば、図8(a)に示されるように、初めに、制御部70は、第1撮影画像における第1正面画像において、基準位置(基準線)Tを設定する。例えば、基準位置Tは、遠方視状態における撮影位置と近方視状態における撮像位置とで撮影方向が変更された場合であっても、レンズ下端に対する位置関係が変更されない部分を設定するとよい。例えば、右眼側におけるボクシング中心(眼鏡フレームの幾何学中心)と左眼側におけるボクシング中心とを結んだの直線の中心位置、被検者の左右の目頭を結んだの直線の中心位置、眼鏡フレームのブリッジの中心位置等、を基準位置として設定する構成が挙げられる。本実施例においては、右眼側におけるボクシング中心と左眼側におけるボクシング中心とを結んだの直線の中心位置を基準位置として設定する場合を例に挙げて説明する。 For example, the control unit 70 causes the memory 72 to store the position of the lens lower end LT in the first captured image. For example, as illustrated in FIG. 8A, first, the control unit 70 sets a reference position (reference line) T in the first front image in the first captured image. For example, the reference position T may be set to a portion where the positional relationship with respect to the lower end of the lens is not changed even when the shooting direction is changed between the shooting position in the far vision state and the imaging position in the near vision state. For example, the center position of the straight line connecting the boxing center on the right eye side (the geometric center of the spectacle frame) and the boxing center on the left eye side, the center position of the straight line connecting the left and right eyes of the subject, glasses There is a configuration in which the center position of the bridge of the frame is set as the reference position. In the present embodiment, a case where the center position of a straight line connecting the boxing center on the right eye side and the boxing center on the left eye side is set as a reference position will be described as an example.
例えば、制御部70は、画像処理によって、第1正面画像より左眼側及び右眼側におけるボクシング中心を算出する。制御部70は、算出した左右のボクシング中心間を結んだ直線の中心位置に基準位置Tを設定する。 For example, the control unit 70 calculates the center of boxing on the left eye side and the right eye side from the first front image by image processing. The control unit 70 sets the reference position T at the center position of the straight line connecting the calculated left and right boxing centers.
基準位置Tが設定されると、制御部70は、X軸方向において、基準位置Tからレンズ下端RLT,LLTの位置までの距離T1,T2をメモリ72に記憶させる。例えば、距離T1は、基準位置Tの座標から右眼側レンズ下端位置RLTの座標までのX軸方向における座標間距離である。例えば、距離T2は、基準位置Tの座標から左眼側レンズ下端位置LLTの座標までのX軸方向における座標間距離である。以上のように、制御部70は、第1正面画像の解析によって取得された、レンズ下端RLT,LLTをメモリ72に記憶させる。 When the reference position T is set, the control unit 70 causes the memory 72 to store distances T1 and T2 from the reference position T to the positions of the lens lower ends RLT and LLT in the X-axis direction. For example, the distance T1 is an inter-coordinate distance in the X-axis direction from the coordinates of the reference position T to the coordinates of the right eye side lens lower end position RLT. For example, the distance T2 is the inter-coordinate distance in the X-axis direction from the coordinate of the reference position T to the coordinate of the left eye side lens lower end position LLT. As described above, the control unit 70 causes the memory 72 to store the lens lower ends RLT and LLT acquired by analyzing the first front image.
次いで、制御部70は、第2撮影画像における第2正面画像の解析時において、第1正面画像の解析によって取得された、レンズ下端RLT,LLTの位置に対応する指標を、第2撮影画像上の位置に重畳表示させる。例えば、図8(b)に示されるように、制御部70は、第2正面画像において、基準位置TNを設定する。基準位置TNは、第1正面画像における基準位置Tの設定方法と同様にして設定される。次いで、制御部70は、レンズ下端RLT,LLTの位置を設定する。 Next, when analyzing the second front image in the second photographed image, the control unit 70 displays the indices corresponding to the positions of the lens lower ends RLT and LLT obtained by analyzing the first front image on the second photographed image. It is superimposed on the position. For example, as illustrated in FIG. 8B, the control unit 70 sets the reference position TN in the second front image. The reference position TN is set in the same manner as the method for setting the reference position T in the first front image. Next, the control unit 70 sets the positions of the lens lower ends RLT and LLT.
例えば、右眼側レンズ下端RLTを設定する場合、制御部70は、基準位置TNから右眼側の距離T1の位置に右眼側レンズ下端RLTを設定する。すなわち、制御部70は、基準位置TNから右眼側の距離T1の位置に右眼側レンズ下端RLTを示す指標を表示する。このとき、右眼側レンズ下端RLTのX軸方向における位置は、距離T1によって設定され、Y軸方向における位置は、第2撮影画像において検出された眼鏡フレームの検出結果に基づいて設定される。すなわち、制御部70は、距離T1と、検出された眼鏡フレームとレンズの境界部分と、の交点を右眼側レンズ下端RLTとして設定する。なお、本実施例において、左眼側レンズ下端LLTを設定は、右眼側レンズ下端RLTを設定する場合と同様して行うことができる。以上のようにして、制御部70は、第1正面画像の解析によって取得された、レンズ下端RLT,LLTの位置に対応する指標を、第2撮影画像上の位置に重畳表示させる。 For example, when setting the right eye side lens lower end RLT, the control unit 70 sets the right eye side lens lower end RLT at the position of the right eye side distance T1 from the reference position TN. That is, the control unit 70 displays an index indicating the right eye side lens lower end RLT at the position of the right eye side distance T1 from the reference position TN. At this time, the position in the X-axis direction of the right-eye lens lower end RLT is set by the distance T1, and the position in the Y-axis direction is set based on the detection result of the eyeglass frame detected in the second captured image. That is, the control unit 70 sets the intersection of the distance T1 and the detected spectacle frame and the boundary portion of the lens as the right eye side lens lower end RLT. In the present embodiment, the setting of the left eye side lens lower end LLT can be performed in the same manner as the case of setting the right eye side lens lower end RLT. As described above, the control unit 70 superimposes and displays the index corresponding to the positions of the lens lower ends RLT and LLT acquired by the analysis of the first front image at the position on the second captured image.
なお、第1撮影画像と第2撮影画像とで、撮影倍率が異なる場合、制御部70は、基準位置からのレンズ下端までの距離を撮影倍率に対応させて補正する。これによって、遠方視状態の撮影と近方視状態の撮影との撮影倍率が異なる場合であっても、第1眼鏡装用パラメータを第2眼鏡装用パラメータの解析時に用いることができる。 Note that when the shooting magnification is different between the first shooting image and the second shooting image, the control unit 70 corrects the distance from the reference position to the lower end of the lens in accordance with the shooting magnification. Thus, even when the shooting magnification in the far vision state and the shooting in the near vision state are different, the first spectacle wearing parameter can be used when analyzing the second spectacle wearing parameter.
図9は、第2撮影画像の解析終了後において表示部15に表示される画面の一例を示す図である。図9に示されるように、例えば、制御部70は、第1撮影画像の解析終了後の画面と同様に、正面画像620と、左側方画像621と、右側方画像622等の撮影画像を表示させる。また、制御部70は、第1撮影画像の解析終了後の画面と同様に、レンズ下端RLT,LLTを示す指標、瞳孔位置指標P等を表示させる。例えば、各指標は、表示部15において、十字マーク、線表示等の種々の表示形態で表示される。 FIG. 9 is a diagram illustrating an example of a screen displayed on the display unit 15 after the analysis of the second captured image is completed. As illustrated in FIG. 9, for example, the control unit 70 displays captured images such as a front image 620, a left side image 621, and a right side image 622, as in the screen after the analysis of the first captured image. Let Further, the control unit 70 displays the index indicating the lens lower end RLT, LLT, the pupil position index P, and the like, similarly to the screen after the analysis of the first captured image. For example, each indicator is displayed on the display unit 15 in various display forms such as a cross mark and a line display.
また、例えば、表示部15には、検出結果に基づいて算出されたアイポジション高さ指標BT、近方視状態における瞳孔間距離指標NPD等が撮影画像の重畳表示される。また、例えば、検出結果に基づいて算出されたアイポジション高さ、瞳孔間距離等は、指標で表示される他に、その測定値が表示部15の表示画面上に表示される。例えば、表示部15に表示された測定値表示欄80には、アイポジション高さ、瞳孔間距離等の測定値が示されている。解析によって取得された第2眼鏡装用パラメータは、メモリ72に記憶される。このようにして、第2眼鏡装用パラメータが取得される。 Further, for example, on the display unit 15, the eye position height index BT calculated based on the detection result, the inter-pupil distance index NPD in the near vision state, and the like are superimposed and displayed on the captured image. Further, for example, the eye position height, the interpupillary distance, and the like calculated based on the detection result are displayed as indices, and the measured values are displayed on the display screen of the display unit 15. For example, the measurement value display field 80 displayed on the display unit 15 shows measurement values such as eye position height and interpupillary distance. The second spectacle wearing parameter acquired by the analysis is stored in the memory 72. In this way, the second spectacle wearing parameter is acquired.
なお、本実施例において、第2眼鏡装用パラメータは、自動で検出される構成を例に挙げて説明したがこれに限定されない。例えば、第2眼鏡装用パラメータにおいて、一部(例えば、瞳孔位置情報等)の検出を手動で行ってもよい。例えば、手動で検出される場合、検者が、撮影画像を観察しながら、操作ユニット10を操作し、撮影画像上に表示された指標を移動させて指標の位置を決定させてもよい。制御部70は、指標が移動された位置での結果を第2眼鏡装用パラメータとして取得するようにしてもよい。 In the present embodiment, the second spectacle wearing parameter has been described by taking an example of a configuration in which it is automatically detected, but the present invention is not limited to this. For example, part of the second spectacle wearing parameter (for example, pupil position information) may be detected manually. For example, in the case of manual detection, the examiner may operate the operation unit 10 while observing the captured image, and move the index displayed on the captured image to determine the position of the index. The control unit 70 may acquire the result at the position where the index is moved as the second spectacle wearing parameter.
また、例えば、第2眼鏡装用パラメータは、手動及び自動によって検出される構成としてもよい。例えば、手動及び自動で検出される場合、自動で撮影画像の解析が行われ、図9に示されるように撮影画像上に検出結果に基づいた指標が表示される。ここで、検者は、撮影画像に表示された指標を表示された位置から、操作ユニット10を操作することによって指標を移動させ、指標が移動された位置での結果を第2眼鏡装用パラメータとして取得する。すなわち、指標の移動に連動して、測定値表示欄80の測定値も変更される。なお、手動によって、指標を移動させる場合には、第1眼鏡装用パラメータに基づいて、第2撮影画像上で設定された指標について、移動の制限を設けるとより好ましい。例えば、制御部70は、第1眼鏡装用パラメータに基づいて、第2撮影画像上で設定されたレンズ下端位置を示す指標を移動させる場合に、X軸方向の移動を禁止するように制御する。すなわち、制御部70は、基準位置TNとレンズ下端までの距離を維持するように制御する。これによって、第1眼鏡装用パラメータに基づいた、レンズ下端位置の設定を行うことができるため、検出結果の精度の低下を抑制することができる。 Further, for example, the second spectacle wearing parameter may be configured to be detected manually and automatically. For example, when the detection is performed manually and automatically, the captured image is automatically analyzed, and an index based on the detection result is displayed on the captured image as shown in FIG. Here, the examiner moves the index by operating the operation unit 10 from the position where the index displayed in the captured image is displayed, and the result at the position where the index is moved is used as the second spectacle wearing parameter. get. That is, the measurement value in the measurement value display field 80 is also changed in conjunction with the movement of the index. In addition, when the index is moved manually, it is more preferable to provide movement limitation for the index set on the second captured image based on the first spectacle wearing parameter. For example, the control unit 70 performs control so as to prohibit the movement in the X-axis direction when the index indicating the lens lower end position set on the second captured image is moved based on the first spectacle wearing parameter. That is, the control unit 70 performs control so as to maintain the distance between the reference position TN and the lower end of the lens. Thereby, since the lower end position of the lens can be set based on the first spectacle wearing parameter, it is possible to suppress a decrease in accuracy of the detection result.
以上のように、第1眼鏡装用パラメータに基づいて、第2眼鏡装用パラメータを取得することによって、第2眼鏡装用パラメータの解析を初めから行う必要がなくなり、迅速且つ好適に第1眼鏡装用パラメータ及び第2眼鏡装用パラメータの測定を完了することができる。また、本実施例のように、近方視状態における撮影画像が、斜め方向から撮影された画像であっても、眼鏡フレームの位置の検出を容易に行うことができる。すなわち、正面位置とは異なる位置から撮影された画像であっても、解析時において、眼鏡フレームの位置の検出を精度良く行うことができる。これによって、被検者の近方視状態における眼鏡装用パラメータ(第2眼鏡装用パラメータ)の誤検出等を抑制することができ、近方視状態の眼鏡装用パラメータを好適に取得することできる。 As described above, by acquiring the second spectacle wearing parameter based on the first spectacle wearing parameter, it is not necessary to perform the analysis of the second spectacle wearing parameter from the beginning, and the first spectacle wearing parameter and Measurement of the second spectacle wearing parameter can be completed. Further, as in the present embodiment, even if the captured image in the near vision state is an image captured from an oblique direction, the position of the spectacle frame can be easily detected. That is, even if the image is taken from a position different from the front position, the position of the spectacle frame can be detected with high accuracy during analysis. Accordingly, it is possible to suppress erroneous detection of the spectacle wearing parameters (second spectacle wearing parameters) in the near vision state of the subject, and it is possible to suitably obtain the near vision vision parameters.
以上のようにして、制御部70は、第1眼鏡装用パラメータ及び第2眼鏡装用パラメータを取得する。取得された眼鏡パラメータは、最適な累進レンズの選択、カスタムレンズの作製等に用いられる。 As described above, the control unit 70 acquires the first spectacle wearing parameter and the second spectacle wearing parameter. The acquired eyeglass parameters are used for selection of an optimum progressive lens, production of a custom lens, and the like.
<変容例>
なお、本実施例においては、第1眼鏡装用パラメータに基づいて、表示部15上における第2撮影画像の表示領域に対し、第1眼鏡装用パラメータに対応する指標を表示する構成を例に挙げて説明したがこれに限定されない。第1眼鏡装用パラメータとして、被検者の眼又は眼鏡に関する位置を規定するための位置情報を、第1撮影画像に基づいて取得し、位置情報に基づいて、第2撮影画像を解析し、第2眼鏡装用パラメータを取得する構成であってもよい。
<Transformation example>
In the present embodiment, an example in which an index corresponding to the first spectacle wearing parameter is displayed on the display area of the second photographed image on the display unit 15 based on the first spectacle wearing parameter is taken as an example. Although described, it is not limited to this. As the first spectacle wearing parameter, position information for defining the position of the subject's eye or eyeglass is obtained based on the first photographed image, the second photographed image is analyzed based on the position information, The configuration may be such that two spectacle wearing parameters are acquired.
例えば、制御部70は、遠方視状態の撮影画像から検出された眼鏡装用パラメータ(例えば、前傾角、VD、フレーム幅等)を近方視状態の眼鏡装用パラメータとして適用する構成があげられる。これによって、近用時に再検出をしなくてもよくなり、スムーズに眼鏡パラメータを算出することができる。 For example, the control unit 70 may be configured to apply a spectacle wearing parameter (for example, forward tilt angle, VD, frame width, etc.) detected from a captured image in the far vision state as a spectacle wearing parameter in the near vision state. As a result, it is not necessary to perform redetection at the time of near use, and the eyeglass parameters can be calculated smoothly.
また、例えば、遠方視状態の撮影画像から取得された位置情報に基づいて、近方視状態の撮影画像から位置情報を取得する際に、近方視状態の撮影画像の解析範囲を設定し、解析を行う構成が挙げられる。例えば、制御部70は、遠方視状態の撮影画像から、瞳孔位置を検出する。制御部70は、近方視状態の撮影画像を解析する際に、遠方視状態の撮影画像から取得された瞳孔位置の情報に基づいて、近用位置での瞳孔位置を検索する。すなわち、制御部70は、瞳孔位置を検出する際の画像上における解析を行う領域を、遠方視状態の撮影画像から取得された瞳孔位置情報に基づいて、設定する。これによって、近方視状態の撮影画像において、瞳孔位置を検出する際に、画像全体の領域を解析しなくても瞳孔位置を検出することができ、スムーズに第2眼鏡装用パラメータを取得することができる。なお、上記記載では、瞳孔位置の検出を例に挙げたがこれに限定されない。被検者の眼又は眼鏡フレームに関する位置情報の取得の際には、本実施例に開示の技術を適用することができる。例えば、被検者の眼又は眼鏡フレームに関する位置情報の取得としては、眼鏡フレーム全体、眼鏡フレームのブリッジ部分、被検者の目頭等、の位置情報の取得が挙げられる。 Also, for example, when acquiring position information from a captured image in the near vision state based on position information acquired from the captured image in the far vision state, the analysis range of the captured image in the near vision state is set, A configuration for performing an analysis is given. For example, the control unit 70 detects the pupil position from the captured image in the far vision state. When analyzing the captured image in the near vision state, the control unit 70 searches for the pupil position at the near vision position based on the pupil position information acquired from the captured image in the far vision state. That is, the control unit 70 sets a region to be analyzed on the image when detecting the pupil position based on the pupil position information acquired from the captured image in the far vision state. As a result, when detecting the pupil position in the near vision state of the captured image, the pupil position can be detected without analyzing the entire region of the image, and the second spectacle wearing parameters can be acquired smoothly. Can do. In the above description, detection of the pupil position is given as an example, but the present invention is not limited to this. The technique disclosed in the present embodiment can be applied when acquiring position information related to the eye or eyeglass frame of the subject. For example, acquisition of position information related to the eye or eyeglass frame of the subject includes acquisition of position information of the entire eyeglass frame, the bridge portion of the eyeglass frame, the eye of the subject, and the like.
なお、本実施例においては、第1撮影画像における位置情報に基づいて、第2撮影画像の表示領域に対し、第1撮影画像の位置情報に対応する指標を表示するために、基準位置Tを設定し、基準位置に基づいて位置情報を設定する構成を例に挙げて説明したがこれに限定されない。例えば、遠方視状態における撮影画像と、近方視状態における撮影画像との関係を対応付けておくことによって、第2撮影画像の表示領域に対し、第1撮影画像の位置情報に対応する指標を表示する構成が挙げられる。この場合、例えば、遠用(遠方視状態)視撮影用の撮影光学系と近用(近方視状態)撮影用の撮影光学系との位置関係を対応付けられる。このような構成とすることによって、遠方視状態における撮影画像と、近方視状態における撮影画像が対応付けられているため、遠方視状態における撮影画像における所定の位置が、近方視状態における撮影画像のどの位置に対応するかを算出することができる。なお、このような構成とする場合に、遠方視状態における撮影時と、近方視状態における撮影時とで、被検者の顔の位置関係が変わってしまわないように、被検者の顔が固定されるような構成とすることがより好ましい。 In this embodiment, the reference position T is set to display an index corresponding to the position information of the first captured image on the display area of the second captured image based on the position information in the first captured image. Although the configuration in which the position information is set based on the reference position has been described as an example, the configuration is not limited thereto. For example, by associating the relationship between the captured image in the far vision state and the captured image in the near vision state, an index corresponding to the position information of the first captured image is displayed on the display area of the second captured image. The structure to display is mentioned. In this case, for example, the positional relationship between a photographing optical system for far-distance (far vision state) photographing and a photographing optical system for near-distance (near vision state) photographing can be associated. By adopting such a configuration, since the captured image in the far vision state and the captured image in the near vision state are associated with each other, a predetermined position in the captured image in the far vision state is captured in the near vision state. It is possible to calculate which position in the image corresponds to. In such a configuration, the face of the subject is not changed between the photographing in the far vision state and the photographing in the near vision state so that the positional relationship of the subject's face does not change. More preferably, the structure is fixed.
なお、本実施例において、第1眼鏡装用パラメータ及び第2眼鏡装用パラメータを示す各指標が、撮影画像に重畳表示される場合を例に挙げて説明したがこれに限定されない。第1眼鏡装用パラメータ及び第2眼鏡装用パラメータを示す各指標は、表示部15の表示画面上に表示される構成であればよい。 In the present embodiment, the case where each index indicating the first spectacle wearing parameter and the second spectacle wearing parameter is superimposed and displayed on the captured image has been described as an example, but the present invention is not limited thereto. Each index indicating the first spectacle wearing parameter and the second spectacle wearing parameter may be configured to be displayed on the display screen of the display unit 15.
なお、本実施例においては、反射ミラー410の角度を変更させることによって、固視標の呈示位置を変更する光学系を用いて撮影した画像に対して、画像解析処理を行う構成を例に挙げて説明したが、これに限定されない。本実施例の画像解析処理は、眼鏡を装用した被検者を撮影した画像に対して適用することができる。すなわち、画像を撮影するための光学系としては、本実施例の光学系に限定されず、種々の光学系を適用してもよい。 In this embodiment, a configuration in which image analysis processing is performed on an image captured using an optical system that changes the position of the fixation target by changing the angle of the reflection mirror 410 is given as an example. However, the present invention is not limited to this. The image analysis processing of the present embodiment can be applied to an image obtained by photographing a subject wearing spectacles. That is, the optical system for taking an image is not limited to the optical system of the present embodiment, and various optical systems may be applied.
なお、本実施例においては、遠用測定光学系200と近用測定光学系300が別途設けられる構成としたがこれに限定されない。少なくとも一方の光学系を用いて、遠方視状態又は近方視状態の画像が撮影される構成としてもよい。 In this embodiment, the distance measurement optical system 200 and the near measurement optical system 300 are separately provided, but the present invention is not limited to this. It is good also as a structure by which the image of a far vision state or a near vision state is image | photographed using at least one optical system.
なお、本実施例に開示の技術は、アタッチメントやシール等を眼鏡フレーム取り付け、眼鏡装用パラメータを取得する装置においても、適用することができる。例えば、アタッチメントやシール等が眼鏡フレーム取り付けられ、撮影された撮影画像において、それらの目印を検出する際に、本実施例に開示の技術を用いる。 Note that the technique disclosed in the present embodiment can also be applied to an apparatus that attaches an eyeglass frame to an attachment, a seal, or the like and acquires spectacle wearing parameters. For example, the technique disclosed in this embodiment is used when detecting a mark in a photographed image in which an attachment or a seal is attached to a spectacle frame and photographed.
なお、本発明においては、本実施例に記載した装置に限定されない。例えば、上記実施例の機能を行う眼鏡装用画像解析ソフトウェア(プログラム)をネットワークや各種記憶媒体を介して、システムあるいは装置に供給する。そして、システムあるいは装置のコンピュータ(例えば、CPU等)がプログラムを読み出し、実行することも可能である。 Note that the present invention is not limited to the apparatus described in this embodiment. For example, spectacle wearing image analysis software (program) that performs the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. A computer of the system or apparatus (for example, a CPU) can also read and execute the program.
1 眼鏡装用パラメータ測定装置
5 顔支持ユニット
10 操作ユニット
15 表示部
70 制御部
72 メモリ
200 遠用測定光学系
300 近用測定光学系
400 光路切換ユニット
500 側方撮影光学系
DESCRIPTION OF SYMBOLS 1 Glasses wearing parameter measurement apparatus 5 Face support unit 10 Operation unit 15 Display part 70 Control part 72 Memory 200 Distance measurement optical system 300 Near measurement optical system 400 Optical path switching unit 500 Side imaging | photography optical system
Claims (4)
被検者の第1状態を撮影した第1撮影画像と、被検者の第1状態とは異なる第2状態を撮影した第2撮影画像と、を取得する画像取得手段と、
前記第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得し、前記第1眼鏡装用パラメータに基づいて、前記第2撮影画像を解析し、第2眼鏡装用パラメータを取得する解析手段と、を備え、
前記解析手段は、前記第1眼鏡装用パラメータとして、前記被検者の眼鏡に関するレンズと眼鏡フレームの境界であるレンズの下端の位置を規定するための位置情報を、前記第1撮影画像に基づいて取得し、表示手段に前記第2撮影画像を表示するとともに、前記第1撮影画像より取得した前記レンズの下端位置に対応する指標であって、前記第2撮影画像上に重畳させる前記指標の位置を前記レンズの下端の前記位置情報に基づいて設定し、前記指標を前記第2撮影画像上における設定した位置に重畳表示し、前記指標の位置に基づいて前記第2眼鏡装用パラメータを取得することを特徴とする眼鏡装用画像解析装置。 A spectacle wearing image analysis device for analyzing an image of a subject wearing spectacles and measuring a spectacle wearing parameter of the subject,
Image acquisition means for acquiring a first photographed image obtained by photographing the first state of the subject and a second photographed image obtained by photographing a second state different from the first state of the subject;
Analyzing means for obtaining first spectacle wearing parameters by analyzing the first photographed image, analyzing the second photographed image based on the first spectacle wearing parameters, and obtaining second spectacle wearing parameters; With
The analysis means uses, as the first spectacle wearing parameter, position information for defining a position of a lower end of the lens that is a boundary between the lens and the spectacle frame of the subject based on the first photographed image. The index position corresponding to the lower end position of the lens acquired from the first captured image and superimposed on the second captured image while displaying the second captured image on the display means. Is set based on the position information of the lower end of the lens, the index is superimposed on the set position on the second captured image, and the second spectacle wearing parameter is acquired based on the position of the index An image analysis apparatus for spectacle wearing.
前記解析手段は、前記レンズの下端のX軸方向における位置情報を前記第1撮影画像に基づいて取得し、前記第2撮影画像上に重畳させる前記指標のX軸方向における位置を、前記レンズの下端のX軸方向における位置情報に基づいて設定し、前記指標を前記第2撮影画像上における設定した位置に重畳表示させ、前記指標が前記第2撮影画像上で設定された位置から移動された後の前記指標の位置に基づいて前記第2眼鏡装用パラメータを取得することを特徴とする眼鏡装用画像解析装置。 In the spectacle wearing image analysis apparatus according to claim 1,
The analysis means acquires position information in the X-axis direction of the lower end of the lens based on the first captured image, and determines the position in the X-axis direction of the index to be superimposed on the second captured image. Set based on position information of the lower end in the X-axis direction, the index is superimposed on the set position on the second captured image, and the index is moved from the position set on the second captured image 2. The spectacle wearing image analysis apparatus, wherein the second spectacle wearing parameter is acquired based on a position of the later index .
被検者の第1状態を撮影した第1撮影画像と、被検者の第1状態とは異なる第2状態を撮影した第2撮影画像と、を取得する画像取得ステップと、
前記第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得し、前記第1眼鏡装用パラメータに基づいて、前記第2撮影画像を解析し、第2眼鏡装用パラメータを取得する解析ステップであって、前記第1眼鏡装用パラメータとして、前記被検者の眼鏡に関するレンズと眼鏡フレームの境界であるレンズの下端の位置を規定するための位置情報を、前記第1撮影画像に基づいて取得し、表示手段に前記第2撮影画像を表示するとともに、前記第1撮影画像より取得した前記レンズの下端位置に対応する指標であって、前記第2撮影画像上に重畳させる前記指標の位置を前記レンズの下端の前記位置情報に基づいて設定し、前記指標を前記第2撮影画像上における設定した位置に重畳表示し、前記指標の位置に基づいて前記第2眼鏡装用パラメータを取得する解析ステップと、
を備えることを特徴とする眼鏡装用画像解析方法。 A spectacle wearing image analysis method for analyzing an image of a subject wearing spectacles and measuring a spectacle wearing parameter of the subject,
An image obtaining step for obtaining a first photographed image obtained by photographing the first state of the subject and a second photographed image obtained by photographing a second state different from the first state of the subject;
Analyzing the first photographed image to obtain a first spectacle wearing parameter, analyzing the second photographed image based on the first spectacle wearing parameter, and obtaining a second spectacle wearing parameter; Then, as the first spectacle wearing parameter, position information for defining a position of a lower end of the lens that is a boundary between the lens and the spectacle frame of the subject is acquired based on the first photographed image. The second captured image is displayed on the display means, and the index corresponds to the lower end position of the lens acquired from the first captured image, and the position of the index to be superimposed on the second captured image is set based on the position information of the lower end of the lens, the index is superimposed on the position set on the second captured image, the second based on the position of the indicator An analysis step of acquiring a mirror wearing parameters,
An image analysis method for wearing spectacles, comprising:
前記眼鏡装用画像解析装置のプロセッサによって実行されることで、
被検者の第1状態を撮影した第1撮影画像と、被検者の第1状態とは異なる第2状態を撮影した第2撮影画像と、を取得する画像取得ステップと、
前記第1撮影画像を解析することによって、第1眼鏡装用パラメータを取得し、前記第1眼鏡装用パラメータに基づいて、前記第2撮影画像を解析し、第2眼鏡装用パラメータを取得する解析ステップであって、前記第1眼鏡装用パラメータとして、前記被検者の眼鏡に関するレンズと眼鏡フレームの境界であるレンズの下端の位置を規定するための位置情報を、前記第1撮影画像に基づいて取得し、表示手段に前記第2撮影画像を表示するとともに、前記第1撮影画像より取得した前記レンズの下端位置に対応する指標であって、前記第2撮影画像上に重畳させる前記指標の位置を前記レンズの下端の前記位置情報に基づいて設定し、前記指標を前記第2撮影画像上における設定した位置に重畳表示し、前記指標の位置に基づいて前記第2眼鏡装用パラメータを取得する解析ステップと、
を前記眼鏡装用画像解析装置に実行させることを特徴とする眼鏡装用画像解析プログラム。 A spectacle wearing image analysis program executed in a spectacle wearing image analysis device for analyzing an image of a subject wearing spectacles and measuring a spectacle wearing parameter of the subject,
By being executed by the processor of the spectacle wearing image analysis device,
An image obtaining step for obtaining a first photographed image obtained by photographing the first state of the subject and a second photographed image obtained by photographing a second state different from the first state of the subject;
Analyzing the first photographed image to obtain a first spectacle wearing parameter, analyzing the second photographed image based on the first spectacle wearing parameter, and obtaining a second spectacle wearing parameter; Then, as the first spectacle wearing parameter, position information for defining a position of a lower end of the lens that is a boundary between the lens and the spectacle frame of the subject is acquired based on the first photographed image. The second captured image is displayed on the display means, and the index corresponds to the lower end position of the lens acquired from the first captured image, and the position of the index to be superimposed on the second captured image is set based on the position information of the lower end of the lens, the index is superimposed on the position set on the second captured image, the second based on the position of the indicator An analysis step of acquiring a mirror wearing parameters,
Is executed by the spectacle wearing image analysis apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014017537A JP6488546B2 (en) | 2014-01-31 | 2014-01-31 | Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014017537A JP6488546B2 (en) | 2014-01-31 | 2014-01-31 | Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015143960A JP2015143960A (en) | 2015-08-06 |
JP2015143960A5 JP2015143960A5 (en) | 2017-03-09 |
JP6488546B2 true JP6488546B2 (en) | 2019-03-27 |
Family
ID=53888945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014017537A Active JP6488546B2 (en) | 2014-01-31 | 2014-01-31 | Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6488546B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017181657A (en) * | 2016-03-29 | 2017-10-05 | 株式会社ニデック | Eyeglasses wearing image analyzer, eyeglasses wearing image analysis method, and eyeglasses wearing image analysis program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000020580A (en) * | 1998-07-02 | 2000-01-21 | Fine System Kikaku Kk | System for supporting spectacles layout and lens selecting work |
JP4536329B2 (en) * | 2002-03-04 | 2010-09-01 | 東海光学株式会社 | Eye point position determination method and eye point measurement system |
JP2007003923A (en) * | 2005-06-24 | 2007-01-11 | Hoya Corp | Spectacle wearing parameter measuring apparatus, spectacle lens, and spectacles |
JP2007093636A (en) * | 2005-09-26 | 2007-04-12 | Hoya Corp | Spectacle wearing parameter measuring instrument, spectacle lens, and spectacles |
-
2014
- 2014-01-31 JP JP2014017537A patent/JP6488546B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015143960A (en) | 2015-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6515542B2 (en) | Glasses-wearing image analysis apparatus, glasses-wearing image analysis method, and glasses-wearing image analysis program | |
JP5013930B2 (en) | Glasses wearing parameter measuring apparatus and glasses wearing parameter measuring method | |
JP3976925B2 (en) | Eye position measuring device | |
WO2015046466A1 (en) | Parameter measurement device for eyeglass fitting and parameter measurement program for eyeglass fitting | |
JPWO2013179427A1 (en) | Display device, head mounted display, calibration method, calibration program, and recording medium | |
KR102093953B1 (en) | Method for helping determine the vision parameters of a subject | |
JP4616303B2 (en) | Eye position measuring device | |
JP2007093636A (en) | Spectacle wearing parameter measuring instrument, spectacle lens, and spectacles | |
JP4536329B2 (en) | Eye point position determination method and eye point measurement system | |
JP7221587B2 (en) | ophthalmic equipment | |
JP2007003923A (en) | Spectacle wearing parameter measuring apparatus, spectacle lens, and spectacles | |
JP6379639B2 (en) | Glasses wearing parameter measurement imaging device, glasses wearing parameter measuring imaging program | |
JP6488546B2 (en) | Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program | |
JP2015066046A (en) | Spectacles-wearing image analysis apparatus and spectacles-wearing image analysis program | |
JP6255849B2 (en) | Eyeglass device parameter measurement imaging device | |
JP6379502B2 (en) | Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program | |
JP2017181657A (en) | Eyeglasses wearing image analyzer, eyeglasses wearing image analysis method, and eyeglasses wearing image analysis program | |
KR20100110087A (en) | Digital system providing parameters for dispensing the ophthalmic glasses | |
JP2022066325A (en) | Ophthalmologic apparatus | |
JP6338042B2 (en) | Glasses parameter calculation device, glasses parameter calculation program | |
JP6277649B2 (en) | Glasses wearing parameter measuring apparatus, glasses wearing parameter measuring program | |
JP6364733B2 (en) | Glasses wearing parameter measuring apparatus, glasses wearing parameter measuring program | |
JP4795017B2 (en) | Eyeglass lens evaluation device | |
JP6357771B2 (en) | Eyeglass device parameter measurement imaging device | |
JP6179320B2 (en) | Eyeglass device parameter measurement imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181107 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20181116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6488546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |