WO2019138515A1 - 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム - Google Patents

画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム Download PDF

Info

Publication number
WO2019138515A1
WO2019138515A1 PCT/JP2018/000528 JP2018000528W WO2019138515A1 WO 2019138515 A1 WO2019138515 A1 WO 2019138515A1 JP 2018000528 W JP2018000528 W JP 2018000528W WO 2019138515 A1 WO2019138515 A1 WO 2019138515A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
display device
unit
feature
Prior art date
Application number
PCT/JP2018/000528
Other languages
English (en)
French (fr)
Inventor
成鎮 趙
Original Assignee
株式会社ニコン・エシロール
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン・エシロール filed Critical 株式会社ニコン・エシロール
Priority to PCT/JP2018/000528 priority Critical patent/WO2019138515A1/ja
Priority to EP18899881.9A priority patent/EP3739376A4/en
Priority to CA3088248A priority patent/CA3088248C/en
Priority to CN201880086181.0A priority patent/CN111587397B/zh
Priority to JP2019564219A priority patent/JP7241702B2/ja
Publication of WO2019138515A1 publication Critical patent/WO2019138515A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/04—Trial frames; Sets of lenses for use therewith
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Definitions

  • the present invention relates to an image creating apparatus, an eyeglass lens selection system, an image creating method, and a program.
  • Patent Document 1 describes a device that can be worn on the head and uses information acquired by a distance image sensor. It is desirable to have the subject experience the way they look through a spectacle lens in a more realistic way than with such a device.
  • the image creating apparatus detects a feature from the captured image obtained by capturing an image of the subject looking at the display device, the position of the detected feature and / or the detected feature.
  • a parameter calculation unit that calculates the distance between the subject and the display device and the direction of the subject's face based on the distance between the features, the distance between the subject and the display device, and the face
  • An image creation unit that creates an image of a virtual field of view when the subject looks at the display device through a spectacle lens based on the orientation of the subject; and a display control that causes the display device to display the image of the virtual field of view And a unit.
  • an eyeglass lens selection system includes the image creation device of the first aspect, the display device, and an imaging unit for imaging a subject viewing the display device.
  • an image creating method comprising: detecting a feature from a captured image obtained by capturing an image of a subject looking at a display device; a position of the detected feature and / or the detected feature Calculating the distance between the subject and the display device and the direction of the face of the subject based on the distance between the subject and the distance between the subject and the display device and the direction of the face And creating an image of a virtual field of view when the subject looks at the display device through a spectacle lens, and displaying the image of the virtual field of view on the display device.
  • a program detects a feature from a captured image obtained by capturing an image of a subject looking at a display device, and the position of the detected feature and / or the detected feature Parameter calculation processing for calculating the distance between the subject and the display device and the orientation of the subject's face based on the distance between the subject, the distance between the subject and the display device, and the orientation of the face
  • An image creating process for creating an image of a virtual field of view when the subject looks at the display device through an eyeglass lens
  • a display control process for causing the display device to display the image of the virtual field of view based on To cause the processing unit to
  • FIG. 1 is a conceptual view showing a schematic configuration of an image creating apparatus according to an embodiment.
  • FIG. 2A is a view schematically showing an image obtained by capturing the face of the subject
  • FIG. 2B is a conceptual view showing the features of the face of the subject.
  • FIG. 3 (A) is a diagram for explaining the range of the visual field when the subject looks through the spectacle lens
  • FIG. 3 (B) schematically shows an example of the display image in the case of FIG. 3 (A).
  • FIG. FIG. 4A is a diagram for explaining the range of the visual field when the subject looks through the spectacle lens
  • FIG. 4B schematically shows an example of the display image in the case of FIG. 4A.
  • FIG. 5 (A) is a conceptual view showing the arrangement of objects in a virtual space
  • FIG. 5 (B) is a view schematically showing an example of a display image in the case of FIG. 5 (A).
  • FIG. 6 (A) is a conceptual view showing the arrangement of objects in a virtual space
  • FIG. 6 (B) is a view schematically showing an example of a display image in the case of FIG. 6 (A).
  • FIG. 7 is a conceptual diagram for explaining a method of adding distortion to an image of a virtual field of view.
  • FIG. 8 is a conceptual diagram for explaining a method of adding distortion to an image of a virtual field of view.
  • FIG. 9A is a conceptual diagram showing an example of a method of creating a blurred image having no direction dependency.
  • FIG. 9A is a conceptual diagram showing an example of a method of creating a blurred image having no direction dependency.
  • FIG. 9B is a conceptual diagram showing an example of a method of creating a blurred image having direction dependency.
  • FIG. 10 is a conceptual diagram for explaining the change of the kernel based on the adjustment power. It is a flowchart which shows the flow of the manufacturing method of an eyeglass lens including the image creation method of one Embodiment. It is a figure for demonstrating the program which concerns on one Embodiment.
  • FIG. 1 is a conceptual view showing a schematic configuration of an image creating apparatus of the present embodiment.
  • the image creating apparatus 1 includes an imaging unit 10, a display unit 20, and an information processing unit 30.
  • the information processing unit 30 includes an input unit 31, a communication unit 32, a storage unit 33, and a control unit 40.
  • the control unit 40 includes a feature detection unit 41, a parameter calculation unit 42, an image creation unit 43, and a display control unit 44.
  • the image creating apparatus 1 creates an image of a virtual field of view (hereinafter referred to as a field image) when the subject S looks at the display unit 20 through a virtual spectacle lens based on shape data and the like of the spectacle lens.
  • a field image a virtual field of view
  • the imaging unit 10 includes an imaging device such as a camera, and images the head of the subject S, particularly a face.
  • the imaging unit 10 may be disposed at any position as long as a feature necessary for processing by the parameter calculating unit 42 described later can be detected from an image obtained by imaging.
  • the light (image) incident on the imaging unit 10 is photoelectrically converted into a signal indicating light intensity, and then A / D converted and input to the control unit 40 (arrow A1).
  • the display unit 20 includes a display device such as a liquid crystal monitor, and displays the view image created by the image creation unit 43 under the control of the display control unit 44 (arrow A2).
  • a display device such as a liquid crystal monitor
  • the information processing unit 30 includes an information processing apparatus such as an electronic computer, and performs information processing necessary for creating a view image and the like.
  • the information processing unit 30 may be configured integrally with the imaging unit 10 and / or the display unit 20, such as a smartphone or a notebook computer, or from the imaging unit 10 and / or the display unit 20 physically. It may be placed at a distant position.
  • part of the processing performed by the information processing unit 30 may be performed by a remotely-located electronic computer, server, or the like, and at least part of the data stored in the information processing unit 30 is remotely It may be stored in a server or the like.
  • the input unit 31 includes an input device such as a mouse, a keyboard, various buttons, and / or a touch panel.
  • the input unit 31 receives information and the like necessary for the process performed by the control unit 40 from the user.
  • the communication unit 32 includes a communication device that can communicate with a network such as the Internet by wireless or wired connection, receives prescription data of the subject S and shape data of the spectacle lens, and transmits / receives necessary data appropriately.
  • a network such as the Internet by wireless or wired connection
  • the storage unit 33 is configured by a non-volatile storage medium, and stores various data such as prescription data of the subject S and shape data of the spectacle lens, a program for the control unit 40 to execute processing, and the like.
  • the control unit 40 is configured to include a processor such as a CPU, executes a program stored in the storage unit 33, and becomes a main body of each operation of the image creating apparatus 1.
  • the control unit 40 creates a view image based on the image obtained by imaging by the imaging unit 10 and causes the display unit 20 to display the view image.
  • the feature detection unit 41 of the control unit 40 detects a feature from the image of the head of the subject S captured by the imaging unit 10 by image processing.
  • features means points, lines, or portions in an image that can be distinguished from other portions by image processing, such as feature points, edges, corners, and two-dimensional and three-dimensional elements including these as appropriate. I assume.
  • FIG. 2A is a view schematically showing an image obtained by imaging the head of the subject S by the imaging unit 10 (hereinafter, referred to as a subject image Is).
  • the subject image Is in FIG. 2A is an image obtained by imaging the subject S from the front, and in the face of the subject S, the left eyebrow BL, the right eyebrow BR, the left eye EL, the right eye ER, the left pupil PL, the right A portion having a characteristic structure or color or the like, such as the pupil PR, the nose N, the lip M, and the contour C of the face is shown.
  • FIG. 2B is a view showing the feature F detected by the feature detection unit 41.
  • the feature detection unit 41 detects a feature F such as a feature point, an edge, and / or a corner from the subject image Is using image processing such as the FAST method or Canny method. It is preferable that at least a part of the features F can be detected even if the orientation of the face of the subject S with respect to the imaging unit 10 changes.
  • the feature detection unit 41 detects the feature F corresponding to any face portion such as the nose N and the contour C of the face based on the information and the like of the feature F acquired in the past stored in the storage unit 33. Decide.
  • the feature detection unit 41 may detect a face feature point detection model obtained by performing machine learning using a data set of face images as the feature F.
  • Feature point FeL (hereinafter referred to as left eye feature point) corresponding to the pupil center of the pupil
  • feature point FeR corresponding to the pupil center of the right eye ER (hereinafter referred to as right eye feature point)
  • feature point Fna corresponding to the nose tip hereinafter referred to as a nose feature point
  • a feature Fn corresponding to the nose N a feature Fn consisting of line segments branched from the nose root to the left and right nostrils
  • a feature Fm corresponding to the outline of the red part of the upper and lower lip M
  • a linear feature Fc corresponding to the contour C of the face is shown.
  • the feature detection unit 41 includes data of coordinates of feature points constituting each feature F, data representing the line segments constituting each feature F, stringing coordinates of a plurality of feature points, and a face corresponding to the feature F And the like are stored in the storage unit 33.
  • the data structure for expressing each feature F is not particularly limited as long as the parameter calculation unit 42 described later can calculate a desired parameter.
  • the parameter calculation unit 42 calculates parameters such as the position of the face of the subject S and the direction of the face based on the position of the feature F in the subject image Is detected by the feature detection unit 41.
  • the “face direction” can be described by the roll angle, pitch angle, and yaw angle of the head corresponding to the rotation directions schematically shown by the symbols R, P, and Y in FIG. 1, respectively. .
  • the roll angle is a rotation angle around an axis (z-axis) extending in the front-rear direction of the subject S
  • the pitch angle is a rotation angle around an axis (x-axis) extending in the left-right direction of the subject S
  • the yaw angle is a rotation angle around an axis (y axis) extending in the vertical direction of the subject S.
  • the directions and directions of the x-axis, y-axis and z-axis are indicated by coordinate axes 900. There are no particular limitations on the mathematical expression method of the face direction, such as how to set the coordinate system.
  • the method by which the parameter calculation unit 42 calculates the face orientation from the feature F is not particularly limited.
  • the paper by Horprasert et al. shows a method for calculating the roll angle, pitch angle, and yaw angle of the head from several feature points including the end of the eye (eye and tail) and the tip of the nose. .
  • calculations are performed assuming that the inner and outer corners of the eyes are on the same straight line.
  • the parameter calculation unit 42 uses the position of the feature F in the subject image Is detected by the feature detection unit 41, the face direction calculated by the parameter calculation unit 42, and the measured value of the length of a part of the subject S's face.
  • the position of the subject S can be calculated.
  • the parameter calculation unit 42 calculates the distance PDi between the left-eye feature point FeL and the right-eye feature point FeR in the subject image Is from the coordinates of these feature points.
  • the parameter calculation unit 42 converts the calculated distance PDi on the image into a length as viewed from the front of the face based on the calculated face orientation, and calculates this length and the measured interpupillary distance (PD).
  • the distance between the subject S and the imaging unit 10 is calculated based on the comparison.
  • the parameter calculation unit 42 determines the known inter-pupil distance PD from the imaging unit 10 to the subject S from the vertical and horizontal sizes of the focal plane of the imaging device of the imaging unit 10 and the focal distance.
  • the distance can be determined.
  • the image creating apparatus 1 uses a method other than using the feature F detected from the subject image Is, such as a ToF camera that captures a distance image by performing distance measurement according to the ToF (Time of Flight) method, or a stereo camera.
  • the distance from the imaging unit 10 to the subject S may be measured.
  • the parameter calculation unit 42 is the sum of the calculated distance Ez between the subject S and the imaging unit 10 and the distance Cz between the imaging unit 10 and the display unit 20 which are determined in advance. Thus, the distance between the subject S and the display unit 20 is calculated.
  • the parameter calculation unit 42 also determines the distance Ez between the subject S and the imaging unit 10 and the direction between the eye E of the subject S and the imaging unit 10 from the direction of the eye E of the subject S viewed from the imaging unit 10. The distance Ey in the y-axis direction is calculated.
  • the parameter calculation unit 42 uses the distance Ey and the predetermined distance O between the position O of the display unit 20 and the imaging unit 10 in the y-axis direction to determine the y-axis of the eye E with respect to the display unit 20. Calculate the position of the direction.
  • the parameter calculation unit 42 calculates the three-dimensional position of the eye E with respect to the display unit 20 by calculating in the x-axis direction as well as in the y-axis direction.
  • the distances Cy and Cz indicating the positional relationship between the imaging unit 10 and the display unit 20 are input by the user via the input unit 31 or use numerical values stored in advance in the storage unit 33.
  • the parameter calculation unit 42 can correct the three-dimensional positions of the face and eyes of the subject S and the direction of the face calculated from the subject image Is based on the input angle to values based on the display unit 20. .
  • the image generation unit 43 Create a virtual field of view image (field of view image).
  • the visual field image has a virtual object at the position of the display unit 20 and the subject S looks at the display unit 20 from various positions (that is, with respect to the virtual object)
  • the visual field image is configured as a real-time moving image in which the position and the direction of the spectacle lens in the visual field image follow the direction of the face of the subject S and the like, but may be reproduced after the moving image including the visual field image is recorded. .
  • the image creating unit 43 acquires data (hereinafter referred to as virtual space description data) such as the position, shape, and texture of each object in the virtual space, and constructs a virtual space.
  • virtual space description data data such as the position, shape, and texture of each object in the virtual space
  • Each value included in virtual space description data is set based on information stored in storage unit 33 or information obtained from the outside via communication unit 32, or is set based on an input of a user).
  • Ru the aspect of arrangement of the object in the virtual space is not particularly limited, when the virtual object is arranged at the position of the display unit 20 as in the present embodiment, the position and size are grasped for the subject S viewing the display unit 20 It is preferable because it is easy to do. Furthermore, it is preferable because the subject S can easily grasp how another virtual object arranged in the virtual space and displayed on the display unit 20 can be viewed based on the virtual object arranged at the position of the display unit 20.
  • the method of representing the virtual space by virtual space description data is not particularly limited. For example, position information indicating where and in which direction each object (geometric object) placed in the virtual space is placed is set. Information on the reflectance and transmittance of light on the surface of the object, color, texture, and the like are appropriately set. The fine three-dimensional structure or the like of the geometric object can be expressed by being appropriately replaced by the information of the plane of the geometric object as a texture.
  • the virtual space description data may include data on illumination that illuminates the virtual space. The data on the illumination appropriately includes the position of the illumination, the color of the illumination light, the wavelength distribution, the intensity of the light and the like.
  • the image creating unit 43 acquires data (hereinafter referred to as “glass lens description data”) about a spectacle lens to be virtually worn when the subject S looks at the display unit 20.
  • Each value included in the spectacle lens description data is set based on the information stored in the storage unit 33 or the information acquired from the outside through the communication unit 32, or the prescription data of the subject S from the user and the lens Set based on the type of input.
  • the spectacle lens description data includes shape data of the spectacle lens and material characteristic data of the spectacle lens.
  • the shape data of the spectacle lens includes outer shape information of the spectacle lens, center thickness, shape data of front and rear two surfaces of the object side and eyeball side of the spectacle lens, and peripheral surface, and the like.
  • Material property data of the spectacle lens comprises data such as refractive index.
  • the spectacle lens description data may include a value representing the amount of aberration when viewed through the spectacle lens.
  • the amount of aberration preferably includes an amount of aberration for spherical aberration, astigmatism, coma aberration and the like.
  • the aberration amount is a numerical value calculated in advance from ray tracing on the basis of prescription data, lens shape, lens material, wearing parameters to be described later, distance to the gaze point, and / or accommodation power of the eye, etc. It is appropriately expressed in the form of a matrix or the like.
  • the image creating unit 43 sets a relative position between the subject S and the eyeglass lens (hereinafter referred to as an eyeglass lens position) when the subject S wears an eyeglass lens.
  • the eyeglass lens position is preferably set based on data on the eyeglass lens position input by the user (hereinafter referred to as eyeglass lens position data).
  • the spectacle lens position data includes wearing parameters related to the spectacle lens position obtained and input by actual measurement or the like when the subject S is wearing a spectacle lens, and the wearing parameters include, for example, the corneal apex distance, the anteversion angle, and the warpage. Including horns etc.
  • the image creating unit 43 is based on the positional relationship between the eyeglass lens and the eye, which is a reference when designing the eyeglass lens. Set the eyeglass lens position.
  • the image generation unit 43 displays the display unit 20 from the position of the eye E Create a view image when viewing the virtual object at the position of.
  • the image creating unit 43 creates a view image when the virtual object is viewed through the eyeglass lens from the position of the eye E, the face direction, the eyeglass lens position, the eyeglass lens description data, and the virtual space description data. .
  • FIG. 3A is a conceptual diagram for explaining a view image.
  • the spectacle lenses 9L and 9R are shown as virtual ones based on the spectacle lens description data.
  • the eyeballs EbL and EbR of the subject S visually observe the display unit 20, and the optical axis Ax of the right eyeball EbR passes through the center O of the display unit 20.
  • a field of view image 21 is displayed on the display unit 20, and an image of three virtual objects V (Vo, V1, V2) is shown in the field of view image 21.
  • the spectacle lenses 9L and 9R are virtually arranged at the spectacle lens positions in front of the left eye EbL and the right eye EbR.
  • broken lines L1 and L2 schematically indicate the left end and the right end of the range of the visual field from the right eye EbR that can be seen through the spectacle lens 9R. That is, the subject S has a range in which the left side of the display unit 20 is visible through the spectacle lens 9R, but a part of the right side of the display unit 20 is in the invisible range through the spectacle lens 9R.
  • FIG. 3 (B) is a view schematically showing the view image 21 in the case of FIG. 3 (A).
  • the hatched part 22 of the view image 21 is an image of the view when the subject S visually observes the display unit 20 through the virtual spectacle lens 9R.
  • the non-hatched portion 23 of the view image 21 is an image of the view when the subject S looks at the display unit 20 without passing through the virtual spectacle lens 9R.
  • An image of the visual field of the naked eye of the subject S is displayed for a partial region on the right side of the visual field image 21 which can not be viewed through the spectacle lens 9R in FIG. 3A.
  • the image creating unit 43 creates the view image 21 based on the area of the spectacle lenses 9L and 9R in the view of the subject S.
  • the view image 21 may be created based on the view of either the left eye or the right eye, or the view image of the view of both eyes is locally shifted based on the degree of dominant eye etc. It may be created as a composite image.
  • the parameter calculation unit 42 calculates the position of the eye, and the image generation unit 43 generates a view image with the position of the eye as a viewpoint, but the viewpoint does not strictly match the position of the eye.
  • the center position of both eyes may be set as the viewpoint position, etc., as appropriate.
  • FIG. 4 (A) is a conceptual diagram showing a state in which the subject S turns his head to the right from the state shown in FIG. 3 (A).
  • FIG. 4A and FIG. 4B the same parts as those in FIG. 3A and FIG.
  • FIG. 4 (B) is a view schematically showing the view image 21 in the case of FIG. 4 (A).
  • An image of a field of view of the naked eye of the subject S is displayed for a partial region on the left side which can not be seen through the spectacle lens 9R in FIG. 4 (A).
  • the image creating unit 43 changes the view image 21 based on the change in the area of the spectacle lenses 9L and 9R in the view. create.
  • FIG. 5A is a conceptual diagram for explaining the adjustment of the angle of view in the view image 21.
  • a virtual space is constructed such that a virtual object (hereinafter referred to as a reference object Vo) is disposed at the position of the display unit 20.
  • a reference object Vo a virtual object
  • the image creating unit 43 determines the relationship between the virtual objects
  • the angle of view of the view image 21 is adjusted so that the size of the reference object Vo in the view image 21 is substantially constant even in such a case.
  • FIG. 5A as the virtual object V, a reference object Vo, a virtual object V1, and a virtual object V2 are schematically shown.
  • the virtual space is constructed such that the reference object Vo is at the position of the display unit 20 (shown schematically by a broken line).
  • the visual field of the subject S is schematically shown as a region sandwiched by alternate long and short dash lines L3 and L4 extending from the eye E of the subject S.
  • FIG. 5B is a view showing the view image 21 displayed on the display unit 20 in the case of FIG. 5A.
  • the virtual object V1 is the closest in the view image 21 and the virtual object V2 is shown superimposed as being at the back.
  • the width Lo of the reference object Vo in the view image 21 is the viewpoint position. Even if it changes, it becomes almost constant.
  • FIG. 6 (A) is a conceptual diagram showing a case where the distance between the subject S and the display unit 20 is shorter than in the case of FIG. 5 (A).
  • 6 (A) and 6 (B) the same parts as those in FIGS. 5 (A) and 5 (B) are referred to by the same reference numerals, and the description will not be repeated.
  • FIG. 6 (B) is a view showing the view image 21 displayed on the display unit 20 in the case of FIG. 6 (A). Since the distance between the subject S and the reference object Vo is shorter than in the case shown in FIG. 5A, the size of the reference object Vo in the field of view of the subject S originally becomes larger. The size of the object Vo is adjusted to be substantially constant, so that the width Lo of the reference object Vo in the view image 21 is also maintained to a substantially constant value. In other words, the size of the reference object Vo in the view image 21 has a fixed relationship with the size of the display screen of the display unit 20 regardless of the viewpoint position.
  • the image creating unit 43 renders the virtual space by perspective projection or the like with the position of the eye of the subject S as the viewpoint position, and creates a projection image.
  • the projected image is not added with the later-described blur or distortion caused by the spectacle lenses 9L, 9R, etc., as compared with the view image 21.
  • the image creating unit 43 adjusts the angle of view so that the size of the virtual object Vo arranged at the position of the display unit 20 becomes substantially constant regardless of the viewpoint position.
  • the image creation unit 43 creates the view image 21 so that the angle of view of the view image 21 corresponds to the size of the display screen of the display unit 20 regardless of the view position. .
  • the reference object Vo does not change significantly, as shown in FIG. 5B and FIG. 6B, the virtual objects V1 and V2 around the reference object Vo in the virtual space look at the viewpoint position. Makes it easier to grasp how it changes.
  • the image generation unit 43 After generating the projection image, the image generation unit 43 adds distortion generated by the virtual spectacle lens 9 (referred to as the spectacle lens 9 when the left and right of the spectacle lenses 9L and 9R are referred to without distinction) to the projection image Perform image processing.
  • the virtual spectacle lens 9 referred to as the spectacle lens 9 when the left and right of the spectacle lenses 9L and 9R are referred to without distinction
  • distaltion indicates that the object is recognized as an image having a shape different from the actual shape, and mainly the image of the object is expanded or contracted in any direction such as vertical and horizontal directions.
  • distaltion includes distortion as appropriate, in the present embodiment, it occurs by looking at the object through a surface where the refractive power and astigmatism change, such as the lens surface of a progressive-power lens It mainly assumes the expansion and contraction of the image of the object.
  • FIG. 7 is a conceptual diagram for explaining a method of adding distortion to a projected image.
  • the image creating unit 43 transmits the light path connecting the retina when the subject S looks at the display screen S20 of the display unit 20 and the fixation point Pt on the display screen S20 from the turning point Cr through the eyeglass lens 9 and the eyeglass lens 9 It calculates by the ray tracing which ties from point P1 of the surface of G to point of gaze Pt.
  • the position of the rotation point Cr is preferably set using data obtained by measurement of the shape of the face of the subject S. However, the position of the rotation point assumed in the design of the spectacle lens 9, It can be set by using any position. Note that in ray tracing calculation, rays of light incident on each point of the retina or emitted from each point of the retina may be traced.
  • the image creating unit 43 sets a virtual surface (hereinafter, referred to as virtual surface S1) in the vicinity of the spectacle lens 9.
  • the virtual surface S1 is substantially parallel to the display screen S20 when the subject S looks at the front or when the eye Eb looks at the fitting point of the spectacle lens 9, or the optical axis Ax of the eye Eb is virtual It is preferable that the surface S1 be set to intersect substantially perpendicularly.
  • the image creation unit 43 performs ray tracing on a ray passing through a part of points P0 on the virtual plane S1, and a projected image based on the degree of local distortion of the view image 21 calculated based on the result of the ray tracing. Add distortion.
  • FIG. 8 is a diagram showing a method of calculating local distortion of the visual field image 21 by ray tracing.
  • the virtual plane S1 and the display screen S20 are shown divided into grid lines parallel to the x axis and the y axis (refer to the coordinate system 902), and the virtual space is seen through at the position It is assumed that a projected image obtained by rendering by projection or the like is arranged.
  • the projection image includes a virtual object V3.
  • the image creation unit 43 determines corresponding points Pt1 and Pt2 on the display screen S20 on which light rays passing through the rotation point Cr and the coordinate points such as the points P01, P02, P03, and P04 on the virtual surface S1 are incident by ray tracing. , Pt3, Pt4 etc. are calculated.
  • the image creating unit 43 is a vector Vt directed from a point P1 on the surface of the eyeglass lens 9 on the display unit 20 side to a point Pt on the display screen S20 on which light rays passing through the point P1 are incident. Is calculated by ray tracing.
  • the coordinates of point P1 be P1 (x1, y1, z1)
  • the coordinates of point Pt be Pt (xt, yt, zt)
  • the vector Vt be Vt (vx, vy, vz) (see coordinate system 901)
  • a The x coordinate xt and the y coordinate yt of the point P are expressed as the following equation (1), where (zt ⁇ z1) / vz.
  • the image creating unit 43 calculates the x coordinate xt and the y coordinate yt of the point P based on the vector Vt. be able to.
  • the points P0 and P1 may be associated by ray tracing, but the x and y coordinates of the point P0 can be approximately the same as the points P1.
  • the image creating unit 43 can associate the points P01 to P04 with the points Pt1 to t4 (FIG. 8) by such a method.
  • Data on the spectacle lens 9 such as spectacle lens description data or spectacle lens position data includes the above-mentioned vector Vt which is a parameter indicating the direction of the line of sight from the spectacle lens 9 to the display unit 20 in association with the spectacle lens 9. It may be. Thereby, the amount of arithmetic processing at the time of creating the view image 21 can be reduced.
  • a rectangular partial area (an area surrounded by a two-dot chain line) R1 surrounded by points P01, P02, P03 and P04 on the virtual surface S1 is a point Pt1, Pt2, Pt3,.
  • Pt4 correspond to the partial region R2. Therefore, the image creating unit 43 stretches or reduces the projection image such that a portion corresponding to the partial region R2 of the projection image obtained by rendering from the virtual space is included in the partial region R1.
  • FIG. 8 a rectangular partial area (an area surrounded by a two-dot chain line) R1 surrounded by points P01, P02, P03 and P04 on the virtual surface S1 is a point Pt1, Pt2, Pt3,.
  • Pt4 correspond to the partial region R2. Therefore, the image creating unit 43 stretches or reduces the projection image such that a portion corresponding to the partial region R2 of the projection image obtained by rendering from the virtual space is included in the partial region R1.
  • FIG. 8 a rectangular partial area (an area surrounded
  • the virtual object V3 corresponding to the partial region R2 is processed so as to shrink in the y-axis direction. In other words, distortions determined by linear interpolation are added to the points on the spectacle lens 9 which are not subjected to ray tracing.
  • the image creating unit 43 calculates the direction and amount of local distortion in the view image 21 based on the emission direction from the spectacle lens 9 of the light emitted from the eye of the subject S, and A view image 21 with distortion added is created. Thereby, the image creating unit 43 can create the view image 21 in which distortion is added without performing ray tracing on all the coordinate points corresponding to the surface of the spectacle lens 9. Therefore, the image creating unit 43 can create the view image 21 with high distortion at high speed, and can create a moving image with a higher frame rate, which is composed of the view image 21.
  • the image creation unit 43 adds image distortion to the projection image obtained by rendering the virtual space and viewing the virtual space from the viewpoint position, and then performs image processing to add blur caused by the virtual spectacle lens 9 to the projection image. Do.
  • blue refers to the loss of detail of an object that occurs when the object is recognized with a resolution lower than that appropriate to view the object. More specifically, “blur” mainly refers to an image captured in a defocused state (in a state of focus shift) or an image formed by an optical aberration of an eye optical system of light from an object being a retina. Refers to the obscuring of contours and patterns seen in the image perceived when out of place.
  • FIG. 9A and FIG. 9B are conceptual diagrams for explaining an example of a method of adding a blur to an image.
  • FIG. 9A is a conceptual diagram showing image processing when creating a blurred image B1 in the case where there is no direction dependency of blurring from the image Bo before adding blurring.
  • the blurred image B1 in this case is, for example, created based on the blurring due to the refractive power error when there is no astigmatism.
  • the blurred image B1 can be obtained by convolution integration of the pixel value of each pixel in the image using a point spread function (PSF) as a kernel.
  • PSF point spread function
  • a symbol with X drawn in a circle indicates a convolution integral.
  • PSF1 point spread function
  • an image in which each point is uniformly blurred as shown in the blurred image B1 is obtained.
  • the blurred image B1 is a non-direction dependent blurred image B1.
  • the convolutional integration corresponds to performing a convolution process using a 3 ⁇ 3, 5 ⁇ 5, etc. matrix (see FIG. 10, hereinafter referred to as a blur kernel matrix) as a kernel in discrete computation by a computer.
  • FIG. 9B is a conceptual diagram showing image processing at the time of creating the blurred image B2 in the case where the blurring has direction dependency.
  • the blurred image B2 in this case imitates the blurring due to the astigmatism and the refractive power error.
  • the blurred image B2 is a direction-dependent blurred image B2.
  • FIGS. 9A and 9B show an example in which the same point spread function is applied to the whole of the image Bo before the blurring is applied to create the blurred images B1 and B2.
  • the image creating unit 43 can create the view image 21 by performing convolution processing using blur kernel matrices corresponding to different point spread functions as kernels at each position of the projection image.
  • the image creating unit 43 refers to the prescription data of the eyeglass lens of the subject S via the input unit 31 or the communication unit 32 or from the past data of the subject S stored in the storage unit 33, and the spherical power and the astigmatic power And acquire data on the refractive power of the eye, such as data on the astigmatic axis.
  • the image generation unit 43 uses the data on the acquired refractive power of the eye and the refractive power of the spectacle lens 9 when looking at a predetermined position such as the center O (FIG. 1) of the display unit 20. Sets the blur kernel matrix for focusing.
  • the image creation unit 43 acquires the adjustment power of the subject S.
  • the adjusting power of the subject S is set, for example, by a numerical value (hereinafter referred to as adjusting power parameter) in units of diopter (D) or the like based on the magnitude of the adjusting power.
  • the adjustment power parameter may be input from the input unit 31 by the user, may be set based on data known from the age in the prescription data of the subject S, and when the prescription data is a progressive power lens etc. It may be calculated based on the degree of addition or the like.
  • the image creating unit 43 calculates the refractive power calculated from the spherical power of the subject S, the astigmatic power and the astigmatic axis data, the refractive power of the spectacle lens 9 when the subject S looks at the center O of the display unit 20, etc.
  • the amount of aberration is determined by ray tracing based on the point aberration, the distance between the subject S and the display unit 20, the position of the object in the virtual space, and the accommodation force by the accommodation force parameter, and the blur kernel matrix K is set. Do. If the accommodation power is large, the amount of change in the refractive power of the eye is large, so a different blur kernel matrix K is set for each arbitrary refractive power such as 0.25 D according to the amount of change in the refractive power of the eye.
  • FIG. 10 is a conceptual diagram showing the change of the blur kernel matrix K when the refractive power changes.
  • the blur kernel matrix K changes in the order of the blur kernel matrices K1, K2, K3, K4, K5, and K6.
  • FIG. 10 shows the case of the 3 ⁇ 3 blur kernel matrix K, and the point spread functions PSF1, PSF2, PSF3, PSF4, PSF5 and corresponding to the blur kernel matrices K1, K2, K3, K4, K5 and K6, respectively.
  • PSF 6 is superimposed and schematically shown.
  • the blur kernel matrix K4 has a central value of 1.00 and is a kernel that does not cause blurring.
  • the subject S is considered to adjust the refractive power that causes the least blur within the range of the adjustment power at the gaze point. Therefore, of the blur kernel matrix K based on the refractive power that can be realized based on the subject's S accommodation power, the image creation unit 43 has the least blur, that is, the numerical value of the central element of the blur kernel matrix K.
  • the largest blur kernel matrix K4 is set as a kernel of the position of the view image 21 corresponding to the center O of the display unit 20.
  • the image creating unit 43 obtains the value of the refractive power of the subject S (hereinafter referred to as the post-adjustment refractive power) corresponding to the blur kernel matrix K4.
  • the image creating unit 43 corresponds to the blur kernel corresponding to the smallest adjustment amount.
  • the matrix K is set as a kernel of the position of the view image 21 corresponding to the center O of the display unit 20.
  • the image creating unit 43 obtains the adjusted refractive power, the astigmatic power, the astigmatic axis, the position of each point in the virtual space, and the refractive power of the position of the eyeglass lens 9 through which the line of sight passes when viewing each point.
  • the blur kernel matrix K of each point of the view image 21 is calculated based on the and the astigmatism.
  • the blur kernel matrix K may be calculated based on the accommodation power of the subject S obtained as described above for the part viewed without passing through the spectacle lens 9 in the visual field image 21, or the naked eye of the subject S Blur may be added based on optometry data of
  • the image creating unit 43 performs ray tracing of rays emitted from each point on the virtual object V disposed in the virtual space, transmitted through the spectacle lens 9, and incident on the retina of the eye E.
  • the image creating unit 43 sets the parameters of the lens in the eyeball model based on the post-adjustment adjustment power obtained above.
  • As the eyeball model one constructed based on eyeball data measured in the past as appropriate may be used.
  • the image creation unit 43 can calculate the amount of aberration at each point of the visual field image 21 from the convergence position of each light ray incident on each point of the retina in ray tracing.
  • the image creation unit 43 sets the blur kernel matrix K of each point based on the amount of aberration at each point of the view image 21.
  • the image creation unit 43 generates data in which the blur kernel matrix K calculated in advance by ray tracing based on the spectacle lens shape data and the spectacle lens position data at each point of the spectacle lens 9 is linked to the spectacle lens 9. You may make it the structure acquired.
  • the image creation unit 43 When the blur kernel matrix K corresponding to each point of the view image 21 is set, the image creation unit 43 convolutes these blur kernel matrices K with the matrix indicating the pixel values of the image to which the distortion is added as a kernel. Processing is performed to create a visual field image 21. Note that, after a blur is first added to the two-dimensional image obtained by rendering the virtual space based on the viewpoint position according to the method described above using the blur kernel matrix K, a distortion may be added.
  • the display control unit 44 (FIG. 1) controls the display of the view image 21 created by the image creation unit 43 on the display screen of the display unit 20.
  • the display control unit 44 sequentially displays the view images 21 sequentially created by the image creation unit 43 on the display unit 20 based on the subject image Is sequentially captured by the imaging unit 10.
  • the subject S experiences how the reference object Vo or the like at the position of the display unit 20 looks through the virtual spectacle lens 9 while viewing the visual field image 21 displayed on the display unit 20 from various positions. can do.
  • the image creating apparatus 1 can be configured as a spectacle lens selection system for selecting a spectacle lens to be worn by the subject S based on such an experience.
  • the subject S can experience through the virtual spectacle lens 9 how other virtual objects V1 and V2 around the reference object Vo appear in the virtual space in the visual field.
  • the wearer of the spectacle lens may be particularly concerned about the appearance of the progressive power lens at a point away from the point of gaze and the appearance at the peripheral portion of the lens of the single focus lens.
  • the image creating apparatus 1 of the present embodiment is particularly suitable as an apparatus for performing such simulation of appearance when wearing a spectacle lens.
  • FIG. 11 is a flow chart showing the flow of an image creation method using the image creation apparatus of this embodiment.
  • step S1001 the visual acuity of the subject S is corrected such that the subject S wears a correction lens so that the subject S can properly view the image displayed on the display unit 20.
  • the correction lens may be a spectacle lens that the subject S usually wears.
  • step S1003 the image creating unit 43 sets a virtual object V arranged in the virtual space, and constructs a virtual space.
  • step S1005 is started.
  • step S1005 the image creating unit 43 acquires spectacle lens description data, and determines the relative position of the spectacle lens to the subject S when the subject S wears the virtual spectacle lens 9.
  • step S1007 is started. Steps S1001, 1003 and 1005 may be performed in a different order.
  • step S1007 the imaging unit 10 images the subject S who looks at the display unit 20, and the feature detection unit 41 detects the feature F from the subject image Is obtained by imaging.
  • step S1009 is started.
  • step S1009 the parameter calculating unit 42 determines the distance between the subject S and the display unit 20 and the face orientation of the subject S based on the detected position of the feature F and the distance between the detected feature F. calculate.
  • step S1011 is started.
  • step S1011 the image creating unit 43 is an image of a virtual field of view when the subject S views the display unit 20 through the spectacle lens 9 based on the distance between the subject S and the display unit 20 and the orientation of the face. (Field-of-view image 21) is created.
  • step S1011 ends, the process proceeds to step S1013.
  • step S1013 the control unit 40 determines whether or not a change instruction to change the spectacle lens 9 has been input by the user. When the change instruction is input, the control unit 40 makes an affirmative decision in step S1013 and returns to step S1005. If the change instruction has not been input, the control unit 40 makes a negative decision in step S1013 and proceeds to step S1015.
  • step S1015 the control unit 40 determines whether or not an end instruction to end the creation of the view image 21 is input.
  • the control unit 40 makes an affirmative determination in step S1015, and proceeds to step S1017. If the end instruction has not been input, the control unit 40 makes a negative decision in step S1015 and returns to step S1007. Steps S1007 to S1015 are repeated until the end instruction is input, and the view image 21 is continuously displayed as a moving image.
  • step S1017 the user obtains the response of the subject S viewing the visual field image 21, and the spectacle lens worn by the subject S is selected based on the response.
  • the subject S visually observes the visual field image 21 when the eyeglass lens under consideration for purchase is virtually worn.
  • the visual field image 21 in this case is an image when viewed through a virtual spectacle lens having a spherical power, an astigmatic power, an addition degree, and the like based on prescription data obtained in advance by the subject S, and the visual field image 21 is the eyeglass It becomes a virtual image when viewing the display unit 20 with the vision corrected by the lens.
  • step S1017 ends, step S1019 is started.
  • step S1019 the eyeglass lens ordering apparatus orders the eyeglass lens worn by the subject S, and the eyeglass lens order receiving apparatus (not shown) that has received an order for the eyeglass lens causes the eyeglass lens processing machine (not shown) to manufacture the eyeglass lens.
  • step S1019 ends the process ends.
  • the image creating apparatus detects the feature F from the subject image Is obtained by imaging the subject S who looks at the display unit 20, and the position and / or detection of the detected feature F
  • a parameter calculation unit 43 that calculates the distance between the subject S and the display unit 20 and the face orientation of the subject S based on the distance between the features F, and the distance between the subject S and the display unit 20
  • an image creation unit 43 that creates a view image 21 when the subject S views the display unit 20 through the spectacle lens 9 based on the orientation of the face, and a display control unit 44 that displays the view image 21 on the display unit 20.
  • subject S can be made to experience how it looks through eyeglass lens 9 by efficient processing using feature F in the picture which picturized subject S.
  • a special device such as a distance image sensor or a head mount display, it is possible to make the subject S experience the appearance through the spectacle lens 9 realistic only with an image captured by a general camera.
  • the parameter calculating unit 42 calculates the position of the eye of the subject S based on the position of the detected feature F and / or the distance between the detected features F.
  • the image creating unit 43 determines the visual field when the subject S views the display unit 20 through the spectacle lens 9 from the position of the eye based on the position of the eye, the distance between the subject S and the display unit 20, and the orientation of the face. Create an image 21. As a result, a more accurate viewpoint position can be obtained, and the subject S can experience a more realistic look through the spectacle lens 9.
  • the image creating unit 43 creates the view image 21 when the subject S looks at a virtual object (reference object Vo) at the position of the display unit 20. Thereby, the subject S can experience in an easy-to-understand manner how the object at the position of the display unit 20 looks.
  • the image creating unit 43 constructs a three-dimensional virtual space including the reference object Vo, and the angle of view of the visual field image 21 can be obtained regardless of the position of the subject S's eye. It corresponds to the size of the display screen S20 of the display unit 20. As a result, another virtual object V is displayed on the basis of the reference object Vo whose size and position are easy to be grasped, so that the subject S can easily obtain a three-dimensional feeling or grasp how the position other than the fixation point looks Cheap.
  • the image creating unit 43 calculates the local distortion by the eyeglass lens 9 based on the emission direction from the eyeglass lens 9 of the light emitted from the eye E. Thereby, the visual field image 21 can be created at high speed by processing each part of the visual field image 21 using the local distortion.
  • the image creating unit 43 emits a light beam emitted from a point on the virtual object V disposed in the virtual space, transmitted through the spectacle lens 9 and incident on the retina of the eye E.
  • the amount of aberration in the retina is calculated based on the result of ray tracing, and a field image 21 containing blur is created by convolution calculation based on the amount of aberration.
  • the subject S can experience a more realistic look through the spectacle lens 9 in which the blur corresponding to each point of the spectacle lens 9 is taken into consideration.
  • the subject S calculates the amount of aberration based on the adjustment power, age, and / or parameters based on prescription data. In this way, the subject S can experience a more realistic look through the spectacle lens 9 in which the subject S 'accommodation power is taken into consideration.
  • the image creation unit 43 changes the blur kernel matrix, which is the kernel of convolution calculation, based on the distance between the subject S and the display unit 20.
  • the blur kernel matrix can be set with less processing, and blur can be added to the view image 21 at high speed.
  • the feature detection unit 41 detects the feature F from a part of the subject image Is corresponding to the face of the subject S.
  • parameters such as the distance between the subject S and the display unit 20 can be calculated from an image obtained by imaging the face of the subject S, and processing can be performed efficiently.
  • a device such as a head mounted display in which a lens is disposed in front of the subject's eye, it is not necessary to consider the influence of aberration due to such a lens.
  • a plurality of features are detected from the subject image Is obtained by imaging the subject S viewing the display unit 20, and the position of the detected feature F and / or the detected feature F
  • the distance between the subject S and the display unit 20 and the face orientation of the subject S are calculated based on the distance between the subject S and the subject, and the subject based on the distance between the subject S and the display unit 20 and the face orientation
  • the visual field image 21 when S looks at the display unit 20 through the spectacle lens 9 is created, and the visual field image 21 is displayed on the display unit 20.
  • the parameter calculating unit 42 calculates a parameter such as the distance between the subject S and the display unit 20 from the feature F of the subject S using the inter-pupil distance PD.
  • the subject S wears a member having a portion with a known length on the head, and the parameter calculation unit 42 uses the length of the portion in the subject image Is to set between the subject S and the display 20 Parameters such as distance may be calculated.
  • a mark or the like that can be detected by the feature detection unit 41 as the feature F can be attached to the correction lens and / or the frame of the correction lens worn by the subject S when viewing the display unit 20.
  • the image creating apparatus 1 is configured to include one display unit 20, but may be configured to include a plurality of display units 20.
  • the plurality of display units 20 be disposed at different distances from the subject S, respectively.
  • the plurality of display units 20 may be far from the subject S (e.g., 1 m or more, appropriately set), near distance (e.g., less than 50 cm, appropriately set), and an intermediate between the long distance It is preferable to arrange at least two or more distances selected from the distance.
  • the display unit 20 may be configured to include a three-dimensional display.
  • the image creating unit 43 generates a left-eye view image 21 as a view image 21 with the position of the left eye of the subject S as a viewpoint and a right-eye view as a view image 21 with the position of the right eye of the subject S as a viewpoint Create an image.
  • the left eye view image is displayed on the left eye of the subject S by a method using glasses with special optical characteristics, a parallax barrier, etc.
  • the right eye is presented with a right eye view image.
  • the subject S can obtain a three-dimensional effect when viewing the view image 21, and can experience a more realistic experience.
  • a program for realizing the information processing function of the image creating apparatus 1 is recorded in a computer readable recording medium, and a program related to the control of the above-mentioned image creating process and the process related thereto recorded in the recording medium It may be read and executed by the system.
  • the “computer system” includes an OS (Operating System) and hardware of peripheral devices.
  • the term "computer-readable recording medium” refers to a portable recording medium such as a flexible disk, a magneto-optical disk, an optical disk, a memory card, or a storage device such as a hard disk incorporated in a computer system.
  • the program relating to the control described above can be provided through a recording medium such as a CD-ROM or a DVD-ROM or a data signal such as the Internet.
  • FIG. 12 shows the situation.
  • the PC 950 receives the provision of the program via the CD-ROM 953.
  • the PC 950 has a connection function with the communication line 951.
  • the computer 952 is a server computer that provides the above program, and stores the program in a recording medium such as a hard disk.
  • the communication line 951 is a communication line such as the Internet, personal computer communication, or a dedicated communication line.
  • the computer 952 reads the program using the hard disk, and transmits the program to the PC 950 via the communication line 951. That is, the program is carried by a carrier wave as a data signal and transmitted through the communication line 951.
  • the program can be supplied as various forms of computer readable computer program products such as a recording medium and a carrier wave.
  • a feature detection process for detecting a plurality of features F from a subject image Is obtained by imaging the subject S looking at the display unit 20;
  • a parameter calculation process for calculating the distance between the subject S and the display unit 20 and the face direction of the subject S based on the distance between the detected features F, and the distance between the subject S and the display unit 20
  • Image creation processing for creating a view image 21 when the subject S looks at the display unit 20 through the spectacle lens 9 based on the distance and the direction of the face, and display control processing for displaying the view image 21 on the display unit 20
  • a program for causing the processing device to execute is included.
  • the present invention is not limited to the contents of the above embodiment.
  • the matters shown in the above-mentioned embodiment and modification can be combined suitably.
  • Other embodiments considered within the scope of the technical idea of the present invention are also included within the scope of the present invention.
  • SYMBOLS 1 ... Image creation apparatus, 9, 9, L, 9R ... Eyeglass lens, 10 ... Imaging part, 20 ... Display part, 21 ... View image, 30 ... Information processing part, 40 ... Control part, 41 ... Feature detection part, 42 ... Parameter Calculation unit, 43: Image creation unit, 44: Display control unit, E: Eye, Eb, EbL, EbR: Eye, F: Feature, K, K1, K2, K3, K4, K5, K6: blur kernel matrix, S ... Subject, S1 ... Virtual plane, S20 ... Display screen, Vo ... Reference object.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Eyeglasses (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

画像作成装置は、表示装置を目視する被験者を撮像した撮像画像から、特徴を検出する特徴検出部と、検出された特徴の位置および／または検出された特徴の間の距離に基づいて、被験者と表示装置との間の距離および被験者の顔の向きを算出するパラメータ算出部と、被験者と表示装置との間の距離および顔の向きに基づいて、被験者が眼鏡レンズを通して表示装置を目視した場合の仮想的な視野の画像を作成する画像作成部と、仮想的な視野の画像を表示装置に表示させる表示制御部とを備える。

Description

画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
　本発明は、画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラムに関する。
　眼鏡レンズの装用者が、仮想的な眼鏡レンズを通して目視した場合の視野の画像を生成するため、種々の方法の提案がなされている。例えば、特許文献１では、頭部に装着可能で、距離画像センサにより取得した情報を利用する装置が記載されている。このような装置よりも簡易的な構成で、被験者に眼鏡レンズを通した見え方をリアルに体験させることが望まれている。
日本国特許第６０２３８０１号公報
　本発明の第１の態様によると、画像作成装置は、表示装置を目視する被験者を撮像した撮像画像から、特徴を検出する特徴検出部と、検出された前記特徴の位置および／または検出された前記特徴の間の距離に基づいて、前記被験者と前記表示装置との間の距離および前記被験者の顔の向きを算出するパラメータ算出部と、前記被験者と前記表示装置との間の距離および前記顔の向きに基づいて、前記被験者が眼鏡レンズを通して前記表示装置を目視した場合の仮想的な視野の画像を作成する画像作成部と、前記仮想的な視野の画像を前記表示装置に表示させる表示制御部とを備える。
　本発明の第２の態様によると、眼鏡レンズ選択システムは、第１の態様の画像作成装置と、前記表示装置と、前記表示装置を目視する被験者を撮像する撮像部とを備える。
　本発明の第３の態様によると、画像作成方法は、表示装置を目視する被験者を撮像した撮像画像から、特徴を検出することと、検出された前記特徴の位置および／または検出された前記特徴の間の距離に基づいて、前記被験者と前記表示装置との間の距離および前記被験者の顔の向きを算出することと、前記被験者と前記表示装置との間の距離および前記顔の向きに基づいて、前記被験者が眼鏡レンズを通して前記表示装置を目視した場合の仮想的な視野の画像を作成することと、前記仮想的な視野の画像を前記表示装置に表示させることとを備える。
　本発明の第４の態様によると、プログラムは、表示装置を目視する被験者を撮像した撮像画像から、特徴を検出する特徴検出処理と、検出された前記特徴の位置および／または検出された前記特徴の間の距離に基づいて、前記被験者と前記表示装置との間の距離および前記被験者の顔の向きを算出するパラメータ算出処理と、前記被験者と前記表示装置との間の距離および前記顔の向きに基づいて、前記被験者が眼鏡レンズを通して前記表示装置を目視した場合の仮想的な視野の画像を作成する画像作成処理と、前記仮想的な視野の画像を前記表示装置に表示させる表示制御処理とを処理装置に行わせるためのものである。
図１は、一実施形態の画像作成装置の概略構成を示す概念図である。 図２（Ａ）は、被験者の顔を撮像した画像を模式的に示す図であり、図２（Ｂ）は、被験者の顔の特徴を示す概念図である。 図３（Ａ）は、被験者が眼鏡レンズを通して見る場合の視野の範囲を説明するための図であり、図３（Ｂ）は、図３（Ａ）の場合の表示画像の一例を模式的に示す図である。 図４（Ａ）は、被験者が眼鏡レンズを通して見る場合の視野の範囲を説明するための図であり、図４（Ｂ）は、図４（Ａ）の場合の表示画像の一例を模式的に示す図である。 図５（Ａ）は、仮想空間にある物体の配置を示す概念図であり、図５（Ｂ）は、図５（Ａ）の場合の表示画像の一例を模式的に示す図である。 図６（Ａ）は、仮想空間にある物体の配置を示す概念図であり、図６（Ｂ）は、図６（Ａ）の場合の表示画像の一例を模式的に示す図である。 図７は、仮想的な視野の画像にゆがみを加える方法を説明するための概念図である。 図８は、仮想的な視野の画像にゆがみを加える方法を説明するための概念図である。 図９（Ａ）は、方向依存性の無いぼけ画像の作成方法の一例を示す概念図である。図９（Ｂ）は、方向依存性を有するぼけ画像の作成方法の一例を示す概念図である。 図１０は、調節力に基づいたカーネルの変化を説明するための概念図である。 一実施形態の画像作成方法を含む、眼鏡レンズの製造方法の流れを示すフローチャートである。 一実施形態に係るプログラムを説明するための図である。
　以下の実施形態では、適宜図面を参照しながら、画像作成装置等について説明する。以下の説明では、眼鏡レンズにおける「上方」、「下方」、「上部」、「下部」等と表記する場合は、当該眼鏡レンズが装用されたときに装用者から見たレンズ内の位置関係に基づくものとする。
　図１は、本実施形態の画像作成装置の概略構成を示す概念図である。画像作成装置１は、撮像部１０と、表示部２０と、情報処理部３０とを備える。情報処理部３０は、入力部３１と、通信部３２と、記憶部３３と、制御部４０とを備える。制御部４０は、特徴検出部４１と、パラメータ算出部４２と、画像作成部４３と、表示制御部４４とを備える。
　画像作成装置１は、被験者Ｓが眼鏡レンズの形状データ等に基づいた仮想的な眼鏡レンズを通して表示部２０を目視した場合の仮想的な視野の画像（以下、視野画像と呼ぶ）を作成する。
　撮像部１０は、カメラ等の撮像装置を備え、被験者Ｓの頭部、特に顔を撮像する。撮像して得た画像から、後述するパラメータ算出部４２による処理に必要な特徴を検出することができれば、撮像部１０はいずれの位置に配置されてもよい。撮像部１０へ入射した光（画像）は光電変換されて光強度を示す信号となった後、Ａ／Ｄ変換されて制御部４０に入力される（矢印Ａ１）。
　表示部２０は、液晶モニタ等の表示装置を備え、画像作成部４３が作成した視野画像を表示制御部４４の制御により表示する（矢印Ａ２）。
　情報処理部３０は、電子計算機等の情報処理装置を備え、視野画像の作成等に必要な情報処理を行う。
　なお、情報処理部３０は、スマートフォンやノートパソコン等のように撮像部１０および／若しくは表示部２０と一体的に構成されていてもよく、または、撮像部１０および／若しくは表示部２０から物理的に離れた位置に配置されてもよい。さらに、情報処理部３０が行う処理の一部は、遠隔に配置された電子計算機やサーバ等により行われてもよく、情報処理部３０に記憶されるデータの少なくとも一部は、遠隔に配置されたサーバ等に記憶されてもよい。
　入力部３１は、マウス、キーボード、各種ボタンおよび／またはタッチパネル等の入力装置を含んで構成される。入力部３１は、制御部４０の行う処理に必要な情報等を、ユーザから受け付ける。
　通信部３２は、インターネット等のネットワークに無線や有線接続により通信可能な通信装置を含んで構成され、被験者Ｓの処方データや眼鏡レンズの形状データを受信したり、適宜必要なデータを送受信する。
　記憶部３３は、不揮発性の記憶媒体で構成され、被験者Ｓの処方データや眼鏡レンズの形状データ等の各種データ、制御部４０が処理を実行するためのプログラム等を記憶する。
　制御部４０は、ＣＰＵ等のプロセッサを含んで構成され、記憶部３３に記憶されたプログラムを実行し、画像作成装置１の各動作の主体となる。制御部４０は、撮像部１０が撮像して得た画像に基づいて視野画像を作成し、表示部２０に表示させる。
　制御部４０の特徴検出部４１は、撮像部１０が撮像した被験者Ｓの頭部の画像から、画像処理により特徴を検出する。以下の説明で「特徴」とは、特徴点、エッジ、コーナーならびにこれらを適宜含む２次元および３次元の要素等の、画像処理により他の部分と区別可能な画像中の点、線、または部分とする。
　図２（Ａ）は、撮像部１０が被験者Ｓの頭部を撮像して得た画像（以下、被験者画像Ｉｓと呼ぶ）を模式的に示す図である。図２（Ａ）の被験者画像Ｉｓは被験者Ｓを正面から撮像した画像となっており、被験者Ｓの顔における、左眉毛ＢＬ、右眉毛ＢＲ、左眼ＥＬ、右眼ＥＲ、左瞳孔ＰＬ、右瞳孔ＰＲ、鼻Ｎ、口唇Ｍ、顔の輪郭Ｃ等の、特徴的な構造または色彩等を有する部分が示されている。
　図２（Ｂ）は、特徴検出部４１が検出する特徴Ｆを示す図である。特徴検出部４１は、被験者画像Ｉｓから、ＦＡＳＴ法やキャニー法等の画像処理を用いて特徴点、エッジおよび／またはコーナー等の特徴Ｆの検出を行う。これらの特徴Ｆの少なくとも一部は、撮像部１０に対する被験者Ｓの顔の向きが変化しても検出可能なものが好ましい。特徴検出部４１は、記憶部３３に記憶されている過去に取得された特徴Ｆの情報等に基づいて、検出した特徴Ｆが鼻Ｎ、顔の輪郭Ｃ等のいずれの顔の部分に対応するかを決定する。なお、特徴検出部４１は、顔画像のデータセットを利用して機械学習することにより得られる顔特徴点検出モデルを、特徴Ｆとして検出してもよい。
　図２（Ｂ）には、被験者画像Ｉｓから特徴検出部４１が検出する特徴Ｆとして、左眉毛ＢＬに対応する線状の特徴ＦｂＬ、右眉毛ＢＲに対応する線状の特徴ＦｂＲ、左眼ＥＬの瞳孔中心に対応する特徴点ＦｅＬ（以下、左眼特徴点と呼ぶ）、右眼ＥＲの瞳孔中心に対応する特徴点ＦｅＲ（以下、右眼特徴点と呼ぶ）、鼻尖に対応する特徴点Ｆｎａ（以下、鼻特徴点と呼ぶ）、鼻Ｎに対応し、鼻根から鼻尖を通り左右の外鼻孔へと分岐した線分からなる特徴Ｆｎ、上下の口唇Ｍの赤い部分の輪郭に対応する特徴Ｆｍ、および顔の輪郭Ｃに対応する線状の特徴Ｆｃが示されている。
　特徴検出部４１は，各特徴Ｆを構成する特徴点の座標のデータ、各特徴Ｆを構成する線分を表現する、複数の特徴点の座標を紐づけたデータ、および特徴Ｆと対応する顔の部分等を記憶部３３に記憶させる。
　なお、後述のパラメータ算出部４２が所望のパラメータを算出することができれば、各特徴Ｆを表現するデータ構造は特に限定されない。
　パラメータ算出部４２は、特徴検出部４１が検出した被験者画像Ｉｓにおける特徴Ｆの位置に基づいて、被験者Ｓの顔の位置および顔の向き等のパラメータを算出する。ここで、「顔の向き」は、図１にＲ、Ｐ、Ｙの記号でそれぞれ模式的に示された回転方向に対応する頭部のロール角、ピッチ角、ヨー角で記述することができる。ここで、ロール角は、被験者Ｓの前後方向に伸びる軸（ｚ軸）の周りの回転角であり、ピッチ角は、被験者Ｓの左右方向に伸びる軸（ｘ軸）の周りの回転角であり、ヨー角は、被験者Ｓの上下方向に伸びる軸（ｙ軸）の周りの回転角である。図１には、ｘ軸、ｙ軸およびｚ軸の方向と向きを座標軸９００で示した。
　なお、座標系の取り方等、顔の向きの数学的な表現方法は特に限定されない。
　パラメータ算出部４２が特徴Ｆから顔の向きを算出する方法は特に限定されない。例えばHorprasertらの論文（T. Horprasert, Y. Yacoob, and L. Davis, ”Computing 3-D Head Orientation from a Monocular Image Sequence,” Proceedings of the Second International Conference on Automatic Face and Gesture Recognition（米国）, IEEE,1996年, pp.242-247）には眼の端（目頭、目尻）および鼻尖を含む数個の特徴点から頭部のロール角、ピッチ角、ヨー角を計算する方法が示されている。ここでは、目頭や目尻が同一直線上にあるとして計算を行っている。パラメータ算出部４２による被験者Ｓの顔の向きの算出には、この論文で用いられているような、顔の一部に対応する特徴点が所定の空間的関係にあると仮定して計算する方法の他、様々な頭部姿勢推定(Head pose estimation)方法を用いて被験者画像Ｉｓから被験者Ｓの顔の向きを算出することができる。
　パラメータ算出部４２は、特徴検出部４１が検出した被験者画像Ｉｓにおける特徴Ｆの位置と、パラメータ算出部４２が算出した顔の向きと、被験者Ｓの顔の一部の長さの実測値とから、被験者Ｓの位置を算出することができる。パラメータ算出部４２は、被験者画像Ｉｓにおける左眼特徴点ＦｅＬと右眼特徴点ＦｅＲとの間の距離ＰＤｉを、これらの特徴点の座標から算出する。パラメータ算出部４２は、算出した画像上の距離ＰＤｉを、算出した顔の向きに基づいて顔の正面から見た場合の長さに変換し、この長さと実測した瞳孔間距離（ＰＤ）との比較に基づいて被験者Ｓと撮像部１０との間の距離を算出する。
　例えば、パラメータ算出部４２は、撮像部１０の撮像素子の焦点面の縦横のサイズと焦点距離とから、既知の瞳孔間距離ＰＤが画像上の距離ＰＤｉとなる、撮像部１０から被験者Ｓまでの距離を求めることができる。
　なお、画像作成装置１が、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式により測距を行って距離画像を撮像するＴｏＦカメラ、またはステレオカメラを備える等、被写体画像Ｉｓから検出した特徴Ｆを用いる以外の方法で撮像部１０から被験者Ｓまでの距離を測定してもよい。
　図１に示されるように、パラメータ算出部４２は、算出した被験者Ｓと撮像部１０との間の距離Ｅｚと、予め定められた撮像部１０と表示部２０との間の距離Ｃｚとの和により、被験者Ｓと表示部２０との間の距離を算出する。また、パラメータ算出部４２は、被験者Ｓと撮像部１０との間の距離Ｅｚと、撮像部１０から見た被験者Ｓの眼Ｅの方向から、被験者Ｓの眼Ｅと撮像部１０との間のｙ軸方向の距離Ｅｙを算出する。パラメータ算出部４２は、この距離Ｅｙと、予め定められた表示部２０の位置Ｏと撮像部１０との間のｙ軸方向の距離Ｃｙとから、表示部２０を基準とした眼Ｅのｙ軸方向の位置を算出する。パラメータ算出部４２は、ｘ軸方向についてもｙ軸方向と同様に計算して、表示部２０を基準とした眼Ｅの三次元位置を算出する。撮像部１０と表示部２０との位置関係を示す距離Ｃｙ，Ｃｚ等は、入力部３１を介してユーザにより入力されるか、予め記憶部３３に記憶された数値を用いる。
　なお、撮像部１０の撮像方向が表示部２０の表示画面の法線方向と異なる場合には、当該撮像方向と当該法線方向とがなす角度が予め測定され画像作成装置１のユーザ（以下、単に「ユーザ」と呼ぶ）等により入力される。パラメータ算出部４２は、入力された当該角度に基づいて被験者画像Ｉｓから算出される被験者Ｓの顔および眼の三次元位置ならびに顔の向きを表示部２０を基準とした値に補正することができる。
　画像作成部４３は、パラメータ算出部４２が算出した、被験者Ｓと表示部２０との間の距離および被験者Ｓの顔の向きに基づいて、被験者Ｓが眼鏡レンズを通して表示部２０を目視した場合の仮想的な視野の画像（視野画像）を作成する。後述するように、視野画像は、表示部２０の位置に仮想的な物体があるとして、被験者Ｓが表示部２０に対して（すなわち仮想的な物体に対して）様々な位置から目視したときに、当該仮想的な物体を仮想的な眼鏡レンズを通して当該位置から目視した場合の視野の画像となる。視野画像は、被験者Ｓの顔の向き等に追従して視野画像における眼鏡レンズの位置および向きが追従するリアルタイム動画として構成されるが、視野画像を含む動画が記録された後に再生してもよい。
　画像作成部４３は、仮想空間における各物体の位置、形状、テクスチャ等のデータ（以下、仮想空間記述データと呼ぶ）を取得し、仮想空間を構築する。仮想空間記述データに含まれる各値については、記憶部３３に記憶された情報や通信部３２を介して外部から取得した情報に基づいて設定されたり、ユーザと呼ぶ）の入力に基づいて設定される。仮想空間における物体の配置の態様は特に限定されないが、本実施形態のように表示部２０の位置に仮想物体が配置されていると、表示部２０を目視する被験者Ｓにとって位置や大きさが把握しやすいため好ましい。さらに、表示部２０の位置に配置された仮想物体を基準に、仮想空間に配置され表示部２０に表示される他の仮想物体がどのように見えるかを被験者Ｓが把握しやすくなるため好ましい。
　仮想空間記述データによる仮想空間の表現方法は特に限定されないが、例えば、仮想空間に配置される各物体（幾何オブジェクト）がどこでどの向きに配置されるかを示す位置情報が設定されており、幾何オブジェクトの表面での光の反射率および透過率、色、テクスチャについての情報等が適宜設定されている。幾何オブジェクトの微細な立体構造等は、テクスチャとしての幾何オブジェクトの平面の情報で適宜置き換えて表現され得る。仮想空間記述データは、仮想空間を照らす照明に関するデータを含んでもよい。照明に関するデータは、照明の位置、照明の光の色、波長分布、光の強さ等を適宜備える。
　画像作成部４３は、被験者Ｓが表示部２０を目視する際に仮想的に装用する眼鏡レンズについてのデータ（以下、眼鏡レンズ記述データと呼ぶ）を取得する。眼鏡レンズ記述データに含まれる各値については、記憶部３３に記憶された情報や通信部３２を介して外部から取得した情報に基づいて設定されたり、ユーザからの、被験者Ｓの処方データおよびレンズの種類の入力に基づいて設定される。眼鏡レンズ記述データは、眼鏡レンズの形状データや、眼鏡レンズの材料特性データを含む。眼鏡レンズの形状データは、眼鏡レンズの外形情報、中心厚、眼鏡レンズの物体側および眼球側の前後二面ならびに周囲面の形状データ等を備える。眼鏡レンズの材料特性データは、屈折率等のデータを備える。
　なお、眼鏡レンズ記述データは、眼鏡レンズを通して見るときの収差量を表す値を含んでもよい。当該収差量は、球面収差、非点収差、コマ収差等についての収差量を含むことが好ましい。当該収差量は、処方データ、レンズの形状、レンズの材料、後述する装用パラメータ、注視点との距離、および／または眼の調節力等に基づいて予め光線追跡から算出された数値であり、ベクトルや行列等の形式で適宜表現される。
　画像作成部４３は、被験者Ｓが眼鏡レンズを装用しているときの、被験者Ｓと眼鏡レンズとの相対位置（以下、眼鏡レンズ位置と呼ぶ）を設定する。眼鏡レンズ位置は、ユーザが入力した眼鏡レンズ位置に関するデータ（以下、眼鏡レンズ位置データと呼ぶ）に基づいて設定されることが好ましい。眼鏡レンズ位置データは、被験者Ｓが眼鏡レンズを装用しているときに実測等により得られ入力された眼鏡レンズ位置に関する装用パラメータを含み、当該装用パラメータは、例えば角膜頂点間距離や前傾角、反り角等を含む。ユーザが被験者Ｓに関して眼鏡レンズ位置データを用いないように入力した場合は、画像作成部４３は、眼鏡レンズが設計される際の基準となっている、眼鏡レンズと眼球との位置関係に基づいて眼鏡レンズ位置を設定する。
　画像作成部４３は、撮像部１０による撮像で得られた被験者画像Ｉｓに基づいてパラメータ算出部４２が被験者Ｓの眼Ｅの位置および顔の向きを算出すると、当該眼Ｅの位置から表示部２０の位置にある仮想物体を目視した場合の視野画像を作成する。画像作成部４３は、眼Ｅの位置と、顔の向きと、眼鏡レンズ位置と、眼鏡レンズ記述データと、仮想空間記述データとから、眼鏡レンズを通して仮想物体を目視した場合の視野画像を作成する。
　図３（Ａ）は、視野画像を説明するための概念図である。図３（Ａ）では眼鏡レンズ９Ｌ、９Ｒが眼鏡レンズ記述データに基づく仮想的なものとして示されている。被験者Ｓの眼球ＥｂＬ、ＥｂＲは、表示部２０を目視しており、右眼球ＥｂＲの光軸Ａｘは表示部２０の中心Ｏを通っている。表示部２０には視野画像２１が表示されており、視野画像２１には３つの仮想物体Ｖ（Ｖｏ，Ｖ１，Ｖ２）の画像が示されている。眼鏡レンズ９Ｌ、９Ｒは、左眼球ＥｂＬおよび右眼球ＥｂＲの前方の眼鏡レンズ位置に仮想的に配置されている。
　図３（Ａ）において、破線Ｌ１，Ｌ２は右眼球ＥｂＲからの、眼鏡レンズ９Ｒを通して見ることのできる視野の範囲の左端および右端をそれぞれ模式的に示している。つまり、被験者Ｓは、表示部２０の左側が眼鏡レンズ９Ｒを通して目視できる範囲であるが、表示部２０の右側の一部については、眼鏡レンズ９Ｒを通して目視できない範囲となっている。
　図３（Ｂ）は、図３（Ａ）の場合の視野画像２１を模式的に示した図である。視野画像２１のハッチングがされた部分２２は、被験者Ｓが仮想的な眼鏡レンズ９Ｒを通して表示部２０を目視した場合の視野の画像である。視野画像２１のハッチングされていない部分２３は、被験者Ｓが仮想的な眼鏡レンズ９Ｒを通さずに表示部２０を目視した場合の視野の画像である。図３（Ａ）で眼鏡レンズ９Ｒを通しては目視できない視野画像２１の右側の一部の領域については、被験者Ｓの裸眼による視野の画像が表示される。このように、画像作成部４３は、被験者Ｓの視野における眼鏡レンズ９Ｌ、９Ｒの領域に基づいて、視野画像２１を作成する。
　なお、視野画像２１は、左眼または右眼のいずれか一方の視野に基づいて作成してもよいし、両眼の視野についての視野画像を利き目の度合等に基づいて局所的にずらして合成した合成画像として作成してもよい。また、本実施形態ではパラメータ算出部４２が眼の位置を算出し、当該眼の位置を視点に画像作成部４３が視野画像を作成しているが、視点は厳密に眼の位置に合わせなくともよく、例えば両眼の中央の位置を視点位置とする等、適宜設定することができる。
　図４（Ａ）は、図３（Ａ）の状態から、被験者Ｓが頭部を右側に向けた状態を示す概念図である。図４（Ａ）および図４（Ｂ）では、図３（Ａ）および図３（Ｂ）と同一部分については同一の符号で参照し適宜説明を省略する。破線Ｌ１，Ｌ２でそれぞれ模式的に示される、右眼球ＥｂＲからの眼鏡レンズ９Ｒを通して見ることのできる視野の範囲の左端および右端は、表示部２０に向かって右側に移動している。つまり、被験者Ｓは、表示部２０の右側を眼鏡レンズ９Ｒを通して目視しているが、表示部２０の左側の一部については、眼鏡レンズ９Ｒを通しては目視できない。
　図４（Ｂ）は、図４（Ａ）の場合の視野画像２１を模式的に示した図である。図４（Ａ）で眼鏡レンズ９Ｒを通しては目視できない左側の一部の領域については、被験者Ｓの裸眼による視野の画像が表示される。このように、画像作成部４３は、被験者Ｓが眼の位置や顔の向きを変化させた場合には、それに伴う、視野における眼鏡レンズ９Ｌ、９Ｒの領域の変化に基づいて、視野画像２１を作成する。
　図５（Ａ）は、視野画像２１における画角の調整を説明するための概念図である。本実施形態では、表示部２０の位置に仮想的な物体（以下、基準物体Ｖｏと呼ぶ）が配置されるように仮想空間を構築している。ここで、被験者Ｓと表示部２０との間の距離が変化すると、本来は、被験者Ｓの視野における基準物体Ｖｏの大きさも変化するが、画像作成部４３は、仮想物体間の見え方の関係を見易く表示するために、このような場合でも基準物体Ｖｏの視野画像２１における大きさが略一定になるように視野画像２１についての画角を調整する。
　図５（Ａ）では、仮想物体Ｖとして、基準物体Ｖｏ、仮想物体Ｖ１、仮想物体Ｖ２が模式的に示されている。仮想空間は、基準物体Ｖｏが表示部２０（破線で模式的に示した）の位置にあるものとして構築されている。被験者Ｓの視野は、被験者Ｓの眼Ｅから延びる一点鎖線Ｌ３およびＬ４にはさまれた領域として模式的に示した。
　図５（Ｂ）は、図５（Ａ）の場合に表示部２０に表示される視野画像２１を示す図である。図５（Ａ）に示したように被験者Ｓ側から近い順に仮想物体Ｖ１、基準物体Ｖｏ、仮想物体Ｖ２の順でならんでいるため、視野画像２１では仮想物体Ｖ１が最も手前にあり、仮想物体Ｖ２が最も後ろにあるように重ねて示されている。上記の通り、画像作成部４３は、基準物体Ｖｏの大きさが略一定になるように視野画像２１に対応する画角を調整するため、視野画像２１における基準物体Ｖｏの幅Ｌｏは、視点位置が変わっても略一定となる。
　図６（Ａ）は、図５（Ａ）の場合よりも被験者Ｓと表示部２０との間の距離が短い場合を示す概念図である。図６（Ａ）および図６（Ｂ）では、図５（Ａ）および図５（Ｂ）と同一部分については同一の符号で参照し適宜説明を省略する。
　図６（Ｂ）は、図６（Ａ）の場合に表示部２０に表示される視野画像２１を示す図である。被験者Ｓと基準物体Ｖｏとの間の距離が図５（Ａ）に示した場合に比べて短くなったため、被験者Ｓの視野における基準物体Ｖｏの大きさは本来大きくなるが、視野画像２１における基準物体Ｖｏの大きさは略一定に調整され、従って視野画像２１における基準物体Ｖｏの幅Ｌｏも略一定の値に保たれる。言い換えると、視野画像２１における基準物体Ｖｏの大きさは、視点位置に関わらず、表示部２０の表示画面の大きさと一定の関係にある。
　画像作成部４３は、視野画像２１の作成において、被験者Ｓの眼の位置を視点位置として仮想空間を透視投影等によりレンダリングして投影画像を作成する。投影画像には、視野画像２１と比較して、眼鏡レンズ９Ｌ，９Ｒ等により引き起こされる後述のぼけやゆがみが加えられていない。画像作成部４３は、投影画像を作成する際に、視点位置に関係なく、表示部２０の位置に配置された仮想物体Ｖｏの大きさが略一定になるように画角を調整する。言い換えると、画像作成部４３は、視野画像２１を作成する際に、視点位置に関係なく、視野画像２１の画角が表示部２０の表示画面の大きさと対応するように視野画像２１を作成する。これにより、基準物体Ｖｏが大きく変化しないため、図５（Ｂ）や図６（Ｂ）に示されるように、仮想空間で基準物体Ｖｏの周囲にある仮想物体Ｖ１およびＶ２の見え方が視点位置によりどう変化するかを捉えやすくなる。
　画像作成部４３は、投影画像を生成した後、仮想的な眼鏡レンズ９（眼鏡レンズ９Ｌ、９Ｒの左右を区別せずに指す場合、眼鏡レンズ９と呼ぶ）によって生じるゆがみを当該投影画像に加える画像処理を行う。
　以下の実施形態において、「ゆがみ」とは、対象物が実際の形状とは異なる形状の像として認識されることを示し、縦横斜め等の任意の方向に対象物の像が伸縮することを主に指す。「ゆがみ」には、歪曲収差（ｄｉｓｔｏｒｔｉｏｎ）を適宜含むが、本実施形態では、累進屈折力レンズのレンズ面のように、屈折力や非点収差が変化する面を通して対象物を見ることで起こる対象物の像の伸縮を主に想定している。
　図７は、投影画像にゆがみを加える方法を説明するための概念図である。画像作成部４３は、被験者Ｓが表示部２０の表示画面Ｓ２０を見る際の網膜と表示画面Ｓ２０上の注視点Ｐｔとを結ぶ光路を、回旋点Ｃｒから眼鏡レンズ９を透過し、眼鏡レンズ９の表面の点Ｐ１から注視点Ｐｔまでを結ぶ光線追跡により算出する。回旋点Ｃｒの位置は、被験者Ｓの顔の形状に関する実測して得たデータを用いて設定することが好ましいが、眼鏡レンズ９の設計の際に想定されている回旋点の位置や、一般的な位置を用いて設定することができる。
　なお、光線追跡の計算では網膜の各点に入射または網膜の各点から出射する光線を追跡してもよい。
　画像作成部４３は、眼鏡レンズ９の近傍に仮想的な面（以下、仮想面Ｓ１と呼ぶ）を設定する。仮想面Ｓ１は、被験者Ｓが正面を見たとき、または眼球Ｅｂが眼鏡レンズ９のフィッティングポイントを見たときに、仮想面Ｓ１が表示画面Ｓ２０と略平行、または眼球Ｅｂの光軸Ａｘと仮想面Ｓ１とが略垂直に交差するように設定されることが好ましい。画像作成部４３は、仮想面Ｓ１上の一部の点Ｐ０を通る光線を光線追跡し、当該光線追跡の結果に基づいて算出された視野画像２１の局所的なゆがみの度合に基づいて投影画像にゆがみを加える。
　図８は、光線追跡による視野画像２１の局所的なゆがみの算出方法を示す図である。説明をわかりやすくするため、仮想面Ｓ１および表示画面Ｓ２０をｘ軸およびｙ軸（座標系９０２参照）に平行な格子状の線で分割して示し、表示画面Ｓ２０の位置に、仮想空間を透視投影等によりレンダリングして得られた投影画像が配置されているものとする。当該投影画像には、仮想物体Ｖ３が含まれている。
　画像作成部４３は、光線追跡により、回旋点Ｃｒと仮想面Ｓ１上の点Ｐ０１、Ｐ０２、Ｐ０３、Ｐ０４等の座標点とを通る光線が入射する表示画面Ｓ２０上のそれぞれ対応する点Ｐｔ１、Ｐｔ２、Ｐｔ３、Ｐｔ４等の位置を算出する。
　画像作成部４３は、図７に示したように、眼鏡レンズ９の表示部２０側の面上の点Ｐ１から、点Ｐ１を通る光線が入射する表示画面Ｓ２０上の点Ｐｔへと向かうベクトルＶｔを光線追跡により算出する。点Ｐ１の座標をＰ１（ｘ１，ｙ１，ｚ１）、点Ｐｔの座標をＰｔ（ｘｔ，ｙｔ，ｚｔ）、ベクトルＶｔをＶｔ（ｖｘ，ｖｙ，ｖｚ）と表す（座標系９０１参照）と、ａを（ｚｔ－ｚ１）／ｖｚとして、点Ｐのｘ座標ｘｔとｙ座標ｙｔは以下の式（１）のように表される。
ｘｔ＝ｘ１＋ａ＊ｖｘ、ｙｔ＝ｙ１＋ａ＊ｖｙ　　…式（１）
近似的に、ｚｔ－ｚ１は被験者Ｓと表示部２０との間の距離を用いることができるため、画像作成部４３は、ベクトルＶｔに基づいて点Ｐのｘ座標ｘｔとｙ座標ｙｔを算出することができる。点Ｐ０と点Ｐ１は光線追跡により対応付けてもよいが、近似的に点Ｐ０のｘ座標およびｙ座標は点Ｐ１と同じ値を用いることができる。画像作成部４３は、このような方法で点Ｐ０１～Ｐ０４と点Ｐｔ１～ｔ４（図８）を対応付けることができる。
　なお、眼鏡レンズ記述データまたは眼鏡レンズ位置データ等の眼鏡レンズ９に関するデータが、眼鏡レンズ９と紐づけて眼鏡レンズ９から表示部２０へ向かう視線の方向を示すパラメータである上述のベクトルＶｔを含んでいてもよい。これにより、視野画像２１を作成する際の演算処理の量を減らすことができる。
　図８では、仮想面Ｓ１上で点Ｐ０１、Ｐ０２、Ｐ０３およびＰ０４に囲まれた四角形の部分領域（二点鎖線で囲まれた領域）Ｒ１は、表示画面Ｓ２０上で点Ｐｔ１、Ｐｔ２、Ｐｔ３、およびＰｔ４に囲まれた部分領域Ｒ２に対応する。従って、画像作成部４３は、仮想空間からレンダリングして得た投影画像の部分領域Ｒ２に対応する部分が、部分領域Ｒ１に含まれるように当該投影画像を伸縮する。図８の例では、表示画面Ｓ２０上の部分領域Ｒ２が、ｙ軸方向の幅がより小さい仮想面Ｓ１上の部分領域Ｒ１に対応することに基づいて、部分領域Ｒ２に対応する仮想物体Ｖ３の画像が、ｙ軸方向に縮むように加工されることになる。言い換えると、光線追跡を行っていない眼鏡レンズ９上の点については、線形補間により定められたゆがみが加えられることになる。
　画像作成部４３は、上述のように、被験者Ｓの眼から出射された光の、眼鏡レンズ９からの出射方向に基づいて、視野画像２１における局所的なゆがみの方向や量を算出し、当該ゆがみを加えた視野画像２１を作成する。これにより、画像作成部４３は、眼鏡レンズ９の面に対応する全ての座標点について光線追跡を行わなくともゆがみを加えた視野画像２１を作成することができる。従って、画像作成部４３は、高速にゆがみを加えた視野画像２１を作成することが可能となり、当該視野画像２１からなる、より高いフレームレートの動画像を作成することが可能となる。
　画像作成部４３は、仮想空間をレンダリングして得た、視点位置から仮想空間を見た投影画像にゆがみを加えた後、仮想的な眼鏡レンズ９によって生じるぼけを当該投影画像に加える画像処理を行う。
　以下の実施形態において、「ぼけ」とは、対象物を、当該対象物を視認するのに適切な分解能よりも低い分解能で認識した際に起こる対象物のディテールの消失を指す。より具体的には、「ぼけ」は、主に、デフォーカス状態（ピントがずれた状態）で撮像された画像や、対象物からの光の眼光学系の光学的収差による結像面が網膜とずれている際に認識される像で見られる輪郭やパターンの不明瞭化を指す。
　図９（Ａ）および図９（Ｂ）は、画像にぼけを加える方法の一例を説明するための概念図である。図９（Ａ）は、ぼけを加える前の画像Ｂｏから、ぼけに方向依存性の無い場合のぼけ画像Ｂ１を作成する際の画像処理を示す概念図である。この場合のぼけ画像Ｂ１は、例えば、非点収差がない場合の屈折力エラーによるぼけに基づいて作成したものである。
　ぼけ画像Ｂ１は、画像中の各画素の画素値を、点像分布関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ；ＰＳＦ）をカーネルとして畳み込み積分することにより取得することができる。丸の中にＸが描かれた記号は畳み込み積分を示す。ぼけを加える前の画像Ｂｏを方向依存性の無い点像分布関数ＰＳＦ１により畳み込み積分すると、ぼけ画像Ｂ１に示すように各点が一様にぼけたような画像が得られる。ぼけ画像Ｂ１は非方向依存的なぼけ画像Ｂ１となる。畳み込み積分は、コンピュータによる離散的な計算においては、３×３、５×５等の行列（図１０参照、以下、ぼけカーネル行列と呼ぶ）をカーネルとした畳み込み処理を行うことに相当する。
　図９（Ｂ）は、ぼけに方向依存性がある場合のぼけ画像Ｂ２を作成する際の画像処理を示す概念図である。この場合のぼけ画像Ｂ２は、非点収差と屈折力エラーとによるぼけを模したものである。
　ぼけを加える前の像Ｂｏを方向依存性（斜め４５度方向）を有する点像分布関数ＰＳＦ２により畳み込み積分すると、ぼけ画像Ｂ２に示すように各点が斜め４５度方向に向かってより強くぼけた画像が得られる。ぼけ画像Ｂ２は方向依存的なぼけ画像Ｂ２となる。
　図９（Ａ）（Ｂ）の例では、ぼけを加える前の画像Ｂｏの全体に対し同じ点像分布関数を用いて畳み込み処理をしてぼけ画像Ｂ１，Ｂ２を作成する例を示した。しかし、画像作成部４３は、投影画像の各位置において、適宜異なる点像分布関数に対応したぼけカーネル行列をカーネルとして畳み込み処理を行い視野画像２１を作成することができる。
　画像作成部４３は、入力部３１若しくは通信部３２を介して、または記憶部３３に記憶された被験者Ｓの過去のデータから、被験者Ｓの眼鏡レンズの処方データを参照し、球面度数、乱視度数および乱視軸のデータ等の眼の屈折力に関するデータを取得する。画像作成部４３は、取得した眼の屈折力に関するデータと、表示部２０の中心Ｏ（図１）等の所定の位置を見る際の眼鏡レンズ９の屈折力から、被験者Ｓが表示部２０に焦点を合わせる際のぼけカーネル行列を設定する。
　画像作成部４３は、被験者Ｓの調節力を取得する。被験者Ｓの調節力は、例えば、調節力の大きさに基づいて、ディオプタ（Ｄ）等を単位とした数値（以下、調節力パラメータと呼ぶ）により設定される。調節力パラメータは、ユーザにより入力部３１から入力されてもよいし、被験者Ｓの処方データにおける年齢から既知のデータに基づいて設定してもよいし、処方データが累進屈折力レンズ等の場合は加入度等に基づいて算出してもよい。
　画像作成部４３は、被験者Ｓの球面度数、乱視度数および乱視軸のデータから計算される屈折力と、被験者Ｓが表示部２０の中心Ｏ等を目視する際の眼鏡レンズ９の屈折力および非点収差と、被験者Ｓと表示部２０との間の距離と、仮想空間の物体の位置と、調節力パラメータによる調節力とに基づいて、光線追跡により収差量を求め、ぼけカーネル行列Ｋを設定する。調節力が大きいと、眼の屈折力の変化量が大きいため、眼の屈折力の変化量に合わせて例えば０．２５Ｄ等の任意の屈折力毎に異なるぼけカーネル行列Ｋを設定する。
　図１０は、屈折力が変化したときのぼけカーネル行列Ｋの変化を示す概念図である。被験者Ｓが調節により眼球Ｅｂの屈折力を大きくしていくと、ぼけカーネル行列Ｋは、ぼけカーネル行列Ｋ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５、Ｋ６の順に変化していく。図１０ではぼけカーネル行列Ｋは３×３の場合を示しており、ぼけカーネル行列Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５およびＫ６にそれぞれ対応する点像分布関数ＰＳＦ１，ＰＳＦ２，ＰＳＦ３，ＰＳＦ４，ＰＳＦ５およびＰＳＦ６を重ねて模式的に示している。
　ぼけカーネル行列Ｋ４は、中央の数値が１．００となっており、ぼけを生じないカーネルとなる。被験者Ｓは、注視点において、調節力の範囲内で、最もぼけを生じない屈折力に調節を行うと考えられる。従って、画像作成部４３は、被験者Ｓの調節力に基づいて実現可能な屈折力に基づいたぼけカーネル行列Ｋのうちで、最もぼけの少ない、すなわちぼけカーネル行列Ｋの最も中央の要素の数値の最も大きいぼけカーネル行列Ｋ４を、表示部２０の中心Ｏに対応する視野画像２１の位置のカーネルとして設定する。画像作成部４３は、当該ぼけカーネル行列Ｋ４に対応する被験者Ｓの屈折力（以下、調節後屈折力と呼ぶ）の値を取得する。
　画像作成部４３は、想定されるぼけカーネル行列Ｋのうちで、最も中央の要素の数値が最も大きい値をとるぼけカーネル行列Ｋが複数ある場合は、最も調節量の小さい場合に対応するぼけカーネル行列Ｋを表示部２０の中心Ｏに対応する視野画像２１の位置のカーネルとして設定する。
　画像作成部４３は、取得した調節後屈折力、乱視度数および乱視軸と、仮想空間内の各点の位置と、当該各点を目視する際に視線が透過する眼鏡レンズ９の位置の屈折力および非点収差とに基づいて、視野画像２１の各点のぼけカーネル行列Ｋを算出する。
　なお、視野画像２１において、眼鏡レンズ９を通さずに見る部分については、上述のようにして得た被験者Ｓの調節力に基づいてぼけカーネル行列Ｋを算出してもよいし、被験者Ｓの裸眼の検眼データに基づいてぼけを加えてもよい。
　画像作成部４３は、仮想空間に配置された仮想物体Ｖ上の各点から出射され、眼鏡レンズ９を透過し、眼Ｅの網膜に入射する光線を光線追跡する。ここで、画像作成部４３は、上記で得られた調節後調節力に基づいて眼球モデルにおけるレンズのパラメータを設定する。眼球モデルは、適宜過去に測定された眼球のデータを基に構築されたものを利用してよい。画像作成部４３は、光線追跡において網膜の各点に入射する各光線の収束位置から、視野画像２１の各点における収差量を算出することができる。画像作成部４３は、視野画像２１の各点における収差量に基づいて当該各点のぼけカーネル行列Ｋを設定する。
　なお、眼鏡レンズ９の各点において眼鏡レンズ形状データおよび眼鏡レンズ位置データ等に基づいて光線追跡により予め算出されたぼけカーネル行列Ｋが眼鏡レンズ９と紐づけられたデータを、画像作成部４３が取得する構成にしてもよい。
　視野画像２１の各点に対応するぼけカーネル行列Ｋが設定されたら、画像作成部４３は、これらのぼけカーネル行列Ｋをカーネルとして、上述したゆがみが加えられた画像の画素値を示す行列に畳み込み処理を行い、視野画像２１を作成する。
　なお、仮想空間を視点位置に基づいてレンダリングして得た２次元画像に、まずぼけカーネル行列Ｋを用いた上述の方法によりぼけを加えた後、ゆがみを加えてもよい。
　表示制御部４４（図１）は、画像作成部４３により作成された視野画像２１の表示部２０の表示画面への表示を制御する。表示制御部４４は、撮像部１０が順次撮像した被験者画像Ｉｓに基づいて、画像作成部４３が順次作成した視野画像２１を、順次表示部２０に表示する。
　被験者Ｓは、表示部２０に表示された視野画像２１を様々な位置から目視ししながら、仮想的な眼鏡レンズ９を通して表示部２０の位置にある基準物体Ｖｏ等がどのように見えるかを体験することができる。画像作成装置１は、被験者Ｓがこのような体験に基づいて装用する眼鏡レンズを選択するための眼鏡レンズ選択システムとして構成することができる。
　さらに、被験者Ｓは、仮想的な眼鏡レンズ９を通して、仮想空間において基準物体Ｖｏの周囲にある他の仮想物体Ｖ１，Ｖ２がどのように視野に映るかを体験することができる。眼鏡レンズの装用者は、累進屈折力レンズにおける注視点から離れた点での見え方や、単焦点レンズにおけるレンズの辺縁部における見え方を特に気にする場合がある。本実施形態の画像作成装置１は、眼鏡レンズを装用する場合のこのような見え方のシミュレーションを行う装置として特に好適である。
　図１１は、本実施形態の画像作成装置を用いた画像作成方法の流れを示すフローチャートである。ステップＳ１００１において、被験者Ｓが表示部２０に表示される画像を無理なく見えるように、被験者Ｓが矯正レンズを装用する等により被験者Ｓの視力が矯正される。矯正レンズとしては、被験者Ｓが普段装用している眼鏡レンズでもよい。ステップＳ１００１が終了したら、ステップＳ１００３が開始される。ステップＳ１００３において、画像作成部４３は、仮想空間に配置される仮想物体Ｖを設定し、仮想空間を構築する。ステップＳ１００３が終了したらステップＳ１００５が開始される。
　ステップＳ１００５において、画像作成部４３は、眼鏡レンズ記述データを取得し、被験者Ｓが仮想的な眼鏡レンズ９を装用した際の被験者Ｓに対する眼鏡レンズの相対位置を決定する。ステップＳ１００５が終了したら、ステップＳ１００７が開始される。
　なお、ステップＳ１００１、１００３および１００５は、異なる順番で行われてもよい。
　ステップＳ１００７において、撮像部１０は、表示部２０を目視する被験者Ｓを撮像し、特徴検出部４１は、撮像により得られた被験者画像Ｉｓから特徴Ｆを検出する。ステップＳ１００７が終了したら、ステップＳ１００９が開始される。ステップＳ１００９において、パラメータ算出部４２は、検出された特徴Ｆの位置および検出された特徴Ｆの間の距離に基づいて、被験者Ｓと表示部２０との間の距離および被験者Ｓの顔の向きを算出する。ステップＳ１００９が終了したら、ステップＳ１０１１が開始される。
　ステップＳ１０１１において、画像作成部４３は、被験者Ｓと表示部２０との間の距離および顔の向きに基づいて、被験者Ｓが眼鏡レンズ９を通して表示部２０を目視した場合の仮想的な視野の画像（視野画像２１）を作成する。ステップＳ１０１１が終了したら、ステップＳ１０１３に進む。
　ステップＳ１０１３において、制御部４０は、ユーザにより眼鏡レンズ９を変更する変更指示が入力されたか否かを判定する。変更指示が入力された場合、制御部４０はステップＳ１０１３を肯定判定してステップＳ１００５に戻る。変更指示が入力されていない場合、制御部４０はステップＳ１０１３を否定判定してステップＳ１０１５に進む。
　ステップＳ１０１５において、制御部４０は、視野画像２１の作成を終了する終了指示が入力されたか否かを判定する。終了指示が入力された場合、制御部４０はステップＳ１０１５を肯定判定してステップＳ１０１７に進む。終了指示が入力されていない場合、制御部４０はステップＳ１０１５を否定判定してステップＳ１００７に戻る。終了指示の入力がされるまでステップＳ１００７～ステップＳ１０１５が繰り返され、視野画像２１が動画像として連続的に表示されることになる。
　ステップＳ１０１７において、ユーザは、視野画像２１を目視した被験者Ｓの応答を取得し、当該応答に基づいて被験者Ｓが装用する眼鏡レンズが選択される。例えば、眼鏡店において、被験者Ｓは、購入を検討している眼鏡レンズを仮想的に装用した場合の視野画像２１を目視する。この場合の視野画像２１は、被験者Ｓが予め得た処方データに基づいた球面度数、乱視度数および加入度等を有する仮想的な眼鏡レンズを通して見る際の画像であり、視野画像２１は、当該眼鏡レンズにより矯正された視力で表示部２０を目視する際の仮想的な画像となる。眼鏡店の販売員であるユーザは、被験者Ｓから、視野画像２１を目視した印象を被験者Ｓから聞き取る。当該印象に基づいて被験者Ｓが購入する眼鏡レンズが選択され、不図示の眼鏡レンズ発注装置に入力される。
　なお、画像作成装置１に、被験者Ｓが装用する眼鏡レンズの情報が入力され、画像作成装置１が発注を行う構成にしてもよい。また、被験者Ｓが、視野画像２１を目視した後、自分で入力部３１を介して装用する（購入する）眼鏡レンズを入力してもよい。ステップＳ１０１７が終了したら、ステップＳ１０１９が開始される。
　ステップＳ１０１９において、眼鏡レンズ発注装置は、被験者Ｓが装用する眼鏡レンズを発注し、眼鏡レンズを受注した不図示の眼鏡レンズ受注装置は、不図示の眼鏡レンズ加工機に眼鏡レンズを製造させる。ステップＳ１０１９が終了したら、処理を終了する。
　上述の実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の画像作成装置は、表示部２０を目視する被験者Ｓを撮像した被験者画像Ｉｓから、特徴Ｆを検出する特徴検出部４１と、検出された特徴Ｆの位置および／または検出された特徴Ｆの間の距離に基づいて、被験者Ｓと表示部２０との間の距離および被験者Ｓの顔の向き を算出するパラメータ算出部４３と、被験者Ｓと表示部２０との間の距離および顔の向きに基づいて、被験者Ｓが眼鏡レンズ９を通して表示部２０を目視した場合の視野画像２１を作成する画像作成部４３と、視野画像２１を表示部２０に表示させる表示制御部４４とを備える。これにより、被験者Ｓを撮像した画像における特徴Ｆを利用した効率的な処理により、被験者Ｓに眼鏡レンズ９を通した見え方を体験させることができる。また、距離画像センサやヘッドマウントディスプレイ等の特殊な装置を用いなくても、一般的なカメラで撮像した画像だけで被験者Ｓに眼鏡レンズ９を通した見え方をリアルに体験させることができる。
（２）本実施形態の画像作成装置において、パラメータ算出部４２は、検出された特徴Ｆの位置および／または検出された特徴Ｆの間の距離に基づいて、被験者Ｓの眼の位置を算出し、画像作成部４３は、眼の位置、被験者Ｓと表示部２０との間の距離および顔の向きに基づいて、被験者Ｓが眼の位置から眼鏡レンズ９を通して表示部２０を目視した場合の視野画像２１を作成する。これにより、より精密な視点位置が得られ、被験者Ｓに眼鏡レンズ９を通したより実際に近い見え方を体験させることができる。
（３）本実施形態の画像作成装置において、画像作成部４３は、被験者Ｓが表示部２０の位置にある仮想的な物体（基準物体Ｖｏ）を目視する場合の、視野画像２１を作成する。これにより、被験者Ｓに、表示部２０の位置にある物体がどう見えるかを、わかりやすく体験させることができる。
（４）本実施形態の画像作成装置において、画像作成部４３は、基準物体Ｖｏを含む３次元の仮想空間を構築し、被験者Ｓの眼の位置に関わらず、視野画像２１の画角を、表示部２０の表示画面Ｓ２０の大きさに対応させる。これにより、大きさや位置が把握しやすい基準物体Ｖｏを基準に他の仮想物体Ｖが表示されるため、被験者Ｓは立体的な感覚を得やすかったり、注視点以外の位置の見え方を把握しやすい。
（５）本実施形態の画像作成装置において、画像作成部４３は、眼Ｅから出射された光の、眼鏡レンズ９からの出射方向に基づいて、眼鏡レンズ９による局所的なゆがみを算出する。これにより、局所的なゆがみを用いて視野画像２１の各部分を処理することにより、高速に視野画像２１を作成することができる。
（６）本実施形態の画像処理装置において、画像作成部４３は、仮想空間に配置された仮想物体Ｖ上の点から出射され、眼鏡レンズ９を透過し、眼Ｅの網膜に入射する光線を光線追跡した結果に基づいて、網膜における収差量を算出し、この収差量に基づいた畳み込み計算によりぼけを含む視野画像２１を作成する。これにより、被験者Ｓは、眼鏡レンズ９の各点に対応するぼけが考慮された、眼鏡レンズ９を通したより実際に近い見え方を体験することができる。
（７）本実施形態の画像処理装置において、被験者Ｓは、調節力、年齢、および／または処方データに基づいたパラメータ等に基づいて収差量を算出する。これにより、被験者Ｓは、被験者Ｓの調節力が考慮された、眼鏡レンズ９を通したより実際に近い見え方を体験することができる。
（８）本実施形態の画像処理装置において、画像作成部４３は、被験者Ｓと表示部２０との間の距離に基づいて畳み込み計算のカーネルであるぼけカーネル行列を変化させる。これにより、少ない処理でぼけカーネル行列を設定し、高速に視野画像２１にぼけを加えることができる。
（９）本実施形態の画像処理装置において、パラメータ算出部４２は、被験者Ｓの処方データおよび／または眼鏡レンズを装用した被験者Ｓの実測値に基づいて、視野画像２１を作成する際の眼鏡レンズ９の位置および姿勢を算出する。これにより、被験者Ｓに合った眼鏡レンズ位置を用いて、被験者Ｓにより実際に近い見え方を体験させることができる。
（１０）本実施形態の画像処理装置において、特徴検出部４１は、特徴Ｆを、被験者Ｓの顔に対応する、被験者画像Ｉｓの一部分から検出する。これにより、被験者Ｓの顔を撮像した画像から被験者Ｓと表示部２０との間の距離等のパラメータを算出し、効率的に処理ができる。また、ヘッドマウントディスプレイ等の被験者の眼前にレンズが配置された装置を必要としないため、このようなレンズによる収差の影響を考慮する必要が無い。
（１１）本実施形態の画像処理方法では、表示部２０を目視する被験者Ｓを撮像した被験者画像Ｉｓから、複数の特徴を検出し、検出された特徴Ｆの位置および／または検出された特徴Ｆの間の距離に基づいて、被験者Ｓと表示部２０との間の距離および被験者Ｓの顔の向きを算出し、被験者Ｓと表示部２０との間の距離および顔の向きに基づいて、被験者Ｓが眼鏡レンズ９を通して表示部２０を目視した場合の視野画像２１を作成し、視野画像２１を表示部２０に表示させる。これにより、被験者Ｓを撮像した画像における特徴Ｆを利用した効率的な処理により、被験者Ｓに眼鏡レンズ９を通した見え方を体験させることができる。
　次のような変形例も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。上述の実施形態と同一の参照符号で示された部分は、同一の機能を有し適宜説明を省略する。
（変形例１）
　上述の実施形態では、パラメータ算出部４２は、被験者Ｓの特徴Ｆから、瞳孔間距離ＰＤを用いて被験者Ｓと表示部２０との間の距離等のパラメータを算出した。しかし、被験者Ｓが、長さが既知の部分を有する部材を頭部に装着し、パラメータ算出部４２は被験者画像Ｉｓ中の当該部分の長さを用いて被験者Ｓと表示部２０との間の距離等のパラメータを算出してもよい。例えば、被験者Ｓが表示部２０を目視する際に装用する矯正レンズおよび／または当該矯正レンズのフレーム等に、特徴検出部４１が特徴Ｆとして検出可能なマーク等を付しておくことができる。
　このように、特徴検出部４１が、特徴Ｆを、被験者Ｓの頭部に配置された部材に対応する、被験者画像Ｉｓの一部分から検出する構成にすることができる。これにより、検出しやすい特徴に基づいて、正確に被験者Ｓと表示部２０との間の距離等のパラメータを算出することができる。
（変形例２）
　上述の実施形態では、画像作成装置１は表示部２０を１つ備える構成としたが、複数の表示部２０を備える構成としてもよい。この場合、複数の表示部２０は、被験者Ｓからそれぞれ異なる距離に配置されることが好ましい。例えば、複数の表示部２０は、被験者Ｓから、遠距離（１ｍ以上等、適宜設定される）、近距離（５０ｃｍ未満等、適宜設定される）、および遠距離と近距離との間の中間距離から選択される少なくとも２つ以上の距離に配置されることが好ましい。これにより、被験者Ｓに異なる距離の対象物の間で視線を移動させた際の見え方を体験させたり等、より詳しく仮想的な眼鏡レンズを通した見え方を体験させることができる。
（変形例３）
　上述の実施形態において、表示部２０が３次元ディスプレイを含んで構成されてもよい。この場合、画像作成部４３は、被験者Ｓの左眼の位置を視点とした視野画像２１である左眼視野画像と、被験者Ｓの右眼の位置を視点とした視野画像２１である右眼視野画像とを作成する。被験者Ｓが表示部２０の３次元ディスプレイを目視する際には、特殊な光学特性を備えた眼鏡や視差障壁等を用いた方法により、被験者Ｓの左眼に左眼視野画像を、被験者Ｓの右眼に右眼視野画像を提示される。これにより、被験者Ｓは、視野画像２１を見る際に立体感を得ることができ、より現実に近い体験をすることができる。
（変形例４）
　上述の実施形態では、画像作成装置１は撮像部１０を１つ備える構成としたが、複数の撮像部１０を備える構成としてもよい。複数の撮像部１０から得られた被験者画像Ｉｓを用いることにより、より正確に被験者Ｓと表示部２０との間の距離や被験者Ｓの顔の向きを測定することができる。
（変形例５）
　画像作成装置１の情報処理機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述した画像作成処理およびそれに関連する処理の制御に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
　また、パーソナルコンピュータ（以下、ＰＣと記載）等に適用する場合、上述した制御に関するプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の記録媒体やインターネット等のデータ信号を通じて提供することができる。図１２はその様子を示す図である。ＰＣ９５０は、ＣＤ－ＲＯＭ９５３を介してプログラムの提供を受ける。また、ＰＣ９５０は通信回線９５１との接続機能を有する。コンピュータ９５２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体にプログラムを格納する。通信回線９５１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ９５２はハードディスクを使用してプログラムを読み出し、通信回線９５１を介してプログラムをＰＣ９５０に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線９５１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
　上述した情報処理機能を実現するためのプログラムとして、表示部２０を目視する被験者Ｓを撮像した被験者画像Ｉｓから、複数の特徴Ｆを検出する特徴検出処理と、検出された特徴Ｆの位置および／または検出された特徴Ｆの間の距離に基づいて、被験者Ｓと表示部２０との間の距離および被験者Ｓの顔の向きを算出するパラメータ算出処理と、被験者Ｓと表示部２０との間の距離および顔の向きに基づいて、被験者Ｓが眼鏡レンズ９を通して表示部２０を目視した場合の視野画像２１を作成する画像作成処理と、視野画像２１を表示部２０に表示させる表示制御処理とを処理装置に行わせるためのプログラムが含まれる。
　本発明は上記実施形態の内容に限定されるものではない。特に、上述の実施形態や変形例で示された事項は適宜組み合わせることができる。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
１…画像作成装置、９，９Ｌ，９Ｒ…眼鏡レンズ、１０…撮像部、２０…表示部、２１…視野画像、３０…情報処理部、４０…制御部、４１…特徴検出部、４２…パラメータ算出部、４３…画像作成部、４４…表示制御部、Ｅ…眼、Ｅｂ，ＥｂＬ，ＥｂＲ…眼球、Ｆ…特徴、Ｋ，Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，Ｋ６…ぼけカーネル行列、Ｓ…被験者、Ｓ１…仮想面、Ｓ２０…表示画面、Ｖｏ…基準物体。

Claims (13)

  1. 　表示装置を目視する被験者を撮像した撮像画像から、特徴を検出する特徴検出部と、
    　検出された前記特徴の位置および／または検出された前記特徴の間の距離に基づいて、前記被験者と前記表示装置との間の距離および前記被験者の顔の向きを算出するパラメータ算出部と、
    　前記被験者と前記表示装置との間の距離および前記顔の向きに基づいて、前記被験者が眼鏡レンズを通して前記表示装置を目視した場合の仮想的な視野の画像を作成する画像作成部と、
    　前記仮想的な視野の画像を前記表示装置に表示させる表示制御部と
    を備える画像作成装置。
  2. 　請求項１に記載の画像作成装置において、
    　前記パラメータ算出部は、検出された前記特徴の位置および／または検出された前記特徴の間の距離に基づいて、前記被験者の眼の位置を算出し、
    　前記画像作成部は、前記眼の位置、前記被験者と前記表示装置との間の距離および前記顔の向きに基づいて、前記被験者が前記眼の位置から前記眼鏡レンズを通して前記表示装置を目視した場合の仮想的な視野の画像を作成する画像作成装置。
  3. 　請求項２に記載の画像作成装置において、
    　前記画像作成部は、前記被験者が前記表示装置の位置にある仮想的な物体を目視する場合の、前記仮想的な視野の画像を作成する画像作成装置。
  4. 　請求項３に記載の画像作成装置において、
    　前記画像作成部は、前記物体を含む３次元の仮想空間を構築し、前記眼の位置に関わらず、前記仮想的な視野の画像の画角を、前記表示装置の表示画面の大きさに対応させる画像作成装置。
  5. 　請求項４に記載の画像作成装置において、
    　前記画像作成部は、前記眼から出射された光の、前記眼鏡レンズからの出射方向に基づいて、前記眼鏡レンズによる局所的なゆがみを算出する画像作成装置。
  6. 　請求項４または５に記載の画像作成装置において、
    　前記画像作成部は、前記仮想空間に配置された物体上の点から出射され、前記眼鏡レンズを透過し、前記眼の網膜に入射する光線を光線追跡した結果に基づいて、前記網膜における収差量を算出し、前記収差量に基づいた畳み込み計算によりぼけを含む前記仮想的な視野の画像を作成する画像作成装置。
  7. 　請求項６に記載の画像作成装置において、
    　前記画像作成部は、前記被験者の調節力、年齢、および処方データの少なくとも一つに基づいて前記収差量を算出する画像作成装置。
  8. 　請求項６または７に記載の画像作成装置において、
    　前記画像作成部は、前記被験者と前記表示装置との間の距離に基づいて前記畳み込み計算のカーネルを変化させる画像作成装置。
  9. 　請求項１から８までのいずれか一項に記載の画像作成装置において、
    　前記パラメータ算出部は、前記被験者の処方データおよび／または眼鏡レンズを装用した前記被験者の実測値に基づいて、前記仮想的な視野の画像を作成する際の眼鏡レンズの位置および姿勢を算出する画像作成装置。
  10. 　請求項１から９までのいずれか一項に記載の画像作成装置において、
    　前記特徴検出部は、前記特徴を、前記被験者の顔、および前記被験者の頭部に配置された部材の少なくとも一つに対応する、前記撮像画像の一部分から検出する画像作成装置。
  11. 　請求項１から１０までのいずれか一項に記載の画像作成装置と、
    　前記表示装置と、
    　前記表示装置を目視する被験者を撮像する撮像部と
    を備える眼鏡レンズ選択システム。
  12. 　表示装置を目視する被験者を撮像した撮像画像から、特徴を検出することと、
    　検出された前記特徴の位置および／または検出された前記特徴の間の距離に基づいて、前記被験者と前記表示装置との間の距離および前記被験者の顔の向きを算出することと、
    　前記被験者と前記表示装置との間の距離および前記顔の向きに基づいて、前記被験者が眼鏡レンズを通して前記表示装置を目視した場合の仮想的な視野の画像を作成することと、
    　前記仮想的な視野の画像を前記表示装置に表示させることと
    を備える画像作成方法。
  13. 　表示装置を目視する被験者を撮像した撮像画像から、特徴を検出する特徴検出処理と、
    　検出された前記特徴の位置および／または検出された前記特徴の間の距離に基づいて、前記被験者と前記表示装置との間の距離および前記被験者の顔の向きを算出するパラメータ算出処理と、
    　前記被験者と前記表示装置との間の距離および前記顔の向きに基づいて、前記被験者が眼鏡レンズを通して前記表示装置を目視した場合の仮想的な視野の画像を作成する画像作成処理と、
    　前記仮想的な視野の画像を前記表示装置に表示させる表示制御処理と
    を処理装置に行わせるためのプログラム。
PCT/JP2018/000528 2018-01-11 2018-01-11 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム WO2019138515A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/000528 WO2019138515A1 (ja) 2018-01-11 2018-01-11 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
EP18899881.9A EP3739376A4 (en) 2018-01-11 2018-01-11 IMAGE GENERATION DEVICE, LENS SELECTION SYSTEM, IMAGE GENERATION METHOD AND PROGRAM
CA3088248A CA3088248C (en) 2018-01-11 2018-01-11 Image generating device, eyeglass lens selection system, method for image generation and program
CN201880086181.0A CN111587397B (zh) 2018-01-11 2018-01-11 图像生成装置、眼镜片选择系统、图像生成方法以及程序
JP2019564219A JP7241702B2 (ja) 2018-01-11 2018-01-11 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/000528 WO2019138515A1 (ja) 2018-01-11 2018-01-11 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019138515A1 true WO2019138515A1 (ja) 2019-07-18

Family

ID=67219474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000528 WO2019138515A1 (ja) 2018-01-11 2018-01-11 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム

Country Status (5)

Country Link
EP (1) EP3739376A4 (ja)
JP (1) JP7241702B2 (ja)
CN (1) CN111587397B (ja)
CA (1) CA3088248C (ja)
WO (1) WO2019138515A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112914498B (zh) * 2021-01-22 2024-06-14 刘保松 眼球散光定位辅助系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6023801B2 (ja) 1972-12-31 1985-06-10 三菱農機株式会社 移動農機等における負荷自動制御装置
JPH07261724A (ja) * 1994-03-17 1995-10-13 Hitachi Ltd 文字寸法またはウインドウ寸法の選定方法および該選定方法を用いた表示装置
WO2009122684A1 (ja) * 2008-04-01 2009-10-08 Yanase Takatoshi 表示システム、表示方法、プログラム、及び記録媒体
JP2009230699A (ja) * 2008-03-25 2009-10-08 Seiko Epson Corp シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体
WO2010044383A1 (ja) * 2008-10-17 2010-04-22 Hoya株式会社 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
JP2010134460A (ja) * 2008-11-06 2010-06-17 Seiko Epson Corp 眼鏡レンズ用視覚シミュレーション装置、眼鏡レンズ用視覚シミュレーション方法及び眼鏡レンズ用視覚シミュレーションプログラム
JP2015522834A (ja) * 2012-03-27 2015-08-06 ソニー株式会社 相互作用情報の提供方法及びシステム
US20170052393A1 (en) * 2015-08-18 2017-02-23 Viewitech Co., Ltd. Eyeglass lens simulation system using virtual reality headset and method thereof
WO2017047178A1 (ja) * 2015-09-16 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183856A (ja) * 1997-12-19 1999-07-09 Seiko Epson Corp 眼鏡の視野体験装置、視野体験方法および記録媒体
JP2011253042A (ja) * 2010-06-02 2011-12-15 Seiko Epson Corp 眼鏡レンズ選択方法及び眼鏡レンズ選択システム
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
JP6322986B2 (ja) * 2013-12-09 2018-05-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
AU2016233280B2 (en) * 2015-03-16 2021-03-25 Magic Leap, Inc. Augmented reality pulse oximetry

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6023801B2 (ja) 1972-12-31 1985-06-10 三菱農機株式会社 移動農機等における負荷自動制御装置
JPH07261724A (ja) * 1994-03-17 1995-10-13 Hitachi Ltd 文字寸法またはウインドウ寸法の選定方法および該選定方法を用いた表示装置
JP2009230699A (ja) * 2008-03-25 2009-10-08 Seiko Epson Corp シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体
WO2009122684A1 (ja) * 2008-04-01 2009-10-08 Yanase Takatoshi 表示システム、表示方法、プログラム、及び記録媒体
WO2010044383A1 (ja) * 2008-10-17 2010-04-22 Hoya株式会社 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
JP2010134460A (ja) * 2008-11-06 2010-06-17 Seiko Epson Corp 眼鏡レンズ用視覚シミュレーション装置、眼鏡レンズ用視覚シミュレーション方法及び眼鏡レンズ用視覚シミュレーションプログラム
JP2015522834A (ja) * 2012-03-27 2015-08-06 ソニー株式会社 相互作用情報の提供方法及びシステム
US20170052393A1 (en) * 2015-08-18 2017-02-23 Viewitech Co., Ltd. Eyeglass lens simulation system using virtual reality headset and method thereof
WO2017047178A1 (ja) * 2015-09-16 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3739376A4
T. HORPRASERTY. YACOOBL. DAVIS: "Proceedings of the Second International Conference on Automatic Face and Gesture Recognition (US", 1996, IEEE, article "Computing 3-D Head Orientation from a Monocular Image Sequence", pages: 242 - 247

Also Published As

Publication number Publication date
EP3739376A1 (en) 2020-11-18
CN111587397A (zh) 2020-08-25
CN111587397B (zh) 2022-09-06
JP7241702B2 (ja) 2023-03-17
CA3088248A1 (en) 2019-07-18
CA3088248C (en) 2022-10-04
JPWO2019138515A1 (ja) 2021-01-28
EP3739376A4 (en) 2021-09-01

Similar Documents

Publication Publication Date Title
JP7512505B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
US11495002B2 (en) Systems and methods for determining the scale of human anatomy from images
US11880043B2 (en) Display systems and methods for determining registration between display and eyes of user
JP7078540B2 (ja) 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
JP5967597B2 (ja) 画像表示装置および画像表示方法
CN111771179A (zh) 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
JP7456995B2 (ja) 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
JP2019515355A (ja) 眼鏡フレーム内にレンズを設計して配置する方法
WO2020115815A1 (ja) ヘッドマウントディスプレイ装置
CN113613546B (zh) 评估用于视觉任务的视觉设备的性能的装置和方法
US20200133022A1 (en) Method for designing eyeglass lens, method for manufacturing eyeglass lens, eyeglass lens, eyeglass lens ordering device, eyeglass lens order receiving device, and eyeglass lens ordering and order receiving system
JP6500570B2 (ja) 画像表示装置および画像表示方法
WO2019138515A1 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US20240176418A1 (en) Method and system for improving perfomance of an eye tracking system
WO2022138073A1 (ja) 画像生成装置、頭部装着表示装置、画像生成方法、及びプログラム
EP4086693A1 (en) Method, processing device and system for determining at least one centration parameter for aligning spectacle lenses in a spectacle frame to eyes of a wearer
JP6479836B2 (ja) 入出力装置、入出力プログラム、および入出力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899881

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019564219

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3088248

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018899881

Country of ref document: EP

Effective date: 20200811