WO2023157567A1 - 毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラム - Google Patents
毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラム Download PDFInfo
- Publication number
- WO2023157567A1 WO2023157567A1 PCT/JP2023/001871 JP2023001871W WO2023157567A1 WO 2023157567 A1 WO2023157567 A1 WO 2023157567A1 JP 2023001871 W JP2023001871 W JP 2023001871W WO 2023157567 A1 WO2023157567 A1 WO 2023157567A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- focus
- image
- evaluation value
- unit
- focused
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
Definitions
- the present invention relates to a capillary imaging system for imaging capillaries, a server device for the capillary imaging system, and a capillary imaging program.
- the human body's capillaries generally change depending on the living environment and external factors. Therefore, by observing the state of subcutaneous capillaries such as fingertips and capillaries such as the fundus, or by performing image processing of capillary blood vessels and performing analysis such as quantification, it is possible to grasp the health condition of the subject.
- Capillaries are extremely small (ten and several ⁇ m in diameter, one hundred and several tens of ⁇ m in length, etc.) and cannot be seen with the naked eye, but can be observed using an optical or digital microscope. .
- An object of the present invention is to provide a capillary imaging system, a server device for the capillary imaging system, and a capillary imaging program that can easily obtain an image of capillaries with a good degree of focus.
- a capillary vessel imaging system includes an image acquisition unit that acquires a plurality of images of capillaries of a living organism from an imaging unit that acquires the plurality of images, and a degree of focus of the plurality of images that is digitized. and a focus evaluation value calculating unit for calculating each of the focus evaluation values shown in the above-mentioned plurality of focus evaluation values. and a focused image selection unit that selects an image with a good degree of focus from the images of (1) as a focused image.
- an image with a good degree of focus can be selected as the focused image from among the plurality of images obtained by imaging the capillaries of the organism a plurality of times. Even when the object moves, it becomes easy to obtain a well-focused capillary image.
- a determination threshold for executing a determination threshold setting process of setting, as the determination threshold, a focus evaluation value indicating the best focus among the plurality of focus evaluation values calculated by the focus evaluation value calculation unit.
- a setting unit is further provided, and the focused image selection unit selects an image with a good degree of focus from among a plurality of images newly acquired by the image acquisition unit after the determination threshold setting process. It is preferably selected as the in-focus image.
- a focus evaluation value indicating the best focus among a plurality of focus evaluation values obtained from a plurality of images taken of an individual to be imaged is set as a determination threshold, and then from the same individual.
- the focused image selection unit further selects, as the focused image, an image for which a focus evaluation value indicating the best focus is obtained in the determination threshold setting process.
- An image for which a focus evaluation value indicating the best focus is obtained in the determination threshold setting process is considered to be an image with a good degree of focus. Therefore, by adding this image as a focused image, the number of focused images can be increased.
- An evaluation target area reception unit that receives designation of an arbitrary area range in the imaging range of the imaging unit as an evaluation target area
- the focus evaluation value calculation unit receives the evaluation target area in the plurality of images.
- each focus evaluation value is calculated for each of the above.
- the user can set the evaluation target area. Therefore, by setting a portion important for evaluating the health condition, such as the vicinity of the tip of the capillary, as the evaluation target area, it is possible to determine the health condition. It is possible to select an image in which an important portion is well-focused as a focused image for evaluating the state.
- the imaging unit can adjust the focus by a user, and a focus evaluation value that displays the focus evaluation value calculated by the focus evaluation value calculation unit in real time during an imaging period of the imaging unit. It is preferable to further include a display section.
- the user when the user adjusts the focus, the user can focus while confirming the focus evaluation value displayed in real time, which facilitates a better focusing operation. Become.
- the imaging unit is capable of allowing a user to adjust the focus, and further includes an operation guidance notification unit that notifies the user of operation guidance prompting the user to adjust the focus.
- the images are taken repeatedly during a period of time.
- a display unit for displaying an image captured by the imaging unit in real time is further provided, and the focus evaluation value calculation unit determines in real time the degree of focus of each pixel of the image captured by the imaging unit.
- the display section it is preferable to cause the display section to highlight a focused pixel, which is a pixel whose degree of focus exceeds a preset reference level.
- the user can know the point in focus.
- a best image selection unit that further selects one of the plurality of focused images as the best image based on the focus evaluation value of each of the focused images.
- the best image is selected from among the plurality of focused images based on the focus evaluation value, so it is possible to obtain an image with a better degree of focus.
- a blur evaluation value calculation unit for calculating a blur evaluation value representing the degree of blur of each of the focused images; It is preferable to further include a best image selection unit that further selects the best image.
- the best image is selected from among the plurality of in-focus images based on the blur evaluation value, so it is possible to obtain a good image with less blur.
- a reflection evaluation value calculation unit for calculating a reflection evaluation value representing the degree of reflection of a light source in each of the focused images; It is preferable to further include a best image selection unit that further selects the image as the best image based on the projection evaluation value.
- the best image is selected from among the plurality of in-focus images based on the reflection evaluation value, so it is possible to obtain a good image with less reflection of the light source.
- one of the plurality of focused images may be selected from a focus evaluation value of each of the focused images, a blur evaluation value representing a degree of blurring of each of the focused images, and a reflection of a light source in each of the focused images. It is preferable to further include a best image selection unit that selects the best image based on at least one of the reflection evaluation values representing the degree of inclusion.
- the best image is selected from among the plurality of in-focus images based on at least one of the focus evaluation value, the blur evaluation value, and the reflection evaluation value, so that a better image can be obtained. can be obtained.
- a health condition evaluation unit that evaluates the health condition of the organism based on the focused image.
- the health condition of the organism can be evaluated based on the well-focused capillary image, so the health condition evaluation accuracy is improved.
- a health condition evaluation unit that evaluates the health condition of the organism based on the best image.
- the health condition of the organism can be evaluated based on the image of the capillaries with a better degree of focus, so the health condition evaluation accuracy is improved.
- the imaging unit captures the plurality of images as each frame of a moving image.
- the focus evaluation value calculation unit calculates the focus evaluation value each time the image is captured by the imaging unit, and the focused image selection unit calculates the focus evaluation value each time the image is captured. , preferably performing said image selection.
- the focused image is selected in real time while the imaging unit is capturing a plurality of images, the time from when the image is captured to when the focused image is selected is shortened. .
- the imaging unit is included in the capillary imaging system.
- a server device for a capillary vessel imaging system includes a focused image reception unit that receives input of a plurality of focused images that are images of capillaries of a living organism, and one of the plurality of focused images. , a focus evaluation value indicating the degree of focus of each of the focused images in a numerical form, a blur evaluation value indicating the degree of blurring of each of the focused images, and a degree of reflection of the light source in each of the focused images; a best image selection unit that selects a best image based on at least one of the represented reflection evaluation values.
- the best image is selected from among the plurality of in-focus images based on at least one of the focus evaluation value, the blur evaluation value, and the reflection evaluation value, so that a better image can be obtained. can be obtained.
- a capillary imaging program causes a computer to function as the capillary imaging system described above.
- a computer can function as the capillary imaging system described above.
- the capillary imaging program according to the present invention causes a computer to function as the server device for the capillary imaging system described above.
- a computer can function as the server device for the capillary imaging system described above.
- FIG. 1 is a block diagram showing an example configuration of a capillary imaging system according to an embodiment of the present invention
- FIG. FIG. 2 is an external perspective view showing an example of the microscope camera shown in FIG. 1
- 2 is a flow chart showing an example of the operation of the imaging processing device shown in FIG. 1
- 2 is a flow chart showing an example of the operation of the imaging processing device shown in FIG. 1
- 2 is a flow chart showing an example of the operation of the server device shown in FIG. 1
- FIG. 2 is an explanatory diagram showing an example of a captured image displayed on the display shown in FIG. 1
- 2 is a screen diagram showing an example of a display screen of the display shown in FIG. 1
- FIG. 1 is a block diagram showing an example configuration of a capillary imaging system according to an embodiment of the present invention
- FIG. FIG. 2 is an external perspective view showing an example of the microscope camera shown in FIG. 1
- 2 is a flow chart showing an example of the operation of the imaging processing device shown in FIG. 1
- FIG. 1 is a block diagram showing an example configuration of a capillary imaging system according to an embodiment of the present invention.
- a capillary vessel imaging system 1 shown in FIG. 1 includes a microscope camera 2 (imaging unit), an imaging processing device 3, and a server device 4 (capillary imaging system server device).
- the imaging processing device 3 and the server device 4 are communicatively connected via a network 5 so as to be able to transmit and receive data.
- the microscope camera 2 is a camera that images capillaries of the human body with a microscope.
- FIG. 2 is an external perspective view showing an example of the microscope camera 2 shown in FIG.
- the microscope camera 2 shown in FIG. is provided with an adjustment handle 24 for adjusting the
- the base 22 is provided with a guide portion 28 that guides a person's fingertip.
- a concave portion 281 is formed in the guide portion 28 so as to conform to the shape of the fingertip.
- the fingertip is roughly positioned by the subject placing the fingertip in the recess 281 .
- An objective lens 25 is provided at the lower end of the microscope main body 21 so that the subject's fingertip placed in the concave portion 281 is imaged.
- An illuminating unit 26 for illuminating the subject's fingertip is attached around the objective lens 25 .
- the microscope main body 21 captures an image of the subject's fingertip, more specifically, an image of the capillaries of the fingertip.
- the microscope main body 21 may continuously capture a plurality of images of capillaries as still images, or may capture a moving image including each image as a frame.
- the microscope main body 21 transmits image data representing an image captured by the imaging device to the imaging processing device 3 via the cable 29 .
- the microscope camera 2 for example, a Capillaryscope SC-10 manufactured by At Co., Ltd. can be suitably used. Note that the microscope camera 2 is not limited to capturing an image of a fingertip, as long as it can capture an image of capillaries. Further, the microscope camera 2 is not limited to capturing images of human capillaries, and may capture images of capillaries of living organisms such as animals.
- the imaging processing device 3 can be used as the format of the image data to be transmitted to the imaging processing device 3, for example, the NTSC (National Television System Committee) method can be used.
- the image data may be transmitted to the imaging processing device 3 by a wireless signal.
- a focus adjustment handle 27 is provided on the microscope main body 21 . A user can adjust the focus by operating the focus adjustment handle 27 .
- focus is the distance at which an image from an optical system such as a lens can be seen clearly, and is also called focus or focus. Also, focusing is called "in-focus".
- the out-of-focus state is called out-of-focus or out-of-focus.
- the distance range in which the lens can focus is called the depth of field, and the depth of field is particularly shallow (narrow) when the shooting distance is short or when the magnification of the optical system is high (such as when the focal length is long). and typically this depth of field value is 10 It is only about 0 ⁇ m. For this reason, with a microscope or the like, if the object to be photographed moves slightly (with respect to the photographing distance), the image becomes out of focus.
- blur includes subject blur, device blur, camera shake, and the like.
- Subject blur occurs when the position of the subject on the plane (imaging surface) where the lens optical system is used for shooting shifts two-dimensionally (vertically, horizontally, diagonally, etc.) according to the time axis.
- Equipment blur means that the position of the subject moves according to the time axis due to the occurrence of vibration or the like on the side of imaging equipment such as a microscope.
- Camera shake refers to movement of an object due to the photographer's physical movement when the photographer holds an imaging device such as a microscope (by hand or the like). Even if the photographer does not completely hold the image pickup device, camera shake may occur when the device is touched or operated to give vibration.
- Imaging takes place within a certain period of time (shutter speed) (e.g. several tenths of a second to several hundredths of a second). Even within a short period of time at the shutter speed, the subject is moving, and the sharpness of the captured image is reduced. Such a state is a state in which blurring occurs.
- the imaging processing device 3 is configured using an information processing device such as a personal computer, for example.
- the imaging processing device 3 includes an arithmetic unit 30 , an external I/F circuit 31 (image acquisition unit), a display 32 (display unit), a keyboard 33 , a mouse 34 and a communication I/F circuit 35 .
- the external I/F circuit 31 is an interface circuit capable of receiving image data representing a plurality of images from the microscope camera 2.
- Communication I/F circuit 35 is a communication interface circuit capable of communicating with server device 4 via network 5 .
- the communication I/F circuit 35 may be a wired communication circuit or a wireless communication circuit.
- the display 32 displays the image captured by the microscope camera 2 in real time.
- the calculation unit 30 includes, for example, a CPU (Central Processing Unit) that executes predetermined calculation processing, a RAM (Random Access Memory) that temporarily stores data, a non-volatile memory such as a HDD (Hard Disk Drive) and an SSD (Solid State Drive). It is composed of a physical storage device, a timer circuit, peripheral circuits thereof, and the like.
- a CPU Central Processing Unit
- RAM Random Access Memory
- HDD Hard Disk Drive
- SSD Solid State Drive
- the calculation unit 30 executes the first capillary vessel imaging program stored in the storage device described above, for example, so that the evaluation target region reception unit 301, the focus evaluation value calculation unit 302, the determination threshold value setting unit 303, the It functions as a focus evaluation value display unit 304 , an operation guidance notification unit 305 , a focused image selection unit 306 and a blur evaluation value calculation unit 307 .
- the evaluation target area reception unit 301 receives designation of an arbitrary area range within the imaging range of the microscope camera 2 as an evaluation target area.
- the focus evaluation value calculation unit 302 calculates a focus evaluation value Fv that quantifies the degree of focus for each of the plurality of images acquired by the external I/F circuit 31 .
- a determination threshold value setting unit 303 sets a focus evaluation value Fv indicating the best focus among the plurality of focus evaluation values Fv calculated by the focus evaluation value calculation unit 302 as a determination threshold value Jv. Execute the process.
- the focus evaluation value display unit 304 displays the focus evaluation value Fv calculated by the focus evaluation value calculation unit 302 on the display 32 in real time during the imaging period of the microscope camera 2 .
- the operation guidance notification unit 305 notifies the user of an operation guidance prompting the user to adjust the microscope camera 2 .
- the operation guidance may be displayed on the display 32, or may prompt the user to adjust the microscope camera 2 by voice.
- the focused image selection unit 306 compares each focus evaluation value Fv with a determination threshold value Jv for determining whether or not the degree of focus is good, and determines the degree of focus among the plurality of images. A good image is selected as the focused image FP.
- the blurring evaluation value calculation unit 307 calculates a blurring evaluation value Bv representing the degree of blurring of each focused image FP.
- the focused image selection unit 306 sends each focused image FP, the focus evaluation value Fv of each focused image FP, and the blur evaluation value Bv of each focused image FP to the server device 4 via the network 5. Send.
- the server device 4 includes a calculation unit 40 and a communication I/F circuit 44 (a focused image reception unit).
- Communication I/F circuit 44 is a communication interface circuit capable of communicating with communication I/F circuit 35 via network 5 .
- the communication I/F circuit 44 may be a wired communication circuit or a wireless communication circuit.
- the communication I/F circuit 44 receives input of the plurality of focused images FP transmitted from the imaging processing device 3 to the server device 4 .
- the calculation unit 40 includes, for example, a CPU that executes predetermined calculation processing, a RAM that temporarily stores data, a non-volatile storage device such as an HDD or SSD, a timer circuit, peripheral circuits thereof, and the like. there is The calculation unit 40 functions as a reflection evaluation value calculation unit 41, a best image selection unit 42, and a health condition evaluation unit 43, for example, by executing the second capillary imaging program stored in the storage device described above. do.
- the reflection evaluation value calculation unit 41 calculates a reflection evaluation value Rv representing the degree of reflection of the light source in each focused image FP transmitted from the imaging processing device 3 .
- the best image selection unit 42 selects one of the plurality of focused images FP transmitted from the imaging processing device 3, expresses the focus evaluation value Fv of each focused image FP, and the degree of blur of each focused image FP.
- the best image BP is selected based on at least one of the blur evaluation value Bv and the reflection evaluation value Rv representing the degree of reflection of the light source in each focused image FP.
- the health condition evaluation unit 43 evaluates the health condition of the subject based on the best image BP.
- various known methods can be used.
- 3 and 4 are flowcharts showing an example of the operation of the imaging processing device 3 shown in FIG. 1, and correspond to an example of processing of the first capillary vessel imaging program.
- the microscope camera 2 starts capturing video of capillaries (step S1), and the captured image is displayed on the display 32.
- the evaluation target region reception unit 301 receives designation of an arbitrary region range within the imaging range of the microscope camera 2 as an evaluation target region (step S2).
- FIG. 6 is an explanatory diagram showing an example of the captured image G displayed on the display 32 shown in FIG. Six capillaries K are shown in the captured image G shown in FIG.
- the evaluation target region receiving unit 301 receives, as the evaluation target region A, a rectangular region selected by the user by operating the mouse 34, such as the evaluation target region A shown in FIG.
- FIG. 7 is a screen diagram showing an example of the display screen DP of the display 32 shown in FIG.
- a message "Please focus” is displayed as an operation guidance M prompting focus adjustment.
- the method is not limited to the method of notifying by display, and operation guidance for prompting focus adjustment may be notified by sound.
- the determination threshold setting unit 303 starts counting the elapsed time t1 (step S4).
- the focus evaluation value calculation unit 302 calculates the focus evaluation value Fv of the frame image, which is the image of each frame in the moving image captured by the microscope camera 2, for the evaluation target area A in real time, that is, the frame It is calculated each time an image is obtained (step S5).
- the focus evaluation value calculation unit 302 calculates the focus evaluation value Fv of each frame image by executing (1) to (4) below for each frame image.
- contour extraction method of (2) above a known contour extraction method such as a Laplacian filter can be used. If the luminance difference Ls in (3) above is large, it means that the outline is clear, and it can be determined that the focus is good.
- the focus evaluation value Fv is calculated as the sum of the luminance differences Ls of the pixels in the evaluation target area A that are well focused and exceed the degree of focus set by the reference value ref. be done.
- the focus evaluation value Fv serves as an index for evaluating the degree of focus of the capillary vessel image over the entire evaluation target region A as a whole.
- the coordinates of the in-focus pixel P which is the pixel for which the luminance difference Ls exceeding the reference value ref is obtained, is stored for the blur evaluation value Bv, which will be described later.
- the focus evaluation value Fv is not limited to those calculated by the above (1) to (4), as long as it indicates the degree of focus in numerical terms.
- the focus evaluation value Fv calculated by the above (1) to (4) indicates that the higher the value, the better the degree of focus.
- An index indicating a better degree of focusing may be used.
- Various known techniques for evaluating focus can be used as a method for calculating the focus evaluation value Fv.
- the reference value ref corresponds to an example of a preset reference level for the degree of focus of a pixel
- the in-focus pixel P corresponds to an example of a pixel whose degree of focus exceeds the preset reference level.
- the focus evaluation value calculation unit 302 may display the focus pixel P on the display 32 in real time by brightly displaying it with a highlight. This allows the user performing the focusing operation to know the in-focus point.
- the capillaries have a meandering shape, and even if a fingertip is placed on the guide section 28 of the microscope camera 2, it is impossible to dispose the entire capillary within the imaging range of the microscope camera 2 at an equal distance from the objective lens of the microscope camera 2. Can not. Therefore, it is difficult to bring the entire capillary into focus.
- the focus evaluation value Fv can be set to an important part for evaluating the health condition, such as the vicinity of the tip of the capillary. can be used as an index representing the degree of focusing.
- the in-focus image selection unit 306 and the best image selection unit 42 which will be described later, can select an image in which important portions are well-focused for evaluating the health condition.
- step S5 the frame image immediately preceding the frame image to be processed is stored so that the immediately preceding image, which will be described later, can be obtained.
- the focus evaluation value display unit 304 displays the focus evaluation value Fv calculated by the focus evaluation value calculation unit 302 on the display 32 in real time (step S6).
- the focus evaluation value display unit 304 may display the focus evaluation value Fv as a graph with the number of bars, or may display the focus evaluation value Fv as it is as a numerical value. .
- the determination threshold value setting unit 303 associates one frame image for which the focus evaluation value Fv is calculated with the focus evaluation value Fv and stores it as a focused image candidate, Each time Fv is calculated, the in-focus image candidate is replaced with the image with the larger in-focus evaluation value Fv together with the in-focus evaluation value Fv (step S7). As a result, the frame image with the maximum focus evaluation value Fv is associated with the maximum focus evaluation value Fv and stored as a focused image candidate.
- the blur evaluation value calculation unit 307 calculates the blur of the focused image candidate based on the frame immediately before the focused image candidate, that is, the previous image captured immediately before the focused image candidate, and the focused image candidate. An evaluation value Bv is calculated, and the blur evaluation value Bv is stored in association with the in-focus image candidate (step S8).
- the blur evaluation value Bv is calculated based on the coordinates of the in-focus pixel P for which the luminance difference Ls exceeding the reference value ref was obtained, which was stored in (4) above. That is, the positions of the coordinates of the in-focus pixel P in the previous image and the coordinates of the in-focus pixel P in the candidate in-focus image are compared, and the total value of the difference in the coordinates between the pixels corresponding to each other between the two images is It is calculated as the blur evaluation value Bv of the in-focus image candidate.
- the blur evaluation value Bv is zero, the focused image candidate is free from blur, and the larger the blur evaluation value Bv, the greater the blur in the focused image candidate.
- the blur evaluation value Bv may be calculated based on the images of the odd lines and the even lines before and after.
- the above-described difference in coordinates may be calculated after correcting the shift in the coordinate positions of the odd-numbered lines and the even-numbered lines.
- the blur evaluation value Bv only needs to represent the degree of blurring of the image, and is not limited to the example in which the blur evaluation value Bv increases as the blur increases, and the blur evaluation value Bv may increase as the blur decreases. .
- calculating the blur evaluation value Bv by comparing the positions of the coordinates of the focused pixel P in the previous image and the coordinates of the focused pixel P in the focused image candidate.
- various known methods for performing correlation between two images immediately preceding image and in-focus image candidate), so-called pattern matching, can be used.
- Correlation coefficient SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), NCC (Normalized Cross-Correlation), ZNCC (Zero-mean Normalized Cross-orrelation), etc. can be used.
- the determination threshold value setting unit 303 compares the elapsed time t1 with a preset preliminary time ts1 (step S9).
- a preset preliminary time ts1 for example, a fixed time of about 10 seconds may be set, or an arbitrary time may be settable. If the elapsed time t1 is equal to or less than the preliminary time ts1 (NO in step S9), steps S5 to S9 are repeated again. , the focus evaluation value Fv of the focused image candidate is set as the determination threshold value Jv (step S11).
- Steps S7 and S11 correspond to an example of determination threshold value setting processing.
- the focused image selection unit 306 selects an image stored as a focused image candidate as the focused image FP (step S12). As a result, the best-focused image is selected as the focused image FP from among all the images captured during the preliminary time ts1.
- the focused image selection unit 306 starts counting the elapsed time t2 (step S13).
- the focus evaluation value calculation unit 302 calculates the focus evaluation value Fv of the frame image, which is the image of each frame in the moving image captured by the microscope camera 2, with respect to the evaluation target area A. It is calculated in real time, that is, each time a frame image is obtained (step S14).
- the focus evaluation value display unit 304 displays the focus evaluation value Fv calculated by the focus evaluation value calculation unit 302 on the display 32 in real time, as in step S6 (step S15).
- the focused image selection unit 306 selects the image for which the focus evaluation value Fv is calculated as the focused image FP, and stores the image (step S16).
- the number, shape, thickness, and other conditions of human capillaries vary from person to person. The same applies to the capillaries of living organisms such as animals other than humans. Therefore, when calculating the focus evaluation value Fv according to the above (1) to (4), the number of pixels extracted as the outline differs depending on the condition of the subject's capillaries. As a result, different focus evaluation values Fv are calculated depending on subjects even for images with the same degree of focus. Therefore, if the determination threshold value Jv is fixed, there is a possibility that an appropriately focused image cannot be selected depending on the subject.
- step S16 it is more likely that a well-focused image of capillaries will be selected as the focused image FP.
- the blur evaluation value calculation unit 307 calculates the blur of the focused image FP based on the frame immediately before the focused image FP, that is, the immediately preceding image captured immediately before the focused image FP and the focused image FP.
- An evaluation value Bv is calculated, and the blur evaluation value Bv is stored in association with the focused image FP (step S17).
- the process of step S17 is the same as that of step S8 except that the focused image FP is used instead of the focused image candidate of step S8.
- the focused image selection unit 306 compares the elapsed time t2 with the preset main shooting time ts2 (step S18).
- the actual photographing time ts2 for example, a fixed time of about 20 to 40 seconds may be set, or an arbitrary time may be set.
- step S18 If the elapsed time t2 is equal to or less than the main shooting time ts2 (NO in step S18), steps S14 to S18 are repeated again. If the elapsed time t2 exceeds the main shooting time ts2 (YES in step S18), the focused image is selected
- the unit 306 transmits all the focused images FP and the focus evaluation value Fv and blur evaluation value Bv of each focused image FP to the server device 4 via the communication I/F circuit 35 (step S19). .
- a well-focused focused image FP having a focus evaluation value Fv equal to or greater than the determination threshold value Jv can be obtained. easier to obtain.
- FIG. 5 is a flowchart showing an example of the operation of the server device 4 shown in FIG. 1, and corresponds to an example of processing of the second capillary imaging program.
- the communication I/F circuit 44 receives a plurality of focused images FP and the focus evaluation value Fv and blur evaluation value Bv of each focused image FP, which are transmitted from the imaging processing device 3. (step S21).
- the reflection evaluation value calculation unit 41 calculates the reflection evaluation value Rv of each focused image FP received by the communication I/F circuit 44 (step S22).
- the microscope camera 2 captures an image of the subject's fingertip by illuminating it with the illumination unit 26 .
- the illumination light of the illumination unit 26 may be reflected in the captured image G, such as reflection R shown in FIG. 6 .
- the reflection R lowers the image quality and lowers the accuracy of evaluating the health condition based on the captured image G.
- the reflection evaluation value calculation unit 41 calculates the reflection evaluation value Rv as one of the evaluation indexes for evaluating the image quality of each focused image FP.
- the reflection evaluation value calculation unit 41 calculates the reflection evaluation value Rv of each focused image FP by executing the following (A) to (D) for each focused image FP.
- A grayscale the focused image FP
- B calculate the average luminance value Lave of each pixel of the grayscaled focused image FP
- C calculate the preset projection from the average luminance value Lave
- D The sum of the luminance values of the projected pixels is defined as the projected evaluation value Rv of the focused image FP.
- the projection judgment value Rref may be appropriately set based on, for example, experimental results and standard deviation.
- the reflection evaluation value Rv may be an index representing the degree of reflection of the light source in the focused image FP. However, the smaller the reflection evaluation value Rv, the greater the amount of reflection in the focused image FP.
- the best image selection unit 42 selects the plurality of focused images FP, the focus evaluation value Fv of each focused image FP, and the blur evaluation value of each focused image FP, which are received by the communication I/F circuit 44. Bv and the reflection evaluation value Rv of each focused image FP calculated by the reflection evaluation value calculator 41, one of the plurality of focused images FP is selected as the best image BP (step S23). ).
- the best image BP As a method for selecting the best image BP based on the focus evaluation value Fv, blur evaluation value Bv, and reflection evaluation value Rv, for example, the following image evaluation value Gv is calculated for each focused image FP, A focused image FP having a large image evaluation value Gv may be selected as the best image BP.
- a, b, c are coefficients.
- the image evaluation value Gv may indicate that the smaller the value, the higher the image quality. In that case, the focused image FP with the smallest image evaluation value Gv may be selected as the best image BP.
- the best image BP with good image quality from the viewpoint of focus, blurring, and reflection of illumination light can be obtained. Therefore, it becomes easy to obtain an image of capillaries with not only a good degree of focus but also good image quality overall.
- the health condition evaluation unit 43 evaluates the subject's health condition based on the best image BP (step S24), and ends the process.
- the health condition evaluation unit 43 may display the evaluation result on a display (not shown), or may transmit the evaluation result to the imaging processing device 3 or the like via the communication I/F circuit 44 .
- the health condition of the subject can be evaluated based on the best image BP with good image quality, so the evaluation accuracy of the health condition is improved.
- the microscope camera 2 may be configured to focus by a known autofocus mechanism. Further, the microscope camera 2 may be configured to capture a moving image or a plurality of still images while the focus adjustment is being performed by the autofocus mechanism. Also, the capillary imaging system 1 may not include the microscope camera 2 .
- the capillary imaging system 1 does not have to include the health condition evaluation unit 43 and does not need to execute step S24. Also, the capillary vessel imaging system 1 does not have to include the evaluation target region reception unit 301 and does not need to execute step S2. In this case, the focus evaluation value calculation unit 302 may calculate the focus evaluation value Fv for the entire image, or may calculate the focus evaluation value Fv for a preset evaluation target area A. good.
- the capillary vessel imaging system 1 may not include the focus evaluation value display unit 304 and may not perform step S15, and may not include the operation guidance notification unit 305 and may not perform step S3.
- the capillary vessel imaging system 1 may not include the reflection evaluation value calculation unit 41 and may not execute step S22.
- the best image selection unit 42 may select the best image BP based on the focus evaluation value Fv and blur evaluation value Bv.
- the capillary vessel imaging system 1 may not include the blur evaluation value calculation unit 307 and may not execute step S17.
- the best image selection unit 42 may select the best image BP based on the focus evaluation value Fv and the reflection evaluation value Rv.
- the best image selection unit 42 may select the focused image FP with the maximum focus evaluation value Fv as the best image BP based only on the focus evaluation value Fv.
- the best image selection unit 42 may select the best image BP based on at least one of the blur evaluation value Bv and the reflection evaluation value Rv without using the focus evaluation value Fv.
- the capillary vessel imaging system 1 does not have the best image selection unit 42, the reflection evaluation value calculation unit 41, and the blur evaluation value calculation unit 307, and does not need to execute steps S23, S22, and S17. Even if the best image BP is not selected, the focused image FP itself is a well-focused capillary image. In this case, the health condition evaluation unit 43 may evaluate the health condition of the subject or the like based on the focused image FP.
- the focused image selection unit 306 does not have to execute step S12. Also, the capillary vessel imaging system 1 does not have the determination threshold value setting unit 303 and does not need to execute steps S5 to S12. In this case, the focused image selection unit 306 may select the focused image FP based on the preset determination threshold value Jv.
- the capillary vessel imaging system 1 does not have to include the server device 4, and the capillary vessel imaging system 1 may be configured with only the imaging processing device 3. Further, the imaging processing device 3 may include at least one of the reflection evaluation value calculation unit 41 , the best image selection unit 42 , and the health condition evaluation unit 43 . In this case, the first capillary imaging program and the second capillary imaging program may be configured as one capillary imaging program.
- the server device 4 includes an evaluation target area reception unit 301, a focus evaluation value calculation unit 302, a determination threshold value setting unit 303, a focus evaluation value display unit 304, an operation guidance notification unit 305, a focused image selection unit 306, and
- the capillary vessel imaging system 1 may include the blur evaluation value calculation unit 307 and may not include the imaging processing device 3 .
- the microscope camera 2 may be connected to the communication I/F circuit 44 of the server device 4 via the network 5 .
- the communication I/F circuit 44 corresponds to an example of an image acquisition section.
- the focus evaluation value calculation unit 302 calculates the focus evaluation value Fv each time the microscope camera 2 captures a frame image
- the focused image selection unit 306 calculates the focus evaluation value Fv each time the focus evaluation value Fv is calculated.
- image selection that is, real-time processing, but the capillary vessel imaging system 1 is not limited to real-time processing. After a moving image or a plurality of still images are captured by the microscope camera 2, the capillary imaging system 1 selects the focused image FP and the best image BP from the moving image or the plurality of still images afterwards. may
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】合焦の程度が良好な毛細血管の画像を得ることが容易な毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラムを提供する。 【解決手段】毛細血管撮像システム1は、生物の毛細血管Kの画像を複数撮像する顕微鏡カメラ2から、複数の画像を取得する外部I/F回路31と、複数の画像について、合焦の程度を数値化して示す合焦評価値Fvをそれぞれ算出する合焦評価値算出部302と、合焦の程度が良好か否かを判定するための判定閾値Jvと各合焦評価値Fvとを比較することによって、複数の画像のうち、合焦の程度が良好な画像を合焦画像FPとして選択する合焦画像選択部306とを備える。
Description
本発明は、毛細血管を撮像する毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラムに関する。
人体の毛細血管は、一般に、生活環境や外的要因により変化する。そのため、指先等の皮下毛細血管や眼底等の毛細血管の状態を観察、あるいは毛細血管画像を画像処理して数値化等による分析を行う事により、被験者の健康状態等を把握する事が出来る。毛細血管は極めて微小(太さ十数μm、長さ百数十μm、等)であり、肉眼では見る事はできないが、光学顕微鏡、又はデジタル型顕微鏡を用いて、これを観察する事ができる。
そこで、指先の毛細血管を撮影した画像から健康状態を診断する指先血管観測装置が知られている(例えば、特許文献1参照。)。
ところで、人や動物を含む生物の毛細血管を撮影する場合、撮影対象は生きているため、撮影対象の指等を完全に静止させることが困難である。そのため、撮影対象のわずかな動きを避けることができない。一方、顕微鏡は拡大倍率が高く、ピントが合う範囲が狭いため、撮影対象がわずかに動いただけでピンボケになってしまう。ピンボケになった品質の低い画像に基づき健康状態を診断した場合、診断精度が低下する。
本発明の目的は、合焦の程度が良好な毛細血管の画像を得ることが容易な毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラムを提供することである。
本発明に係る毛細血管撮像システムは、生物の毛細血管の画像を複数撮像する撮像部から、前記複数の画像を取得する画像取得部と、前記複数の画像について、合焦の程度を数値化して示す合焦評価値をそれぞれ算出する合焦評価値算出部と、前記合焦の程度が良好か否かを判定するための判定閾値と前記各合焦評価値とを比較することによって、前記複数の画像のうち、合焦の程度が良好な画像を合焦画像として選択する合焦画像選択部とを備える。
この構成によれば、生物の毛細血管を複数回撮像することにより得られた複数の画像のうち、合焦の程度が良好な画像を合焦画像として選択することができるので、生きている測定対象が動いた場合であっても、合焦の程度が良好な毛細血管の画像を得ることが容易となる。
また、前記合焦評価値算出部によって算出された複数の前記合焦評価値のうち最も良好な合焦を示す合焦評価値を、前記判定閾値として設定する判定閾値設定処理を実行する判定閾値設定部をさらに備え、前記合焦画像選択部は、前記判定閾値設定処理の後、前記画像取得部によって新たに取得された複数の画像のうちから、前記合焦の程度が良好な画像を前記合焦画像として選択することが好ましい。
毛細血管の画像を診断に用いる場合、毛細血管の特徴的な形状を把握可能なある程度の広さの領域内で、全体的に良好な画質の毛細血管画像が求められる。そのため、合焦の程度をある程度の広さの領域内で全体的に判定する必要があるが、毛細血管の形状や本数等は、個人個人や個々の動物毎に異なる。そのため、判定閾値を固定的に設定すると、合焦の程度が良好か否かを適切に判定できない場合がある。そこで、撮像対象の個体について撮像された複数の画像から得られた複数の合焦評価値のうち最も良好な合焦を示す合焦評価値を、判定閾値として設定し、その後に同一の個体から撮像された複数の画像から、その個体に対して設定された判定閾値に基づいて合焦画像を選択することによって、合焦の程度が良好な画像を合焦画像として選択する精度が向上する。
また、前記合焦画像選択部は、前記判定閾値設定処理において前記最も良好な合焦を示す合焦評価値が得られた画像を、前記合焦画像としてさらに選択することが好ましい。
判定閾値設定処理において最も良好な合焦を示す合焦評価値が得られた画像は、合焦の程度が良好な画像であると考えられる。従って、この画像を合焦画像として追加することによって、合焦画像の数を増やすことができる。
また、前記撮像部の撮像範囲のうち任意の領域範囲の指定を、評価対象領域として受け付ける評価対象領域受付部をさらに備え、前記合焦評価値算出部は、前記複数の画像における前記評価対象領域に対して、前記各合焦評価値を算出することが好ましい。
この構成によれば、ユーザが評価対象領域を設定することができるので、例えば毛細血管の先端部近傍等の、健康状態の評価のために重要な部分を評価対象領域として設定することによって、健康状態の評価のために重要な部分のピントが良好な画像を合焦画像として選択することが可能となる。
また、前記撮像部は、ユーザがピントを調節可能であり、前記撮像部による撮像期間中に、前記合焦評価値算出部によって算出された前記合焦評価値をリアルタイムで表示する合焦評価値表示部をさらに備えることが好ましい。
この構成によれば、ユーザがピントを合わすべく調節する際に、リアルタイムで表示された合焦評価値を確認しながらピントを合わすことができるので、より良好なピント合わせ操作をすることが容易となる。
また、前記撮像部は、ユーザがピントを調節可能であり、前記ユーザに対し、前記ピントの調節を促す操作案内を報知する操作案内報知部をさらに備え、前記撮像部は、前記操作案内が報知されている期間中に前記画像を繰り返し撮像することが好ましい。
この構成によれば、操作案内に応じてユーザがピントを合わすべく調節している期間中に、複数の画像が撮像されるので、より合焦の程度が良好な画像が撮像される可能性が高まる。
また、前記撮像部により撮像された画像をリアルタイムで表示する表示部をさらに備え、前記合焦評価値算出部は、前記撮像部により撮像された画像の各画素の合焦の程度をリアルタイムで判定し、前記合焦の程度が予め設定された基準レベルを超える画素である合焦画素を、前記表示部にハイライトで表示させることが好ましい。
この構成によれば、ユーザが、ピントが合っている箇所を知ることができる。
また、複数の前記合焦画像のうち一つを、前記各合焦画像の合焦評価値に基づき最良画像としてさらに選択する最良画像選択部をさらに備えることが好ましい。
この構成によれば、複数の合焦画像のうちから、さらに合焦評価値に基づき最良画像が選択されるので、より合焦の程度が良好な画像を得ることが可能となる。
また、前記各合焦画像のブレの程度を表すブレ評価値を算出するブレ評価値算出部と、前記複数の前記合焦画像のうち一つを、前記各合焦画像のブレ評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備えることが好ましい。
この構成によれば、複数の合焦画像のうちから、さらにブレ評価値に基づき最良画像が選択されるので、よりブレの少ない良好な画像を得ることが可能となる。
また、前記各合焦画像における光源の映り込みの程度を表す映込評価値を算出する映込評価値算出部と、前記複数の前記合焦画像のうち一つを、前記各合焦画像の映込評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備えることが好ましい。
この構成によれば、複数の合焦画像のうちから、さらに映込評価値に基づき最良画像が選択されるので、より光源の映り込みの少ない良好な画像を得ることが可能となる。
また、複数の前記合焦画像のうち一つを、前記各合焦画像の合焦評価値、前記各合焦画像のブレの程度を表すブレ評価値、及び前記各合焦画像における光源の映り込みの程度を表す映込評価値のうち少なくとも一つに基づき最良画像として選択する最良画像選択部をさらに備えることが好ましい。
この構成によれば、複数の合焦画像のうちから、さらに合焦評価値、ブレ評価値、及び映込評価値のうち少なくとも一つに基づき最良画像が選択されるので、より良好な画像を得ることが可能となる。
また、前記合焦画像に基づいて、前記生物の健康状態を評価する健康状態評価部をさらに備えることが好ましい。
この構成によれば、合焦の程度が良好な毛細血管の画像に基づいて生物の健康状態を評価することができるので、健康状態の評価精度が向上する。
また、前記最良画像に基づいて、前記生物の健康状態を評価する健康状態評価部をさらに備えることが好ましい。
この構成によれば、合焦の程度がより良好な毛細血管の画像に基づいて生物の健康状態を評価することができるので、健康状態の評価精度が向上する。
また、前記撮像部は、前記複数の画像を動画の各フレームとして撮像することが好ましい。
この構成によれば、生物の毛細血管を動画で撮像することによって、複数の画像を撮像することができる。
また、前記合焦評価値算出部は、前記撮像部によって前記画像が撮像される都度、前記合焦評価値を算出し、前記合焦画像選択部は、前記合焦評価値が算出される都度、前記画像の選択を実行することが好ましい。
この構成によれば、撮像部による複数の画像の撮像期間中に、リアルタイムに合焦画像の選択が行われるので、画像が撮像されてから合焦画像が選択されるまでの時間が短縮される。
また、前記撮像部をさらに備えることが好ましい。
この構成によれば、撮像部が毛細血管撮像システムに含まれる。
また、本発明に係る毛細血管撮像システム用サーバ装置は、生物の毛細血管の画像である複数の合焦画像の入力を受け付ける合焦画像受付部と、前記複数の合焦画像のうち一つを、前記各合焦画像の合焦の程度を数値化して示す合焦評価値、前記各合焦画像のブレの程度を表すブレ評価値、及び前記各合焦画像における光源の映り込みの程度を表す映込評価値のうち少なくとも一つに基づき最良画像として選択する最良画像選択部とを備える。
この構成によれば、複数の合焦画像のうちから、さらに合焦評価値、ブレ評価値、及び映込評価値のうち少なくとも一つに基づき最良画像が選択されるので、より良好な画像を得ることが可能となる。
また、本発明に係る毛細血管撮像プログラムは、コンピュータを、上述の毛細血管撮像システムとして機能させる。
この毛細血管撮像プログラムによれば、コンピュータを、上述の毛細血管撮像システムとして機能させることができる。
また、本発明に係る毛細血管撮像プログラムは、コンピュータを、上述の毛細血管撮像システム用サーバ装置として機能させる。
この毛細血管撮像プログラムによれば、コンピュータを、上述の毛細血管撮像システム用サーバ装置として機能させることができる。
このような構成の毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラムは、合焦の程度が良好な毛細血管の画像を得ることが容易となる。
以下、本発明に係る実施形態を図面に基づいて説明する。
なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図1は、本発明の一実施形態に係る毛細血管撮像システムの構成の一例を示すブロック図である。
図1に示す毛細血管撮像システム1は、顕微鏡カメラ2(撮像部)、撮像処理装置3、及びサーバ装置4(毛細血管撮像システム用サーバ装置)を備えている。撮像処理装置3とサーバ装置4とは、ネットワーク5を介してデータ送受信可能に通信接続されている。
顕微鏡カメラ2は、人体の毛細血管を顕微鏡で撮像するカメラである。図2は、図1に示す顕微鏡カメラ2の一例を示す外観斜視図である。図2に示す顕微鏡カメラ2は、大略的に、略円柱状の顕微鏡本体21、略板状の基台22、顕微鏡本体21と基台22とを連結する連結部23、及び顕微鏡本体21の角度を調節する調節ハンドル24を備えている。
基台22には、人の指先をガイドするガイド部28が設けられている。ガイド部28には、指先の形状に沿うように窪んだ凹部281が形成されている。被験者が、凹部281に指先を置くことによって、指先がおおよそ位置決めされるようになっている。
顕微鏡本体21の下端には対物レンズ25が設けられ、凹部281に置かれた被験者の指先が撮像されるようになっている。対物レンズ25の周囲には、被験者の指先を照明する照明部26が取り付けられている。
顕微鏡本体21の内部には、顕微鏡の光学系と、顕微鏡で得られた像を撮像するCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子が内蔵されている。顕微鏡本体21は、被験者の指先の画像、より詳しくは指先の毛細血管の画像を撮像する。顕微鏡本体21は、毛細血管の画像を、静止画像で複数枚連続撮像してもよく、各画像をフレームとして含む動画として撮像してもよい。顕微鏡本体21は、撮像素子によって撮像された画像を表す画像データを、ケーブル29を介して撮像処理装置3へ送信する。
顕微鏡カメラ2としては、例えば、あっと(株)製毛細血管スコープSC-10を好適に用いることができる。なお、顕微鏡カメラ2は、毛細血管の画像を撮像可能であればよく、指先の画像を撮像するものに限らない。また、顕微鏡カメラ2は、人の毛細血管を撮像するものに限られず、動物等の生物の毛細血管を撮像するものであってもよい。
撮像処理装置3へ送信する画像データの形式としては、種々の方式を用いることができ、例えばNTSC(National Television System Committee)方式を用いることができる。また、画像データを無線信号により撮像処理装置3へ送信してもよい。
顕微鏡本体21には、ピント調節ハンドル27が設けられている。ユーザは、ピント調節ハンドル27を操作することによって、ピントを調節可能となっている。
なお、ピントとは、レンズ等の光学系からの映像が鮮明に見える距離の事で、焦点あるいはフォーカスとも呼ぶ。また、ピントが合う事を「合焦」と呼ぶ。また、ピントが合っていない状態を、ピンボケまたはアウトフォーカスと呼ぶ。また、レンズでのピントが合う距離範囲を被写界深度と呼び、被写界深度は撮影距離が短い場合や、光学系の倍率が高い(焦点距離が長い等)に、特に浅く(狭く)なり、一般的にこの被写界深度の値は、10
0μm程度でしかない。この為、顕微鏡等では撮影対象が僅かに(撮影距離に対して)動いてしまうとピンボケになってしまう。
0μm程度でしかない。この為、顕微鏡等では撮影対象が僅かに(撮影距離に対して)動いてしまうとピンボケになってしまう。
また、ブレには、被写体ブレ、機器ブレ、及び手ブレ等が含まれる。被写体ブレは、レンズ光学系等で撮影を行う平面(撮像面)上での被写体の位置が、時間軸に応じて二次元的に移動(縦、横、斜め等)にズレて移動してしまう事をいう。機器ブレは、顕微鏡等の撮像機器側での振動等の発生により被写体の位置が時間軸に応じて移動してしまう事をいう。手ブレは、顕微鏡等の撮像機器を撮影者が(手持ち等で)保持する場合に、撮影者の身体的な動きによって被写体の位置が移動することをいう。撮影者が完全に撮像機器を保持していない場合でも、機器に触れたり操作をして振動を与えることによって、手ブレが生じることもある。
撮像(撮影は)、ある一定の時間(シャッター速度)の期間中(例:数十分の1秒~数百分の1秒)において行われる為、上記のブレが発生していると、そのシャッター速度での短い時間内においても、被写体が動いている事となり、撮影画像の鮮明度が低下する。
このような状態が、ブレが発生している状態となる。
このような状態が、ブレが発生している状態となる。
図1を参照して、撮像処理装置3は、例えばパーソナルコンピュータ等の情報処理装置を用いて構成されている。撮像処理装置3は、演算部30、外部I/F回路31(画像取得部)、ディスプレイ32(表示部)、キーボード33、マウス34、及び通信I/F回路35を備える。
外部I/F回路31は、顕微鏡カメラ2から、複数の画像を示す画像データを受信可能なインターフェイス回路である。通信I/F回路35は、ネットワーク5を介してサーバ装置4と通信可能な通信インターフェイス回路である。通信I/F回路35は、有線通信回路であってもよく、無線通信回路であってもよい。ディスプレイ32は、顕微鏡カメラ2により撮像された画像をリアルタイムで表示する。
演算部30は、例えば所定の演算処理を実行するCPU(Central Processing Unit)、データを一時的に記憶するRAM(Random Access Memory)、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記憶装置、タイマ回路、及びこれらの周辺回路等を備えて構成されている。そして、演算部30は、例えば上述の記憶装置に記憶された第一毛細血管撮像プログラムを実行することによって、評価対象領域受付部301、合焦評価値算出部302、判定閾値設定部303、合焦評価値表示部304、操作案内報知部305、合焦画像選択部306、及びブレ評価値算出部307として機能する。
評価対象領域受付部301は、顕微鏡カメラ2の撮像範囲のうち任意の領域範囲の指定を、評価対象領域として受け付ける。
合焦評価値算出部302は、外部I/F回路31で取得された複数の画像について、合焦の程度を数値化して示す合焦評価値Fvをそれぞれ算出する。判定閾値設定部303は、合焦評価値算出部302によって算出された複数の合焦評価値Fvのうち最も良好な合焦を示す合焦評価値Fvを、判定閾値Jvとして設定する判定閾値設定処理を実行する。
合焦評価値表示部304は、顕微鏡カメラ2による撮像期間中に、合焦評価値算出部302によって算出された合焦評価値Fvを、ディスプレイ32にリアルタイムで表示する。操作案内報知部305は、ユーザに対し、顕微鏡カメラ2の調節を促す操作案内を報知する。操作案内は、ディスプレイ32に表示されてもよく、音声により顕微鏡カメラ2の調節を促すものであってもよい。
合焦画像選択部306は、合焦の程度が良好か否かを判定するための判定閾値Jvと各合焦評価値Fvとを比較することによって、複数の画像のうち、合焦の程度が良好な画像を合焦画像FPとして選択する。
ブレ評価値算出部307は、各合焦画像FPのブレの程度を表すブレ評価値Bvを算出する。合焦画像選択部306は、各合焦画像FPと、各合焦画像FPの合焦評価値Fvと、各合焦画像FPのブレ評価値Bvとを、ネットワーク5を介してサーバ装置4へ送信する。
サーバ装置4は、演算部40と、通信I/F回路44(合焦画像受付部)とを備える。通信I/F回路44は、ネットワーク5を介して通信I/F回路35と通信可能な通信インターフェイス回路である。通信I/F回路44は、有線通信回路であってもよく、無線通信回路であってもよい。通信I/F回路44は、撮像処理装置3から送信された複数の合焦画像FPの、サーバ装置4への入力を受け付ける。
演算部40は、例えば所定の演算処理を実行するCPU、データを一時的に記憶するRAM、HDDやSSD等の不揮発性の記憶装置、タイマ回路、及びこれらの周辺回路等を備えて構成されている。そして、演算部40は、例えば上述の記憶装置に記憶された第二毛細血管撮像プログラムを実行することによって、映込評価値算出部41、最良画像選択部42、及び健康状態評価部43として機能する。
映込評価値算出部41は、撮像処理装置3から送信された各合焦画像FPにおける光源の映り込みの程度を表す映込評価値Rvを算出する。
最良画像選択部42は、撮像処理装置3から送信された複数の合焦画像FPのうち一つを、各合焦画像FPの合焦評価値Fv、各合焦画像FPのブレの程度を表すブレ評価値Bv、及び各合焦画像FPにおける光源の映り込みの程度を表す映込評価値Rvのうち少なくとも一つに基づき最良画像BPとして選択する。
健康状態評価部43は、最良画像BPに基づいて、被験者の健康状態を評価する。健康状態評価部43による健康状態の評価方法としては、公知の種々の方法を用いることができ、例えば特許第6186663号公報や、特許第6906188号公報等に記載の方法を用いることができる。
次に、上述のように構成された毛細血管撮像システム1の動作について説明する。図3、図4は、図1に示す撮像処理装置3の動作の一例を示すフローチャートであり、第一毛細血管撮像プログラムの処理の一例に相当する。
まず、顕微鏡カメラ2のガイド部28に被験者が指先を載せた状態で、顕微鏡カメラ2が毛細血管の動画での撮像を開始し(ステップS1)、その撮像画像がディスプレイ32に表示される。次に、評価対象領域受付部301は、顕微鏡カメラ2の撮像範囲のうち任意の領域範囲の指定を、評価対象領域として受け付ける(ステップS2)。
図6は、図1に示すディスプレイ32に表示される撮像画像Gの一例を示す説明図である。図6に示す撮像画像Gには、六本の毛細血管Kが写っている。評価対象領域受付部301は、例えば図6に示す評価対象領域Aのように、ユーザがマウス34を操作して選択した矩形状の領域を、評価対象領域Aとして受け付ける。
次に、操作案内報知部305は、ユーザのピント調節を促す操作案内をディスプレイ32に表示することによって報知する(ステップS3)。図7は、図1に示すディスプレイ32の表示画面DPの一例を示す画面図である。表示画面DPには、撮像画像Gの横に、ピント調節を促す操作案内Mとして、例えば「ピントを合わせてください」というメッセージが表示されている。なお、表示により報知する方法に限られず、音によってピント調節を促す操作案内を報知してもよい。
次に、判定閾値設定部303は、経過時間t1の計時を開始する(ステップS4)。次に、合焦評価値算出部302は、顕微鏡カメラ2によって撮像された動画画像における各フレームの画像であるフレーム画像の合焦評価値Fvを、評価対象領域Aに対してリアルタイムで、すなわちフレーム画像が得られる都度算出する(ステップS5)。
具体的には、合焦評価値算出部302は、各フレーム画像に対して、下記(1)~(4)を実行することによって、各フレーム画像の合焦評価値Fvを算出する。
(1)フレーム画像をグレースケール化、(2)グレースケール化したフレーム画像の輪郭を抽出、(3)評価対象領域A内において、輪郭として抽出された画素と、その画素に対して輪郭の外側に隣接する画素の輝度値の差を、輝度差Lsとして算出、(4)算出された各輝度差Lsのうち、予め設定された基準値refを超える輝度差Lsの合計を、合焦評価値Fvとして算出。
上記(2)の輪郭抽出方法としては、例えばラプラシアンフィルタ等の、公知の輪郭抽出方法を用いることができる。上記(3)の輝度差Lsが大きければ、輪郭が明瞭であることを意味し、ピントが良好であると判断できる。
上記(4)によれば、基準値refによって設定された合焦の程度を超える、ピントが良好な評価対象領域A内の画素について輝度差Lsが合計された値が合焦評価値Fvとして算出される。その結果、合焦評価値Fvは、毛細血管画像の合焦の程度を、評価対象領域Aの全域に渡って全体的に評価する指標となる。
上記(4)において、基準値refを超える輝度差Lsが得られた画素である合焦画素Pの座標を、後述するブレ評価値Bvのために記憶しておく。
なお、合焦評価値Fvは、合焦の程度を数値化して示すものであればよく、上記(1)~(4)によって算出されたものに限らない。また、上記(1)~(4)によって算出された合焦評価値Fvは、値が大きいほど合焦の程度が良好であることを示しているが、合焦評価値Fvとして、値が小さいほど合焦の程度が良好な指標を用いてもよい。合焦評価値Fvの算出方法としては、ピントを評価する種々の公知技術を用いることができる。
基準値refは、画素の合焦の程度について予め設定された基準レベルの一例に相当うし、合焦画素Pは、合焦の程度が予め設定された基準レベルを超える画素の一例に相当する。合焦評価値算出部302は、例えば図6に示すように、合焦画素Pを、ハイライトで明るく表示するなどしてリアルタイムでディスプレイ32に表示してもよい。これにより、ピント操作を行っているユーザが、ピントが合っている箇所を知ることができる。
毛細血管の形状は曲がりくねっており、顕微鏡カメラ2のガイド部28に指先を載せたとしても、顕微鏡カメラ2の撮像範囲内で毛細血管全体を顕微鏡カメラ2の対物レンズから等距離に配置することはできない。そのため、毛細血管全体にピントを合わすことは困難である。
そこで、評価対象領域受付部301を備えて評価対象領域Aを設定可能とすることによって、合焦評価値Fvを、例えば毛細血管の先端部近傍等の、健康状態の評価のために重要な部分の合焦の程度を表す指標とすることができる。その結果、後述する合焦画像選択部306及び最良画像選択部42は、健康状態の評価のために重要な部分のピントが良好な画像を選択することが可能となる。
ステップS5では、処理対象のフレーム画像の直前のフレーム画像を、後述する直前画像を取得可能とするために記憶しておく。
次に、合焦評価値表示部304は、合焦評価値算出部302によって算出された合焦評価値Fvをリアルタイムでディスプレイ32に表示する(ステップS6)。合焦評価値表示部304は、例えば図7に示すように、合焦評価値Fvを、バーの本数でグラフ化して示してもよく、合焦評価値Fvをそのまま数値で表示してもよい。顕微鏡カメラ2による撮像期間中にユーザがピント操作を行っている最中に、リアルタイムで合焦評価値Fvを表示することによって、ユーザによるピント合わせ精度を向上させることができる。
次に、判定閾値設定部303は、合焦評価値Fvの算出された一つのフレーム画像をその合焦評価値Fvと紐付けて合焦画像候補として記憶し、より値の大きな合焦評価値Fvが算出される都度、合焦画像候補を、その合焦評価値Fvと共にその合焦評価値Fvが大きな画像に入れ替える(ステップS7)。その結果、合焦評価値Fvが最大のフレーム画像が、最大の合焦評価値Fvと紐付られて合焦画像候補として記憶される。
次に、ブレ評価値算出部307は、合焦画像候補の直前のフレーム、すなわち合焦画像候補の直前に撮像された直前画像と、合焦画像候補とに基づいて、合焦画像候補のブレ評価値Bvを算出し、そのブレ評価値Bvを合焦画像候補と紐づけて記憶する(ステップS8)。
具体的には、例えば、上記(4)において記憶しておいた、基準値refを超える輝度差Lsが得られた合焦画素Pの座標に基づいて、ブレ評価値Bvを算出する。すなわち、直前画像における合焦画素Pの座標と、合焦画像候補における合焦画素Pの座標との位置を比較し、両画像間における互いに対応する画素間での座標の差の合計値を、合焦画像候補のブレ評価値Bvとして算出する。これにより、ブレ評価値Bvがゼロのとき合焦画像候補はブレが無く、ブレ評価値Bvが大きいほど、合焦画像候補のブレが大きいことを示すことになる。
なお、顕微鏡カメラ2が、NTSC等のインターレース方式で撮像する場合、奇数ラインの画像と偶数ラインの画像とが交互に取得される。この場合、前後の奇数ラインの画像と偶数ラインの画像とに基づいてブレ評価値Bvを算出すればよい。ブレ評価値Bvを算出する際、奇数ラインと偶数ラインの座標位置のずれを補正した上で上述の座標の差を算出してもよい。
なお、ブレ評価値Bvは、画像のブレの程度を表していればよく、ブレが大きいほどブレ評価値Bvが大きくなる例に限られず、ブレが小さいほどブレ評価値Bvが大きくなってもよい。
また、直前画像における合焦画素Pの座標と、合焦画像候補における合焦画素Pの座標との位置を比較することによってブレ評価値Bvを算出する例に限らない。ブレ評価値Bvの算出方法としては、二つの画像(直前画像と合焦画像候補)間の相関、いわゆるパターンマッチングを行うための種々の公知の手法を用いることができ、例えばピアソンの積関率相関係数、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NCC(Normalized Cross-Correlation)、及びZNCC(Zero-mean Normalized Cross-orrelation)等を用いることができる。
次に、判定閾値設定部303は、経過時間t1と、予め設定された予備時間ts1とを比較する(ステップS9)。予備時間ts1としては、例えば10秒程度の時間を固定的に設定してもよく、任意の時間を設定可能としてもよい。経過時間t1が予備時間ts1以下(ステップS9でNO)であれば再びステップS5~S9を繰り返し、経過時間t1が予備時間ts1を超えていれば(ステップS9でYES)、判定閾値設定部303は、合焦画像候補の合焦評価値Fvを判定閾値Jvとして設定する(ステップS11)。
これにより、予備時間ts1の間に撮像されたすべての画像の中で、最も良好な合焦を示す合焦評価値Fvが、判定閾値Jvとして設定される。ステップS7,S11は、判定閾値設定処理の一例に相当する。
次に、合焦画像選択部306は、合焦画像候補として記憶されている画像を合焦画像FPとして選択する(ステップS12)。これにより、予備時間ts1の間に撮像されたすべての画像の中で、最もピントが良好な画像が、合焦画像FPとして選択される。
次に、合焦画像選択部306は、経過時間t2の計時を開始する(ステップS13)。
次に、合焦評価値算出部302は、ステップS5と同様、顕微鏡カメラ2によって撮像された動画画像における各フレームの画像であるフレーム画像の合焦評価値Fvを、評価対象領域Aに対してリアルタイムで、すなわちフレーム画像が得られる都度算出する(ステップS14)。
次に、合焦評価値表示部304は、ステップS6と同様、合焦評価値算出部302によって算出された合焦評価値Fvをリアルタイムでディスプレイ32に表示する(ステップS15)。
次に、合焦画像選択部306は、判定閾値Jv以上の合焦評価値Fvが算出される都度、その合焦評価値Fvが算出された画像を合焦画像FPとして選択し、記憶する(ステップS16)。
人の毛細血管は、個人個人でその本数、形状、太さ等の状態が異なる。人以外の動物等の生物の毛細血管も同様である。そのため、上述の(1)~(4)によって合焦評価値Fvを算出する際に、被験者の毛細血管の状態によって輪郭として抽出される画素数が異なる。その結果、合焦の程度が同等の画像であっても被験者によって、異なった合焦評価値Fvが算出される。そのため、判定閾値Jvを固定的に設定すると、被験者によっては適切にピントが合った画像を選択できないおそれがある。
しかしながら、ステップS4~S11によれば、被験者毎の毛細血管の状態に応じた判定閾値Jvを設定することができる。その結果、ステップS16において、合焦の程度が良好な、ピントの合った毛細血管の画像が、合焦画像FPとして選択される確実性が向上する。
次に、ブレ評価値算出部307は、合焦画像FPの直前のフレーム、すなわち合焦画像FPの直前に撮像された直前画像と、合焦画像FPとに基づいて、合焦画像FPのブレ評価値Bvを算出し、そのブレ評価値Bvを合焦画像FPと紐づけて記憶する(ステップS17)。ステップS17の処理は、ステップS8の合焦画像候補の代わりに合焦画像FPを用いる点を除いてステップS8と同様である。
次に、合焦画像選択部306は、経過時間t2と、予め設定された本撮影時間ts2とを比較する(ステップS18)。本撮影時間ts2としては、例えば20~40秒程度の時間を固定的に設定してもよく、任意の時間を設定可能としてもよい。
経過時間t2が本撮影時間ts2以下(ステップS18でNO)であれば再びステップS14~S18を繰り返し、経過時間t2が本撮影時間ts2を超えていれば(ステップS18でYES)、合焦画像選択部306は、すべての合焦画像FPと、各合焦画像FPの合焦評価値Fv及びブレ評価値Bvとを、通信I/F回路35を介してサーバ装置4へ送信する(ステップS19)。
これにより、合焦画像FPが判定閾値Jv以上の、合焦の程度が良好と判定されたすべての画像と、その各合焦画像FPの合焦評価値Fv及びブレ評価値Bvとが、サーバ装置4へ送信される。
以上、ステップS1~S19によれば、判定閾値Jv以上の合焦評価値Fvを有する合焦の程度が良好な合焦画像FPが得られるから、合焦の程度が良好な毛細血管の画像を得ることが容易となる。
次に、サーバ装置4の動作について説明する。図5は、図1に示すサーバ装置4の動作の一例を示すフローチャートであり、第二毛細血管撮像プログラムの処理の一例に相当する。まず、通信I/F回路44は、撮像処理装置3から送信された、複数の合焦画像FPと、各合焦画像FPの合焦評価値Fv及びブレ評価値Bvとを受信することにより取得する(ステップS21)。
次に、映込評価値算出部41は、通信I/F回路44で受信された各合焦画像FPの映込評価値Rvを算出する(ステップS22)。図2に示すように、顕微鏡カメラ2は、照明部26によって被験者の指先を照明して撮像する。その際、照明部26の照明光が、例えば図6に示す映り込みRのように、撮像画像Gに映り込む場合がある。映り込みRは、画像品質を低下させ、撮像画像Gに基づく健康状態の評価精度を低下させる。
そこで、映込評価値算出部41は、各合焦画像FPの画像品質を評価するための評価指標の一つとして、映込評価値Rvを算出する。
例えば、映込評価値算出部41は、各合焦画像FPに対して、下記(A)~(D)を実行することによって、各合焦画像FPの映込評価値Rvを算出する。
(A)合焦画像FPをグレースケール化、(B)グレースケール化した合焦画像FPのの各画素の平均輝度値Laveを算出、(C)平均輝度値Laveよりも、予め設定した映込判
定値Rref以上輝度の高い画素を、映込画素とする、(D)映込画素の輝度値の合計を、その合焦画像FPの映込評価値Rvとする。
定値Rref以上輝度の高い画素を、映込画素とする、(D)映込画素の輝度値の合計を、その合焦画像FPの映込評価値Rvとする。
(A)~(D)によれば、映込評価値Rvが大きいほど、合焦画像FPへの映り込みが多いことを示すことになる。映込判定値Rrefは、例えば実験結果や標準偏差等に基づいて適宜設定すればよい。
なお、映込評価値Rvは、合焦画像FPにおける光源の映り込みの程度を表す指標であればよく、映込評価値Rvが大きいほど合焦画像FPへの映り込みが多いことを示す例に限られず、映込評価値Rvが小さいほど合焦画像FPへの映り込みが多いことを示すものであってもよい。
次に、最良画像選択部42は、通信I/F回路44で受信された、複数の合焦画像FP、各合焦画像FPの合焦評価値Fv、及び各合焦画像FPのブレ評価値Bvと、映込評価値算出部41で算出された各合焦画像FPの映込評価値Rvとに基づいて、複数の合焦画像FPのうち一つを最良画像BPとして選択する(ステップS23)。
合焦評価値Fv、ブレ評価値Bv、及び映込評価値Rvに基づいて最良画像BPを選択する方法としては、例えば、各合焦画像FPについて、下記の画像評価値Gvを算出し、最も画像評価値Gvが大きな合焦画像FPを最良画像BPとして選択してもよい。
画像評価値Gv=Fv-Bv-Rv ・・・(1)
上記式(1)は、値が大きいほど良好であることを示す合焦評価値Fvについては加算、値が小さいほど良好であることを示すブレ評価値Bv及び映込評価値Rvについては、減算することによって、値が大きいほど画像品質が高いことを示す画像評価値Gvを算出する。
また、画像評価値Gvの別の算出方法としては、例えば、下記の式(2)を用いることができる。
画像評価値Gv=aFv-bBv-cRv ・・・(2)
a,b,cは係数である。
式(2)によれば、合焦評価値Fv、ブレ評価値Bv、及び映込評価値Rvの重要度に応じて、重みづけをすることができる。例えば、a=0.7、b=0.2、c=0.1とすることができる。
なお、画像評価値Gvは、値が小さいほど画像品質が高いことを示すものであってもよく、その場合、最も画像評価値Gvが小さな合焦画像FPを最良画像BPとして選択すればよい。
以上、ステップS21~S23によれば、合焦の程度が良好な合焦画像FPのうち、さらに、ピント、ブレ、及び照明光の映り込みの観点から、画質の良好な最良画像BPを得ることができるから、合焦の程度のみならず、総合的に画質の良好な毛細血管の画像を得ることが容易となる。
次に、健康状態評価部43は、最良画像BPに基づき被験者の健康状態を評価して(ステップS24)、処理を終了する。健康状態評価部43は、その評価結果を図略のディスプレイに表示してもよく、通信I/F回路44を介して撮像処理装置3等へ送信してもよい。ステップS24によれば、画質の良好な最良画像BPに基づき被験者の健康状態を評価することができるので、健康状態の評価精度が向上する。
なお、顕微鏡カメラ2が、ユーザがピント調節ハンドル27を操作してピントを合わせる例を示したが、顕微鏡カメラ2は、公知のオートフォーカス機構によって、ピントを合わせる構成であってもよい。そして、オートフォーカス機構によるピント調節が行われている期間中に、顕微鏡カメラ2が、動画又は複数の静止画像を撮像する構成であってもよい。また、毛細血管撮像システム1は、顕微鏡カメラ2を備えていなくてもよい。
また、毛細血管撮像システム1は、健康状態評価部43を備えず、ステップS24を実行しなくてもよい。また、毛細血管撮像システム1は、評価対象領域受付部301を備えず、ステップS2を実行しなくてもよい。この場合、合焦評価値算出部302は、画像全域を対象に合焦評価値Fvを算出してもよく、予め設定された評価対象領域Aに対して合焦評価値Fvを算出してもよい。
また、毛細血管撮像システム1は、合焦評価値表示部304を備えず、ステップS15を実行しなくてもよく、操作案内報知部305を備えず、ステップS3を実行しなくてもよい。
また、毛細血管撮像システム1は、映込評価値算出部41を備えず、ステップS22を実行しなくてもよい。この場合、最良画像選択部42は、合焦評価値Fv、及びブレ評価値Bvに基づいて最良画像BPを選択すればよい。
また、毛細血管撮像システム1は、ブレ評価値算出部307を備えず、ステップS17を実行しなくてもよい。この場合、最良画像選択部42は、合焦評価値Fv、及び映込評価値Rvに基づいて最良画像BPを選択すればよい。あるいは、最良画像選択部42は、合焦評価値Fvのみに基づいて、合焦評価値Fvが最大の合焦画像FPを最良画像BPとして選択してもよい。
また、最良画像選択部42は、合焦評価値Fvを用いることなく、ブレ評価値Bv及び映込評価値Rvのうち少なくとも一つに基づき最良画像BPを選択してもよい。
また、毛細血管撮像システム1は、最良画像選択部42、映込評価値算出部41、及びブレ評価値算出部307を備えず、ステップS23,S22,S17を実行しなくてもよい。最良画像BPを選択しなくても、合焦画像FP自体、合焦の程度が良好な毛細血管の画像である。この場合、健康状態評価部43は、合焦画像FPに基づいて、被験者等の健康状態を評価すればよい。
また、合焦画像選択部306は、ステップS12を実行しなくてもよい。また、毛細血管撮像システム1は、判定閾値設定部303を備えず、ステップS5~S12を実行しなくてもよい。この場合、合焦画像選択部306は、予め設定された判定閾値Jvに基づいて合焦画像FPを選択すればよい。
また、毛細血管撮像システム1は、サーバ装置4を備えていなくてもよく、撮像処理装置3のみで毛細血管撮像システム1を構成してもよい。また、撮像処理装置3が、映込評価値算出部41、最良画像選択部42、及び健康状態評価部43のうち少なくとも一つを備えてもよい。この場合、第一毛細血管撮像プログラムと第二毛細血管撮像プログラムとを、一つの毛細血管撮像プログラムとして構成してもよい。
また、サーバ装置4が、評価対象領域受付部301、合焦評価値算出部302、判定閾値設定部303、合焦評価値表示部304、操作案内報知部305、合焦画像選択部306、及びブレ評価値算出部307を備え、毛細血管撮像システム1は、撮像処理装置3を備えていなくてもよい。そして、顕微鏡カメラ2を、ネットワーク5を介してサーバ装置4の通信I/F回路44に接続してもよい。この場合、通信I/F回路44は、画像取得部の一例に相当する。
また、合焦評価値算出部302が、顕微鏡カメラ2によってフレーム画像が撮像される都度、合焦評価値Fvを算出し、合焦画像選択部306が、合焦評価値Fvが算出される都度、画像の選択を実行し、すなわちリアルタイムで処理を行う例を示したが、毛細血管撮像システム1は、リアルタイムで処理を行う例に限らない。毛細血管撮像システム1は、顕微鏡カメラ2によって、動画、又は複数の静止画像が撮像された後、事後的にその動画、又は複数の静止画像から、合焦画像FP、及び最良画像BPを選択してもよい。
1 毛細血管撮像システム
2 顕微鏡カメラ(撮像部)
3 撮像処理装置
4 サーバ装置(毛細血管撮像システム用サーバ装置)
5 ネットワーク
21 顕微鏡本体
22 基台
23 連結部
24 調節ハンドル
25 対物レンズ
26 照明部
27 ピント調節ハンドル
28 ガイド部
29 ケーブル
30 演算部
31 外部I/F回路(画像取得部)
32 ディスプレイ(表示部)
33 キーボード
34 マウス
35 通信I/F回路
40 演算部
41 映込評価値算出部
42 最良画像選択部
43 健康状態評価部
44 通信I/F回路(合焦画像受付部)
281 凹部
301 評価対象領域受付部
302 合焦評価値算出部
303 判定閾値設定部
304 合焦評価値表示部
305 操作案内報知部
306 合焦画像選択部
307 ブレ評価値算出部
A 評価対象領域
BP 最良画像
Bv ブレ評価値
DP 表示画面
FP 合焦画像
Fv 合焦評価値
G 撮像画像
Gv 画像評価値
Jv 判定閾値
K 毛細血管
Lave 平均輝度値
Ls 輝度差
M 操作案内
P 合焦画素
R 映り込み
Rref 映込判定値
Rv 映込評価値
ref 基準値
t1,t2 経過時間
ts1 予備時間
ts2 本撮影時間
2 顕微鏡カメラ(撮像部)
3 撮像処理装置
4 サーバ装置(毛細血管撮像システム用サーバ装置)
5 ネットワーク
21 顕微鏡本体
22 基台
23 連結部
24 調節ハンドル
25 対物レンズ
26 照明部
27 ピント調節ハンドル
28 ガイド部
29 ケーブル
30 演算部
31 外部I/F回路(画像取得部)
32 ディスプレイ(表示部)
33 キーボード
34 マウス
35 通信I/F回路
40 演算部
41 映込評価値算出部
42 最良画像選択部
43 健康状態評価部
44 通信I/F回路(合焦画像受付部)
281 凹部
301 評価対象領域受付部
302 合焦評価値算出部
303 判定閾値設定部
304 合焦評価値表示部
305 操作案内報知部
306 合焦画像選択部
307 ブレ評価値算出部
A 評価対象領域
BP 最良画像
Bv ブレ評価値
DP 表示画面
FP 合焦画像
Fv 合焦評価値
G 撮像画像
Gv 画像評価値
Jv 判定閾値
K 毛細血管
Lave 平均輝度値
Ls 輝度差
M 操作案内
P 合焦画素
R 映り込み
Rref 映込判定値
Rv 映込評価値
ref 基準値
t1,t2 経過時間
ts1 予備時間
ts2 本撮影時間
Claims (19)
- 生物の毛細血管の画像を複数撮像する撮像部から、前記複数の画像を取得する画像取得部と、
前記複数の画像について、合焦の程度を数値化して示す合焦評価値をそれぞれ算出する合焦評価値算出部と、
前記合焦の程度が良好か否かを判定するための判定閾値と前記各合焦評価値とを比較することによって、前記複数の画像のうち、合焦の程度が良好な画像を合焦画像として選択する合焦画像選択部とを備える毛細血管撮像システム。 - 前記合焦評価値算出部によって算出された複数の前記合焦評価値のうち最も良好な合焦を示す合焦評価値を、前記判定閾値として設定する判定閾値設定処理を実行する判定閾値設定部をさらに備え、
前記合焦画像選択部は、前記判定閾値設定処理の後、前記画像取得部によって新たに取得された複数の画像のうちから、前記合焦の程度が良好な画像を前記合焦画像として選択する請求項1記載の毛細血管撮像システム。 - 前記合焦画像選択部は、前記判定閾値設定処理において前記最も良好な合焦を示す合焦評価値が得られた画像を、前記合焦画像としてさらに選択する請求項2記載の毛細血管撮像システム。
- 前記撮像部の撮像範囲のうち任意の領域範囲の指定を、評価対象領域として受け付ける評価対象領域受付部をさらに備え、
前記合焦評価値算出部は、前記複数の画像における前記評価対象領域に対して、前記各合焦評価値を算出する請求項1~3のいずれか1項に記載の毛細血管撮像システム。 - 前記撮像部は、ユーザがピントを調節可能であり、
前記撮像部による撮像期間中に、前記合焦評価値算出部によって算出された前記合焦評価値をリアルタイムで表示する合焦評価値表示部をさらに備える請求項1~4のいずれか1項に記載の毛細血管撮像システム。 - 前記撮像部は、ユーザがピントを調節可能であり、
前記ユーザに対し、前記ピントの調節を促す操作案内を報知する操作案内報知部をさらに備え、
前記撮像部は、前記操作案内が報知されている期間中に前記画像を繰り返し撮像する請求項1~5のいずれか1項に記載の毛細血管撮像システム。 - 前記撮像部により撮像された画像をリアルタイムで表示する表示部をさらに備え、
前記合焦評価値算出部は、前記撮像部により撮像された画像の各画素の合焦の程度をリアルタイムで判定し、前記合焦の程度が予め設定された基準レベルを超える画素である合焦画素を、前記表示部にハイライトで表示させる請求項1~6のいずれか1項に記載の毛細血管撮像システム。 - 複数の前記合焦画像のうち一つを、前記各合焦画像の合焦評価値に基づき最良画像としてさらに選択する最良画像選択部をさらに備える請求項1~7のいずれか1項に記載の毛細血管撮像システム。
- 前記各合焦画像のブレの程度を表すブレ評価値を算出するブレ評価値算出部と、
前記複数の前記合焦画像のうち一つを、前記各合焦画像のブレ評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備える請求項1~8のいずれか1項に記載の毛細血管撮像システム。 - 前記各合焦画像における光源の映り込みの程度を表す映込評価値を算出する映込評価値算出部と、
前記複数の前記合焦画像のうち一つを、前記各合焦画像の映込評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備える請求項1~9のいずれか1項に記載の毛細血管撮像システム。 - 複数の前記合焦画像のうち一つを、前記各合焦画像の合焦評価値、前記各合焦画像のブレの程度を表すブレ評価値、及び前記各合焦画像における光源の映り込みの程度を表す映込評価値のうち少なくとも一つに基づき最良画像として選択する最良画像選択部をさらに備える請求項1~7のいずれか1項に記載の毛細血管撮像システム。
- 前記合焦画像に基づいて、前記生物の健康状態を評価する健康状態評価部をさらに備える請求項1~11のいずれか1項に記載の毛細血管撮像システム。
- 前記最良画像に基づいて、前記生物の健康状態を評価する健康状態評価部をさらに備える請求項8~11のいずれか1項に記載の毛細血管撮像システム。
- 前記撮像部は、前記複数の画像を動画の各フレームとして撮像する請求項1~13のいずれか1項に記載の毛細血管撮像システム。
- 前記合焦評価値算出部は、前記撮像部によって前記画像が撮像される都度、前記合焦評価値を算出し、
前記合焦画像選択部は、前記合焦評価値が算出される都度、前記画像の選択を実行する請求項1~14のいずれか1項に記載の毛細血管撮像システム。 - 前記撮像部をさらに備える請求項1~15のいずれか1項に記載の毛細血管撮像システム。
- 生物の毛細血管の画像である複数の合焦画像の入力を受け付ける合焦画像受付部と、
前記複数の合焦画像のうち一つを、前記各合焦画像の合焦の程度を数値化して示す合焦評価値、前記各合焦画像のブレの程度を表すブレ評価値、及び前記各合焦画像における光源の映り込みの程度を表す映込評価値のうち少なくとも一つに基づき最良画像として選択する最良画像選択部とを備える毛細血管撮像システム用サーバ装置。 - コンピュータを、請求項1~15のいずれか1項に記載の毛細血管撮像システムとして機能させる毛細血管撮像プログラム。
- コンピュータを、請求項17に記載の毛細血管撮像システム用サーバ装置として機能させる毛細血管撮像プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-023939 | 2022-02-18 | ||
JP2022023939A JP2023120845A (ja) | 2022-02-18 | 2022-02-18 | 毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023157567A1 true WO2023157567A1 (ja) | 2023-08-24 |
Family
ID=87578272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/001871 WO2023157567A1 (ja) | 2022-02-18 | 2023-01-23 | 毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023120845A (ja) |
WO (1) | WO2023157567A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174534A (ja) * | 2005-12-26 | 2007-07-05 | Casio Comput Co Ltd | 撮影装置及びプログラム |
JP2008276115A (ja) * | 2007-05-07 | 2008-11-13 | Olympus Imaging Corp | デジタルカメラ及びフォーカス制御プログラム |
JP2009089348A (ja) * | 2007-09-11 | 2009-04-23 | Ricoh Co Ltd | 電子機器および撮像装置並びに再生装置 |
JP2012099888A (ja) * | 2010-10-29 | 2012-05-24 | Canon Inc | フォーカス表示制御可能な撮影装置 |
JP2018187112A (ja) * | 2017-05-08 | 2018-11-29 | あっと株式会社 | 毛細血管の遠隔評価用複合サーバ装置および毛細血管の評価プログラム |
JP2020086152A (ja) * | 2018-11-27 | 2020-06-04 | オムロン株式会社 | 検査システム、検査方法およびプログラム |
-
2022
- 2022-02-18 JP JP2022023939A patent/JP2023120845A/ja active Pending
-
2023
- 2023-01-23 WO PCT/JP2023/001871 patent/WO2023157567A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174534A (ja) * | 2005-12-26 | 2007-07-05 | Casio Comput Co Ltd | 撮影装置及びプログラム |
JP2008276115A (ja) * | 2007-05-07 | 2008-11-13 | Olympus Imaging Corp | デジタルカメラ及びフォーカス制御プログラム |
JP2009089348A (ja) * | 2007-09-11 | 2009-04-23 | Ricoh Co Ltd | 電子機器および撮像装置並びに再生装置 |
JP2012099888A (ja) * | 2010-10-29 | 2012-05-24 | Canon Inc | フォーカス表示制御可能な撮影装置 |
JP2018187112A (ja) * | 2017-05-08 | 2018-11-29 | あっと株式会社 | 毛細血管の遠隔評価用複合サーバ装置および毛細血管の評価プログラム |
JP2020086152A (ja) * | 2018-11-27 | 2020-06-04 | オムロン株式会社 | 検査システム、検査方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023120845A (ja) | 2023-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4582423B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
KR100875939B1 (ko) | 촬상장치 및 그 제어 방법 | |
JP4678603B2 (ja) | 撮像装置及び撮像方法 | |
JP5789091B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP6137921B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20120120305A1 (en) | Imaging apparatus, program, and focus control method | |
JP2004181233A (ja) | 画像中の重要領域決定方法及びプログラム | |
JP2004180298A (ja) | アイモニタリング機能を備えるカメラシステム | |
JP2009100935A (ja) | 撮影装置および内視鏡システム | |
JP5171468B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
JP5144724B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
JP5063480B2 (ja) | オートフォーカス機構付き撮像システム及びその調整方法 | |
JP2009284056A (ja) | 画像処理装置および方法並びにプログラム | |
JP2009055125A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2010154306A (ja) | 撮像制御装置、撮像制御プログラム及び撮像制御方法 | |
JP2013022028A (ja) | 循環系診断システム | |
WO2023157567A1 (ja) | 毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラム | |
JP6501536B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5125774B2 (ja) | カメラ | |
JP5978620B2 (ja) | 撮像装置 | |
WO2013061939A1 (ja) | 内視鏡装置及びフォーカス制御方法 | |
JP2010066728A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2021105850A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2007108093A (ja) | 被写体までの距離を測定する装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23756095 Country of ref document: EP Kind code of ref document: A1 |