WO2018186363A1 - 計測器装着支援装置と計測器装着支援方法 - Google Patents

計測器装着支援装置と計測器装着支援方法 Download PDF

Info

Publication number
WO2018186363A1
WO2018186363A1 PCT/JP2018/014158 JP2018014158W WO2018186363A1 WO 2018186363 A1 WO2018186363 A1 WO 2018186363A1 JP 2018014158 W JP2018014158 W JP 2018014158W WO 2018186363 A1 WO2018186363 A1 WO 2018186363A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coordinates
imaging
coordinate
subject
Prior art date
Application number
PCT/JP2018/014158
Other languages
English (en)
French (fr)
Inventor
拓之 川口
山田　亨
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to JP2019511239A priority Critical patent/JP6872817B2/ja
Priority to CN201880023064.XA priority patent/CN110520056B/zh
Priority to US16/500,664 priority patent/US11399778B2/en
Publication of WO2018186363A1 publication Critical patent/WO2018186363A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A61B5/0079—Devices for viewing the surface of the body, e.g. camera, magnifying lens using mirrors, i.e. for self-examination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0406—Constructional details of apparatus specially shaped apparatus housings
    • A61B2560/0425—Ergonomically shaped housings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to an apparatus and method for supporting the mounting of a measuring instrument that acquires biological information on a subject.
  • ⁇ Functional near infrared spectroscopy is known as a method for observing brain activity by non-invasive means.
  • ⁇ NIRS ⁇ Functional near infrared spectroscopy
  • Patent Documents 1 and 2 a support system or the like has been devised when a subject mounts a holder equipped with a probe on the head.
  • JP 2009-261588 A Japanese Patent Laying-Open No. 2015-77331
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide an apparatus and a method for assisting in easily and accurately mounting a measuring instrument such as a probe at a specified position on a subject.
  • the present invention provides a coordinate detection means for detecting the coordinates of a predetermined feature point from an image obtained by imaging a subject, and the coordinates of the feature point in a model image by the detection.
  • a conversion parameter calculation means for calculating a projection conversion parameter for conversion to the obtained coordinates, a designation means for designating a position of a measuring instrument to be attached to the subject in the model image, and designation using the designation means
  • a measuring instrument mounting support device including coordinate conversion means for converting position coordinates using projection conversion parameters, and display means for displaying coordinates obtained by the conversion by the coordinate conversion means on an image obtained by imaging.
  • the present invention provides a coordinate detection unit that detects coordinates of a predetermined feature point from an image obtained by imaging the appearance of a subject, and a brain surface shape image of the subject.
  • Conversion parameter calculation means for calculating projection conversion parameters for converting the coordinates of the feature points into the coordinates obtained by the detection, and using the projection conversion parameters, an image obtained by imaging and a brain surface shape image
  • a measuring instrument mounting support apparatus provided with an image synthesis means for obtaining a corresponding point between the two and superimposing the corresponding points to synthesize the brain surface shape image and the image obtained by the imaging.
  • the present invention provides a first step of detecting coordinates of a predetermined feature point from an image obtained by imaging a subject, and coordinates of the feature point in a model image.
  • a second step of calculating a projection conversion parameter for converting to the coordinates obtained by the detection, and a position coordinate of a measuring instrument attached to the subject specified in the model image, using the projection conversion parameter There is provided a measuring instrument mounting support method including a third step of converting and displaying the converted coordinates on an image obtained by imaging.
  • a measuring instrument such as a probe can be easily and accurately mounted at a specified position on the subject.
  • FIG. 3 is a flowchart illustrating a method for automatically detecting feature points shown in FIG. 2.
  • FIG. 2 shows the structural example of the measuring device mounting assistance apparatus which concerns on Embodiment 1 of this invention.
  • FIG. 3 shows the production method of the model image shown by FIG. 3.
  • FIG. 2 shows the other structural example of the measuring device mounting assistance apparatus which concerns on Embodiment 1 of this invention.
  • FIG. 3 shows the further another structural example of the measuring device mounting assistance apparatus which concerns on Embodiment 1 of this invention.
  • FIG. 2 shows the structural example of the measuring device mounting assistance apparatus which concerns on Embodiment 2 of this invention.
  • the measuring instrument mounting support apparatus does not use a dedicated marker but uses a feature point on the form of the subject's head as a reference marker. That is, the feature points are automatically detected from an image obtained by imaging the head of the subject. Furthermore, this function is executed for moving image images, and the reference marker is detected in real time. Thereafter, the apparatus obtains projection conversion parameters for matching the reference point of the model image with the reference marker detected by imaging the head of the subject, and the mounting position of the measuring instrument set on the model image is determined. Then, the image is projected on the moving image using the obtained parameters. As described above, the present apparatus supports the mounting of the measuring instrument to the correct position by the subject by realizing the real-time display on the moving image of the position where the measuring instrument should be mounted. In the following, the apparatus will be described in more detail.
  • FIG. 1 is a block diagram showing a configuration example of a measuring instrument mounting support apparatus according to Embodiment 1 of the present invention.
  • the instrument mounting support apparatus 1 according to the first embodiment of the present invention includes an input terminal 2, a bus 3 connected to the input terminal 2, and coordinate detection connected to the bus 3 respectively.
  • 4 includes a conversion unit 4, a conversion parameter calculation unit 5, a coordinate conversion unit 6, a designation unit 7, and a display unit 8.
  • FIG. 2 is a flowchart showing the instrument mounting support method according to the embodiment of the present invention.
  • the present method is realized using the measuring instrument mounting support apparatus 1 shown in FIG. 1 will be described.
  • the present method may be executed using other means. Needless to say, it is not limited to the case where 1 is used.
  • step S1 the coordinate detection unit 4 detects the coordinates of predetermined feature points from an image obtained by imaging a subject such as a patient.
  • step S2 the conversion parameter calculation unit 5 calculates a projection conversion parameter for converting the coordinates of the feature points in the model image into the coordinates obtained by the detection.
  • step S3 the coordinate conversion unit 6 converts the position coordinates of the measuring instrument attached to the subject specified in the model image using the specifying unit 7 by the user using the projection conversion parameter.
  • the display unit 8 displays the converted coordinates on the image obtained by the imaging.
  • FIG. 3 is a flowchart showing a specific example of the measuring instrument mounting support method shown in FIG. In the following, an outline of this example will be described with reference to FIG.
  • a database of face images (face image DB) and a database of 3D anatomical images (3D anatomical image DB) are prepared in advance. Then, as pre-processing, a face image is read from the face image DB in step S10, and a feature point position prediction model is created in step S11.
  • the measuring instrument mounting support apparatus 1 acquires a two-dimensional face image from the outside via the input / output terminal 2 in step S1.
  • the instrument mounting support apparatus 1 may further include an imaging unit, and the two-dimensional face image captured by the imaging unit may be stored in a storage unit (not shown).
  • step S2 the coordinate detection unit 4 detects the feature point p ′ i from the two-dimensional face image acquired in step S1, using the prediction model created in step S11.
  • the conversion parameter calculation unit 5 determines the feature point p i .
  • a coordinate conversion function f to be converted to the feature point p ′ i is estimated.
  • the probe mounting position r on the scalp in the three-dimensional model is determined in step S23.
  • step S4 the coordinate conversion unit 6 calculates the probe mounting position r ′ on the two-dimensional image corresponding to the probe mounting position r using the coordinate conversion function (conversion parameter) estimated in step S3. .
  • step S5 the display unit 8 displays the probe mounting position r ′ calculated in step S4 so as to overlap the two-dimensional video image. Note that the procedure of steps S1 to S5 shown in FIG. 3 as described above is executed in real time.
  • the feature point (reference marker) on the form is automatically detected from the two-dimensional image of the subject's head using FIGS. Will be described in detail as an example.
  • FIG. 4 is a flowchart showing a method for creating the prediction model shown in step S11 of FIG.
  • a method for creating the prediction model will be described in detail with reference to FIG.
  • ⁇ On the face images of many people, for example, the coordinates of feature points such as nasal roots, pinna, and corners of the eyes are specified, and teacher data is created. Then, machine learning is executed using the created teacher data, and a prediction model composed of mathematical formulas is constructed.
  • step S1 the coordinates p (n) (hereinafter referred to as “feature point coordinates”) of m anatomical feature points in each of n digital images (face images) showing a human face. Data ”) is extracted and normalized in step S2.
  • the normalized feature point coordinate data s n as shown for example, in the following equation (1), right center, left center, lips right edge coordinates in the two-dimensional space of the feature points, such as the lips left ( x i , y i ) are arranged in a predetermined order, and such a format is common to all feature point coordinate data.
  • step S3 an average coordinate s 0 that is an average of all the feature point coordinate data and a coefficient (displacement) vector v i are calculated.
  • the displacement vector v i is obtained, for example, by principal component analysis for the data matrix X expressed by the following equation (2). Note that i indicates the number of displacement vectors.
  • step S4 a shape model including all feature point coordinate data s represented by the following equation (3) using the displacement amount a i is acquired.
  • the vector V is a vector generated from the displacement vector v i
  • the matrix a is a matrix generated from the displacement amount a i .
  • step S5 first, the luminance profile g m, n in the peripheral pixels of each feature point is acquired.
  • This luminance profile is obtained by, for example, obtaining a luminance value of (3x3) pixels centered on a certain feature point of the face image, and normalizing so that the maximum value is 1 and the minimum value is 0.
  • the normalized luminance value of (3x3) pixels is, for example, (x-1, y-1), (x, y-1), (x + 1, y-1), (x-1, y), One dimension that can be arranged in a fixed order (x, y), (x + 1, y), (x-1, y + 1), (x, y + 1), (x + 1, y + 1) It is assumed to be a vector.
  • the covariance matrix G indicates variation, and is, for example, a variance covariance matrix created from a data string (g m, 0 , g m, 1 ,..., G m, n ).
  • step S6 a profile model composed of m averages g 0, m and covariance matrix G m calculated by the above method is acquired.
  • FIG. 5 is a flowchart showing a method for automatically detecting the coordinates of the feature point (reference marker) in step S2 of FIG.
  • a method for automatically detecting the reference marker by the coordinate detection unit 4 will be described in detail with reference to FIG.
  • step S1 the coordinate detection unit 4 inputs a face image via the input / output terminal 2 and the bus 3. 1 may be stored in advance in a storage unit connected to the bus 3 (not shown in FIG. 1), and the face image may be input to the coordinate detection unit 4 via the bus 3.
  • step S2 the coordinate detection unit 4 detects a face area in each input image.
  • the face area means an area including the entire face defined by a rectangle or the like.
  • the coordinate detection unit 4 detects a face area in each input image.
  • the face area means an area including the entire face defined by a rectangle or the like.
  • step S3 the coordinate detection unit 4 initially arranges the shape model in the face area detected in step S2.
  • the face direction can be specified, so the shape model has the center of the average coordinate s 0 in the model as the center of the face area ⁇ . It is arranged to match.
  • step S4 the coordinate detection unit 4 provides a search region in the vicinity of each of the coordinates p ′ i of the m feature points, and a pixel (point) having a profile that most closely matches the profile model in each search region.
  • the search area is, for example, a (5 ⁇ 5) rectangle.
  • the profile similarity measure f p is expressed as follows using the luminance profile g ′ m, i of each point in the search region.
  • step S5 the coordinate detection unit 4 updates the coordinate p ′ i of the feature point to a coordinate that minimizes the scale f p in each search region. After updating the coordinates of all the feature points in this way, in step S6, the coordinate detection unit 4 checks the suitability between the face area image detected in step S2 and the shape model.
  • step S7 the process proceeds to step S7, and the coordinate detection unit 4 outputs the coordinate p ′ i as a feature point, and if not, the process proceeds to step S8. Then, the coordinate detection unit 4 outputs data indicating that the coordinates p ′ i as the feature points cannot be estimated and cannot be detected.
  • the transformation parameter calculation unit 5 estimates the coordinate transformation function f by calculating the projection transformation parameter in step S3 illustrated in FIG. 3 .
  • the feature point detected in step S2 shown in FIG. 3 is a two-dimensional reference marker
  • the model image is a three-dimensional anatomical image of the subject.
  • a three-dimensional anatomical image of the subject's head is acquired as a magnetic resonance image (MRI).
  • the main image may be any image that can easily identify the surface of the subject's brain or scalp.
  • An example is a T1-weighted image.
  • the user uses the designation unit 7 to set a virtual space coordinate system based on the luminance information of the MRI, and to coordinate a plurality of anatomical reference points p i (X i , Y i , Z on the scalp surface). i ) is specified.
  • the designated reference point corresponds to the feature point recorded on the two-dimensional space described above with reference to FIG. 4 and is recorded in a predetermined order.
  • Any point x on the 3D head anatomical image can be projected on the coordinate x ′′ on the 2D image recorded by the video camera by the following equation (6).
  • s is an enlargement factor
  • A is a (2 ⁇ 3) matrix composed of the center coordinates of the projection plane and the focal length, and these are known parameters given as imaging conditions for a two-dimensional image.
  • R and t are a rotation matrix and a displacement vector, respectively, and have arbitraryness as projection transformation parameters.
  • the rotation matrix R is obtained by matching the projection p ′′ i of the feature point group in the three-dimensional virtual space with the feature point group p ′ i detected in the same image space so as to best match the feature point group p ′ i.
  • the displacement vector t can be uniquely determined.
  • Equation (6) linear programming can be used to determine the rotation matrix R and the displacement vector t.
  • step S4 shown in FIG. 3 the coordinate conversion unit 6 converts the position coordinates of the mounted measuring instrument using equation (6) using the calculated projection conversion parameters, and shown in FIG. A method for displaying the converted position coordinates in step S5 will be specifically described.
  • the probe mounting position is two-dimensionally projected and displayed on a moving image.
  • the user on the basis of the luminance information from the three-dimensional head anatomical image, specify the center coordinates r b brain area to be a measurement target using a designation unit 7, the coordinate transformation unit 6, for example, it strikes directly above the
  • the position where the probe is to be worn, that is, the coordinate r ′ on the two-dimensional video image is calculated using the following equation (7) with the coordinate r of the scalp position as a reference.
  • the display unit 8 displays the position of the coordinate r ′ calculated using the equation (7) so as to be superimposed on the two-dimensional video image.
  • the coordinate r s of the point on the scalp having the shortest Euclidean distance from the center coordinate r b is calculated. Then, the coordinate r s calculated by such a method is set as the coordinate r of the scalp position, and the probe may be mounted so that this point is the center of the probe irradiation point and the detection point.
  • the probe is mounted even when the subject's head or the photographer moves when monitoring the two-dimensional moving image of the subject's head.
  • the power position can be confirmed in real time on the two-dimensional moving image.
  • the measuring instrument mounting support method as described above represents the procedure of the measuring instrument mounting support apparatus 20 as shown in FIG. 6 after the procedure shown in FIGS. 2 to 5 is expressed by a computer-executable program. It can also be realized by storing this program in the memory 22 and causing the CPU 21 to execute it.
  • the instrument mounting support method can be realized by a measuring instrument mounting support apparatus as shown in FIG. 7 includes a personal computer (PC) 30 and a portable terminal 40 that are both connected to the network 100 via the Internet lines 101 and 102.
  • PC personal computer
  • portable terminal 40 that are both connected to the network 100 via the Internet lines 101 and 102.
  • the PC 30 includes an input / output terminal 2, a bus 3 connected to the input / output terminal 2 and the Internet line 101, an arithmetic unit 31, a storage unit 32, and an input unit 33 connected to the bus 3, respectively.
  • the portable terminal 40 includes a bus 3 connected to the Internet line 102, a calculation unit 41, a storage unit 42, a photographing unit 43, and a display unit 44 connected to the bus 3.
  • the PC 30 stores the head anatomical structure data acquired in advance by MRI in the storage unit 32 via the input / output terminal 2 or the Internet line 101 and the bus 3. Similarly, the PC 30 stores the face image and its feature points from the face image DB in the storage unit 32 via the input / output terminal 2 or the Internet line 101 and the bus 3. Then, the calculation unit 31 creates a prediction model using an image or the like stored in the storage unit 32.
  • the computing unit 31 When the user designates a plurality of feature points p i on the skin surface on the head anatomical structure data using the input unit 33 and further designates a brain tissue to be measured, the computing unit 31 The probe mounting position r on the skin surface immediately above the brain tissue is calculated. The prediction model created by the calculation unit 31 and the calculated probe mounting position r are transferred to the storage unit 42 of the portable terminal 40 via the Internet lines 101 and 102, the network 100, and the bus 3.
  • the calculation unit 41 is based on one frame in which the face of the subject is captured in the video video of the face obtained by photographing by the photographing unit 43 and the prediction model stored in the storage unit 42.
  • a feature point p ′ i on the video frame corresponding to the feature point p i set in the space is calculated.
  • the calculation unit 41 obtains a mapping function f for converting the feature point p i to the feature point p ′ i, and converts the probe mounting position r in the same space as the feature point p i to the position r ′ of the video frame coordinate system. To do. Then, the display unit 44 displays the position r ′ on the video frame.
  • the portable terminal 40 executes the above-described processing in real time, the user can check the probe mounting position on the scalp in the video moving image captured by the portable terminal 40 from various angles.
  • the probe mounting position can be accurately grasped three-dimensionally.
  • the portable terminal 40 shown in FIG. 7 performs parallel processing of imaging and display of moving images and arithmetic processing, such as a smartphone, a tablet computer shown in FIG. 8, and a computer having a head-mounted display. It is realized by what the user can carry.
  • the display unit 44 included in the portable terminal 40 includes, for example, a display 46 as shown in FIG. 8, but the imaging unit 43 is formed by cameras provided on the back side and the front side of the display. It is conceivable to configure.
  • one of the cameras provided on the back side and the front side is arbitrarily selected by the user.
  • the rear camera When the rear camera is selected, the operator holds the portable terminal 40 to image the head of the subject, and when the front camera 45 is selected, as shown in FIG. This is because two methods of using the subject himself / herself to image his / her head can be realized with one portable terminal 40.
  • the calculation unit 41 included in the portable terminal 40 causes the image captured by the camera to be inverted with respect to the vertical axis and displayed on the display.
  • the subject can see his / her head like a mirror as shown in FIG. 8, it is easy to intuitively grasp the position Pr where the probe Pb should be mounted on the head. become.
  • the operator holds the portable terminal 40 with one hand, images the head of the subject from various angles while viewing the display 46, and the other hand. It is also possible to adjust the position Pr where the probe Pb is to be mounted by a method of placing the probe Pb at a predetermined position.
  • the head table just above a desired brain region can be used without using a dedicated marker or a large-scale apparatus that has been necessary in the past. Support for attaching the probe with high accuracy can be easily performed. In addition, since it is possible to mount the probe with such high accuracy, it is not necessary to mount a large number of probes.
  • FIG. 9 is a block diagram showing a configuration example of the measuring instrument mounting support apparatus according to Embodiment 2 of the present invention.
  • the instrument mounting support apparatus 10 includes an input / output terminal 2, a bus 3 connected to the input / output terminal 2, a coordinate detection unit 4 and a conversion parameter calculation unit connected to the bus 3, respectively. 12 and an image composition unit 13.
  • the instrument mounting support apparatus 10 performs the same operation as the instrument mounting support apparatus according to the first embodiment, the description of the common points is omitted, and the difference will be described below.
  • the conversion parameter calculation unit 12 displays projection conversion parameters for converting the coordinates of feature points in the brain surface shape image of the subject acquired in advance by MRI or the like into coordinates obtained by detection by the coordinate detection unit 4. 1 is calculated by a method similar to the measuring instrument mounting support method executed by the conversion parameter calculation unit 5 shown in FIG.
  • the image composition unit 13 obtains corresponding points between the captured image and the brain surface shape image using the projection conversion parameters calculated by the conversion parameter calculation unit 12, and superimposes the corresponding points on the brain.
  • the surface shape image and the captured image are combined.
  • the brain surface shape image and the captured image are acquired from the outside of the measuring instrument mounting support apparatus 10 via the input / output terminal 2.
  • an imaging unit and a storage unit may be further provided inside the measuring instrument mounting support apparatus 10, and the image captured by the imaging unit may be stored in the storage unit.
  • the instrument mounting support apparatus 10 According to the instrument mounting support apparatus 10 according to the second embodiment of the present invention as described above, a user who is imaged in real time by performing real-time processing in the same manner as the instrument mounting support apparatus according to the first embodiment. Therefore, the user can mount the probe while confirming the brain region without specifying the probe mounting position in advance.
  • the anatomical image includes, for example, a segment and a label for each brain region, a distribution image of a brain function activity signal based on a functional magnetic resonance image or an electroencephalograph, a probe position recorded at the previous measurement, etc.
  • Information may be displayed in an overlapping manner.
  • the probe shape may be displayed on the subject head image in the real space.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

被検体上の指定の位置にプローブ等の計測器を簡易かつ正確に装着させるよう支援する装置及び方法を提供することを課題とする。　本課題を解決するために、被検体を撮像することにより得られた画像から予め定めた特徴点の座標を検出する座標検出部４と、モデル画像における上記特徴点の座標を上記検出により得られた座標に変換するための投影変換パラメータを算出する変換パラメータ算出部５と、被検体に装着させる計測器の位置をモデル画像において指定するための指定部７と、指定部７を用いて指定された位置の座標を、投影変換パラメータを用いて変換する座標変換部６と、座標変換部６による変換により得られた座標を撮像により得られた画像に表示する表示部８を備えた計測器装着支援装置１を提供する。

Description

計測器装着支援装置と計測器装着支援方法
　本発明は、生体情報を取得する計測器の被検体への装着を支援する装置及び方法に関するものである。
　非侵襲的な手段により脳内活動を観測する方法として、機能的近赤外分光法（functional near infrared spectroscopy: fNIRS）が知られている。このfNIRSでは、観測対象とする所望の脳領域に対し、その直上にプローブを当てることが必要となる。このため、特許文献１や２に見られるように、被検体がプローブを備えたホルダを頭部に装着する際の支援システム等が考案されている。
特開２００９－２６１５８８号公報 特開２０１５－７７３３１号公報
　特許文献１に開示された技術では、被検体の頭部を計測毎に磁場ソースに対して固定した上で特徴点を電磁センサーで記録した後に、プローブの装着を行わなければならないため、被検体に対する拘束性が高いと共に、計測前の準備作業も煩雑であるという問題がある。
　また、特許文献２に開示された技術では、計測毎に光学マーカを被検体に装着させる必要があり、それに伴って、頭部の形状によらず光学マーカを安定的に固定するための装具が必要となる。こうした装具は、プローブやプローブを固定している固定具に影響を与えないよう設計されなければならず、試行錯誤を要することになる。また、本技術はあくまで光学マーカの位置の再現性を向上させようとするものに過ぎず、初めて計測する際の位置決めをどのように行うかという課題は解決されていない。
　本発明は、このような問題を解決するためになされたもので、被検体上の指定の位置にプローブ等の計測器を簡易かつ正確に装着させるよう支援する装置及び方法を提供することを目的とする。
　上記課題を解決するため、本発明は、被検体を撮像することにより得られた画像から予め定めた特徴点の座標を検出する座標検出手段と、モデル画像における上記特徴点の座標を上記検出により得られた座標に変換するための投影変換パラメータを算出する変換パラメータ算出手段と、被検体に装着させる計測器の位置をモデル画像において指定するための指定手段と、指定手段を用いて指定された位置の座標を、投影変換パラメータを用いて変換する座標変換手段と、座標変換手段による変換により得られた座標を撮像により得られた画像に表示する表示手段を備えた計測器装着支援装置を提供する。
　また、上記課題を解決するため、本発明は、被検体の外観を撮像することにより得られた画像から予め定めた特徴点の座標を検出する座標検出手段と、被検体の脳表面形状画像における上記特徴点の座標を上記検出により得られた座標に変換するための投影変換パラメータを算出する変換パラメータ算出手段と、投影変換パラメータを用いて、撮像により得られた画像と脳表面形状画像との間における対応点を求め、対応点同士を重ね合わせることによって脳表面形状画像と上記撮像により得られた画像を合成する画像合成手段を備えた計測器装着支援装置を提供する。
　また、上記課題を解決するため、本発明は、被検体を撮像することにより得られた画像から予め定めた特徴点の座標を検出する第一のステップと、モデル画像における上記特徴点の座標を上記検出により得られた座標に変換するための投影変換パラメータを算出する第二のステップと、モデル画像において指定された、被検体に装着される計測器の位置座標を、投影変換パラメータを用いて変換し、変換された座標を撮像により得られた画像に表示する第三のステップを含む計測器装着支援方法を提供する。
　本発明によれば、被検体上の指定の位置にプローブ等の計測器を簡易かつ正確に装着させることができる。
本発明の実施の形態１に係る計測器装着支援装置の構成例を示すブロック図である。 本発明の実施の形態に係る計測器装着支援方法を示すフローチャートである。 図２に示された計測器装着支援方法の具体例を示すフローチャートである。 図２に示されたモデル画像の作成方法を示すフローチャートである。 図２に示された特徴点の検出を自動的に行う方法を示すフローチャートである。 本発明の実施の形態１に係る計測器装着支援装置の他の構成例を示す図である。 本発明の実施の形態１に係る計測器装着支援装置のさらに他の構成例を示すブロック図である。 図７に示された可搬端末４０の具体例を示す図である。 本発明の実施の形態２に係る計測器装着支援装置の構成例を示すブロック図である。
　以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
［実施の形態１］
　本発明の実施の形態１に係る計測器装着支援装置は、専用のマーカを使用せず、被検体頭部の形態上の特徴点を基準マーカとして利用する。すなわち、上記特徴点は、被検体の頭部を撮像することにより得られた画像から自動検出される。さらに、この機能は動画映像を対象として実行され、実時間で基準マーカの検出が行われる。その後、本装置により、被検体の頭部を撮像することにより検出された基準マーカにモデル画像の基準点を一致させる投影変換のパラメータが求められ、モデル画像上に設定した計測器の装着位置が、求められたパラメータを用いて上記動画映像に投影される。このように、本装置は、計測器を装着すべき位置の動画上への実時間表示を実現することにより、上記被検体による当該計測器の正しい位置への装着を支援するものである。以下において、本装置をより詳しく説明する。
　図１は、本発明の実施の形態１に係る計測器装着支援装置の構成例を示すブロック図である。図１に示されるように、本発明の実施の形態１に係る計測器装着支援装置１は、入力端子２と、入力端子２に接続されたバス３と、それぞれバス３に接続された座標検出部４、変換パラメータ算出部５、座標変換部６、指定部７、及び表示部８を含む。
　図２は、本発明の実施の形態に係る計測器装着支援方法を示すフローチャートである。以下においては、図１に示された計測器装着支援装置１を用いて本方法を実現する場合を説明するが、本方法は他の手段を用いて実行されてもよく、計測器装着支援装置１を用いた場合に限られるものでないことは言うまでもない。
　最初に、ステップＳ１において、座標検出部４は患者等の被検体を撮像することにより得られた画像から予め定めた特徴点の座標を検出する。次に、ステップＳ２において、変換パラメータ算出部５は、モデル画像における上記特徴点の座標を上記検出により得られた座標に変換するための投影変換パラメータを算出する。次に、ステップＳ３において、座標変換部６は、ユーザにより指定部７を用いて上記モデル画像において指定された、被検体に装着される計測器の位置座標を、投影変換パラメータを用いて変換し、表示部８は変換された座標を上記撮像により得られた画像に表示する。
　図３は、図２に示された計測器装着支援方法の具体例を示すフローチャートである。以下においては、図３を参照しつつ、本具体例の概要を説明する。
　予め顔画像のデータベース（顔画像ＤＢ）と３次元解剖画像のデータベース（３Ｄ解剖画像ＤＢ）を用意する。そして、事前処理として、ステップＳ１０において顔画像ＤＢから顔画像を読み出し、ステップＳ１１において特徴点位置予測モデルを作成する。
　計測器装着支援装置１は、ステップＳ１において、入出力端子２を介して外部から２次元顔画像を取得する。なお、図示していないが、計測器装着支援装置１が撮像部をさらに備え、撮像部により撮像された２次元顔画像を、図示していない記憶部に保存するようにしてもよい。
　次に、ステップＳ２において、座標検出部４はステップＳ１で取得された２次元顔画像から、ステップＳ１１で作成された予測モデルを利用して特徴点p’iを検出する。
　一方、事前処理として、ステップＳ２０では３Ｄ解剖画像ＤＢから３次元モデルを読み出し、ステップＳ２１でユーザにより３次元モデルの特徴点piが設定されると、変換パラメータ算出部５は特徴点piを特徴点p’iに変換する座標変換関数ｆを推定する。
　そして、さらにユーザが、計測したい脳の部位を上記３次元モデル上において指定部７を用いて指定すると、ステップＳ２３において３次元モデルにおける頭皮へのプローブ装着位置rが決定される。
　これより、座標変換部６はステップＳ４において、ステップＳ３で推定された座標変換関数（変換パラメータ）を用いて、プローブ装着位置rに対応する２次元画像上でのプローブ装着位置r’を計算する。
　そして、表示部８はステップＳ５において、ステップＳ４において算出されたプローブ装着位置r’を２次元ビデオ画像に重ねて表示する。なお、以上のような図３に示されたステップＳ１～Ｓ５の手順は、リアルタイムに実行される。
　以下において、図３に示された計測器装着支援方法について詳述する。
　まず、図３のステップＳ２に示された特徴点の検出方法について、図４及び図５を用いて、被検体頭部の２次元画像から形態上の特徴点（基準マーカ）を自動検出する場合を例として詳しく説明する。
　図４は、図３のステップＳ１１に示された予測モデルを作成する方法を示すフローチャートである。以下においては、図４を参照しつつ、上記予測モデルを作成する方法を具体的に説明する。
　多数の人物の顔画像上で、例えば鼻根や耳介、目尻などの特徴点の座標が指定され、教師データが作成される。そして、作成された教師データを用いて機械学習を実行し、数式からなる予測モデルを構築する。
　より具体的には、ステップＳ１では、人の顔が写っているｎ個のデジタル画像（顔画像）の各々において、ｍ個の解剖学的特徴点の座標p(n)（以下「特徴点座標データ」という。）を抽出し、ステップＳ２において正規化する。
　なお、正規化された特徴点座標データｓｎは、例えば以下の式（１）に示されるように、右目中央、左目中央、口唇右端、口唇左端などといった特徴点の２次元空間上における座標（xi,yi）を、予め決められた順序で配置することにより作成され、このようなフォーマットは全ての特徴点座標データにおいて共通なものとされる。
Figure JPOXMLDOC01-appb-M000001
　次に、ステップＳ３において、全特徴点座標データの平均となる平均座標s0と、係数（変位）ベクトルviを算出する。ここで、変位ベクトルviは、例えば以下の式（２）で示されるデータ行列Ｘに対する主成分分析によって求められる。なお、iは変位ベクトルの数を示す。
Figure JPOXMLDOC01-appb-M000002
　次に、ステップＳ４において、変位量aiを用いた次式（３）で示される全特徴点座標データsからなる形状モデルを取得する。
Figure JPOXMLDOC01-appb-M000003
　上式（３）において、ベクトルVは変位ベクトルviから生成されるベクトルであり、行列aは変位量aiから生成される行列とされる。
　一方、ステップＳ５では、最初に、各特徴点の周辺画素における輝度プロファイルgm,nを取得する。この輝度プロファイルは、例えば、顔画像のある特徴点を中心とした(3x3)ピクセルの輝度値を取得し、この中の最大値が１で最小値が０となるように規格化した上で、(3x3)ピクセルの規格化された輝度値を、例えば(x-1,y-1),(x,y-1),(x+1,y-1),(x-1,y),(x,y),(x+1,y),(x-1,y+1),(x,y+1),(x+1,y+1)という決まった順序で並べてできる１次元ベクトルとされる。
　次に、各特徴点について、その周辺の輝度プロファイルの平均g0と共分散行列Gを算出する。ここで、共分散行列Gはばらつきを示すものであり、例えば、データ列(gm,0, gm,1, … , gm,n)より作成された分散共分散行列とされる。
　このようにして、ステップＳ６では、以上の方法で算出されたm個の平均g0,m及び共分散行列Gmからなるプロファイルモデルが取得される。
　図５は、図３のステップＳ２における特徴点（基準マーカ）の座標検出を自動的に行う方法を示すフローチャートである。以下において、図５を参照しつつ、座標検出部４が基準マーカを自動検出する方法を具体的に説明する。
　ステップＳ１では、座標検出部４は入出力端子２及びバス３を介して顔画像を入力する。なお、図１には図示していないバス３に接続された記憶部に予め顔画像を格納しておき、この顔画像をバス３経由で座標検出部４に入力されるようにしてもよい。
　次に、ステップＳ２では、座標検出部４は、入力された各画像において顔領域を検出する。ここで、顔領域とは長方形などで規定される顔全域を含む領域を意味する。この顔領域Φを検出するには、ハールライク(Harr-like)特徴などを用いる手法がある。
　次に、ステップＳ３では、座標検出部４は、形状モデルをステップＳ２で検出された顔領域に初期配置する。この初期配置においては、例えば顔領域の検出にHarr-like特徴を用いた場合、顔の方向は特定できているため、形状モデルは当該モデル中の平均座標s0の重心が顔領域Φの中心と合致するよう配置される。なお、本初期配置により、上記の特徴点（基準マーカ）に相当する解剖学的なランドマーク群の初期座標p’i=0が決まることになる。
　次に、ステップＳ４では、座標検出部４は、m個の特徴点の座標p’iそれぞれの近傍に探索領域を設け、各探索領域内でプロファイルモデルに最も一致するプロファイルを有する画素（点）を探索する。なお、探索領域は例えば(5x5)の長方形などとされる。
　ここで、プロファイルの類似性の尺度fpは、探索領域内の各点の輝度プロファイルg’m,iを用いて次式のように示される。
Figure JPOXMLDOC01-appb-M000004
　そして、ステップＳ５において、座標検出部４は、特徴点の座標p’iを各探索領域内で尺度fpが最小となる座標に更新する。このようにして全ての特徴点の座標を更新した後、ステップＳ６において座標検出部４は、ステップＳ２において検出された顔領域の画像と形状モデルとの適合性を検査する。
　このとき、次式（５）で算出される尺度fsが一定値より小さければステップＳ７へ進み、座標検出部４は座標p’iを特徴点として出力すると共に、そうでなければステップＳ８へ進み、座標検出部４は、特徴点としての座標p’iを推定できず検出不能であることを示すデータを出力する。
Figure JPOXMLDOC01-appb-M000005
　以下では、図３に示されたステップＳ３において、変換パラメータ算出部５が投影変換パラメータを算出することにより座標変換関数ｆを推定する方法を具体的に説明する。なお、ここでは一例として、図３に示されたステップＳ２で検出された特徴点は２次元の基準マーカであり、モデル画像は被検体の３次元解剖学的画像である場合を説明する。
　まず、被検体の頭部の３次元解剖学的画像を磁気共鳴画像（ＭＲＩ）で取得する。本画像は被検体の脳や頭皮の表面を容易に識別できるものであればよく、一例としてＴ１強調画像が挙げられる。そして、ユーザは指定部７を用いて、ＭＲＩの輝度情報を基に仮想空間座標系を設定し、頭皮表面にある複数の解剖学的な基準点の座標pi(Xi,Yi,Zi)を指定する。
　なお、この指定された基準点は、上記において図４を参照しつつ説明された２次元空間上で記録された特徴点に相当するものであり、予め決められた順序で記録される。
　３次元頭部解剖学的画像上の任意の点xは、次式（６）によりビデオカメラで記録された２次元画像上の座標x”に投影することができる。
Figure JPOXMLDOC01-appb-M000006
　ここで、sは拡大率、Aは投影面の中心座標と焦点距離で構成される(2x3)の行列であり、これらは２次元画像の撮像条件として与えられる既知なパラメータである。一方、R及びtは、それぞれ回転行列と変位ベクトルであり、投影変換パラメータとして任意性を持つ。しかし、３次元仮想空間の特徴点群の投影p”iが同画像空間で検出した特徴点群p’iに最もよく一致するように、この２次元画像内で照合させることにより、回転行列R及び変位ベクトルtを一意に決定することが可能である。
　そのように決定された回転行列R及び変位ベクトルtを用いれば、式（６）を用いて仮想空間上の任意の点xは現実空間の２次元座標上の点x”に投影できる。なお、回転行列R及び変位ベクトルtの決定には、例えば線形計画法を用いることができる。
　次に、図３に示されたステップＳ４において、座標変換部６が、算出された投影変換パラメータを用いて、装着された計測器の位置座標を式（６）により変換し、図３に示されたステップＳ５において、表示部８が変換された位置座標を表示する方法を具体的に説明する。なお、ここでは一例として、プローブの装着位置を動画映像に２次元投影して表示する場合を説明する。
　ユーザは、３次元頭部解剖学的画像からの輝度情報を基に、指定部７を用いて測定対象にしたい脳領域の中心座標rbを指定し、座標変換部６は、例えばその直上に当たる頭皮位置の座標rを基準として次式（７）を用いて、プローブを装着すべき位置、すなわち２次元ビデオ画像上の座標r’を算出する。
Figure JPOXMLDOC01-appb-M000007
　そして、表示部８は、式（７）を用いて算出された座標r’の位置を当該２次元ビデオ画像に重ね合わせて表示する。
　なお、脳の表面は凹凸があるので、単純に中心座標rbにおける法線が直上の点を通るとは限らない。そこで、中心座標rbからユークリッド距離が最短となる頭皮上の点の座標rsを算出する。そして、このような方法で算出された座標rsを上記頭皮位置の座標rとして、この点がプローブの照射点と検出点の中心となるようにプローブを装着すれば良いことになる。
　以上のような一連の処理を動画に対して実時間で実行すれば、被検体頭部の２次元動画像をモニターするに際して被検体の頭部や撮影者が動いていても、プローブを装着すべき位置を２次元動画像上でリアルタイムに確認することができる。
　なお、以上のような計測器装着支援方法は、図２から図５に示された手順をコンピュータで実行可能なプログラムで表した上で、図６に示されるような計測器装着支援装置２０のメモリ２２に本プログラムを格納してＣＰＵ２１に実行させることによっても実現することができる。
　また、上記計測器装着支援方法は、図７に示されるような計測器装着支援装置によっても実現できる。ここで、図７に示された計測器装着支援装置は、共にインターネット回線１０１，１０２を介してネットワーク１００に接続されたパーソナルコンピュータ（ＰＣ）３０及び可搬端末４０から構成される。
　ここで、ＰＣ３０は入出力端子２と、入出力端子２及びインターネット回線１０１に接続されたバス３と、それぞれバス３に接続された演算部３１、記憶部３２、及び入力部３３を備える。また、可搬端末４０は、インターネット回線１０２に接続されたバス３と、それぞれバス３に接続された演算部４１、記憶部４２、撮影部４３、及び表示部４４を備える。以下において、このような構成を有する計測器装着支援装置の動作を説明する。
　まず、ＰＣ３０は、事前にＭＲＩにより取得された頭部解剖学的構造データを入出力端子２又はインターネット回線１０１、及びバス３を介して記憶部３２に保存する。また同様に、ＰＣ３０は、顔画像ＤＢから顔画像とその特徴点を入出力端子２又はインターネット回線１０１、及びバス３を介して記憶部３２に保存する。そして、演算部３１は、記憶部３２に保存された画像等を用いて予測モデルを作成する。
　次に、ユーザが入力部３３を用いて頭部解剖学的構造データ上の皮膚表面に複数の特徴点piを指定し、さらに、計測対象とする脳組織を指定すると、演算部３１は上記脳組織の直上の皮膚表面のプローブ装着位置rを計算する。そして、演算部３１で作成された予測モデルと算出されたプローブ装着位置rは、インターネット回線１０１，１０２とネットワーク１００、及びバス３を介して可搬端末４０の記憶部４２に転送される。
　可搬端末４０では、演算部４１が、撮影部４３による撮影により得られた顔のビデオ動画で被検体の顔が写っている１フレームと記憶部４２に格納された予測モデルに基づいて、仮想空間で設定した特徴点piに対応するビデオフレーム上の特徴点p’iを計算する。
　さらに、演算部４１は、特徴点piを特徴点p’iに変換する写像関数ｆを求め、特徴点piと同一空間にあるプローブ装着位置rをビデオフレーム座標系の位置r’に変換する。そして、表示部４４は、ビデオフレームに位置r’を表示する。
　これにより、可搬端末４０が上記処理をリアルタイムに実行することで、ユーザは可搬端末４０によって様々な角度から撮影されたビデオ動画において頭皮上のプローブ装着位置を確認できるため、被検体頭部におけるプローブ装着位置を３次元的に正確に把握することができる。
　なお、図７に示された可搬端末４０は、スマートフォンの他、図８に示されたタブレット型コンピュータ、ヘッドマウント型ディスプレイを有したコンピュータなど、動画の撮像や表示、及び演算処理を並列処理することができ、ユーザが携帯できるものにより実現される。
　ここで、可搬端末４０に含まれた表示部４４は、例えば図８に示されるようなディスプレイ４６により構成されるが、撮影部４３を上記ディスプレイの背面側及び正面側に備えられたカメラにより構成することが考えられる。
　この場合、上記背面側及び正面側に備えられたカメラは、ユーザにより一方が任意に選択されるようにすると良い。背面側のカメラが選択された場合には、オペレータが可搬端末４０を保持して被検体の頭部を撮像し、正面側のカメラ４５が選択された場合には、図８に示されるように被検体自身が自己の頭部を撮像するといった２通りの使い方を一台の可搬端末４０で実現できるためである。
そして、正面側のカメラが選択された場合には、可搬端末４０に含まれた演算部４１が、上記カメラで撮像された画像を垂直軸に対して画像反転させて上記ディスプレイに表示させることにより、当該被検体は、図８に示されるように、自己の頭部を鏡のように見ることができるため、プローブＰｂを頭部へ装着すべき位置Ｐｒを直感的に把握することが容易になる。
　一方、背面側のカメラが選択された場合には、例えば、オペレータは可搬端末４０を片手で持ち、ディスプレイ４６を視認しながら被検体の頭部を様々な角度から撮像しつつ、他方の手でプローブＰｂを所定の位置に置くといった方法でプローブＰｂを装着すべき位置Ｐｒを調整するということも可能になる。
　以上より、本発明の実施の形態に係る計測器装着支援装置や計測器装着支援方法によれば、従来必要だった専用マーカや大掛かりな装置を用いることなく、所望の脳領域直上の頭表に精度よくプローブを装着するための支援を簡便に行うことができる。また、このように精度の高いプローブの装着が実現できるため、多数のプローブを装着する必要もない。
［実施の形態２］
　図９は、本発明の実施の形態２に係る計測器装着支援装置の構成例を示すブロック図である。図９に示されるように、計測器装着支援装置１０は、入出力端子２と、入出力端子２に接続されたバス３と、それぞれバス３に接続された座標検出部４、変換パラメータ算出部１２、及び画像合成部１３とを備える。
　なお、計測器装着支援装置１０は、実施の形態１に係る計測器装着支援装置と同様な動作を行うことから、共通する点については説明を省略し、以下においては相違点について説明する。
　変換パラメータ算出部１２は、予めＭＲＩ等により取得された被検体の脳表面形状画像における特徴点の座標を、座標検出部４による検出により得られた座標に変換するための投影変換パラメータを、図１に示された変換パラメータ算出部５により実行される上記計測器装着支援方法と同様な方法により算出する。
　また、画像合成部１３は、変換パラメータ算出部１２により算出された投影変換パラメータを用いて、撮像画像と脳表面形状画像との間における対応点を求め、対応点同士を重ね合わせることによって上記脳表面形状画像と上記撮像画像を合成する。
　なお、上記脳表面形状画像と上記撮像画像は、入出力端子２を介して計測器装着支援装置１０の外部から取得される。ここで、撮像画像については、計測器装着支援装置１０の内部に撮像部及び記憶部をさらに備え、撮像部により撮像された画像を記憶部に保存するようにしてもよい。
　以上のような本発明の実施の形態２に係る計測器装着支援装置１０によれば、実施の形態１に係る計測器装着支援装置と同様にリアルタイム処理を行うことによって、リアルタイムに撮像されたユーザの頭部画像に脳表面形状画像を重ねて表示することができるため、ユーザは予めプローブ装着位置を指定せずとも、脳領域を確認しながらプローブを装着することができる。
　なお、上記において、解剖学的画像には、例えば脳の領域毎の区分やラベル、機能的磁気共鳴画像や脳波計などに基づく脳機能活動信号の分布画像、前回計測時に記録したプローブ位置等の情報を重ねて表示するようにしても良い。
　また、データベースに予めプローブの形状を登録しておき、プローブの位置を表示する代わりに、現実空間における被検体頭部画像にこのプローブ形状を表示しても良い。
１，１０，２０　計測器装着支援装置
４　座標検出部
５，１２　変換パラメータ算出部
６　座標変換部
７　指定部
８，４４　表示部
１３　画像合成部
２１　中央演算処理装置（ＣＰＵ）
２２　メモリ
３０　パーソナルコンピュータ（ＰＣ）
３１，４１　演算部
３２，４２　記憶部
３３　入力部
４０　可搬端末
４５　カメラ
４６　ディスプレイ

 

Claims (9)

  1. 　被検体を撮像することにより得られた画像から予め定めた特徴点の座標を検出する座標検出手段と、
    　モデル画像における前記特徴点の座標を前記検出により得られた座標に変換するための投影変換パラメータを算出する変換パラメータ算出手段と、
    　前記被検体に装着させる計測器の位置を前記モデル画像において指定するための指定手段と、
    　前記指定手段を用いて指定された前記位置の座標を、前記投影変換パラメータを用いて変換する座標変換手段と、
    　前記座標変換手段による変換により得られた座標を前記撮像により得られた画像に表示する表示手段を備えた計測器装着支援装置。
  2. 　前記撮像により得られた画像は動画像であり、
    　前記座標検出手段は、前記予め定めた特徴点の座標をリアルタイムに検出し、
    　前記変換パラメータ算出手段は、前記投影変換パラメータをリアルタイムに算出し、
    　前記座標変換手段は、前記指定手段を用いて指定された前記位置の座標を、リアルタイムに算出された前記投影変換パラメータを用いてリアルタイムに変換し、
    　前記表示手段は、前記座標変換手段による変換によりリアルタイムに得られた座標を、前記動画像にリアルタイムに表示する、請求項１に記載の計測器装着支援装置。
  3. 　前記被検体を撮像する撮像手段をさらに備え、
    前記表示手段は、前記撮像手段により撮像された前記動画像を、垂直軸に対して左右反転させて表示する、請求項２に記載の計測器装着支援装置。
  4. 　前記撮像により得られた画像は２次元画像であり、
    　前記モデル画像は３次元画像である、請求項１又は２に記載の計測器装着支援装置。
  5. 　被検体の外観を撮像することにより得られた画像から予め定めた特徴点の座標を検出する座標検出手段と、
    　前記被検体の脳表面形状画像における前記特徴点の座標を前記検出により得られた座標に変換するための投影変換パラメータを算出する変換パラメータ算出手段と、
    　前記投影変換パラメータを用いて、前記撮像により得られた画像と前記脳表面形状画像との間における対応点を求め、前記対応点同士を重ね合わせることによって前記脳表面形状画像と前記撮像により得られた画像を合成する画像合成手段を備えた計測器装着支援装置。
  6. 　被検体を撮像することにより得られた画像から予め定めた特徴点の座標を検出する第一のステップと、
    　モデル画像における前記特徴点の座標を前記検出により得られた座標に変換するための投影変換パラメータを算出する第二のステップと、
    　前記モデル画像において指定された、前記被検体に装着される計測器の位置座標を、前記投影変換パラメータを用いて変換し、変換された座標を前記撮像により得られた画像に表示する第三のステップを含む計測器装着支援方法。
  7. 　前記撮像により得られた画像は動画像であり、
    　前記第一のステップでは、前記予め定めた特徴点の座標をリアルタイムに検出し、
    　前記第二のステップでは、前記投影変換パラメータをリアルタイムに算出し、
    　前記第三のステップでは、リアルタイムに前記投影変換パラメータを用いた変換を行って、変換された座標を前記動画像にリアルタイムに表示する、請求項６に記載の計測器装着支援方法。
  8. 　前記第三のステップでは、前記撮像により得られた前記動画像を、垂直軸に対して左右反転させて表示する、請求項７に記載の計測器装着支援方法。
  9. 　前記撮像により得られた画像は２次元画像であり、
    　前記モデル画像は３次元画像である、請求項６又は７に記載の計測器装着支援方法。

     
PCT/JP2018/014158 2017-04-07 2018-04-02 計測器装着支援装置と計測器装着支援方法 WO2018186363A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019511239A JP6872817B2 (ja) 2017-04-07 2018-04-02 計測器装着支援装置と計測器装着支援方法
CN201880023064.XA CN110520056B (zh) 2017-04-07 2018-04-02 测量仪安装辅助装置和测量仪安装辅助方法
US16/500,664 US11399778B2 (en) 2017-04-07 2018-04-02 Measuring instrument attachment assist device and measuring instrument attachment assist method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017076815 2017-04-07
JP2017-076815 2017-04-07
JP2017184998 2017-09-26
JP2017-184998 2017-09-26

Publications (1)

Publication Number Publication Date
WO2018186363A1 true WO2018186363A1 (ja) 2018-10-11

Family

ID=63712504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014158 WO2018186363A1 (ja) 2017-04-07 2018-04-02 計測器装着支援装置と計測器装着支援方法

Country Status (4)

Country Link
US (1) US11399778B2 (ja)
JP (1) JP6872817B2 (ja)
CN (1) CN110520056B (ja)
WO (1) WO2018186363A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006320425A (ja) * 2005-05-17 2006-11-30 Osamu Hiwaki 磁気刺激における刺激部位の特定あるいはターゲッティングを行うための装置
JP2010502343A (ja) * 2006-09-11 2010-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 患者身体への電極配置システム及び方法
JP2014030621A (ja) * 2012-08-03 2014-02-20 Sony Corp 情報処理装置、プログラム及び生体信号測定セット
WO2014184904A1 (ja) * 2013-05-15 2014-11-20 株式会社島津製作所 ホルダ装着支援システム、ホルダ装着支援装置およびホルダ装着支援方法
JP2017038878A (ja) * 2015-08-21 2017-02-23 株式会社日立製作所 生体光計測装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08252227A (ja) * 1995-03-17 1996-10-01 Ono Taketoshi 立体形状の頭皮電位分布のカラー表示方法
JP2003088528A (ja) * 2001-09-18 2003-03-25 Hitachi Medical Corp 生体光計測装置
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP4585471B2 (ja) * 2006-03-07 2010-11-24 株式会社東芝 特徴点検出装置及びその方法
EP1881453A3 (en) * 2006-07-18 2009-07-22 Kabushiki Kaisha Toshiba A medical image-processing apparatus and a method for processing medical images
JP4876808B2 (ja) * 2006-09-14 2012-02-15 株式会社島津製作所 脳機能データ制御装置
CN101375805A (zh) * 2007-12-29 2009-03-04 清华大学深圳研究生院 一种计算机辅助引导电子内窥镜操作的方法和系统
JP4968167B2 (ja) 2008-04-24 2012-07-04 株式会社島津製作所 光生体測定装置及びそれに用いられるホルダ配置支援システム
EP2189945A1 (en) * 2008-11-21 2010-05-26 A&P ip B.V. Method of and arrangement for linking image coordinates to coordinates of reference model
CN101499132B (zh) * 2009-03-12 2013-05-01 广东药学院 一种人脸图像中特征点提取的三维变换搜索方法
WO2010129528A2 (en) * 2009-05-07 2010-11-11 J&M Shuler, Inc. Method and system for monitoring oxygenation levels of compartments and tissue
JP2010273021A (ja) * 2009-05-20 2010-12-02 Sony Corp 画像表示装置、画像表示方法
US8368771B2 (en) * 2009-12-21 2013-02-05 Olympus Imaging Corp. Generating a synthesized image from a plurality of images
EP2369551B1 (en) * 2010-03-25 2019-10-30 Emory University Imaging system and method
US9198624B2 (en) * 2010-07-06 2015-12-01 Hitachi Medical Corporation Biological photometric device and biological photometry method using same
JP6161004B2 (ja) * 2011-03-09 2017-07-12 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置
US20150103096A1 (en) * 2012-05-30 2015-04-16 Pioneer Corporation Display device, head mount display, calibration method, calibration program and recording medium
US8922788B2 (en) * 2012-12-22 2014-12-30 Covidien Lp Methods and systems for determining a probe-off condition in a medical device
AU2014237893B2 (en) * 2013-03-15 2018-11-08 Empi, Inc. Personalized image-based guidance for energy-based therapeutic devices
JP6079551B2 (ja) 2013-10-18 2017-02-15 株式会社島津製作所 ホルダ位置合わせ支援装置および脳機能計測装置
US9867561B2 (en) * 2014-01-27 2018-01-16 Covidien Lp Systems and methods for determining whether regional oximetry sensors are properly positioned
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
WO2016057553A1 (en) * 2014-10-07 2016-04-14 Masimo Corporation Modular physiological sensors
JP6591229B2 (ja) * 2015-08-11 2019-10-16 東芝エネルギーシステムズ株式会社 患者の位置決め装置、装置の作動方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006320425A (ja) * 2005-05-17 2006-11-30 Osamu Hiwaki 磁気刺激における刺激部位の特定あるいはターゲッティングを行うための装置
JP2010502343A (ja) * 2006-09-11 2010-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 患者身体への電極配置システム及び方法
JP2014030621A (ja) * 2012-08-03 2014-02-20 Sony Corp 情報処理装置、プログラム及び生体信号測定セット
WO2014184904A1 (ja) * 2013-05-15 2014-11-20 株式会社島津製作所 ホルダ装着支援システム、ホルダ装着支援装置およびホルダ装着支援方法
JP2017038878A (ja) * 2015-08-21 2017-02-23 株式会社日立製作所 生体光計測装置

Also Published As

Publication number Publication date
CN110520056A (zh) 2019-11-29
CN110520056B (zh) 2022-08-05
US20200196963A1 (en) 2020-06-25
JP6872817B2 (ja) 2021-05-19
US11399778B2 (en) 2022-08-02
JPWO2018186363A1 (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
US11253171B2 (en) System and method for patient positioning
US11468663B2 (en) Method for generating a customized/personalized head related transfer function
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
US10507002B2 (en) X-ray system and method for standing subject
TWI678181B (zh) 手術導引系統
US8577439B2 (en) System and method for positioning electrodes on a patient body
TWI496108B (zh) AR image processing apparatus and method
KR20120112119A (ko) 정보처리장치, 촬영 시스템 및 정보처리방법
KR20170143164A (ko) 3d 얼굴 모델링을 통한 피부 분석 진단 시스템
Shan et al. Augmented reality based brain tumor 3D visualization
JP2016007277A (ja) 手術支援装置および手術支援システム
JP2016202351A (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
CN111544035B (zh) 一种基于增强现实的超声辅助扫查系统及方法
KR100930594B1 (ko) 안면 영상 촬영장치 및 그의 안면 특징점 검출 방법
WO2018186363A1 (ja) 計測器装着支援装置と計測器装着支援方法
JP2009160281A (ja) 脳機能部位推定システム及び脳機能部位推定方法、頭皮形状測定支援装置及び頭皮形状測定支援方法、並びにコンピュータ・プログラム
JP5206516B2 (ja) 撮影補助装置、プログラムおよび撮影システム
CN113343879A (zh) 全景面部图像的制作方法、装置、电子设备及存储介质
TWI637353B (zh) 測量裝置及測量方法
WO2024195100A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP6358816B2 (ja) 医用画像診断装置およびそれに用いる画像処理方法
JP2024523447A (ja) Ｍｒｉシステムでの３ｄ位置決めデータの決定
JP2020135223A (ja) 情報処理装置、情報処理方法、プログラム
JP2014083204A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18781106

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019511239

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18781106

Country of ref document: EP

Kind code of ref document: A1