WO2015121957A1 - 触診支援装置、触診支援方法及び触診支援プログラム - Google Patents

触診支援装置、触診支援方法及び触診支援プログラム Download PDF

Info

Publication number
WO2015121957A1
WO2015121957A1 PCT/JP2014/053407 JP2014053407W WO2015121957A1 WO 2015121957 A1 WO2015121957 A1 WO 2015121957A1 JP 2014053407 W JP2014053407 W JP 2014053407W WO 2015121957 A1 WO2015121957 A1 WO 2015121957A1
Authority
WO
WIPO (PCT)
Prior art keywords
palpation
marker
coordinates
camera
pressure data
Prior art date
Application number
PCT/JP2014/053407
Other languages
English (en)
French (fr)
Inventor
シャオユウ ミイ
文彦 中澤
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2015562631A priority Critical patent/JP6481622B2/ja
Priority to PCT/JP2014/053407 priority patent/WO2015121957A1/ja
Publication of WO2015121957A1 publication Critical patent/WO2015121957A1/ja
Priority to US15/231,957 priority patent/US10716507B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4824—Touch or pain perception evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger

Definitions

  • the present invention relates to a palpation support apparatus, a palpation support method, and a palpation support program.
  • the diagnosis result depends greatly on the palpator. Therefore, conventionally, for example, in the palpation (abdominal examination) of the abdomen, it is known to detect and digitize the reaction force obtained by pressing the abdominal surface of the patient, that is, the abdominal force.
  • the above conventional technique only quantifies the abdominal force detected at the time of palpation (abdominal examination), and cannot determine at which position of the abdomen the digitized abdominal force is. That is, in the above-described conventional technology, the palpation process does not correspond to the detected numerical value. For this reason, the diagnosis result of palpation still depends on the skill of the palpator.
  • an object is to provide a palpation support apparatus, a palpation support method, and a palpation support program that can perform palpation independent of a palpator.
  • timing for acquiring pressure data output from a pressure sensor mounted at a position touching an affected area timing for acquiring position information of a marker mounted at a position associated with the pressure sensor
  • the storage unit in association with the synchronization controller that synchronizes the pressure data, the pressure data acquired at the synchronized timing, the position information of the marker, and the time information indicating the time when the pressure data and the position information were acquired.
  • a storage unit for storing is a storage unit for storing.
  • the above units may be a method for realizing the functions of the units and a computer-readable storage medium storing the program.
  • ⁇ Palpation can be performed without depending on the palpator.
  • FIG. 1 It is a figure which shows an example of the system configuration
  • FIG. 1 is a diagram illustrating an example of a system configuration of a palpation support system.
  • the palpation support system 100 includes a palpation support device 200 and an information processing device 300.
  • the palpation support apparatus 200 provides the information processing apparatus 300 as palpation result data obtained by digitizing the result of palpation performed on a patient.
  • the information processing apparatus 300 stores the result of analyzing the palpation result data as a database.
  • the palpation support apparatus 200 of this embodiment includes a camera 210, a trajectory detection unit 220, a pressure detection unit 230, and a palpation data processing unit 240.
  • each unit is connected and functions as one system.
  • the palpation assistance apparatus 200 of this embodiment may further provide a sound detection unit.
  • the palpation support apparatus 200 of this embodiment detects the trajectory of the palpator's finger by the camera 210 and the trajectory detection unit 220, and further detects the abdominal force in the abdomen of the patient by the pressure detection unit 230.
  • the finger trajectory of this embodiment is indicated by the coordinates of the finger of the palpator.
  • the abdominal force of this embodiment is a reaction force obtained by a palpator pressing the patient's abdominal surface.
  • the palpation support apparatus 200 associates the coordinates of the finger of the palpator with the abdominal force in the abdomen of the patient by the palpation data processing unit 240, and provides the information processing apparatus 300 as palpation result data. To do.
  • FIG. 2 is a diagram illustrating a schematic configuration of the palpation support apparatus according to the first embodiment.
  • 2A is a diagram illustrating the trajectory detection unit 220
  • FIG. 2B is a diagram illustrating the pressure detection unit 230.
  • the trajectory detection unit 220 includes near-infrared light sources 221 and 222, a reflection marker 223, and measurement cameras 224 and 225.
  • the near-infrared light sources 221 and 222 of this embodiment irradiate the reflective marker 223 with near-infrared rays.
  • the reflective marker 223 is mounted near the nail of the examinee's hand and reflects near infrared rays emitted from the near infrared light sources 221 and 222.
  • the measurement cameras 224 and 225 of the present embodiment capture the position of the reflection marker 223 as image data.
  • the X-axis, Y-axis, and Z-axis coordinates indicating the trajectory of the reflective marker 223 are acquired as the positional information of the reflective marker 223 from the image data, and used as the trajectory of the palpator's finger.
  • the near-infrared light sources 221 and 222 of this embodiment may be provided in the vicinity of the measurement cameras 224 and 225, or may not be so.
  • the near-infrared light sources 221 and 222 are fixed in advance and may be located at a position where the near-infrared light can be emitted to the reflection marker 223.
  • near infrared rays are used for detecting the trajectory of the palpator's finger, but the present invention is not limited to this. In the detection of the finger trajectory, for example, infrared rays or the like may be used.
  • the reflective marker 223 of the present embodiment can be formed in an arbitrary shape, but is preferably spherical.
  • trajectory detection unit 220 of the present embodiment is configured to have two measurement cameras, it is not limited to this.
  • the trajectory detection unit 220 only needs to have two or more measurement cameras. In the trajectory detection unit 220, the detection accuracy of the finger trajectory can be improved as the number of measurement cameras increases.
  • the measurement camera of this embodiment is preferably a camera having 400,000 pixels or more.
  • the trajectory detection unit 220 of the present embodiment can detect the position of the fingertip with an accuracy of about 0.1 mm when the reflective marker 223 is a ball marker having a diameter of about 6 mm and three or more measurement cameras with 1.3 million pixels or more are used. .
  • the pressure detection unit 230 of the present embodiment includes a pressure sensor 231 and a signal processing unit described later.
  • the signal processing unit processes a signal output from the pressure sensor 231.
  • the pressure sensor 231 is mounted on the palm side of a finger touching the patient when the palpator performs palpation, for example, and detects a reaction force obtained by the palpator pressing the patient's abdominal surface. Output as data.
  • the pressure sensor 231 and the reflective marker 223 are mounted at positions that face each other. In other words, the pressure sensor 231 and the reflective marker 223 are associated with each other by the finger of the palpator.
  • the pressure sensor 231 of the present embodiment may be, for example, a piezoelectric element or a capacitance type. Further, the pressure sensor 231 of this embodiment may use a pressure gauge element that detects a change in pressure as a change in resistance value of the element. It is preferable that the pressure sensor 231 of the present embodiment has elasticity close to human skin to the extent that the patient does not feel uncomfortable when the palpator wears and performs palpation.
  • the pressure sensor 231 may be attached to, for example, the index finger and ring finger of the palpator. Furthermore, the pressure sensor 231 may be mounted on the palm of the palpator, for example. Further, as one of the means for attaching the pressure sensor 231, the above-described pressure sensor 231 and marker may be attached to a glove attached to the hand. The pressure sensor 231 and the marker described above may be attached to the arm of a robot that performs abdominal examination.
  • an image of a part (for example, abdomen) where a patient is palpated is acquired by the camera 210, and the detected trajectory and pressure are mapped on the image based on the position and posture of the patient in the image.
  • FIG. 3 is a diagram illustrating the functional configuration of the palpation support apparatus 200 according to the first embodiment.
  • the camera 210 acquires an image of the affected area of the patient undergoing palpation and outputs it to the palpation data processing unit 240.
  • the trajectory detection unit 220 includes a camera coordinate calculation unit 226 connected to the measurement cameras 224 and 225.
  • the camera coordinate calculation unit 226 of the present embodiment uses the camera coordinate system coordinates (hereinafter referred to as camera coordinates) of the reflective marker 223 on the imaging plane of each measurement camera from the image data captured by the measurement cameras 224 and 225. It is a calculation part to calculate.
  • the predetermined timing in the present embodiment is a timing synchronized with the timing for acquiring pressure data from the pressure detection unit 230. Details of the predetermined timing will be described later. Note that the camera coordinate calculation unit 226 of this embodiment may be provided in the palpation data processing unit 240.
  • each of the measurement cameras 224 and 225 of the present embodiment includes, for example, a digital camera, a near-infrared film, and an AD (Analog-to-Digital) converter.
  • the pressure detection unit 230 of the present embodiment includes a pressure sensor 231, a filter 232 serving as a signal processing unit, and an AD converter 233.
  • a signal output from the pressure sensor 231 is converted into a digital signal via the filter 232 and the AD converter 233.
  • the palpation data processing unit 240 of the present embodiment includes a synchronization control unit 241, a world coordinate calculation unit 242, an elastic coefficient calculation unit 243, a storage unit 244, a mapping unit 245, a main complaint input unit 246, and a memory 247.
  • the palpation data processing unit 240 of the present embodiment is a computer having a calculation unit and a memory, and the processing of each unit described below is realized by the calculation unit executing a program.
  • the synchronization control unit 241 of this embodiment synchronizes the timing for acquiring camera coordinates from the trajectory detection unit 220 and the timing for acquiring pressure data from the pressure detection unit 230. That is, the synchronization control unit 241 of the present embodiment performs a camera coordinate acquisition request to the trajectory detection unit 220 and a pressure data acquisition request to the pressure detection unit 230 at the same time, and acquires camera coordinates and pressure data in association with each other.
  • the trajectory detection unit 220 may calculate the camera coordinates in response to a camera coordinate acquisition request from the synchronization control unit 241, for example.
  • the trajectory detection unit 220 of the present embodiment always calculates camera coordinates based on the image data captured by the measurement cameras 224 and 225, and receives a camera coordinate acquisition request, and receives the calculated camera coordinates as a palpation data processing unit. You may output to 240.
  • the pressure detection unit 230 of the present embodiment may receive a pressure data acquisition request and output the output signal of the pressure sensor 231 to the palpation data processing unit 240 as pressure data. Further, the pressure detection unit 230 of the present embodiment constantly acquires the output signal of the pressure sensor 231, and may output the pressure data to the palpation data processing unit 240 when a pressure data acquisition request is received.
  • the synchronization control unit 241 makes a camera coordinate acquisition request and a pressure data acquisition request at predetermined intervals.
  • the world coordinate calculation unit 242 of the present embodiment calculates the coordinates of the world coordinate system (hereinafter referred to as world coordinates) from the camera coordinates calculated by the camera coordinate calculation unit 226.
  • the world coordinates of this embodiment are coordinates indicating the position of the reflective marker 223 in a coordinate system that represents the entire space.
  • the elastic modulus calculation unit 243 calculates an elastic coefficient K (t) based on the pressure data and world coordinates.
  • the elastic modulus is a linear constant coefficient that expresses the relationship between stress and strain, and indicates the hardness of the affected area.
  • the elastic coefficient K (t) ⁇ P (t) / ⁇ Zw (t). Note that P is pressure data, Zw is a value in the Z-axis direction in world coordinates, and t is the time when the world coordinates and pressure data are acquired.
  • the storage unit 244 of the present embodiment acquires the world coordinates (Xw, Yw, Zw), the pressure data P, the elastic coefficient K (t), the world coordinates, and the pressure data.
  • the associated time t is stored in the palpation result database 248 in the memory 247 in association with each other.
  • the mapping unit 245 of the present embodiment refers to the palpation result database 248 and maps pressure data to the affected area of the patient acquired by the camera 210.
  • the mapping unit 245 of the present embodiment may display the mapping result on a display unit (not shown) included in the palpation data processing unit 240, for example.
  • the main complaint input unit 246 of the present embodiment receives an input of the main complaint of the patient who is palpating.
  • the storage unit 244 of the present embodiment stores the input main complaint (text data) and the world coordinate and pressure data corresponding to the input time of the text data in the palpation result database 248 in association with each other. Details of the palpation result database 248 of this embodiment will be described later.
  • pre-processing for displaying an area to be palpated in the image of the affected area captured by the camera 210 may be performed.
  • the affected part is described as the abdomen.
  • FIG. 4 is a flowchart for explaining pre-processing of palpation using the palpation support system.
  • a palpator or the like installs a reflective marker at a feature point of the patient's abdomen (step S401).
  • a feature point is a point that serves as a reference for determining an area for palpation.
  • the reflective marker installed here may have the same form as the reflective marker 223 included in the trajectory detection unit 220.
  • the palpation support system 100 of this embodiment is started (step S402).
  • an image of the abdomen is taken by the camera 210, and the palpation data processing unit 240 acquires this image (step S403).
  • the camera 210 of the present embodiment may take an image under the control of the palpation data processing unit 240 when the palpation support system 100 is activated.
  • the trajectory detection unit 220 acquires the camera coordinates of the installed reflective marker as the coordinates of the feature points, and outputs them to the palpation data processing unit 240 (step S404).
  • the world coordinate calculation unit 242 calculates the world coordinates of the feature points from the camera coordinates (step S405). Subsequently, the mapping unit 245 determines an area for performing palpation by mapping feature points on the abdominal image acquired in step S403 (step S406). Subsequently, the marker installed in step S401 is removed (step S407).
  • a section or the like indicating the area determined in step S406 is projected on the patient's abdomen by a projection device or the like and displayed (step S408).
  • the palpator by performing the above preprocessing, the palpator can easily recognize the area to be palpated. still.
  • the process in step S408 may be performed as an option.
  • FIG. 5 is a flowchart for explaining the operation of the palpation support system according to the first embodiment.
  • the palpation data processing unit 240 when palpation by a palpator is started, the palpation data processing unit 240 causes the synchronization control unit 241 to request acquisition of camera coordinates to the trajectory detection unit 220 and acquisition request of pressure data to the pressure detection unit 230. (Step S501).
  • the camera coordinate acquisition process and the pressure data acquisition process may be performed in parallel. First, camera coordinate acquisition processing will be described.
  • the camera coordinate calculation unit 226 receives the camera coordinate acquisition request, and acquires the image data of the reflection marker 223 captured by each of the measurement cameras 224 and 225 (step S502). Subsequently, the camera coordinate calculation unit 226 calculates the camera coordinates of the reflection marker 223 from each image data (step S503) and outputs the camera coordinates to the palpation data processing unit 240.
  • the palpation data processing unit 240 acquires the camera coordinates
  • the world coordinate calculation unit 242 calculates the world coordinates (x, y, z, t) from the camera coordinates (step S504). Details of the calculation of the world coordinates of this embodiment will be described later.
  • the pressure detection unit 230 receives the pressure data acquisition request and performs sampling by the pressure sensor 231 (step S505). Subsequently, the pressure detection unit 230 converts the output signal from the pressure sensor 231 into digital pressure data by the filter 232 and the AD converter 233 (step S506), and outputs the digital pressure data to the palpation data processing unit 240.
  • step S507 if there is a main complaint such as pain or discomfort from the patient during palpation, it is input to the palpation data processing unit 240 as main complaint data (step S507).
  • main complaint data processing unit 240 inputs main complaint data (step S507).
  • the process of S507 is performed as an option.
  • the palpation data processing unit 240 of this embodiment calculates the elastic coefficient K (t) of the abdomen from the world coordinates and the pressure data by the elastic coefficient calculation unit 243.
  • the storage unit 244 associates the world coordinates, the pressure data, and the elastic coefficient, and gives time information (time stamp) indicating the time when the acquisition request is made to the trajectory detection unit 220 and the pressure detection unit 230,
  • the result is stored in the palpation result database 248 (step S508).
  • the storage unit 244 of the present embodiment may store the main complaint data in association with the world coordinates and the elastic coefficient obtained at the timing closest to the timing at which the main complaint data is input.
  • the mapping unit 245 refers to the palpation result database 248 and maps palpation result data to the abdominal image acquired by the camera 210 (step S509).
  • the mapping unit 245 of the present embodiment may display a marker at a location where the value of the elastic coefficient K (t) is equal to or greater than a predetermined value.
  • the mapping unit 245 of the present embodiment may perform mapping so that, for example, an area with a large elastic coefficient K (t) and a small area can be recognized. Further, the mapping unit 245 may perform mapping of other detected physical quantities.
  • a physical quantity such as a pressure change in the abdomen can be detected in real time while pressing the patient's abdomen in correspondence with the palpation process and the detected numerical value.
  • FIG. 6 is a diagram for explaining the calculation of the camera coordinates of the reflective marker.
  • the camera coordinate calculation unit 226 of the present embodiment calculates the coordinates (u1, v1) of the reflection marker 223 from the position at which the image plane of the measurement camera 224 is irradiated with the reflected light from the reflection marker 223. Similarly, the camera coordinate calculation unit 226 calculates the coordinates (u2, v2) of the reflection marker 223 from the position at which the image plane of the measurement camera 225 is irradiated with the reflected light from the reflection marker 223. Then, the camera coordinate calculation unit 226 outputs these two coordinates as camera coordinates to the palpation data processing unit 240.
  • the world coordinate calculation unit 242 of the present embodiment acquires two camera coordinates
  • the world coordinates (Xw, Yw, Zw) of the reflective marker 223 are used using the perspective projection matrices P 1 and P 2 of the measurement cameras 224 and 225. Is calculated.
  • the perspective projection matrices P 1 and P 2 are obtained from parameters obtained by camera calibration for obtaining camera characteristics such as lens distortion and focal length of each of the measurement cameras 224 and 225.
  • FIG. 7 is a diagram illustrating an example of a palpation result database.
  • the palpation result database 248 of the present embodiment includes world coordinate X coordinate, Y coordinate, Z coordinate, pressure data, elastic modulus, time, and chief complaint as information items.
  • the position indicated by the X, Y, and Z coordinates is the position of the reflective marker 223, that is, the position of the finger that the palpator actually touched the affected area.
  • the position indicated by the X coordinate, the Y coordinate, and the Z coordinate, the pressure data P at that position, the elastic coefficient K (t), the time t, and the patient's main complaint are associated with each other.
  • the values of the X, Y, and Z coordinates and the values associated with these coordinates are referred to as palpation result data. For example, in the example of FIG.
  • the palpator presses the position of the world coordinates (x1, y1, z1) in the affected area with the pressure P1 at time t1, the pressed portion has hardness K1, and the patient's chief complaint is A1. It turns out that it was.
  • the chief complaint A1 is that resistance is felt when the affected part is pressed.
  • the main complaints may be classified into three types and given corresponding codes, and the codes may be stored in the palpation result database 248 as patient main complaint data.
  • the chief complaint when there is no chief complaint when the affected area is pressed, the chief complaint is A0, when resistance is felt when the affected area is depressed, the chief complaint is A1, and when pain is felt when the affected area is depressed May be the chief complaint A2.
  • the information processing apparatus 300 may refer to the palpation result database 248 and give a score to the palpation result data. In this embodiment, it is easy to grasp the patient's condition by giving a score to the palpation result data.
  • FIG. 8 is a diagram illustrating a functional configuration of the information processing apparatus.
  • the information processing apparatus 300 is a general computer having an arithmetic processing device and a storage device, and the arithmetic processing device executes the program stored in the storage device, so that the functions of the units described below are performed. Realize.
  • the information processing apparatus 300 includes a palpation result data acquisition unit 310, an input reception unit 311, a score assignment unit 312, a database creation unit 313, and a communication unit 314.
  • the information processing apparatus 300 of the present embodiment has a scoring database 320.
  • the scoring database 320 of this embodiment may be provided in a predetermined storage area in the storage device of the information processing apparatus 300.
  • the palpation result data acquisition unit 310 of the present embodiment refers to the palpation result database 248 and acquires palpation result data.
  • the input receiving unit 311 receives an input from the input unit included in the information processing apparatus 300. Specifically, the input reception unit 311 may receive a verification result or the like when the palpation result data is verified by the palpator, for example.
  • the score assigning unit 312 of this embodiment assigns a score according to the acquired palpation result data.
  • the database creation unit 313 of the present embodiment creates a database of palpation result data to which a score has been assigned.
  • the communication unit 314 performs communication with devices other than the information processing device 300 including the palpation support device 200, for example.
  • FIG. 9 is a flowchart for explaining the operation of the information processing apparatus.
  • the information processing apparatus 300 of this embodiment acquires palpation result data from the palpation result database 248 by the palpation result data acquisition unit 310 (step S901). Subsequently, the information processing apparatus 300 gives a score to the palpation result data by the score giving unit 312 (step S902). The score assignment will be described below.
  • a reference value for assigning a score is set according to the item of the state of the affected part.
  • a predetermined threshold value is set in a stepwise manner for the pressure data and the elastic coefficient, and a score may be given to the palpation result data according to the stepwise threshold value.
  • a score indicating the presence or absence of an item (such as a name indicating the state) corresponding to the state of the affected part may be given to the palpation result data.
  • a threshold value serving as a reference for giving a score may be set by a palpator.
  • the information processing apparatus 300 sets a threshold for determining the abdominal tension in the information processing apparatus 300.
  • the score giving unit 312 may give a score to the palpation result data based on the set threshold value.
  • the information processing apparatus 300 determines whether, for example, the input receiving unit 311 has received an input of supplementary data as a result of verification regarding scoring by a palpator or the like (step S903).
  • the information processing apparatus 300 may acquire supplementary data and store it in the scoring database 320 (step S904). If no input is accepted in step S903, the process proceeds to step S905 described later.
  • the database creation unit 313 stores the palpation result data provided with the score as a scoring database 320 in the storage device of the information processing apparatus 300 (step S905).
  • FIG. 10 is a flowchart illustrating a process for assigning a score.
  • processing for scoring the degree of a state called a small stomach inferiority in the abdomen is described.
  • ⁇ Small stomach inferior refers to a state in Oriental medicine where the lower abdomen is weak and helpless, and when pressed, the abdominal wall easily collapses and the crushing finger enters the abdominal wall.
  • the presence / absence and degree of small belly incontinence are scored based on the elastic modulus K between the upper umbilicus and the small abdomen in the lower abdomen.
  • the score assigning unit 312 refers to the X axis, the Y axis, and the Z axis in the palpation result data acquired by the palpation result data acquisition unit 310, and sets An elastic coefficient is extracted (step S101).
  • the elastic coefficient extracted in step S101 is K1.
  • the score assigning unit 312 extracts the elastic coefficient of the region corresponding to the small abdomen (step S102).
  • the elastic coefficient extracted in step S102 is K2.
  • the coordinates of the areas corresponding to the upper umbilicus and the small abdomen may be registered in the information processing apparatus 300.
  • the score assigning unit 312 calculates K2 / K1 (step S103). Subsequently, the score assigning unit 312 compares the value calculated in step S103 with a preset threshold value, and represents the presence or absence or degree of small stomach infertility as a numerical value (step S104). For example, when the value of K2 / K1 is equal to or greater than the first threshold, the score assigning unit 312 according to the present embodiment may set the score to 0 because there is no state of infertility. Also, the score assigning unit 312 of this embodiment sets the score to any one of 1 to 5 according to the value of K2 / K1, assuming that there is a small stomach inferiority when the value of K2 / K1 is less than the first threshold value. Also good.
  • FIG. 11 is a first diagram showing an example of the scoring database.
  • the scoring database 320 shown in FIG. 11 is an example when the abdominal strength is used as a score.
  • the scoring database 320 in FIG. 11 includes information items such as area name, score, X coordinate range, Y coordinate range, Z coordinate range, pressure P, hardness K, and chief complaint A.
  • the area name in the present embodiment is an identifier assigned to an area determined by, for example, the X coordinate range, Y coordinate range, and Z coordinate range of the abdomen.
  • the score of the present embodiment is any one of 1 to 5 determined based on, for example, threshold values provided stepwise for the pressure data P and the hardness (elastic coefficient) K. In the present embodiment, for example, the score when the pressure data P is less than the smallest threshold among the thresholds already obtained in stages is set to 1, and the score value may be increased as the pressure data P increases. good.
  • FIG. 12 is a second diagram showing an example of the scoring database.
  • the scoring database 320A shown in FIG. 12 is an example when the presence or absence of an area corresponding to an item indicating a specific state is scored, for example, at a site where palpation has been performed.
  • the scoring database 320 ⁇ / b> A has items indicating a state, items indicating a state, score, area name, X coordinate range, Y coordinate range, Z coordinate range, pressure P, hardness K, and chief complaint A as items of information. Is associated with other items. .
  • the score is 1 or 0.
  • the score indicates that the state of the corresponding area corresponds to the corresponding item.
  • the score corresponding to “full stomach” which is an item indicating a state in which the entire belly is stretched is 1. Therefore, it can be seen that the area name w5 indicated by the X coordinate range, the Y coordinate range, and the Z coordinate range corresponds to the “full stomach” state.
  • the state of the affected part can be easily and objectively grasped.
  • the pressure sensor 231 has been described as being attached to the middle finger of a person performing palpation, but is not limited thereto. In the present embodiment, a plurality of pressure sensors may be used for palpation.
  • FIG. 13 is a diagram for explaining a modification of the pressure sensor.
  • the 13 includes three pressure sensors 21, 22, and 23.
  • the pressure sensor 21 of the present embodiment is attached to, for example, the index finger or ring finger of a palpator who performs palpation, the pressure sensor 22 is attached to the middle finger of the palpator, and the pressure sensor 23 is attached to the ring finger or index finger of the palpator, for example. Is done.
  • the palpation support apparatus 200 of the present embodiment may store palpation result data corresponding to each of the pressure sensors 21, 22, and 23 in the palpation result database 248.
  • the information processing apparatus 300 compares the elastic coefficient Ka calculated from the pressure data P of the pressure sensor 22 with the elastic coefficient Kb calculated from the pressure data P of the pressure sensor 21 and the pressure sensor 23. It may be used for giving a score.
  • the score assigning unit 312 may give a score indicating that the area corresponds to the item of the median core.
  • the midline core means a state in which a cord-like object such as a pencil core exists under the midline of the midline of the abdominal wall.
  • the coordinates of the fingertip when the palpator performs palpation and the pressure data detected by the pressure sensor at the chin coordinates can be acquired in real time in synchronization.
  • the elasticity (elastic coefficient) of the place pressed can be calculated from the acquired pressure data and fingertip coordinates.
  • the pulsation of the palpitations that appeared in the affected area can also be detected by the pressure sensor.
  • information on the amount of fingertip pressing and the location of the palpation when the palpation appears can be acquired in real time as pressure data and coordinates.
  • palpation can be digitized and can be performed without depending on the palpator.
  • the second embodiment will be described below with reference to the drawings.
  • the second embodiment is different from the first embodiment in that the number of measurement cameras that capture the reflection marker 223 is increased and the measurement cameras are moved along the line of sight of the palpator. Therefore, in the following description of the second embodiment, only differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be used in the description of the first embodiment. The description is omitted.
  • FIG. 14 is a first diagram illustrating a schematic configuration of the palpation support apparatus according to the second embodiment.
  • the trajectory detection unit 220A includes measurement cameras 227 and 228 attached to the forehead portion of the palpator and a reflection marker 229.
  • the measurement cameras 227 and 228 attached to the forehead portion of the palpator are referred to as moving cameras 227 and 228.
  • the position of the moving cameras 227 and 228, the posture of the palpator, and the reflected light of the near-infrared light irradiated on the reflection marker 229 and the fixed measurement cameras 224 and 225 are determined. Is identified.
  • the world coordinates of the reflective marker 223 are calculated from the image of the reflective marker 223 captured by at least any two of the measurement cameras 224 and 225 and the moving cameras 227 and 228. That is, in the present embodiment, the position of the reflection marker 223 can be detected by the moving cameras 227 and 228 even if the reflection marker 223 is not photographed by the fixed measurement cameras 224 and 225, for example.
  • a reflective marker 229 may be provided between the moving cameras 227 and 228.
  • the reflective marker 229 of the present embodiment may have an arbitrary shape, but preferably has a cross shape, for example.
  • the near-infrared light sources 221 and 222 of the present embodiment are arranged at positions where both the reflection marker 223 and the reflection marker 229 are irradiated with near-infrared light.
  • the moving cameras 227 and 228 for photographing the reflective marker 223 attached to the fingertip of the palpator are attached to the forehead portion of the palpator, the blind spot when the reflective marker 223 is photographed by the measurement camera is eliminated. be able to.
  • FIG. 15 is a second diagram illustrating a schematic configuration of the palpation support apparatus according to the second embodiment.
  • the trajectory detection unit 220B shown in FIG. 15 shows an example in which only one moving camera 227 is attached to the forehead portion of the palpator.
  • the fixed measurement cameras 224 and 225 specify the position of the moving camera 227 and the posture of the palpator.
  • the coordinates of the reflective marker 223 can be detected if the reflective marker 223 is photographed by any two of the three measurement cameras 224 and 255 and the moving camera 227.
  • FIG. 16 is a flowchart for explaining the operation of the palpation support system according to the second embodiment.
  • FIG. 16 includes both operations of the trajectory detection units 220A and 220B. Therefore, in the following description, it demonstrates as operation
  • the palpation data processing unit 240 when palpation by a palpator is started, the palpation data processing unit 240 causes the synchronization control unit 241 to acquire a camera coordinate acquisition request to the trajectory detection unit 220A and a pressure data acquisition request to the pressure detection unit 230. (Step S1601).
  • the camera coordinate calculation unit 226 of the present embodiment reflects the image acquired from the measurement cameras 224 and 225 as in the first embodiment. The camera coordinates of the marker 223 are obtained.
  • the camera coordinate calculation unit 226 of this embodiment calculates the camera coordinates of the reflective marker 223 from the images acquired from the moving cameras 227 and 228. obtain.
  • the camera coordinate calculation unit 226 of the present embodiment uses the camera of the reflection marker 223 using either one of the moving cameras 227 and 228 when the reflection marker 223 enters either one of the measurement cameras 224 and 225. Get the coordinates.
  • the camera coordinate calculation unit 226 acquires images of the reflection marker 223 and the reflection marker 229 by the measurement cameras 224 and 225, and the positions (coordinates) of the measurement cameras 227 and 228 attached to the palpator. An orientation is specified (step S1602). Subsequently, the camera coordinate calculation unit 226 determines whether the reflection marker 223 is in one of the visual fields of the measurement cameras 227 and 228 from the images taken by the measurement cameras 227 and 228 (step S1603). If it is determined in step S1603 that the measurement cameras 227 and 228 are not in both fields of view, the process proceeds to step S1607 described later.
  • step S1603 when it is in the visual field, the camera coordinate calculation unit 226 determines whether or not the reflection marker 223 is in the visual field of both the measurement cameras 227 and 228 (step S1604). If it is determined in step S1604 that the field of view of only one measurement camera is included, the process proceeds to step S1608 described later.
  • step S1604 the camera coordinate calculation unit 226 calculates the camera coordinates of the reflection marker 223 from the images of the measurement cameras 227 and 228 (step S1605), and will be described later in step S1609. Proceed to The processing in step S1605 is the same as the processing in step S503 in FIG.
  • the camera coordinate calculation unit 226 acquires an image of the reflection marker 223 using the moving cameras 227 and 228 (step S1606). Note that the process of step S1606 is performed in synchronization with step S1605.
  • the camera coordinate calculation unit 226 calculates the camera coordinates of the reflection marker 223 in the two moving cameras 227 and 228 from the image acquired in step S1606 (step S1607), and proceeds to step S1609 described later.
  • the camera coordinates of the reflection marker 223 can be obtained by the two moving cameras 227 and 228 when the reflection marker 223 is not included in both the fields of view of the measurement cameras 224 and 225. Therefore, in the present embodiment, for example, even when the reflection marker 223 enters both blind spots of the measurement cameras 224 and 225, the camera coordinates of the reflection marker 223 can be obtained.
  • the camera coordinate calculation unit 226 of the present embodiment uses either of the moving cameras 227 or 228 to reflect the marker.
  • the camera coordinates of 223 are calculated (step S1608). That is, the camera coordinate calculation unit 226 of the present embodiment uses both the measurement camera and the moving camera in which the reflection marker 223 is in the field of view.
  • step S1609 to step S1614 is the same as the processing from step S504 to step S509 in FIG.
  • the camera coordinates of the reflection marker 223 can be obtained using the moving camera even when the blind reflection marker 223 of the fixed measurement cameras 224 and 225 is entered. Therefore, according to the present embodiment, it is possible to perform a wide range of palpation and digitize the result without being conscious of the willingness of the measurement cameras 224 and 225.
  • Palpation assistance apparatus 210 Camera 220, 220A, 220B Orbit detection unit 221, 222 Near-infrared light source 223, 229 Reflection marker 224, 225 Measurement camera 226 Camera coordinate calculation part 227, 228 Moving camera 230 Pressure detection unit 231, 231A Pressure sensor 240 Palpation data processing unit 241 Synchronization control unit 248 Palpation result database 300 Information processing apparatus

Abstract

　患部に触れる位置に装着された圧力センサから出力される圧力データを取得するタイミングと、前記圧力センサと対応付けられた位置に装着されたマーカの位置情報を取得するタイミングとを同期させる同期制御部と、同期したタイミングで取得した前記圧力データと、前記マーカの位置情報と、前記圧力データ及び前記位置情報を取得した時刻を示す時刻情報と、を対応付けて記憶部に格納する格納部と、を有する。

Description

触診支援装置、触診支援方法及び触診支援プログラム
　本発明は、触診支援装置、触診支援方法及び触診支援プログラムに関する。
　一般に、漢方を含む東洋医学の診断方法には、患者を目で観察する望診、患者の声を聞く聞診、患者に質問する問診及び患者に直接触れる触診（または切診）と呼ばれる４つの診察法（四診）がある。これらの診断方法はいずれも、触診者が五感で得られる患者の情報に基づいて診察を行い、患者の年齢、体格等に応じて適切な漢方薬等を処方する主観的な方法である。このため、触診者には膨大な知識と熟練した技量等が要求される。
　中でも触診は、患者の生体情報を触診者が直接手で触知するため、診断結果が触診者に大きく依存する。そこで従来では、例えば腹部の触診（腹診）において、患者の腹部表面を押圧することによって得られる反力、すなわち、腹力を検知して数値化することが知られている。
特開２００５－２６１５４６号公報 特開２０１０－２７４０１１号公報
　上記従来の技術では、触診（腹診）の際に検知された腹力を数値化するのみであり、数値化された腹力が腹部のどの位置の腹力であるか判断できない。すなわち上記の従来の技術では、触診の過程と検知された数値とが対応付いていない。このため触診の診断結果は、依然として触診者の技量等に依存したものとなってしまう。
　一つの側面では、触診者に依存しない触診を行うことが可能な触診支援装置、触診支援方法及び触診支援プログラムを提供することを目的としている。
　一様態によれば、患部に触れる位置に装着された圧力センサから出力される圧力データを取得するタイミングと、前記圧力センサと対応付けられた位置に装着されたマーカの位置情報を取得するタイミングとを同期させる同期制御部と、同期したタイミングで取得した前記圧力データと、前記マーカの位置情報と、前記圧力データ及び前記位置情報を取得した時刻を示す時刻情報と、を対応付けて記憶部に格納する格納部と、を有する。
　上記各部は、上記各部の機能を実現する方法、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。
　触診者に依存しない触診を行うことができる。
触診支援システムののシステム構成の一例を示す図である。 第一の実施形態の触診支援装置の概略構成を説明する図である。 第一の実施形態の触診支援装置２００の機能構成を説明する図である。 触診支援システムを用いた触診の前処理を説明するフローチャートである。 第一の実施形態の触診支援システムの動作を説明するフローチャートである。 反射マーカのカメラ座標の算出を説明する図である。 反射マーカのカメラ座標の算出を説明する図である。 情報処理装置の機能構成を説明する図である。 情報処理装置の動作を説明するフローチャートである。 スコアを付与する処理を説明するフローチャートである。 スコア化データベースの一例を示す第一の図である。 スコア化データベースの一例を示す第二の図である。 圧力センサの変形例を説明する図である。 第二の実施形態の触診支援装置の概略構成を説明する第一の図である。 第一の実施形態の触診支援装置の概略構成を説明する第二の図である。 第二の実施形態の触診支援システムの動作を説明するフローチャートである。
　（第一の実施形態）
　以下に図面を参照して第一の実施形態について説明する。図１は、触診支援システムののシステム構成の一例を示す図である。
　本実施形態の触診支援システム１００は、触診支援装置２００と、情報処理装置３００とを有する。本実施形態の触診支援システム１００において、触診支援装置２００は、触診者が患者に対して触診を行った結果を数値化した触診結果データとして情報処理装置３００へ提供する。情報処理装置３００は、触診結果データを解析した結果をデータベースとして保存する。
　本実施形態の触診支援装置２００は、カメラ２１０、軌道検出ユニット２２０、圧力検出ユニット２３０、触診データ処理ユニット２４０を有する。本実施形態の触診支援装置２００において、各ユニットは接続されており、１つのシステムとして機能する。尚、本実施形態の触診支援装置２００は、さらに音（Sound）検出ユニットを設けても良い。
　本実施形態の触診支援装置２００は、カメラ２１０及び軌道検出ユニット２２０により触診者の指の軌道を検出し、さらに圧力検出ユニット２３０により患者の腹部における腹力を検出する。
　本実施形態の指の軌道は、触診者の指の座標によって示される。また本実施形態の腹力は、触診者が患者の腹部表面を押圧することによって得られる反力である。
　本実施形態の触診支援装置２００は、触診データ処理ユニット２４０により、触診者の指の座標と、患者の腹部における腹力とを同期したデータとして対応付け、触診結果データとして情報処理装置３００へ提供する。
　以下に図２を参照して本実施形態の触診支援装置２００の概略について説明する。
　図２は、第一の実施形態の触診支援装置の概略構成を説明する図である。図２（Ａ）は、軌道検出ユニット２２０を説明する図であり、図２（Ｂ）は圧力検出ユニット２３０を説明する図である。
　本実施形態の軌道検出ユニット２２０は、近赤外線光源２２１、２２２、反射マーカ２２３、計測カメラ２２４、２２５を有する。
　本実施形態の近赤外線光源２２１、２２２は、反射マーカ２２３に対して近赤外線を照射する。反射マーカ２２３は、診察の手の爪付近に装着され、近赤外線光源２２１、２２２より照射される近赤外線を反射させる。本実施形態の計測カメラ２２４、２２５は、反射マーカ２２３の位置を画像データとして撮影する。
　本実施形態では、画像データから反射マーカ２２３の軌道を示すＸ軸，Ｙ軸，Ｚ軸の座標を反射マーカ２２３の位置情報として取得し、触診者の指の軌道とする。
　尚、本実施形態の近赤外線光源２２１、２２２は、計測カメラ２２４、２２５の近傍に設けられていても良いし、そうでなくても良い。近赤外線光源２２１、２２２は、予め固定されており、反射マーカ２２３に対して近赤外線を照射できる位置にあれば良い。また本実施形態では、触診者の指の軌道の検出に近赤外線を用いたが、これに限定されない。指の軌道の検出においては、例えば赤外線等が用いられても良い。
　また本実施形態の反射マーカ２２３は、任意の形状で形成することができるが、球状であることが好ましい。
　また本実施形態の軌道検出ユニット２２０は、計測カメラを２台有する構成としたが、これに限定されない。軌道検出ユニット２２０は、２台以上の計測カメラを有していれば良い。軌道検出ユニット２２０では、計測カメラの台数が多いほど、指の軌道の検出精度を向上させることができる。
　また本実施形態の計測カメラは、４０万画素以上のカメラであることが好ましい。本実施形態の軌道検出ユニット２２０は、反射マーカ２２３を直径６ｍｍ程度のボールマーカとし、１３０万画素以上の計測カメラを３台以上用いた場合、０．１ｍｍ程度の精度で指先の位置を検出できる。
　本実施形態の圧力検出ユニット２３０は、圧力センサ２３１と、後述する信号処理部とを有する。信号処理部は、圧力センサ２３１から出力される信号を処理する。
　本実施形態の圧力センサ２３１は、例えば触診者が触診を行う際に患者に触れる指の手の平側に装着され、触診者が患者の腹部表面を押圧することによって得られる反力を検出し、圧力データとして出力する。すなわち本実施形態では、圧力センサ２３１と反射マーカ２２３とは、それぞれが対向する位置に装着される。言い換えれば圧力センサ２３１と反射マーカ２２３とは、それぞれの位置が触診者の指により対応付けられている。
　本実施形態の圧力センサ２３１は、例えば圧電素子を用いたものや、静電容量方式を用いたものであっても良い。また、本実施形態の圧力センサ２３１は、圧力の変化を素子の抵抗値の変化として検出する圧力ゲージ素子を用いたものであっても良い。本実施形態の圧力センサ２３１は、触診者が装着して触診を行った際に、患者が違和感を感じない程度に、人間の皮膚に近い弾力を有することが好ましい。
　また図２（Ｂ）では、１つの圧力センサ２３１は、触診者の中指に装着される例を示したが、これに限定されない。圧力センサ２３１は、例えば触診者の人差し指と薬指にも装着されても良い。さらに圧力センサ２３１は、例えば触診者の手の平に装着されても良い。また、圧力センサ２３１の装着手段の１つとして、手に付けるグローブに上述の圧力センサ２３１とマーカを装着しても良い。また、上述の圧力センサ２３１とマーカは腹診を行うロボットのアームに装着しても良い。
　本実施形態では、カメラ２１０により患者の触診が行われる部位（例えば腹部）の画像を取得し、画像内の患者の位置や姿勢を基準に、検出された軌道と圧力を画像上にマッピングする。
　次に、図３を参照して本実施形態の触診支援装置２００の機能構成について説明する。図３は、第一の実施形態の触診支援装置２００の機能構成を説明する図である。
　本実施形態の触診支援装置２００において、カメラ２１０は、触診を受ける患者の患部の画像を取得し、触診データ処理ユニット２４０へ出力する。
　本実施形態の軌道検出ユニット２２０は、計測カメラ２２４、２２５と接続されたカメラ座標算出部２２６を有する。本実施形態のカメラ座標算出部２２６は、計測カメラ２２４、２２５により撮影された画像データから各計測カメラの結像面における反射マーカ２２３のカメラ座標系の座標（以下、カメラ座標と呼ぶ。）を算出する演算部である。本実施形態の所定のタイミングとは、圧力検出ユニット２３０から圧力データを取得するタイミングと同期したタイミングである。所定のタイミングの詳細は後述する。尚、本実施形態のカメラ座標算出部２２６は、触診データ処理ユニット２４０に設けられていても良い。
　尚、本実施形態の計測カメラ２２４、２２５のそれぞれは、例えばデジタルカメラと、近赤外フィルムと、ＡＤ（Analog-to-Digital）コンバータとを有するものとした。
　本実施形態の圧力検出ユニット２３０は、圧力センサ２３１と、信号処理部となるフィルタ２３２とＡＤコンバータ２３３とを有する。圧力センサ２３１から出力された信号は、フィルタ２３２とＡＤコンバータ２３３を介してデジタル信号とされる。
　本実施形態の触診データ処理ユニット２４０は、同期制御部２４１、世界座標算出部２４２、弾性係数算出部２４３、格納部２４４、マッピング部２４５、主訴入力部２４６、メモリ２４７を有する。本実施形態の触診データ処理ユニット２４０は、演算部とメモリとを有するコンピュータであり、演算部がプログラムを実行することで、以下に説明する各部の処理が実現される。
　本実施形態の同期制御部２４１は、軌道検出ユニット２２０からカメラ座標を取得するタイミングと、圧力検出ユニット２３０から圧力データを取得するタイミングとを同期させる。すなわち本実施形態の同期制御部２４１は、軌道検出ユニット２２０に対するカメラ座標取得要求と、圧力検出ユニット２３０に対する圧力データの取得要求を同時に行い、カメラ座標と圧力データとを対応付けて取得する。
　本実施形態では、軌道検出ユニット２２０は、例えば同期制御部２４１からカメラ座標取得要求を受けてカメラ座標を算出しても良い。また本実施形態の軌道検出ユニット２２０は、計測カメラ２２４、２２５が撮影した画像データに基づき、常時カメラ座標の算出を行い、カメラ座標取得要求を受け付けたとき、算出したカメラ座標を触診データ処理ユニット２４０へ出力しても良い。
　本実施形態の圧力検出ユニット２３０も、軌道検出ユニット２２０と同様に、圧力データ取得要求を受けて圧力センサ２３１の出力信号を圧力データとして触診データ処理ユニット２４０へ出力しても良い。また本実施形態の圧力検出ユニット２３０は、常時圧力センサ２３１の出力信号を取得しており、圧力データ取得要求を受け付けたとき、圧力データを触診データ処理ユニット２４０へ出力しても良い。
　本実施形態の同期制御部２４１は、予め設定された間隔毎にカメラ座標取得要求及び圧力データ取得要求を行う。
　本実施形態の世界座標算出部２４２は、カメラ座標算出部２２６が算出したカメラ座標から世界座標系の座標（以下、世界座標と呼ぶ。）を算出する。本実施形態の世界座標は、空間全体を表す座標系において反射マーカ２２３の位置を示す座標である。
　弾性係数算出部２４３は、圧力データと世界座標とに基づき、弾性係数Ｋ（ｔ）を算出する。弾性係数とは、応力とひずみの関係を表現する一次式の定数係数であり、患部の硬さを示す。本実施形態では、弾性係数Ｋ（ｔ）＝ΔＰ（ｔ）／ΔＺｗ（ｔ）とする。尚、Ｐは圧力データであり、Ｚｗは世界座標におけるＺ軸方向の値であり、ｔは世界座標及び圧力データが取得された時刻を示す。
　本実施形態の格納部２４４は、世界座標と弾性係数が算出されると、世界座標（Ｘｗ，Ｙｗ，Ｚｗ）と圧力データＰと、弾性係数Ｋ（ｔ）と、世界座標及び圧力データを取得した時刻ｔとを対応付けて、メモリ２４７内の触診結果データベース２４８へ格納する。
　本実施形態のマッピング部２４５は、触診結果データベース２４８を参照し、カメラ２１０により取得された患者の患部へ圧力データのマッピングを行う。本実施形態のマッピング部２４５は、例えば触診データ処理ユニット２４０の有する表示部（図示せず）にマッピングの結果を表示させても良い。
　本実施形態の主訴入力部２４６は、触診中の患者の主訴の入力を受け付ける。本実施形態の格納部２４４は、入力された主訴（テキストデータ）と、このテキストデータが入力された時刻と対応する世界座標及び圧力データとを対応付けて触診結果データベース２４８へ格納する。本実施形態の触診結果データベース２４８の詳細は後述する。
　以下に本実施形態の触診支援システム１００を用いた触診の実施について説明する。本実施形態では、実際の触診を行う前に、患者の患部に対して触診を行う前に、カメラ２１０により撮像した患部の画像に、触診を行うエリアを表示させる前処理を行っても良い。尚、以下の説明では、患部を腹部として説明する。
　図４は、触診支援システムを用いた触診の前処理を説明するフローチャートである。
　触診の前処理として、例えば触診者等により、患者の腹部の特徴点に反射マーカが設置される（ステップＳ４０１）。特徴点とは、触診を行うエリアを決定するための基準となる点である。またここで設置される反射マーカは、軌道検出ユニット２２０に含まれる反射マーカ２２３と同様の形態を有するものであっても良い。
　続いて本実施形態の触診支援システム１００が起動される（ステップＳ４０２）。触診支援システム１００が起動するとカメラ２１０により腹部の画像が撮影され、触診データ処理ユニット２４０がこの画像を取得する（ステップＳ４０３）。尚、本実施形態のカメラ２１０は、触診支援システム１００が起動されると、触診データ処理ユニット２４０による制御により画像の撮影を行っても良い。
　また触診支援システム１００が起動されると、軌道検出ユニット２２０により、設置された反射マーカのカメラ座標を特徴点の座標として取得し、触診データ処理ユニット２４０へ出力する（ステップＳ４０４）。
　触診データ処理ユニット２４０は、カメラ座標を取得すると、世界座標算出部２４２によりカメラ座標から特徴点の世界座標を算出する（ステップＳ４０５）。続いてマッピング部２４５は、ステップＳ４０３で取得した腹部の画像に特徴点をマッピングして触診を行うエリアを決定する（ステップＳ４０６）。続いてステップＳ４０１で設置したマーカが撤去される（ステップＳ４０７）。
　次に本実施形態では、ステップＳ４０６で決定されたエリアを示す区画等を投影装置等により患者の腹部に投影し、表示させる（ステップＳ４０８）。
　本実施形態では、以上の前処理を行うことで、触診者に触診を行うエリアを容易に認識させることができる。尚。上記のステップＳ４０８の処理は、オプションとして行っても良い。
　次に、図５を参照して本実施形態の触診支援システム１００の動作を説明する。図５は、第一の実施形態の触診支援システムの動作を説明するフローチャートである。
　本実施形態において、触診者による触診が開始されると、触診データ処理ユニット２４０は、同期制御部２４１により、軌道検出ユニット２２０に対するカメラ座標の取得要求と、圧力検出ユニット２３０に対する圧力データの取得要求とを同期して行う（ステップＳ５０１）。
　本実施形態の触診支援装置２００では、ステップＳ５０１の取得要求を行うと、カメラ座標の取得処理と、圧力データの取得処理とを並行して行っても良い。まず、カメラ座標の取得処理を説明する。
　軌道検出ユニット２２０において、カメラ座標算出部２２６は、カメラ座標の取得要求を受けて、計測カメラ２２４、２２５それぞれにより撮影された反射マーカ２２３の画像データを取得する（ステップＳ５０２）。続いてカメラ座標算出部２２６は、それぞれの画像データから反射マーカ２２３のカメラ座標を算出し（ステップＳ５０３）、触診データ処理ユニット２４０へ出力する。触診データ処理ユニット２４０は、カメラ座標を取得すると、世界座標算出部２４２により、カメラ座標から世界座標（ｘ，ｙ，ｚ，ｔ）を算出する（ステップＳ５０４）。本実施形態の世界座標の算出の詳細は後述する。
　次に圧力データの取得処理を説明する。
　圧力検出ユニット２３０は、圧力データの取得要求を受けて、圧力センサ２３１によるサンプリングを行う（ステップＳ５０５）。続いて圧力検出ユニット２３０は、圧力センサ２３１からの出力信号をフィルタ２３２及びＡＤコンバータ２３３により、デジタルの圧力データとし（ステップＳ５０６）、触診データ処理ユニット２４０へ出力する。
　尚、本実施形態では、触診を行っている最中に、患者から痛みや違和感等の主訴があった場合には、主訴データとして触診データ処理ユニット２４０に入力される（ステップＳ５０７）。尚、腹診データから、患者の痛みや違和感と対応する特異点が特定できる場合、Ｓ５０７の処理はオプションとして実行する。
　次に本実施形態の触診データ処理ユニット２４０は、弾性係数算出部２４３により、世界座標及び圧力データから腹部の弾性係数Ｋ（ｔ）を算出する。そして格納部２４４は、世界座標と、圧力データと、弾性係数とを対応付けて、軌道検出ユニット２２０と圧力検出ユニット２３０へ取得要求を行った時刻を示す時刻情報（タイムスタンプ）を付与し、触診結果データベース２４８へ格納する（ステップＳ５０８）。尚、本実施形態の格納部２４４は、主訴データを、主訴データが入力されたタイミングと最も近いタイミングで得られた世界座標及び弾性係数と対応付けて格納しても良い。
　続いてマッピング部２４５は、触診結果データベース２４８を参照し、カメラ２１０により取得した腹部の画像に、触診結果のデータをマッピングする（ステップＳ５０９）。本実施形態のマッピング部２４５は、例えば弾性係数Ｋ（ｔ）の値が所定値以上であった箇所に、マーカを表示させても良い。また本実施形態のマッピング部２４５は、例えば弾性係数Ｋ（ｔ）が大きいエリアと小さいエリアとがわかるようにマッピングを行っても良い。また、マッピング部２４５は、検出された他の物理量のマッピングを行っても良い。
　以上のように本実施形態では、触診の過程と検知された数値とが対応けて、患者の腹部を押しながらリアルタイムで腹部の圧力変化等の物理量を検出することができる。
　ここで、図６を参照してカメラ座標の算出について説明する。図６は、反射マーカのカメラ座標の算出を説明する図である。
　本実施形態のカメラ座標算出部２２６は、計測カメラ２２４の結像面に反射マーカ２２３からの反射光が照射される位置から、反射マーカ２２３の座標（ｕ１，ｖ１）を算出する。同様にカメラ座標算出部２２６は、計測カメラ２２５の結像面に反射マーカ２２３からの反射光が照射される位置から、反射マーカ２２３の座標（ｕ２，ｖ２）を算出する。
そしてカメラ座標算出部２２６は、この２つの座標をカメラ座標として触診データ処理ユニット２４０へ出力する。
　本実施形態の世界座標算出部２４２は、２つのカメラ座標を取得すると、計測カメラ２２４、２２５の透視投影行列Ｐ１，Ｐ2を用いて、反射マーカ２２３の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）を算出する。
　尚、透視投影行列Ｐ１，Ｐ2は、計測カメラ２２４、２２５それぞれのレンズの歪みや焦点距離等のカメラ特性を求めるカメラキャリブレーションにより得られたパラメータから得られる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 　
　次に、図７を参照して本実施形態の触診結果データベース２４８について説明する。図７は、触診結果データベースの一例を示す図である。
　本実施形態の触診結果データベース２４８は、情報の項目として、世界座標のＸ座標、Ｙ座標、Ｚ座標、圧力データ、弾性係数、時刻、主訴を有する。
　触診結果データベース２４８において、Ｘ座標、Ｙ座標、Ｚ座標により示される位置は、反射マーカ２２３の位置、すなわち触診者が実際に患部に触れた指の位置である。本実施形態では、このＸ座標、Ｙ座標、Ｚ座標により示される位置と、その位置における圧力データＰと、弾性係数Ｋ（ｔ）と、時刻ｔと、患者の主訴とが対応付けられる。以下の説明では、Ｘ、Ｙ、Ｚ座標の値と、この座標と対応付けられた値を触診結果データと呼ぶ。　
　例えば図７の例では、時刻ｔ１において触診者が患部における世界座標（ｘ１，ｙ１，ｚ１）の位置を圧力Ｐ１で押下した場合、押下した箇所の硬さはＫ１であり、患者の主訴はＡ１であったことがわかる。尚、本実施形態では、主訴Ａ１は、患部を押下された場合に抵抗を感じる、というものである。
　本実施形態では、例えば主訴を３つの種類に分類して対応する符号を付与し、その符号を患者の主訴データとして触診結果データベース２４８に格納しても良い。具体的には例えば、患部を押下されたときの主訴がないときは主訴Ａ０とし、患部を押下されたときに抵抗を感じる場合は主訴Ａ１とし、患部を押下されたときに痛みを感じたときは主訴Ａ２としても良い。
　本実施形態の触診支援システム１００において、情報処理装置３００は、触診結果データベース２４８を参照し、触診結果データにスコアを付与しても良い。本実施形態では、触診結果データにスコアを付与することで、患者の状態を把握しやすくする。
　以下に図８を参照して、本実施形態の情報処理装置３００の機能構成について説明する。図８は、情報処理装置の機能構成を説明する図である。
　本実施形態の情報処理装置３００は、演算処理装置と記憶装置とを有する一般のコンピュータであり、演算処理装置が記憶装置に格納されたプログラムを実行することで、以下に説明する各部の機能を実現する。
　本実施形態の情報処理装置３００は、触診結果データ取得部３１０、入力受付部３１１、スコア付与部３１２、データベース作成部３１３、通信部３１４を有する。
　また本実施形態の情報処理装置３００は、スコア化データベース３２０を有する。本実施形態のスコア化データベース３２０は、情報処理装置３００の有する記憶装置内の所定の記憶領域に設けられていても良い。
　本実施形態の触診結果データ取得部３１０は、触診結果データベース２４８を参照し、触診結果データを取得する。入力受付部３１１は、情報処理装置３００の有する入力部からの入力を受け付ける。具体的には入力受付部３１１は、例えば触診者による触診結果データの検証が行われた際に、検証結果等が入力されても良い。
　本実施形態のスコア付与部３１２は、取得した触診結果データに応じたスコアを付与する。本実施形態のデータベース作成部３１３は、スコアが付与された触診結果データのデータベースを作成する。通信部３１４は、例えば触診支援装置２００を含む情報処理装置３００以外の装置との通信を行う。
　以下に図９を参照して本実施形態の情報処理装置３００の動作を説明する。図９は、情報処理装置の動作を説明するフローチャートである。
　本実施形態の情報処理装置３００は、触診結果データ取得部３１０により、触診結果データベース２４８から触診結果データを取得する（ステップＳ９０１）。続いて情報処理装置３００は、スコア付与部３１２により、触診結果データにスコアを付与する（ステップＳ９０２）。以下にスコアの付与について説明する。
　本実施形態では、例えばスコアを付与する基準となる値が、患部の状態の項目に応じて設定されている。本実施形態では、例えば圧力データや弾性係数に対して所定の閾値が段階的に設定されており、この段階的な閾値に応じて触診結果データにスコアが付与されても良い。また本実施形態では、例えば患部の状態に該当する項目（状態を示す名前等）の有無を示すスコアを触診結果データに付与しても良い。
　本実施形態では、触診結果データにスコアを付与する際に、スコアの付与の基準なる閾値が触診者により設定されても良い。
　例えば触診者が腹部の緊張具合を調べようとした場合には、情報処理装置３００において腹部の緊張具合を判断する閾値が情報処理装置３００に設定される。スコア付与部３１２は、設定された閾値に基づき、触診結果データにスコアを付与すれば良い。
　続いて情報処理装置３００は、触診者等によるスコア化に関する検証の結果として、例えば入力受付部３１１が補足データの入力を受け付けたか否かを判断する（ステップＳ９０３）。ステップＳ９０３において入力を受け付けた場合、情報処理装置３００は、補足データを取得し、スコア化データベース３２０に格納しても良い（ステップＳ９０４）。ステップＳ９０３において入力を受け付けない場合、後述するステップＳ９０５へ進む。
　続いてデータベース作成部３１３は、スコアが付与された触診結果データをスコア化データベース３２０として情報処理装置３００の有する記憶装置に格納する（ステップＳ９０５）。
　以下に図１０を参照して、本実施形態におけるスコアの付与の処理の一例を説明する。図１０は、スコアを付与する処理を説明するフローチャートである。図１０では、腹部のにおける小腹不仁と呼ばれる状態の程度をスコア化する処理を説明する。
　小腹不仁とは、東洋医学において、下腹部が軟弱無力で、圧迫すると腹壁は容易に陥没し、按圧する指が腹壁に入るような状態を示す。図１０に示す処理では、下腹部における臍上部と小腹部の弾性係数Ｋに基づき、小腹不仁の有無や程度をスコア化する。
　本実施形態の情報処理装置３００において、スコア付与部３１２は、触診結果データ取得部３１０により取得した触診結果データにおいて、Ｘ軸とＹ軸とＺ軸とを参照し、臍上部に対応する領域の弾性係数を抽出する（ステップＳ１０１）。ステップＳ１０１で抽出した弾性係数は、Ｋ１とする。続いてスコア付与部３１２は、小腹部に対応する領域の弾性係数を抽出する（ステップＳ１０２）。ステップＳ１０２で抽出した弾性係数は、Ｋ２とする。尚、図１０の例では、臍上部と小腹部のそれぞれに対応する領域の座標が情報処理装置３００に登録されていても良い。
　次にスコア付与部３１２は、Ｋ２／Ｋ１を算出する（ステップＳ１０３）。続いてスコア付与部３１２は、ステップＳ１０３で算出した値と予め設定された閾値とを比較し、小腹不仁の有無や程度を数値として表す（ステップＳ１０４）。本実施形態のスコア付与部３１２は、例えばＫ２／Ｋ１の値が第一の閾値以上の場合に小腹不仁の状態がないとしてスコアを０としても良い。また本実施形態のスコア付与部３１２は、Ｋ２／Ｋ１の値が第一の閾値未満の場合に、小腹不仁があるとして、Ｋ２／Ｋ１の値に応じてスコアを１～５の何れかにしても良い。
　図１１は、スコア化データベースの一例を示す第一の図である。
　図１１に示すスコア化データベース３２０は、腹力の程度をスコアにした場合の例である。図１１のスコア化データベース３２０は、情報の項目として、エリア名、スコア、Ｘ座標範囲、Ｙ座標範囲、Ｚ座標範囲、圧力Ｐ、硬さＫ、主訴Ａを有する。
　本実施形態のエリア名は、例えば腹部のＸ座標範囲、Ｙ座標範囲及びＺ座標範囲により決められた領域に付与された識別子である。本実施形態のスコアは、例えば圧力データＰ及び硬さ（弾性係数）Ｋに対して段階的に設けられた閾値に基づき決められる１～５の何れかである。本実施形態では、例えば圧力データＰが段階的にもう得られた閾値のうち最も小さい閾値未満である場合のスコアを１とし、圧力データＰが大きくなるのつれてスコアの値を大きくしても良い。
　図１２は、スコア化データベースの一例を示す第二の図である。
　図１２に示すスコア化データベース３２０Ａは、例えば触診を受けた部位において、特定の状態を示す項目に該当するエリアの有無をスコアにした場合の例である。
　スコア化データベース３２０Ａは、情報の項目として、状態を示す項目、スコア、エリア名、Ｘ座標範囲、Ｙ座標範囲、Ｚ座標範囲、圧力Ｐ、硬さＫ、主訴Ａを有し、状態を示す項目にその他の項目が対応付けられている。。
　本実施形態のスコア化データベース３２０Ａでは、スコアは１又は０であり、スコアが１の場合は、対応するエリアの状態が対応する項目に該当することを示す。例えば図１２の例では、腹全体が張った状態を示す項目である「腹満」と対応するスコアが１である。したがって、Ｘ座標範囲、Ｙ座標範囲及びＺ座標範囲により示されるエリア名ｗ５は、「腹満」の状態が該当することがわかる。
　以上のように本実施形態では、触診結果データにスコアを付与することで、患部の状態を客観的に容易に把握させることができる。
　また、本実施形態では、圧力センサ２３１は、触診を行う者の中指に装着されるものとして説明したが、これに限定されない。本実施形態において、触診には複数の圧力センサが用いられても良い。
　図１３は、圧力センサの変形例を説明する図である。
　図１３に示す圧力センサ２３１Ａは、３つの圧力センサ２１、２２、２３を有する。本実施形態の圧力センサ２１は、例えば触診を行う触診者の人差し指又は薬指に装着され、圧力センサ２２は、触診者の中指に装着され、圧力センサ２３は、例え触診者の薬指又は人差し指に装着される。
　本実施形態の触診支援装置２００は、圧力センサ２１、２２、２３のそれぞれに対応した触診結果データを触診結果データベース２４８に格納しても良い。
　また本実施形態の情報処理装置３００は圧力センサ２２の圧力データＰから算出された弾性係数Ｋａと、圧力センサ２１及び圧力センサ２３の圧力データＰから算出された弾性係数Ｋｂとを比較した結果をスコアの付与に用いても良い。
　具体的には、例えばスコア付与部３１２は、弾性係数Ｋａが弾性係数Ｋｂよりも所定値以上大きい場合に、該当エリアに正中芯という項目に該当することを示すスコアを付与しても良い。正中芯とは、腹壁正中部の皮下に、鉛筆の芯のような索状物が存在する状態をいう。
　以上のように本実施形態では、触診者が触診を行った際の指先の座標と、ひの座標において圧力センサにより検出された圧力データを同期させてリアルタイムに取得することができる。また本実施形態では、取得した圧力データと指先座標から、押された場所の弾力（弾性係数）を算出することができる。さらに本実施形態では、圧力センサにより、患部に現れた動悸の拍動も検出することができる。また、その動悸が現れる時の指先の押し込み量及び動悸の場所の情報を圧力データと座標としてリアルタイムで取得できる。
　したがって本実施形態では、触診を数値化することができ、触診者に依存することなく行うことができる。
　（第二の実施形態）
　以下に図面を参照して第二の実施形態について説明する。第二の実施形態では、反射マーカ２２３を撮影する計測カメラの数を増やし、且つ計測カメラを触診者の視線に沿って移動させる点が第一の実施形態と相違する。よって以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには第一の実施形態の説明で用いた符号を付与し、その説明を省略する。
　図１４は、第二の実施形態の触診支援装置の概略構成を説明する第一の図である。
　本実施形態の軌道検出ユニット２２０Ａは、触診者の前額部に装着される計測カメラ２２７、２２８と、反射マーカ２２９とを有する。以下の説明では、触診者の前額部に装着された計測カメラ２２７、２２８を移動カメラ２２７、２２８と呼ぶ。
　本実施形態の軌道検出ユニット２２０Ａでは、反射マーカ２２９に照射される近赤外線光の反射光と、固定された計測カメラ２２４、２２５とにより、移動カメラ２２７、２２８の位置と、触診者の姿勢とを特定する。そして本実施形態では、計測カメラ２２４、２２５及び移動カメラ２２７、２２８のうち、少なくとも何れか２つの計測カメラにより撮影された反射マーカ２２３の画像から、反射マーカ２２３の世界座標を算出する。すなわち本実施形態では、例えば固定された計測カメラ２２４、２２５により反射マーカ２２３が撮影されなくても、移動カメラ２２７、２２８により反射マーカ２２３の位置を検出することができる。
　本実施形態では、移動カメラ２２７、２２８との間に反射マーカ２２９が設けられていても良い。本実施形態の反射マーカ２２９は、任意の形状であって良いが、例えば十字型の形状をしていることが好ましい。
　また本実施形態の近赤外線光源２２１、２２２は、反射マーカ２２３と反射マーカ２２９の両方に近赤外線光が照射される位置に配置されることが好ましい。
　本実施形態では、触診者の指先に装着される反射マーカ２２３を撮影する移動カメラ２２７、２２８を触診者の前額部に装着させるため、計測カメラにより反射マーカ２２３を撮影する際の死角を無くすことができる。
　尚、図１４の例では、移動カメラを２台としたが、これに限定されない。移動カメラは、１台であっても良い。
　図１５は、第二の実施形態の触診支援装置の概略構成を説明する第二の図である。
　図１５に示す軌道検出ユニット２２０Ｂは、触診者の前額部に装着される移動カメラを移動カメラ２２７の１台のみとした例を示している。
　本実施形態では、固定された計測カメラ２２４、２２５が移動カメラ２２７の位置と、触診者の姿勢とを特定する。本実施形態では、３台の計測カメラ２２４、２５５及び移動カメラ２２７のうち、何れか２台により反射マーカ２２３が撮影されれば反射マーカ２２３の座標を検出することができる。
　以下に、図１６を参照して本実施形態の触診支援システムの動作について説明する。図１６は、第二の実施形態の触診支援システムの動作を説明するフローチャートである。
　尚、図１６に示すフローチャートは、軌道検出ユニット２２０Ａ，２２０Ｂの何れの動作も含む。したがって以下の説明では、軌道検出ユニット２２０Ａを含む触診支援システムの動作として説明する。
　本実施形態において、触診者による触診が開始されると、触診データ処理ユニット２４０は、同期制御部２４１により、軌道検出ユニット２２０Ａに対するカメラ座標の取得要求と、圧力検出ユニット２３０に対する圧力データの取得要求とを同期して行う（ステップＳ１６０１）。
　本実施形態のカメラ座標算出部２２６は、２台の計測カメラ２２４、２２５の視野に反射マーカ２２３が入る場合には、第一の実施形態と同様に計測カメラ２２４、２２５から取得した画像から反射マーカ２２３のカメラ座標を得る。また本実施形態のカメラ座標算出部２２６は、２台の計測カメラ２２４、２２５の視野に反射マーカ２２３が入らない場合には、移動カメラ２２７、２２８から取得した画像から反射マーカ２２３のカメラ座標を得る。また本実施形態のカメラ座標算出部２２６は、計測カメラ２２４、２２５のうちどちらか１台の視野に反射マーカ２２３が入る場合、移動カメラ２２７、２２８の何れか一方を用いて反射マーカ２２３のカメラ座標を得る。
　以下にカメラ座標の算出の処理を説明する。
　軌道検出ユニット２２０Ａにおいて、カメラ座標算出部２２６は、計測カメラ２２４、２２５により、反射マーカ２２３と反射マーカ２２９の画像を取得し、触診者に装着された計測カメラ２２７、２２８の位置（座標）と方位とを特定する（ステップＳ１６０２）。続いてカメラ座標算出部２２６は、計測カメラ２２７、２２８により撮影された画像から、反射マーカ２２３が計測カメラ２２７、２２８の何れかの視野に入っているか否かを判断する（ステップＳ１６０３）。ステップＳ１６０３において、計測カメラ２２７、２２８の両方の視野に入っていない場合、後述するステップＳ１６０７へ進む。
　ステップＳ１６０３において、視野に入っている場合、カメラ座標算出部２２６は、反射マーカ２２３が計測カメラ２２７、２２８両方の視野に入っているか否かを判断する（ステップＳ１６０４）。ステップＳ１６０４において１つの計測カメラの視野にしか入っていない場合、後述するステップＳ１６０８へ進む。
　ステップＳ１６０４において計測カメラ２２７、２２８両方の視野に入っている場合、カメラ座標算出部２２６は、計測カメラ２２７、２２８の画像から反射マーカ２２３のカメラ座標を算出し（ステップＳ１６０５）、後述するステップＳ１６０９へ進む。ステップＳ１６０５の処理は、図５のステップＳ５０３の処理と同様であるから、説明は省略する。
　軌道検出ユニット２２０Ａにおいて、カメラ座標算出部２２６は、移動カメラ２２７、２２８により、反射マーカ２２３の画像を取得する（ステップＳ１６０６）。尚、ステップＳ１６０６の処理は、ステップＳ１６０５と同期して行われる。
　続いてカメラ座標算出部２２６は、ステップＳ１６０６で取得された画像から、２台の移動カメラ２２７、２２８における反射マーカ２２３のカメラ座標を算出し（ステップＳ１６０７）、後述するステップＳ１６０９へ進む。
　すなわちステップＳ１６０７では、計測カメラ２２４、２２５の両方の視界に反射マーカ２２３が入っていない場合に、２台の移動カメラ２２７、２２８により反射マーカ２２３のカメラ座標を得ることができる。したがって本実施形態では、例えば反射マーカ２２３が計測カメラ２２４、２２５の両方の死角に入ったときでも、反射マーカ２２３のカメラ座標を得ることができる。
　また本実施形態のカメラ座標算出部２２６は、ステップＳ１６０８において計測カメラ２２７、２２８の何れか一方の視野に反射マーカ２２３が入っている場合、移動カメラ２２７、２２８の何れか一方を用いて反射マーカ２２３のカメラ座標を算出する（ステップＳ１６０８）。すなわち本実施形態のカメラ座標算出部２２６は、反射マーカ２２３が視野に入っている方の計測カメラと移動カメラとを併用する。
　ステップＳ１６０９からステップＳ１６１４の処理は、図５のステップＳ５０４からステップＳ５０９までの処理と同様であるから、説明を省略する。
　以上のように本実施形態によれば、固定された計測カメラ２２４、２２５の死角な反射マーカ２２３が入った場合でも、移動カメラを用いて反射マーカ２２３のカメラ座標を得ることができる。したがって本実施形態によれば、計測カメラ２２４、２２５による志柿を意識せずに、広範囲の触診を行いその結果を数値化することができる。
　本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から
逸脱することなく、種々の変形や変更が可能である。
　１００　触診支援システム
　２００　触診支援装置
　２１０　カメラ
　２２０、２２０Ａ、２２０Ｂ　軌道検出ユニット
　２２１、２２２　近赤外線光源
　２２３、２２９　反射マーカ
　２２４、２２５　計測カメラ
　２２６　カメラ座標算出部
　２２７、２２８　移動カメラ
　２３０　圧力検出ユニット
　２３１、２３１Ａ　圧力センサ
　２４０　触診データ処理ユニット
　２４１　同期制御部
　２４８　触診結果データベース
　３００　情報処理装置

Claims (9)

  1. 　患部に触れる位置に装着された圧力センサから出力される圧力データを取得するタイミングと、前記圧力センサと対応付けられた位置に装着されたマーカの位置情報を取得するタイミングとを同期させる同期制御部と、
    　同期したタイミングで取得した前記圧力データと、前記マーカの位置情報と、前記圧力データ及び前記位置情報を取得した時刻を示す時刻情報と、を対応付けて記憶部に格納する格納部と、を有する触診支援装置。
  2. 　当該触診支援装置と接続された計測用カメラにより前記マーカを撮影した画像から得られるカメラ座標系の座標から世界座標系の座標を算出する世界座標算出部を有し、
    　前記格納部は、
    　前記圧力データと、前記世界座標系の座標と、を前記時刻情報と対応付けて前記記憶部に格納させる請求項１記載の触診支援装置。
  3. 　前記圧力データと、前記世界座標系の座標と、前記時刻情報と、に基づき、前記患部の弾性係数を算出する弾性係数算出部を有し、
    　前記格納部は、
    　前記弾性係数を、前記圧力データと前記世界座標系の座標と前記時刻情報とに対応付けて前記記憶部に格納させる請求項２記載の触診支援装置。
  4. 　前記記憶部を参照し、前記患部の画像を撮像する患部撮像用カメラにより撮像された前記患部の画像に、前記マーカの位置情報と対応した前記圧力データの分布を表示させる
    マッピング部を有する請求項３記載の触診支援装置。
  5. 　前記計測用カメラは、少なくとも２台以上であり、所定の位置に固定されている請求項４記載の触診支援装置。
  6. 　前記世界座標算出部は、
    　前記計測用カメラに前記マーカが写らないとき、
    　当該触診支援装置と接続された、前記マーカの移動に応じて移動する移動計測用カメラが撮影した前記マーカの画像から得たカメラ座標系の座標から、前記世界座標系の座標を算出する請求項２乃至５の何れか一項に記載の触診支援装置。
  7. 　前記世界座標算出部は、
    　前記計測用カメラが撮影した前記マーカの画像と、前記マーカの移動に応じて移動する移動計測用カメラが撮影した前記マーカの画像と、から得たカメラ座標系の座標から、前記世界座標系の座標を算出する請求項２乃至５の何れか一項に記載の触診支援装置。
  8. 　コンピュータによる触診支援方法であって、該コンピュータが、
    　患部に触れる位置に装着された圧力センサから出力される圧力データを取得するタイミングと、前記圧力センサと対応付けられた位置に装着されたマーカの位置情報を取得するタイミングとを同期させ、
    　同期したタイミングで取得した前記圧力データと、前記マーカの位置情報と、前記圧力データ及び前記位置情報を取得した時刻を示す時刻情報と、を対応付けて記憶部に格納させ触診支援方法。
  9. 　患部に触れる位置に装着された圧力センサから出力される圧力データを取得するタイミングと、前記圧力センサと対応付けられた位置に装着されたマーカの位置情報を取得するタイミングとを同期させ、
    　同期したタイミングで取得した前記圧力データと、前記マーカの位置情報と、前記圧力データ及び前記位置情報を取得した時刻を示す時刻情報と、を対応付けて記憶部に格納させる処理と、をコンピュータに実行させる触診支援プログラム。
PCT/JP2014/053407 2014-02-14 2014-02-14 触診支援装置、触診支援方法及び触診支援プログラム WO2015121957A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015562631A JP6481622B2 (ja) 2014-02-14 2014-02-14 触診支援装置、触診支援方法及び触診支援プログラム
PCT/JP2014/053407 WO2015121957A1 (ja) 2014-02-14 2014-02-14 触診支援装置、触診支援方法及び触診支援プログラム
US15/231,957 US10716507B2 (en) 2014-02-14 2016-08-09 Palpation assisting apparatus, palpation assisting system, and palpation assisting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/053407 WO2015121957A1 (ja) 2014-02-14 2014-02-14 触診支援装置、触診支援方法及び触診支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/231,957 Continuation US10716507B2 (en) 2014-02-14 2016-08-09 Palpation assisting apparatus, palpation assisting system, and palpation assisting method

Publications (1)

Publication Number Publication Date
WO2015121957A1 true WO2015121957A1 (ja) 2015-08-20

Family

ID=53799724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/053407 WO2015121957A1 (ja) 2014-02-14 2014-02-14 触診支援装置、触診支援方法及び触診支援プログラム

Country Status (3)

Country Link
US (1) US10716507B2 (ja)
JP (1) JP6481622B2 (ja)
WO (1) WO2015121957A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3395331A1 (en) 2017-04-26 2018-10-31 Alfred E. Tiefenbacher (GmbH & Co. KG) Pharmaceutical tablet composition comprising eltrombopag olamine
EP3409272A1 (en) 2018-03-07 2018-12-05 Alfred E. Tiefenbacher (GmbH & Co. KG) Pharmaceutical composition comprising eltrombopag olamine, reducing sugar, and polymeric binder

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180317855A1 (en) * 2017-05-08 2018-11-08 International Business Machines Corporation Cognitive analysis of e-tattoo acquired palpation measurements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129068A1 (en) * 2002-11-18 2006-06-15 Arthur Makosinski Palpometer and methods of use thereof
JP2009052912A (ja) * 2007-08-23 2009-03-12 Univ Nihon 硬軟試験方法、硬軟試験装置、及び硬軟測定装置
US20120225413A1 (en) * 2009-09-30 2012-09-06 University Of Florida Research Foundation, Inc. Real-time feedback of task performance

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144877A (en) * 1976-08-12 1979-03-20 Yeda Research And Development Co. Ltd. Instrument for viscoelastic measurement
JPH0225202U (ja) * 1988-08-03 1990-02-20
US5524636A (en) * 1992-12-21 1996-06-11 Artann Corporation Dba Artann Laboratories Method and apparatus for elasticity imaging
US6351549B1 (en) 1997-10-24 2002-02-26 Ultratouch Corporation Detection head for an apparatus for detecting very small breast anomalies
JP2001265522A (ja) * 2000-03-16 2001-09-28 Keio Gijuku 爪に装着するセンサ
JP2002085353A (ja) 2000-09-11 2002-03-26 Mamoru Mitsuishi 遠隔診断システム
WO2003063719A1 (fr) 2002-01-29 2003-08-07 Nihon University Systeme de support chirurgical de decoupage de peau
JP3725887B2 (ja) * 2003-10-16 2005-12-14 国立大学法人岐阜大学 触診訓練用装置
JP3729829B2 (ja) * 2004-02-13 2005-12-21 国立大学法人岐阜大学 理学的診療訓練用人体装着具
JP3668975B1 (ja) 2004-03-17 2005-07-06 有限会社山口ティー・エル・オー 腹力測定装置
JP4467457B2 (ja) * 2004-04-02 2010-05-26 有限会社グローバルコーポレーション 触感鋭敏化グローブ
JP2006250623A (ja) * 2005-03-09 2006-09-21 Ricoh Co Ltd 光検出装置及び光検出方法
JP2006247332A (ja) * 2005-03-09 2006-09-21 Honda Seiki Kk 生体硬度測定装置
US9978288B2 (en) * 2009-02-13 2018-05-22 University Of Florida Research Foundation, Inc. Communication and skills training using interactive virtual humans
JP5605534B2 (ja) 2009-05-30 2014-10-15 国立大学法人 千葉大学 触診装置、寝台装置及びこれらを用いた腹診装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129068A1 (en) * 2002-11-18 2006-06-15 Arthur Makosinski Palpometer and methods of use thereof
JP2009052912A (ja) * 2007-08-23 2009-03-12 Univ Nihon 硬軟試験方法、硬軟試験装置、及び硬軟測定装置
US20120225413A1 (en) * 2009-09-30 2012-09-06 University Of Florida Research Foundation, Inc. Real-time feedback of task performance

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3395331A1 (en) 2017-04-26 2018-10-31 Alfred E. Tiefenbacher (GmbH & Co. KG) Pharmaceutical tablet composition comprising eltrombopag olamine
WO2018197088A1 (en) 2017-04-26 2018-11-01 Alfred E. Tiefenbacher (Gmbh & Co. Kg) Pharmaceutical tablet composition comprising eltrombopag olamine
EP4019009A1 (en) 2017-04-26 2022-06-29 Alfred E. Tiefenbacher (GmbH & Co. KG) Pharmaceutical tablet composition comprising eltrombopag olamine
EP3409272A1 (en) 2018-03-07 2018-12-05 Alfred E. Tiefenbacher (GmbH & Co. KG) Pharmaceutical composition comprising eltrombopag olamine, reducing sugar, and polymeric binder
WO2019086725A2 (en) 2018-03-07 2019-05-09 Alfred E. Tiefenbacher (Gmbh & Co. Kg) Pharmaceutical composition comprising eltrombopag olamine, reducing sugar, and polymeric binder

Also Published As

Publication number Publication date
US20160345899A1 (en) 2016-12-01
JPWO2015121957A1 (ja) 2017-03-30
JP6481622B2 (ja) 2019-03-13
US10716507B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
JP7091531B2 (ja) 身体上ジェスチャ・インターフェース及び投影表示のための方法
JP6181373B2 (ja) 医用情報処理装置及びプログラム
JP6381918B2 (ja) 動作情報処理装置
CN107115123B (zh) 用于远程地调整声音采集传感器参数的系统和方法
US9004687B2 (en) Eye tracking headset and system for neuropsychological testing including the detection of brain damage
JP2015061579A (ja) 動作情報処理装置
KR101967997B1 (ko) 관절가동범위를 측정하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
EP3621276A1 (en) Apparatus, method and program for determining a cognitive state of a user of a mobile device
CN110990649A (zh) 基于姿势识别技术的心肺复苏术互动培训系统
JP6481622B2 (ja) 触診支援装置、触診支援方法及び触診支援プログラム
Li et al. Gait analysis using stereo camera in daily environment
CN111053530B (zh) 定位人体内的位置的方法及系统
KR20130059307A (ko) 의료 영상 데이터에 대한 물리적 검사의 향상을 위한 방법 및 장치
Krupicka et al. Motion capture system for finger movement measurement in Parkinson disease
EP3647900A1 (en) Telemedical device, information acquisition device, and telemedical system and method
JP6540946B2 (ja) 生体情報計測装置
WO2015015385A1 (en) System and method for guiding the placement of a sensor
TW202023478A (zh) 脊椎側彎量測系統與方法
CN112656366B (zh) 一种非接触式测量瞳孔大小的方法和系统
CN111419272B (zh) 操作台、医生端操控装置及主从超声检测系统
CN110638524B (zh) 一种基于vr眼镜的肿瘤穿刺实时模拟系统
KR20140132864A (ko) 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스
JP2022519988A (ja) 患者のストレスを視覚化するためのシステム
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14882668

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015562631

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14882668

Country of ref document: EP

Kind code of ref document: A1