KR102619164B1 - Real-time measuring method and apparatus for 3D direction of anterior pelvic plane - Google Patents

Real-time measuring method and apparatus for 3D direction of anterior pelvic plane Download PDF

Info

Publication number
KR102619164B1
KR102619164B1 KR1020210166103A KR20210166103A KR102619164B1 KR 102619164 B1 KR102619164 B1 KR 102619164B1 KR 1020210166103 A KR1020210166103 A KR 1020210166103A KR 20210166103 A KR20210166103 A KR 20210166103A KR 102619164 B1 KR102619164 B1 KR 102619164B1
Authority
KR
South Korea
Prior art keywords
coordinate system
local coordinate
pelvic plane
sensor
anterior pelvic
Prior art date
Application number
KR1020210166103A
Other languages
Korean (ko)
Other versions
KR20230078905A (en
Inventor
김윤혁
김경수
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020210166103A priority Critical patent/KR102619164B1/en
Publication of KR20230078905A publication Critical patent/KR20230078905A/en
Application granted granted Critical
Publication of KR102619164B1 publication Critical patent/KR102619164B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4571Evaluating the hip
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/505Clinical applications involving diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/46Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/4607Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of hip femoral endoprostheses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/46Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4657Measuring instruments used for implanting artificial joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/46Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning

Abstract

본 발명은 전방 골반 평면의 3차원 방향 실시간 측정 방법 및 장치에 관한 발명이다.
본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법은 대상체의 골반 후방에 수평 막대 및 수직 막대가 중심에서 연장되는 센서를 부착하는 단계, 촬상부가 적어도 상기 대상체의 정면 및 측면을 포함하는 복수 개의 영상을 촬상하고, 촬상과 동시에 상기 센서가 자세 정보를 측정하는 단계, 제어부가 상기 대상체의 영상에 기초하여 전방 골반 평면(anterior pelvic plane)을 결정하는 단계, 상기 제어부가 상기 대상체의 영상 및 자세 정보에 기초하여 국소 좌표계를 정의하는 단계, 상기 제어부가 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합(registration)하는 단계 및 상기 제어부가 상기 센서가 실시간으로 측정하는 자세 정보에 기초하여, 전방 골반 평면의 방향을 결정하는 단계를 포함한다.
The present invention relates to a method and device for real-time measurement of the three-dimensional direction of the anterior pelvic plane.
A three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention includes attaching a sensor with a horizontal bar and a vertical bar extending from the center to the rear of the pelvis of an object, and an imaging unit measuring at least the front and sides of the object. capturing a plurality of images including, and having the sensor measure posture information simultaneously with the imaging; determining, by a control unit, an anterior pelvic plane based on the image of the object; and determining, by the control unit, an anterior pelvic plane based on the image of the object. Defining a local coordinate system based on the image and posture information, registering the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane by the control unit, and registering the local coordinate system of the anterior pelvic plane by the control unit, and position information measured by the sensor in real time. Based on this, determining the direction of the anterior pelvic plane.

Description

전방 골반 평면의 3차원 방향 실시간 측정 방법 및 장치{Real-time measuring method and apparatus for 3D direction of anterior pelvic plane}Real-time measuring method and apparatus for 3D direction of anterior pelvic plane}

본 발명은 전방 골반 평면의 3차원 방향을 실시간으로 측정할 수 있는 방법 및 장치에 관한 발명이다.The present invention relates to a method and device that can measure the three-dimensional direction of the anterior pelvic plane in real time.

전방 골반 평면(anterior pelvic plane)은 골반의 위앞엉덩뼈가시(전상 장골 극, anterior superior iliac spines, ASISs)와 두덩결합(치골결합, pubic symphysis, PS)를 지나는 평면(plane)으로 결정된다.The anterior pelvic plane is determined by the plane passing through the anterior superior iliac spines (ASIS) and the pubic symphysis (PS) of the pelvis.

고관절 전치환술(Total hip replacement)에서 대퇴골 부분 비구에 해당하는 삽입물(implant)의 위치와 방향, 특히 전방경사각(anteversion)을 결정하는 것이 매우 중요한데, 일반적으로 서있는 자세(standing posture)에서 촬상한 측면 X-ray 사진에서 측정한 전방 골반 평면(anterior pelvic plane)과 관상면(coronal plane) 사이의 각도를 이용하여 수술계획을 수립한다. 이와 같이 인공 고관절 수술에서 전방 골반 평면은 수술 계획의 지표로 중요하게 사용된다.In total hip replacement, it is very important to determine the location and direction of the implant corresponding to the femoral acetabulum, especially the anterior tilt angle. Side -Establish a surgical plan using the angle between the anterior pelvic plane and the coronal plane measured from the ray photograph. In this way, in artificial hip joint surgery, the anterior pelvic plane is used as an important indicator in surgical planning.

그러나 종래에는 특정 자세에서의 2차원 각도를 측정하여 인공 고관절 수술에 제한적인 정보를 제공하는 것에 그친다. 실제 인체는 실시간으로 3차원 움직임을 보이므로, 인공 고관절 수술의 성공률을 향상시키기 위해서는 걷기, 계단 오르기 등 동작 중 전방 골반 평면(anterior pelvic plane)의 3차원 방향(orientation) 정보를 실시간으로 측정하는 기술이 필요하다.However, conventional methods only provide limited information for artificial hip joint surgery by measuring the two-dimensional angle in a specific posture. Since the actual human body shows three-dimensional movement in real time, in order to improve the success rate of artificial hip joint surgery, technology is used to measure three-dimensional orientation information of the anterior pelvic plane in real time during movements such as walking and climbing stairs. This is needed.

한국등록특허공보 KR 10-0617490 B1Korean Patent Publication KR 10-0617490 B1

본 발명은 전술한 문제점을 해결하기 위한 발명으로, 전방 골반 평면의 3차원 방향 정보를 실시간으로 측정함으로써, 인공 고관절 수술의 성공률을 향상시킬 수 있는 발명을 제공할 수 있다.The present invention is an invention to solve the above-mentioned problems, and can provide an invention that can improve the success rate of artificial hip joint surgery by measuring 3D direction information of the anterior pelvic plane in real time.

다만 이러한 과제는 예시적이며 본 발명에서 해결하고자 하는 과제는 이에 한정되지 않는다.However, these problems are illustrative and the problems to be solved by the present invention are not limited thereto.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법은 대상체의 골반 후방에 수평 막대 및 수직 막대가 중심에서 연장되는 센서를 부착하는 단계, 촬상부가 적어도 상기 대상체의 정면 및 측면을 포함하는 복수 개의 영상을 촬상하고, 촬상과 동시에 상기 센서가 자세 정보를 측정하는 단계, 제어부가 상기 대상체의 영상에 기초하여 전방 골반 평면(anterior pelvic plane)을 결정하는 단계, 상기 제어부가 상기 대상체의 영상 및 자세 정보에 기초하여 국소 좌표계를 정의하는 단계, 상기 제어부가 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합(registration)하는 단계 및 상기 제어부가 상기 센서가 실시간으로 측정하는 자세 정보에 기초하여, 전방 골반 평면의 방향을 결정하는 단계를 포함한다.A three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention includes attaching a sensor with a horizontal bar and a vertical bar extending from the center to the rear of the pelvis of an object, and an imaging unit measuring at least the front and sides of the object. capturing a plurality of images including, and having the sensor measure posture information simultaneously with the imaging; determining, by a control unit, an anterior pelvic plane based on the image of the object; and determining, by the control unit, an anterior pelvic plane based on the image of the object. Defining a local coordinate system based on the image and posture information, registering the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane by the control unit, and registering the local coordinate system of the anterior pelvic plane by the control unit, and position information measured by the sensor in real time. Based on this, determining the direction of the anterior pelvic plane.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 촬상부는 상기 영상에 골반에 부착된 센서의 수평 막대의 양단과 수직 막대의 양단 및 전방 골반 평면을 결정하는 3개의 해부학점(anatomical landmark)으로서 R-ASIS(right anterior superior iliac spine), L-ASIS(left anterior superior iliac spine) 및 MPT(midpoint of the pubic tubercles)이 나타나도록 상기 영상을 촬상할 수 있다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the imaging unit determines both ends of the horizontal bar and both ends of the vertical bar of the sensor attached to the pelvis and the anterior pelvic plane in the image. The image can be captured to show the dog's anatomical landmarks: right anterior superior iliac spine (R-ASIS), left anterior superior iliac spine (L-ASIS), and midpoint of the pubic tubercles (MPT).

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 자세 정보를 측정하는 단계는 상기 센서가 6축 관성 측정 장치로서 상기 자세 정보를 오일러 각도(롤, 피치 및 요)로 나타내고, 상기 제어부가 상기 자세 정보에 기초하여 상기 수평 막대의 일단에서 타단 방향을 x축, 상기 수직 막대의 일단에서 타단 방향을 z축으로 갖는 국소 좌표계를 정의하는 단계를 더 포함할 수 있다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the step of measuring the posture information includes using the sensor as a 6-axis inertial measurement device to measure the posture information using Euler angles (roll, pitch, and yaw). ), and the control unit may further include defining a local coordinate system having the x-axis as the direction from one end of the horizontal bar to the other end of the horizontal bar and the z-axis as the direction from one end to the other end of the vertical bar based on the posture information. .

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 국소 좌표계를 정의하는 단계는 상기 제어부가 상기 국소 좌표계를 3차원 벡터로 표시하고, 이를 정규화(normalization)하여 상기 자세 정보를 3차원으로 나타내는 정규 직교 기저 벡터를 열벡터로 하는 행렬을 계산할 수 있다. 여기서 정규 직교 기저 및 행렬은 다음과 같이 나타낸다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the step of defining the local coordinate system includes the control unit displaying the local coordinate system as a three-dimensional vector and normalizing it to determine the local coordinate system. It is possible to calculate a matrix whose column vectors are regular orthogonal basis vectors that represent posture information in three dimensions. Here, the normal orthogonal basis and matrix are expressed as follows.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계는 상기 영상에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하기 위한 하나 이상의 기준점을 결정하는 단계, 상기 기준점에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계 및 결정된 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계를 포함할 수 있다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the step of matching the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane includes the local coordinate system of the sensor and the local coordinate system of the sensor based on the image. determining one or more reference points for registering a local coordinate system of the anterior pelvic plane, determining a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane based on the reference points, and the determined local coordinate system of the sensor and the It may include registering a local coordinate system of the anterior pelvic plane.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 기준점을 결정하는 단계는 상기 영상에 표시된 상기 수직 막대의 양단, 상기 수평 막대의 양단 및 상기 전방 골반 평면을 결정하는 3개의 해부학점을 기준점으로서 넘버링하는 단계 및 상기 영상에서 기 설정된 원점에서 상기 넘버링된 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하는 단계를 포함하고, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 원점에서 상기 복수 개의 기준점까지의 거리에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정의하는 벡터를 계산할 수 있다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the step of determining the reference point includes determining both ends of the vertical bar, both ends of the horizontal bar, and the anterior pelvic plane displayed in the image. A step of numbering three anatomical points as reference points and measuring the distance from a preset origin in the image to the numbered plurality of reference points in pixel units, and the local coordinate system of the sensor and the anterior pelvic plane. Determining a local coordinate system may include calculating a vector defining a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane based on the distance from the origin to the plurality of reference points.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 넘버링하는 단계는 상기 수직 막대의 상단 및 하단, 상기 수평 막대의 좌측단 및 우측단, 상기 전방 골반 평면을 결정하는 3개의 해부학점 L-ASIS, MPT 및 R-ASIS를 각각 P1 내지 P7으로 넘버링하고, 상기 픽셀 단위로 측정하는 단계는 상기 정면 영상의 원점 OF 및 상기 측면 영상의 원점 OS에서 상기 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하고, 원점 OF에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 원점 OS에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 영상에서 상기 수직 막대의 양단 간의 높이 차이를 단위 길이로 하여, 상기 원점과 상기 복수 개의 기준점까지의 거리를 상기 단위 길이로 나눠 상기 복수 개의 기준점 간의 벡터의 방향 성분을 결정할 수 있다. 여기서 은 정면 영상의 가로 방향 픽셀, 은 정면 영상의 세로 방향 픽셀, 은 측면 영상의 가로 방향 픽셀, 은 측면 영상의 세로 방향 픽셀을 나타내며, 는 1 내지 7의 자연수이다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the numbering step determines the top and bottom of the vertical bar, the left and right ends of the horizontal bar, and the anterior pelvic plane. The three anatomical points L-ASIS, MPT, and R-ASIS are numbered as P1 to P7, respectively, and the step of measuring in pixel units is performed at the origin O F of the frontal image and the origin O S of the side image. Measure the distance to the reference point in pixels, and measure the horizontal and vertical distances from the origin O F , respectively. , It is expressed as , and the horizontal distance and vertical distance from the origin O S are respectively , In the step of determining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane, the height difference between both ends of the vertical bar in the image is set as a unit length, and the distance between the origin and the plurality of reference points is calculated as the unit length. The direction component of the vector between the plurality of reference points can be determined by dividing by the unit length. here is the horizontal pixel of the frontal image, is the vertical pixel of the frontal image, is the horizontal pixel of the side image, represents the vertical pixel of the side image, is a natural number from 1 to 7.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 정면 영상에서의 높이 차이 , 측면 영상의 높이 차이 를 각각 계산하고, 이에 기초하여 기준점 간의 벡터 를 계산하고, 이로부터 센서의 국소 좌표계를 정의하는 2개의 벡터 , 및 전방 골반 평면의 국소 좌표계를 정의하는 2개의 벡터 , 을 결정할 수 있다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the step of determining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane is determined by measuring the height difference in the frontal image. , height difference between side images Calculate each, and based on this, the vector between the reference points , from which two vectors define the local coordinate system of the sensor. , and two vectors defining the local coordinate system of the anterior pelvic plane. , can be decided.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 센서의 3차원 센서 방향을 나타내는 정규 직교 기저로서 , , 를 계산하고, 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 상기 전방 골반 평면의 국소 좌표계를 결정하는 벡터로서 , , 를 계산하고, 결정된 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계는 에 기초하여 3차원 공간과 상기 영상에서의 센서의 국소 좌표계를 정합하는 단계 및 에 기초하여 상기 영상에서의 상기 센서의 국소 좌표계와 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계를 포함할 수 있다.In the real-time measurement method for the three-dimensional orientation of the anterior pelvic plane according to an embodiment of the present invention, the step of determining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane is a normal orthogonal coordinate system representing the three-dimensional sensor direction of the sensor. As a basis , , Calculate as a 3×3 matrix with the normal orthogonal basis vector as the column vector. , and as a vector determining the local coordinate system of the anterior pelvic plane, , , Calculating and matching the determined local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane is and Matching the local coordinate system of the sensor in the image with the three-dimensional space based on It may include matching a local coordinate system of the sensor in the image with a local coordinate system of the anterior pelvic plane based on .

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법에 있어서, 상기 전방 골반 평면의 방향을 결정하는 단계는 상기 센서가 실시간으로 측정하는 상기 센서의 자세 정보에 기초하여 상기 센서의 3차원 방향을 나타내는 정규 직교 기저 를 계산하고 이로부터 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 이로부터 전방 골반 평면의 법선 방향을 나타내는 벡터 및 전방 골반 평면을 결정하는 해부학점의 방향을 나타내는 벡터의 위도 및 경도를 결정할 수 있다.In the three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention, the step of determining the direction of the anterior pelvic plane is based on the posture information of the sensor measured in real time by the sensor. Normal orthogonal basis representing 3D orientation Calculate and from this, as a 3×3 matrix with the normal orthogonal basis vector as the column vector, is defined, and from this, the latitude and longitude of the vector representing the normal direction of the anterior pelvic plane and the vector representing the direction of the anatomical point that determines the anterior pelvic plane can be determined.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치는 대상체의 영상을 촬상하는 촬상부, 상기 대상체에 부착되어 자세 정보를 측정하는 센서 및 제어부를 포함하고, 상기 촬상부는 상기 대상체의 정면 및 측면을 포함하는 복수 개의 영상을 촬상하고, 상기 센서는 중심에서 연장되는 수평 막대 및 수직 막대를 구비하고, 대상체의 골반 후방에 부착되며, 상기 촬상부가 영상을 촬상함과 동시에 상기 자세 정보를 측정하고, 상기 제어부는 상기 대상체의 영상에 기초하여 전방 골반 평면을 결정하고, 상기 대상체의 영상 및 자세 정보에 기초하여 국소 좌표계를 정의하고, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하고, 상기 센서가 실시간으로 측정하는 자세 정보에 기초하여, 전방 골반 평면의 방향을 결정한다.A three-dimensional real-time measurement device for the anterior pelvic plane according to an embodiment of the present invention includes an imaging unit that captures an image of an object, a sensor and a control unit attached to the object to measure posture information, and the imaging unit is configured to capture an image of the object. A plurality of images including the front and sides of the sensor are captured, the sensor has a horizontal bar and a vertical bar extending from the center, and is attached to the rear of the pelvis of the object, and the image capture unit captures the image and simultaneously captures the posture information. Measures, and the control unit determines the anterior pelvic plane based on the image of the object, defines a local coordinate system based on the image and posture information of the object, and defines a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane. and determine the direction of the anterior pelvic plane based on the posture information measured by the sensor in real time.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 촬상부는 상기 영상에서 골반에 부착된 센서의 수평 막대의 양단과 수직 막대의 양단 및 전방 골반 평면을 결정하는 3개의 해부학점으로서 R-ASIS, L-ASIS 및 MPT이 확인되도록 상기 영상을 촬상할 수 있다.In the three-dimensional real-time measurement device for the anterior pelvic plane according to an embodiment of the present invention, the imaging unit determines both ends of the horizontal bar and both ends of the vertical bar of the sensor attached to the pelvis and the anterior pelvic plane in the image. The image can be captured to identify the dog's anatomical points R-ASIS, L-ASIS, and MPT.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 센서는 6축 관성 측정 장치로서 상기 자세 정보를 오일러 각도(롤, 피치 및 요)로 표시하고, 상기 제어부는 상기 자세 정보에 기초하여 상기 수평 막대의 일단에서 타단 방향을 x축, 상기 수직 막대의 일단에서 타단 방향을 z축으로 갖는 국소 좌표계를 정의할 수 있다.In the three-dimensional real-time measurement device for the anterior pelvic plane according to an embodiment of the present invention, the sensor is a 6-axis inertial measurement device that displays the posture information in Euler angles (roll, pitch, and yaw), and the control unit Based on the posture information, a local coordinate system can be defined in which the x-axis is the direction from one end of the horizontal bar to the other end, and the z-axis is the direction from one end to the other end of the vertical bar.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 제어부는 상기 국소 좌표계를 3차원 벡터로 표시하고, 이를 정규화하여 상기 자세 정보를 3차원으로 나타내는 정규 직교 기저 벡터를 열벡터로 하는 행렬을 계산할 수 있다. 여기서 정규 직교 기저 및 행렬은 다음과 같이 나타낸다.In the real-time measurement device for 3D orientation of the anterior pelvic plane according to an embodiment of the present invention, the control unit displays the local coordinate system as a 3D vector and normalizes it to form a normal orthogonal basis vector representing the posture information in 3D. You can calculate a matrix with as a column vector. Here, the normal orthogonal basis and matrix are expressed as follows.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 제어부는 상기 영상에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하기 위한 하나 이상의 기준점을 결정하고, 상기 기준점에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하고, 결정된 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합할 수 있다.In the three-dimensional real-time measurement device of the anterior pelvic plane according to an embodiment of the present invention, the control unit sets one or more reference points for matching the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane based on the image. and determine a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane based on the reference point, and match the determined local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 제어부는 상기 영상에 표시된 상기 수직 막대의 양단, 상기 수평 막대의 양단 및 상기 전방 골반 평면을 결정하는 3개의 해부학점을 기준점으로서 넘버링하고, 상기 영상에서 기 설정된 원점에서 상기 넘버링된 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하고, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 원점에서 상기 복수 개의 기준점까지의 거리에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정의하는 벡터를 계산할 수 있다.In the three-dimensional real-time measurement device for the anterior pelvic plane according to an embodiment of the present invention, the control unit determines both ends of the vertical bar, both ends of the horizontal bar, and the anterior pelvic plane displayed in the image. Numbering a point as a reference point, measuring the distance from a preset origin in the image to the plurality of numbered reference points in pixel units, and determining a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane include the origin A vector defining a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane may be calculated based on the distances from the plurality of reference points.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 제어부는 상기 수직 막대의 상단 및 하단, 상기 수평 막대의 좌측단 및 우측단, 상기 전방 골반 평면을 결정하는 3개의 해부학점 L-ASIS, MPT 및 R-ASIS를 각각 P1 내지 P7으로 넘버링하고, 상기 정면 영상의 원점 OF 및 상기 측면 영상의 원점 OS에서 상기 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하고, 원점 OF에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 원점 OS에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 상기 영상에서 상기 수직 막대의 양단 간의 높이 차이를 단위 길이로 하여, 상기 원점과 상기 복수 개의 기준점까지의 거리를 상기 단위 길이로 나눠 상기 복수 개의 기준점 간의 벡터의 방향 성분을 결정할 수 있다. 여기서 은 정면 영상의 가로 방향 픽셀, 은 정면 영상의 세로 방향 픽셀, 은 측면 영상의 가로 방향 픽셀, 은 측면 영상의 세로 방향 픽셀을 나타내며, 는 1 내지 7의 자연수이다.In the three-dimensional real-time measurement device for the anterior pelvic plane according to an embodiment of the present invention, the control unit determines the upper and lower ends of the vertical bar, the left and right ends of the horizontal bar, and the anterior pelvic plane. The dog's anatomical points L-ASIS, MPT, and R-ASIS are numbered as P1 to P7, respectively, and the distance from the origin O F of the frontal image and the origin O S of the side image to the plurality of reference points is measured in pixels, , the horizontal distance and vertical distance from the origin O F , respectively. , It is expressed as , and the horizontal distance and vertical distance from the origin O S are respectively , It is expressed as , and the height difference between both ends of the vertical bar in the image is taken as a unit length, and the distance between the origin and the plurality of reference points is divided by the unit length to determine the direction component of the vector between the plurality of reference points. here is the horizontal pixel of the frontal image, is the vertical pixel of the frontal image, is the horizontal pixel of the side image, represents the vertical pixel of the side image, is a natural number from 1 to 7.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 제어부는 정면 영상에서의 높이 차이 , 측면 영상의 높이 차이 를 각각 계산하고, 이에 기초하여 기준점 간의 벡터 를 계산하고, 이로부터 센서의 국소 좌표계를 정의하는 2개의 벡터 , 및 전방 골반 평면의 국소 좌표계를 정의하는 2개의 벡터 , 을 결정할 수 있다.In the real-time measurement device for the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention, the control unit measures the height difference in the frontal image. , height difference between side images Calculate each, and based on this, the vector between the reference points , from which two vectors define the local coordinate system of the sensor. , and two vectors defining the local coordinate system of the anterior pelvic plane. , can be decided.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 제어부는 상기 센서의 3차원 센서 방향을 나타내는 정규 직교 기저로서 , , 를 계산하고, 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 상기 전방 골반 평면의 국소 좌표계를 결정하는 벡터로서 , , 를 계산하고, 에 기초하여 3차원 공간과 상기 영상에서의 센서의 국소 좌표계를 정합하고, 에 기초하여 상기 영상에서의 상기 센서의 국소 좌표계와 상기 전방 골반 평면의 국소 좌표계를 정합할 수 있다.In the real-time measuring device for the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention, the control unit uses a regular orthogonal basis indicating the three-dimensional sensor direction of the sensor. , , Calculate as a 3×3 matrix with the normal orthogonal basis vector as the column vector. , and as a vector determining the local coordinate system of the anterior pelvic plane, , , Calculate and Based on , match the local coordinate system of the sensor in the three-dimensional space and the image, Based on this, the local coordinate system of the sensor in the image can be matched with the local coordinate system of the anterior pelvic plane.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치에 있어서, 상기 제어부는 상기 센서가 실시간으로 측정하는 상기 센서의 자세 정보에 기초하여 상기 센서의 3차원 방향을 나타내는 정규 직교 기저 를 계산하고 이로부터 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 이로부터 전방 골반 평면의 법선 방향을 나타내는 벡터 및 전방 골반 평면을 결정하는 해부학점의 방향을 나타내는 벡터의 위도 및 경도를 결정할 수 있다.In the real-time measurement device for the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention, the control unit generates a regular orthogonal basis indicating the three-dimensional direction of the sensor based on the posture information of the sensor that the sensor measures in real time. Calculate and from this, as a 3×3 matrix with the normal orthogonal basis vector as the column vector, is defined, and from this, the latitude and longitude of the vector representing the normal direction of the anterior pelvic plane and the vector representing the direction of the anatomical point that determines the anterior pelvic plane can be determined.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치 및 방법은 센서와 전방 골반 평면의 국소 좌표계를 정합하여, 대상체의 자세가 변하더라도 전방 골반 평면의 방향을 나타내는 벡터를 실시간으로 출력할 수 있다. 이를 통해 특정 자세에 국한하는 것이 아니라, 동적 3차원 전방 골반 평면의 방향 측정 기술을 구현할 수 있다.An apparatus and method for real-time measuring the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention matches the local coordinate system of the sensor and the anterior pelvic plane, and generates a vector representing the direction of the anterior pelvic plane in real time even if the posture of the object changes. Can be printed. Through this, it is possible to implement a dynamic three-dimensional anterior pelvic plane direction measurement technology that is not limited to a specific posture.

도 1은 본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 대상체의 정면 영상을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 대상체의 측면 영상을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 좌표계에서의 위도 및 경도를 나타낸다.
도 6 및 도 7은 본 발명의 일 실시예에 따라 계산한 전방 골반 평면의 방향을 결정하는 벡터를 나타낸다.
1 shows a three-dimensional real-time measurement device for the anterior pelvic plane according to an embodiment of the present invention.
Figure 2 shows a method for real-time measuring the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention.
Figure 3 shows a frontal image of an object according to an embodiment of the present invention.
Figure 4 shows a side image of an object according to an embodiment of the present invention.
Figure 5 shows latitude and longitude in a coordinate system according to an embodiment of the present invention.
6 and 7 show vectors determining the direction of the anterior pelvic plane calculated according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 발명의 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시예로 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 일 실시예에 도시되어 있다 하더라도, 동일한 구성요소에 대하여서는 동일한 식별부호를 사용한다.Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the description of the invention. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the present invention. In explaining the present invention, even if it is shown in one embodiment, the same identification numbers are used for the same components.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. When describing with reference to the drawings, identical or corresponding components will be assigned the same reference numerals and redundant description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. In the following embodiments, terms such as first and second are used not in a limiting sense but for the purpose of distinguishing one component from another component.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In the following examples, singular terms include plural terms unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. In the following embodiments, terms such as include or have mean that the features or components described in the specification exist, and do not exclude in advance the possibility of adding one or more other features or components.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the drawings, the sizes of components may be exaggerated or reduced for convenience of explanation. For example, the size and thickness of each component shown in the drawings are shown arbitrarily for convenience of explanation, so the present invention is not necessarily limited to what is shown.

이하의 실시예에서, x축, y축 및 z축은 직교 좌표계 상의 세 축으로 한정되지 않고, 이를 포함하는 넓은 의미로 해석될 수 있다. 예를 들어, x축, y축 및 z축은 서로 직교할 수도 있지만, 서로 직교하지 않는 서로 다른 방향을 지칭할 수도 있다. In the following embodiments, the x-axis, y-axis, and z-axis are not limited to the three axes in the Cartesian coordinate system, but can be interpreted in a broad sense including these. For example, the x-axis, y-axis, and z-axis may be orthogonal to each other, but may also refer to different directions that are not orthogonal to each other.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.In cases where an embodiment can be implemented differently, a specific process sequence may be performed differently from the described sequence. For example, two processes described in succession may be performed substantially at the same time, or may be performed in an order opposite to that in which they are described.

도 1은 본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치(1)를 나타내고, 도 2는 본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법을 나타내고, 도 3은 본 발명의 일 실시예에 따른 대상체(S)의 정면 영상을 나타내고, 도 4는 본 발명의 일 실시예에 따른 대상체(S)의 측면 영상을 나타내고, 도 5는 본 발명의 일 실시예에 따른 좌표계에서의 위도 및 경도를 나타내고, 도 6 및 도 7은 본 발명의 일 실시예에 따라 계산한 전방 경사 평면의 방향을 결정하는 벡터를 나타낸다.Figure 1 shows a real-time measuring device 1 for the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention, and Figure 2 shows a method for real-time measuring the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention. , FIG. 3 shows a frontal image of the object S according to an embodiment of the present invention, FIG. 4 shows a side image of the object S according to an embodiment of the present invention, and FIG. 5 shows an image of the object S according to an embodiment of the present invention. Shows latitude and longitude in a coordinate system according to an embodiment, and Figures 6 and 7 show a vector that determines the direction of the front tilt plane calculated according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 전방 골반 평면(anterior pelvic plane, APP)의 3차원 방향 실시간 측정 방법 및 장치(1, 이하 '실시간 측정 방법 및 장치'라고도 함)는 인공 고관절 수술 등을 실시하는데 있어서 평가 지표로 활용되는 전방 골반 평면의 3차원 방향을 실시간으로 측정하는데 이용될 수 있다.A method and device for real-time measurement of the three-dimensional direction of the anterior pelvic plane (APP) (1, hereinafter also referred to as 'real-time measurement method and device') according to an embodiment of the present invention is used in performing artificial hip joint surgery, etc. It can be used to measure the three-dimensional direction of the anterior pelvic plane in real time, which is used as an evaluation index.

전방 골반 평면은 3개의 해부학점(anatomical landmark)으로서 R-ASIS(right anterior superior iliac spine), L-ASIS(left anterior superior iliac spine) 및 MPT(midpoint of the pubic tubercles)을 지나는 평면으로 결정될 수 있다. 예를 들어 전방 골반 평면은 2개의 ASIS와 MPT를 지나는 노란색 평면으로 표시될 수 있다.The anterior pelvic plane can be determined as a plane passing through three anatomical landmarks: right anterior superior iliac spine (R-ASIS), left anterior superior iliac spine (L-ASIS), and midpoint of the pubic tubercles (MPT). . For example, the anterior pelvic plane may be shown as a yellow plane that passes through the two ASIS and MPT.

본 발명의 일 실시예에 따른 실시간 측정 장치(1)는 촬상부(10), 센서(20) 및 제어부(30)를 포함한다.The real-time measurement device 1 according to an embodiment of the present invention includes an imaging unit 10, a sensor 20, and a control unit 30.

촬상부(10)는 대상체(S)의 영상을 촬상할 수 있다. 여기서 대상체(S)는 특별히 한정하지 않으며, 인간 또는 동물일 수 있다. 촬상부(10)는 의료 영상을 촬상하는 기기로서, X-ray 장치 또는 CT, MRI 장치일 수 있다. 이하에서는 설명의 편의를 위해 촬상부(10)가 환자인 대상체(S)의 X-ray 영상을 촬상하는 경우를 중심으로 설명한다. 촬상부(10)는 대상체(S)의 정면 영상 및 측면 영상을 포함하는 복수 개의 영상을 촬상할 수 있다. 여기서 대상체(S)는 똑바로 서있는 자세(neutral standing posture)이며, 촬상부(10)는 이 상태에서 영상을 촬상할 수 있다.The imaging unit 10 can capture an image of the object S. Here, the object (S) is not particularly limited and may be a human or an animal. The imaging unit 10 is a device that captures medical images and may be an X-ray device or a CT or MRI device. Hereinafter, for convenience of explanation, the description will focus on the case where the imaging unit 10 captures an X-ray image of a subject S, which is a patient. The imaging unit 10 may capture a plurality of images including a front image and a side image of the object S. Here, the object S is in a neutral standing posture, and the imaging unit 10 can capture an image in this state.

일 실시예로 촬상부(10)는 영상에 골반에 부착된 센서(20)의 수직 막대(21)의 양단과 수평 막대(23)의 양단 및 전방 골반 평면을 결정하는 3개의 해부학점 R-ASIS, L-ASIS 및 MPT이 나타나도록 영상을 촬상할 수 있다.In one embodiment, the imaging unit 10 includes both ends of the vertical bar 21 of the sensor 20 attached to the pelvis in the image, both ends of the horizontal bar 23, and three anatomical points R-ASIS that determine the anterior pelvic plane. , images can be captured so that L-ASIS and MPT appear.

센서(20)는 대상체(S)에 부착되어, 자세 정보를 실시간으로 감지할 수 있다. 예를 들어 센서(20)는 대상체(S)의 골반 후방 일측에 부착될 수 있다. 일 실시예로 센서(20)는 관성 측정 장치(IMU, Inertial Measurement Unit)를 이용하는 센서일 수 있다. 센서(20)는 하나 이상의 가속도계와 하나 이상의 자이로 센서를 포함함으로써 대상체(S)의 자세, 보다 구체적으로 롤(roll), 피치(pitch) 및 요(yaw) 기울기를 실시간으로 측정할 수 있다.The sensor 20 is attached to the object S and can detect posture information in real time. For example, the sensor 20 may be attached to one side of the rear pelvis of the object S. In one embodiment, the sensor 20 may be a sensor that uses an inertial measurement unit (IMU). The sensor 20 includes one or more accelerometers and one or more gyro sensors, and thus can measure the posture of the object S, more specifically the roll, pitch, and yaw inclination, in real time.

일 실시예로 센서(20)는 3축 가속도계와 3축 자이로 센서를 포함하는 6축 센서일 수 있다. 그리고 센서(20)는 자세 정보를 ZYX 순서로 오일러 각도인 롤, 피치 및 요로 각각 나타낼 수 있다.In one embodiment, the sensor 20 may be a 6-axis sensor including a 3-axis accelerometer and a 3-axis gyro sensor. Additionally, the sensor 20 can display the attitude information as Euler angles: roll, pitch, and yaw, respectively, in ZYX order.

일 실시예로 센서(20)는 수평 방향으로 연장되는 막대(21)와 수직 방향으로 연장되는 막대(23)를 포함할 수 있다. 도 1에 나타낸 바와 같이, 수직 막대(21)와 수평 막대(23)는 서로 수직으로 교차하여 십자가 형태로 센서(20)에 배치될 수 있다. 일 실시예로 수직 막대(21) 및 수평 막대(23)는 센서(20)의 중심에서 각각 동일 또는 상이한 길이만큼 연장될 수 있다.In one embodiment, the sensor 20 may include a bar 21 extending in a horizontal direction and a bar 23 extending in a vertical direction. As shown in FIG. 1, the vertical bar 21 and the horizontal bar 23 may intersect each other perpendicularly and be placed on the sensor 20 in the shape of a cross. In one embodiment, the vertical bar 21 and the horizontal bar 23 may each extend from the center of the sensor 20 by the same or different lengths.

일 실시예로 수직 막대(21)의 일단(21a)과 타단(21b) 및 수평 막대(23)의 일단(23a)과 타단(23b)에는 각각 금속 포인트가 배치될 수 있다. 도 1에 나타낸 바와 같이, 각각의 금속 포인트는 수직 막대(21) 및 수평 막대(23)의 중심선 상의 양단에 각각 배치될 수 있다. 이에 따라 촬상부(10)가 영상을 촬상했을 때, 영상에서 센서(20)의 위치를 정확하게 확인할 수 있다. 여기서 수직 막대(21)의 일단(21a)과 타단(21b)은 각각 상단과 하단, 수평 막대(23)의 일단(23a)과 타단(23b)은 각각 좌측단과 우측단일 수 있다.In one embodiment, metal points may be disposed on one end (21a) and the other end (21b) of the vertical bar 21 and on one end (23a) and the other end (23b) of the horizontal bar 23, respectively. As shown in FIG. 1, each metal point may be disposed at both ends of the center line of the vertical bar 21 and the horizontal bar 23, respectively. Accordingly, when the imaging unit 10 captures an image, the position of the sensor 20 can be accurately confirmed in the image. Here, one end (21a) and the other end (21b) of the vertical bar 21 may be the upper and lower ends, respectively, and one end (23a) and the other end (23b) of the horizontal bar 23 may be the left end and the right end, respectively.

일 실시예로 센서(20)는 촬상부(10)가 영상을 촬상할 때 대상체(S)의 자세 정보를 측정할 수 있다. 즉 센서(20)는 촬상부(10)가 대상체(S)의 영상을 촬상함과 동시에 대상체(S)의 자세 정보를 제어부(30)에 전달할 수 있다. 이에 따라 제어부(30)는 촬상부(10)가 촬상한 영상과 대상체(S)의 자세 정보를 매칭하여 전방 골반 평면의 방향을 결정할 수 있다.In one embodiment, the sensor 20 may measure posture information of the object S when the imaging unit 10 captures an image. That is, the sensor 20 can transmit the posture information of the object S to the control unit 30 at the same time that the imaging unit 10 captures the image of the object S. Accordingly, the control unit 30 can determine the direction of the anterior pelvic plane by matching the image captured by the imaging unit 10 with the posture information of the object S.

제어부(30)는 촬상부(10) 및 센서(20)를 제어하고, 영상과 자세 정보에 기초하여 전방 골반 평면의 방향을 결정하는데 필요한 연산을 실시할 수 있다. 예를 들어 도 1에 나타낸 바와 같이, 제어부(30)는 디스플레이 모듈(31), 통신 모듈(33), 연산 모듈(35), 입력 모듈(37) 및 저장 모듈(39)을 포함할 수 있다. 디스플레이 모듈(31)은 촬상부(10)가 촬상한 영상 등을 시각적으로 표시하며, 통신 모듈(33)은 촬상부(10), 센서(20) 및 그 외 기타 외부 장치 등과 통신할 수 있다. 또한 연산 모듈(35)은 전방 골반 평면의 방향을 결정하는데 필요한 연산을 실시할 수 있다. 또한 사용자는 키보드, 마우스, 터치 패드 등과 같은 입력 모듈(37)을 통해 필요한 정보를 제어부(30)에 입력할 수 있으며, 저장 모듈(39)은 제어부(30)의 연산에 필요한 정보 및 사용자가 입력한 정보를 저장할 수 있다.The control unit 30 can control the imaging unit 10 and the sensor 20 and perform calculations necessary to determine the direction of the anterior pelvic plane based on the image and posture information. For example, as shown in FIG. 1, the control unit 30 may include a display module 31, a communication module 33, a calculation module 35, an input module 37, and a storage module 39. The display module 31 visually displays images captured by the imaging unit 10, and the communication module 33 can communicate with the imaging unit 10, the sensor 20, and other external devices. Additionally, the calculation module 35 may perform calculations necessary to determine the direction of the anterior pelvic plane. In addition, the user can input necessary information into the control unit 30 through the input module 37 such as a keyboard, mouse, touch pad, etc., and the storage module 39 provides information necessary for the operation of the control unit 30 and input by the user. Information can be stored.

일 실시예로 제어부(30)는 사용자의 스마트폰이나 태블릿, 랩탑 또는 데스크탑 등 전자 장치에 포함될 수 있다. 또는 제어부(30)는 서버 등에 포함될 수 있으며, 연산 결과를 사용자에게 전달할 수 있다. 이를 통해 사용자는 전자 장치를 이용해 촬상부(10)가 촬상한 영상 및 센서(20)가 감지하는 자세 정보를 실시간으로 확인하고, 제어부(30)의 연산 결과를 확인할 수 있다. 또한 사용자는 제어부(30)를 통해 촬상부(10)와 센서(20)를 제어할 수 있다.In one embodiment, the control unit 30 may be included in an electronic device such as a user's smartphone, tablet, laptop, or desktop. Alternatively, the control unit 30 may be included in a server, etc., and may deliver calculation results to the user. Through this, the user can check the image captured by the imaging unit 10 and the posture information detected by the sensor 20 in real time using an electronic device, and check the calculation results of the control unit 30. Additionally, the user can control the imaging unit 10 and sensor 20 through the control unit 30.

일 실시예로 제어부(30)는 촬상부(10)가 촬상한 대상체(S)의 영상에 기초하여 전방 골반 평면을 결정할 수 있다. 앞서 설명한 바와 같이, 전방 골반 평면은 3개의 해부학점 R-ASIS, L-ASIS 및 MPT로 결정되며, 제어부(30)는 촬상부(10)로부터 영상을 전달받아 이로부터 상기 3개의 해부학점을 결정할 수 있다.In one embodiment, the control unit 30 may determine the anterior pelvic plane based on the image of the object S captured by the imaging unit 10. As previously described, the anterior pelvic plane is determined by three anatomical points R-ASIS, L-ASIS, and MPT, and the control unit 30 receives the image from the imaging unit 10 and determines the three anatomical points therefrom. You can.

일 실시예로 제어부(30)는 소정의 알고리즘에 따라 영상으로부터 3개의 해부학점을 결정하고, 이를 통해 전방 골반 평면을 결정할 수 있다. 예를 들어 제어부(30)는 미리 저장되어 있거나 사용자로부터 입력된 대상체(S)에 관한 정보(나이, 성별, 키, 몸무게, 수술 여부)와 영상에서 나타나는 밝기 차이, 음영 차이 등에 기초하여 3개의 해부학점을 결정할 수 있다. 그리고 제어부(30)는 3개의 해부학점을 연결하는 전방 골반 평면을 결정할 수 있다. 예를 들어 전방 골반 평면은 영상에서 확인된 3개의 해부학점을 연결하는 평면으로서, 이를 나타내는 평면 방정식으로 표현할 수 있다.In one embodiment, the control unit 30 may determine three anatomical points from the image according to a predetermined algorithm and determine the anterior pelvic plane through these. For example, the control unit 30 controls three anatomies based on information about the object S (age, gender, height, weight, whether surgery has been performed) that is pre-stored or input by the user, as well as differences in brightness and shading that appear in the image. point can be determined. And the control unit 30 can determine the anterior pelvic plane connecting the three anatomical points. For example, the anterior pelvic plane is a plane connecting three anatomical points identified in the image, and can be expressed as a plane equation.

또한 제어부(30)는 대상체(S)의 영상 및 자세 정보에 기초하여, 국소 좌표계를 각각 정의할 수 있다. 예를 들어, 센서(20)가 자세 정보를 오일러 각도로 나타내고, 제어부(30)는 이와 같은 자세 정보에 기초하여 센서(20)의 수평 막대(23)의 일단(23a)에서 타단(23b)을 향하는 방향을 x축, 수직 막대(21)의 일단(21a)에서 타단(21b)을 향하는 방향을 z축으로 갖는 국소 좌표계를 정의할 수 있다. 여기서 수직 막대(21)의 일단(21a)과 타단(21b)은 각각 상단과 하단, 수평 막대(23)의 일단(23a)과 타단(23b)은 각각 좌측단과 우측단일 수 있다.Additionally, the control unit 30 may define each local coordinate system based on the image and posture information of the object S. For example, the sensor 20 displays posture information in Euler angles, and the control unit 30 moves from one end 23a to the other end 23b of the horizontal bar 23 of the sensor 20 based on this posture information. A local coordinate system can be defined in which the x-axis is the direction and the z-axis is the direction from one end 21a of the vertical bar 21 to the other end 21b. Here, one end (21a) and the other end (21b) of the vertical bar 21 may be the upper and lower ends, respectively, and one end (23a) and the other end (23b) of the horizontal bar 23 may be the left end and the right end, respectively.

그리고 제어부(30)는 이와 같이 정의된 국소 좌표계를 3차원 벡터로 표시하고, 이를 정규화(normalization)하여 센서(20)의 자세 정보에서 얻은 센서(20)의 3차원 방향을 나타내는 정규 직교 기저 를 구할 수 있다. 그리고 제어부(30)는 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬 를 계산한다.And the control unit 30 displays the local coordinate system defined in this way as a three-dimensional vector and normalizes it to form a normal orthogonal basis representing the three-dimensional direction of the sensor 20 obtained from the posture information of the sensor 20. can be obtained. And the control unit 30 is a 3×3 matrix with the normal orthogonal basis vector as the column vector. Calculate .

일 실시예로 제어부(30)는 계산한 국소 좌표계에 기초하여 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합할 수 있다.In one embodiment, the control unit 30 may match the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane based on the calculated local coordinate system.

예를 들어 제어부(30)는 촬상부(10)가 촬상한 영상에 기초하여 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합하기 위한 하나 이상의 기준점을 결정할 수 있다. 또한 제어부(30)는 결정된 기준점에 기초하여 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 결정할 수 있다. 그리고 제어부(30)는 결정된 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합할 수 있다.For example, the control unit 30 may determine one or more reference points for matching the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane based on the image captured by the imaging unit 10. Additionally, the controller 30 may determine the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane based on the determined reference point. And the control unit 30 may match the determined local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane.

예를 들어 제어부(30)는 대상체(S)의 영상에 표시된 수직 막대(21)의 양단(21a, 21b) 및 수평 막대(23)의 양단(23a, 23b), 그리고 전방 골반 평면을 결정하는 3개의 해부학점을 기준점으로서 넘버링할 수 있다. 보다 구체적으로 도 6 및 도 7에 나타낸 바와 같이, 제어부(30)는 대상체(S)의 정면 영상과 측면 영상에서, 수직 막대(21)의 상단(21a) 및 하단(21b), 수평 막대(23)의 좌측단(23a) 및 우측단(23b), 전방 골반 평면을 결정하는 3개의 해부학점 L-ASIS, MPT 및 R-ASIS에 대해 각각 순서대로 P1 내지 P7로 넘버링하여, 기준점을 설정할 수 있다.For example, the control unit 30 controls both ends 21a, 21b of the vertical bar 21 and both ends 23a, 23b of the horizontal bar 23 displayed in the image of the object S, and 3 that determines the anterior pelvic plane. Dog anatomical points can be numbered as reference points. More specifically, as shown in FIGS. 6 and 7, the control unit 30 controls the top 21a and bottom 21b of the vertical bar 21 and the horizontal bar 23 in the front and side images of the object S. ) of the left end (23a) and right end (23b), the three anatomical points L-ASIS, MPT, and R-ASIS that determine the anterior pelvic plane, respectively, can be numbered in order from P1 to P7 to set the reference point. .

또한 제어부(30)는 영상에서 원점을 설정할 수 있다. 예를 들어 도 6에 나타낸 바와 같이, 제어부(30)는 대상체(S)의 정면 영상의 좌측 상단에 위치한 점을 원점 OF로 설정할 수 있다. 또한 도 7에 나타낸 바와 같이, 제어부(30)는 대상체(S)의 측면 영상의 좌측 상단에 위치한 점을 원점 OS로 설정할 수 있다. 다만 영상의 원점은 반드시 좌측 상단에 위치한 점으로 한정하지 않으며, 기준이 될 수 있는 위치면 충분하다.Additionally, the control unit 30 can set the origin in the image. For example, as shown in FIG. 6, the control unit 30 may set a point located in the upper left corner of the frontal image of the object S as the origin O F. Additionally, as shown in FIG. 7 , the control unit 30 may set a point located in the upper left corner of the side image of the object S as the origin O S. However, the origin of the image is not necessarily limited to the point located in the upper left corner, and any location that can serve as a reference is sufficient.

그리고 제어부(30)는 설정된 원점에서 넘버링된 복수 개의 기준점까지의 거리를 측정할 수 있다. 예를 들어 제어부(30)는 이미지 소프트웨어 등을 이용해 원점(OS 및 OF)에서 기준점 P1 내지 P7까지의 거리를 픽셀 단위로 측정할 수 있다. 또한 제어부(30)는 원점(OF)에서 복수 개의 기준점까지의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타낼 수 있다. 또한 제어부(30)는 원점(OS)에서 복수 개의 기준점까지의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타낼 수 있다. 여기서 는 기준점의 번호를 나타내며, 1 내지 7의 자연수이다.And the control unit 30 can measure the distance from the set origin to a plurality of numbered reference points. For example, the control unit 30 can measure the distance from the origin (O S and O F ) to the reference points P1 to P7 in pixel units using image software, etc. In addition, the control unit 30 determines the horizontal distance and vertical distance from the origin (O F ) to the plurality of reference points, respectively. , It can be expressed as In addition, the control unit 30 determines the horizontal distance and vertical distance from the origin ( OS ) to a plurality of reference points, respectively. , It can be expressed as here represents the number of the reference point and is a natural number from 1 to 7.

그리고 제어부(30)는 측정된 원점과 기준점까지의 거리를 이용해, 센서(20)의 국소 좌표계를 정의하는 벡터와 전방 골반 평면을 정의하는 벡터를 계산할 수 있다. 보다 구체적으로 제어부(30)는 영상에서 수직 막대(21)의 양단(21a, 21b) 간의 높이 차이를 단위 길이로 설정한다. 즉 기준점 P1과 P2 간의 높이 차이는 대상체(S)의 정면 영상과 측면 영상에서 동일하므로, 정면에서의 높이 차이 와 측면에서의 높이 차이 And the control unit 30 can use the measured distance from the origin and the reference point to calculate a vector defining the local coordinate system of the sensor 20 and a vector defining the anterior pelvic plane. More specifically, the control unit 30 sets the height difference between the ends 21a and 21b of the vertical bar 21 in the image as a unit length. That is, the height difference between the reference points P1 and P2 is the same in the front and side images of the object (S), so the height difference in the front Height difference from the side

는 동일한 길이를 갖는다. 이를 이용해 제어부(30)는 를 정면 영상과 측면 영상에서의 단위 길이로 정의한다. has the same length. Using this, the control unit 30 and is defined as the unit length in the front and side images.

또한 제어부(30)는 원점과 기준점까지의 길이를 위에서 구한 단위 길이로 나눠, 복수 개의 기준점 간의 벡터의 방향 성분을 결정할 수 있다. 보다 구체적으로 제어부(30)는 벡터의 x 성분을 정면 영상에서의 픽셀 단위로 구한 길이를 단위 길이 UF로 나누고, y 성분을 측면 영상에서의 픽셀 단위로 구한 길이를 단위 길이 US로 나누어 계산한다. z 성분은 정면 영상과 측면 영상에서 모두 계산 가능하므로, 제어부(30)는 정면 영상과 측면 영상에서의 z 성분의 평균으로 결정한다. 이에 따라 제어부(30)는 다음의 식으로 기준점 간의 벡터의 방향 성분을 결정할 수 있다.Additionally, the control unit 30 can determine the direction components of vectors between a plurality of reference points by dividing the length from the origin and the reference point by the unit length obtained above. More specifically, the control unit 30 calculates the x component of the vector by dividing the length obtained in pixels in the front image by the unit length UF, and the y component by dividing the length obtained in pixels in the side image by the unit length US. Since the z component can be calculated from both the front image and the side image, the control unit 30 determines it as the average of the z component in the front image and the side image. Accordingly, the control unit 30 can determine the direction component of the vector between reference points using the following equation.

여기서 Pi 및 Pj는 각각 기준점을 나타내고, UF 및 US는 정면 영상에서의 단위 길이와 측면 영상에서의 단위 길이를 나타낸다.Here, P i and P j represent reference points, respectively, and UF and US represent the unit length in the frontal image and the unit length in the side image.

다음 제어부(30)는 위 식을 이용해 센서(20)의 국소 좌표계를 정의하는 2개의 벡터 , 및 전방 골반 평면의 국소 좌표계를 정의하는 2개의 벡터 , 을 결정한다. 그리고 제어부(30)는 계산한 벡터를 이용해 센서(20)의 3차원 센서 방향을 나타내는 정규 직교 기저로서 , , 를 계산하고, 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의한다. 또한 제어부(30)는 전방 골반 평면의 국소 좌표계를 결정하는 벡터로서 , , 를 계산함으로써, 센서(20)의 국소 좌표계와 전방 골반 평면의 국소 좌표계를 결정한다. 여기서 는 각각 전방 골반 평면을 결정하는 L-ASIS에서 R-ASIS로의 방향을 나타내는 벡터 및 전방 골반 평면의 법선 방향을 나타내는 벡터이다. 다시 말해 는 대상체(S)가 서있는 상태에서 전방 골반 평면의 국소 좌표계를 결정하는 벡터로서, 다른 자세에서 전방 골반 평면의 국소 좌표계를 추정하기 위한 기준 좌표계일 수 있다.Next, the control unit 30 uses the above equation to define two vectors that define the local coordinate system of the sensor 20. , and two vectors defining the local coordinate system of the anterior pelvic plane. , decide. And the control unit 30 uses the calculated vector as a regular orthogonal basis representing the three-dimensional sensor direction of the sensor 20. , , Calculate as a 3×3 matrix with the normal orthogonal basis vector as the column vector. Define. In addition, the control unit 30 serves as a vector for determining the local coordinate system of the anterior pelvic plane. , , By calculating , the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane are determined. here and are a vector representing the direction from L-ASIS to R-ASIS, which determines the anterior pelvic plane, and a vector representing the normal direction of the anterior pelvic plane, respectively. In other words and is a vector that determines the local coordinate system of the anterior pelvic plane when the object S is standing, and may be a reference coordinate system for estimating the local coordinate system of the anterior pelvic plane in other postures.

그리고 제어부(30)는 이와 같이 결정한 센서(20)의 국소 좌표계와 전방 골반 평면의 국소 좌표계를 정합(registration)할 수 있다. 즉 제어부(30)는 서로 다른 좌표계를 서로 연관시켜, 어느 하나의 좌표계가 변화할 때 다른 좌표계가 어떻게 변하는지 그 관계를 계산함으로써, 대상체(S)의 자세가 변하더라도 전방 골반 평면의 국소 좌표계를 지속적으로 추정할 수 있도록 할 수 있다.And the control unit 30 can register the local coordinate system of the sensor 20 determined in this way and the local coordinate system of the anterior pelvic plane. That is, the control unit 30 associates different coordinate systems with each other and calculates the relationship of how other coordinate systems change when one coordinate system changes, thereby maintaining the local coordinate system of the anterior pelvic plane even if the posture of the object S changes. It is possible to make continuous estimates.

먼저 제어부(30)는 위도와 경도를 이용해 전방 골반 평면의 법선 벡터 방향을 나타내기 위해, 위도와 경도를 각각 정의할 수 있다. 예를 들어 도 5에 나타낸 바와 같이, 제어부(30)는 3차원 공간 상에서 위도 를 xy 평면 상의 벡터를 0도로 하고, z 방향을 90도, -z 방향을 -90도로 정의한다. 또한 제어부(30)는 경도 를 zx 평면 상의 벡터를 0도로 하고, y 방향을 90도, -x 방향을 180도로 정의한다.First, the control unit 30 can define latitude and longitude, respectively, to indicate the normal vector direction of the anterior pelvic plane using latitude and longitude. For example, as shown in FIG. 5, the control unit 30 controls latitude in three-dimensional space. The vector on the xy plane is defined as 0 degrees, the z direction is defined as 90 degrees, and the -z direction is defined as -90 degrees. In addition, the control unit 30 has hardness The vector on the zx plane is defined as 0 degrees, the y direction is defined as 90 degrees, and the -x direction is defined as 180 degrees.

그리고 제어부(30)는 위에서 계산한 에 기초하여 3차원 공간과 영상에서의 센서(20)의 국소 좌표계를 정합한다. 즉 제어부(30)는 3차원 공간에서 센서(20)의 정규 직교 기저의 벡터를 열벡터로 하는 행렬과, 영상에서 획득한 센서(20)의 국소 좌표계에 기초하여, 3차원 공간과 영상에서의 센서(20)의 국소 좌표계를 정합할 수 있다.And the control unit 30 calculates the above and Based on this, the local coordinate system of the sensor 20 in the three-dimensional space and the image is matched. That is, the control unit 30 uses the normal orthogonal basis vector of the sensor 20 in the three-dimensional space as a column vector, and based on the local coordinate system of the sensor 20 obtained from the image, The local coordinate system of the sensor 20 can be matched.

또한 제어부(30)는 영상에서의 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 결정하는 벡터 를 이용하여 영상에서의 센서(20)의 국소 좌표계와 전방 골반 평면의 국소 좌표계를 정합할 수 있다. Additionally, the control unit 30 operates in the local coordinate system of the sensor 20 in the image. and a vector determining the local coordinate system of the anterior pelvic plane. and It is possible to match the local coordinate system of the sensor 20 in the image with the local coordinate system of the anterior pelvic plane.

이를 통해 제어부(30)는 3차원 공간과 영상에서의 센서(20)의 국소 좌표계를 정하고, 영상에서의 센서(20)의 국소 좌표계와 전방 골반 평면의 국소 좌표계를 정합하고, 3차원 공간에서의 센서(20)의 국소 좌표계와 영상에서의 전방 골반 평면의 국소 좌표계를 정합할 수 있다.Through this, the control unit 30 determines the local coordinate system of the sensor 20 in the three-dimensional space and the image, matches the local coordinate system of the sensor 20 in the image with the local coordinate system of the anterior pelvic plane, and The local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane in the image can be matched.

그리고 제어부(30)는 센서(20)가 실시간으로 측정하는 자세 정보에 기초하여, 전방 골반 평면의 방향을 결정할 수 있다. 보다 구체적으로, 국소 좌표계의 정합이 완료된 상태에서, 센서(20)는 대상체(S)에 부착된 상태에서 자세 정보를 실시간으로 측정할 수 있다. 또한 제어부(30)는 앞에서 설명한 방식과 마찬가지로, 센서(20)에서 출력되는 ZYX 순서의 오일러 각도(롤, 피치, 요)를 이용하여 수평 막대(23)의 좌측단(23a)에서 우측단(23b)을 x축, 수직 막대(21)의 하단(21b)에서 상단(21a)을 z축으로 하는 국소 좌표계를 3차원 벡터로 표시할 수 있다. 그리고 제어부(30)는 이들 3차원 벡터를 정규화하여, 센서(20)의 자세 정보에 기초해 센서(20)의 3차원 방향을 나타내는 정규 직교 기저 를 계산하고, 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의한다. 여기서 는 대상체(S)가 자세를 바꾼 상태를 나타낼 수 있다.And the control unit 30 may determine the direction of the anterior pelvic plane based on the posture information measured in real time by the sensor 20. More specifically, when registration of the local coordinate system is completed, the sensor 20 can measure posture information in real time while attached to the object S. In addition, similar to the method described above, the control unit 30 uses the Euler angles (roll, pitch, yaw) in the ZYX order output from the sensor 20 from the left end 23a to the right end 23b of the horizontal bar 23. ) as the x-axis and the local coordinate system with the lower end (21b) to the upper end (21a) of the vertical bar 21 as the z-axis can be expressed as a three-dimensional vector. Then, the control unit 30 normalizes these three-dimensional vectors to form a normal orthogonal basis representing the three-dimensional direction of the sensor 20 based on the posture information of the sensor 20. Calculate as a 3×3 matrix with the basis vector as the column vector. Define. here may indicate a state in which the object S has changed its posture.

또한 제어부(30)는 대상체(S)가 자세를 바꾸었을 때 센서(20)의 자세 정보로부터 재구성한 를 이용해, 대상체(S)의 새로운 자세에서 전방 골반 평면의 법선 방향을 나타내는 벡터와 전방 골반 평면의 L-ASIS에서 R-ASIS 방향을 나타내는 벡터를 아래와 같이 계산할 수 있다.In addition, the control unit 30 reconstructs the posture information from the sensor 20 when the object S changes its posture. Using , the vector representing the normal direction of the anterior pelvic plane in the new posture of the object (S) and the vector representing the direction from L-ASIS to R-ASIS of the anterior pelvic plane can be calculated as follows.

그리고 제어부(30)는 전방 골반 평면의 법선 방향을 나타내는 벡터 의 위도 및 경도와 전방 골반 평면을 결정하는 L-ASIS에서 R-ASIS로의 방향을 나타내는 벡터 의 위도 및 경도를 출력할 수 있다.And the control unit 30 is a vector representing the normal direction of the anterior pelvic plane. A vector representing the direction from L-ASIS to R-ASIS, which determines the latitude and longitude of the anterior pelvic plane. The latitude and longitude can be output.

예를 들어 도 6 및 도 7은 대상체(S)가 앞으로 30도 굽힌 자세에서, 골반에 부착된 센서(20)의 수직 막대(21)의 양단(21a, 21b), 수평 막대(23)의 양단(23a, 23b) 및 전방 골반 평면을 결정하는 3개의 해부학점을 정면과 측면(왼쪽 측면)에서 촬상한 영상을 나타낸다.For example, Figures 6 and 7 show both ends 21a and 21b of the vertical bar 21 and both ends of the horizontal bar 23 of the sensor 20 attached to the pelvis, with the subject S in a posture bent forward 30 degrees. (23a, 23b) and images taken from the front and lateral (left side) views of the three anatomical points that determine the anterior pelvic plane.

일 실시예로 제어부(30)는 스마트폰이나 태블릿 등에 어플리케이션 형태로 구현될 수 있다.In one embodiment, the control unit 30 may be implemented in the form of an application on a smartphone or tablet.

다음 도 1 내지 도 7을 참조하여, 본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법을 설명한다.Next, with reference to FIGS. 1 to 7 , a method for real-time measuring the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention will be described.

본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 방법은 대상체(S)의 골반에 센서(20)를 부착하는 단계, 촬상부(10)가 대상체(S)의 정면 및 측면을 포함하는 복수 개의 영상을 촬상하는 단계, 센서(20)가 자세 정보를 측정하는 단계, 제어부(30)가 대상체(S)의 영상에 기초하여 전방 골반 평면을 결정하는 단계, 제어부(30)가 대상체(S)의 영상 및 자세 정보에 기초하여 국소 좌표계를 정의하는 단계, 제어부(30)가 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합하는 단계 및 제어부(30)가 센서(20)가 실시간으로 측정하는 자세 정보에 기초하여, 전방 골반 평면의 방향을 결정하는 단계를 포함할 수 있다.The three-dimensional real-time measurement method of the anterior pelvic plane according to an embodiment of the present invention includes attaching a sensor 20 to the pelvis of an object S, and the imaging unit 10 measuring the front and sides of the object S. A step of capturing a plurality of images including, a step of the sensor 20 measuring posture information, a step of the control unit 30 determining the anterior pelvic plane based on the image of the object S, and the control unit 30 determining the anterior pelvic plane based on the image of the object S. A step of defining a local coordinate system based on the image and posture information of (S), a step of the control unit 30 matching the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane, and the control unit 30 matching the local coordinate system of the sensor 20 ) may include determining the direction of the anterior pelvic plane based on posture information measured in real time.

먼저 대상체(S)의 골반 후방에 센서(20)를 부착한다. 여기서 센서(20)는 중심에서 연장되는 수직 막대(21) 및 수평 막대(23)를 포함할 수 있다.First, the sensor 20 is attached to the rear of the pelvis of the object S. Here, the sensor 20 may include a vertical bar 21 and a horizontal bar 23 extending from the center.

다음 촬상부(10)가 대상체(S)의 복수 개의 영상을 촬상한다. 여기서 대상체(S)는 똑바로 서있는 상태일 수 있으며, 적어도 대상체(S)의 정면 영상과 측면 영상을 촬상할 수 있다. 일 실시예로 촬상부(10)는 촬상한 영상에서 골반에 부착된 센서(20)의 수직 막대(21)의 양단(21a, 21b)과 수평 막대(23)의 양단(23a, 23b) 및 전방 골반 평면을 결정하는 3개의 해부학점이 나타나도록 영상을 촬상할 수 있다.Next, the imaging unit 10 captures a plurality of images of the object S. Here, the object S may be standing upright, and at least a frontal image and a side image of the object S can be captured. In one embodiment, the imaging unit 10 detects both ends 21a, 21b of the vertical bar 21 of the sensor 20 attached to the pelvis, both ends 23a, 23b of the horizontal bar 23, and the front of the captured image. Images can be taken to show three anatomical points that determine the pelvic plane.

다음 센서(20)가 자세 정보를 측정한다. 일 실시예로 센서(20)는 촬상부(10)가 영상을 촬상함과 동시에 자세 정보를 측정할 수 있다. 그리고 촬상부(10)와 센서(20)는 촬상한 영상 및 측정한 자세 정보를 제어부(30)로 전달할 수 있다. 일 실시예로 센서(20)는 6축 관성 측정 장치로서, 자세 정보를 오일러 각도로 나타낼 수 있다.Next, the sensor 20 measures posture information. In one embodiment, the sensor 20 may measure posture information at the same time that the imaging unit 10 captures an image. In addition, the imaging unit 10 and the sensor 20 can transmit the captured image and the measured posture information to the control unit 30. In one embodiment, the sensor 20 is a 6-axis inertial measurement device, and can represent posture information in Euler angles.

다음 제어부(30)는 대상체(S)의 영상과 자세 정보에 기초하여 국소 좌표계를 정의한다. 일 실시예로 제어부(30)는 센서(20)가 측정한 자세 정보에 기초하여 수평 막대(23)의 좌측단(23a)에서 우측단(23b)으로 향하는 방향을 x축, 수직 막대(21)의 하단(21b)에서 상단(21a)을 향하는 방향을 z축으로 갖는 국소 좌표계를 정의하는 단계를 더 포함할 수 있다.Next, the control unit 30 defines a local coordinate system based on the image and posture information of the object S. In one embodiment, the control unit 30 determines the direction from the left end 23a to the right end 23b of the horizontal bar 23 based on the posture information measured by the sensor 20 along the x-axis and the vertical bar 21. It may further include defining a local coordinate system having the z-axis in a direction from the lower end 21b to the upper end 21a.

일 실시예로 국소 좌표계를 정의하는 단계는 제어부(30)가 국소 좌표계를 3차원 벡터로 표시하고, 이를 정규화하여 자세 정보를 3차원으로 나타내는 정규 직교 기저 벡터를 열벡터로 하는 행렬을 계산할 수 있다. 여기서 정규 직교 기저 및 행렬은 다음과 같이 나타낸다. , .In one embodiment, in the step of defining a local coordinate system, the control unit 30 displays the local coordinate system as a 3-dimensional vector, normalizes it, and calculates a matrix with a regular orthogonal basis vector representing posture information in 3 dimensions as a column vector. . Here, the normal orthogonal basis and matrix are expressed as follows. , .

다음 제어부(30)는 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합한다. 일 실시예로 국소 좌표계를 정합하는 단계는 영상에 기초하여 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합하기 위한 하나 이상의 기준점을 결정하는 단계, 기준점에 기초하여 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 결정하는 단계 및 결정된 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합하는 단계를 포함할 수 있다.Next, the control unit 30 matches the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane. In one embodiment, the step of matching the local coordinate system includes determining one or more reference points for matching the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane based on the image, and determining one or more reference points of the sensor 20 based on the reference point. It may include determining a local coordinate system and a local coordinate system of the anterior pelvic plane, and matching the determined local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane.

일 실시예로 기준점을 결정하는 단계는 영상에 표시된 수직 막대(21)의 양단(21a, 21b), 수평 막대(23)의 양단(23a, 23b) 및 전방 골반 평면을 결정하는 3개의 해부학점을 기준점으로서 넘버링하는 단계 및 영상에서 기 설정된 원점에서 넘버링된 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하는 단계를 포함할 수 있다.In one embodiment, the step of determining the reference point includes both ends 21a and 21b of the vertical bar 21 shown in the image, both ends 23a and 23b of the horizontal bar 23, and three anatomical points that determine the anterior pelvic plane. It may include numbering as a reference point and measuring the distance from a preset origin in the image to a plurality of numbered reference points in pixel units.

일 실시예로 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 결정하는 단계는 원점에서 복수 개의 기준점까지의 거리에 기초하여 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정의하는 벡터를 계산할 수 있다.In one embodiment, the step of determining the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane defines the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane based on the distances from the origin to a plurality of reference points. The vector can be calculated.

일 실시예로 넘버링하는 단계는 수직 막대(21)의 상단(21a) 및 하단(21b), 수평 막대(23)의 좌측단(23a) 및 우측단(23b), 전방 골반 평면을 결정하는 3개의 해부학점 L-ASIS, MPT 및 R-ASIS를 각각 P1 내지 P7으로 넘버링할 수 있다.In one embodiment, the numbering steps include the top (21a) and bottom (21b) of the vertical bar (21), the left end (23a) and right end (23b) of the horizontal bar (23), and three steps that determine the anterior pelvic plane. Anatomical points L-ASIS, MPT, and R-ASIS can be numbered P1 to P7, respectively.

일 실시예로 픽셀 단위로 측정하는 단계는 정면 영상의 원점 OF 및 측면 영상의 원점 OS에서 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하고, 원점 OF에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 원점 OS에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타낼 수 있다. 여기서 은 정면 영상의 가로 방향 픽셀, 은 정면 영상의 세로 방향 픽셀, 은 측면 영상의 가로 방향 픽셀, 은 측면 영상의 세로 방향 픽셀을 나타내며, 는 1 내지 7의 자연수이다.In one embodiment, the step of measuring in pixels measures the distance from the origin O F of the frontal image and the origin O S of the side image to a plurality of reference points in pixel units, and the horizontal distance and vertical distance from the origin O F respectively , It is expressed as , and the horizontal distance and vertical distance from the origin O S are respectively , It can be expressed as here is the horizontal pixel of the frontal image, is the vertical pixel of the frontal image, is the horizontal pixel of the side image, represents the vertical pixel of the side image, is a natural number from 1 to 7.

일 실시예로 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 영상에서 수직 막대(21)의 양단(21a, 21b) 간의 높이 차이를 단위 길이로 하여, 원점과 복수 개의 기준점까지의 거리를 단위 길이로 나눠 복수 개의 기준점 간의 벡터의 방향 성분을 결정할 수 있다.In one embodiment, the step of determining the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane uses the height difference between the ends 21a and 21b of the vertical bar 21 in the image as a unit length, and determines the origin and plurality of The direction component of the vector between a plurality of reference points can be determined by dividing the distance to the reference points by the unit length.

일 실시예로 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 결정하는 단계는 정면 영상에서의 높이 차이 , 측면 영상의 높이 차이 를 각각 계산하고, 이에 기초하여 기준점 간의 벡터 In one embodiment, the step of determining the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane is the height difference in the frontal image. , height difference between side images Calculate each, and based on this, the vector between the reference points

를 계산하고, 이로부터 센서(20)의 국소 좌표계를 정의하는 2개의 벡터 , 및 전방 골반 평면의 국소 좌표계를 정의하는 2개의 벡터 , 을 결정할 수 있다. Calculate , from which two vectors define the local coordinate system of the sensor 20 , and two vectors defining the local coordinate system of the anterior pelvic plane. , can be decided.

일 실시예로 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 결정하는 단계는 센서(20)의 3차원 센서 방향을 나타내는 정규 직교 기저로서 , , 를 계산하고, 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 전방 골반 평면의 국소 좌표계를 결정하는 벡터로서 , , 를 계산할 수 있다.In one embodiment, the step of determining the local coordinate system of the sensor 20 and the local coordinate system of the anterior pelvic plane is a normal orthogonal basis representing the three-dimensional sensor orientation of the sensor 20. , , Calculate as a 3×3 matrix with the normal orthogonal basis vector as the column vector. , and as a vector determining the local coordinate system of the anterior pelvic plane, , , can be calculated.

일 실시예로 결정된 센서(20)의 국소 좌표계 및 전방 골반 평면의 국소 좌표계를 정합하는 단계는 에 기초하여 3차원 공간과 영상에서의 센서(20)의 국소 좌표계를 정합하는 단계 및 에 기초하여 영상에서의 센서(20)의 국소 좌표계와 전방 골반 평면의 국소 좌표계를 정합하는 단계를 포함할 수 있다.The step of matching the local coordinate system of the sensor 20 determined in one embodiment and the local coordinate system of the anterior pelvic plane is and A step of matching the local coordinate system of the sensor 20 in the three-dimensional space and the image based on It may include matching the local coordinate system of the sensor 20 in the image with the local coordinate system of the anterior pelvic plane based on .

일 실시예로 국소 좌표계를 정합하는 단계 전에, 제어부(30)가 위도와 경도를 이용해 전방 골반 평면의 법선 벡터 방향을 나타내기 위해, 위도와 경도를 각각 정의하는 단계를 더 포함할 수 있다. 제어부(30)는 3차원 공간 상에서 위도 In one embodiment, before the step of matching the local coordinate system, the control unit 30 may further include a step of defining latitude and longitude, respectively, to indicate the normal vector direction of the anterior pelvic plane using the latitude and longitude. The control unit 30 controls latitude in three-dimensional space.

를 xy 평면 상의 벡터를 0도로 하고, z 방향을 90도, -z 방향을 -90도로 정의한다. 또한 제어부(30)는 경도 를 zx 평면 상의 벡터를 0도로 하고, y 방향을 90도, -x 방향을 180도로 정의할 수 있다. The vector on the xy plane is defined as 0 degrees, the z direction is defined as 90 degrees, and the -z direction is defined as -90 degrees. In addition, the control unit 30 has hardness The vector on the zx plane can be defined as 0 degrees, the y direction as 90 degrees, and the -x direction as 180 degrees.

일 실시예로 전방 골반 평면의 방향을 결정하는 단계는 센서(20)가 실시간으로 측정하는 센서(20)의 자세 정보에 기초하여 센서(20)의 3차원 방향을 나타내는 정규 직교 기저 를 계산하고 이로부터 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 이로부터 전방 골반 평면의 법선 방향을 나타내는 벡터 및 전방 골반 평면을 결정하는 해부학점의 방향을 나타내는 벡터의 위도 및 경도를 결정할 수 있다.In one embodiment, the step of determining the direction of the anterior pelvic plane is performed by using a regular orthogonal basis representing the three-dimensional direction of the sensor 20 based on the posture information of the sensor 20 measured in real time by the sensor 20. Calculate and from this, as a 3×3 matrix with the normal orthogonal basis vector as the column vector. is defined, and from this, the latitude and longitude of the vector representing the normal direction of the anterior pelvic plane and the vector representing the direction of the anatomical point that determines the anterior pelvic plane can be determined.

일 실시예로 는 대상체(S)가 자세를 바꾼 상태를 나타낼 수 있다 또한 제어부(30)는 대상체(S)가 자세를 바꾸었을 때 센서(20)의 자세 정보로부터 재구성한 를 이용해, 대상체(S)의 새로운 자세에서 전방 골반 평면의 법선 방향을 나타내는 벡터와 전방 골반 평면의 L-ASIS에서 R-ASIS 방향을 나타내는 벡터를 아래와 같이 계산할 수 있다.In one embodiment may indicate a state in which the object S has changed its posture. In addition, the control unit 30 reconstructs the posture information of the sensor 20 when the object S changes its posture. Using , the vector representing the normal direction of the anterior pelvic plane in the new posture of the object (S) and the vector representing the direction from L-ASIS to R-ASIS of the anterior pelvic plane can be calculated as follows.

그리고 제어부(30)는 전방 골반 평면의 법선 방향을 나타내는 벡터 의 위도 및 경도와 전방 골반 평면을 결정하는 L-ASIS에서 R-ASIS로의 방향을 나타내는 벡터 의 위도 및 경도를 출력할 수 있다.And the control unit 30 is a vector representing the normal direction of the anterior pelvic plane. A vector representing the direction from L-ASIS to R-ASIS, which determines the latitude and longitude of the anterior pelvic plane. The latitude and longitude can be output.

이와 같이 본 발명의 일 실시예에 따른 전방 골반 평면의 3차원 방향 실시간 측정 장치(1) 및 방법은 센서(20)와 전방 골반 평면의 국소 좌표계를 정합하여, 대상체(S)의 자세가 변하더라도 전방 골반 평면의 방향을 나타내는 벡터를 실시간으로 출력할 수 있다. 이를 통해 특정 자세에 국한하는 것이 아니라, 동적 3차원 전방 골반 평면의 방향 측정 기술을 구현할 수 있다.In this way, the real-time measuring device 1 and method for the three-dimensional direction of the anterior pelvic plane according to an embodiment of the present invention matches the local coordinate system of the sensor 20 and the anterior pelvic plane, even if the posture of the object S changes. A vector representing the direction of the anterior pelvic plane can be output in real time. Through this, it is possible to implement a dynamic three-dimensional anterior pelvic plane direction measurement technology that is not limited to a specific posture.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이와 같이 도면에 도시된 실시예를 참고로 본 발명을 설명하였으나, 이는 예시에 불과하다. 해당 기술 분야에서 통상의 지식을 갖는 자라면 실시예로부터 다양한 변형 및 균등한 일 실시예가 가능하다는 점을 충분히 이해할 수 있다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 기초하여 정해져야 한다.Although the present invention has been described with reference to the embodiments shown in the drawings, these are merely examples. Those skilled in the art can fully understand that various modifications and equivalent embodiments are possible from the examples. Therefore, the true technical protection scope of the present invention should be determined based on the attached claims.

실시예에서 설명하는 특정 기술 내용은 일 실시예들로서, 실시예의 기술 범위를 한정하는 것은 아니다. 발명의 설명을 간결하고 명확하게 기재하기 위해, 종래의 일반적인 기술과 구성에 대한 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재는 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로 표현될 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific technical content described in the embodiment is an example and does not limit the technical scope of the embodiment. In order to describe the invention concisely and clearly, descriptions of conventional general techniques and configurations may be omitted. In addition, the connection of lines or the absence of connections between components shown in the drawings exemplify functional connections and/or physical or circuit connections, and in actual devices, various functional connections or physical connections may be replaced or added. It can be expressed as connections, or circuit connections. Additionally, if there is no specific mention such as “essential,” “important,” etc., it may not be a necessary component for the application of the present invention.

발명의 설명 및 청구범위에 기재된 "상기" 또는 이와 유사한 지시어는 특별히 한정하지 않는 한, 단수 및 복수 모두를 지칭할 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 또한, 실시예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시예들이 한정되는 것은 아니다. 실시예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시예를 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상, 상기 예들 또는 예시적인 용어로 인해 실시예의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.“The” or similar designators used in the description and claims may refer to both the singular and the plural, unless otherwise specified. In addition, when a range is described in an example, the invention includes the application of individual values within the range (unless there is a statement to the contrary), and each individual value constituting the range is described in the description of the invention. same. Additionally, unless the order of the steps constituting the method according to the embodiment is clearly stated or there is no description to the contrary, the steps may be performed in an appropriate order. The embodiments are not necessarily limited by the order of description of the above steps. The use of any examples or illustrative terms (e.g., etc.) in the embodiments is merely to describe the embodiments in detail, and unless limited by the claims, the examples or illustrative terms do not limit the scope of the embodiments. That is not the case. Additionally, those skilled in the art will appreciate that various modifications, combinations and changes may be made according to design conditions and factors within the scope of the appended claims or their equivalents.

1: 전방 골반 평면의 3차원 방향 실시간 측정 장치
10: 촬상부
20: 센서
21: 수직 막대
23: 수평 막대
30: 제어부
S: 대상체
1: Real-time measurement device for three-dimensional orientation of the anterior pelvic plane
10: imaging unit
20: sensor
21: vertical bar
23: horizontal bar
30: control unit
S: object

Claims (20)

대상체의 골반 후방에 수평 막대 및 수직 막대가 중심에서 연장되는 센서를 부착하는 단계;
촬상부가 적어도 상기 대상체의 정면 및 측면을 포함하는 복수 개의 영상을 촬상하고, 촬상과 동시에 상기 센서가 자세 정보를 측정하는 단계;
제어부가 상기 대상체의 영상에 기초하여 전방 골반 평면(anterior pelvic plane)을 결정하는 단계;
상기 제어부가 상기 대상체의 영상 및 자세 정보에 기초하여 국소 좌표계를 정의하는 단계;
상기 제어부가 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합(registration)하는 단계; 및
상기 제어부가 상기 센서가 실시간으로 측정하는 자세 정보에 기초하여, 전방 골반 평면의 방향을 결정하는 단계;를 포함하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
Attaching a sensor with a horizontal bar and a vertical bar extending from the center to the rear of the pelvis of the object;
A step in which an imaging unit captures a plurality of images including at least the front and side surfaces of the object, and the sensor measures posture information simultaneously with the imaging;
A control unit determining an anterior pelvic plane based on the image of the object;
The control unit defining a local coordinate system based on the image and posture information of the object;
registering, by the control unit, a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane; and
A method for measuring the three-dimensional direction of the anterior pelvic plane in real time, including the step of the control unit determining the direction of the anterior pelvic plane based on posture information measured in real time by the sensor.
제1 항에 있어서,
상기 촬상부는 상기 영상에 골반에 부착된 센서의 수평 막대의 양단과 수직 막대의 양단 및 전방 골반 평면을 결정하는 3개의 해부학점(anatomical landmark)으로서 R-ASIS(right anterior superior iliac spine), L-ASIS(left anterior superior iliac spine) 및 MPT(midpoint of the pubic tubercles)이 나타나도록 상기 영상을 촬상하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
According to claim 1,
The imaging unit includes R-ASIS (right anterior superior iliac spine) and L-ASIS (right anterior superior iliac spine) as three anatomical landmarks that determine both ends of the horizontal bar and the vertical bar of the sensor attached to the pelvis in the image and the anterior pelvic plane. A three-dimensional real-time measurement method of the anterior pelvic plane, in which the image is captured to reveal the left anterior superior iliac spine (ASIS) and the midpoint of the pubic tubercles (MPT).
제1 항에 있어서,
상기 자세 정보를 측정하는 단계는 상기 센서가 6축 관성 측정 장치로서 상기 자세 정보를 오일러 각도(롤, 피치 및 요)로 나타내고,
상기 제어부가 상기 자세 정보에 기초하여 상기 수평 막대의 일단에서 타단 방향을 x축, 상기 수직 막대의 일단에서 타단 방향을 z축으로 갖는 국소 좌표계를 정의하는 단계를 더 포함하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
According to claim 1,
In the step of measuring the posture information, the sensor is a 6-axis inertial measurement device and represents the posture information in Euler angles (roll, pitch, and yaw),
3 in the anterior pelvic plane, further comprising the step of the control unit defining a local coordinate system having the x-axis as the direction from one end to the other end of the horizontal bar and the z-axis as the direction from one end to the other end of the vertical bar based on the posture information. Real-time measurement method for dimensional orientation.
제3 항에 있어서,
상기 국소 좌표계를 정의하는 단계는 상기 제어부가 상기 국소 좌표계를 3차원 벡터로 표시하고, 이를 정규화(normalization)하여 상기 자세 정보를 3차원으로 나타내는 정규 직교 기저 벡터를 열벡터로 하는 행렬을 계산하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
여기서 정규 직교 기저 및 행렬은 다음과 같이 나타낸다.

According to clause 3,
In the step of defining the local coordinate system, the control unit displays the local coordinate system as a three-dimensional vector, normalizes it, and calculates a matrix with a regular orthogonal basis vector representing the posture information in three dimensions as a column vector. A real-time measurement method for three-dimensional orientation in the anterior pelvic plane.
Here, the normal orthogonal basis and matrix are expressed as follows.

제1 항에 있어서,
상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계는
상기 영상에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하기 위한 하나 이상의 기준점을 결정하는 단계;
상기 기준점에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계; 및
결정된 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계;를 포함하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
According to claim 1,
The step of matching the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane is
determining one or more reference points for registering a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane based on the image;
determining a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane based on the reference point; and
A method for real-time measuring three-dimensional orientation of the anterior pelvic plane, comprising: matching the determined local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane.
제5 항에 있어서,
상기 기준점을 결정하는 단계는
상기 영상에 표시된 상기 수직 막대의 양단, 상기 수평 막대의 양단 및 상기 전방 골반 평면을 결정하는 3개의 해부학점을 기준점으로서 넘버링하는 단계; 및
상기 영상에서 기 설정된 원점에서 상기 넘버링된 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하는 단계;를 포함하고,
상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 원점에서 상기 복수 개의 기준점까지의 거리에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정의하는 벡터를 계산하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
According to clause 5,
The step of determining the reference point is
Numbering three anatomical points that determine both ends of the vertical bar, both ends of the horizontal bar, and the anterior pelvic plane displayed in the image as reference points; and
A step of measuring the distance from a preset origin in the image to the plurality of numbered reference points in pixel units,
Determining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane includes calculating a vector defining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane based on the distances from the origin to the plurality of reference points. A real-time measurement method for three-dimensional orientation of the anterior pelvic plane.
제6 항에 있어서,
상기 넘버링하는 단계는 상기 수직 막대의 상단 및 하단, 상기 수평 막대의 좌측단 및 우측단, 상기 전방 골반 평면을 결정하는 3개의 해부학점 L-ASIS, MPT 및 R-ASIS를 각각 P1 내지 P7으로 넘버링하고,
상기 픽셀 단위로 측정하는 단계는 상기 정면 영상의 원점 OF 및 상기 측면 영상의 원점 OS에서 상기 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하고, 원점 OF에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 원점 OS에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고,
상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 영상에서 상기 수직 막대의 양단 간의 높이 차이를 단위 길이로 하여, 상기 원점과 상기 복수 개의 기준점까지의 거리를 상기 단위 길이로 나눠 상기 복수 개의 기준점 간의 벡터의 방향 성분을 결정하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
여기서 은 정면 영상의 가로 방향 픽셀, 은 정면 영상의 세로 방향 픽셀, 은 측면 영상의 가로 방향 픽셀, 은 측면 영상의 세로 방향 픽셀을 나타내며, 는 1 내지 7의 자연수이다.
According to clause 6,
The numbering step involves numbering the three anatomical points L-ASIS, MPT, and R-ASIS that determine the top and bottom of the vertical bar, the left end and right end of the horizontal bar, and the anterior pelvic plane as P1 to P7, respectively. do,
The step of measuring in pixel units measures the distance from the origin O F of the front image and the origin O S of the side image to the plurality of reference points in pixel units, and the horizontal distance and vertical distance from the origin O F respectively , It is expressed as , and the horizontal distance and vertical distance from the origin O S are respectively , It is expressed as
The step of determining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane is performed by using the height difference between both ends of the vertical bar in the image as a unit length, and using the distance between the origin and the plurality of reference points as the unit length. A three-dimensional real-time measurement method of the anterior pelvic plane that determines the direction components of the vector between the plurality of reference points by dividing them.
here is the horizontal pixel of the frontal image, is the vertical pixel of the frontal image, is the horizontal pixel of the side image, represents the vertical pixel of the side image, is a natural number from 1 to 7.
제7 항에 있어서,
상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 정면 영상에서의 높이 차이 , 측면 영상의 높이 차이 를 각각 계산하고, 이에 기초하여 기준점 간의 벡터
를 계산하고, 이로부터 센서의 국소 좌표계를 정의하는 2개의 벡터 , 및 전방 골반 평면의 국소 좌표계를 정의하는 2개의 벡터 , 을 결정하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
According to clause 7,
Determining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane includes the height difference in the frontal image. , height difference between side images Calculate each, and based on this, the vector between the reference points
, from which two vectors define the local coordinate system of the sensor. , and two vectors defining the local coordinate system of the anterior pelvic plane. , A real-time measurement method for three-dimensional orientation of the anterior pelvic plane, which determines .
제8 항에 있어서,
상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는
상기 센서의 3차원 센서 방향을 나타내는 정규 직교 기저로서 , , 를 계산하고, 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고,
상기 전방 골반 평면의 국소 좌표계를 결정하는 벡터로서 , , 를 계산하고,
결정된 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계는
에 기초하여 3차원 공간과 상기 영상에서의 센서의 국소 좌표계를 정합하는 단계; 및
에 기초하여 상기 영상에서의 상기 센서의 국소 좌표계와 상기 전방 골반 평면의 국소 좌표계를 정합하는 단계;를 포함하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
According to clause 8,
Determining a local coordinate system of the sensor and a local coordinate system of the anterior pelvic plane comprises
As a normal orthogonal basis representing the three-dimensional sensor direction of the sensor, , , Calculate as a 3×3 matrix with the normal orthogonal basis vector as the column vector. define,
As a vector determining the local coordinate system of the anterior pelvic plane , , Calculate
The step of matching the determined local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane is
and Matching the local coordinate system of the sensor in the image with three-dimensional space based on; and
Registering a local coordinate system of the sensor in the image and a local coordinate system of the anterior pelvic plane based on a three-dimensional real-time measurement method of the anterior pelvic plane.
제1 항에 있어서,
상기 전방 골반 평면의 방향을 결정하는 단계는 상기 센서가 실시간으로 측정하는 상기 센서의 자세 정보에 기초하여 상기 센서의 3차원 방향을 나타내는 정규 직교 기저 를 계산하고 이로부터 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 이로부터 전방 골반 평면의 법선 방향을 나타내는 벡터 및 전방 골반 평면을 결정하는 해부학점의 방향을 나타내는 벡터의 위도 및 경도를 결정하는, 전방 골반 평면의 3차원 방향 실시간 측정 방법.
According to claim 1,
Determining the direction of the anterior pelvic plane includes using a regular orthogonal basis representing the three-dimensional direction of the sensor based on the posture information of the sensor that the sensor measures in real time. Calculate and from this, as a 3×3 matrix with the normal orthogonal basis vector as the column vector, A method for real-time measuring the three-dimensional orientation of the anterior pelvic plane, wherein the latitude and longitude of the vector representing the normal direction of the anterior pelvic plane and the vector representing the direction of the anatomical point that determines the anterior pelvic plane are determined.
대상체의 영상을 촬상하는 촬상부, 상기 대상체에 부착되어 자세 정보를 측정하는 센서 및 제어부를 포함하고,
상기 촬상부는 상기 대상체의 정면 및 측면을 포함하는 복수 개의 영상을 촬상하고,
상기 센서는 중심에서 연장되는 수평 막대 및 수직 막대를 구비하고, 대상체의 골반 후방에 부착되며, 상기 촬상부가 영상을 촬상함과 동시에 상기 자세 정보를 측정하고,
상기 제어부는 상기 대상체의 영상에 기초하여 전방 골반 평면을 결정하고, 상기 대상체의 영상 및 자세 정보에 기초하여 국소 좌표계를 정의하고, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하고, 상기 센서가 실시간으로 측정하는 자세 정보에 기초하여, 전방 골반 평면의 방향을 결정하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
It includes an imaging unit that captures an image of an object, a sensor that is attached to the object and measures posture information, and a control unit,
The imaging unit captures a plurality of images including the front and side surfaces of the object,
The sensor has a horizontal bar and a vertical bar extending from the center, is attached to the rear of the pelvis of the object, and the imaging unit captures an image and measures the posture information at the same time,
The control unit determines the anterior pelvic plane based on the image of the object, defines a local coordinate system based on the image and posture information of the object, and matches the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane, A real-time three-dimensional orientation measurement device for the anterior pelvic plane, which determines the direction of the anterior pelvic plane based on posture information measured in real time by the sensor.
제11 항에 있어서,
상기 촬상부는 상기 영상에서 골반에 부착된 센서의 수평 막대의 양단과 수직 막대의 양단 및 전방 골반 평면을 결정하는 3개의 해부학점으로서 R-ASIS, L-ASIS 및 MPT이 확인되도록 상기 영상을 촬상하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
According to claim 11,
The imaging unit captures the image so that R-ASIS, L-ASIS, and MPT are confirmed as three anatomical points that determine both ends of the horizontal bar and the vertical bar of the sensor attached to the pelvis and the anterior pelvic plane in the image. , a real-time measurement device for three-dimensional orientation in the anterior pelvic plane.
제11 항에 있어서,
상기 센서는 6축 관성 측정 장치로서 상기 자세 정보를 오일러 각도(롤, 피치 및 요)로 표시하고,
상기 제어부는 상기 자세 정보에 기초하여 상기 수평 막대의 일단에서 타단 방향을 x축, 상기 수직 막대의 일단에서 타단 방향을 z축으로 갖는 국소 좌표계를 정의하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
According to claim 11,
The sensor is a 6-axis inertial measurement device that displays the attitude information in Euler angles (roll, pitch, and yaw),
The control unit defines a local coordinate system having an x-axis as a direction from one end of the horizontal bar to the other end of the horizontal bar and a z-axis as a direction from one end of the vertical bar to the other end of the vertical bar based on the posture information. A three-dimensional real-time measurement device for the anterior pelvic plane. .
제13 항에 있어서,
상기 제어부는 상기 국소 좌표계를 3차원 벡터로 표시하고, 이를 정규화하여 상기 자세 정보를 3차원으로 나타내는 정규 직교 기저 벡터를 열벡터로 하는 행렬을 계산하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
여기서 정규 직교 기저 및 행렬은 다음과 같이 나타낸다.

According to claim 13,
The control unit displays the local coordinate system as a three-dimensional vector, normalizes it, and calculates a matrix with a column vector as a regular orthogonal basis vector representing the posture information in three dimensions.
Here, the normal orthogonal basis and matrix are expressed as follows.

제11 항에 있어서,
상기 제어부는 상기 영상에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하기 위한 하나 이상의 기준점을 결정하고, 상기 기준점에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하고, 결정된 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정합하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
According to claim 11,
The control unit determines one or more reference points for matching the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane based on the image, and the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane based on the reference point. A real-time measurement device for three-dimensional orientation of the anterior pelvic plane, determining and matching the determined local coordinate system of the sensor with the local coordinate system of the anterior pelvic plane.
제15 항에 있어서,
상기 제어부는 상기 영상에 표시된 상기 수직 막대의 양단, 상기 수평 막대의 양단 및 상기 전방 골반 평면을 결정하는 3개의 해부학점을 기준점으로서 넘버링하고, 상기 영상에서 기 설정된 원점에서 상기 넘버링된 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하고, 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 결정하는 단계는 상기 원점에서 상기 복수 개의 기준점까지의 거리에 기초하여 상기 센서의 국소 좌표계 및 상기 전방 골반 평면의 국소 좌표계를 정의하는 벡터를 계산하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
According to claim 15,
The control unit numbers both ends of the vertical bar, both ends of the horizontal bar, and three anatomical points that determine the anterior pelvic plane displayed in the image as reference points, from a preset origin in the image to the plurality of numbered reference points. The step of measuring the distance in pixels and determining the local coordinate system of the sensor and the local coordinate system of the anterior pelvic plane is based on the distance from the origin to the plurality of reference points. A real-time measurement device for three-dimensional orientation in the anterior pelvic plane, calculating vectors defining the local coordinate system of .
제16 항에 있어서,
상기 제어부는 상기 수직 막대의 상단 및 하단, 상기 수평 막대의 좌측단 및 우측단, 상기 전방 골반 평면을 결정하는 3개의 해부학점 L-ASIS, MPT 및 R-ASIS를 각각 P1 내지 P7으로 넘버링하고, 상기 정면 영상의 원점 OF 및 상기 측면 영상의 원점 OS에서 상기 복수 개의 기준점까지의 거리를 픽셀 단위로 측정하고, 원점 OF에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 원점 OS에서의 가로 방향 거리 및 세로 방향 거리를 각각 , 로 나타내고, 상기 영상에서 상기 수직 막대의 양단 간의 높이 차이를 단위 길이로 하여, 상기 원점과 상기 복수 개의 기준점까지의 거리를 상기 단위 길이로 나눠 상기 복수 개의 기준점 간의 벡터의 방향 성분을 결정하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
여기서 은 정면 영상의 가로 방향 픽셀, 은 정면 영상의 세로 방향 픽셀, 은 측면 영상의 가로 방향 픽셀, 은 측면 영상의 세로 방향 픽셀을 나타내며, 는 1 내지 7의 자연수이다.
According to claim 16,
The control unit numbers the three anatomical points L-ASIS, MPT, and R-ASIS that determine the top and bottom of the vertical bar, the left end and right end of the horizontal bar, and the anterior pelvic plane as P1 to P7, respectively, The distance from the origin O F of the front image and the origin O S of the side image to the plurality of reference points is measured in pixels, and the horizontal distance and vertical distance from the origin O F are respectively , It is expressed as , and the horizontal distance and vertical distance from the origin O S are respectively , It is expressed as , and the height difference between both ends of the vertical bar in the image is taken as a unit length, and the distance between the origin and the plurality of reference points is divided by the unit length to determine the direction component of the vector between the plurality of reference points. A real-time measurement device for three-dimensional orientation of the pelvic plane.
here is the horizontal pixel of the frontal image, is the vertical pixel of the frontal image, is the horizontal pixel of the side image, represents the vertical pixel of the side image, is a natural number from 1 to 7.
제17 항에 있어서,
상기 제어부는 정면 영상에서의 높이 차이 , 측면 영상의 높이 차이 를 각각 계산하고, 이에 기초하여 기준점 간의 벡터
를 계산하고, 이로부터 센서의 국소 좌표계를 정의하는 2개의 벡터 , 및 전방 골반 평면의 국소 좌표계를 정의하는 2개의 벡터 , 을 결정하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
According to claim 17,
The control unit determines the height difference in the front image , height difference between side images Calculate each, and based on this, the vector between the reference points
, from which two vectors define the local coordinate system of the sensor. , and two vectors defining the local coordinate system of the anterior pelvic plane. , A real-time measurement device for the three-dimensional orientation of the anterior pelvic plane, which determines.
제18 항에 있어서,
상기 제어부는 상기 센서의 3차원 센서 방향을 나타내는 정규 직교 기저로서 , , 를 계산하고, 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 상기 전방 골반 평면의 국소 좌표계를 결정하는 벡터로서 , , 를 계산하고, 에 기초하여 3차원 공간과 상기 영상에서의 센서의 국소 좌표계를 정합하고, , 에 기초하여 상기 영상에서의 상기 센서의 국소 좌표계와 상기 전방 골반 평면의 국소 좌표계를 정합하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
According to clause 18,
The control unit serves as a regular orthogonal basis representing the three-dimensional sensor direction of the sensor. , , Calculate as a 3×3 matrix with the normal orthogonal basis vector as the column vector. , and as a vector determining the local coordinate system of the anterior pelvic plane, , , Calculate and Based on , match the local coordinate system of the sensor in the three-dimensional space and the image, , A three-dimensional orientation real-time measurement device in the anterior pelvic plane, matching the local coordinate system of the sensor in the image with the local coordinate system of the anterior pelvic plane based on .
제11 항에 있어서,
상기 제어부는 상기 센서가 실시간으로 측정하는 상기 센서의 자세 정보에 기초하여 상기 센서의 3차원 방향을 나타내는 정규 직교 기저 를 계산하고 이로부터 상기 정규 직교 기저의 벡터를 열벡터로 하는 3×3 행렬로서 를 정의하고, 이로부터 전방 골반 평면의 법선 방향을 나타내는 벡터 및 전방 골반 평면을 결정하는 해부학점의 방향을 나타내는 벡터의 위도 및 경도를 결정하는, 전방 골반 평면의 3차원 방향 실시간 측정 장치.
According to claim 11,
The control unit uses a regular orthogonal basis indicating the three-dimensional direction of the sensor based on the posture information of the sensor that the sensor measures in real time. Calculate and from this, as a 3×3 matrix with the normal orthogonal basis vector as the column vector, A real-time measurement device for three-dimensional orientation of the anterior pelvic plane, wherein the latitude and longitude of the vector representing the normal direction of the anterior pelvic plane and the vector representing the direction of the anatomical point that determines the anterior pelvic plane are determined.
KR1020210166103A 2021-11-26 2021-11-26 Real-time measuring method and apparatus for 3D direction of anterior pelvic plane KR102619164B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210166103A KR102619164B1 (en) 2021-11-26 2021-11-26 Real-time measuring method and apparatus for 3D direction of anterior pelvic plane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210166103A KR102619164B1 (en) 2021-11-26 2021-11-26 Real-time measuring method and apparatus for 3D direction of anterior pelvic plane

Publications (2)

Publication Number Publication Date
KR20230078905A KR20230078905A (en) 2023-06-05
KR102619164B1 true KR102619164B1 (en) 2023-12-29

Family

ID=86764283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210166103A KR102619164B1 (en) 2021-11-26 2021-11-26 Real-time measuring method and apparatus for 3D direction of anterior pelvic plane

Country Status (1)

Country Link
KR (1) KR102619164B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152256B (en) * 2023-10-30 2024-02-13 中国人民解放军总医院第一医学中心 Pelvis model channel positioning method and device based on templates

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534136A (en) 2016-11-14 2019-11-28 ナビット・ホールディングス・ピーティーワイ・リミテッド Alignment device used in surgery
US20200008816A1 (en) 2007-11-01 2020-01-09 Stephen B. Murphy Method and apparatus for determining acetabular component positioning
JP2020096869A (en) 2013-01-25 2020-06-25 メドトロニック・ナビゲーション,インコーポレーテッド System and process of utilizing image data to place member
US20210161597A1 (en) 2017-03-09 2021-06-03 Smith & Nephew, Inc. Sagittal rotation determination

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100617490B1 (en) 2004-09-03 2006-09-04 한국과학기술원 Acetabular cup orientator attachable on pelvic in THR
KR102084256B1 (en) * 2018-03-26 2020-03-03 (주)레벨소프트 Image registration apparatus and method using multiple candidate points

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200008816A1 (en) 2007-11-01 2020-01-09 Stephen B. Murphy Method and apparatus for determining acetabular component positioning
JP2020096869A (en) 2013-01-25 2020-06-25 メドトロニック・ナビゲーション,インコーポレーテッド System and process of utilizing image data to place member
JP2019534136A (en) 2016-11-14 2019-11-28 ナビット・ホールディングス・ピーティーワイ・リミテッド Alignment device used in surgery
US20210161597A1 (en) 2017-03-09 2021-06-03 Smith & Nephew, Inc. Sagittal rotation determination

Also Published As

Publication number Publication date
KR20230078905A (en) 2023-06-05

Similar Documents

Publication Publication Date Title
JP4976756B2 (en) Information processing method and apparatus
JP4136859B2 (en) Position and orientation measurement method
JP4593968B2 (en) Position and orientation measurement method and apparatus
CA3042819A1 (en) Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
JP6740033B2 (en) Information processing device, measurement system, information processing method, and program
US7630555B2 (en) Position and orientation measuring method and apparatus
US20220198834A1 (en) Skeleton recognition method, storage medium, and information processing device
JP5388932B2 (en) Information processing apparatus and control method thereof
EP2688040B1 (en) 3D registration of tomographic models using particularly chosen points
KR20080110738A (en) Medical image display method and program thereof
JP2017129567A (en) Information processing apparatus, information processing method, and program
Loukas et al. An integrated approach to endoscopic instrument tracking for augmented reality applications in surgical simulation training
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
KR102619164B1 (en) Real-time measuring method and apparatus for 3D direction of anterior pelvic plane
JP4726191B2 (en) Position / orientation correction apparatus, position / orientation correction method, program thereof, and storage medium
US20220237817A1 (en) Systems and methods for artificial intelligence based image analysis for placement of surgical appliance
JP4566786B2 (en) Position and orientation measurement method and information processing apparatus
JP5976089B2 (en) Position / orientation measuring apparatus, position / orientation measuring method, and program
JP5726024B2 (en) Information processing method and apparatus
JP6109213B2 (en) Information processing apparatus and method, program
KR101124144B1 (en) Measuring system for degree of spine deformity
CN113143459A (en) Navigation method and device for augmented reality operation of laparoscope and electronic equipment
JP4612804B2 (en) Position and orientation measurement method and information processing apparatus
JP4926598B2 (en) Information processing method and information processing apparatus
CN115862124A (en) Sight estimation method and device, readable storage medium and electronic equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right