KR101122260B1 - Methode and Apparatus for Obtaining Panoramic Image - Google Patents
Methode and Apparatus for Obtaining Panoramic Image Download PDFInfo
- Publication number
- KR101122260B1 KR101122260B1 KR1020090132500A KR20090132500A KR101122260B1 KR 101122260 B1 KR101122260 B1 KR 101122260B1 KR 1020090132500 A KR1020090132500 A KR 1020090132500A KR 20090132500 A KR20090132500 A KR 20090132500A KR 101122260 B1 KR101122260 B1 KR 101122260B1
- Authority
- KR
- South Korea
- Prior art keywords
- gray scale
- image
- value
- subject
- frame image
- Prior art date
Links
- 238000012937 correction Methods 0.000 claims abstract description 62
- 230000005855 radiation Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000001678 irradiating effect Effects 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000037182 bone density Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 파노라마 영상 획득 방법 및 장치에 관한 것이다. 본 발명은 a) 피사체의 어느 일 구간에 방사선을 조사하여 획득한 프레임 영상의 미리 정해진 기준영역 내에 포함되는 픽셀들의 그레이 스케일 평균값을 산출하는 단계; b) 상기 산출된 그레이 스케일 평균값과 미리 구비된 샘플 영상으로부터 산출된 그레이 스케일 기준값의 그레이 스케일 차이값에 대응하는 그레이 스케일 보정값을 산출하는 단계; 및 c) 상기 산출된 그레이 스케일 보정값에 따라 상기 획득한 프레임 영상의 전체 영역에 대한 그레이 스케일 값을 조절하는 단계를 포함하는 것을 특징으로 하는 파노라마 영상 획득 방법 및 상기 방법을 구현하기 위한 장치를 제공한다. 본 발명에 따르면 경추효과가 보정되어 균일한 대조도를 나타내는 파노라마 영상을 획득할 수 있다는 장점이 있다. The present invention relates to a method and apparatus for obtaining a panoramic image. The present invention includes a) calculating a gray scale average value of pixels included in a predetermined reference region of a frame image obtained by irradiating radiation on one section of a subject; b) calculating a gray scale correction value corresponding to a gray scale difference value between the calculated gray scale average value and a gray scale reference value calculated from a preliminary sample image; And c) adjusting a gray scale value of the entire area of the obtained frame image according to the calculated gray scale correction value, and an apparatus for implementing the method. do. According to the present invention, the cervical spine effect is corrected, so that a panoramic image showing a uniform contrast can be obtained.
파노라마 영상, 그레이 스케일, 이미지 센서, 방사선 영상장치, 대조도 Panoramic image, gray scale, image sensor, radiographic imager, contrast
Description
본 발명은 파노라마 영상 획득 방법 및 장치에 관한 것이다. 더욱 상세하게는 획득한 프레임 영상의 그레이 스케일을 조절하여 전체적인 대조도가 향상된 파노라마 영상을 획득하기 위한 파노라마 영상 획득 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for obtaining a panoramic image. More particularly, the present invention relates to a panorama image acquisition method and apparatus for acquiring a panorama image having improved overall contrast by adjusting gray scale of an acquired frame image.
파노라마 영상이란 획득하고자 하는 영상의 궤적을 미리 설정하고 그 궤적을 따라 영상을 촬영한 후 얻어진 영상을 이어붙임으로써 획득한 영상을 말한다.The panoramic image refers to an image obtained by setting a trajectory of an image to be acquired in advance, taking an image along the trajectory, and then joining the obtained image.
일반적인 파노라마 영상 획득 장치는 도 1에 도시된 바와 같이 피사체(1)의 관심영역(2)이 위치하는 이미지 레이어 궤적에 X선 등의 방사선을 조사하여 얻어진 영상을 재구성함으로써 파노라마 영상을 획득한다.As shown in FIG. 1, a general panorama image obtaining apparatus obtains a panorama image by reconstructing an image obtained by irradiating X-ray radiation or the like to an image layer trajectory where the region of
그런데 종래의 파노라마 영상 획득 장치는 피사체(1)인 악궁의 형태에 초점을 맞추어 회전을 하기 때문에 필수적으로 경추(3)를 스캔하며 이와 관련되어 전치부의 영상획득시 X-선의 감소로 인하여 대조도의 불균형을 가져오게 된다.However, the conventional panoramic image acquisition device essentially scans the cervical spine (3) because it rotates focusing on the shape of the arch, which is the subject (1). This leads to an imbalance.
이처럼 종래의 파노라마 영상 획득 장치를 이용하여 획득한 영상을 가지고 환자의 상태를 진단할 경우 해당 영상의 경추부위가 그 주변 부위에 비해 어둡게 나타나는 경추효과에 의해 경추부분과 겹쳐서 나타나는 악궁의 상태를 정확하게 판단하기 어렵다는 문제가 있었다.As such, when diagnosing a patient's condition using an image acquired using a conventional panoramic image capturing device, the cervical spine of the image is darker than that of the surrounding area. There was a problem that was difficult to do.
이러한 문제로 인해 환자의 악궁 상태에 대한 오진을 내리게 될 경우 환자에 대한 잘못된 시술로 이어질 수 있어 의료사고가 발생할 가능성이 높아지게 된다.Due to these problems, misdiagnosing the patient's state of the arch may lead to incorrect procedures for the patient, thereby increasing the likelihood of medical accidents.
이에 상기한 문제점을 해결하기 위한 개선방안이 요청되고 있는 실정이다.Accordingly, there is a demand for improvement methods for solving the above problems.
본 발명은 상기한 문제점을 해결하기 위해 피사체에 조사된 방사선을 수광하는 면적센서를 구비하고, 면적센서에 의해 획득된 프레임 영상의 그레이 스케일을 조절하여 균일한 대조도를 나타내는 파노라마 영상을 생성하는 파노라마 영상 획득 방법 및 장치를 제공하는 것을 그 목적으로 한다.In order to solve the above problems, the present invention includes a panorama having an area sensor for receiving radiation irradiated to a subject, and generating a panoramic image having a uniform contrast by adjusting gray scale of a frame image obtained by the area sensor. It is an object of the present invention to provide an image acquisition method and apparatus.
상기한 목적을 달성하기 위해 본 발명은 a) 피사체의 어느 일 구간에 방사선을 조사하여 획득한 프레임 영상의 미리 정해진 기준영역 내에 포함되는 픽셀들의 그레이 스케일 평균값을 산출하는 단계; b) 상기 산출된 그레이 스케일 평균값과 미리 구비된 샘플 영상으로부터 산출된 그레이 스케일 기준값의 그레이 스케일 차이값에 대응하는 그레이 스케일 보정값을 산출하는 단계; 및 c) 상기 산출된 그레이 스케일 보정값에 따라 상기 획득한 프레임 영상의 전체 영역에 대한 그레이 스케일 값을 조절하는 단계를 포함하는 것을 특징으로 하는 파노라마 영상 획득 방법을 제공한다.In order to achieve the above object, the present invention includes the steps of: a) calculating a gray scale average value of pixels included in a predetermined reference region of a frame image obtained by irradiating radiation on one section of a subject; b) calculating a gray scale correction value corresponding to a gray scale difference value between the calculated gray scale average value and a gray scale reference value calculated from a preliminary sample image; And c) adjusting a gray scale value of the entire area of the acquired frame image according to the calculated gray scale correction value.
여기서 상기 a) 단계에서 상기 기준영역은 상기 피사체의 미리 정해진 경추의 일 지점으로부터 수직방향으로 소정거리 이격된 지점까지의 높이구간에 대응되는 영역인 것을 특징으로 한다.Here, in the step a), the reference area is an area corresponding to a height section from a point of a predetermined cervical spine of the subject to a point spaced a predetermined distance in the vertical direction.
또한, 상기 c) 단계의 이후 단계로 d) 상기 피사체의 최종 구간에 대한 최종 프레임 영상을 획득할 때까지 상기 a) 내지 c) 단계를 반복하여 복수의 프레임 영 상들을 획득하는 단계; 및 e) 상기 획득한 복수의 프레임 영상들을 재구성하여 파노라마 영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.In addition, after the step c), d) repeating steps a) to c) until acquiring a final frame image of the final section of the subject to obtain a plurality of frame images; And e) generating a panorama image by reconstructing the obtained plurality of frame images.
또한, 상기 프레임 영상은 상기 피사체에 조사된 방사선을 수광하는 면적센서에 의해 획득되는 것을 특징으로 한다.The frame image may be acquired by an area sensor that receives radiation irradiated to the subject.
또한, 상기 b) 단계에서 상기 그레이 스케일 기준값은 상기 높이구간에 대응되는 상기 샘플 영상의 영역 중 경추부분을 제외한 타 영역에 포함되는 픽셀들의 그레이 스케일 값을 평균하여 산출되는 것을 특징으로 한다.In addition, the gray scale reference value may be calculated by averaging the gray scale values of pixels included in other regions except for the cervical spine region of the sample image corresponding to the height section.
또한, 상기 그레이 스케일 보정값은 상기 그레이 스케일 차이값과 상기 미리 설정된 보정비율을 곱한 값에 상기 획득한 프레임 영상의 그레이 스케일 평균값을 합산하여 계산하는 것을 특징으로 한다.The gray scale correction value may be calculated by adding the gray scale average value of the obtained frame image to a value obtained by multiplying the gray scale difference value and the preset correction ratio.
또한, 상기 샘플 영상은 피사체의 연령, 체중, 성별, 국적, 인종, 직업 및 병력을 포함하는 피사체 정보의 각 카테고리에 따라 복수 개 구비되고, 상기 그레이 스케일 기준값은 상기 복수의 샘플 영상으로부터 각각 산출된 복수 개의 그레이 스케일 기준값들 중에서 선택되는 것을 특징으로 한다.The sample image may be provided in plurality according to each category of subject information including age, weight, gender, nationality, race, occupation, and medical history of the subject, and the gray scale reference values may be calculated from the plurality of sample images, respectively. It is characterized in that it is selected from a plurality of gray scale reference values.
한편, 본 발명은 피사체의 어느 일 구간에 방사선을 조사하는 방사선 조사부; 상기 피사체를 관통한 방사선을 수광하여 상기 피사체에 대한 프레임 영상을 획득하는 이미지 센서; 및 상기 이미지 센서로부터 상기 프레임 영상을 입력받아 상기 프레임 영상의 그레이 스케일을 보정하고, 그레이 스케일이 보정된 상기 프레임 영상을 재구성하여 파노라마 영상을 생성하는 영상처리부를 포함하는 것을 특징으로 하는 파노라마 영상 획득 장치를 제공한다.On the other hand, the present invention is a radiation irradiation unit for irradiating radiation to any one section of the subject; An image sensor configured to receive radiation passing through the subject to obtain a frame image of the subject; And an image processor which receives the frame image from the image sensor, corrects the gray scale of the frame image, and reconstructs the frame image having the gray scale corrected to generate a panorama image. To provide.
여기서 상기 영상 처리부는 상기 획득된 프레임 영상의 미리 정해진 기준영역 내에 포함되는 픽셀들의 그레이 스케일 평균값을 산출하는 평균값 산출부; 상기 산출된 그레이 스케일 평균값과 미리 구비된 샘플 영상으로부터 산출된 그레이 스케일 기준값을 비교하고 그 차이값에 대응하는 그레이 스케일 보정값을 산출하는 보정값 산출부; 상기 산출된 그레이 스케일 보정값에 따라 상기 프레임 영상의 전체 영역에 대한 그레이 스케일 값을 조절하는 그레이 스케일 조절부; 및 상기 그레이 스케일이 조절된 프레임 영상을 재구성하여 파노라마 영상을 생성하는 영상 재구성부를 포함하는 것을 특징으로 한다.The image processor may include: an average value calculator configured to calculate a gray scale average value of pixels included in a predetermined reference region of the obtained frame image; A correction value calculator for comparing the calculated gray scale average value with a gray scale reference value calculated from a sample image provided in advance and calculating a gray scale correction value corresponding to the difference value; A gray scale controller configured to adjust gray scale values of the entire area of the frame image according to the calculated gray scale correction value; And an image reconstruction unit configured to reconstruct the frame image of which the gray scale is adjusted to generate a panorama image.
또한, 상기 이미지 센서는 간헐적인 방사선의 조사에 의한 프레임 단위의 영상을 획득하는 면적센서인 것을 특징으로 한다.The image sensor may be an area sensor that acquires an image of a frame unit by intermittent irradiation.
또한, 상기 파노라마 영상 획득 장치는 상기 피사체의 각 구간별로 방사선을 조사하도록 상기 방사선 조사부를 제어하고, 상기 방사선 조사부와 연동하여 조사된 방사선을 수광하도록 상기 이미지 센서를 조절하는 조절모듈을 더 포함하는 것을 특징으로 한다.The panoramic image capturing apparatus may further include an adjustment module configured to control the radiation irradiator to irradiate radiation for each section of the subject, and adjust the image sensor to receive radiation irradiated in association with the radiation irradiator. It features.
또한, 상기 기준영역은 상기 피사체의 미리 정해진 경추의 일 지점으로부터 수직방향으로 소정거리 이격된 지점까지의 높이구간에 대응되는 영역인 것을 특징으로 한다.The reference region may be a region corresponding to a height section from one point of a predetermined cervical spine of the subject to a point spaced a predetermined distance in a vertical direction.
또한, 상기 보정값 산출부는 상기 획득한 프레임 영상의 그레이 스케일 보정값은 상기 획득한 프레임 영상에 대한 차이값을 그대로 반영하거나, 상기 차이값에 미리 설정된 보정비율을 적용하여 산출되는 것을 특징으로 한다.The gray scale correction value of the obtained frame image may be calculated by reflecting a difference value of the obtained frame image as it is or by applying a preset correction ratio to the difference value.
본 발명에 따르면 경추효과가 보정되어 균일한 대조도를 나타내는 파노라마 영상을 획득할 수 있다는 장점이 있다. 또한, 대조도가 균일한 파노라마 영상을 이용하여 환자의 상태를 정확하게 진단함으로써 오진 및 의료사고의 가능성을 줄일 수 있다는 효과가 있다.According to the present invention, the cervical spine effect is corrected, so that a panoramic image showing a uniform contrast can be obtained. In addition, by accurately diagnosing the patient's condition using a uniform panoramic image, the possibility of misdiagnosis and medical accidents can be reduced.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 첨가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, detailed description is abbreviate | omitted when it is judged that it may obscure the summary of this invention. In addition, preferred embodiments of the present invention will be described below, but the technical idea of the present invention may be implemented by those skilled in the art without being limited or limited thereto.
도 2는 본 발명의 바람직한 실시예에 따른 파노라마 영상 획득 장치를 간략하게 나타낸 도면이다.2 is a diagram schematically illustrating an apparatus for obtaining a panoramic image according to an exemplary embodiment of the present invention.
이하, 도 2를 참고하여 본 발명의 바람직한 실시예에 따른 파노라마 영상 획득 장치(100)를 설명한다.Hereinafter, the panorama
본 발명의 바람직한 실시예에 따른 파노라마 영상 획득 장치(100)는 방사선 조사부(110), 이미지 센서(120), 영상처리부(130) 및 디스플레이부(140)를 포함한다.The panoramic
방사선 조사부(110)는 일정한 궤적을 따라 피사체(10) 주위를 회전하며 방사선을 조사한다. 이때, 방사선 조사부(110)는 도 3에 도시된 바와 같은 피사체(10)의 관심영역(12)이 위치하며, 피사체(10)의 치열궤적이 형상화된 복수 개의 이미지 레이어 궤적(14)으로 방사선을 조사한다. 여기서 상기 관심영역이란 피사체(10) 내부에 촬영하고자 하는 부분을 말한다.The
방사선 조사부(110)는 복수의 구간으로 구획된 피사체(10)의 각 구간, 즉 복수의 구간으로 구분되는 이미지 레이어 궤적(14)의 구간별로 방사선을 조사하는데, 이러한 방사선 조사부(110)가 조사하는 방사선은 피사체(10)를 투과하여 이미지 센서(120)에 수광됨으로써 피사체(10)에 대한 영상을 획득할 수 있는 것으로 인체를 투과할 수 있을 정도의 투과력을 가지는 엑스선이나 감마선인 것이 바람직하다.The
이미지 센서(120)는 일정한 면적을 가지는 센서로써 방사선 조사부(110)와의 사이에 피사체(10)를 두고 방사선 조사부(110)와 연동하여 움직이며, 피사체(10) 즉, 이미지 레이어 궤적(14)을 통과한 방사선을 수광하여 이미지 레이어 궤적(14)에 위치하는 관심영역(12)에 대한 영상을 획득한다.The
이때, 상기 이미지 센서(120)가 획득하는 영상은 도 4에 도시된 바와 같이 이미지 레이어 궤적(14)의 각 구간별로 조사된 방사선에 의한 단위 영상인 프레임 영상(125)이다.In this case, the image acquired by the
여기서 상기 이미지 센서(120)는 연속적인 스캔 촬영이 아닌 간헐적으로 조사되는 방사선에 의한 프레임 영상(125)을 획득하는 것으로 도 5를 참조하여 상기한 이미지 센서(120)에 대해 더욱 상세하게 설명한다.Here, the
도 5에 도시된 이미지 센서(120)는 영상획득면(s) 중 일부면(s1)만을 사용하는 것으로 도 5의 (a)는 능동형 센서 (b)는 수동형 센서를 나타낸 것이다. The
도 5(a)에 도시된 능동형 센서는 영상획득면(s)의 전체 영역으로 X선이 조사되기는 하나, 센서의 일부면(s1)에 의해 획득되는 방사선만을 이용하는 방법으로, 영상획득면(s) 중 일부면(s1)만을 활성화하고, 나머지면은 비활성화하여 활성화된 일부면(s1)만으로 방사선을 수광하게 하는 것이다.In the active sensor illustrated in FIG. 5A, X-rays are radiated to the entire area of the image acquisition surface s. However, the active sensor uses only the radiation obtained by the partial surface s 1 of the sensor. Only one side s 1 of s) is activated, and the other side is deactivated to receive radiation only by the activated partial side s 1 .
예를 들어, 능동형 센서는 상기 영상획득면(s)을 구성하는 감광소자들(도시하지 않음) 중 일부면(s1)에 속하는 감광소자들만을 '온'하고, 나머지 감광소자들은 '오프'하는 방식의 센서일 수 있다.For example, the active sensor 'on' only the photosensitive elements belonging to some surface s 1 of the photosensitive elements (not shown) constituting the image acquisition surface s, and the other photosensitive elements are 'off'. It may be a sensor of the way.
또는 능동형 센서는 영상획득면(s) 전체가 활성화되기는 하지만 상기 일부면(s1)에 의해 획득된 방사선 영상만을 추출하는 방식의 센서일 수 있다. Alternatively, the active sensor may be a sensor that extracts only the radiographic image obtained by the partial surface s 1 , although the entire image acquisition surface s is activated.
예를 들어 상기 일부면(s1)에 속하는 감광소자들에 저장된 데이터만을 검출부(미도시)가 검출하게 하는 것으로 더욱 자세하게는, 상기 이미지 센서(120)에 감광소자들에 저장된 데이터를 상기 검출부로 누출하는 게이트 드라이버(미도시)를 구비하고, 게이트 드라이버에 의해 상기 일부면(s1)에 속하는 감광소자들에 저장된 데이터만을 검출부로 누출되게 함으로써, 검출부가 상기 일부면(s1)에 의해 획득된 방사선 영상만을 검출할 수 있게 하는 것이다.For example, the detector (not shown) detects only data stored in the photosensitive elements belonging to the partial surface s 1. More specifically, the data stored in the photosensitive elements in the
요약하면 상기 능동형 센서는 방사선의 조사범위와는 관계없이 상기 일부 면(s1)에 의해 획득된 방사선 영상만을 추출하는 방법이다.In summary, the active sensor extracts only the radiographic image acquired by the partial surface s 1 regardless of the irradiation range of the radiation.
한편, 도 5(b)와 같은 수동형 센서는 영상획득면(s) 중 상기 일부면(s1)에만 방사선이 조사되게 하여 상기 일부면(s1)만이 방사선 영상을 획득할 수 있게 방법이다.On the other hand, a passive sensor, such as Fig. 5 (b) is an image capture surface (s) is of the methods able to obtain the part surface (s 1), only the radiation image to be only radiation irradiates the part surfaces (s 1).
예를 들면, 상기 방사선 조사부(110)가 방사선의 조사범위를 조절하는 슬릿(미도시)을 구비하도록 하고, 슬릿을 제어함으로써 상기 영상획득면(s) 중 상기 일부면(s1)만으로 방사선이 조사되게 하는 것이다.For example, the
이러한 이미지 센서(120)는 씨씨디(CCD : Charge-Coupled Device)센서 또는 씨모스(CMOS : Complementary Metal-Oxide Semiconductor)센서로 구현되는 것이 바람직하나, 그 밖에 방사선 조사부(110)로부터 방사되는 방사선을 수광할 수 있는 센서라면 어떠한 센서라도 무방하다.The
영상 처리부(130)는 이미지 센서(120)로부터 프레임 영상(125)을 입력받아 상기 프레임 영상(125)의 그레이 스케일을 보정하고, 그레이 스케일이 보정된 상기 프레임 영상(125)을 재구성하여 파노라마 영상을 생성하는 역할을 한다.The
이러한 영상 처리부(130)는 도 6에 도시된 바와 같이 평균값 산출부(132), 보정값 산출부(134), 그레이 스케일 조절부(136) 및 영상 재구성부(138)를 포함한다.As illustrated in FIG. 6, the
평균값 산출부(132)는 이미지 센서(120)로부터 획득한 프레임 영상(125) 중에서 미리 정해진 기준영역(126) 내에 포함되는 픽셀들의 그레이 스케일 평균값을 산출하는 역할을 한다.The
여기서 기준영역(126)이란 프레임 영상(125)의 일부분에 해당하는 소정 영역으로 복수의 픽셀(pixel)을 포함하는 영역을 말하며, 상기 피사체(10)에서 미리 정해진 어느 한 경추의 일 지점으로부터 수직방향으로 소정거리 이격된 지점까지의 높이구간에 대응되는 영역이다. 이러한 기준영역(126)은 도 4에 도시된 바와 같이 대조도가 가장 균일하게 나타나는 프레임 영상(125)의 하부, 즉 피사체(10)와 경추가 서로 중첩되지 않는 높이구간에 배치 될 수 있도록 설정하는 것이 바람직하다.The
평균값 산출부(132)는 이러한 기준영역(126) 내에 포함되는 픽셀들의 그레이 스케일 값을 평균한 그레이 스케일 평균값을 계산하고, 계산된 그레이 스케일 평균값을 보정값 산출부(134)로 전송한다.The
보정값 산출부(134)는 상기 산출된 그레이 스케일 평균값과 미리 구비된 샘플 영상(미도시)으로부터 산출된 그레이 스케일 기준값을 비교하고 그 차이값에 대으하는 그레이 스케일 보정값을 산출한다.The
이러한 보정값 산출부(134)는 상기 획득한 프레임 영상에 대한 차이값을 그대로 반영한 값을 상기 획득한 프레임 영상(125)의 그레이 스케일 보정값으로 이용하거나, 상기 차이값에 미리 설정된 보정비율을 적용하여 그레이 스케일 보정값으로 산출할 수 있다. 이때, 상기 보정비율은 상기 획득한 프레임 영상의 차이값이 미리 정해진 허용범위를 벗어나는 경우에만 상기 차이값에 적용하여, 인접하는 프레임 영상(125)들 간의 그레이 스케일 값이 급격히 변화하는 것을 방지하는 것이 바람직하다.The
한편, 보정값 산출부(134)는 상기 획득한 프레임 영상(125)에 대한 그레이 스케일 평균값과 그레이 스케일 기준값으로부터 산출된 차이값이 미리 정해진 허용범위를 벗어나는 경우, 피사체(10)의 상기 프레임 영상(125)에 대응하는 구간에 인접하여 먼저 촬영된 선행 구간에 대한 프레임 영상(125a)의 그레이 스케일 보정값과 그 후에 촬영된 상기 피사체(10)의 후행 구간에 대한 프레임 영상(125b)의 그레이 스케일 보정값 사이의 값을 상기 획득한 프레임 영상(125)의 그레이 스케일 보정값으로 산출할 수도 있다.On the other hand, the correction
여기서 상기 선행 구간의 프레임 영상(125a)에 대한 차이값과 상기 후행 구간의 프레임 영상(125b)에 대한 차이값은 모두 허용범위 이내인 것으로 한다.Herein, the difference between the
이때, 만약 후행 구간의 프레임 영상(125b)의 차이값이 허용범위 이내에 있지 않다면, 그와 인접하는 다음 프레임 영상(125c)의 그레이 스케일 보정값과 상기 선행 구간에 대한 프레임 영상(125a)의 그레이 스케일 보정값의 사이에 있는 값을 상기 프레임 영상들(125,125b)의 그레이 스케일 보정값으로 하되, 상기 프레임 영상들(125,125b)의 그레이 스케일 보정값은 점진적으로 증가하거나 감소하도록, 즉 선형적으로 증감되도록 한다.At this time, if the difference value of the
이는 선행 구간에 대한 프레임 영상(125a)에 대해서도 동일하게 적용될 수 있다.The same may be applied to the
이와 같이 프레임 영상(125)의 그레이 스케일 보정값을 산출함에 따라 인접하는 프레임 영상(125) 간의 그레이 스케일이 급격하게 변화하는 것을 방지하여 최종적으로 생성되는 파노라마 영상의 대조도가 더욱 균일하게 나타날 수 있게 된다.As the gray scale correction value of the
그레이 스케일 조절부(136)는 상기와 같이 기준영역(126)에 대해 산출된 그레이 스케일 보정값을 애용하여 해당 프레임 영상(125)의 전체 영역에 대한 그레이 스케일 값을 조절하는 역할을 한다.The
영상 재구성부(138)는 그레이 스케일 조절부(136)에 의해 그레이 스케일이 조절된 프레임 영상(125)을 재구성하여 파노라마 영상을 생성한다.The
이때, 영상 재구성부(138)는 인접하는 프레임 영상(125)들에 나타난 피사체(10)의 공통부분에 대해서는 서로 중첩되도록 구성하여 프레임 영상(125)의 연결부분이 더욱 선명하게 나타날 수 있도록 한다.In this case, the
디스플레이부(140)는 영상 처리부(130)에 의해 생성된 파노라마 영상을 화면상에 출력시킨다. The
한편, 본 발명의 파노라마 영상 획득 장치(100)는 조절모듈(150)을 더 포함할 수 있다.Meanwhile, the panorama
조절모듈(160)은 피사체(10)의 각 구간, 즉 이미지 레이어 궤적(14)의 시점에서 종점에 이르는 각 구간별로 방사선을 조사하도록 상기 방사선 조사부(110)를 제어하고, 방사선 조사부(110)와 연동하여 상기 조사된 방사선을 수광하도록 상기 이미지 센서(120)를 조절한다.The adjustment module 160 controls the
또한, 조절모듈(160)은 이미지 레이어 궤적(14)의 종점 구간에 방사선이 조사되면, 이를 인식하여 최종 프레임 영상(125)이 촬영된 것으로 판단하여 프레임 영상(125)의 촬영이 종료되도록 한다.In addition, when the radiation module is irradiated to the end point section of the
도 7은 본 발명의 바람직한 실시예에 따른 파노라마 영상의 획득 과정을 나 타낸 순서도이다.7 is a flowchart illustrating a process of acquiring a panoramic image according to an exemplary embodiment of the present invention.
이하, 도 7을 참고하여 본 발명의 바람직한 실시예에 따른 파노라마 영상 획득 장치(100)를 이용하여 파노라마 영상을 획득하는 방법을 상세하게 설명한다.Hereinafter, a method of obtaining a panoramic image using the panoramic
먼저, 영상 처리부(130)에 구비되는 평균값 산출부(132)는 피사체(10) 중의 촬영하고자 하는 관심영역(12)이 위치하는 복수 개의 이미지 레이어 궤적(14)의 어느 일 구간에 방사선을 조사하여 획득한 프레임 영상(125) 중에서 미리 정해진 기준영역(126) 내에 포함되는 픽셀들의 그레이 스케일 평균값을 산출한다(S100).First, the
여기서 상기 이미지 레이어 궤적(14)은 적어도 둘 이상으로 나누어 질 수 있으며, 바람직하게는 2800개의 구간으로 나누어진다.Here, the
보정값 산출부(134)는 미리 구비된 샘플 영상으로부터 산출된 그레이 스케일 기준값에서 그레이 스케일 평균값을 뺀 차이값에 대응하는 그레이 스케일 보정값을 산출한다(S110).The
여기서 샘플 영상은 그레이 스케일 평균값과 비교하여 그레이 스케일 보정값을 산출하는데 이용되는 그레이 스케일 기준값을 설정하기 위해 다양한 피사체(10)들에 방사선을 조사하여 미리 획득해 놓은 영상을 말한다.Here, the sample image refers to an image previously obtained by irradiating
이러한 샘플 영상은 피사체(10)의 연령, 체중, 성별, 국적, 인종, 직업 및 병력을 포함하는 피사체 정보의 상기 각 카테고리에 따라 복수 개 구비될 수 있다. The sample image may be provided in plural in accordance with each category of the subject information including the age, weight, gender, nationality, race, occupation, and medical history of the subject 10.
상기 피사체 정보는 경추의 두께 또는 골밀도가 피사체(10)의 연령, 체중, 성별 등의 상기 카테고리에 따라 다르게 나타나는 점을 고려하여 구분될 수 있으며, 상기 열거한 카테고리 외에 경추의 두께 및 골밀도 등에 영향을 미치는 요인들 이 피사체 정보에 포함될 수 있다.The subject information may be classified in consideration of the fact that the thickness or bone density of the cervical spine varies depending on the category such as age, weight, and gender of the subject 10, and may affect the thickness and bone density of the cervical spine in addition to the above-listed categories. Influencing factors may be included in the subject information.
이처럼 다양한 샘플 영상을 카테고리에 따라 구비함으로써 제각기 다른 경추두께나 경추 골밀도를 갖는 다양한 진료 대상자에 적합한 그레이 스케일 기준값을 선택적으로 적용할 수 있다.By providing a variety of sample images according to the category, it is possible to selectively apply a gray scale reference value suitable for various treatment subjects having different cervical spine thickness or cervical spine bone density.
그레이 스케일 기준값은 상기 샘플 영상의 하부에 위치하는 미리 정해진 영역인 샘플 영역의 그레이 스케일 값을 평균하여 얻어진다. 이때, 샘플 영상은 프레임 단위로 획득한 영상들을 재구성하여 획득한 파노라마 영상일 수 있으며, 상기 샘플 영역의 위치는 프레임 영상(125)에서의 기준영역(126)의 위치와 동일하게 설정하는 것이 바람직하다.The gray scale reference value is obtained by averaging the gray scale values of the sample region, which is a predetermined region located below the sample image. In this case, the sample image may be a panoramic image obtained by reconstructing the images acquired in units of frames, and the location of the sample region may be set to be the same as the position of the
또한, 상기 샘플 영상의 상기 미리 정해진 영역은 샘플 영상 중에서 경추 부위를 제외한 나머지 영역만을 포함하도록 설정된다.The predetermined area of the sample image is set to include only the remaining areas of the sample image except for the cervical spine region.
이해를 돕기 위해 그레이 스케일 기준값을 설정하는 과정을 예를 들어 자세히 설명하되, 연령에 따라 경추부위의 골밀도가 다르게 나타나는 점에 착안하여 연령에 따라 샘플 영상을 구비하는 것으로 가정한다.For the sake of understanding, the process of setting the gray scale reference value will be described in detail, for example. However, it is assumed that the sample image is provided according to the age based on the fact that the bone density of the cervical spine is different according to the age.
먼저, 20~25세인 사람들의 악궁에 대한 샘플 영상 100개를 구비한다. 이때, 하나의 샘플 영상은 2800개의 프레임 단위의 영상으로 이루어지고, 이 중에서 경추부위에 해당하는 프레임 단위의 영상이 800개라고 한다면, 샘플 영상 중 그레이 스케일 기준값을 산출하기 위해 사용되는 부분은 상기 경추부위에 해당하는 800개의 영상을 제외한 나머지 2000개가 된다.First, we have 100 sample images of the archery of people aged 20-25 years. In this case, if one sample image is composed of 2800 frame unit images, and there are 800 frames per unit image corresponding to the cervical spine, a portion of the sample image used to calculate the gray scale reference value is placed on the cervical spine region. The remaining 2,000 images except for the corresponding 800 images.
상기 경추부위를 제외한 2000개의 프레임 단위 영상의 샘플 영역에 포함되 는 픽셀들의 그레이 스케일 값을 평균하고, 이러한 과정을 상기 100개의 샘플 영상에 대해 수행한다. 그 후 각 샘플 영상에서 얻어진 평균값들을 다시 평균하여 그레이 스케일 기준값을 산출하는 것이다. The gray scale values of the pixels included in the sample region of the 2000 frame unit images excluding the cervical spine region are averaged, and the process is performed on the 100 sample images. Thereafter, the average values obtained in each sample image are averaged again to calculate a gray scale reference value.
이러한 그레이 스케일 기준값은 피사체 정보의 연령, 체중, 성별, 국적, 인종, 직업 및 병력 등에 따라 복수 개 구비될 수 있고, 보정값 산출부(134)는 촬영 대상이 되는 환자의 정보에 적합한 카테고리를 선택하여 해당 카테고리에 따른 그레이 스케일 기준값을 설정하는 것이 가능하다.The gray scale reference value may be provided in plural according to the age, weight, gender, nationality, race, occupation and medical history of the subject information, and the
이때, 상기 픽셀의 그레이 스케일 값은 0~255 또는 0~65535의 명암도로 표현될 수 있다.In this case, the gray scale value of the pixel may be expressed as a contrast level of 0 to 255 or 0 to 65535.
한편, 상기 보정값 산출부(134)는 상기 획득한 프레임 영상(125)의 그레이 스케일의 차이값이 미리 정해진 허용범위 내인 경우에는 상술한 바와 같이 상기 차이값에 대응하는 값을 그레이 스케일 보정값으로 한다. 그러나, 상기 차이값이 상기 허용범위를 벗어나는 경우에는 상기 차이값에 미리 설정된 보정비율을 적용한 값을 그레이 스케일 보정값으로 산출한다.On the other hand, when the difference value of the gray scale of the obtained
그레이 스케일 보정값 산출을 위한 다른 예로, 상기 차이값이 미리 정해진 허용범위를 벗어나는 경우, 보정값 산출부(134)는 선행 프레임 영상(125a)과 후행 프레임 영상(125b)의 각 보정값들의 사이에 있는 값을 상기 획득한 프레임 영상(125)의 보정값으로 산출한다. 이와 같은 보정값 산출부(134)에 대해서는 상술한 바와 같으므로 이하에서는 예를 들어 설명한다.As another example for calculating the gray scale correction value, when the difference value is out of a predetermined allowable range, the correction
만약, 샘플 영상으로부터 획득하여 선택된 그레이 스케일 기준값이 150이고, 차이값에 대한 허용범위는 -10 ~ 10이며, 프레임 영상(125)의 그레이 스케일 평균값이 130이라고 하면, 차이값은 20이 되어 차이값이 -10 ~ 10 으로 설정된 허용범위를 벗어나게 된다. If the gray scale reference value acquired from the sample image is 150, the allowable range for the difference value is -10 to 10, and the gray scale average value of the
이때, 선행 프레임 영상(125a)와 후행 프레임 영상(125b)의 그레이 스케일 보정값이 각각 215와 219라고 하면, 상기 해당 프레임 영상(125)의 그레이 스케일 보정값은 215와 219 사이에 존재하는 값으로 정해지는 것이다.In this case, when the gray scale correction values of the preceding
만약, 상기 후행 프레임 영상(125b)의 차이값도 허용범위를 벗어나고, 그에 후행하는 프레임 영상(125c)의 보정값이 221이라고 하면, 상기 해당 프레임 영상(125)과 후행 프레임 영상(125b)의 보정값은 215와 221 사이에 존재하는 값으로 각각 정해진다. 이때, 선행 프레임 영상(125a)에서 가장 후행하는 프레임 영상(125c)의 보정값은 증가하는 경향을 보임으로, 상기 해당 프레임 영상(125)의 보정값은 후행 프레임 영상(125)의 보정값보다 작게 설정되도록 하여 그레이 스케일 보정값이 점진적으로 변화될 수 있도록 한다.If the difference value of the
그레이 스케일 조절부(136)은 상기와 같이 산출된 그레이 스케일 보정값을 이용하여 해당 프레임 영상(125)의 그레이 스케일 값을 조절한다(S120).The
그리고나서, 조절모듈(150)은 이미지 레이어 궤적(14)의 종점 구간에 대한 최종 프레임 영상(125)이 획득되었는지 여부를 판단하고, 이미지 레이어 궤적(14)의 종점 구간에 대한 최종 프레임 영상(125)이 획득될 때까지 방사선 조사부(110), 이미지 센서(120) 및 영상처리부(130)가 상기 S100단계 내지 S120단계를 반복적으로 수행하도록 한다(S130).Then, the
조절모듈(160)은 최종 프레임 영상(125)이 획득되면, 이미지 레이어 궤적(14)의 시점구간에서 종점구간에 걸쳐 획득한 모든 프레임 영상(125)을 영상처리부(130)로 전송하고, 영상처리부(130)는 입력받은 프레임 영상(125)들을 재구성하여 최종적인 파노라마 영상을 생성한다(S140).When the
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구 범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
도 1은 파노라마 영상을 획득하기 위해 피사체에 방사선이 조사되는 것을 도시한 것이다.1 illustrates that radiation is irradiated on a subject to acquire a panoramic image.
도 2는 본 발명의 바람직한 실시예에 따른 파노라마 영상 획득 장치를 간략하게 나타낸 도면이다.2 is a diagram schematically illustrating an apparatus for obtaining a panoramic image according to an exemplary embodiment of the present invention.
도 3은 이미지 레이어 궤적에 관심영역이 위치한 것을 도시한 도면이다.3 is a diagram illustrating a region of interest located on an image layer trajectory.
도 4는 복수의 프레임 영상을 나타낸 도면이다.4 is a diagram illustrating a plurality of frame images.
도 5는 이미지 센서가 방사선을 수광하는 것을 설명하기 위한 도면이다.5 is a view for explaining that the image sensor receives radiation.
도 6은 영상처리부의 블럭도이다.6 is a block diagram of an image processor.
도 7은 본 발명의 바람직한 실시예에 따른 파노라마 영상의 획득 과정을 나타낸 순서도이다.7 is a flowchart illustrating a process of acquiring a panoramic image according to an exemplary embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
100 : 파노라마 영상 획득 장치100: panoramic image acquisition device
110 : 방사선 조사부 120 : 이미지 센서110: radiation unit 120: image sensor
130 : 영상처리부 140 : 디스플레이부130: image processing unit 140: display unit
150 : 조절모듈150: control module
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090132500A KR101122260B1 (en) | 2009-12-29 | 2009-12-29 | Methode and Apparatus for Obtaining Panoramic Image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090132500A KR101122260B1 (en) | 2009-12-29 | 2009-12-29 | Methode and Apparatus for Obtaining Panoramic Image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110075927A KR20110075927A (en) | 2011-07-06 |
KR101122260B1 true KR101122260B1 (en) | 2012-03-20 |
Family
ID=44915878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090132500A KR101122260B1 (en) | 2009-12-29 | 2009-12-29 | Methode and Apparatus for Obtaining Panoramic Image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101122260B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100890611B1 (en) | 2007-03-14 | 2009-03-27 | 주식회사바텍 | Panorama image correction device |
-
2009
- 2009-12-29 KR KR1020090132500A patent/KR101122260B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100890611B1 (en) | 2007-03-14 | 2009-03-27 | 주식회사바텍 | Panorama image correction device |
Also Published As
Publication number | Publication date |
---|---|
KR20110075927A (en) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101094180B1 (en) | Methode and Apparatus for Obtaining Panoramic Image | |
CN106550527B (en) | Automatic exposure control for X-ray imaging | |
JP5171215B2 (en) | X-ray CT system | |
KR101367747B1 (en) | Radiographic apparatus and control method for the same | |
US10762384B2 (en) | Radiation image capture system and body system estimation method with scatter reduction | |
EP3146900B1 (en) | Medical image photographing apparatus and medical image correction method using depth camera | |
US20130004050A1 (en) | Method and system for scatter correction in x-ray imaging | |
JP6925779B2 (en) | Small irradiation field X-ray imaging system and method | |
CN111436963B (en) | Self-calibration method and scanning system of head-moving CT detector | |
JP2013233415A (en) | Radiation image photographing apparatus, radiation image photographing program, and radiation image photographing method | |
US8197137B2 (en) | X-ray imaging apparatus and control method therefor | |
EP3993706B1 (en) | Narrow beam ct using a 3d fluence modulation and scatter shield system | |
CN110458913B (en) | Method for correcting bone hardening artifacts in image reconstruction by multi-threshold segmentation CT image | |
CN111685781B (en) | Radiographic apparatus | |
KR101122260B1 (en) | Methode and Apparatus for Obtaining Panoramic Image | |
CN107845070B (en) | Method for fully automatically tracking digital X-ray perspective dose | |
JP2016131805A (en) | X-ray image diagnostic apparatus and method for creating x-ray image | |
KR101057763B1 (en) | Method and apparatus for obtaining high resolution panoramic images | |
US20180192966A1 (en) | Image acquisition device and method | |
KR101842943B1 (en) | Method for acquiring cbct image using tube current modulation(tcm) and system thereof | |
JP2002153454A (en) | X-ray ct device | |
KR20140000573A (en) | Apparatus and method for obtaining ct image using correction phantom | |
WO2018235393A1 (en) | X-ray ct apparatus and x-ray irradiation condition setting method | |
JP2013244360A (en) | X ray inspector | |
EP3852636B1 (en) | Systems and methods for mitigating imaging artifacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150223 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160223 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180118 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20190104 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20200106 Year of fee payment: 9 |