WO2016013881A1 - 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법 - Google Patents

3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법 Download PDF

Info

Publication number
WO2016013881A1
WO2016013881A1 PCT/KR2015/007659 KR2015007659W WO2016013881A1 WO 2016013881 A1 WO2016013881 A1 WO 2016013881A1 KR 2015007659 W KR2015007659 W KR 2015007659W WO 2016013881 A1 WO2016013881 A1 WO 2016013881A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
voxel
screen
voxels
big data
Prior art date
Application number
PCT/KR2015/007659
Other languages
English (en)
French (fr)
Inventor
박해정
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2016013881A1 publication Critical patent/WO2016013881A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17356—Indirect interconnection networks
    • G06F15/17368—Indirect interconnection networks non hierarchical topologies
    • G06F15/17387—Three dimensional, e.g. hypercubes

Definitions

  • the present invention relates to an apparatus and method for constructing a big data database, and more particularly, to an apparatus and method for constructing a big data database by extracting a region of interest of a 3D volume image.
  • Big data not only means a large amount of data, but also refers to a technology for extracting meaning from a large amount of data and analyzing a result. Since the concept of big data is a technology for extracting and analyzing meaning from a large amount of data, it is common for big data to contain meaningful and meaningless information in the field to be analyzed. Even though the information is meaningless in one field, it may have meaning in other fields, and the existing big data has not strictly determined the validity of the information.
  • Korean Patent Registration No. 10-0836740 "Image Data Processing Method and System According thereto” (2008.03.07 publication) discloses an image data processing method for extracting a region of interest from medical image data and generating a feature vector for the region of interest.
  • this is a technique for a two-dimensional single medical image, and because it is not an area of interest acquired according to the judgment of an expert, there is a limitation that it is not clear to distinguish valuable information.
  • An object of the present invention is to provide a big data database construction apparatus of a three-dimensional volume image.
  • Another object of the present invention is to provide a method for constructing a big data database of a 3D volume image.
  • an apparatus for constructing a big data database of a 3D volume image including: an image obtaining unit obtaining a 3D volume image including a plurality of cross-sectional images; An image display unit displaying at least one cross-sectional image of the plurality of cross-sectional images on a screen; Tracking a line of sight of the user with respect to the at least one cross-sectional image displayed on the screen, and measuring a position coordinate value of the line of sight at a predetermined period to obtain a plurality of sets of gaze screen coordinate points, which are sets of coordinates of movement paths of the line of sight.
  • Eye tracking unit and a big data storage unit configured to store an ROI extracted from the 3D volume image using the gaze screen coordinate point set. It includes.
  • the apparatus for constructing a big data database of the 3D volume image obtains a voxel list according to a frequency in which each of the plurality of voxels of the 3D volume image corresponding to the gaze screen coordinate point set is displayed, and the voxel adjacent to each other in the voxel list.
  • the apparatus may further include a region of interest extracting unit which extracts a region of interest of the 3D volume image, wherein the big data storage unit may extract the extracted region of interest. It may be characterized in that the area is received and stored.
  • the ROI extractor may include a coordinate converter configured to convert the gaze screen coordinate point set having a 2D coordinate value corresponding to the screen into a location point set having a coordinate value of the 3D volume image; Generating a frequency histogram according to the frequency of each of the plurality of voxels of the 3D volume image in the set of location points, weighting and smoothing the generated frequency histogram in a predetermined manner, and smoothing the smoothed frequency histogram.
  • An importance determining unit configured to extract the voxel list including voxels having a frequency equal to or greater than a predetermined reference frequency value among a plurality of voxels; Clustering voxels adjacent to each other among the voxels included in the voxel list to obtain a plurality of voxel cluster sets, merging the voxel cluster sets adjacent to each other among the plurality of voxel cluster sets, and then forming the voxel cluster set.
  • a cluster obtaining unit for selecting a final cluster set by analyzing the size of the cluster And a region of interest setting unit configured to calculate a maximum value and a minimum value of each coordinate axis direction among coordinate values of the voxels included in the final cluster set, and to set an area corresponding to the calculated maximum value and minimum value of each coordinate axis direction as the ROI. ; Characterized in that it comprises a.
  • the importance determining unit may increase the weight in proportion to the passage of time within a time interval until the at least one cross-sectional image is displayed on the screen and then at least one cross-sectional image is displayed on the screen.
  • the weight is added to each of the voxels corresponding to the frequency histogram.
  • the cluster acquisition unit may determine the voxels disposed adjacent to each other by performing an interconnection analysis on the voxels included in the voxel list.
  • the cluster obtaining unit merges the voxel cluster sets disposed within a predetermined reference distance among the plurality of voxel cluster sets, and selects the voxel cluster set having a predetermined reference size or more among the voxel cluster sets as the final cluster set. It is done.
  • the coordinate conversion unit converts the gaze screen coordinate point set into the location point set using an inverse function of a coordinate conversion function used by the image display unit to display the at least one cross-sectional image of the 3D volume image on a screen. It is characterized by.
  • Big data database construction method of the three-dimensional volume image for achieving the above another object is a big data database including an image acquisition unit, image display unit, gaze tracking unit, region of interest extraction unit and the big data storage unit
  • a method for constructing a big data database of a building device comprising: acquiring a three-dimensional volume image including a plurality of cross-sectional images by the image acquisition unit; Displaying, by the image display unit, at least one cross-sectional image of the plurality of cross-sectional images on a screen; Acquiring a plurality of gaze screen coordinate point sets which are sets of movement path coordinates of the gaze by preset tracking the gaze of the user with respect to the at least one cross-sectional image displayed on the screen; And storing, by the big data storage unit, the ROI extracted from the 3D volume image using the gaze screen coordinate point set.
  • the method of constructing a big data database of the 3D volume image may include: obtaining, by the ROI extractor, a voxel list according to a frequency in which each of a plurality of voxels of the 3D volume image corresponding to the gaze screen coordinate point set appears; Obtaining, by the ROI extractor, clustering voxels adjacent to each other in the voxel list to obtain voxel cluster sets; Obtaining, by the ROI extractor, regrouping and selecting the voxel cluster sets according to distance and size to obtain a final cluster set;
  • the ROI extractor may further include setting the ROI of the 3D volume image by analyzing the final cluster set.
  • the apparatus and method for constructing a big data database of a 3D volume image of the present invention tracks the eyes of an expert, extracts a region of interest, and stores the extracted region of interest as big data, thereby providing a short time in a professional image requiring expert analysis. It is possible to easily isolate a region of interest containing important information in the inside, and build big data efficiently.
  • FIG. 1 shows an apparatus for constructing a big data database of a 3D volume image according to an embodiment of the present invention.
  • FIG. 2 shows an example of a cross-sectional image displayed on an image display unit.
  • FIG 3 illustrates an example of a gaze position at which a gaze tracking unit tracks a gaze of a user.
  • FIG. 4 is a diagram of one region of interest extracted by clustering voxels extracted separately by the importance determining unit.
  • FIG. 5 illustrates a method for constructing a big data database of a 3D volume image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the voxel list obtaining step of FIG. 5 in detail.
  • FIG. 7 is a diagram illustrating the cluster set acquisition step of FIG. 5 in detail.
  • FIG. 1 shows an apparatus for constructing a big data database of a 3D volume image according to an embodiment of the present invention.
  • the big data database constructing apparatus 100 of the 3D volume image of the present invention includes an image acquisition unit 110, an image display unit 120, a gaze tracking unit 130, a coordinate conversion unit 140, The importance determination unit 150, the cluster acquisition unit 160, the ROI allocator 170, and the big data storage unit 180 are provided.
  • the image acquisition unit 110 acquires a professional image that requires an expert's reading.
  • the specialized image may be a 3D volume image composed of a plurality of cross-sectional images.
  • the 3D volume image is an image having a 2D cross-sectional image that is sequentially accumulated and configured as a 3D image.
  • the 3D volume image is used in various medical fields.
  • the image acquisition unit 110 may acquire a 3D volume image from image acquisition means such as a computed tomography (CT) device, a magnetic resonance imaging (MRI) imaging device, and an ultrasonography device.
  • image acquisition means such as a computed tomography (CT) device, a magnetic resonance imaging (MRI) imaging device, and an ultrasonography device.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • ultrasonography ultrasonography
  • the 3D volume image pre-stored in the data storage means may be received by wired or wireless communication.
  • the 3D volume image stored in the database unit 170 may be received and acquired.
  • the image display unit 120 receives the 3D volume image acquired by the image acquisition unit 110 and displays at least one cross-sectional image of the plurality of cross-sectional images of the received 3D volume image to the user. In this case, the image display unit 120 coordinate-converts at least one cross-sectional image according to the size of the screen displaying the image to the user and the number, size, and position of the cross-sectional image to be displayed on the screen, and displays the same on the screen.
  • the user means an expert who can read a professional image.
  • FIG. 2 shows an example of a cross-sectional image displayed on an image display unit.
  • FIG. 2 four cross-sectional images are simultaneously displayed on the screen of the image display unit 120 in the form of a 2 ⁇ 2 matrix, but as described above, cross-sectional images that can be simultaneously displayed on the screen of the image display unit 120 at one time.
  • the number of can be adjusted in various ways.
  • the position of the displayed cross-sectional image may also be variously adjusted.
  • the image display unit 120 may include at least one image display coordinate transformation function to display the cross-sectional image on the screen by the set size of the screen and the number, size, and position of the cross-sectional image to be displayed on the screen.
  • the image display unit 120 selects one of the at least one image display coordinate conversion function and coordinate-converts a plurality of voxels of the at least one cross-sectional image to be displayed on the screen by using the selected image display coordinate conversion function. Display on the screen.
  • the gaze tracking unit 130 corrects the relationship between the gaze measurement value and the screen by performing gaze correction in advance before the big data database building apparatus 100 performs the big data database building operation.
  • a correction transformation matrix can be obtained.
  • the correction transformation matrix may be obtained by displaying a reference point to be observed by the user at a predetermined specific position on the screen of the image display unit 120 and calculating a matrix that matches the coordinates of the displayed reference point with the tracked line of sight of the user. have.
  • the coordinate transformation function (T (sx i , xy i ): (sx i , xy i ) ⁇ (vx i , vy i , vz i )) is used to display the 3D volume image on the screen in the image display unit 120. It can be implemented as the inverse of the image display coordinate transformation function used for.
  • the two-dimensional coordinate value can be converted to the three-dimensional coordinate value because the coordinate value for the z coordinate is already determined in each of the plurality of cross-sectional images constituting the three-dimensional volume image. That is, the two-dimensional coordinate values of the specific cross-sectional image may be easily converted into three-dimensional coordinate values in the three-dimensional volume image.
  • FIG 3 illustrates an example of a gaze position at which a gaze tracking unit tracks a gaze of a user.
  • FIG. 3 unlike FIG. 2, four cross-sectional images are displayed side by side in the horizontal direction on the image display unit 120.
  • a gaze screen coordinate point set obtained by tracking a path of the user's gaze from the left ( ⁇ sx i , xy i ⁇ i 1,..., N ) are connected by lines. From FIG. 3, it may be determined that the user's gaze starts searching from the left first section image, sequentially moves to the right section image, and searches for a specific area of the third image from the left side again. This indicates that the corresponding region of the third image from the left side is the region of interest of the user.
  • the generated frequency histogram adds the time information of the gaze after the 3D volume image is displayed on the image display unit 120 as a weight w i .
  • the weight (w i ) is f (t i -T 1 , T 2 -T 1 ), which may be set as Equation 1 as an example.
  • Equation 1 is a user at a specific location point i during a time interval from a time point T 1 at which at least one cross-sectional image is displayed on the screen to a time point T 2 at which the next at least one cross-sectional image is displayed.
  • a gap between the gaze and the gaze in the volume space is interpolated using a three-dimensional filter.
  • a Gaussian filter may be used as the three-dimensional filter.
  • a voxel list having a frequency equal to or greater than the reference frequency value f th ( ⁇ x i , y i , z i ⁇ i 1,..., M ), where M is a natural number of N or less. That is, the voxels having a high frequency are separately extracted from the frequency histogram (H s (x, y, z)).
  • the analysis of adjacent connectivity between voxels may be to analyze the extent and distance between the voxels as described in detail below, and thus, the connectivity between the voxels.
  • the adjacent connectivity between the voxels may be an 18-point adjacent connectivity analysis that performs 18-point adjacent connectivity analysis.
  • the method for analyzing the connectivity between the voxels may use existing known methods.
  • the ROI may be set as in Equation 2.
  • the ROI setting unit 170 stores the set ROI B k in the big data storage unit 180.
  • FIG. 4 is a diagram of one region of interest extracted by clustering voxels extracted separately by the importance determining unit.
  • the region of interest is displayed in the two-dimensional cross-sectional image for convenience.
  • the region of interest may be set together with another adjacent cross-sectional image to designate the three-dimensional space region.
  • the big data storage unit 180 is a database that stores the region of interest B k set by the region of interest setting unit 170.
  • the big data storage unit 180 may store only an image of interest extracted from a professional image, but various background information (such as clinical disease diagnosis history) is often provided in a professional image such as a medical image. When the background information is provided together, the big data storage unit 180 may store the ROI and the background information together. In addition, the big data storage unit 180 may also store the specialized image itself from which the ROI is extracted. In the present invention, extracting the region of interest and storing it in the big data storage unit 180 may cause a loss of time as it may interfere with determining meaningful information as described above.
  • the big data storage unit 180 separately stores and manages the entire specialized image and the extracted region of interest, the above problem can be solved.
  • the case of extracting a meaningful region of interest from another viewpoint from the specialized image may be considered, so that the big data storage unit 180 You can also save professional videos.
  • the coordinate transformation unit 140, the importance determination unit 150, the cluster acquisition unit 160, and the ROI allocator 170 are illustrated in separate configurations, but for convenience of description, the importance determination unit ( 150, the cluster acquisition unit 160 and the ROI allocator 170 may be integrated into the ROI extractor.
  • FIG. 5 illustrates a method for constructing a big data database of a 3D volume image according to an embodiment of the present invention.
  • the image acquisition unit 110 of the big data database constructing apparatus 100 acquires a specialized image (S10).
  • the specialized image is a 3D volume image composed of a plurality of cross-sectional images.
  • the image display unit 120 displays the acquired professional image on the screen so that the user can check it (S20).
  • the image display unit 120 coordinate-converts the at least one cross-sectional image according to the size of the screen and the number, size, and position of the cross-sectional image to be displayed on the screen, and displays the same on the screen.
  • the area of interest setting unit 170 analyzes the coordinates of the voxels included in the obtained set of clusters set a region of interest (B k) (S70).
  • the set region of interest B k is stored in the big data storage unit 180 (S80).
  • the big data database building apparatus 100 determines whether there is another specialized image to be additionally examined (S90). If there are no other professional images, the process ends. If there are other professional images, the image acquisition unit 110 acquires another professional image to be examined (S10).
  • FIG. 6 is a diagram illustrating the voxel list obtaining step of FIG. 5 in detail.
  • (H (x, y, z)) is generated (S51).
  • the weight w i is added to each of the voxels corresponding to the frequency histogram H (x, y, z) based on the time information at which the user's gaze is gazed at step S52.
  • the weight w i is set to increase with the passage of time within the time interval until at least one cross-sectional image is displayed on the screen of the image display unit 120 and before switching to the next screen.
  • the weighted and weighted frequency histogram H w (x, y, z) is smoothed using a three-dimensional filter to interpolate the gap between the gaze and the gaze (S53). Thereafter, the importance determining unit 150 compares the frequency values of each of the voxels of the smoothed frequency histogram H s (x, y, z) with a preset reference frequency value f th , and then compares the frequency histogram H s (x , y, z), and determines whether the frequency value of the voxel is greater than or equal to the reference frequency value f th (S54).
  • the corresponding voxel is added to the voxel list (S55). However, if the frequency value of the voxel is less than the reference frequency value f th , the voxel is not added to the voxel list.
  • the importance determining unit 150 determines whether the comparison with the reference frequency value f th is performed for all voxels of the frequency histogram H s (x, y, z) (S56). If the comparison with the reference frequency value f th is performed for all voxels, the cluster set acquisition step is performed (S60). However, if no comparison with the reference frequency value f th is performed for all voxels, another voxel is compared with the reference frequency value f th again (S54).
  • FIG. 7 is a diagram illustrating the cluster set acquisition step of FIG. 5 in detail.
  • the cluster obtaining unit 160 analyzes adjacent connectivity between the plurality of voxels included in the voxel list (S61). At least one voxel cluster set is obtained by clustering voxels that are determined to be adjacent to each other by adjacent connectivity analysis (S62). When at least one voxel cluster set is obtained, the cluster obtaining unit 160 analyzes the distance between the voxel cluster sets (S63).
  • adjacent voxel cluster sets having a distance between the voxel cluster sets within a predetermined reference distance d th are collectively set as a cluster set of interest, and there is no adjacent voxel cluster set within the reference distance d th .
  • the single voxel cluster set is set as the cluster set of interest as it is (S64).
  • the cluster obtaining unit 160 determines whether the size of each set cluster of interest is greater than or equal to the reference size S th (S65). As a result of the determination, if the cluster of interest is greater than or equal to the reference size S th , the cluster of interest is set as the final cluster set (S66). However, if the cluster set of interest is less than the reference size S th , it is not set as the final cluster set.
  • the cluster acquiring unit 160 determines whether the comparison with the reference size S th has been performed with respect to all the cluster sets of interest, and if it is determined that the comparison has been performed with respect to all the cluster sets of interest, calculates the region of interest (S70). However, based on the size and performs a comparison with the (S th) and if the cluster of interest is not set exists comparison, standard size (S th) (S65).
  • the apparatus and method for constructing a big data database by extracting a region of interest from a 3D volume image have been described.
  • the big data database is also constructed from other specialized images composed of a set of 2D images having a plurality of continuities.
  • Apparatus and methods may be utilized.
  • the 2D image composed of a plurality of temporally consecutive frames may be determined to be a 3D image to which a time value t is applied instead of a z coordinate value of the 3D volume image. Therefore, by replacing the z coordinate of the 3D volume image with the coordinate of time t, a region of interest in a 2D image composed of a plurality of frames can be easily extracted to construct a big data database.
  • the present invention conveniently extracts the region of interest by tracking the eyes of the expert and stores the extracted region of interest as big data, thereby easily extracting the region of interest containing important information within a short time in a professional image requiring expert analysis. Separate and build big data efficiently.
  • the method according to the invention can be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also include a carrier wave (for example, transmission through the Internet).
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법을 공개한다. 본 발명은 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 영상 획득부, 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 영상 표시부, 화면 상에 표시된 적어도 하나의 단면 영상에 대한 사용자의 시선을 추적하고, 기설정된 주기로 시선의 위치 좌표값을 측정하여 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 시선 추적부, 시선 화면 좌표점 세트에 대응하는 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하고, 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 획득되는 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별함으로써, 3차원 볼륨 영상의 관심영역을 추출하는 관심 영역 추출부 및 추출된 관심영역을 수신하여 저장하는 빅 데이터 저장부를 포함한다.

Description

3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법
본 발명은 빅 데이터 데이터베이스 구축 장치 및 방법에 관한 것으로, 특히 3차원 볼륨 영상의 관심 영역 추출을 통한 빅 데이터 데이터베이스 구축 장치 및 방법에 관한 것이다.
정보 통신 기술의 발전에 따라 시간과 장소에 상관없이 데이터가 생성 및 배포될 수 있게 되었고, 이로 인해 다양한 분야에서 활용되는 데이터의 양이 급증하게 되었다. 데이터 양의 급증은 기존의 데이터 처리 기법으로는 데이터를 수집, 저장, 검색 및 분석하기 어려운 대용량 데이터인 빅 데이터(big data)가 도래하도록 하였다.
빅 데이터는 단순히 대용량의 데이터를 의미하는 것뿐만 아니라, 대용량의 데이터로부터 의미를 추출하고, 결과를 분석하는 기술을 총칭한다. 빅 데이터의 개념이 대용량의 데이터로부터 의미를 추출하고 분석하는 기술이므로, 빅 데이터에는 분석하고자 하는 분야에서 의미 있는 정보와 무의미한 정보가 혼재되는 경우가 대부분이다. 비록 특정 분야에서 무의미한 정보일지라도, 다른 분야에서는 의미를 가질 수도 있으므로, 기존의 빅 데이터는 정보의 유효성에 대해 엄격하게 판별하지 않았다.
그러나 빅 데이터의 응용 분야가 점차로 확대되어가고 있으며, 데이터 양의 증가 속도가 더욱 빨라짐에 따라 너무나 방대해지는 데이터를 효율적으로 사용하기 위해, 빅 데이터에서도 의미 있는 정보를 압축하여 저장할 필요성이 높아지고 있다. 특히 의료영상과 같이 개별 데이터 각각의 데이터 크기가 크고, 활용 용도가 명확한 분야에서 사용되는 빅 데이터의 경우에는 의미 있는 정보만이 포함되도록 구성되는 것이 바람직하다.
그럼에도 불구하고, 의료영상과 같이 전문가의 판단이 필수적인 전문영상에 대한 빅 데이터에 의미 있는 정보만을 포함되도록 구성하는 것은 한계가 있다. 일예로 의료영상과 같은 전문영상의 경우, 영상 데이터의 크기가 매우 큰데 비해, 실제로 의미 있는 정보는 영상 내에서 작은 영역에 국한되는 경우가 대부분이다. 다른 나머지 부분들은 정보로서 큰 가치가 없거나 오히려 의미 있는 정보를 판단하는데 방해가 되어 시간적 손실을 야기한다. 따라서 의료영상에 대한 효율적인 빅 데이터를 구축하기 위해서는 의료영상의 배경 정보(임상 질환 진단 내력 등)와 함께 의료영상 중에서 특히 중요한 영역(즉 의미 있는 정보를 포함하고 있는 영역)을 따로 구분하고, 배경 정보와 구분된 영역을 이후에 수행할 정밀 분석을 위해 의미 있는 정보로 선택하여 데이터베이스에 저장하는 과정이 필수적이다.
특히 최근에는 기존의 2D 영상을 대체하여 데이터 크기가 더욱 큰 3D 볼륨 영상(3D Volume Image)으로 생성되는 전문영상이 많아짐에 따라 의미 있는 정보를 압축하여 포함하는 빅데이터의 중요성이 더욱 높아지고 있다.
전문영상에서 정보로서 가치가 있는 특정한 관심 영역은 의사와 같은 전문가들이 직접 추출하여 빅 데이터로 구축해야 하지만 전문가들이 별도의 시간을 내어 많은 자료를 축적하는 것이 현실적으로 어렵기 때문에 빅 데이터를 구축에 가장 큰 장애 요인으로 작용하고 있다.
한국 등록 특허 제10-0836740호 "영상 데이터 처리방법 및 그에 따른 시스템"(2008.03.07 공개)에는 의료영상 데이터에서 관심 영역을 추출하고, 관심 영역에 대해 특징 벡터를 생성하는 영상 데이터 처리방법이 개시되어 있으나, 이는 2차원 단일 의료영상에 대한 기술이며, 전문가의 판단에 따라 획득되는 관심 영역이 아니므로, 가치 있는 정보의 판별이 불명확하다는 한계가 있다.
본 발명의 목적은 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축장치를 제공하는데 있다.
본 발명의 다른 목적은 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치는 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 영상 획득부; 상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 영상 표시부; 상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 추적하고, 기설정된 주기로 상기 시선의 위치 좌표값을 측정하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 시선 추적부; 및 상기 시선 화면 좌표점 세트를 이용하여 상기 3차원 볼륨 영상으로부터 추출한 관심 영역을 저장하는 빅 데이터 저장부; 를 포함한다.
여기서 상기 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치는 상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하고, 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 획득되는 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별함으로써, 상기 3차원 볼륨 영상의 관심영역을 추출하는 관심 영역 추출부를 더 포함할 수 있고, 상기 빅 데이터 저장부는 상기 추출된 관심영역을 수신하여 저장하는 것을 특징으로 할 수 있다.
상기 관심영역 추출부는 상기 화면에 대응하는 2차원 좌표값을 갖는 상기 시선 화면 좌표점 세트를 상기 3차원 볼륨 영상의 좌표값을 갖는 위치점 세트로 변환하는 좌표 변환부; 상기 위치점 세트에서 상기 3차원 볼륨 영상의 상기 복수개의 복셀 각각이 나타난 빈도수에 따라 빈도 히스토그램을 생성하고, 생성된 빈도 히스토그램에 기설정된 방식으로 가중치를 부가하고 평활화하며, 평활화된 상기 빈도 히스토그램의 상기 복수개의 복셀 중 기설정된 기준 빈도값 이상의 빈도를 갖는 복셀들로 구성되는 상기 복셀 리스트를 추출하는 중요도 판별부; 상기 복셀 리스트에 포함된 상기 복셀들 중 서로 인접하여 배치된 복셀들을 클러스터링하여, 복수개의 복셀 클러스터 세트를 획득하고, 상기 복수개의 복셀 클러스터 세트 중 서로 인접한 복셀 클러스터 세트들을 병합한 후, 상기 복셀 클러스터 세트의 크기를 분석하여 최종 클러스터 세트를 선별하는 클러스터 획득부; 및 상기 최종 클러스터 세트에 포함된 복셀들의 좌표값 중 각 좌표축 방향별 최대값 및 최소값을 계산하고, 계산된 각 좌표축 방향별 최대값 및 최소값에 대응하는 영역을 상기 관심 영역으로 설정하는 관심영역 설정부; 를 포함하는 것을 특징으로 한다.
상기 중요도 판별부는 상기 화면 상에 상기 적어도 하나의 단면 영상이 표시된 후, 상기 화면 상에 다른 적어도 하나의 단면 영상이 표시될 때까지의 시간 구간 내에서 시간의 흐름에 비례하여 상기 가중치를 증가시키고, 상기 빈도 히스토그램에 대응하는 상기 복셀들 각각에 상기 가중치를 부가하는 것을 특징으로 한다.
상기 클러스터 획득부는 상기 복셀 리스트에 포함된 상기 복셀들에 대해 상호 인접 연결성 분석을 수행하여 서로 인접하여 배치된 상기 복셀들을 판별하는 것을 특징으로 한다.
상기 클러스터 획득부는 상기 복수개의 복셀 클러스터 세트 중 서로 기설정된 기준 거리 이내에 배치된 복셀 클러스터 세트들을 병합하고, 상기 복셀 클러스터 세트 중 기설정된 기준 크기 이상인 상기 복셀 클러스터 세트를 상기 최종 클러스터 세트로 선택하는 것을 특징으로 한다.
상기 좌표 변환부는 상기 영상 표시부가 상기 3차원 볼륨 영상의 상기 적어도 하나의 단면 영상을 화면 상에 표시하기 위해 이용한 좌표 변환 함수의 역함수를 이용하여 상기 시선 화면 좌표점 세트를 상기 위치점 세트로 변환하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법은 영상 획득부, 영상 표시부, 시선 추적부, 관심영역 추출부 및 빅 데이터 저장부를 포함하는 빅 데이터 데이터베이스 구축 장치의 빅 데이터 데이터베이스 구축 방법에 있어서, 상기 영상 획득부가 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 단계; 상기 영상 표시부가 상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 단계; 상기 시선 추적부가 상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 기설정된 추적하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 단계; 및 상기 빅 데이터 저장부가 상기 시선 화면 좌표점 세트를 이용하여 상기 3차원 볼륨 영상으로부터 추출한 관심 영역을 저장하는 단계를 포함한다.
여기서 상기 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법은 상기 관심영역 추출부가 상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하는 단계; 상기 관심영역 추출부가 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 복셀 클러스터 세트들을 획득하는 단계; 상기 관심영역 추출부가 상기 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별하여 최종 클러스터 세트를 획득하는 단계; 상기 관심영역 추출부가 상기 최종 클러스터 세트를 분석하여 상기 3차원 볼륨 영상의 상기 관심영역을 설정하는 단계를 더 포함할 수 있다.
따라서, 본 발명의 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법은 전문가의 시선을 추적하여 관심 영역을 추출하고 추출된 관심영역을 빅 데이터로서 저장함으로써, 전문가의 분석이 필요한 전문영상에서 짧은 시간 내에 용이하게 중요한 정보를 포함하는 관심영역을 분리하고, 빅 데이터를 효율적으로 구축할 수 있다.
도1 은 본 발명의 일실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치를 나타낸다.
도2 는 영상 표시부에 표시된 단면 영상의 일예를 나타낸다.
도3 은 시선 추적부가 사용자의 시선을 추적한 시선 위치의 일예를 나타낸다.
도4 는 중요도 판별부에 의해 별도로 추출되는 복셀들을 클러스터링하여 추출되는 관심 영역의 일에를 나타낸다.
도5 는 본 발명의 일 실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 나타낸다.
도6 은 도5 의 복셀 리스트 획득 단계를 상세하게 나타낸 도면이다.
도7 은 도5 의 클러스터 세트 획득 단계를 상세하게 나타낸 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치를 나타낸다.
도1 을 참조하면, 본 발명의 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치(100)는 영상 획득부(110), 영상 표시부(120), 시선 추적부(130), 좌표 변환부(140), 중요도 판별부(150), 클러스터 획득부(160), 관심 영역 할당부(170) 및 빅 데이터 저장부(180)를 구비한다.
먼저 영상 획득부(110)는 전문가의 판독을 필요로 하는 전문영상을 획득한다. 여기서 전문영상은 복수개의 단면 영상으로 구성된 3차원 볼륨 영상일 수 있다. 3차원 볼륨 영상은 2차원의 단면 영상이 순차적으로 누적되어 3차원 영상으로 구성되는 형태의 영상으로 여러 분야에서 활용되고 있으나, 특히 의료 분야에 많이 이용되고 있는 영상이다.
영상 획득부(110)는 컴퓨터 단층촬영(Computed tomography : CT) 장치, 자기공명영상(Magnetic Resonance Imaging : MRI) 촬영 장치, 초음파 검사(Ultrasonography) 장치와 같은 영상 획득 수단으로부터 3차원 볼륨 영상을 획득할 수도 있으며, 데이터 저장 수단에 기저장된 3차원 볼륨 영상을 유선 또는 무선 통신으로 수신하여 획득할 수 있다. 또한 데이터베이스부(170)에 저장된 3차원 볼륨 영상을 인가받아 획득할 수도 있다.
영상 표시부(120)는 영상 획득부(110)에서 획득한 3차원 볼륨 영상을 수신하고, 수신된 3차원 볼륨 영상의 복수개의 단면 영상 중 적어도 하나의 단면 영상을 사용자에게 표시한다. 이 때 영상 표시부(120)는 사용자에게 영상을 표시하는 화면의 크기와 화면에 표시할 단면 영상의 개수와 크기 및 위치에 따라 적어도 하나의 단면 영상을 좌표 변환하여 화면상에 표시한다.
그리고 사용자는 전문영상을 판독할 수 있는 전문가를 의미한다.
도2 는 영상 표시부에 표시된 단면 영상의 일예를 나타낸다.
도2 에서는 4개의 단면 영상이 2 X 2 행렬 형태로 영상 표시부(120)의 화면에 동시에 표시되는 경우를 도시하였으나, 상기한 바와 같이 영상 표시부(120)의 화면에 한번에 동시에 표시될 수 있는 단면 영상의 개수는 다양하게 조절될 수 있다. 뿐만 아니라 표시되는 단면 영상의 위치 또한 다양하게 조절될 수 있다. 영상 표시부(120)는 설정된 화면의 크기와 화면에 표시할 단면 영상의 개수와 크기 및 위치로 단면 영상을 화면에 표시하기 위해 적어도 하나의 영상 표시 좌표 변환 함수를 구비할 수 있다. 영상 표시부(120)는 적어도 하나의 영상 표시 좌표 변환 함수 중 하나를 선택하고, 화면에 표시될 적어도 하나의 단면 영상의 복수개의 복셀을 선택된 영상 표시 좌표 변환 함수로 좌표 변환하여 영상 표시부(120)의 화면에 표시한다.
다시 도1 을 참조하면, 시선 추적부(130)는 빅 데이터 데이터베이스 구축 장치(100)가 빅데이터 데이터베이스 구축 동작을 수행하기 이전에 미리 시선 보정 작업을 수행하여 시선 측정값과 화면과의 관계를 보정하기 위한 보정 변환 행렬을 획득할 수 있다. 보정 변환 행렬은 영상 표시부(120)의 화면상의 기지정된 특정 위치에 사용자가 주시해야 할 기준 점을 표시하고, 표시된 기준점의 좌표와 추적되는 사용자의 시선 위치를 매칭시키는 행렬을 계산함으로써, 획득될 수 있다.
그리고 시선 추적부(130)는 빅 데이터 데이터베이스 구축 장치(100)가 빅데이터 데이터베이스 구축 동작 수행 시에 사용자의 시선을 추적하고 기설정된 주기(예를 들면 0.1초)로 사용자의 시선 위치를 좌표값을 측정하여 N개(여기서 N은 자연수)의 시선 화면 좌표점 세트({sxi, xyi}i=1, …, N)를 획득한다.
이때 시선 화면 좌표점 세트({sxi, xyi}i=1, …, N)는 시선 보정 작업에 의해 획득된 보정 변환 행렬이 반영된 좌표값의 세트로서 영상 표시부(120)의 좌표값에 대응하는 좌표값을 갖는다.
좌표 변환부(140)는 시선 추적부(130)에서 획득한 시선 화면 좌표점 세트({sxi, xyi}i=1, …, N)를 3차원 볼륨 영상 내의 좌표로 변환하여 위치점 세트({vxi, vyi, vzi}i=1, …, N)를 획득한다. 좌표 변환부(140)는 좌표 변환 함수(T(sxi, xyi) : (sxi, xyi) → (vxi, vyi, vzi))를 이용하여 시선 화면 좌표점 세트({sxi, xyi}i=1, …, N)를 3차원 볼륨 영상 내의 좌표로 변환할 수 있다. 여기서 좌표 변환 함수(T(sxi, xyi) : (sxi, xyi) → (vxi, vyi, vzi))는 영상 표시부(120)에서 3차원 볼륨 영상을 화면상에 표시하기 위해 사용되는 영상 표시 좌표 변환 함수의 역함수로 구현될 수 있다.
이때, 2차원의 좌표값이 3차원의 좌표값으로 변환될 수 있는 것은 3차원 볼륨 영상을 구성하는 복수개의 단면 영상 각각에 z좌표에 대한 좌표값이 이미 결정되어 있기 때문이다. 즉 특정 단면 영상의 2차원 좌표값은 3차원 볼륨 영상에서의 3차원 좌표값으로 용이하게 변환 될 수 있다.
도3 은 시선 추적부가 사용자의 시선을 추적한 시선 위치의 일예를 나타낸다.
도3 에서는 도2 와 달리 영상 표시부(120)에서 4개의 단면 영상이 가로 방향으로 나란하게 표시되는 경우를 나타내었으며, 왼쪽부터 사용자의 시선이 이동하는 경로를 추적하여 획득한 시선 화면 좌표점 세트({sxi, xyi}i=1, …, N)를 선으로 연결하여 표시하였다. 도3 으로부터 사용자의 시선이 왼쪽 1번째 단면 영상으로부터 탐색을 시작하여 오른쪽 단면 영상으로 순차적으로 이동한 후 다시 왼쪽에서 3번째 영상의 특정 영역을 탐색하였음을 판별할 수 있다. 이는 왼쪽에서 3번째 영상의 해당 영역이 사용자의 관심 영역임을 나타내는 것이다.
중요도 판별부(150)는 N개의 위치점 세트({vxi, vyi, vzi}i=1, …, N)로부터 볼륨 영상 내 각 복셀(voxel)의 빈도 히스토그램(H(x, y, z))를 생성한다. 생성된 빈도 히스토그램은 영상 표시부(120)에서 3차원 볼륨 영상이 표시된 이후의 시선의 시간 정보를 가중치(wi)로 부가한다. 화면이 제시된 시점을 T1이라 하고 다음 화면으로 바뀌기 직전 시점을 T2, 그리고 위치점(i)에 대한 시점을 ti라 할 때, 가중치(wi)는 f(ti - T1, T2 - T1)으로 표현되는 함수이며, 일 예로 수학식 1과 같이 설정될 수 있다.
Figure PCTKR2015007659-appb-M000001
(여기서, c는 미리 설정된 상수이다.)
즉 수학식1 은 화면에 적어도 하나의 단면 영상이 표시되는 시점(T1)부터 다음 적어도 하나의 단면 영상이 화면이 표시되는 시점(T2)까지의 시간 구간 중에 특정 위치점(i)에 사용자의 시선이 고정되는 시점(ti)이 시점(T2)에 가까울수록 큰 가중치가 설정된다. 이는 사용자가 비록 전문가일 지라도 화면에 표시된 적어도 하나의 단면 영상이 전환된 직후에는 곧바로 의미 있는 관심 영역을 판별하기 어렵기 때문이다. 즉 사용자가 시간이 지남에 따라 점차로 화면에 표시된 적어도 하나의 단면영상에서 관심 영역을 식별하게 되는 가능성이 높기 때문에 높은 가중치를 부가한다.
그리고 가중치가 부가된 빈도 히스토그램(Hw(x, y, z))를 평활화(smoothing) 하기 위해 삼차원 필터를 사용하여 볼륨 공간내의 시선과 시선간의 간극을 보간한다. 여기서 삼차원 필터로는 일 예로 가우시안 필터(Gaussian Filter)가 사용될 수 있다.
3차원 필터에 의해 평활화된 빈도 히스토그램(Hs(x, y, z))을 기설정된 기준 빈도값(fth)과 비교하여, 기준 빈도값(fth) 이상의 빈도를 갖는 복셀 리스트({xi, yi, zi} i=1, …, M)(여기서 M은 N 이하의 자연수)을 추출한다. 즉 빈도 히스토그램(Hs(x, y, z))에서 높은 빈도를 갖는 복셀들을 별도로 추출한다.
클러스터 획득부(160)는 중요도 판별부(150)가 복셀 리스트({xi, yi, zi} i=1, …, M)를 추출하면, 추출된 복셀 리스트({xi, yi, zi} i=1, …, M)에 대해 복셀 상호간 인접 연결성 분석을 수행한다. 여기서 복셀간 인접 연결성 분석은 이하에서 상세히 설명하는 바 복셀들 간의 인접한 정도 및 거리를 분석하고 그에 따라 복셀간 연결성을 분석하는 것이 될 수 있다. 여기서 복셀간 인접 연결성 분석은 일예로 18개의 점 간의 인접 연결성 분석을 수행하는 18점 인접 연결성 분석을 수행할 수 있다. 18점 인접 연결성 분석은 단면 영상의 특정 복셀에 대해 2차원 평면상의 인접한 복셀 뿐만 아니라, 인접한 단면 영상의 인접한 복셀, 즉 3차원 공간에서 인접한 복셀을 탐색한다. 즉 추출된 복셀 리스트({xi, yi, zi} i=1, …, M)에 포함된 복셀들 중 서로 인접한 복셀들을 탐색한다. 그 결과로서, 서로 인접하게 배치된 것으로 탐색된 복셀들을 그룹화하여 복셀 클러스터 세트({Sk}k=1, …, K)(여기서 K는 자연수)를 획득한다. 여기서 복셀 클러스터 세트({Sk}k=1, …, K)는 복수개로 획득될 수 있다. 여기서 복셀들 간의 연결성을 분석하는 방법은 기존의 공지된 방법들을 이용할 수 있음은 물론이다.
그리고 획득된 복수개의 복셀 클러스터 세트({Sk}k=1, …, K)들 간의 거리를 계산한다. 만일 복수개의 복셀 클러스터 세트({Sk}k=1, …, K)들 간의 거리가 기설정된 기준 거리(dth) 이하 것으로 판단되면, 기준 거리(dth) 이내의 거리에 존재하는 복셀 클러스터 세트({Sk}k=1, …, K)을 하나의 복셀 클러스터 세트({Sk}k=1, …, K)로 통합하여 관심 클러스터 세트(Ck)를 구성한다. 예를 들어, 2개의 복셀 클러스터 세트(Sk, Sk') 간의 거리가 기준 거리(dth) 이내인 것으로 판별되면, 2개의 복셀 클러스터 세트(Sk, Sk ')의 합집합을 관심 클러스터 세트(Ck= Sk ∪ Sk ')로 구성한다. 그러나 복셀 클러스터 세트({Sk}k=1, …, K)로부터 기준 거리(dth) 이내의 인접한 다른 복셀 클러스터 세트가 존재하지 않는 것으로 판단되면, 복셀 클러스터 세트({Sk}k=1, …, K)를 그대로 관심 클러스터 세트({Ck} k=1, …, K)로 구성한다.
이후 관심 영역 설정부(170)는 관심 클러스터 세트({Ck} k=1, …, K) 각각의 크기를 기설정된 기준 크기(Sth)와 비교하여, 만일 관심 클러스터 세트({Ck} k=1, …, K) 의 크기가 기준 크기(Sth) 이상이면, 최종 클러스터 세트({Ck} k=1, …, K)로 설정하는 반면, 만일 관심 클러스터 세트({Ck} k=1, …, K) 의 크기가 기준 크기(Sth) 미만이면, 최종 클러스터 세트({Ck} k=1, …, K)에서 제외한다. 이는 클러스터 세트의 크기가 너무 작으면 사용자가 의도하지 않았거나, 노이즈 등에 의해 시선이 일시적으로 집중된 영역으로 판별할 수 있기 때문이다.
관심 영역 설정부(170)는 최종 클러스터 세트({Ck} k=1, …, K)에 포함된 복셀들의 좌표값 중 x축, y축 및 z축 방향 각각으로 최대 및 최소 좌표값을 계산하여 관심 영역(Bk)으로 설정한다.
관심영역은 수학식 2와 같이 설정될 수 있다.
Figure PCTKR2015007659-appb-M000002
그리고 관심 영역 설정부(170)는 설정된 관심 영역(Bk)을 빅 데이터 저장부(180)에 저장한다.
도4 는 중요도 판별부에 의해 별도로 추출되는 복셀들을 클러스터링하여 추출되는 관심 영역의 일에를 나타낸다.
도4 에 도시된 바와 같이, 높은 빈도로 나타나는 복셀들을 클러스터링하하고 인접한 클러스터 세트들을 통합하면, 최종 클러스터 세트({Ck} k=1, …, K)에 의해 설정되는 관심 영역은 사각형으로 별도로 표시된 영역임을 확인할 수 있다.
도4 에서는 편의를 위해 2차원의 단면 영상에서의 관심 영역을 표시하였으나, 상기한 바와 같이 관심 영역은 인접한 다른 단면 영상에도 함께 설정되어 3차원 공간 영역으로 지정될 수 있다.
빅 데이터 저장부(180)는 관심 영역 설정부(170)에서 설정된 관심 영역(Bk)을 저장하는 데이터베이스이다. 빅 데이터 저장부(180)는 전문영상에서 추출된 관심 영상만을 저장 할 수도 있으나, 의료영상과 같은 전문영상에는 다양한 배경 정보(임상 질환 진단 내력 등)가 함께 제공 되는 경우가 많다. 이렇게 배경 정보가 함께 제공되는 경우, 빅 데이터 저장부(180)는 관심 영역과 배경 정보를 함께 저장할 수 있다. 또한 빅 데이터 저장부(180)는 관심 영역이 추출된 전문 영상 자체도 함께 저장할 수 있다. 본 발명에서 관심 영역을 추출하여 빅 데이터 저장부(180)에 저장하는 것은 상기한 바와 같이 의미 있는 정보를 판단하는데 방해가 되어 시간적 손실을 야기할 수 있기 때문이다. 그러나 빅 데이터 저장부(180)가 전문 영상 전체와 추출된 관심 영역을 별도로 구분하여 저장하고 관리한다면, 상기한 문제를 해소할 수 있다. 비록 전문 영상을 별도로 저장함에 따라 방대한 데이터 저장공간을 필요로 하게 되는 문제가 있기는 하나, 전문 영상으로부터 다른 관점에서 의미 있는 관심 영역을 추출하는 경우도 고려할 수 있으므로, 빅 데이터 저장부(180)는 전문 영상 또한 저장할 수도 있다.
도1 에서는 좌표 변환부(140), 중요도 판별부(150), 클러스터 획득부(160) 및 관심 영역 할당부(170)를 개별적인 구성으로 도시하였으나, 이는 설명의 편의를 위한 것으로, 중요도 판별부(150), 클러스터 획득부(160) 및 관심 영역 할당부(170)는 관심 영역 추출부로 통합될 수 있다.
도5 는 본 발명의 일 실시예에 따른 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 나타낸다.
도1 내지 도4 를 참조하여 도5 의 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 방법을 설명하면, 먼저, 빅 데이터 데이터베이스 구축 장치(100)의 영상 획득부(110)가 전문영상을 획득한다(S10). 여기서 전문영상은 복수개의 단면 영상으로 구성된 3차원 볼륨 영상인 것으로 가정한다. 그리고 영상 표시부(120)는 획득된 전문 영상을 사용자가 확인할 수 있도록 화면에 표시한다(S20). 이때, 영상 표시부(120)는 화면의 크기와 화면에 표시할 단면 영상의 개수와 크기 및 위치에 따라 적어도 하나의 단면 영상을 좌표 변환하여 화면상에 표시한다.
한편, 시선 추적부(130)는 기설정된 주기로 사용자의 시선 위치를 추적하고, 추적된 시선 위치의 좌표값을 측정하여 복수개의 시선 화면 좌표점 세트({sxi, xyi}i=1, …, N)를 획득한다(S30). 획득된 복수개의 시선 화면 좌표점 세트({sxi, xyi}i=1, …, N)는 좌표 변환부(140)에 의해 3차원 볼륨 영상 내의 좌표인 위치점 세트({vxi, vyi, vzi}i=1, …, N)로 변환된다(S40).
중요도 판별부(150)는 위치점 세트({vxi, vyi, vzi}i=1, …, N)에서 복수개의 복셀 각각이 포함된 빈도를 분석하여 빈도수가 기설정된 기준 빈도값(fth) 이상인 복셀들에 대한 복셀 리스트({xi, yi, zi} i=1, …, M)를 획득한다(S50). 클러스터 획득부(160)는 복셀 리스트({xi, yi, zi} i=1, …, M)에서 공간적으로 인접하여 배치되는 복셀들을 판별하여 클러스터링 함으로써, 클러스터 세트를 획득한다(S60).
그리고 관심 영역 설정부(170)는 획득된 클러스터 세트에 포함된 복셀들의 좌표값을 분석하여 관심 영역(Bk)을 설정한다(S70). 또한 설정된 관심 영역(Bk)을 빅 데이터 저장부(180)에 저장한다(S80).
관심 영역(Bk)이 저장되면, 빅 데이터 데이터베이스 구축 장치(100)는 추가적으로 검토할 다른 전문영상이 존재하는지 판별한다(S90). 만일 다른 전문영상이 없으면 종료하고, 다른 전문 영상이 있으면, 영상 획득부(110)는 검토되어야 하는 다른 전문영상을 획득한다(S10).
도6 은 도5 의 복셀 리스트 획득 단계를 상세하게 나타낸 도면이다.
도6 의 복셀 리스트 획득 단계(60)는 위치점 세트({vxi, vyi, vzi}i=1, …, N)에서 각 위치점에 대응하는 복셀들 각각이 나타난 빈도에 따라 빈도 히스토그램(H(x, y, z))을 생성한다(S51). 그리고 빈도 히스토그램(H(x, y, z))에 대응하는 복셀들각각에 대해 사용자의 시선이 응시된 시간 정보에 기초하여 가중치(wi)를 부가한다(S52). 상기한 바와 같이 가중치(wi)는 영상 표시부(120)의 화면 상에 적어도 하나의 단면 영상이 표시된 후, 다음 화면으로 전환되기 전까지의 시간 구간 내에서 시간의 흐름에 따라 증가하도록 설정된다.
그리고 가중치가 부가된 그리고 가중치가 부가된 빈도 히스토그램(Hw(x, y, z))을 3차원 필터를 이용하여 평활화하여 시선과 시선간의 간극을 보간한다 (S53). 이후 중요도 판별부(150)는 평활화된 빈도 히스토그램(Hs(x, y, z))의 복셀 각각의 빈도값을 기설정된 기준 빈도값(fth)과 비교하여, 빈도 히스토그램(Hs(x, y, z))의 복셀의 빈도값이 기준 빈도값(fth) 이상인지 판별한다(S54).
만일 복셀의 빈도값이 기준 빈도값(fth) 이상이면, 해당 복셀을 복셀 리스트에 추가한다(S55). 그러나 복셀의 빈도값이 기준 빈도값(fth) 미만이면, 해당 복셀을 복셀 리스트에 추가하지 않는다.
중요도 판별부(150)는 빈도 히스토그램(Hs(x, y, z))의 모든 복셀에 대해 기준 빈도값(fth)과 비교가 수행되었는지 판별한다(S56). 만일 모든 복셀에 대해 기준 빈도값(fth)과 비교가 수행되었다면, 클러스터 세트 획득 단계를 수행한다(S60). 그러나 모든 복셀에 대해 기준 빈도값(fth)과 비교가 수행되지 않았다면, 다른 복셀을 다시 기준 빈도값(fth)과 비교한다(S54).
도7 은 도5 의 클러스터 세트 획득 단계를 상세하게 나타낸 도면이다.
복셀 리스트 획득 단계(60)에서 복셀 리스트가 획득되면, 클러스터 획득부(160)는 복셀 리스트에 포함된 복수개의 복셀들간의 인접 연결성을 분석한다(S61). 그리고 인접 연결성 분석에 의해 서로 인접한 것으로 판별되는 복셀들을 클러스터링하여 적어도 하나의 복셀 클러스터 세트를 획득한다(S62). 적어도 하나의 복셀 클러스터 세트가 획득되면, 클러스터 획득부(160)는 복셀 클러스터 세트들 사이의 거리를 분석한다(S63).
분석 결과로서 복셀 클러스터 세트들 사이의 거리가 기설정된 기준 거리(dth)이내인 서로 인접한 복셀 클러스터 세트들은 통합하여 관심 클러스터 세트로 설정하고, 기준 거리(dth)이내에 인접한 복셀 클러스터 세트가 존재하지 않는 단독 복셀 클러스터 세트는 그대로 관심 클러스터 세트로 설정한다(S64).
관심 클러스터 세트가 설정되면, 클러스터 획득부(160)는 설정된 관심 클러스터 세트 각각의 크기가 기준 크기(Sth) 이상인지 판별한다(S65). 판별 결과, 관심 클러스터 세트가 기준 크기(Sth) 이상이면, 관심 클러스터 세트를 최종 클러스터 세트로 설정한다(S66). 그러나 관심 클러스터 세트가 기준 크기(Sth) 미만이면, 최종 클러스터 세트로 설정되지 않는다.
클러스터 획득부(160)는 모든 관심 클러스터 세트에 대해 기준 크기(Sth)와 비교를 수행하였는지 판별하고, 모든 관심 클러스터 세트에 대해 비교를 수행한 것으로 판단되면, 관심 영역을 계산한다(S70). 그러나 기준 크기(Sth)와 비교되지 않은 관심 클러스터 세트가 존재하면, 기준 크기(Sth)와 비교를 수행한다(S65).
상기에서는 3차원 볼륨 영상에 대해 관심 영역을 추출하여 빅 데이터 데이터베이스를 구축하는 장치 및 방법으로 설명하였으나, 다수의 연속성을 갖는 2차원 영상의 집합으로 구성되는 다른 전문 영상에서도 상기한 빅 데이터 데이터베이스를 구축 장치 및 방법이 활용될 수 있다. 일예로, 시간적으로 연속하는 복수개의 프레임으로 구성되는 2차원 영상은 3차원 볼륨 영상의 z 좌표값 대신 시간값(t)이 적용된 3차원 영상인 것으로 판별할 수도 있다. 따라서 3차원 볼륨 영상의 z 좌표를 시간(t)의 좌표로 대체함으로써, 복수개의 프레임으로 구성되는 2차원 영상에서의 관심 영역을 용이하게 추출하여 빅데이터 데이터베이스를 구축할 수 있다.
결과적으로 본 발명은 전문가의 시선을 추적하여 편리하게 관심 영역을 추출하고 추출된 관심영역을 빅 데이터로서 저장함으로써, 전문가의 분석이 필요한 전문영상에서 짧은 시간 내에 용이하게 중요한 정보를 포함하는 관심영역을 분리하고, 빅 데이터를 효율적으로 구축할 수 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

  1. 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 영상 획득부;
    상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 영상 표시부;
    상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 추적하고, 기설정된 주기로 상기 시선의 위치 좌표값을 측정하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 시선 추적부; 및
    상기 시선 화면 좌표점 세트를 이용하여 상기 3차원 볼륨 영상으로부터 추출한 관심 영역을 저장하는 빅 데이터 저장부; 를 포함하는 빅 데이터 데이터베이스 구축 장치.
  2. 제1항에 있어서,
    상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하고, 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 획득되는 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별함으로써, 상기 3차원 볼륨 영상의 관심영역을 추출하는 관심 영역 추출부; 를 더 포함하고,
    상기 빅 데이터 저장부는 상기 추출된 관심영역을 수신하여 저장하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
  3. 제2 항에 있어서, 상기 관심영역 추출부는
    상기 화면에 대응하는 2차원 좌표값을 갖는 상기 시선 화면 좌표점 세트를 상기 3차원 볼륨 영상의 좌표값을 갖는 위치점 세트로 변환하는 좌표 변환부;
    상기 위치점 세트에서 상기 3차원 볼륨 영상의 상기 복수개의 복셀 각각이 나타난 빈도수에 따라 빈도 히스토그램을 생성하고, 생성된 빈도 히스토그램에 기설정된 방식으로 가중치를 부가하고 평활화하며, 평활화된 상기 빈도 히스토그램의 상기 복수개의 복셀 중 기설정된 기준 빈도값 이상의 빈도를 갖는 복셀들로 구성되는 상기 복셀 리스트를 추출하는 중요도 판별부;
    상기 복셀 리스트에 포함된 상기 복셀들 중 서로 인접하여 배치된 복셀들을 클러스터링하여, 복수개의 복셀 클러스터 세트를 획득하고, 상기 복수개의 복셀 클러스터 세트 중 서로 인접한 복셀 클러스터 세트들을 병합한 후, 상기 복셀 클러스터 세트의 크기를 분석하여 최종 클러스터 세트를 선별하는 클러스터 획득부; 및
    상기 최종 클러스터 세트에 포함된 복셀들의 좌표값 중 각 좌표축 방향별 최대값 및 최소값을 계산하고, 계산된 각 좌표축 방향별 최대값 및 최소값에 대응하는 영역을 상기 관심 영역으로 설정하는 관심영역 설정부; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
  4. 제3 항에 있어서, 상기 중요도 판별부는
    상기 화면 상에 상기 적어도 하나의 단면 영상이 표시된 후, 상기 화면 상에 다른 적어도 하나의 단면 영상이 표시될 때까지의 시간 구간 내에서 시간의 흐름에 비례하여 상기 가중치를 증가시키고, 상기 빈도 히스토그램에 대응하는 상기 복셀들 각각에 상기 가중치를 부가하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
  5. 제3 항에 있어서, 상기 클러스터 획득부는
    상기 복셀 리스트에 포함된 상기 복셀들에 대해 상호 인접 연결성 분석을 수행하여 서로 인접하여 배치된 상기 복셀들을 판별하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
  6. 제3 항에 있어서, 상기 클러스터 획득부는
    상기 복수개의 복셀 클러스터 세트 중 서로 기설정된 기준 거리 이내에 배치된 복셀 클러스터 세트들을 병합하고, 상기 복셀 클러스터 세트 중 기설정된 기준 크기 이상인 상기 복셀 클러스터 세트를 상기 최종 클러스터 세트로 선택하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
  7. 제3 항에 있어서, 상기 좌표 변환부는
    상기 영상 표시부가 상기 3차원 볼륨 영상의 상기 적어도 하나의 단면 영상을 화면 상에 표시하기 위해 이용한 좌표 변환 함수의 역함수를 이용하여 상기 시선 화면 좌표점 세트를 상기 위치점 세트로 변환하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 장치.
  8. 영상 획득부, 영상 표시부, 시선 추적부, 관심영역 추출부 및 빅 데이터 저장부를 포함하는 빅 데이터 데이터베이스 구축 장치의 빅 데이터 데이터베이스 구축 방법에 있어서,
    상기 영상 획득부가 복수개의 단면 영상을 구비하는 3차원 볼륨 영상을 획득하는 단계;
    상기 영상 표시부가 상기 복수개의 단면 영상 중 적어도 하나의 단면 영상을 화면 상에 표시하는 단계;
    상기 시선 추적부가 상기 화면 상에 표시된 상기 적어도 하나의 단면 영상에 대한 사용자의 시선을 기설정된 추적하여 상기 시선의 이동 경로 좌표의 집합인 복수개의 시선 화면 좌표점 세트를 획득하는 단계; 및
    상기 빅 데이터 저장부가 상기 시선 화면 좌표점 세트를 이용하여 상기 3차원 볼륨 영상으로부터 추출한 관심 영역을 저장하는 단계; 를 포함하는 빅 데이터 데이터베이스 구축 방법.
  9. 제8항에 있어서,
    상기 관심영역 추출부가 상기 시선 화면 좌표점 세트에 대응하는 상기 3차원 볼륨 영상의 복수개의 복셀 각각이 나타난 빈도수에 따라 복셀 리스트를 획득하는 단계;
    상기 관심영역 추출부가 상기 복셀 리스트에서 서로 인접한 복셀들을 클러스터링하여 복셀 클러스터 세트들을 획득하는 단계;
    상기 관심영역 추출부가 상기 복셀 클러스터 세트들을 거리 및 크기에 따라 재그룹화 및 선별하여 최종 클러스터 세트를 획득하는 단계; 및
    상기 관심영역 추출부가 상기 최종 클러스터 세트를 분석하여 상기 3차원 볼륨 영상의 상기 관심영역을 설정하는 단계; 를 더 포함하는 빅 데이터 데이터베이스 구축 방법.
  10. 제8 항에 있어서, 상기 시선 화면 좌표점 세트를 획득하는 단계는
    상기 화면 상에 표시하는 단계에서 상기 3차원 볼륨 영상의 상기 적어도 하나의 단면 영상을 화면 상에 표시하기 위해 이용한 좌표 변환 함수의 역함수를 이용하여 상기 화면에 대응하는 2차원 좌표값을 갖는 상기 시선 화면 좌표점 세트를 상기 3차원 볼륨 영상의 좌표값을 갖는 위치점 세트로 변환하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
  11. 제10 항에 있어서, 상기 복셀 리스트를 획득하는 단계는
    상기 위치점 세트에서 상기 3차원 볼륨 영상의 상기 복수개의 복셀 각각이 나타난 빈도수에 따라 빈도 히스토그램을 생성하는 단계;
    상기 빈도 히스토그램에 기설정된 방식으로 가중치를 부가하는 단계;
    상기 가중치가 부가된 상기 빈도 히스토그램을 평활화하는 단계; 및
    평활화된 상기 빈도 히스토그램의 상기 복수개의 복셀 중 기설정된 기준 빈도값 이상의 빈도를 갖는 복셀들로 구성되는 상기 복셀 리스트를 추출하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
  12. 제11 항에 있어서, 상기 가중치를 부가하는 단계는
    상기 화면 상에 상기 적어도 하나의 단면 영상이 표시된 후, 상기 화면 상에 다른 적어도 하나의 단면 영상이 표시될 때까지의 시간 구간 내에서 시간의 흐름에 비례하여 상기 가중치를 증가시키는 단계;
    상기 빈도 히스토그램에 대응하는 상기 복셀들 각각에 상기 가중치를 부가하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
  13. 제9 항에 있어서, 상기 복셀 클러스터 세트들을 획득하는 단계는
    상기 복셀 리스트에 포함된 상기 복셀들에 대해 상호 인접 연결성 분석을 수행하여 서로 인접하여 배치된 복셀들을 판별하는 단계;
    서로 인접한 것으로 판별된 상기 복셀들을 클러스터링하여 상기 복수개의 복셀 클러스터 세트를 획득하는 단계;
    상기 복수개의 복셀 클러스터 세트 중 기설정된 기준 거리 이내로 서로 인접한 복셀 클러스터 세트들을 병합하는 단계; 및
    상기 복수개의 복셀 클러스터 세트 중 크기가 기설정된 기준 크기 이상인 복셀 클러스터 세트를 상기 최종 클러스터 세트로 선별하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
  14. 제9 항에 있어서, 상기 관심영역을 설정하는 단계는
    상기 최종 클러스터 세트에 포함된 복셀들의 좌표값 중 각 좌표축 방향별 최대값 및 최소값을 계산하는 단계; 및
    계산된 상기 각 좌표축 방향별 최대값 및 최소값에 대응하는 영역을 상기 관심 영역으로 설정하는 단계; 를 포함하는 것을 특징으로 하는 빅 데이터 데이터베이스 구축 방법.
PCT/KR2015/007659 2014-07-23 2015-07-23 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법 WO2016013881A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0093033 2014-07-23
KR1020140093033A KR101556601B1 (ko) 2014-07-23 2014-07-23 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2016013881A1 true WO2016013881A1 (ko) 2016-01-28

Family

ID=54338470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007659 WO2016013881A1 (ko) 2014-07-23 2015-07-23 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101556601B1 (ko)
WO (1) WO2016013881A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964282B1 (ko) 2015-12-22 2019-04-01 연세대학교 산학협력단 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법
IL255607A0 (en) * 2017-11-12 2017-12-31 Bioeye Ltd A method for the early detection of neurodegeneration using long-term passive tracking of eye markers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
KR20100106633A (ko) * 2009-03-24 2010-10-04 주식회사 메디슨 볼륨 데이터에 표면 렌더링을 수행하는 초음파 시스템 및 방법
KR20140045900A (ko) * 2013-11-19 2014-04-17 주식회사 아이엑스 차량용 엔진의 발전전압 또는 배터리 전압 및 흡입라인 진공도 측정 파형을 이용한 엔진 상태 검사 방법
KR20140067526A (ko) * 2012-11-26 2014-06-05 삼성전자주식회사 의료 영상들의 정합 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
KR20100106633A (ko) * 2009-03-24 2010-10-04 주식회사 메디슨 볼륨 데이터에 표면 렌더링을 수행하는 초음파 시스템 및 방법
KR20140067526A (ko) * 2012-11-26 2014-06-05 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR20140045900A (ko) * 2013-11-19 2014-04-17 주식회사 아이엑스 차량용 엔진의 발전전압 또는 배터리 전압 및 흡입라인 진공도 측정 파형을 이용한 엔진 상태 검사 방법

Also Published As

Publication number Publication date
KR101556601B1 (ko) 2015-10-01

Similar Documents

Publication Publication Date Title
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
JP5282658B2 (ja) 画像学習、自動注釈、検索方法及び装置
JP4894741B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに記録媒体
CN109948459A (zh) 一种基于深度学习的足球动作评估方法与系统
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
WO2014148806A1 (ko) 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법
US7120277B2 (en) Segmentation unit for and method of determining a second segment and image processing apparatus
Van der Aa et al. Umpm benchmark: A multi-person dataset with synchronized video and motion capture data for evaluation of articulated human motion and interaction
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US9280209B2 (en) Method for generating 3D coordinates and mobile terminal for generating 3D coordinates
Chang et al. Automatic segmentation and cardiopathy classification in cardiac MRI images based on deep neural networks
JP2006524394A (ja) 画像における人体輪郭描写
WO2019132590A1 (ko) 영상 변환 방법 및 장치
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2016125978A1 (en) Method and apparatus for displaying medical image
CN109977827B (zh) 一种使用多视图匹配方法的多人三维姿态估计方法
KR20080002409A (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
WO2019132588A1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
WO2011136407A1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
CN112790758A (zh) 一种基于计算机视觉的人体运动测量方法、系统及电子设备
JP2002259989A (ja) ポインティングジェスチャ検出方法及びその装置
WO2016013881A1 (ko) 3차원 볼륨 영상의 빅 데이터 데이터베이스 구축 장치 및 방법
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质
WO2015199257A1 (ko) 초음파 영상의 관심영역 획득 지원 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15825078

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15825078

Country of ref document: EP

Kind code of ref document: A1