KR101293744B1 - 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치 - Google Patents

복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101293744B1
KR101293744B1 KR1020110125217A KR20110125217A KR101293744B1 KR 101293744 B1 KR101293744 B1 KR 101293744B1 KR 1020110125217 A KR1020110125217 A KR 1020110125217A KR 20110125217 A KR20110125217 A KR 20110125217A KR 101293744 B1 KR101293744 B1 KR 101293744B1
Authority
KR
South Korea
Prior art keywords
images
model
space
information
dimensional
Prior art date
Application number
KR1020110125217A
Other languages
English (en)
Other versions
KR20130059092A (ko
Inventor
이봉헌
이진용
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020110125217A priority Critical patent/KR101293744B1/ko
Priority to EP12160092.8A priority patent/EP2597622A3/en
Priority to US13/452,232 priority patent/US9582936B2/en
Publication of KR20130059092A publication Critical patent/KR20130059092A/ko
Application granted granted Critical
Publication of KR101293744B1 publication Critical patent/KR101293744B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

복수의 2차원 영상들의 투명도를 조절하여 3차원 모델과 복수의 2차원 영상들을 함께 나타내기 위한 방법 및 장치가 제공된다. 본 방법은, 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 방법은 복수의 2D 영상들을 획득하고, 획득된 복수의 2D 영상들을 소정의 기준에 따라 3D 공간상에 배치하며, 3D 공간상에 배치된 복수의 2D 영상들 각각에 대하여 공간 좌표를 획득할 수 있다. 또한, 본 방법은 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들의 3D 모델을 생성하고, 3D 공간상에 배치된 복수의 2D 영상들의 속성 정보를 변경하며, 그리고 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 디스플레이할 수 있다.

Description

복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치{THE METHOD AND APPARATUS COMBINING A PLURALITY OF 2-DIMENSIONAL IMAGES WITH 3-DIMENSIONAL MODEL}
본 발명은 2차원 영상과 3차원 모델의 합성을 위한 방법 및 장치로서, 더욱 상세하게는 복수의 2차원 영상들의 투명도를 조절하여 3차원 모델과 복수의 2차원 영상들을 함께 나타내기 위한 방법 및 장치에 관한 것이다.
초음파 진단 장치는 대상체의 체표로부터 체내의 소정 부위를 향하여 초음파 신호를 전달하고, 체내의 조직에서 반사된 초음파 신호의 정보를 이용하여 연부조직의 단층이나 혈류에 관한 이미지를 얻는 것이다.
이러한 초음파 진단 장치는 소형이고, 저렴하며, 실시간으로 표시 가능하다는 이점이 있다. 또한, 초음파 진단 장치는, X선 등의 피폭이 없어 안정성이 높은 장점이 있어, X선 진단장치, CT(Computerized Tomography) 스캐너, MRI(Magnetic Resonance Image) 장치, 핵의학 진단장치 등의 다른 화상 진단장치와 함께 널리 이용되고 있다.
초음파 진단 장치에서 복수의 2차원 영상들을 이용하여 3차원 모델을 생성하고, 복수의 2차원 영상들과 생성된 3차원 모델을 함께 디스플레이할 수 있다면, 대상체의 구조, 동작 등에 대하여 용이하게 파악할 수 있을 것이다.
본 발명의 일 실시예로서, 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 방법이 제공된다. 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 방법은, 복수의 2D 영상들을 획득하는 단계; 상기 획득된 복수의 2D 영상들을 소정의 기준에 따라 3D 공간상에 배치하는 단계; 상기 3D 공간상에 배치된 복수의 2D 영상들 각각에 대하여 공간 좌표를 획득하는 단계를 포함할 수 있다. 또한, 본 방법은 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들의 3D 모델을 생성하는 단계; 상기 3D 공간상에 배치된 복수의 2D 영상들의 속성 정보를 변경하는 단계; 및 상기 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 디스플레이하는 단계를 포함할 수 있다.
본 발명의 다른 실시예로서, 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 장치가 제공된다. 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 장치는, 복수의 2D 영상들을 획득하기 위한 2D 영상 획득부; 상기 획득된 복수의 2D 영상들을 소정의 기준에 따라 3D 공간상에 배치하기 위한 영상 배치부; 상기 3D 공간상에 배치된 복수의 2D 영상들 각각에 대하여 공간 좌표를 획득하기 위한 공간 좌표 획득부를 포함할 수 있다. 상기 장치는, 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들의 3D 모델을 생성하기 위한 3D 모델 생성부; 상기 3D 공간상에 배치된 복수의 2D 영상들의 속성 정보를 변경하기 위한 영상 속성 변경부; 및 상기 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 디스플레이하기 위한 디스플레이부를 포함할 수 있다.
한편, 본 발명의 또 다른 실시예로서, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 방법을 도시하는 플로우 차트이다.
도 2는 본 발명의 일 실시예에 따라 복수의 2D 영상들을 소정의 기준에 따라 3D 공간상에 배치하고, 3D 모델을 생성하는 것을 도시한다.
도 3은 본 발명의 일 실시예에 따라 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성한 결과를 도시한다.
도 4는 본 발명의 일 실시예에 따른 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 장치를 도시한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "초음파 영상"이란 초음파를 이용하여 획득된 대상체에 대한 영상을 의미한다. 대상체는 신체의 일부를 의미할 수 있다. 예를 들어, 대상체에는 간이나, 심장, 자궁, 뇌, 유방, 복부 등의 장기나, 태아 등이 포함될 수 있다.
명세서 전체에서 "사용자"는 의료전문가로서 의사, 간호사, 임상병리사, 의료영상 전문가 등이 될 수 있으나, 이에 한정되지 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 방법을 도시하는 플로우 차트이다. 또한, 도 2는 본 발명의 일 실시예에 따라 복수의 2D 영상들(210, 220 및 230)을 소정의 기준에 따라 3D 공간상에 배치하고, 3D 모델(240)을 생성하는 것을 도시한다.
본 발명의 일 실시예에 따른 복수의 2차원(2D) 영상들(210, 220 및 230)과 3차원(3D) 모델(240)의 합성을 위한 방법은 복수의 2D 영상들(210, 220 및 230)을 획득하는 단계(110), 획득된 복수의 2D 영상들(210, 220 및 230)을 소정의 기준에 따라 3D 공간상에 배치하는 단계(120), 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230) 각각에 대하여 공간 좌표를 획득하는 단계(130), 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 3D 모델(240)을 생성하는 단계(140)를 포함할 수 있다. 또한, 본 방법은 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하는 단계(150) 및 속성 정보가 변경된 복수의 2D 영상들(210, 220 및 230)과 3D 모델(240)을 디스플레이하는 단계(160)를 포함할 수 있다.
복수의 2D 영상들을 획득하는 단계(110)는 초음파를 이용하여 대상체를 다양한 각도에서 촬영함으로써 복수의 2D 영상들(210, 220 및 230)을 획득하는 것을 포함할 수 있다. 여기서 복수의 2D 영상들(210, 220 및 230)은 둘 이상의 2차원(2D) 영상들을 지칭할 수 있다. 바람직하게는 복수의 2D 영상들(210, 220 및 230)은 적어도 셋 이상의 2차원(2D) 영상들을 포함할 수 있다.
예를 들어, 대상체가 심장인 경우 복수의 2D 영상들은, 좌심방과 좌심실을 촬영한 제 1 영상, 좌심실, 좌심방, 우심방을 촬영한 제 2 영상 및 좌심실, 좌심방, 우심실, 우심방을 촬영한 제 3 영상을 포함할 수 있다.
획득된 복수의 2D 영상들(210, 220 및 230)을 소정의 기준에 따라 3D 공간상에 배치하는 단계(120)는 획득된 복수의 2D 영상들(210, 220 및 230)을 기설정된 각도에 기초하여 서로 중복되게 3차원 공간상에 배치하는 것을 포함할 수 있다. 이와 관련하여, 도 2을 참조할 수 있다. 예를 들어, 전술한 바와 같이 심장을 대상체로서 촬영하여 획득한 복수의 2D 영상들의 경우 촬영된 대상체(즉, 심장)의 정점 부분(apical)을 소정의 기준으로 삼아 3D 공간 상에 복수의 2D 영상들을 배치할 수 있다. 바람직하게는, 촬영된 대상체의 정점 부분을 기준으로 복수의 2D 영상들을 공간상 60도의 간격으로 서로 교차하게 배치할 수 있다.
3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230) 각각에 대하여 공간 좌표를 획득하는 단계(130)는 3D 공간상에서 이를 테면 x, y, z 축과 같은 각각의 방향의 축에 대하여 복수의 2D 영상들(210, 220 및 230)로 촬영된 대상체의 좌표를 획득하는 것을 포함할 수 있다.
획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 3D 모델(240)을 생성하는 단계(140)는 획득된 공간 좌표에 기초하여 직선을 생성하고, 직선들을 이용하여 곡선 및 면을 생성하는 것을 포함할 수 있다. 복수의 2D 영상들(210, 220 및 230)의 개수를 조절하여 정교하거나 자연스러운 3D 모델(240)을 구현할 수 있다. 또한, 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 3D 모델(240)을 생성하는 단계(140)는 촬영된 대상체의 움직임에 기초하여 대상체의 움직임 정보를 획득하는 단계를 더 포함할 수 있다. 예로서, 촬영된 대상체가 심장인 경우 심장이 뜀에 따라 획득되는 공간 좌표가 변화할 수 있고, 이러한 공간 좌표의 변화에 따라 심장 내벽과 심장 외벽의 움직임 및 심장이 뛰는 속도 등에 대한 정보를 획득할 수 있다. 이러한 움직임 정보는 적어도 하나의 파라매트릭 값을 포함하고, 적어도 하나의 파라매트릭 값은, 촬영된 대상체의 변형률(strain rate), 움직임 속도(velocity) 및 부피 변화에 대한 정보 중 적어도 하나를 나타낼 수 있다.
또한, 본 발명의 일 실시예에 따른 방법은 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하는 단계(150)를 포함할 수 있다. 여기서, 속성 정보는 복수의 2D 영상들(210, 220 및 230) 각각의 투명도에 대한 정보를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하는 단계(150)는, 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절함으로써 3D 모델(240)과 복수의 2D 영상들(210, 220 및 230)이 오버랩되는 정도를 조절하는 단계를 더 포함할 수 있다. 예를 들어, 본원의 도 3에 도시되는 바와 같이 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절함으로써 3D 모델(240)과 복수의 2D 영상들(210, 220 및 230)을 함께 디스플레이할 수 있다. 본 발명의 일 실시예에 따르면, 현재 디스플레이되는 화면의 각도를 변경하지 않고도 복수의 2D 영상들의 투명도를 조절함으로써, 복수의 2D 영상들을 교차하게 배치함에 의하여 가려진 부분(2101 및 2201)에 대한 3D 모델들 부분(2403 및 2405)도 디스플레이할 수 있다. 본 발명의 일 실시예에 따르면, 복수의 2D 영상의 일부분(2101 및 2201)에 대한 투명도를 조절함으로써, 3D 모델의 현재 디스플레이되는 부분(2401)과 복수의 2D 영상의 일부분(2101 및 2201)에 의하여 가려진 3D 모델의 일부(2403 및 2405)가 함께 디스플레이되게 할 수 있다. 다시 말해서, 복수의 2D 영상(210, 220 및 230)과 3D 모델(2401, 2403 및 2405)이 함께 디스플레이되도록 복수의 2D 영상(210, 220 및 230)에 대한 투명도를 조절할 수 있다.
더욱이, 본 발명의 일 실시예에 따라 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하는 것은, 기설정된 값으로 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 자동으로 조절하거나, 사용자 입력에 의하여 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하는 것을 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 방법은 속성 정보가 변경된 복수의 2D 영상들과 3D 모델(240)을 디스플레이하는 단계(160)를 포함할 수 있다. 전술한 바와 같이 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절하여 촬영된 대상체에 대한 3D 모델(240)과 투명도가 조절된 복수의 2D 영상들(210, 220 및 230)을 함께 디스플레이할 수 있다.
또한, 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 디스플레이하는 단계(160)는, 적어도 하나의 파라매트릭 값에 상응하는 대상체에 대한 정보를 소정의 형태로 3D 모델(240)에 맵핑하여 디스플레이하는 단계를 더 포함할 수 있다. 소정의 형태는 문자 및 컬러 중 적어도 하나를 이용한 인덱스의 형태를 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 촬영된 대상체의 움직임 정보를 이용하여 도 3에 도시되는 바와 같이 촬영된 대상체를 각각의 섹션 등으로 나누어 표현할 수 있다. 여기서, 각각의 섹션은 문자 및 컬러 중 적어도 하나를 이용한 인덱스의 형태로 표현될 수 있다. 예로서, 촬영된 대상체가 심장인 경우 심장 외벽의 움직임 정도 또는 변형률은 양의 정수 등 문자를 이용한 인덱스 형태로 표현될 수 있다. 즉, 움직임이 적거나 또는 심장 외벽의 변형률이 낮은 경우보다, 움직임이 많거나 또는 심장 외벽의 변형률이 높은 경우 더 큰 숫자를 이용하여 움직임의 정도 또는 변형률을 표시할 수 있다. 또한, 대상체의 움직임 등에 대한 정보는 다양한 컬러를 이용하여 표현될 수 있다.
도 3은 본 발명의 일 실시예에 따라 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성한 결과를 도시한다. 전술한 바와 같이 촬영된 대상체에 대한 3D 모델(240)은 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절하여 복수의 2D 영상들과 함께 디스플레이될 수 있다.
도 4는 본 발명의 일 실시예에 따른 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 장치를 도시한다.
본 발명의 일 실시예에 따른 복수의 2차원(2D) 영상들(210, 220 및 230)과 3차원(3D) 모델(240)의 합성을 위한 장치는 복수의 2D 영상들을 획득하기 위한 2D 영상 획득부(410), 획득된 복수의 2D 영상들(210, 220 및 230)을 소정의 기준에 따라 3D 공간상에 배치하기 위한 영상 배치부(420), 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230) 각각에 대하여 공간 좌표를 획득하기 위한 공간 좌표 획득부 (430)를 포함할 수 있다. 또한, 복수의 2차원(2D) 영상들(210, 220 및 230)과 3차원(3D) 모델의 합성을 위한 장치는, 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 3D 모델(240)을 생성하기 위한 3D 모델 생성부(440), 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하기 위한 영상 속성 변경부(450) 및 속성 정보가 변경된 복수의 2D 영상들(210, 220 및 230)과 상기 3D 모델을 디스플레이하기 위한 디스플레이부(460)를 포함할 수 있다.
본 발명의 일 실시예에 따른 2D 영상 획득부(410)는, 초음파를 이용하여 대상체를 다양한 각도에서 촬영함으로써 복수의 2D 영상들(210, 220 및 230)을 획득하는 것을 포함할 수 있다. 여기서 복수의 2D 영상들(210, 220 및 230)은 둘 이상의 2차원(2D) 영상들을 지칭할 수 있다. 바람직하게는 복수의 2D 영상들(210, 220 및 230)은 적어도 셋 이상의 2차원(2D) 영상들을 포함할 수 있다.
예컨대, 대상체가 심장인 경우 복수의 2D 영상들은, 좌심방과 좌심실을 촬영한 제 1 영상, 좌심실, 좌심방, 우심방을 촬영한 제 2 영상 및 좌심실, 좌심방, 우심실, 우심방을 촬영한 제 3 영상을 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 배치부(420)는 획득된 복수의 2D 영상들(210, 220 및 230)을 기설정된 각도에 기초하여 서로 중복되게 3차원 공간상에 배치하는 것을 포함할 수 있다. 이와 관련하여, 전술한 바와 같이 도 2을 참조할 수 있다. 예를 들어, 심장을 대상체로서 촬영하여 획득한 복수의 2D 영상들(210, 220 및 230)의 경우 촬영된 대상체(즉, 심장)의 정점 부분(apical)을 소정의 기준으로 삼아 3D 공간 상에 복수의 2D 영상들(210, 220 및 230)을 배치할 수 있다. 바람직하게는, 촬영된 대상체의 정점 부분을 기준으로 복수의 2D 영상들(210, 220 및 230)을 공간상 60도의 간격으로 서로 교차하게 배치할 수 있다.
본 발명의 일 실시예에 따른 공간 좌표 획득부 (430)는 3D 공간상에서 이를 테면 x, y, z 축과 같은 각각의 방향의 축에 대하여 복수의 2D 영상들(210, 220 및 230)로 촬영된 대상체의 좌표를 획득하는 것을 포함할 수 있다.
3D 모델 생성부(440)는 획득된 공간 좌표에 기초하여 직선을 생성하고, 직선들을 이용하여 곡선 및 면을 생성하는 것을 포함할 수 있다. 복수의 2D 영상들(210, 220 및 230)의 개수를 조절하여 정교하거나 자연스러운 3D 모델(240)을 구현할 수 있다. 또한, 3D 모델 생성부(440)는 촬영된 대상체의 움직임에 기초하여 대상체의 움직임 정보를 획득하는 것을 더 포함할 수 있다. 예로서, 촬영된 대상체가 심장인 경우 심장이 뜀에 따라 획득되는 공간 좌표가 변화할 수 있고, 이러한 공간 좌표의 변화에 따라 심장 내벽과 심장 외벽의 움직임 및 심장이 뛰는 속도 등에 대한 정보를 획득할 수 있다. 이러한 움직임 정보는 적어도 하나의 파라매트릭 값을 포함하고, 적어도 하나의 파라매트릭 값은, 촬영된 대상체의 변형률(strain rate), 움직임 속도(velocity) 및 부피 변화에 대한 정보 중 적어도 하나를 나타낼 수 있다.
또한, 본 발명의 일 실시예에 따른 장치는 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하기 위한 영상 속성 변경부(450)를 포함할 수 있다. 여기서, 속성 정보는 복수의 2D 영상들(210, 220 및 230) 각각의 투명도에 대한 정보를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 영상 속성 변경부(450)는 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절함으로써 3D 모델(240)과 복수의 2D 영상들(210, 220 및 230)이 오버랩되는 정도를 조절하는 것을 더 포함할 수 있다. 예를 들어, 본원의 도 3에 도시되는 바와 같이 영상 속성 변경부(450)에 의하여 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절함으로써 3D 모델(240)과 복수의 2D 영상들(210, 220 및 230)을 함께 디스플레이할 수 있다. 본 발명의 일 실시예에 따르면, 현재 디스플레이되는 화면의 각도를 변경하지 않고도 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절함으로써, 복수의 2D 영상들(210, 220 및 230)을 교차하게 배치함에 의하여 가려진 부분(2101 및 2201)에 대한 3D 모델들 부분(2403 및 2405)도 디스플레이할 수 있다. 본 발명의 일 실시예에 따르면, 복수의 2D 영상의 일부분(2101 및 2201)에 대한 투명도를 조절함으로써, 3D 모델(240)의 현재 디스플레이되는 부분(2401)과 복수의 2D 영상의 일부분(2101 및 2201)에 의하여 가려진 3D 모델(240)의 일부(2403 및 2405)가 함께 디스플레이되게 할 수 있다. 다시 말해서, 복수의 2D 영상(210, 220 및 230)과 3D 모델(2401, 2403 및 2405)이 함께 디스플레이되도록 복수의 2D 영상(210, 220 및 230)에 대한 투명도를 조절할 수 있다.
더욱이, 본 발명의 일 실시예에 따라 3D 공간상에 배치된 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하는 것은, 기설정된 값으로 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 자동으로 조절하거나, 사용자 입력에 의하여 복수의 2D 영상들(210, 220 및 230)의 속성 정보를 변경하는 것을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 장치는 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 디스플레이하기 위한 디스플레이부(460)를 포함할 수 있다. 전술한 바와 같이 복수의 2D 영상들(210, 220 및 230)의 투명도를 조절하여 촬영된 대상체에 대한 3D 모델(240)과 투명도가 조절된 복수의 2D 영상들(210, 220 및 230)을 함께 디스플레이할 수 있다.
또한, 본 발명의 일 실시예에 따른 디스플레이부(460)는, 적어도 하나의 파라매트릭 값에 상응하는 대상체에 대한 정보를 소정의 형태로 3D 모델(240)에 맵핑하여 디스플레이하는 것을 더 포함할 수 있다. 소정의 형태는 문자 및 컬러 중 적어도 하나를 이용한 인덱스의 형태를 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 촬영된 대상체의 움직임 정보를 이용하여 도 3에 도시되는 바와 같이 촬영된 대상체를 각각의 섹션 등으로 나누어 표현할 수 있다. 여기서, 각각의 섹션은 문자 및 컬러 중 적어도 하나를 이용한 인덱스의 형태로 표현될 수 있다. 예로서, 촬영된 대상체가 심장인 경우 심장 외벽의 움직임 정도 또는 변형률은 양의 정수 등 문자를 이용한 인덱스 형태로 표현될 수 있다. 즉, 움직임이 적거나 또는 심장 외벽의 변형률이 낮은 경우보다, 움직임이 많거나 또는 심장 외벽의 변형률이 높은 경우 더 큰 숫자를 이용하여 움직임의 정도 또는 변형률을 표시할 수 있다. 또한, 대상체의 움직임 등에 대한 정보는 다양한 컬러를 이용하여 표현될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
210: 제 1 이차원(2D) 영상
220: 제 2 이차원(2D) 영상
230: 제 3 이차원(2D) 영상
240: 3차원(3D) 모델
410: 2D 영상 획득부
420: 영상 배치부
430: 공간 좌표 획득부
440: 3D 모델 생성부
450: 영상 속성 변경부
460: 디스플레이부

Claims (15)

  1. 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 방법으로서,
    복수의 2D 영상들을 획득하는 단계;
    상기 획득된 복수의 2D 영상들을 소정의 기준에 따라 3D 공간상에 배치하는 단계;
    상기 3D 공간상에 배치된 복수의 2D 영상들 각각에 대하여 공간 좌표를 획득하는 단계;
    상기 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들의 3D 모델을 생성하는 단계;
    상기 3D 공간상에 배치된 복수의 2D 영상들의 속성 정보를 변경하는 단계; 및
    상기 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 중첩하여 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 소정의 기준은, 상기 복수의 2D 영상들을 기설정된 각도에 기초하여 서로 중복되게 배치하는 것을 포함하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    상기 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들의 3D 모델을 생성하는 단계는, 촬영된 대상체의 움직임에 기초하여 상기 대상체의 움직임 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서,
    상기 움직임 정보는 적어도 하나의 파라매트릭 값을 포함하고, 상기 적어도 하나의 파라매트릭 값은, 상기 촬영된 대상체의 변형률(strain rate), 움직임 속도(velocity) 및 부피 변화에 대한 정보 중 적어도 하나를 나타내기 위한 값인 방법.
  5. 제 1 항에 있어서,
    상기 복수의 2D 영상들의 속성 정보는,
    상기 복수의 2D 영상들의 투명도에 대한 정보를 포함하는 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서,
    상기 3D 공간상에 배치된 복수의 2D 영상들의 속성 정보를 변경하는 단계는, 상기 복수의 2D 영상들의 투명도를 조절함으로써 상기 3D 모델과 상기 복수의 2D 영상들이 오버랩되는 정도를 조절하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제 4 항에 있어서,
    상기 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 디스플레이하는 단계는, 상기 적어도 하나의 파라매트릭 값에 상응하는 상기 대상체에 대한 정보를 소정의 형태로 상기 3D 모델에 맵핑하여 디스플레이하는 단계를 더 포함하고,
    상기 소정의 형태는 문자 및 컬러 중 적어도 하나를 이용한 인덱스의 형태를 포함하는 것을 특징으로 하는 방법.
  8. 복수의 2차원(2D) 영상들과 3차원(3D) 모델의 합성을 위한 장치로서,
    복수의 2D 영상들을 획득하기 위한 2D 영상 획득부;
    상기 획득된 복수의 2D 영상들을 소정의 기준에 따라 3D 공간상에 배치하기 위한 영상 배치부;
    상기 3D 공간상에 배치된 복수의 2D 영상들 각각에 대하여 공간 좌표를 획득하기 위한 공간 좌표 획득부;
    상기 획득된 공간 좌표에 기초하여 3D 공간상에 배치된 복수의 2D 영상들의 3D 모델을 생성하기 위한 3D 모델 생성부;
    상기 3D 공간상에 배치된 복수의 2D 영상들의 속성 정보를 변경하기 위한 영상 속성 변경부; 및
    상기 속성 정보가 변경된 복수의 2D 영상들과 상기 3D 모델을 중첩하여 디스플레이하기 위한 디스플레이부를 포함하는 것을 특징으로 하는 장치.
  9. 제 8 항에 있어서,
    상기 소정의 기준은, 복수의 2D 영상들을 기설정된 각도에 기초하여 서로 중복되게 배치하는 것을 포함하는 것을 특징으로 하는 장치.
  10. 제 8 항에 있어서,
    상기 3D 모델 생성부는, 촬영된 대상체의 움직임에 기초하여 상기 대상체의 움직임 정보를 획득하는 것을 더 포함하는 것을 특징으로 하는 장치.
  11. 제 10 항에 있어서,
    상기 움직임 정보는 적어도 하나 이상의 파라매트릭 값을 포함하고, 상기 적어도 하나 이상의 파라매트릭 값은, 상기 촬영된 대상체의 변형률, 움직임 속도 및 부피 변화에 대한 정보 중 적어도 하나를 나타내기 위한 값인 장치.
  12. 제 8 항에 있어서,
    상기 복수의 2D 영상들의 속성 정보는,
    상기 복수의 2D 영상들의 투명도에 대한 정보를 포함하는 것을 특징으로 하는 장치.
  13. 제 12 항에 있어서,
    상기 영상 속성 변경부는, 상기 복수의 2D 영상들의 투명도를 조절함으로써 상기 3D 모델과 상기 복수의 2D 영상들이 오버랩되는 정도를 조절하는 것을 더 포함하는 것을 특징으로 하는 장치.
  14. 제 11 항에 있어서,
    상기 디스플레이부는, 상기 적어도 하나의 파라매트릭 값에 상응하는 상기 대상체에 대한 정보를 소정의 형태로 상기 3D 모델에 맵핑하여 디스플레이하는 것을 더 포함하고,
    상기 소정의 형태는 문자 및 컬러 중 적어도 하나를 이용한 인덱스의 형태를 포함하는 것을 특징으로 하는 장치.
  15. 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020110125217A 2011-11-28 2011-11-28 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치 KR101293744B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110125217A KR101293744B1 (ko) 2011-11-28 2011-11-28 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치
EP12160092.8A EP2597622A3 (en) 2011-11-28 2012-03-19 Method and apparatus for combining plurality of 2D images with 3D model
US13/452,232 US9582936B2 (en) 2011-11-28 2012-04-20 Method and apparatus for combining plurality of 2D images with 3D model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110125217A KR101293744B1 (ko) 2011-11-28 2011-11-28 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130059092A KR20130059092A (ko) 2013-06-05
KR101293744B1 true KR101293744B1 (ko) 2013-08-06

Family

ID=45977182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110125217A KR101293744B1 (ko) 2011-11-28 2011-11-28 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US9582936B2 (ko)
EP (1) EP2597622A3 (ko)
KR (1) KR101293744B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
CN105389848B (zh) * 2015-11-06 2019-04-09 网易（杭州）网络有限公司 一种3d场景的绘制系统及方法、终端
GB2557915B (en) * 2016-12-16 2020-06-10 Calderon Agudo Oscar Method of and apparatus for non invasive medical imaging using waveform inversion
US11100721B1 (en) 2020-11-02 2021-08-24 Bentley Systems, Incorporated Integrating 2D images into a display of a 3D reality mesh to recover lost context
KR20230009707A (ko) * 2021-07-09 2023-01-17 주식회사 넥스트앤바이오 가상 오가노이드 생성 방법
US11687687B1 (en) 2022-03-18 2023-06-27 Protolabs, Inc. Apparatuses and methods for superimposition of a cross-sectional drawing over a three-dimensional model

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061956A (ja) 2001-08-30 2003-03-04 Toshiba Corp 超音波診断装置、医用診断装置及び画像処理方法
JP2005160616A (ja) 2003-12-01 2005-06-23 Olympus Corp 超音波診断装置
JP2006149702A (ja) 2004-11-30 2006-06-15 Ge Medical Systems Global Technology Co Llc 超音波診断装置および超音波画像表示方法
KR20110060180A (ko) * 2009-11-30 2011-06-08 한국전자통신연구원 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
WO2000072273A1 (en) * 1999-05-21 2000-11-30 Emory University Systems, methods and computer program products for the display of tomographic image planes in three-dimensional space
EP1523939B1 (en) * 2003-10-14 2012-03-07 Olympus Corporation Ultrasonic diagnostic apparatus
US8012090B2 (en) * 2004-06-22 2011-09-06 General Electric Company Method and apparatus for real time ultrasound multi-plane imaging
US8144956B2 (en) * 2006-03-20 2012-03-27 Koninklijke Philips Electronics N.V. Ultrasonic diagnosis by quantification of myocardial performance
US20100249589A1 (en) * 2009-03-25 2010-09-30 Peter Lysyansky System and method for functional ultrasound imaging
KR101107392B1 (ko) * 2009-04-10 2012-01-19 삼성메디슨 주식회사 가이드 정보를 제공하는 초음파 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061956A (ja) 2001-08-30 2003-03-04 Toshiba Corp 超音波診断装置、医用診断装置及び画像処理方法
JP2005160616A (ja) 2003-12-01 2005-06-23 Olympus Corp 超音波診断装置
JP2006149702A (ja) 2004-11-30 2006-06-15 Ge Medical Systems Global Technology Co Llc 超音波診断装置および超音波画像表示方法
KR20110060180A (ko) * 2009-11-30 2011-06-08 한국전자통신연구원 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치

Also Published As

Publication number Publication date
EP2597622A2 (en) 2013-05-29
KR20130059092A (ko) 2013-06-05
US20130135292A1 (en) 2013-05-30
EP2597622A3 (en) 2017-07-26
US9582936B2 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
US20220192611A1 (en) Medical device approaches
KR101293744B1 (ko) 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치
Mohamed et al. A survey on 3D ultrasound reconstruction techniques
JP6640738B2 (ja) 医用イメージングシステム及び医用イメージングシステムにおいてデータをリンクする方法
KR101501518B1 (ko) 3차원(3ｄ) 초음파 영상과 2차원(2ｄ) 초음파 영상을 디스플레이하는 방법 및 장치
WO2015105619A1 (en) Apparatus and method for distributed ultrasound diagnostics
JP5462598B2 (ja) 超音波診断システム
JP2013505778A (ja) 運動情報を用いた医用画像解析のためのコンピュータ可読媒体、システム、および方法
KR101538658B1 (ko) 의료 영상 표시 방법 및 장치
JP2012196437A (ja) 医用画像診断装置、医用画像表示装置、医用画像処理装置、及び医用画像処理プログラム
JP4122463B2 (ja) 医療用可視画像の生成方法
JP5498185B2 (ja) 超音波診断装置及び超音波画像表示プログラム
WO2016054775A1 (zh) 超声虚拟内窥成像系统和方法及其装置
US9585569B2 (en) Virtual endoscopic projection image generating device, method and program
US20160205390A1 (en) Method for displaying on a screen an object shown in a 3d data set
US11941754B2 (en) System and method for generating three dimensional geometric models of anatomical regions
US20230039065A1 (en) System and method for generating three dimensional geometric models of anatomical regions
Ford et al. Heartpad: real-time visual guidance for cardiac ultrasound
RU2808612C2 (ru) Способ визуализации динамической анатомической структуры
Kalavakonda Isosurface Visualization Using Augmented Reality for Improving Tumor Resection Outcomes
JP5751993B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023004884A (ja) 拡張現実のグラフィック表現を表示するための表現装置
JP2013048688A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012130682A (ja) 動き変化を直観的に表示する超音波診断装置および超音波診断装置の操作方法
JP2013022086A (ja) 医用画像生成装置および医用画像生成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180704

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 7