KR20030095515A - 3 차원 동영상 형성 방법 및 장치 - Google Patents

3 차원 동영상 형성 방법 및 장치 Download PDF

Info

Publication number
KR20030095515A
KR20030095515A KR1020020032756A KR20020032756A KR20030095515A KR 20030095515 A KR20030095515 A KR 20030095515A KR 1020020032756 A KR1020020032756 A KR 1020020032756A KR 20020032756 A KR20020032756 A KR 20020032756A KR 20030095515 A KR20030095515 A KR 20030095515A
Authority
KR
South Korea
Prior art keywords
image
live
virtual
data
frames
Prior art date
Application number
KR1020020032756A
Other languages
English (en)
Other versions
KR100478165B1 (ko
Inventor
이승우
김철안
황재섭
송영석
Original Assignee
주식회사 메디슨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디슨 filed Critical 주식회사 메디슨
Priority to KR10-2002-0032756A priority Critical patent/KR100478165B1/ko
Priority to AT03076809T priority patent/ATE384961T1/de
Priority to EP03076809A priority patent/EP1372001B1/en
Priority to DE60318770T priority patent/DE60318770T2/de
Priority to JP2003167456A priority patent/JP2004041722A/ja
Priority to US10/459,586 priority patent/US6950112B2/en
Publication of KR20030095515A publication Critical patent/KR20030095515A/ko
Application granted granted Critical
Publication of KR100478165B1 publication Critical patent/KR100478165B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52068—Stereoscopic displays; Three-dimensional displays; Pseudo 3D displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대상체에 대한 3 차원 동영상을 획득하기 위한 방법 및 장치에 관한 것이다. 이 방법은 대상체로 초음파 신호를 전송하고 반사된 초음파 신호를 수신하는 단계와, 수신한 초음파 신호로부터 로우 데이터(raw data)를 획득하는 단계와, 획득된 로우 데이터로부터 다수의 영상 프레임 데이터를 생성하는 단계와, 다수의 영상 프레임 데이터로부터 다수의 영상 프레임들 사이에 삽입될 다수의 가상 프레임 데이터를 생성하는 단계와, 다수의 영상 프레임 데이터 및 다수의 가상 프레임 데이터를 이용하여 대상체에 대한 3 차원 동영상을 렌더링하는 단계를 포함한다. 이 장치는 프로브와, 3D 로우 데이터 획득부와, 3D 이미지 및 가상 이미지를 생성하기 위한 인핸스드 라이브 3D 이미징부와, 3D 동영상을 디스플레이하기 위한 디스플레이부를 포함한다. 본 발명에 따르면, 오리지널 라이브 3D 이미지들 사이에 인터폴레이션 기법 또는 엑스트라폴레이션 기법을 통해 획득한 가상 이미지를 삽입함으로써, 디스플레이되는 라이브 3D 이미지의 프레임 레이트를 증가시켜 보다 자연스러운 3차원 초음파 동영상을 제공한다.

Description

3 차원 동영상 형성 방법 및 장치{METHOD AND APPARATUS FOR FORMING THREE-DIMENSIONAL MOVING IMAGE}
본 발명은 3D(three-dimensional) 초음파 이미지 형성 방법 및 장치에 관한 것으로, 보다 상세하게는 대상체에 대한 3D 동영상을 형성하기 위한 방법 및 장치에 관한 것이다.
일반적으로, 스태틱(static) 3D 이미지는 3D 프로브(probe)를 통해 시간에 관계 없이 3D 로우 데이터(raw data)(즉, x, y, z 좌표 상의 데이터)를 획득한 후, 연속하는 프레임들을 하나씩 일정한 간격으로 쌓아서 이를 3D 렌더링(rendering) 기법을 통해 구성되는 3D 이미지이다. 이러한 스태틱 3D 이미지를 초음파 진단에 이용하는 경우, 예를 들어 외과 수술과 같은 번거로운 절차 없이 인체 내부를 정확하게 관찰하며 진단하거나 치료할 수 있기 때문에, 최근에 널리 사용되고 있다. 그러나, 스태틱 3D 이미지는 정지된 이미지이므로, 예컨대 산모 태중의 아기와 같이 움직이는 대상체를 실시간으로 관찰하기 어렵다는 단점이 있다. 따라서, 전술한 바와 같은 문제점을 해결하기 위해, 최근에는 스태틱 3D 이미지가 아닌 3D 동영상을 제공하기 위한 방법으로서 라이브 3D 이미징(live three-dimensionalimaging) 기법이 사용되고 있다. 본 명세서에 있어서, "라이브 3D 이미지"는 초당 30 프레임 이상으로 구성되는 "실시간 3D 이미지"보다는 프레임 수가 적어, 대상체에 대한 완전한 움직임을 나타내지는 못하지만, 예컨대 초당 2 내지 4 프레임으로 구성되는 "스태틱 3D 이미지"보다는 프레임 수가 많아 어느 정도의 대상체에 대한 움직임을 나타내는 "준 실시간 3D"의 의미로서 해석되고 이해되어야 한다.
도 1을 참조하면, 라이브 3D 이미지를 형성하기 위한 종래 기술에 따른 장치의 개략적인 블럭도가 도시되어 있다. 도 1에 도시한 바와 같이, 종래의 라이브 3D 이미지 형성 장치(100)는 초음파 신호를 대상체(도시하지 않음)로 전송하고 이로부터 반사된 초음파 신호를 수신, 즉 스캐닝(scanning)하는 프로브(102), 이 프로브(102)로부터 수신한 데이터를 이용하여 라이브 3D 이미지를 생성하기 위한 이미지 처리부(104), 이미지 처리부(104)에서 생성된 라이브 3D 이미지를 표시하는 디스플레이부(106)를 포함하고 있으며, 이미지 처리부(104)는 3D 로우 데이터 획득부(108)와 렌더링부(110)로 구성되어 있다.
3D 로우 데이터 획득부(108)는 프로브(102)를 통해 수신한 초음파 반사 신호로부터 라이브 3D 이미지를 생성하기 위한 로우 데이터(raw data)(이하, 3D 로우 데이터로 지칭함)를 획득하여 이를 렌더링부(110)로 전송한다. 이때, 3D 로우 데이터 획득부(108)는 한 프레임에 해당하는 3D 로우 데이터를 획득하여 자체의 사전설정된 장소에 저장한 후 이를 순차적으로 렌더링부(110)로 전송할 수도 있다. 이어, 렌더링부(110)는 3D 로우 데이터 획득부(108)로부터 수신한 3D 로우 데이터를 공지된 렌더링 기법에 따라 렌더링 처리하여 디스플레이될 라이브 3D 이미지를 형성한 후, 이를 디스플레이(106)로 전송한다. 그러면, 디스플레이(106)는 형성된 라이브 3D 이미지를 디스플레이한다.
도 2를 참조하면, 라이브 3D 이미지를 형성하기 위한 종래 기술에 따른 방법을 설명하기 위한 흐름도가 도시되어 있다. 먼저, 단계(S202)에서, 프로브(102)가 초음파 신호를 대상체로 전송한 후 이로부터 반사된 초음파 신호를 수신함으로써 대상체에 대한 스캐닝을 수행한다. 단계(S204)에서, 영상 처리부(104)의 3D 로우 데이터 획득부(108)가 3D 로우 데이터를 획득하고, 이를 자체에 마련된 소정의 장소에 저장한다. 이때, 3D 로우 데이터의 저장은 연속하는 프레임들을 프레임별로 데이터화하여 저장함으로써 이루어진다. 다음에, 이와 같이 저장된 3D 로우 데이터가 n개의 프레임에 대응하는 3D 로우 데이터인 경우, 렌더링부(110)는 단계(S206)에서 (n-1)번째 프레임에 해당하는 3D 로우 데이터, 즉 시간적으로 바로 직전에 저장되어 있던 3D 로우 데이터를 렌더링을 위해 판독하고, 시간적으로 (n-1)번째 프레임 바로 직전에 대기하고 있던 (n-2)번째 프레임에 대응하는 3D 로우 데이터를 고속으로 랜더링한다(S206). 이러한 병렬적인 렌더링을 연속적으로 수행함으로써, 렌더링부(110)가 라이브 3D 이미징(imaging)을 수행한다. 단계(S208)에서, 디스플레이(106)는 렌더링된 이미지, 즉 라이브 3D 이미지를 디스플레이한다. 이때, 디스플레이되는 라이브 3D 이미지의 프레임 레이트(frame rate)는 통상적으로 2 내지 4 프레임/초 정도이다.
전술한 바와 같이, 영화와 같은 자연스러운 동영상을 얻기 위해서는 초당 30 프레임 정도의 이미지가 필요하지만, 종래의 라이브 3D 이미지 장치(100)는 하드웨어적인 제한으로 인해 실시간 동영상보다 초당 매우 적은수의 프레임(통상적으로 2 내지 4 프레임)으로 3D 이미지를 디스플레이함으로써 3D 이미지가 자연스럽게 연속적으로 디스플레이되는 데에 어려움이 있다. 예를 들어, 프레임 레이트가 4 프레임/초라고 가정하면, 초당 4 프레임의 이미지가 표시됨으로 인해 3D 이미지 각각이 한 동작씩 끊어져서 디스플레이됨을 알 수 있다.
따라서, 라이브 3D 이미지 장치의 계산 부하를 크게 증가시키지 않으면서도 종래의 라이브 3D 이미지의 프레임 레이트를 높여 보다 자연스러운 3D 동영상 이미지를 제공할 수 있는 방법 및 장치에 대한 요구가 있다.
본 발명은 3D 로우 데이터로부터 획득한 3D 이미지들 사이에 사전설정된 갯수의 가상 이미지를 일정한 시간 간격으로 삽입하여 프레임 레이트를 증가시킴으로써, 종래의 라이브 3D 이미지보다 자연스러운 라이브 3D 이미지를 디스플레이할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 특징에 따르면, 움직이는 대상체에 대한 3 차원 동영상을 형성하기 위해, a) 상기 대상체로 초음파 신호를 전송하고 반사된 초음파 신호를 수신하는 단계와, b) 상기 수신한 초음파 신호로부터 로우 데이터(raw data)를 획득하는 단계와, c) 상기 획득된 로우 데이터로부터 다수의 영상 프레임 데이터를 생성하는 단계와, d) 상기 다수의 영상 프레임 데이터로부터 상기 다수의 영상 프레임들 사이에 삽입될 복수개의 가상 프레임 데이터를 생성하는 단계와, e) 상기 다수의 영상 프레임 데이터 및 상기 다수의 가상 프레임 데이터를 이용하여 상기 대상체에대한 3 차원 동영상을 렌더링하는 단계를 포함하는 3 차원 동영상 형성 방법이 제공된다.
본 발명의 다른 특징에 따르면, 움직이는 대상체에 대한 3 차원 동영상을 형성하기 위해, 상기 대상체로 초음파 신호를 전송하고 반사된 초음파 신호를 수신하기 위한 수단과; 상기 수신한 초음파 신호로부터 로우 데이터(raw data)를 획득하기 위한 수단과; 상기 획득된 로우 데이터로부터 다수의 영상 프레임 데이터를 생성하고, 상기 다수의 영상 프레임 데이터로부터 상기 다수의 영상 프레임들 사이에 삽입될 복수개의 가상 프레임 데이터를 생성하며, 상기 다수의 영상 프레임 데이터 및 상기 다수의 가상 프레임 데이터를 이용하여 상기 대상체에 대한 3 차원 동영상을 렌더링하기 위한 수단을 포함하는 3 차원 동영상 형성 장치가 제공된다.
도 1은 라이브 3D(live three-dimensional) 이미지를 형성하기 위한 종래 기술에 따른 장치의 개략적인 블럭도.
도 2는 라이브 3D 이미지를 형성하기 위한 종래 기술에 따른 방법을 설명하기 위한 흐름도.
도 3은 라이브 3D 이미지를 형성하기 위한 본 발명에 따른 장치의 개략적인 블럭도.
도 4a는 본 발명에 따라 인터폴레이션(interpolation) 기법을 이용하여 생성되는 가상 이미지를 설명하기 위한 도면.
도 4b는 본 발명에 따라 엑스트라폴레이션(extrapolation) 기법을 이용하여 생성되는 가상 이미지를 설명하기 위한 도면.
도 4c는 본 발명에 따라 인터폴레이션 기법을 이용하여 생성되는 가상 이미지의 예를 나타내는 도면.
도 5는 라이브 3D 이미지를 형성하기 위한 본 발명에 따른 방법을 설명하기 위한 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
302 : 프로브(probe)
304 : 3D 로우 데이터(three-dimensional raw data) 획득부
306 : 인핸스드(enhanced) 라이브 3D 이미징부
308 : 디스플레이부
이제, 도 3 내지 도 5를 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다. 먼저, 도 3을 참조하면 라이브 3D 이미지를 형성하기 위한 본 발명에 따른 장치의 개략적인 블럭도가 도시되어 있다.
도 3에 도시한 바와 같이, 본 발명에 따른 라이브 3D 이미지 형성 장치(300)는 초음파 신호를 움직이는 대상체(도시하지 않음)로 전송하고 이로부터 반사된 초음파 신호를 수신, 즉 스캐닝하는 프로브(302), 이 프로브(302)로부터 수신한 데이터를 이용하여 라이브 3D 이미지를 생성하기 위한 이미지 처리부(310), 이미지 처리부(310)에서 생성된 라이브 3D 이미지를 표시하는 디스플레이부(308)를 포함하고 있으며, 이미지 처리부(310)는 3D 로우 데이터 획득부(304) 및 인핸스드 라이브 3D이미징부(enhanced live three-dimensional imaging)(306)로 구성되어 있다.
이미지 처리부(310)의 3D 로우 데이터 획득부(304)는 프로브(302)로부터 수신한 초음파 반사 신호로부터 3D 이미지를 생성하기 위한 로우 데이터(raw data)(이하, 3D 로우 데이터로 지칭함)를 획득하여 인핸스드 라이브 3D 이미징부(306)로 전송한다. 이때, 3D 로우 데이터 획득부(304)는 라이브 3D 이미지의 한 프레임에 해당하는 3D 로우 데이터를 획득하여 순차적으로 인핸스드 라이브 3D 이미징부(306)에 전송한다. 인핸스드 라이브 3D 이미징부(306)는 3D 로우 데이터 획득부(304)로부터 전송된 3D 로우 데이터에 근거하여, 디스플레이부(308)를 통해 디스플레이될 오리지널(original) 라이브 3D 이미지에 관한 데이터를 생성하고, 생성된 오리지널 라이브 3D 이미지 데이터에 근거하여 이들 이미지 사이에 삽입될 가상 이미지에 관한 데이터를 생성한 다음, 이들 데이터를 3D 렌더링함으로써 오리지널 라이브 3D 이미지와 가상 이미지가 혼합된 최종적인 라이브 3D 이미지를 생성한다. 이때, 인핸스드 라이브 3D 이미징부(306)는 가상 이미지에 관한 데이터를 생성하기 위해 후술하는 인터폴레이션(interpolation) 기법 또는 엑스트라폴레이션(extrapolation) 기법을 사용한다.
이제, 도 4a 내지 도 4c를 참조하여, 인핸스드 라이브 3D 이미징부(306)의 동작을 상세하게 설명하기로 한다. 도 4a는 인핸스드 라이브 3D 이미징부(306)가 오리지널 라이브 3D 이미지의 n개 프레임 중 (n-1)번째 프레임(402) 및 n번째 프레임(406)과 이들 프레임들(402, 406) 사이에 삽입되는, 인터폴레이션 기법을 사용하여 생성한 m개의 가상 이미지(404)들을 나타내는 도면이다. 도 4b는 인핸스드 라이브 3D 이미징부(306)가 오리지널 라이브 3D 이미지의 n번째 프레임(406)과 이 프레임(406)의 다음에 삽입되는, 엑스트라폴레이션 기법을 사용하여 생성한 m개의 가상 이미지들을 나타내는 도면이다. 도 4c는 도 4a에서 설명한 바와 같이 인터폴레이션 기법을 이용하여 생성되는 가상 이미지의 예를 나타내는 도면으로써, 오리지날 라이브 3D 이미지의 (n-1)번째 프레임과 n번째 프레임 사이에 생성된 가상 이미지들이 삽입됨으로써 태아의 움직임이 자연스럽게 디스플레이됨을 알 수 있다. 여기서, 3D 로우 데이터에 근거하여 생성되는 오리지널 라이브 3D 이미지의 프레임 총 갯수는 n개이며, 인터폴레이션 기법 또는 엑스트라폴레이션 기법을 통해 생성되는 가상 이미지의 총 갯수는 m개이고, n 및 m은 정수이다.
먼저, 도 4a를 참조하면 인핸스드 라이브 3D 이미징부(306)가 선형(linear) 인터폴레이션 기법을 사용하는 경우, 오리지널 라이브 3D 이미지의 (n-1)번째 프레임(402)과 n번째 프레임(406) 사이에 삽입되는, m개의 가상 이미지(404) 중 j번째 가상 이미지의 디스플레이 시간 및 j번째 가상 이미지 내의 어느 한 화소(pixel) 좌표를 (taj, yaj)라고 정의할 때 이의 영상값은 다음의 수학식 1과 같이 표현된다.
여기서, taj는 j번째 가상 이미지를 디스플레이하여야 하는 시간이고, yaj는 j번째 가상 이미지 중 (taj, yaj)의 좌표를 갖는 화소에서의 영상값(즉, 맵핑된 컬러값)이며, yN은 시간 tn에서 디스플레이되는 오리지널 라이브 3D 이미지 내의 특정한 화소의 영상값이고, m은 (n-1)번째 프레임(402)과 n번째 프레임(406) 사이에 삽입되는 가상 이미지(404)의 갯수를 나타내며, a는 하나의 가상 이미지를 구성하는 화소들 중 어느 하나의 화소를 나타낸다. 수학식 1을 (n-1)번째 프레임(402)과 n번째 프레임(406) 사이에 삽입되는 m개의 가상 이미지들(404) 각각의 모든 화소들에 적용함으로써 m개의 가상 이미지에 관한 데이터(이하, 가상 이미지 데이터로 지칭함)를 모두 생성할 수 있다. 마찬가지로, 인핸스드 라이브 3D 이미징부(306)는 다음 (n+1)번째 프레임(도시하지 않음)에 대한 오리지널 라이브 3D 이미지에 관한 데이터가 입력되면, 전술한 과정을 반복하여 n번째 프레임(406)과 (n+1)번째 프레임 사이에 삽입될 가상 이미지 데이터를 생성한다.
인핸스드 라이브 3D 이미징부(306)가 선형 인터폴레이션 기법 대신에 고차 인터폴레이션 기법을 사용하는 경우, N차의 인터폴레이션 다항식은 다음의 수학식 2와 같이 표현된다.
여기서, c0내지 cn은 임의의 계수이고, t는 오리지널 라이브 3D 이미지의 디스플레이 시간을 나타내며, y는 가상 이미지 데이터를 나타내고, n은 획득되는 프레임의 총 갯수를 나타낸다. 오리지널 라이브 3D 이미지의 (n-1)번째 프레임(402)과 n번째 프레임(406) 사이에 삽입되는 m개의 가상 이미지 데이터를 생성하는 경우, 생성된 m개의 가상 이미지 중 j번째 가상 이미지를 디스플레이하여야 하는 시간 taj는 전술한 수학식 1과 같이 표현된다. 시간이 taj일때, j번째 가상 이미지 내의 특정한 화소에서의 영상값 yaj는 다음의 수학식 3과 같이 표현된다.
수학식 3을 사용하여 m개의 가상 이미지 중 j번째 가상 이미지의 모든 화소에 대한 영상값을 계산함으로써, j번째 가상 이미지 데이터가 획득될 수 있다. 전술한 바와 같은 선형 및 고차 인터폴레이션 방법을 사용하면, 초당 디스플레이되는 오리지널 라이브 3D 이미지의 갯수가 F개인 경우, 초당 디스플레이되어야 하는 전체 프레임의 갯수는 F*(m+1)개이며, 3D 로우 데이터로부터 획득되는 오리지널 라이브 3D 이미지 사이에 m개의 가상 이미지들이 삽입됨으로써 종래 기술에 따른 라이브 3D 이미지보다 훨씬 자연스러운 라이브 3D 이미지, 즉 3D 동영상을 얻을 수 있다.
도 4b를 참조하면, 인핸스드 라이브 3D 이미징부(306)가 고차(high-order) 엑스트라폴레이션 기법을 사용하는 경우, n번째 프레임(406) 이후에 m개의 가상 이미지를 삽입할 때, 삽입되는 m개의 가상 이미지 중 j번째 가상 이미지를 디스플레이해야 하는 시간 tej는 및 j번째 가상 이미지 내의 어느 한 화소의 영상값 yej는 다음의 수학식 4와 같이 표현된다.
수학식 4를 사용하여 삽입되는 m개의 가상 이미지 각각의 모든 화소에 대하여 영상값을 계산함으로써 가상 이미지 데이터를 획득한다. 고차 엑스트라폴레이션을 사용하는 경우, 초당 디스플레이되는 오리지널 라이브 3D 이미지의 갯수가 F개인 경우, 초당 디스플레이되어야 하는 전체 프레임의 갯수는 F*(m+1)개이다.
본 명세서에서는 인핸스드 라이브 3D 이미징부(306)가 선형 인터폴레이션, 고차 인터폴레이션, 고차 엑스트라폴레이션의 3 가지 기법을 사용하여 가상 이미지 데이터를 생성하는 것에 대하여 설명하였지만, 본 발명은 이에 한정되지 않고 다른 적합한 가상 이미지 데이터 생성 기법이 사용될 수도 있다.
라이브 3D 이미지의 프레임 레이트는 프로브의 종류, 초음파 이미지의 깊이, 3D 이미지 획득 속도 등 여러 가지 상황에 따라 달라지므로, 이러한 상황에 적합하도록 인터폴레이션 기법 또는 엑스트라폴레이션 기법을 통해 획득되는 가상 이미지의 갯수를 조절하여, 인터폴레이션 기법 또는 엑스트라폴레이션 기법에 소요되는 작업 시간을 최소화하고, 획득되는 가상 이미지를 오리지널 3D 이미지 사이에 균일한 간격으로 삽입하여 디스플레이하여야 한다. 예를 들어, 오리지널 라이브 3D 이미지의 프레임율이 F 프레임/초인 경우, 초당 F장에 해당하는 데이터를 획득한다는 것을 의미하므로, m개의 가상 이미지가 오리지널 라이브 3D 이미지 사이에 삽입되는 경우 m개의 인터폴레이션 또는 엑스트라폴레이션된 가상 이미지가 추가되면 오리지널 라이브 3D 이미지와 추가된 가상 이미지를 포함하여 1/(F*(m+1))초마다 이미지를 디스플레이하여야 하므로, m개의 가상 이미지를 인터폴레이션 또는 엑스트라폴레이션하는 데 소요되는 시간은 1/(F*(m+1))초를 초과해서는 않된다. 따라서, 1/(F*(m+1))초 내에 획득될 수 있는 가상 이미지의 갯수 m을 결정해야 한다.
도 5를 참조하면, 라이브 3D 이미지를 형성하기 위한 본 발명에 따른 방법을 설명하기 위한 흐름도가 도시되어 있다. 먼저, 단계(S502)에서 프로브(302)가 초음파 신호를 대상체로 전송한 후 이로부터 반사된 초음파 신호를 수신함으로써 대상체에 대한 스캐닝을 수행한다. 단계(S504)에서, 영상 처리부(310)의 3D 로우 데이터 획득부(304)에서 3D 로우 데이터를 획득하고 저장한다. 단계(S506)에서, 인핸스드 라이브 3D 이미징부(306)는 3D 로우 데이터 획득부(304)에서 획득된 3D 로우 데이터에 근거하여 오리지널 라이브 3D 이미지 데이터를 발생하고, 발생된 오리지널 라이브 3D 이미지 데이터에 기초하여 오리지널 라이브 3D 이미지 사이에 삽입될 가상 이미지 데이터를 생성한다. 단계(S508)에서, 인핸스드 라이브 3D 이미징부(306)는 오리지널 3D 이미지 데이터 및 가상 이미지 데이터에 대한 렌더링을 수행하여 최종적인 라이브 3D 이미지를 발생한다. 단계(S510)에서, 디스플레이부(308)는 발생된 최종 라이브 3D 이미지, 즉 3D 동영상을 디스플레이한다.
본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부한 청구 범위의 사상 및 범주를 벗어나지 않고 여러 가지 변형 및 변경이 이루어질 수 있음을 알 수 있을 것이다.
전술한 바와 같이, 본 발명은 오리지널 라이브 3D 이미지 사이에 추가적으로 가상 이미지를 삽입함으로써 최종적으로 디스플레이되는 라이브 3D 이미지의 프레임 레이트를 증가시킴으로써, 라이브 3D 이미지 형성 장치의 계산 부하를 크게 증가시키지 않으면서도 종래의 라이브 3D 이미지보다 자연스러운 라이브 3D 이미지, 즉 3D 동영상을 제공할 수 있는 효과가 있다.

Claims (6)

  1. 움직이는 대상체에 대한 3 차원 동영상을 형성하기 위한 방법에 있어서,
    a) 상기 대상체로 초음파 신호를 전송하고 반사된 초음파 신호를 수신하는 단계와,
    b) 상기 수신한 초음파 신호로부터 로우 데이터(raw data)를 획득하는 단계와,
    c) 상기 획득된 로우 데이터로부터 다수의 영상 프레임 데이터를 생성하는 단계와,
    d) 상기 다수의 영상 프레임 데이터로부터 상기 다수의 영상 프레임들 사이에 삽입될 다수의 가상 프레임 데이터를 생성하는 단계와,
    e) 상기 다수의 영상 프레임 데이터 및 상기 다수의 가상 프레임 데이터를 이용하여 상기 대상체에 대한 3 차원 동영상을 렌더링하는 단계
    를 포함하는 3 차원 동영상 형성 방법.
  2. 제 1 항에 있어서,
    상기 다수의 가상 프레임 데이터는 인터폴레이션(interpolation) 기법 및 엑스트라폴레이션(extrapolation) 기법 중 하나를 이용하여 생성되는 3 차원 동영상 형성 방법.
  3. 제 2 항에 있어서,
    상기 다수의 영상 프레임의 프레임 레이트(frame rate)가 F 프레임/초인 경우, 상기 다수의 가상 프레임은 1/(F*(m+1))초 내에 획득되는 3 차원 동영상 형성 방법.
  4. 움직이는 대상체에 대한 3 차원 동영상을 형성하기 위한 장치에 있어서,
    상기 대상체로 초음파 신호를 전송하고 반사된 초음파 신호를 수신하기 위한 수단과,
    상기 수신한 초음파 신호로부터 로우 데이터(raw data)를 획득하기 위한 수단과,
    상기 획득된 로우 데이터로부터 다수의 영상 프레임 데이터를 생성하고, 상기 다수의 영상 프레임 데이터로부터 상기 다수의 영상 프레임들 사이에 삽입될 다수의 가상 프레임 데이터를 생성하며, 상기 다수의 영상 프레임 데이터 및 상기 다수의 가상 프레임 데이터를 이용하여 상기 대상체에 대한 3 차원 동영상을 렌더링하기 위한 수단
    을 포함하는 3 차원 동영상 형성 장치.
  5. 제 4 항에 있어서,
    상기 다수의 가상 프레임 데이터는 인터폴레이션(interpolation) 기법 및 엑스트라폴레이션(extrapolation) 기법 중 하나를 이용하여 생성되는 3 차원 동영상형성 장치.
  6. 제 5 항에 있어서,
    상기 다수의 영상 프레임의 프레임 레이트가 F 프레임/초인 경우, 상기 다수의 가상 프레임은 1/(F*(m+1))초 내에 획득되는 3 차원 동영상 형성 장치.
KR10-2002-0032756A 2002-06-12 2002-06-12 3 차원 동영상 형성 방법 및 장치 KR100478165B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR10-2002-0032756A KR100478165B1 (ko) 2002-06-12 2002-06-12 3 차원 동영상 형성 방법 및 장치
AT03076809T ATE384961T1 (de) 2002-06-12 2003-06-11 Verfahren und vorrichtung zur herstellung drei- dimensionaler ultraschallbilder in quasi-echtzeit
EP03076809A EP1372001B1 (en) 2002-06-12 2003-06-11 Method and apparatus for producing three-dimensional ultrasonic images in quasi real time
DE60318770T DE60318770T2 (de) 2002-06-12 2003-06-11 Verfahren und Vorrichtung zur Herstellung drei-dimensionaler Ultraschallbilder in Quasi-Echtzeit
JP2003167456A JP2004041722A (ja) 2002-06-12 2003-06-12 ３次元動画像形成装置
US10/459,586 US6950112B2 (en) 2002-06-12 2003-06-12 Method and apparatus for producing a three-dimensional moving image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0032756A KR100478165B1 (ko) 2002-06-12 2002-06-12 3 차원 동영상 형성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20030095515A true KR20030095515A (ko) 2003-12-24
KR100478165B1 KR100478165B1 (ko) 2005-03-23

Family

ID=29578244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0032756A KR100478165B1 (ko) 2002-06-12 2002-06-12 3 차원 동영상 형성 방법 및 장치

Country Status (6)

Country Link
US (1) US6950112B2 (ko)
EP (1) EP1372001B1 (ko)
JP (1) JP2004041722A (ko)
KR (1) KR100478165B1 (ko)
AT (1) ATE384961T1 (ko)
DE (1) DE60318770T2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720005A (zh) * 2002-12-04 2006-01-11 皇家飞利浦电子股份有限公司 高帧频三维超声成像仪
US20090156935A1 (en) * 2004-10-08 2009-06-18 Koninklijke Philips Electronics N.V. Three Dimensional Diagnostic Ultrasound Imaging System with Image Reversal and Inversion
US9144256B2 (en) 2006-05-09 2015-09-29 Nike, Inc. Article of apparel for holding and operating electronic devices
US20110176715A1 (en) * 2010-01-21 2011-07-21 Foos David H Four-dimensional volume imaging system
US11190653B2 (en) * 2016-07-26 2021-11-30 Adobe Inc. Techniques for capturing an image within the context of a document
CN110971930B (zh) * 2019-12-19 2023-03-10 广州酷狗计算机科技有限公司 虚拟形象直播的方法、装置、终端及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO943269D0 (no) * 1994-09-02 1994-09-02 Vingmed Sound As Fremgangsmåte for analyse og måling av ultralydsignaler
US5720708A (en) * 1997-01-02 1998-02-24 Mayo Foundation For Medical Education And Research High frame rate imaging with limited diffraction beams
JPH10277030A (ja) * 1997-04-09 1998-10-20 Aloka Co Ltd 超音波診断装置
JP3957816B2 (ja) * 1997-06-05 2007-08-15 富士通株式会社 フレーム間補間画像処理装置
US5873830A (en) * 1997-08-22 1999-02-23 Acuson Corporation Ultrasound imaging system and method for improving resolution and operation
JP3218216B2 (ja) * 1998-03-20 2001-10-15 アロカ株式会社 三次元画像処理装置
US6162174A (en) * 1998-09-16 2000-12-19 Siemens Medical Systems, Inc. Method for compensating for object movement in ultrasound images
US6352507B1 (en) * 1999-08-23 2002-03-05 G.E. Vingmed Ultrasound As Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging
US6618493B1 (en) * 1999-11-26 2003-09-09 Ge Medical Systems Global Technology Company, Llc Method and apparatus for visualization of motion in ultrasound flow imaging using packet data acquisition
US7099511B2 (en) * 2000-03-14 2006-08-29 Monolith Co., Ltd. Method and apparatus for coding and decoding image data using critical points
KR100355718B1 (ko) * 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6468216B1 (en) * 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
KR100426396B1 (ko) * 2000-11-28 2004-04-08 김종찬 3차원 영상처리방법을 이용한 가상 내시경 방법

Also Published As

Publication number Publication date
US20030231178A1 (en) 2003-12-18
EP1372001A2 (en) 2003-12-17
EP1372001B1 (en) 2008-01-23
US6950112B2 (en) 2005-09-27
JP2004041722A (ja) 2004-02-12
DE60318770T2 (de) 2009-01-22
DE60318770D1 (de) 2008-03-13
ATE384961T1 (de) 2008-02-15
KR100478165B1 (ko) 2005-03-23
EP1372001A3 (en) 2005-02-09

Similar Documents

Publication Publication Date Title
KR100221388B1 (ko) 초음파 화상 처리방법 및 초음파 진단 장치
JP6147489B2 (ja) 超音波画像形成システム
KR100949059B1 (ko) 초음파 영상을 형성하는 초음파 시스템 및 방법
JP2012045065A (ja) 超音波画像処理装置
KR20110064852A (ko) 부 관심영역에 기초하여 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
KR100905244B1 (ko) 초음파 영상을 디스플레이 하기 위한 장치 및 방법
CN103315769A (zh) 超声波诊断装置、图像处理装置以及图像处理方法
JP2007313311A (ja) 超音波映像をディスプレイする装置及び方法
JPH0352034B2 (ko)
KR100478165B1 (ko) 3 차원 동영상 형성 방법 및 장치
KR100923431B1 (ko) 초음파 영상의 디스플레이 장치 및 방법
CN110290285A (zh) 图像处理方法、图像处理装置、图像处理系统及介质
CN104114094B (zh) 超声波诊断装置
KR101300646B1 (ko) 3차원 초음파 영상 처리 장치 및 방법
US20070197910A1 (en) Apparatus and method for displaying an ultrasound image
KR101120776B1 (ko) 공간합성에서 최적화된 리샘플러가 적용된 초음파영상진단장치 및 초음파영상의 최적화된 리샘플링 방법
JP2006000338A (ja) 画像処理方法および装置並びにプログラム
JP7471853B2 (ja) 超音波診断装置、超音波プローブ、及び制御プログラム
JP6793074B2 (ja) 超音波画像処理装置
JP2010011904A (ja) 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム
JP5950291B1 (ja) 超音波診断装置及びプログラム
JP2002238890A (ja) 超音波診断装置
JPH03277357A (ja) 超音波診断装置
JP3510231B2 (ja) 超音波診断装置
JP5626986B2 (ja) 超音波診断装置及びその制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121217

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131211

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160302

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 16