KR20070003206A - 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 - Google Patents

계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 Download PDF

Info

Publication number
KR20070003206A
KR20070003206A KR1020050058972A KR20050058972A KR20070003206A KR 20070003206 A KR20070003206 A KR 20070003206A KR 1020050058972 A KR1020050058972 A KR 1020050058972A KR 20050058972 A KR20050058972 A KR 20050058972A KR 20070003206 A KR20070003206 A KR 20070003206A
Authority
KR
South Korea
Prior art keywords
image
motion estimation
motion
block
images
Prior art date
Application number
KR1020050058972A
Other languages
English (en)
Other versions
KR100869497B1 (ko
Inventor
김백섭
김종대
신동국
신성철
Original Assignee
주식회사 메디슨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디슨 filed Critical 주식회사 메디슨
Priority to KR1020050058972A priority Critical patent/KR100869497B1/ko
Priority to EP06013450A priority patent/EP1739623A1/en
Priority to US11/477,653 priority patent/US20070036408A1/en
Priority to JP2006182400A priority patent/JP2007007426A/ja
Publication of KR20070003206A publication Critical patent/KR20070003206A/ko
Application granted granted Critical
Publication of KR100869497B1 publication Critical patent/KR100869497B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/5206—Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065—Compound scan display, e.g. panoramic imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 계층적 움직임 추정방법을 적용한 초음파 영상장치에 관한 것으로, 제1 및 제2 초음파 입력영상을 적어도 하나 이상의 계층적인 다중 레벨의 해상도를 가지는 영상으로 각각 분할하는 영상 분할수단과, 제2 입력영상으로부터 분할된 영상 중 가장 낮은 레벨의 해상도를 가지는 영상을 적어도 하나 이상의 움직임 추정영역으로 분할하여 특징점을 추출하는 특징점 추출수단과, 움직임 추정영역 내에서 추출된 특징점 중 하나의 특징점을 선택하며 이 특징점을 중심으로 소정 크기의 블록을 배치하는 블록 배치수단과, 제1 영상과 정합하여 블록의 국소 움직임을 각각 추정하며 움직임 추정영역의 전역 움직임을 예측하는 움직임 예측수단을 포함하는 초음파 영상장치를 제공한다.
초음파, 다해상도, 특징점, 국소 움직임추정, 전역 움직임추정

Description

계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치{Hierarchical Motion Estimating Method and Ultrasound Image Display Device Using the Same}
도 1은 본 발명에 의한 계층적 움직임 추정방법을 개략적으로 도시하는 흐름도이다.
도 2a는 도 1의 다해상도 영상분할구조를 개략적으로 나타낸 것이다.
도 2b는 도 2a의 맵핑구조를 개략적으로 나타낸 것이다.
도 3a는 x축 에지 검출 매트릭스를 나타낸 것이다.
도 3b는 y축 에지 검출 매트릭스를 나타낸 것이다.
도 4는 본 발명에 의한 계층적 움직임 추정방법을 적용한 초음파 영상장치의 구성을 개략적으로 나타낸 것이다.
도 5는 본 발명에 의한 계층적 움직임 추정방법에서 블록 배치단계를 예시한 초음파 영상사진이다.
도 6은 본 발명에 의한 계층적 움직임 추정방법에서 영상 합성단계의 영상을 예시한 초음파 영상사진이다.
본 발명은 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치에 관한 것으로, 특히 연속 초음파 영상으로부터 실시간으로 보다 더 정확한 움직임을 추정하기 위한 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치에 관한 것이다.
일반적으로, 영상의 집합 또는 동영상으로부터 파노라마 영상을 얻는 방법은 동영상 압축이나 영상 검색 등 다양한 분야에서 연구되어 왔다.
한편, 초음파 영상을 통한 진료분야가 확대됨에 따라 동영상으로부터 파노라마 기술을 이용하여 넓은 시야(field of view)의 영상을 구하는 기술에 대한 요구가 늘어나고 있다.
파노라마 영상을 얻기 위해서는 연속적인 영상들의 정확한 움직임 예측이 중요하다. 이러한 움직임 예측을 위한 기법으로는 그래디언트 테크닉(Gradient Techniques), 펠-리커시브 테크닉(Pel-recursive Techniques), 블록 정합법(Block Matching Techniques) 등이 있다. 그래디언트 테크닉 및 펠-리커시브 테크닉은 복잡하고 움직임 정보를 위해 모든 픽셀에 대해 움직임을 추정해야 하므로 계산량이 많아 블록 정합법이 가장 많이 사용된다.
블록 정합법으로 움직임을 예측할 때, 블록 배치와 블록의 크기가 성능에 중요한 영향을 준다. 블록의 배치는 전역 움직임 요소의 예측 분산에 영향을 주며, 블록의 크기는 계산량에 많은 영향을 준다.
전역 움직임을 예측하기 위하여 움직임 영역 내에 블록을 분산 배치하는 것이 중요하기는 하지만, 특징이 뚜렷한 영역에서 움직임 추정이 정확하기 때문에 규 칙적으로 배치할 경우 특징 영역이 포함되도록 블록을 크게 해야 하므로 계산량이 증가하게 되는 문제점이 있다.
또한, 초음파 영상은 찍고자 하는 부위로 초음파를 내보낸 후, 반사되는 초음파를 분석하여 얻는 영상이다. 하지만, 반사되는 음파는 반사되는 매질과 기타 이유 때문에 위상(phase) 변화가 일어나며 획득한 영상은 스펙클 노이즈(speckle noise)가 나타난다. 이 스펙클 노이즈는 영상의 화질을 떨어뜨릴 뿐 아니라, 보고자 하는 신체기관과 배경과 경계 등의 중요한 형태적 정확성을 떨어뜨리는 문제점이 있다.
더 나아가, 영상을 연속해서 취득할 경우 각 영상은 여러 가지 변형을 겪기 때문에 각 영상 전체를 조합하는 것은 부정확하거나 흐려질 수 있으며, 두 개의 전체 영상이 한 평면을 이룬다는 것도 가정하기 힘든 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 연속 초음파 영상을 처리하기 위한 계산량을 줄이며 전역 움직임의 오차를 줄임으로써, 실시간으로 보다 더 정확하며 연속적인 초음파 영상을 디스플레이하는 계층적 움직임 추정방법을 제공하는 데 있다.
또한, 계층적 움직임 추정방법을 적용한 초음파 영상장치를 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 의한 계층적 움직임 추 정방법은 제1 및 제2 입력영상을 적어도 하나 이상의 계층적인 다중 레벨의 해상도를 가지는 영상으로 각각 분할하는 단계와, 상기 제2 입력영상으로부터 분할된 상기 영상 중 임의의 레벨의 해상도를 가지는 임의의 영상을 적어도 하나 이상의 움직임 추정영역으로 분할하여 특징점을 추출하는 단계와, 상기 움직임 추정영역 내에서 상기 추출된 특징점 중 하나의 특징점을 선택하며 상기 특징점을 중심으로 소정 크기의 블록을 배치하는 단계와, 상기 제1 영상과 정합하여 상기 블록의 국소 움직임을 각각 추정하며 상기 움직임 추정영역의 전역 움직임을 예측하는 단계를 포함한다.
바람직하게, 상기 블록은 상기 영상에서 소정의 거리로 각각 이격되어 배치된다. 상기 계층적인 다중 레벨의 영상으로 분할하는 수학식은 다음과 같으며,
Figure 112005035702107-PAT00001
이며, 여기서,
Figure 112005035702107-PAT00002
는 k 레벨의 영상의 (i,j) 위치의 픽셀이며, i,j(i,j = 0,..,2k-1)는 픽셀 좌표이다. 상기 특징점을 가장 낮은 해상도를 가지는 영상에서 추출한다. 상기 특징점을 추출하는 수학식은 다음과 같으며,
Figure 112005035702107-PAT00003
이며,
Figure 112005035702107-PAT00004
이며, k는 가중치이며, Ix 는 x축 방향으로의 기울기 크기이며, Iy 는 y축 방향으로의 기울기 크기이다. 상기 입력 영상은 초음파 영상이다. 상기 제1 및 제2 입력 영상은 시간적으로 인접하는 영상이다.
본 발명의 다른 실시예에 의한 초음파 영상장치는 제1 및 제2 초음파 입력영상을 적어도 하나 이상의 계층적인 다중 레벨의 해상도를 가지는 영상으로 각각 분할하는 영상 분할수단과, 상기 제2 입력영상으로부터 분할된 상기 영상 중 임의의 레벨의 해상도를 가지는 임의의 영상을 적어도 하나 이상의 움직임 추정영역으로 분할하여 특징점을 추출하는 특징점 추출수단과, 상기 움직임 추정영역 내에서 상기 추출된 특징점 중 하나의 특징점을 선택하며 상기 특징점을 중심으로 소정 크기의 블록을 배치하는 블록 배치수단과, 상기 제1 영상과 정합하여 상기 블록의 국소 움직임을 각각 추정하며 상기 움직임 추정영역의 전역 움직임을 예측하는 움직임 예측수단을 포함한다.
바람직하게, 상기 블록은 상기 영상에서 소정의 거리로 각각 이격되어 배치된다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 1은 본 발명에 의한 계층적 움직임 추정방법을 개략적으로 도시하는 흐름도이며, 도 2a는 도 1의 다해상도 영상분할구조를 개략적으로 나타낸 것이고, 도 2b는 도 2a의 맵핑구조를 개략적으로 나타낸 것이다.
도 1, 도 2a 및 도 2b를 참조하면, 본 실시예에 의한 계층적 움직임 추정방법은 초음파 입력영상 분할단계(S110)와, 특징점 추출단계(S120)와, 블록 배치단계(S130), 국소 움직임 추정단계(S140)와, 전역 움직임 추정단계(S150)와, 영상 합성 단계(S160)을 포한다.
초음파 입력영상 분할단계(S110)에서는 시간적으로 인접하는 제1 및 제2 입력영상을 적어도 하나 이상의 계층적인 다중 레벨의 해상도를 가지는 영상으로 각각 분할한다. 제1 및 제2 입력영상은 시간적으로 인접한 영상이며, 제1 입력영상은 과거영상이며 제2 입력영상은 현재영상이다.
본 실시예에서는 다음의 수학식 1에 의하여 입력영상을 다중레벨의 해상도를 가지는 영상으로 계층분할한다.
Figure 112005035702107-PAT00005
이며,
여기서,
Figure 112005035702107-PAT00006
는 k 레벨의 영상의 (i,j) 위치의 픽셀이며, i,j(단, i,j = 0,..,2k-1)는 픽셀 좌표이다.
수학식 1에 의한 다해상도 영상분할구조가 도 2a에 예시되어 있다.
2k X 2k (k = 0,..,n-1) 크기의 영상 중에서, 구조적으로 최하위 영상인 2n X 2n 크기의 영상은 계층적으로 다중레벨의 해상도를 가지도록 분할하는 영상분할의 기초가 되는 원영상(original image)이며, 이후 원영상을 기초로 상향식 방식(bottom-up)으로 영상을 생성한다. 다시 말해, k 레벨의 픽셀 fk(i,j) 는 k+1 레벨 에서 인접하는 네 개의 픽셀 fk+1(2i,2j), fk+1(2i,2j+1), fk+1(2i+1,2j) 및 fk+1(2i+1,2j+1)에 의해서 생성된다.
수학식 1에서 알 수 있는 바와 같이, 이전 레벨에서 다음 레벨로의 맵핑함수가 저역통과필터 역할을 하므로 고주파 성분은 억제된다. 따라서, 초음파 입력영상에서 스펙클 노이즈(speckle noise)를 감쇄시킬 수 있다.
특징점 추출단계(S120)에서는, 제2 입력영상으로부터 분할된 영상 중 임의의 레벨의 해상도를 가지는 임의의 영상을 적어도 하나 이상의 움직임 추정영역으로 분할하여 특징점을 추출한다.
바람직하게는 제2 입력영상으로부터 분할된 영상 중 가장 낮은 해상도를 가지는 영상으로부터 특징점을 추출한다. 앞서 언급한 바와 같이, 가장 낮은 해상도를 가지는 영상으로부터 특징점을 추출함으로써, 초음파 입력영상으로부터 스펙클 노이즈를 줄여 보다 더 정확하게 특징점을 추출할 수 있으며 처리 시간을 줄일 수 있다.
본 실시예에서는 해리스-스테판 코너 검출방법(Harris & Stephen corner detection), 즉, 다음의 수학식 2에 의하여 움직임 추정영역으로부터 특징점을 추출한다.
Figure 112005035702107-PAT00007
이며,
Figure 112005035702107-PAT00008
이며, k는 가중치이며, Ix 는 x축 방향으로의 기울기 크기이며, Iy 는 y축 방향으로의 기울기 크기이다. 여기서, k는 0.04 값을 사용한다.
즉, 9X9 커넬(kernel) 에지 검출 매트릭스를 이용하여 가로방향과 세로방향의 기울기(gradient)를 계산한 후, 각 픽셀의 기울기 크기(magnitude)를 구하여 매트릭스 연산을 통해 코너값을 구해 해당하는 움직임 추정영역으로부터 기울기 크기의 코너값이 가장 큰 픽셀을 특징점으로 선택한다.
여기서, 해리스-스테판 코너검출방법은 x축 및 y축 양방향으로 기울기 크기가 모두 큰 값을 검출한다. 즉, G(i,j)는 (i,j)위치에 있는 픽셀의 코너값을 해리스-스테판 코너 검출 방법으로 계산한 것이다. 9X9 커넬 에지 검출 매트릭스를 이용하여 구한 x축 과 y축 방향의 기울기가 모두 큰 값을 가질 때 높은 값을 가진다. 그러므로, x축 또는 y축 방향 중 한 방향으로의 기울기가 큰 값이 특징점으로 추출되어 움직임 추정의 정확도가 낮아지는 문제점을 해결할 수 있다.
x축과 y축 방향 기울기를 구하기 위한 9X9 커넬 에지 검출 매트릭스는 후속하는 도 3a 및 3b를 참조하여 상술한다.
블록 배치단계(S130)에서는, 움직임 추정영역 내에서 추출된 특징점 중 하나의 특징점을 선택하며, 이 선택된 특징점을 중심으로 소정 크기의 블록을 배치한다.
블록은 인접하는 다른 움직임 추정영역에서 동일한 방법으로 배치된 블록과 중접되지 않게 소정 거리 이격하여 배치하는 것이 바람직한데, 이는 블록배치가 한 곳으로 편중되어 전역 움직임 추정에 오차가 발생하는 것을 억제할 수 있기 때문이다.
한편, 해리스-스테판 코너검출방법에 의해 계산한 각 픽셀의 코너값 중에서 한 블록내에서 코너값이 가장 큰 픽셀을 특징점으로 선택하며, 다음의 수학식 3에 의하여 가장 큰 코너값{FP(Feature Position)}을 특징값으로 정한다.
Figure 112005035702107-PAT00009
국소 움직임 추정단계(S140)에서는, 제1 영상과 정합하여 블록의 국소 움직임을 각각 추정한다.
본 실시예에서는 블록 정합법(Block Matching)에 의하여 제2 영상의 블록을 제1 영상의 어디에 위치하는지 추정하여 블록의 움직임을 추정하는데, 정합블록의 움직임은 SAD(Sum Absolute Difference)를 구하여 가장 작은 SAD를 가진 곳과 정합한다고 간주한다. 여기서, SAD는 픽셀 값 사이의 절대적 차의 합을 의미한다. 즉, 블록 정합은 특징점을 중심으로 하는 블록이 제1 영상의 어떤 블록과 가장 잘 장합되는가를 찾는 방법이며, 그 정합 정도의 판정기준으로 SAD를 사용한다. 여기서, 움직임 추정방법으로서 특별히 블록 정합법으로 한정되지 아니하며, 광학 흐름법(optical flow) 등의 다양한 방법을 사용할 수 있음은 물론이다.
한편, 일반적으로 연속 초음파 영상에서는 특성상 가로축 움직임이 크기 때 문에 세로축 범위보다 상대적으로 가로축 범위를 크게 설정하고, 연속적인 영상들 사이의 움직임을 충분히 수용할 수 있을 정도로 충분히 크게 검색 윈도우(search window)의 범위를 정하는 것이 바람직하다. 여기서, 검색 윈도우는 제2 영상에서 특징점을 기준으로 하는 블록이 제1 영상에서 어떤 블록과 가장 정합이 잘 되는지를 탐색하는 과정에서 어떤 범위까지를 탐색할지를 결정한다. 즉, 모든 영역에 대해 전부 탐색할 수는 없으므로 탐색할 영역에 제한을 두는 것을 의미한다.
다른 움직임 추정영역에서도 특징점을 중심으로 배치된 각각의 블록들에 대해 국소 움직임을 동일하게 추정한다.
상술한 바와 같이, 본 실시예에 의한 국소 움직임 추정은 가장 낮은 해상도를 가지는 영상을 전제로 한 것이므로, 영상분할의 기초가 된 원영상보다 상대적으로 작은 검색 윈도우로도 정확도를 유지할 수 있으며 계산량을 줄일 수 있다.
전역 움직임 예측단계(S150)에서는, 앞서 추정된 국소 움직임을 이용하여 움직임 추정영역의 전역 움직임을 예측한다.
영상 합성단계(S160)에서는, 전역 움직임을 추정한 이후 영상을 연속적으로 붙여 하나의 파노라마 이미지를 생성한다.
영상합성에는 이미지 그로잉(Image Growing) 방법, 순환공간 합성 및 램프 합성(Recursive Spatial Compounding and Ramp Compounding) 방법 등이 있다. 주지하는 바와 같이, 이미지 그로잉 방법에서는 새롭게 추가되는 픽셀만을 추가하며 순환공간 합성 및 램프 합성은 이전 이미지(과거 이미지)와 현 이미지(새로운 이미지)의 중첩된 영역을 그 위치에 따라 서로 다른 비율로 영상을 조합한다.
본 실시예에서는 회전각도를 추정하여 합성영역의 회전중심을 수정하며, 새로운 영상과 중간 파노라마 영상과의 불연속성을 줄이기 위해 프레임 평균(frame average) 방법을 사용한다.
도 3a는 x축 에지 검출 매트릭스를 나타낸 것이며, 도 3b는 y축 에지 검출 매트릭스를 나타낸 것이다.
도 3a 및 3b를 참조하면, 특징점을 추출하기 위한 해리스-스테판 코너 검출방법에 있어서, x축 방향으로의 기울기 크기 Ix 와 y축 방향으로의 기울기 크기 Iy 를 각각 구하기 위한 9X9 매트릭스가 도시되어 있다.
도 4는 본 발명에 의한 계층적 움직임 추정방법을 적용한 초음파 영상장치의 구성을 개략적으로 나타낸 것이다.
도 4를 참조하면, 초음파 영상장치(400)는 영상분할 수단(410), 특징점 추출수단(420), 블록 배치수단(430), 움직임 예측수단(440), 영상 합성수단(450) 및 디스플레이 수단(460)을 포함한다.
영상분할 수단(410)은 제1 및 제2 초음파 입력영상을 적어도 하나 이상의 계층적인 다중레벨의 해상도를 가지는 영상으로 각각 분할한다.
특징점 추출수단(420)은 제2 입력영상으로부터 분할된 영상 중 임의의 레벨의 해상도를 가지는 임의의 영상을 적어도 하나 이상의 움직임 추정영역으로 분할하여 특징점을 추출한다. 바람직하게는 분할된 영상 중 가장 낮은 해상도를 가지는 영상으로부터 특징점을 추출한다.
블록 배치수단(430)은 움직임 추정영역 내에서 추출된 특징점 중 하나의 특징점을 선택하며 이 특징점을 중심으로 소정 크기의 블록을 배치한다. 바람직하게는 블록의 배치는 상호간에 중첩되지 않는다.
움직임 예측수단(440)은 제1 영상과 정합하여 블록의 국소 움직임을 각각 추정하여 움직임 추정영역의 전역 움직임을 예측한다.
영상 합성수단(450)은 전역 움직임을 예측한 후 영상을 연속적으로 합성하여 하나의 파노라마 영상을 생성한다. 배치된 영상들의 많은 부분이 중첩되어 이 중첩 영역의 화소는 다수의 영상 밝기 정보가 존재하며, 이들의 적절한 조합을 통해서 영상이 흠 없이 연결되도록 한다.
디스플레이 수단(460)은 일반적인 초음파 진단기기의 디스플레이를 사용할 수 있으며, 구체적으로는 프레임 버퍼에 합성된 영상을 전달하여 모니터에 표시한다.
도 5는 본 발명에 의한 계층적 움직임 추정방법에서 블록 배치단계를 예시한 초음파 영상사진이다.
도 5를 참조하면, 움직임 추정영역(510) 내에 하나의 특징점(520)이 존재하며, 이 특징점(520)을 중심으로 블록(530)이 배치되어 있음을 알 수 있다. 또한, 블록(530)은 상호간에 중첩되지 않게 배치되어 있음을 알 수 있다.
즉, 블록(530)의 배치는 전역 움직임 요소의 예측분산에 영향을 주게 되므로 중첩되지 않게 분산시켜 배치하는 것이 바람직하며, 이러한 배치로 인하여 작은 크기의 블록으로도 전역 움직임추정의 정확도는 유지하면서 처리 시간을 단축할 수 있다.
도 6은 본 발명에 의한 계층적 움직임 추정방법에서 영상 합성단계의 영상을 예시한 초음파 영상사진이다.
도 6을 참조하면, 영상합성단계에서는 영상 조합, 회전중심수정, 연속성유지 등의 과정을 포함한다.
영상 조합과정에서는, 영상을 합성할 때 각 영상 전체를 조합하지 않고 각 영상의 좁은 부분만을 조합한다.
회전중심수정과정(A)에서는, 본 도에 예시된 바와 같은 피부를 따라 스캔된 초음파 영상에서 합성될 영상의 중심에서 합성될 영상의 스킨 부분의 오른쪽(또는 왼쪽)으로 수정한다.
기준 프레임(reference frame)을 기준으로 왼쪽으로 합성하는 경우 합성될 영역의 우-상(right-top) 위치(620)를 회전 중심으로 한다(610 -> 620).
연속성유지과정(B)에서는, 추정된 x축 움직임만큼 이동한 후(B1), 이 위치에서 스킨부분의 위치를 찾아 y축 움직임만큼 이동한 후(B2), 이 위치에서 회전하여 이전 영상 또는 중간 파노라마 영상과 합성한다(B3).
한편, 이미지 그로잉 방법을 사용할 경우, 합성된 영상의 연속성이 떨어지므로 연속성을 높이기 위해서 겹쳐지는 영역을 다음의 수학식 4에 의하여 프레임을 평균하여 연속성을 높일 수 있다.
Figure 112005035702107-PAT00010
이며,
여기서, G와 I는 각각 파노라마 영상과 초음파 영상이며, x와 y는 좌표이며, t는 프레임 번호이다.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.
상술한 바와 같이, 본 발명에 의하면, 움직임 추정영역을 여러구간으로 나누고 각 구간 내에서 특징점을 중심으로 블록 배치함으로써, 작은 크기의 블록으로도 특징영역이 포함되어 정확도는 유지하면서 처리시간을 단축할 수 있는 효과가 있다.
또한, 다해상도 영상을 사용하여 특징점을 추출함으로써, 스페클 노이즈에 따른 오류와 추출처리속도를 줄이며 움직임 추정처리에서 저해상도의 움직임 추정을 이용하여 근사 과정을 통해, 처리 시간을 줄일 수 있는 효과가 있다.

Claims (9)

  1. 제1 및 제2 입력영상을 적어도 하나 이상의 계층적인 다중 레벨의 해상도를 가지는 영상으로 각각 분할하는 단계와,
    상기 제2 입력영상으로부터 분할된 상기 영상 중 임의의 레벨의 해상도를 가지는 임의의 영상을 적어도 하나 이상의 움직임 추정영역으로 분할하여 특징점을 추출하는 단계와,
    상기 움직임 추정영역 내에서 상기 추출된 특징점 중 하나의 특징점을 선택하며 상기 특징점을 중심으로 소정 크기의 블록을 배치하는 단계와,
    상기 제1 영상과 정합하여 상기 블록의 국소 움직임을 각각 추정하며 상기 움직임 추정영역의 전역 움직임을 예측하는 단계를 포함하는 계층적 움직임 추정방법.
  2. 제 1 항에 있어서,
    상기 블록은 상기 영상에서 소정의 거리로 각각 이격되어 배치되는 계층적 움직임 추정방법.
  3. 제 1 항에 있어서,
    상기 계층적인 다중 레벨의 영상으로 분할하는 수학식은 다음과 같으며,
    Figure 112005035702107-PAT00011
    여기서,
    Figure 112005035702107-PAT00012
    는 k 레벨의 영상의 (i,j) 위치의 픽셀이며, i,j(i,j = 0,..,2k-1)는 픽셀 좌표인 계층적 움직임 추정방법.
  4. 제 1 항에 있어서,
    상기 특징점을 가장 낮은 해상도를 가지는 영상에서 추출하는 계층적 움직임 추정방법.
  5. 제 1 항에 있어서,
    상기 특징점을 추출하는 수학식은 다음과 같으며,
    Figure 112005035702107-PAT00013
    이며,
    Figure 112005035702107-PAT00014
    이며, k는 가중치이며, Ix 는 x축 방향으로의 기울기 크기이며, Iy 는 y축 방향으로의 기울기 크기인 계층적 움직임 추정방법.
  6. 제 1 항에 있어서,
    상기 입력 영상은 초음파 영상인 계층적 움직임 추정방법.
  7. 제 1 항에 있어서,
    상기 제1 및 제2 입력영상은 시간적으로 인접하는 영상인 계층적 움직임 추정방법.
  8. 제1 및 제2 초음파 입력영상을 적어도 하나 이상의 계층적인 다중 레벨의 해상도를 가지는 영상으로 각각 분할하는 영상 분할수단과,
    상기 제2 입력영상으로부터 분할된 상기 영상 중 임의의 레벨의 해상도를 가지는 임의의 영상을 적어도 하나 이상의 움직임 추정영역으로 분할하여 특징점을 추출하는 특징점 추출수단과,
    상기 움직임 추정영역 내에서 상기 추출된 특징점 중 하나의 특징점을 선택하며 상기 특징점을 중심으로 소정 크기의 블록을 배치하는 블록 배치수단과,
    상기 제1 영상과 정합하여 상기 블록의 국소 움직임을 각각 추정하며 상기 움직임 추정영역의 전역 움직임을 예측하는 움직임 예측수단을 포함하는 초음파 영상장치.
  9. 제 8 항에 있어서,
    상기 블록은 상기 영상에서 소정의 거리로 각각 이격되어 배치되는 초음파 영상장치.
KR1020050058972A 2005-07-01 2005-07-01 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 KR100869497B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020050058972A KR100869497B1 (ko) 2005-07-01 2005-07-01 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치
EP06013450A EP1739623A1 (en) 2005-07-01 2006-06-29 Hierarchical motion estimation method and ultrasound imaging system using the same
US11/477,653 US20070036408A1 (en) 2005-07-01 2006-06-30 Hierarchical motion estimation method and ultrasound imaging system using the same
JP2006182400A JP2007007426A (ja) 2005-07-01 2006-06-30 階層的な動き推定方法及びこれを適用した超音波映像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050058972A KR100869497B1 (ko) 2005-07-01 2005-07-01 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치

Publications (2)

Publication Number Publication Date
KR20070003206A true KR20070003206A (ko) 2007-01-05
KR100869497B1 KR100869497B1 (ko) 2008-11-21

Family

ID=37012055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050058972A KR100869497B1 (ko) 2005-07-01 2005-07-01 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치

Country Status (4)

Country Link
US (1) US20070036408A1 (ko)
EP (1) EP1739623A1 (ko)
JP (1) JP2007007426A (ko)
KR (1) KR100869497B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024525A2 (ko) * 2008-08-29 2010-03-04 Kim Jin Woo 비행 시스템 및 그 제어 방법
KR100946710B1 (ko) * 2007-10-24 2010-03-12 주식회사 메디슨 초음파 영상 처리 시스템 및 방법
KR101140934B1 (ko) * 2010-08-05 2012-05-03 삼성전기주식회사 초음파 영상의 음속도 추정 방법 및 이를 적용한 초음파 진단 장치
KR101232021B1 (ko) * 2010-11-29 2013-02-08 삼성메디슨 주식회사 움직임 추정에 기초하여 프레임 평균 처리를 수행하는 초음파 시스템 및 방법
US9058063B2 (en) 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5139716B2 (ja) * 2007-05-16 2013-02-06 キヤノン株式会社 画像検索装置及び画像検索方法
JP5002397B2 (ja) 2007-09-28 2012-08-15 株式会社東芝 超音波診断装置及びプログラム
JP4497216B2 (ja) * 2008-03-03 2010-07-07 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
KR20100000671A (ko) * 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법
CN101711686B (zh) * 2008-10-07 2013-04-24 深圳迈瑞生物医疗电子股份有限公司 一种实时空间复合成像方法和系统、及其超声成像系统
KR101268520B1 (ko) * 2009-12-14 2013-06-04 한국전자통신연구원 영상 인식 장치 및 방법
TWI506595B (zh) 2011-01-11 2015-11-01 Altek Corp 全景影像產生方法及裝置
KR101880634B1 (ko) 2011-08-09 2018-08-16 삼성전자주식회사 3차원 볼륨 파노라마 영상 생성 방법 및 장치
TWI446897B (zh) * 2011-08-19 2014-08-01 Ind Tech Res Inst 超音波影像對齊裝置及其方法
US9305362B1 (en) * 2014-02-28 2016-04-05 Xilinx, Inc. Image stabilization
KR101550665B1 (ko) 2014-03-27 2015-09-07 서강대학교산학협력단 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법
CN105872310B (zh) * 2016-04-20 2020-03-17 上海联影医疗科技有限公司 可移动成像设备的图像运动检测方法及图像降噪方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960028481A (ko) * 1994-12-29 1996-07-22 배순훈 움직임 추정 장치
ZA962305B (en) * 1995-03-22 1996-09-27 Idt Deutschland Gmbh Method and apparatus for coordination of motion determination over multiple frames
US5782766A (en) * 1995-03-31 1998-07-21 Siemens Medical Systems, Inc. Method and apparatus for generating and displaying panoramic ultrasound images
US5575286A (en) * 1995-03-31 1996-11-19 Siemens Medical Systems, Inc. Method and apparatus for generating large compound ultrasound image
JP3406785B2 (ja) * 1996-09-26 2003-05-12 株式会社東芝 心機能解析支援装置
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US6788802B2 (en) * 1998-05-21 2004-09-07 Sanyo Electric Co., Ltd. Optical flow estimation method and image synthesis method
EP1042918A1 (en) * 1998-08-05 2000-10-11 Koninklijke Philips Electronics N.V. Static image generation method and device
US6210328B1 (en) * 1998-10-01 2001-04-03 Atl Ultrasound Ultrasonic diagnostic imaging system with variable spatial compounding
US6159152A (en) * 1998-10-26 2000-12-12 Acuson Corporation Medical diagnostic ultrasound system and method for multiple image registration
JP3469122B2 (ja) * 1999-03-10 2003-11-25 日本電信電話株式会社 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
US6442289B1 (en) * 1999-06-30 2002-08-27 Koninklijke Philips Electronics N.V. Extended field of view ultrasonic diagnostic imaging
US6238345B1 (en) * 1999-06-30 2001-05-29 Atl Ultrasound Image memory for extended field of view ultrasonic diagnostic imaging
WO2001041451A1 (en) * 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
US6416477B1 (en) * 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
JP2002230572A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd 映像効果方法と装置および画像補間方法と装置
JP4157686B2 (ja) * 2001-05-15 2008-10-01 株式会社モノリス 画像符号化および復号のための方法および装置
JP4704630B2 (ja) * 2001-09-14 2011-06-15 アロカ株式会社 超音波パノラマ画像形成装置
US7158680B2 (en) * 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
US7373012B2 (en) * 2005-02-01 2008-05-13 Mitsubishi Electric Research Laboratories, Inc. Detecting moving objects in videos with corner-based background model

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946710B1 (ko) * 2007-10-24 2010-03-12 주식회사 메디슨 초음파 영상 처리 시스템 및 방법
WO2010024525A2 (ko) * 2008-08-29 2010-03-04 Kim Jin Woo 비행 시스템 및 그 제어 방법
WO2010024525A3 (ko) * 2008-08-29 2010-04-29 Kim Jin Woo 비행 시스템 및 그 제어 방법
US9058063B2 (en) 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
KR101140934B1 (ko) * 2010-08-05 2012-05-03 삼성전기주식회사 초음파 영상의 음속도 추정 방법 및 이를 적용한 초음파 진단 장치
KR101232021B1 (ko) * 2010-11-29 2013-02-08 삼성메디슨 주식회사 움직임 추정에 기초하여 프레임 평균 처리를 수행하는 초음파 시스템 및 방법

Also Published As

Publication number Publication date
KR100869497B1 (ko) 2008-11-21
EP1739623A1 (en) 2007-01-03
US20070036408A1 (en) 2007-02-15
JP2007007426A (ja) 2007-01-18

Similar Documents

Publication Publication Date Title
KR100869497B1 (ko) 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치
US9667991B2 (en) Local constraints for motion matching
JP5594968B2 (ja) ビデオ画像間の運動を確定するための方法と装置
US8184200B1 (en) Picture rate conversion system for high definition video
US8315436B2 (en) Robust camera pan vector estimation using iterative center of mass
US8385418B2 (en) Dominant motion estimation for image sequence processing
US20180176574A1 (en) Method and system for video frame interpolation based on optical flow method
JP2002523985A (ja) 画像信号における問題領域位置決め
US8711938B2 (en) Methods and systems for motion estimation with nonlinear motion-field smoothing
JP2001285695A (ja) 移動体追尾方法及びその装置
KR19990077203A (ko) 이미지 세그멘테이션
KR20040105866A (ko) 움직임 추정 유닛 및 움직임 벡터 추정 방법
US8594199B2 (en) Apparatus and method for motion vector filtering based on local image segmentation and lattice maps
US20130235274A1 (en) Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method
US20080144716A1 (en) Method For Motion Vector Determination
US8787696B1 (en) Method and apparatus for replacing a block of pixels in a digital image frame to conceal an error associated with the block of pixels
JP5197374B2 (ja) 動き推定
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
Fan et al. Spatiotemporal segmentation based on two-dimensional spatiotemporal entropic thresholding
US20090324115A1 (en) Converting the frame rate of video streams
Biswas et al. Real time mixed model “true” motion measurement of television signal
Kimura et al. A study on motion estimation using block matching for spatially periodic patterns
Katsaggelos et al. Motion Estimation in Super Resolution

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130911

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151020

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161026

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171106

Year of fee payment: 10