KR102005326B1 - 영상 내 3차원 깊이정보 추출 방법 및 시스템 - Google Patents

영상 내 3차원 깊이정보 추출 방법 및 시스템 Download PDF

Info

Publication number
KR102005326B1
KR102005326B1 KR1020180135486A KR20180135486A KR102005326B1 KR 102005326 B1 KR102005326 B1 KR 102005326B1 KR 1020180135486 A KR1020180135486 A KR 1020180135486A KR 20180135486 A KR20180135486 A KR 20180135486A KR 102005326 B1 KR102005326 B1 KR 102005326B1
Authority
KR
South Korea
Prior art keywords
coordinate
center
weight
frame data
depth information
Prior art date
Application number
KR1020180135486A
Other languages
English (en)
Inventor
이상림
김형진
Original Assignee
길재소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 길재소프트 주식회사 filed Critical 길재소프트 주식회사
Priority to KR1020180135486A priority Critical patent/KR102005326B1/ko
Application granted granted Critical
Publication of KR102005326B1 publication Critical patent/KR102005326B1/ko
Priority to PCT/KR2019/014606 priority patent/WO2020096273A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 내 3차원 깊이정보 추출 방법을 개시한다. 보다 상세하게는, 초음파 영상장치 등으로부터 출력되는 2차원 초음파 영상이 갖는 특징에 따라 3차원 깊이정보를 추출하는 방법 및 시스템에 관한 것이다.
본 발명의 실시예에 따르면, 입체 초음파 진단 시스템의 3D로 렌더링된 태아 영상을 분석하여 3D 깊이정보를 생성함으로써, 임산부가 태아영상을 보는 위치에 따라 다른 태아영상을 볼 수 있는 3D 초음파 영상을 생성하는 데 이용할 수 있는 효과가 있다.

Description

영상 내 3차원 깊이정보 추출 방법 및 시스템{METHOD FOR ACQUIRING 3D DEPTH INFORMATION IN IMAGE AND SYSTEM THEREFOR}
본 발명은 영상 내 3차원 깊이정보 추출 방법에 관한 것으로, 초음파 영상장치 등으로부터 출력되는 입체 초음파 태아 영상이 갖는 특징에 따라 3차원 깊이정보를 추출하는 방법 및 시스템에 관한 것이다.
현재, 의료분야에서는 초음파를 이용한 진단 시스템이 널리 이용되고 있다. 초음파 진단 시스템은 장기와 같은 대상체에 초음파를 조사한 후 대상체로부터 돌아오는 반사파를 검출하고 처리하여 대상체에 대한 영상을 구성하여 제공하는 장치이다.
상세하게는, 공지의 입체 초음파 진단 시스템은 피검체의 체표로부터 체내의 소망 부위를 향하여 초음파 신호를 조사하고, 반사된 초음파 신호(초음파 에코신호)의 정보를 이용하여 연부조직의 단층이나 혈류에 관한 영상을 무침습으로 얻는 장치이다. 이 장치는 X선 진단장치, X선 CT스캐너 및 MRI 등의 다른 화상진단장치와 비교할 때, 소형이고 저렴하고, 실시간으로 표시 가능하며, X선 등의 피폭이 없어 안전성이 높은 장점이 있어 특히, 의료분야에서 심장, 복부, 비뇨기 및 산부인과 진단을 위해 널리 이용되고 있다.
일반적으로, 산부인과에서 입체 초음파 진단 시스템을 사용하여 임산부를 검사할 때, 태아의 얼굴을 3D로 렌더링한 영상을 초음파 진단 시스템의 모니터로 표시하게 된다.
그러나, 초음파 진단 시스템의 모니터는 3D로 렌더링한 태아 얼굴을 평면의 모니터로 표시함에 따라, 임산부가 바라보는 위치와는 상관없이 항상 같은 태아 얼굴을 표시하게 된다.
이러한 방식에 의하면, 현재 태아의 모습을 보다 현실감 있게 보고자 하는 임산부의 요구를 반영할 수 없다는 한계가 있다. 이에, 본 발명은 입체 초음파 진단 시스템에서 임산부가 바라보는 위치에 대응하여 태아의 영상을 표시할 수 있는 시스템은 제시하고자 한다.
등록특허공보 제10-1862543호(공고일자: 2018.07.06.)
본 발명은 전술한 한계를 해결하기 위해 안출된 것으로, 입체 초음파 진단 시스템의 3D로 렌더링된 태아 영상을 분석하여 3D 깊이정보를 추출함으로써 VR 기기 등을 통해 시청할 수 있는 입체감이 있는 3D 영상을 제작하는데 필요한 3D 깊이정보를 실시간으로 추출하는 데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 3D 깊이정보 추출 방법은, 깊이정보 추출 시스템에 의한 입체 영상을 이용한 3D 깊이정보 추출 방법에 있어서, 상기 입체 영상에 대한 프레임 데이터 및 ROI 정보를 입력받는 단계와, 상기 프레임 데이터 별 ROI 영역 내 휘도 성분을 검출하는 단계와, 임계치에 따라 프레임 데이터에 대한 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 단계와, 비선형 함수에 의한 가중치를 적용하여 밝기차가 제거된 프레임 데이터를 1차 보정하는 단계 및, 상기 1차 보정된 프레임 데이터를 상기 ROI 영역의 중심을 기준으로 거리 별 가중치를 적용하여 2차 보정하여 깊이정보를 생성하는 단계를 포함할 수 있다.
또한, 전술한 과제를 해결하기 위한 본 발명의 다른 양태의 실시예에 따른 3D 깊이정보 추출 시스템은, 영상에 대한 프레임 데이터 및 ROI 정보를 입력받고, 상기 프레임 데이터 별 ROI 영역 내 휘도 성분을 검출하는 휘도 검출부와, 상기 프레임 데이터에 대한 검출된 휘도 성분에 따른 히스토그램을 계산하는 히스토그램 계산부와, 임계치에 따라 상기 히스토그램을 이용하여 프레임 데이터에 대한 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 밝기차 제거부와, 비선형 함수에 의한 가중치를 적용하여 밝기차가 제거된 프레임 데이터를 1차 보정하는 제1 가중치 적용부와, 상기 1차 보정된 프레임 데이터를 상기 ROI 영역의 중심을 기준으로 거리 별 가중치를 적용하여 2차 보정하여 깊이정보를 생성하는 제2 가중치 적용부를 포함할 수 있다.
본 발명의 실시예에 따르면, 입체 초음파 진단 시스템의 3D로 렌더링된 태아 영상을 분석하여 3D 깊이정보를 생성함으로써 2D 영상만으로도 3D 초음파 영상을 생성하는 데 활용할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따르면, 상용화된 초음파 진단 시스템의 제조업체 또는 모델 등에 따른 영상 데이터의 획득 및 처리 등의 어려움을 극복하여 보다 용이하게 입체 영상을 구현할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따르면, 거치형 컴퓨팅 장치 등에 비해 상대적으로 성능이 낮은 VR 기기 및 모바일 기기 등에서도 실시간으로 입체 영상을 구현할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 영상 내 3차원 깊이정보 추출 방법의 적용 예를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 3차원 깊이정보 추출 시스템의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 3차원 깊이정보 추출 방법을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 3차원 깊이정보 추출 방법에서 비선형 함수를 이용한 가중치값을 설정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 3차원 깊이정보 추출 방법에서 공간적 가중치를 설정하는 방법을 설명하기 위한 도면이다.
설명에 앞서, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)", "...모듈(module)", "...장치(Device)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...모듈(Module)", "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 구동되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 영상 내 3차원 깊이정보 추출 방법 및 시스템을 설명한다.
도 1은 본 발명의 실시예에 따른 영상 내 3차원 깊이정보 추출 방법의 적용 예를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 영상 내 3차원 깊이정보 추출 방법에서는, 대상체에 대한 2차원 영상을 표시하는 초음파 시스템(1) 등의 영상출력단 출력되는 2차원 영상을 수신하여 분석을 통해 깊이정보를 추출하는 깊이정보 시스템에 의해 구현할 수 있다.
초음파 시스템(1)은 크게 대상체를 스캔하는 프로브(10) 및 스캔신호에 대응하는 영상을 생성하는 영상 생성부(20)를 포함할 수 있다.
프로브(10)는 전기적 신호를 초음파 신호로 변환하여 대상체에 전송하며, 대상체로부터 반사된 초음파 신호를 전기적 신호로 변환할 수 있다. 일반적으로 프로브(10)는 복수의 트랜스듀서 엘리먼트(transducer element)가 결합되어 형성될 수 있고, 트랜스듀서에 의해 초음파 신호가 대상체로 발사되면, 전파 매질 중에 음향 임피던스가 서로 다른 경계면이 존재할 경우 그 경계면에서 반사현상이 발생하게 된다. 이때, 신호의 일부는 투과하고 여러 경계면이 존재할 경우에는 에코는 순차적으로 반사되어 되돌아오게 된다. 반사되어 되돌아온 에코는 트랜스듀서의 압전자기에 압력을 가하게 되고, 이 에코 강도에 비례한 전계를 발생시켜 전기신호인 스캔신호로 변환하게 된다.
영성 생성부(20)는 다수의 스캔신호에 기초하여 다수의 2D 초음파 영상을 생성할 수 있다. 이러한 2D 초음파 영상은 복수의 프레임 데이터로 구성될 수 있고, 복수의 프레임 데이터는 각각 다수의 단일색 계조(Gray) 또는 삼원색 계조(RGB)의 화소로 이루어질 수 있다.
생성된 2D 초음파 영상은 초음파 시스템(1)의 영상출력단에 연결되는 소정의 디스플레이 장치를 통해 표시될 수 있다.
또한, 초음파 시스템(1)은 공지된 통신 프로토콜, 일 예로서 RSTP를 통해 2D 초음파 영상을 유, 무선으로 송출할 수 있고, 영상 처리 장치(50)는 RTSP 비디오 패킷 형태로 2D 초음파 영상을 수신할 수 있다.
영상 처리 장치(50)는 소정의 디코더 및 ROI 영역 설정기를 탑재할 수 있고, RTSP 비디오 패킷은 디코더에 의해 프레임 데이터로 복원될 수 있으며, 영상에 대한 ROI 영역이 설정될 수 있다.
그리고, 본 발명의 실시예에 따른 깊이정보 추출 시스템(100)은 영상 처리 장치(50)와 연결되어 2D 초음파 영상에 대한 프레임 데이터와, ROI 정보를 입력받아, 영상 내 영역간 밝기차를 제거하고, 화소별 가중치를 적용하여 깊이정보 데이터를 추출할 수 있다.
이러한 기능을 구현하기 위해, 깊이정보 추출 시스템(100)은 각 프레임 데이터의 휘도를 검출하여 히스토그램(histogram)을 생성하고, 임계치를 적용하여 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하여 영역별 밝기차를 제거하게 된다. 또한, 깊이정보 추출 시스템(100)은 밝기차가 제거된 프레임 데이터에 대하여 특정한 기준에 따른 가중치를 적용하여 영상에 대한 깊이정보를 생성할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 3차원 깊이정보 추출 시스템의 구조를 설명한다.
도 2는 본 발명의 실시예에 따른 3차원 깊이정보 추출 시스템의 구조를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 3차원 깊이정보 추출 시스템(100)은, 영상에 대한 프레임 데이터 및 ROI 정보를 입력받고, 프레임 데이터 별 ROI 영역 내 휘도 성분을 검출하는 휘도 검출부(110), RGB 값에 대한 휘도 성분이 정의된 휘도성분 테이블(120), 프레임 데이터에 대한 검출된 휘도 성분에 따른 히스토그램을 계산하는 히스토그램 계산부(130), 임계치에 따라 히스토그램을 이용하여 프레임 데이터에 대한 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 밝기차 제거부(140), 비선형 함수에 의한 가중치를 적용하여 밝기차가 제거된 프레임 데이터를 1차 보정하는 제1 가중치 적용부(150) 및, 1차 보정된 프레임 데이터를 ROI 영역의 중심을 기준으로 거리 별 가중치를 적용하여 2차 보정하여 깊이정보를 생성하는 제2 가중치 적용부(160)를 포함할 수 있다.
휘도 검출부(110)는, 외부로부터 2D 초음파 영상의 디코딩에 의해 획득한 프레임 데이터(frame_data) 및 ROI 정보(ROI_info)를 이용하여 영상의 ROI 영역에 대한 휘도 성분을 검출할 수 있다.
이를 위해, 휘도 검출부(110)는 각 프레임 데이터에 대하여 ROI 정보가 가리키는 관심영역(Region Of Interest; ROI)을 판단하고, 미리 정의된 휘도성분 테이블(120)을 참조하여 그 ROI 영역내 화소들의 RGB 값에 대응하는 휘도 성분을 검출하게 된다. 여기서, 휘도 성분 테이블(120)은 LUT(Look-Up table)형태로 구현될 수 있고, 각 화소의 RGB 계조값에 매칭되는 휘도 성분이 정의되어 있다.
히스토그램 계산부(130)는 검출된 휘도 성분에 대한 히스토그램을 계산할 수 있다. 일반적으로 2D 초음파 영상의 특성상, 특정 몇몇의 휘도 성분에 대하여 빈도수가 집중되어 있으며, 계산된 히스토그램에는 이러한 휘도 성분별 빈도수가 반영되게 된다.
밝기차 제거부(140)는 계산된 히스토그램 데이터에 임계치(threshold; th)를 적용하여 프레임 데이터에 대한 영상 내 밝기차를 제거함으로써, 히스토그램 자동 윈도우잉(Auto Windowing)을 수행할 수 있다.
통상적으로, 영상에 대하여 계산된 히스토그램에 의하면 각 프레임 데이터는 특정 휘도 성분에 대한 빈도수의 쏠림 현상이 나타나며, 이는 영상 내 각 영역마다 밝기차가 존재하는 것을 의미한다. 이에, 밝기차 제거부(140)는 기 설정된 임계치(th)를 기준으로 하여 빈도수가 매우 높거나 매우 낮은 휘도 성분을 조정하여 프레임 데이터 내 밝기차를 제거함으로써 자동 윈도우잉(Auto Windowing)을 수행하게 된다.
휘도 성분의 조정에 따른 히스토그램 데이터는 다시 이미지, 즉 프레임 데이터 형태로 변환된다.
제1 가중치 적용부(150)는 자동 윈도우잉(Auto Windowing)된 프레임 데이터에 대하여, 미리 설정된 비선형 함수(Non-linear function; Non-line_ft)에 의한 가중치(weight)를 적용하여 영상을 1차 보정할 수 있다.
초음파 태아영상에서 영상의 휘도 성분 중, 최대 및 최소 휘도에 인접한 화소들은 일반적으로 조명에 의한 부분적 강조 효과인 경우가 대부분이므로 그 부분의 휘도성분을 선형적 가중치로 반영하면 깊이정보 결과에 왜곡이 생길 가능성이 크다.
이러한 특성을 고려하여, 본 발명의 실시예에 따른 깊이정보 추출 시스템(100)은 영상에 비선형 함수를 이용한 가중치를 적용하여 보정을 수행함으로써, 생성되는 깊이정보를 이용한 3D 초음파 영상의 식별력을 보완할 수 있도록 한다.
이러한 비선형 함수에 의하면, 기울기가 큰 영역에 위치한 화소들 즉, 중간 휘도의 화소들은 적용되는 휘도의 가중치값이 상대적으로 크게 변화하며, 기울기가 작은 영역에 위치한 화소들은 적용되는 휘도의 가중치값이 상대적으로 작게 변화하거나 거의 변화가 없게 된다.
제2 가중치 적용부(160)는 1차 보정된 프레임 데이터를 ROI 영역의 중심을 기준으로 거리(distance) 별 가중치를 적용하여 2차 보정하여 깊이정보를 생성할 수 있다.
즉, 제2 가중치 적용부(160)는 ROI 영역(ROI_dt)을 참조하여 프레임 데이터의 중심점과 각 화소간의 이격거리에 따라 가중치를 달리 적용하여 보정을 수행함으로써, 의도한 특성을 갖는 깊이정보(Depth_info)를 생성하게 된다.
이러한 2차 보정에 따르면, 영상 내 ROI 영역을 벗어난 외곽부분에 대해서 3D 영상의 깊이값(depth value)를 낮춤으로써, 사용자의 시점에 따라 체감하는 입체정도는 자연스럽게 조절하는 효과를 기대할 수 있다.
전술한 구성에 따라, 본 발명의 실시예에 따른 3차원 깊이정보 추출 시스템은 히스토그램 자동 윈도우잉(Auto Windowing)을 통해 영상의 밝기차를 제거하고, 비선형 함수에 의한 가중치 및 공간적 가중치를 적용하여 보정을 수행함으로써 보다 식별이 용이한 3D 초음파 영상을 생성할 수 있는 깊이정보를 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 시스템을 이용한 3D 깊이정보 추출 방법을 설명한다.
도 3은 본 발명의 실시예에 따른 3차원 깊이정보 추출 방법을 나타낸 도면이다. 이하의 설명에서, 각 단계의 실행주체는 별도의 기재가 없더라도 전술한 3D 깊이정보 추출 시스템 및 그의 구성부가 된다.
도 3을 참조하면, 본 발명의 실시예에 따른 깊이정보 추출 시스템에 의한 2D 영상을 이용한 3D 깊이정보 추출 방법은, 2D 영상에 대한 프레임 데이터 및 ROI 정보를 입력받는 단계(S100), 프레임 데이터 별 ROI 영역 내 휘도 성분을 검출하는 단계(S110), 임계치에 따라 프레임 데이터에 대한 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 단계(S120), 비선형 함수에 의한 가중치를 적용하여 밝기차가 제거된 프레임 데이터를 1차 보정하는 단계(S130), 1차 보정된 프레임 데이터를 ROI 영역의 중심을 기준으로 거리 별 가중치를 적용하여 2차 보정하여 깊이정보를 생성하는 단계(S140)를 포함할 수 있다.
먼저, 2D 영상에 대한 프레임 데이터 및 ROI 정보를 입력받는 단계(S100)에서는, 깊이정보 추출 시스템이 외부의 영상 처리 장치로부터 전송된 2D 영상에 대한 비디오 패킷을 디코딩한 프레임 데이터 및 계산된 ROI 정보를 입력받게 된다.
다음으로, 프레임 데이터 별 ROI 영역 내 휘도 성분을 검출하는 단계(S110)에서는, 깊이정보 추출 시스템의 휘도 검출부가 기 설정된 휘도성분 테이블을 참조하여 프레임 데이터의 ROI 영역 내에 화소들의 휘도 성분을 검출하게 된다.
임계치에 따라 프레임 데이터에 대한 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 단계(S120)에서는, 히스토그램 계산부가 각 프레임 데이터 별 검출된 휘도 성분을 이용하여 히스토그램을 계산하게 된다.
이러한 히스토그램 자동 윈도우잉(Auto Windowing) 단계(S120)는 히스토그램 계산부가 검출된 휘도 성분에 대한 히스토그램을 계산하는 단계와, 밝기차 제거부가 기 설정된 임계치에 기초하여 히스토그램 상의 낮은 레벨의 휘도 영역에 대한 적분과 높은 레벨의 휘도영역에 대한 적분을 통해 히스토그램의 윈도우를 결정하는 자동 윈도우잉(Auto Windowing)을 수행하여 화소간 밝기차를 제거하는 단계와, 밝기차가 제거된 히스토그램에 따른 프레임 데이터를 재구성하는 단계로 세분화할 수 있다.
이에 따라, 영상에서 타 화소들의 휘도 값에 비해 현저하게 높거나 낮은 값을 갖는 화소들의 휘도 값이 자동 설정된 윈도우(Window) 영역으로 제한되며, 설정된 윈도우 내에서 화소들의 휘도 값이 선형적으로 재 계산되므로 전체적으로 영상간 밝기차가 제거된 영상을 얻게 된다.
다음으로, 비선형 함수에 의한 가중치를 적용하여 밝기차가 제거된 프레임 데이터를 1차 보정하는 단계(S130)에서는, 제1 가중치 적용부가 기 설정된 비선형 함수(Non-linear function)을 이용하여 가중치값(weight)을 생성하고, 그 가중치값(weight)을 이용하여 화소의 휘도값을 보정하게 된다.
도 4는 본 발명의 실시예에 따른 3차원 깊이정보 추출 방법에서 비선형 함수를 이용한 가중치값을 설정하는 방법을 설명하기 위한 도면으로서, 도 3과 도 4를 함께 참조하면, 프레임 데이터를 1차 보정하는 단계(S130)에서는 프레임 데이터의 화소들의 휘도값은 -1 내지 1 사이의 값으로 정규화되고, 가중치값을 계산하기 위한 가중치 함수(y)는 이하의 수학식 1,
Figure 112018110187753-pat00001
로 정의된다.
또한, 가중치 함수의 중심값(X0, Y0)은 이하의 수학식 2,
Figure 112018110187753-pat00002
이고, 가중치 함수의 중심부에서의 기울기(y')는 이하의 수학식 3,
Figure 112018110187753-pat00003
이 된다.
여기서, 상기 수학식 1 내지 3의 'A1', 'A2' 및 'dx'는 실험값에 의해 결정될 수 있고, 이를 통해 각 화소별 적용될 가중치를 결정 및 적용하게 된다.
전술한 수식에 따라, 일정 영역을 벗어난 정규화 값에서는 가중치 변화가 둔감해지게 된다.
그리고, 1차 보정된 프레임 데이터를 ROI 영역의 중심을 기준으로 거리 별 가중치를 적용하여 2차 보정하여 깊이정보를 생성하는 단계(S140)에서는, ROI 영역(ROI_dt)에서 1차 보정된 프레임 데이터에 대하여 공간적 가중치를 적용하여 화소의 휘도값을 보정하게 된다.
도 5는 본 발명의 실시예에 따른 3차원 깊이정보 추출 방법에서 공간적 가중치를 설정하는 방법을 설명하기 위한 도면으로서, 도 3과 도 5를 함께 참조하면, 프레임 데이터를 2차 보정하여 깊이정보를 생성하는 단계(S140)는 제2 가중치 적용부가 1차 보정된 프레임 데이터를 영상영역(Area1) 및, 영상영역(Area1) 내 중심좌표(center_x, center_y)를 기준으로 하여 일정범위로 정의되는 제한영역(Area2)으로 구분하는 단계, 영상영역(Area1) 내 화소(pixel)들에 대하여 가변 가중치를 적용하여 보정하는 단계 및, 제한영역(Area2) 내 화소(pixel)들에 대하여 단일 가중치를 적용하여 보정하는 단계로 세분화될 수 있다.
도 5에서, cur_dx는 X좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, cur_dy는 Y좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, max_dx는 X좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리, max_dy는 Y좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리를 가리킨다. 깊이정보 추출 시스템은 영상 영역(Area1) 및 제한영역(Area2) 내에서 순차적으로 각 화소(pixel)별 거리를 계산하고 가중치값을 결정하게 된다.
여기서, 제한영역(Area2) 내 화소(pixel)들에 대하여 단일 가중치를 적용하여 보정하는 단계에서는 각 화소(pixel)들의 위치좌표(cur_x, cur_y)에 상관없이 단일 가중치값(weight)을 적용하게 된다. 이러한 단일 가중치값은, 이하의 수학식 4,
Figure 112018110187753-pat00004
Figure 112018110187753-pat00005
일 때 설정되는 가중치값을 이용할 수 있고, 그 가중치값은 해당 화소(pixel)들에 일괄적으로 적용되게 된다.
또한, 영상영역(Area1) 내 화소(pixel)들에 대하여 가변 가중치를 적용하여 보정하는 단계에서는 영상영역(Area1) 내 화소(pixel)들에 대하여 가변 가중치를 적용하는 것으로, 각 화소(pixel)들의 위치좌표(cur_x, cur_y)에 따른 서로 다른 가변 가중치값(weight)을 적용하게 되며, 상기 가변 가중치값은 이하의 수학식 5,
Figure 112018110187753-pat00006
(단,
Figure 112018110187753-pat00007
)
에 따라 결정되어 적용되게 된다.
전술한 단계에 따라, 본 발명의 실시예에 따른 3차원 깊이정보 추출 방법에 의하면, 초음파 시스템으로부터 전송되는 2D 초음파 영상을 디코딩하여 획득한 프레임 데이터에서 ROI 정보를 참조하여 휘도 성분을 검출하여 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하고, 비선형 가중치 및 공간적 가중치를 적용함으로써 2D 초음파 영상을 3D 초음파 영상으로 변환하기 위한 깊이정보를 생성할 수 있다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
10 : 프로브 20 : 영상 처리 장치
100 : 깊이정보 추출 시스템 110 : 휘도 검출부
120 : 휘도 성분 테이블 130 : 히스토그램 계산부;
140 : 밝기차 제거부 150 : 제1 가중치 적용부
160 : 제2 가중치 적용부

Claims (11)

  1. 깊이정보 추출 시스템에 의한 입체 초음파 진단 시스템의 3D로 렌더링된 태아 영상을 이용한 3D 깊이정보 추출 방법에 있어서,
    상기 입체 초음파 진단 시스템의 3D로 렌더링된 태아 영상에 대한 프레임 데이터 및 ROI 정보를 입력받는 단계;
    상기 프레임 데이터 별 ROI 영역 내 화소들의 RGB 값에 대응하는 휘도 성분을 검출하는 단계;
    임계치에 따라 프레임 데이터에 대한 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 단계;
    비선형 함수에 의한 가중치를 적용하여 밝기차가 제거된 프레임 데이터를 1차 보정하는 단계; 및
    상기 1차 보정된 프레임 데이터를 상기 ROI 영역의 중심을 기준으로, 프레임 데이터의 중심점과 각 화소간의 이격거리에 따라 거리 별 가중치를 다르게 적용하여 2차 보정하여 깊이정보를 생성하는 단계를 포함하고,
    상기 1차 보정된 프레임 데이터를 상기 ROI 영역의 중심을 기준으로 거리 별 가중치를 적용하여 2차 보정하여 깊이정보를 생성하는 단계는,
    1차 보정된 프레임 데이터를 영상영역 및, 상기 영상영역 내 중심좌표(center_x, center_y)를 기준으로 하여 일정범위로 정의되는 제한영역으로 구분하는 단계;
    상기 제한영역 내 화소들에 대하여 단일 가중치를 적용하여 보정하는 단계; 및
    상기 영상영역 내 화소들에 대하여 가변 가중치를 적용하여 보정하는 단계
    를 포함하는 3D 깊이정보 추출 방법.
  2. 제 1 항에 있어서,
    상기 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 단계는,
    검출된 휘도 성분에 대한 히스토그램을 계산하는 단계;
    기 설정된 임계치에 기초하여 상기 히스토그램 상의 낮은 레벨의 휘도 영역에 대한 적분과 높은 레벨의 휘도 영역에 대한 적분을 통해 히스토그램의 윈도우를 결정하는 자동 윈도우잉(Auto Windowing)을 수행하여 밝기차를 제거하는 단계; 및
    밝기차가 제거된 히스토그램에 따른 프레임 데이터를 재구성하는 단계
    를 포함하는 3D 깊이정보 추출 방법.
  3. 제 1 항에 있어서,
    상기 밝기차가 제거된 프레임 데이터를 1차 보정하는 단계는,
    상기 프레임 데이터의 화소들의 휘도값은 -1 내지 1 사이의 값으로 정규화되고, 가중치값을 계산하기 위한 가중치 함수(y)는 이하의 수학식,
    Figure 112018110187753-pat00008

    이고, 가중치 함수의 중심값(X0, Y0)은 이하의 수학식,
    Figure 112018110187753-pat00009

    이고, 가중치 함수의 중심부분 기울기(y')는 이하의 수학식,
    Figure 112018110187753-pat00010

    을 이용하여 상기 깊이정보를 생성하는 3D 깊이정보 추출 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 제한영역 내 화소들에 대하여 단일 가중치를 적용하여 보정하는 단계는,
    각 화소(pixel)의 위치좌표(cur_x, cur_y)에 상관없이 단일 가중치값을 적용하는 단계이고,
    상기 단일 가중치값은, 이하의 수학식,
    Figure 112019069821459-pat00011

    Figure 112019069821459-pat00012

    일 때 설정되는 가중치값을 이용하는 3D 깊이정보 추출 방법(여기서, cur_dx는 X좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, cur_dy는 Y좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, max_dx는 X좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리, max_dy는 Y좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리).
  6. 제 1 항에 있어서,
    상기 영상영역 내 화소들에 대하여 가변 가중치를 적용하여 보정하는 단계는,
    각 화소(pixel)들의 위치좌표(cur_x, cur_y)에 따른 서로 다른 가변 가중치값(weight)을 적용하는 단계이고,
    상기 가변 가중치값은 이하의 수학식,
    Figure 112019069821459-pat00013
    , (단,
    Figure 112019069821459-pat00014
    )
    에 따른 가중치값을 적용하는 3D 깊이정보 추출 방법(여기서, cur_dx는 X좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, cur_dy는 Y좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, max_dx는 X좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리, max_dy는 Y좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리).
  7. 영상에 대한 프레임 데이터 및 ROI 정보를 입력받고, 상기 프레임 데이터 별 ROI 영역 내 휘도 성분을 검출하는 휘도 검출부;
    상기 프레임 데이터에 대한 검출된 화소들의 RGB 값에 대응하는 휘도 성분에 따른 히스토그램을 계산하는 히스토그램 계산부;
    임계치에 따라 상기 히스토그램을 이용하여 프레임 데이터에 대한 히스토그램 자동 윈도우잉(Auto Windowing)을 수행하는 밝기차 제거부;
    비선형 함수에 의한 가중치를 적용하여 밝기차가 제거된 프레임 데이터를 1차 보정하는 제1 가중치 적용부; 및
    상기 1차 보정된 프레임 데이터를 상기 ROI 영역의 중심을 기준으로 프레임 데이터의 중심점과 각 화소간의 이격거리에 따라 거리 별 가중치를 다르게 적용하여 2차 보정하여 깊이정보를 생성하는 제2 가중치 적용부를 포함하고,
    상기 제1 가중치 적용부는,
    밝기차가 제거된 프레임 데이터를 영상영역 및, 상기 영상영역 내 중심좌표(center_x, center_y)를 기준으로 하여 일정범위로 정의되는 제한영역으로 구분하고, 상기 제한영역 내 화소에 대하여 단일 가중치를 적용하여 보정하고, 상기 영상영역 내 화소에 대하여 가변 가중치를 적용하여 보정하는 3D 깊이정보 추출 시스템.
  8. 제 7 항에 있어서,
    상기 제1 가중치 적용부는,
    밝기차가 제거된 프레임 데이터의 화소들의 휘도값은 -1 내지 1 사이의 값으로 정규화되고, 가중치값을 계산하기 위한 가중치 함수(y)는 이하의 수학식,
    Figure 112018110187753-pat00015

    이고, 가중치 함수의 중심값(X0, Y0)은 이하의 수학식,
    Figure 112018110187753-pat00016

    이고, 가중치 함수의 중심부의 기울기(y')는 이하의 수학식,
    Figure 112018110187753-pat00017

    에 따라 가중치를 결정하는 3D 깊이정보 추출 시스템.
  9. 삭제
  10. 제 7 항에 있어서,
    상기 제2 가중치 적용부는,
    상기 제한영역 내의 각 화소(pixel)에 대해서는 위치좌표(cur_x, cur_y)에 상관없이 단일 가중치값(weight)을 적용하되,
    상기 단일 가중치값은, 이하의 수학식,
    Figure 112019069821459-pat00018

    Figure 112019069821459-pat00019

    일 때, 설정되는 가중치값을 이용하는 3D 깊이정보 추출 시스템(여기서, cur_dx는 X좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, cur_dy는 Y좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, max_dx는 X좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리, max_dy는 Y좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리).
  11. 제 7 항에 있어서,
    상기 제2 가중치 적용부는,
    각 화소(pixel)들의 위치좌표(cur_x, cur_y)에 따른 가변 가중치값(weight)을 적용하되, 상기 가중치값은 이하의 수학식,
    Figure 112019069821459-pat00020
    , (단,
    Figure 112019069821459-pat00021
    )
    에 의해 결정되는 3D 깊이정보 추출 시스템(여기서, cur_dx는 X좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, cur_dy는 Y좌표상에서 중심좌표와 현재화소의 위치좌표간 거리, max_dx는 X좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리, max_dy는 Y좌표 상에서 중심좌표로부터 영상영역의 최대좌표간 거리).
KR1020180135486A 2018-11-06 2018-11-06 영상 내 3차원 깊이정보 추출 방법 및 시스템 KR102005326B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180135486A KR102005326B1 (ko) 2018-11-06 2018-11-06 영상 내 3차원 깊이정보 추출 방법 및 시스템
PCT/KR2019/014606 WO2020096273A1 (ko) 2018-11-06 2019-10-31 영상 내 3차원 깊이정보 추출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180135486A KR102005326B1 (ko) 2018-11-06 2018-11-06 영상 내 3차원 깊이정보 추출 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102005326B1 true KR102005326B1 (ko) 2019-08-01

Family

ID=67615773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180135486A KR102005326B1 (ko) 2018-11-06 2018-11-06 영상 내 3차원 깊이정보 추출 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102005326B1 (ko)
WO (1) WO2020096273A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096273A1 (ko) * 2018-11-06 2020-05-14 길재소프트 주식회사 영상 내 3차원 깊이정보 추출 방법 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113520321B (zh) * 2021-07-14 2022-12-23 沈阳菁华医院有限公司 基于参数触发的助产条件判断平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016731A (ko) * 2008-08-05 2010-02-16 주식회사 메디슨 스캔 변환을 고려하여 초음파 데이터를 처리하는 초음파시스템 및 방법
US7869637B2 (en) * 2006-07-31 2011-01-11 Siemens Medical Solutions Usa, Inc. Histogram calculation for auto-windowing of collimated X-ray image
KR20150040559A (ko) * 2013-10-07 2015-04-15 에스케이텔레콤 주식회사 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR101862543B1 (ko) 2011-09-08 2018-07-06 삼성전자 주식회사 깊이정보 생성장치, 깊이정보 생성방법 및 그 저장매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5302761B2 (ja) * 2009-04-30 2013-10-02 日立アロカメディカル株式会社 超音波診断装置
JP6169361B2 (ja) * 2013-01-29 2017-07-26 フクダ電子株式会社 超音波診断装置および輝度補正方法
KR102005326B1 (ko) * 2018-11-06 2019-08-01 길재소프트 주식회사 영상 내 3차원 깊이정보 추출 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869637B2 (en) * 2006-07-31 2011-01-11 Siemens Medical Solutions Usa, Inc. Histogram calculation for auto-windowing of collimated X-ray image
KR20100016731A (ko) * 2008-08-05 2010-02-16 주식회사 메디슨 스캔 변환을 고려하여 초음파 데이터를 처리하는 초음파시스템 및 방법
KR101862543B1 (ko) 2011-09-08 2018-07-06 삼성전자 주식회사 깊이정보 생성장치, 깊이정보 생성방법 및 그 저장매체
KR20150040559A (ko) * 2013-10-07 2015-04-15 에스케이텔레콤 주식회사 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096273A1 (ko) * 2018-11-06 2020-05-14 길재소프트 주식회사 영상 내 3차원 깊이정보 추출 방법 및 시스템

Also Published As

Publication number Publication date
WO2020096273A1 (ko) 2020-05-14

Similar Documents

Publication Publication Date Title
CN102105107B (zh) 用于检测诸如高反射率的反射体的独特区域的信号处理装置
KR100908252B1 (ko) 영상 처리 시스템 및 방법
EP1793343B1 (en) Image processing system and method of enhancing the quality of an ultrasound image
US10157500B2 (en) Utilizing depth from ultrasound volume rendering for 3D printing
US8900147B2 (en) Performing image process and size measurement upon a three-dimensional ultrasound image in an ultrasound system
EP2423872A1 (en) Ultrasonic image processing apparatus
US20110137168A1 (en) Providing a three-dimensional ultrasound image based on a sub region of interest in an ultrasound system
KR101188593B1 (ko) 복수의 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
US9282324B2 (en) Medical image diagnosis apparatus and image processing apparatus
KR101100498B1 (ko) 컬러맵을 형성하는 초음파 시스템 및 방법
CN108882914B (zh) 超声造影成像方法及超声成像系统
JP2010221018A (ja) ボリュームデータに表面レンダリングを行う超音波システムおよび方法
KR102005326B1 (ko) 영상 내 3차원 깊이정보 추출 방법 및 시스템
US20110060223A1 (en) Providing a three-dimensional ultrasound image based on an ellipsoidal region of interest in an ultrasound system
CN102549450B (zh) 超声无回声成像
EP2157442A1 (en) Formation of an elastic image in an ultrasound system
CN111819465A (zh) 用于自适应地配置用于超声图像显示的动态范围的系统和方法
EP2145583A1 (en) Formation of an elastic image using an ultrasound apparatus
US20100152585A1 (en) Ultrasound System And Method For Forming A Plurality Of Three-Dimensional Ultrasound Images
US9125618B2 (en) Providing an elastic image in an ultrasound system
KR20140115921A (ko) 탄성 정보 제공 장치 및 방법
JP2014161478A (ja) 超音波診断装置及びその制御プログラム
EP2238911B1 (en) Providing stress information in an ultrasound system
EP2189116B1 (en) Adaptive persistence processing of elastic images
US11058403B2 (en) Acoustic wave diagnostic apparatus and control method thereof

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant