KR101766740B1 - 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법 - Google Patents
영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법 Download PDFInfo
- Publication number
- KR101766740B1 KR101766740B1 KR1020150038236A KR20150038236A KR101766740B1 KR 101766740 B1 KR101766740 B1 KR 101766740B1 KR 1020150038236 A KR1020150038236 A KR 1020150038236A KR 20150038236 A KR20150038236 A KR 20150038236A KR 101766740 B1 KR101766740 B1 KR 101766740B1
- Authority
- KR
- South Korea
- Prior art keywords
- region
- pixels
- weight
- roi
- foreground
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법에 관한 것으로서, 본 발명에 따른 영역 기반 그래프 컷을 이용한 객체 분할 장치는 입력된 원본 영상에서 관심 영역을 추출하는 추출부; 상기 추출부에 의해 추출된 관심 영역에 대한 필터링을 수행하는 필터링부; 상기 필터링부에 의해 필터링된 관심 영역의 픽셀들을 그룹화하는 그룹화부; 및 상기 그룹화부에 의해 그룹화된 픽셀들로 구성된 영역마다 가중치를 산출하고, 산출된 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 분할부를 포함한다.
Description
본 발명은 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법에 관한 것으로서, 보다 구체적으로는 입력된 원본 영상에서 관심 객체 영역을 분할하는 장치 및 방법에 관한 것이다.
일반적으로 영상분할은 영상의 모든 픽셀을 라벨링하는 것으로서, 동일한 라벨을 갖는 픽셀은 동일한 의미 영역임을 뜻한다.
객체분할은 영상 내 객체들을 여러 관심 영역으로 나누는 것으로서, 영상분석과 패턴인식의 다양한 분야, 특히 물체 인식 및 트래킹, 의료영상분석 등에서 많이 사용되고 있다.
최근 이런 객체분할을 수행하기 위하여 하기와 같이 다양한 방법들이 제안되고 있다.
그중 라이브 와이어(Live wire) 방법은 사용자가 몇 개의 픽셀만을 선택하면, 그 사이를 보간하여 객체의 경계를 계산하는 방법이다.
그러나, 라이브 와이어 방법은 객체의 모양이 복잡하면, 정확도를 보장하기 어렵다는 문제점이 있다.
또한 활성 외곽선 모델 방법은 내부에너지와 외부에너지를 정의한 후, 이 에너지를 최소화하는 경계곡선을 찾는 방법이다. 활성 외곽선 모델 방법은 외곽선을 관심 객체의 경계에 가깝게 초기화를 하면, 외곽선은 몇 번의 반복수행을 통하여 실제 경계에 맞게 된다.
그러나, 활성 외곽선 모델 방법은 초기화에 민감한 결과를 보이기 때문에, 사용자의 세심한 초기화가 필요하므로, 그만큼 사용하기 어렵다는 문제점이 있다.
레벨 셋 방법은 활성 외곽선 모델에서 사용한 외곽선을 파라미터화 하지 않은 암시적 외곽선을 사용하는 방법이다.
그러나, 레벨 셋 방법은 파라미터화 하지 않은 암시적 외곽선을 사용하기 때문에, 수행시간이 많이 걸린다는 문제점이 있다.
또한, 그래프 컷 방법은 영상의 특징과 위치 정보를 융합하여 영역을 그룹화하고 분류하는 방법이다.
그래프 컷 방법은 픽셀의 컬러 정보를 이용하여 전경과 배경일 확률을 계산하고, 주변픽셀과의 컬러이질성을 계산하여, 각각에 대한 가중치들을 계산한 후, 이를 이용하여 최종적으로 어떤 픽셀이 전경인지 배경인지를 분리하는 방법이다.
그러나, 그래프 컷 방법은 각 픽셀에 대하여 계속적인 연산을 수행해야하기 때문에, 픽셀개수에 비례하여 수행시간이 늘어난다는 문제점이 있다. 또한, 그래프 컷 방법은 잡음 픽셀이 존재하는 경우, 그 잡음 픽셀 하나가 주변픽셀들에도 영향을 많이 미치게 되기 때문에, 분할결과에 악영향을 미친다는 문제점이 있다.
본 발명은 상기와 같은 문제점들을 해결하기 위한 것으로서, 입력된 원본 영상을 연결요소 라베링 방법을 이용하여 영역들로 나누고, 나눠진 영역들에 그래프 컷 방법을 적용하여 관심 객체를 정확하고 빠르게 분할하는 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법을 제공하는 데 그 목적이 있다.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 영역 기반 그래프 컷을 이용한 객체 분할 장치는 입력된 원본 영상에서 관심 영역을 추출하는 추출부; 상기 추출부에 의해 추출된 관심 영역에 대한 필터링을 수행하는 필터링부; 상기 필터링부에 의해 필터링된 관심 영역의 픽셀들을 그룹화하는 그룹화부; 및 상기 그룹화부에 의해 그룹화된 픽셀들로 구성된 영역마다 가중치를 산출하고, 산출된 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 분할부를 포함한다.
상기 추출부는 상기 원본 영상에 그려지는 스트로크를 기준으로 전경 영역과 배경 영역으로 구분하고, 구분된 전경 영역에 바운딩 박스를 형성하고, 형성된 바운딩 박스 부분을 관심 영역으로 추출한다.
상기 그룹화부는 그룹화된 픽셀들로 구성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성한다.
상기 분할부는 상기 그룹화부에 의해 그룹화된 픽셀들로 구성된 영역마다 전경 가중치와 배경 가중치를 산출하고, 상기 그룹화부에 의해 생성된 연결요소 그래프에 따라 주변영역과의 이질성을 이용한 가중치를 산출하고, 산출된 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할한다.
상기 그룹화부는 상기 필터링된 관심 영역에 대해 연결요소 라벨링을 적용하여 관심 영역 내 픽셀들을 색상별로 그룹화하고, 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성한다.
상기 분할부는 상기 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출하고, 산출된 컬러값들을 이용하여 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 산출한다.
상기 분할부는 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 민-컷 맥스-플로우(Min-Cut Max-Flow) 방법으로 관심 영역에 대한 최적화를 수행하여 상기 관심 영역과 배경 영역으로 분할한다.
상기 분할부는 상기 관심 영역과 배경 영역의 경계선이 지나가는 각 픽셀에 대하여 법선 방향을 산출하고, 산출된 법선 방향에서 -α에서 α사이의 픽셀들을 획득하고, 획득된 픽셀들에 대한 그레디언트(gradient)와 그 크기를 산출하고, 산출된 그레디언트의 크기 중 가장 큰 그레디언트의 크기를 갖는 픽셀을 경계선 구성 픽셀이라 가정하고, 법선 방향이 산출된 픽셀을 가장 큰 그레디언트의 크기를 가지는 픽셀로 대체한다.
본 발명의 일면에 따른 영역 기반 그래프 컷을 이용한 객체 분할 방법은 입력된 원본 영상에서 관심 영역을 추출하는 단계; 추출된 관심 영역에 대한 필터링을 수행하는 단계; 필터링된 관심 영역의 픽셀들을 그룹화하는 단계; 및 그룹화된 픽셀들로 구성된 영역마다 가중치를 산출하고, 산출된 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 단계를 포함한다.
상기 추출하는 단계는 상기 원본 영상에 그려지는 스트로크를 기준으로 전경 영역과 배경 영역으로 구분하고, 구분된 전경 영역에 바운딩 박스를 형성하고, 형성된 바운딩 박스 부분을 관심 영역으로 추출하는 단계이다.
상기 그룹화하는 단계는 그룹화된 픽셀들로 구성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 것을 포함한다.
상기 분할하는 단계는 그룹화된 픽셀들로 구성된 영역마다 전경 가중치와 배경 가중치를 산출하고, 상기 연결요소 그래프에 따라 주변영역과의 이질성을 이용한 가중치를 산출하고, 산출된 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 단계이다.
상기 그룹화하는 단계는 상기 필터링된 관심 영역에 대해 연결요소 라벨링을 적용하여 관심 영역 내 픽셀들을 색상별로 그룹화하고, 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 단계이다.
상기 분할하는 단계는 상기 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출하고, 산출된 컬러값들을 이용하여 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 산출하는 단계이다.
상기 분할하는 단계는 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 민-컷 맥스-플로우(Min-Cut Max-Flow) 방법으로 관심 영역에 대한 최적화를 수행하여 상기 관심 영역과 배경 영역으로 분할하는 단계이다.
상기 분할하는 단계는 상기 관심 영역과 배경 영역의 경계선이 지나가는 각 픽셀에 대하여 법선 방향을 산출하고, 산출된 법선 방향에서 -α에서 α사이의 픽셀들을 획득하고, 획득된 픽셀들에 대한 그레디언트(gradient)와 그 크기를 산출하고, 산출된 그레디언트의 크기 중 가장 큰 그레디언트의 크기를 갖는 픽셀을 경계선 구성 픽셀이라 가정하고, 법선 방향이 산출된 픽셀을 가장 큰 그레디언트의 크기를 가자는 픽셀로 대체하는 것을 포함한다.
상기 추출부는 상기 원본 영상에 그려지는 스트로크를 기준으로 전경 영역과 배경 영역으로 구분하고, 구분된 전경 영역에 바운딩 박스를 형성하고, 형성된 바운딩 박스 부분을 관심 영역으로 추출한다.
상기 그룹화부는 그룹화된 픽셀들로 구성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성한다.
상기 분할부는 상기 그룹화부에 의해 그룹화된 픽셀들로 구성된 영역마다 전경 가중치와 배경 가중치를 산출하고, 상기 그룹화부에 의해 생성된 연결요소 그래프에 따라 주변영역과의 이질성을 이용한 가중치를 산출하고, 산출된 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할한다.
상기 그룹화부는 상기 필터링된 관심 영역에 대해 연결요소 라벨링을 적용하여 관심 영역 내 픽셀들을 색상별로 그룹화하고, 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성한다.
상기 분할부는 상기 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출하고, 산출된 컬러값들을 이용하여 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 산출한다.
상기 분할부는 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 민-컷 맥스-플로우(Min-Cut Max-Flow) 방법으로 관심 영역에 대한 최적화를 수행하여 상기 관심 영역과 배경 영역으로 분할한다.
상기 분할부는 상기 관심 영역과 배경 영역의 경계선이 지나가는 각 픽셀에 대하여 법선 방향을 산출하고, 산출된 법선 방향에서 -α에서 α사이의 픽셀들을 획득하고, 획득된 픽셀들에 대한 그레디언트(gradient)와 그 크기를 산출하고, 산출된 그레디언트의 크기 중 가장 큰 그레디언트의 크기를 갖는 픽셀을 경계선 구성 픽셀이라 가정하고, 법선 방향이 산출된 픽셀을 가장 큰 그레디언트의 크기를 가지는 픽셀로 대체한다.
본 발명의 일면에 따른 영역 기반 그래프 컷을 이용한 객체 분할 방법은 입력된 원본 영상에서 관심 영역을 추출하는 단계; 추출된 관심 영역에 대한 필터링을 수행하는 단계; 필터링된 관심 영역의 픽셀들을 그룹화하는 단계; 및 그룹화된 픽셀들로 구성된 영역마다 가중치를 산출하고, 산출된 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 단계를 포함한다.
상기 추출하는 단계는 상기 원본 영상에 그려지는 스트로크를 기준으로 전경 영역과 배경 영역으로 구분하고, 구분된 전경 영역에 바운딩 박스를 형성하고, 형성된 바운딩 박스 부분을 관심 영역으로 추출하는 단계이다.
상기 그룹화하는 단계는 그룹화된 픽셀들로 구성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 것을 포함한다.
상기 분할하는 단계는 그룹화된 픽셀들로 구성된 영역마다 전경 가중치와 배경 가중치를 산출하고, 상기 연결요소 그래프에 따라 주변영역과의 이질성을 이용한 가중치를 산출하고, 산출된 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 단계이다.
상기 그룹화하는 단계는 상기 필터링된 관심 영역에 대해 연결요소 라벨링을 적용하여 관심 영역 내 픽셀들을 색상별로 그룹화하고, 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 단계이다.
상기 분할하는 단계는 상기 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출하고, 산출된 컬러값들을 이용하여 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 산출하는 단계이다.
상기 분할하는 단계는 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 민-컷 맥스-플로우(Min-Cut Max-Flow) 방법으로 관심 영역에 대한 최적화를 수행하여 상기 관심 영역과 배경 영역으로 분할하는 단계이다.
상기 분할하는 단계는 상기 관심 영역과 배경 영역의 경계선이 지나가는 각 픽셀에 대하여 법선 방향을 산출하고, 산출된 법선 방향에서 -α에서 α사이의 픽셀들을 획득하고, 획득된 픽셀들에 대한 그레디언트(gradient)와 그 크기를 산출하고, 산출된 그레디언트의 크기 중 가장 큰 그레디언트의 크기를 갖는 픽셀을 경계선 구성 픽셀이라 가정하고, 법선 방향이 산출된 픽셀을 가장 큰 그레디언트의 크기를 가자는 픽셀로 대체하는 것을 포함한다.
본 발명에 따르면, 전처리 과정에서 잡음을 제고하고 영역기반 방법을 사용함으로써, 잡음 픽셀에 견고할 수 있는 효과가 있다.
특히 영역기반 그래프 컷을 이용함으로써 객체분할시간을 현저하게 개선할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 장치를 나타낸 블럭도.
도 2는 원본 영상에 스트로크가 그려진 것을 나타낸 도면.
도 3 추출된 관심 영역을 나타낸 도면.
도 4는 관심 영역이 색상별로 그룹화된 것을 나타낸 도면.
도 5는 관심 영역에 대한 연결 요소 그래프를 나타낸 도면.
도 6a는 입력된 원본 영상을 나타낸 도면.
도 6b는 입력된 원본 영상이 관심 영역 및 배경 영역으로 분할된 것을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 방법을 나타낸 흐름도.
도 2는 원본 영상에 스트로크가 그려진 것을 나타낸 도면.
도 3 추출된 관심 영역을 나타낸 도면.
도 4는 관심 영역이 색상별로 그룹화된 것을 나타낸 도면.
도 5는 관심 영역에 대한 연결 요소 그래프를 나타낸 도면.
도 6a는 입력된 원본 영상을 나타낸 도면.
도 6b는 입력된 원본 영상이 관심 영역 및 배경 영역으로 분할된 것을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 방법을 나타낸 흐름도.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 장치를 설명한다. 도 1은 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 장치를 나타낸 블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 장치는 추출부(110), 필터링부(120), 그룹화부(130) 및 분할부(140)를 포함한다.
추출부(110)는 입력된 원본 영상에서 관심 영역을 추출한다. 이때, 추출부(110)는 입력된 원본 영상을 전경 영역과 배경 영역으로 구분하고, 구분된 전경 영역을 추출하며, 추출된 전경 영역이 관심 영역이다.
필터링부(120)는 추출부(110)에 의해 추출된 전경 영역, 즉 관심 영역에서 객체의 외곽선은 보호하며 노이즈를 제거하는 필터링을 수행한다.
그룹화부(130)는 필터링부(120)에 의해 필터링된 관심 영역의 픽셀들을 그룹화한다. 그룹화부(130)는 그룹화된 픽셀들로 구성된 영역마다 이웃영역을 정의하기 위해 연결요소 그래프를 생성한다.
분할부(140)는 그룹화부(130)에 의해 그룹화된 픽셀들로 구성된 영역마다 전경 가중치와 배경 가중치를 산출한다.
또한, 분할부(140)는 그룹화부(130)에 의해 생성된 연결요소 그래프에 따라 그룹화된 픽셀들로 구성된 영역마다 주변영역과의 이질성을 이용한 가중치를 산출한다.
분할부(140)는 산출된 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 최종적으로 입력된 원본 영상에서 관심 영역과 배경 영역을 분할한다.
전술한 바와 같이, 본 발명에 따르면, 전처리 과정에서 잡음을 제고하고 영역기반(그룹화) 방법을 사용함으로써, 잡음 픽셀에 견고할 수 있는 효과가 있다. 특히 영역기반 그래프 컷을 이용함으로써 객체분할시간을 현저하게 개선할 수 있는 이점이 있다.
이하, 도 2 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 장치의 각 구성요소의 동작에 대해 상세하게 설명한다. 도 2는 원본 영상에 스트로크가 그려진 것을 나타낸 도면이고, 도 3 추출된 관심 영역을 나타낸 도면이며, 도 4는 관심 영역이 색상별로 그룹화된 것을 나타낸 도면이고, 도 5는 관심 영역에 대한 연결 요소 그래프를 나타낸 도면이며, 도 6a는 입력된 원본 영상을 나타낸 도면이고, 도 6b는 입력된 원본 영상이 관심 영역 및 배경 영역으로 분할된 것을 나타낸 도면이다.
먼저 추출부(110)는 도 2에 도시된 바와 같이 입력된 원본 영상에서 붉은 색상으로 스트로크(Stroke)를 그려 그려진 스트로크를 기준으로 원본 영상을 전경 영역과 배경 영역으로 구분한다.
추출부(110)는 그려진 스트로크를 기준으로 구분된 전경 영역에 바운딩 박스(Bounding Box)를 형성하고, 형성된 바운딩 박스 부분만 원본 영상에서 추출한다.
필터링부(120)는 도 3에 도시된 바와 같이 추출된 관심 영역에서 잡음을 제거하기 위해 추출된 관심 영역을 필터링한다.
일반적으로 영상을 필터링하면, 영상 자체가 블러(Blur)해져 영상 내 객체의 외곽선도 블러해진다. 따라서, 영상을 필터링하더라도 객체의 외곽선(엣지)을 보존할 수 있도록 추출된 관심 영역을 엣지 보존 필터링(edge-preserving filtering)한다.
그룹화부(130)는 필터링부(120)에 의해 엣지 보존 필터링된 관심 영역에 대해 연결요소 라벨링(Connected Component Labeling)을 적용하여 관심 영역 내 픽셀들을 도 4에 도시된 바와 같이, 색상별로 그룹화한다.
그룹화부(130)는 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위해 도 5에 도시된 바와 같이 연결요소 그래프를 생성한다.
분할부(140)는 그룹화부(130)에 의해 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출한다.
분할부(140)는 산출된 평균 컬러값들을 이용하여 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 전경 가중치와 배경 가중치를 수학식 1과 같이 산출한다.
여기서 p는 색상별로 그룹화된 픽셀들에 의해 형성된 각 영역, Bp, Fp는 배경과 전경가중치, Np는 p영역과 연결된 이웃 영역의 개수, 는 p 영역 컬러의 평균값, 는 배경 컬러의 평균값, σR,B,σG,B,σB,B는 배경 컬러의 표준편차, 는 전경 컬러의 평균값, σR,F,σG,F,σB,F는 전경 컬러의 표준편차를 나타낸다.
또한, 분할부(140)는 산출된 평균 컬러값들을 이용하여 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 주변영역과의 이질성을 이용한 가중치를 수학식 2와 같이 산출한다.
여기서 p는 색상별로 그룹화된 픽셀들에 의해 형성된 각 영역, q는 p의 이웃 영역을 나타내고, Rp ,q는 이웃 영역과의 이질성을 가중치로 나타낸 것이며, σR,B,σG,B,σB,B는 전체 컬러의 표준편차를 나타낸 것이다.
분할부(140)는 전술된 수학식 1 및 수학식 2에 의해 산출된 가중치를 이용하여 민-컷 맥스- 플로우(Min-Cut Max-Flow) 방법으로 관심 영역에 대한 최적화를 수행하여 도 6a에 도시된 바와 같이 입력된 원본 영상을 도 6b에 도시된 바와 같이 관심 영역(흰색 영역)과 배경 영역(검은색 영역)으로 분할한다.
또한, 분할부(140)는 분할된 관심 영역과 배경 영역의 경계 부분에 대한 보정을 위해 관심 영역과 배경 영역의 경계선이 지나가는 부분의 각 픽셀에 대해 하기와 같이 연산을 수행한다.
먼저 분할부(140)는 특정 픽셀(p)에서 법선 방향을 산출한다.
분할부(140)는 특정 픽셀(p)에서 산출된 법선 방향으로 -α에서 α사이의 픽셀들(P= {p-a,...,p,...,pa})을 획득한다.
분할부(140)는 획득된 픽셀들(P)에 대한 그레디언트(gradient)와 그 크기를 산출한다. 분할부(140)는 산출된 그레디언트의 크기 중 가장 큰 그레디언트의 크기를 갖는 픽셀(pmax)을 경계선 구성 픽셀이라 가정하고, 특정 픽셀(p)을 가장 큰 그레디언트의 크기를 갖는 픽셀(pmax)로 대체한다.
이하, 도 7을 참조하여 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 방법을 설명한다. 도 7은 본 발명의 일 실시예에 따른 영역 기반 그래프 컷을 이용한 객체 분할 방법을 나타낸 흐름도이다.
도 7에 도시된 바와 같이, 입력된 원본 영상에서 관심 영역을 추출한다(S700).
예컨대, 입력된 원본 영상에서 붉은 색상으로 스트로크(Stroke)를 그려 그려진 스트로크를 기준으로 원본 영상을 전경 영역과 배경 영역으로 구분한다. 그려진 스트로크를 기준으로 구분된 전경 영역에 바운딩 박스(Bounding Box)를 형성하고, 형성된 바운딩 박스 부분만 원본 영상에서 추출한다.
추출된 관심 영역에서 잡음을 제거하기 위해 추출된 관심 영역을 필터링한다(S701).
예컨대, 일반적으로 영상을 필터링하면, 영상 자체가 블러(Blur)해져 영상 내 객체의 외곽선도 블러해진다. 따라서, 영상을 필터링하더라도 객체의 외곽선(엣지)을 보존할 수 있도록 추출된 관심 영역을 엣지 보존 필터링(edge-preserving filtering)한다.
필터링된 관심 영역을 그룹화한다(S702).
예컨대, 엣지 보존 필터링된 관심 영역에 대해 연결요소 라벨링(Connected Component Labeling)을 적용하여 관심 영역 내 픽셀들을 색상별로 그룹화한다. 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위해 연결요소 그래프를 생성한다.
관심 영역의 그룹화에 따른 정보를 이용하여 입력된 원본 영상을 최종적으로 관심 영역과 배경 영역으로 분할한다(S703).
예컨대, 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출한다.
산출된 평균 컬러값들을 이용하여 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 전경 가중치와 배경 가중치를 산출한다.
또한, 산출된 평균 컬러값들을 이용하여 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 주변영역과의 이질성을 이용한 가중치를 산출한다.
산출된 가중치들을 이용하여 민-컷 맥스- 플로우(Min-Cut Max-Flow) 방법으로 관심 영역에 대한 최적화를 수행하여 입력된 원본 영상을 관심 영역과 배경 영역으로 분할한다.
또한, 분할된 관심 영역과 배경 영역의 경계 부분에 대한 보정을 위해 관심 영역과 배경 영역의 경계선이 지나가는 부분의 각 픽셀에 대해 하기와 같이 연산을 수행한다.
먼저 특정 픽셀(p)에서 법선 방향을 산출한다. 특정 픽셀(p)에서 산출된 법선 방향으로 -α에서 α사이의 픽셀들(P= {p-a,...,p,...,pa})을 획득한다. 획득된 픽셀들(P)에 대한 그레디언트(gradient)와 그 크기를 산출한다. 분할부(140)는 산출된 그레디언트의 크기 중 가장 큰 그레디언트의 크기를 갖는 픽셀(pmax)을 경계선 구성 픽셀이라 가정하고, 특정 픽셀(p)을 가장 큰 그레디언트의 크기를 갖는 픽셀(pmax)로 대체한다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
110 : 추출부 120 : 필터링부
130 : 그룹화부 140 : 분할부
130 : 그룹화부 140 : 분할부
Claims (10)
- 가중치 산출을 위하여, 입력된 원본 영상을 일차적으로 전경 영역과 배경 영역으로 구분하고, 구분된 전경 영역을 관심 영역으로 추출하는 추출부;
상기 추출부에 의해 추출된 관심 영역에 대한 필터링을 수행하는 필터링부;
상기 필터링부에 의해 필터링된 관심 영역의 픽셀들을 그룹화하고, 그룹화된 픽셀들로 구성된 관심 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 그룹화부; 및
상기 그룹화부에 의해 그룹화된 픽셀들로 구성된 관심 영역마다 전경 가중치, 배경 가중치 및 상기 연결요소 그래프에 따라 주변영역과의 이질성을 이용한 가중치를 산출하고, 산출된 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 최종적으로 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 분할부
를 포함하는 영역 기반 그래프 컷을 이용한 객체 분할 장치. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 그룹화부는 상기 필터링된 관심 영역에 대해 연결요소 라벨링을 적용하여 관심 영역 내 픽셀들을 색상별로 그룹화하고, 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 것
인 영역 기반 그래프 컷을 이용한 객체 분할 장치. - 제 4 항에 있어서,
상기 분할부는 상기 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출하고, 산출된 평균 컬러값들을 이용하여 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 산출하는 것
인 영역 기반 그래프 컷을 이용한 객체 분할 장치. - 가중치 산출을 위하여, 입력된 원본 영상을 일차적으로 전경 영역과 배경 영역으로 구분하고, 구분된 전경 영역을 관심 영역으로 추출하는 단계;
추출된 관심 영역에 대한 필터링을 수행하는 단계;
필터링된 관심 영역의 픽셀들을 그룹화하고, 그룹화된 픽셀들로 구성된 관심 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 단계; 및
그룹화된 픽셀들로 구성된 관심 영역마다 전경 가중치, 배경 가중치 및 상기 연결요소 그래프에 따라 주변영역과의 이질성을 이용한 가중치를 산출하고, 산출된 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 이용하여 최종적으로 상기 원본 영상을 상기 관심 영역과 배경 영역으로 분할하는 단계
를 포함하는 영역 기반 그래프 컷을 이용한 객체 분할 방법. - 삭제
- 삭제
- 제 6 항에 있어서,
상기 그룹화하는 단계는 상기 필터링된 관심 영역에 대해 연결요소 라벨링을 적용하여 관심 영역 내 픽셀들을 색상별로 그룹화하고, 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 이웃영역을 정의하기 위한 연결요소 그래프를 생성하는 단계
인 영역 기반 그래프 컷을 이용한 객체 분할 방법. - 제 9 항에 있어서,
상기 분할하는 단계는 상기 색상별로 그룹화된 픽셀들에 의해 형성된 영역마다 픽셀들의 평균 컬러값을 산출하고, 산출된 평균 컬러값들을 이용하여 상기 전경 가중치, 배경 가중치 및 주변영역과의 이질성을 이용한 가중치를 산출하는 단계
인 영역 기반 그래프 컷을 이용한 객체 분할 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150038236A KR101766740B1 (ko) | 2015-03-19 | 2015-03-19 | 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150038236A KR101766740B1 (ko) | 2015-03-19 | 2015-03-19 | 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160112464A KR20160112464A (ko) | 2016-09-28 |
KR101766740B1 true KR101766740B1 (ko) | 2017-08-09 |
Family
ID=57102016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150038236A KR101766740B1 (ko) | 2015-03-19 | 2015-03-19 | 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101766740B1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111050086B (zh) * | 2019-12-18 | 2021-10-19 | 重庆金山医疗技术研究院有限公司 | 图像处理方法、装置及设备 |
KR102342967B1 (ko) * | 2020-04-01 | 2021-12-24 | 전북대학교산학협력단 | 문맥 정보를 활용하는 분류기 및 이의 분류 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010717A (ja) * | 2012-06-29 | 2014-01-20 | Secom Co Ltd | 領域分割装置 |
JP2014197358A (ja) * | 2013-03-29 | 2014-10-16 | オムロン株式会社 | 領域分割方法および検査装置 |
-
2015
- 2015-03-19 KR KR1020150038236A patent/KR101766740B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010717A (ja) * | 2012-06-29 | 2014-01-20 | Secom Co Ltd | 領域分割装置 |
JP2014197358A (ja) * | 2013-03-29 | 2014-10-16 | オムロン株式会社 | 領域分割方法および検査装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20160112464A (ko) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978890B (zh) | 基于图像处理的目标提取方法、装置及终端设备 | |
KR101932009B1 (ko) | 다중 객체 검출을 위한 영상 처리 장치 및 방법 | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
EP3048579B1 (en) | Structure analysis method for recovering missing structures in an image after object removal | |
JP6547386B2 (ja) | 画像処理装置及び方法 | |
KR102010085B1 (ko) | 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치 | |
KR101893557B1 (ko) | 영상 처리 장치 및 방법 | |
CA2557122A1 (en) | A system and method for toboggan based object segmentation using divergent gradient field response in images | |
EP2977932B1 (en) | Image processing apparatus, image processing method and image processing program | |
Le et al. | Image segmentation based on modified graph-cut algorithm | |
Xavierarockiaraj et al. | Brain tumor detection using modified histogram thresholding-quadrant approach | |
KR20090109012A (ko) | 영상 처리 방법 | |
KR20150007880A (ko) | 영상 화질 개선 방법, 장치 및 기록 매체 | |
CN105447834A (zh) | 一种基于特征分类的麻将图像光照不均校正方法 | |
Phoulady et al. | An approach for overlapping cell segmentation in multi-layer cervical cell volumes | |
JP6787844B2 (ja) | オブジェクト抽出装置およびそのスーパーピクセルラベリング方法 | |
CN104637060B (zh) | 一种基于邻域主成分分析-拉普拉斯的图像分割方法 | |
KR101766740B1 (ko) | 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법 | |
JP6389742B2 (ja) | 画像セグメンテーション方法、装置、及びプログラム | |
CN109117837B (zh) | 感兴趣区域确定方法和设备 | |
Tan et al. | Enhanced “GrabCut” tool with blob analysis in segmentation of blooming flower images | |
Hanbury | How do superpixels affect image segmentation? | |
KR101830512B1 (ko) | Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템 | |
Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
KR101106448B1 (ko) | 지능 영상 감시를 위한 이동 객체 실시간 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |