KR101394493B1 - 라벨 병합 기간이 없는 단일 스캔 라벨러 - Google Patents

라벨 병합 기간이 없는 단일 스캔 라벨러 Download PDF

Info

Publication number
KR101394493B1
KR101394493B1 KR1020130021950A KR20130021950A KR101394493B1 KR 101394493 B1 KR101394493 B1 KR 101394493B1 KR 1020130021950 A KR1020130021950 A KR 1020130021950A KR 20130021950 A KR20130021950 A KR 20130021950A KR 101394493 B1 KR101394493 B1 KR 101394493B1
Authority
KR
South Korea
Prior art keywords
label
event
image
merging
stack
Prior art date
Application number
KR1020130021950A
Other languages
English (en)
Inventor
이명진
정재원
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020130021950A priority Critical patent/KR101394493B1/ko
Application granted granted Critical
Publication of KR101394493B1 publication Critical patent/KR101394493B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 처리 기법 중 하나인 연결성분 라벨링에 대한 하드웨어 설계 기술로, 단일 스캔 라벨링 처리을 함에 있어 라벨 병합 기간이 존재하지 않는 라벨러에 대하여 구체적인 방법과 구조에 관한 내용을 포함한다.

Description

라벨 병합 기간이 없는 단일 스캔 라벨러{Single-Pass Labeler Without Label Merging Period}
본 발명은 영상 라벨러에 관한 것으로서, 상세하게는 단일 스캔 라벨링시 영상 화소 스캔과 동시에 라벨 병합을 수행함으로써 추가의 라벨 병합 과정을 실행하지 않아 라벨링 처리 시간을 줄일 수 있는 스캔 라벨러에 관한 것이다.
2000년대에 접어들면서 보안, 치안 그리고 범죄 예방 등에 관련된 비디오 보안 시스템이 이슈화 되고 있다. 비디오 코딩과 IP 네트워크 기술의 빠른 발전으로 인하여 비디오 보안 시스템은 VCR(Video Cassette Recorder)방식에서 DVR(Digital Video Recorder)방식으로 대처되었고, 이는 실시간 비디오 보안 시스템을 가능케 하였다. 이전의 비디오 보안 시스템은 임베디드 DVR에서 전송된 모든 비디오 영상들을 중앙관리 시스템에서 분석하는 중앙 집중화된 비디오 분석 시스템이었다. 하지만 이와 같은 방식은 중앙관리시스템에서 전송 받은 비디오 영상을 모두 분석해야함으로 많은 계산 자원이 필요로 하는 문제점이 있었다. 또한 압축과정에서 발생하는 양자화 오류가 더해진 비디오 영상을 분석해야함으로 정확한 비디오 분석을 수행하기 힘들었다. 따라서 비디오 보안 시스템은 DVR에서 비디오 분석이 이루어지는 분산된 비디오 분석기를 기반한 구조로 진화하였으며, 이는 중앙관리 시스템의 많은 계산 자원을 줄일 수 있게 하였고, 양자화 오류가 없는 비디오 영상을 분석할 수 있게 하여 보다 정확한 비디오 분석을 가능케 하였다. 또한 전송받은 비디오 이미지 중 이벤트가 발생된 영상만을 선택적으로 택하여 보다 효율적인 관리를 할 수 있게 하였다.
통상적으로 DVR의 비디오 분석기에서는 비디오 영상을 크게 영상 전처리(Image preprocessing), 배경영상 처리(Background image processing), 차영상처리(Difference image processing), 라벨링(Labeling)의 4단계로 나누어 분석한다.
이러한 영상 분석 과정을 통해 영상을 분석하기 위해서는 많은 연산량을 필요로 하기 때문에 비디오 분석기는 하드웨어의 병렬 연산을 통하여 구현되며, 이를 소프트웨어로 제어하는 비디오 분석 코프로세서(co-processor)로 이루어진다.
이러한 영상 처리 과정에서 영상 중 특정 영상만 추출하는 과정이 라벨링 과정으로 이러한 라벨러(Labeler)를 하드웨어로 구현하기 위해서는 많은 로직 수가 필요로 문제점이 있다. 이러한 문제는 하나의 라벨러를 이용하여 다 채널 비디오 영상을 처리를 할 수 있게 함으로써 해결할 수 있고, 다채널 라벨러를 구현하기 위해서는 라벨링 처리시간을 최소화시켜야 된다. 특히, 실시간 보안 시스템에서는 라벨러의 처리 속도가 이슈화되고 있고, 이러한 요구에 맞추어 처리속도를 낮추기 위한 기술로 특허문헌 1내지 3이 있다, 이들 기술은 반복 처리로 인하여 라벨링 처리 속도가 늦어지는 것을 방지하기 위해, 이중 스캔 라벨링 방식을 이용한 것이다. 이러한 이중 스캔 라벨링 방법은 한 장의 비디오 영상에 대하여 2번의 영상 스캔을 통하여 라벨링 처리하는 것으로, 첫 번째 영상 스캔을 통하여 각 픽셀에 대하여 잠재적인 라벨을 부여하고, 두 번째 영상 스캔을 통하여 라벨 병합 처리하면서 최종적인 라벨을 부여하는 방식으로 라벨링 처리를 한다. 이와 같은 방식은 비디오 영상의 물체 정보를 추출하기 위하여 두 번의 영상 스캔 과정이 필요로 하기 때문에 빠른 영상정보 처리를 요구하는 실시간 보안 시스템에는 부적합하다.
이에 따라 라벨링 속도를 높이기 위해 단일 스캔 라벨러로 비특허문헌 1의 기술이 개발되었다.
도 1에서 보는 바와 같이 이중 스캔 라벨러의 스캔 과정과는 다르게 단일 스캔 라벨러는 한 번의 영상 스캔을 통하여 라벨링 처리를 한다. 즉, 라벨을 부여함과 동시에 라벨 병합을 처리 한다. 즉, 비디오 영상이 들어옴과 동시에 라벨링 처리를 할 수 있게 됨으로써 단일 스캔 라벨러는 이중 스캔 라벨러보다 실시간 보안 시스템에 적합하게 된다.
그러나 기존의 단일 스캔 라벨러는 한 번의 영상 스캔을 통하여 라벨을 부여하고 라벨의 병합을 처리하지만, 라벨을 부여함과 동시에 라벨 병합을 처리 못하는 문제점을 가지고 있다. 즉, 이미지 스캔 기간 동안 라벨을 부여하고 라벨 병합 기간 동안 라벨 병합을 처리한다.
즉, 이미지 스캔 기간 이외의 라벨 병합 기간이 소요된다. 이러한 단일 스캔 라벨러는 실시간 감시 시스템에는 적용될 수는 있으나, 하나의 라벨러를 통하여 다채널 실시간 감시 시스템에는 적용되기 어렵다. 그 이유는 동시에 여러 채널에서 전송되는 비디오 영상이 특정 메모리(memory)에 저장되며, 이러한 환경에서는 기존에 라벨 병합 기간을 도 2에서 보는 바와 같이 영상의 수평 블랭킹 기간(horizontal blanking period)를 사용하여 실시간 처리할 수 없기 때문이다. 또한 한 라인에서 발생하는 라벨 병합수가 영상의 패턴에 따라 달라짐으로 한 장의 비디오 영상을 처리하는데 필요한 클럭(clocks) 수가 유동적임으로, 시스템을 구축하는데 있어 어려움이 있다.
1. 미국 특허공고 제2011/0158534호 2. 미국 특허공고 제2010/0021061호 3. 미국 특허공고 제2009/0309979호
1. D. G. Bailey, C. T. Johnston, Single Pass Connected Components Analysis, Proc. Image and Vision Computing New Zealand, pp. 282??287, Dec. 2007.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 개발된 것으로서, 단일 스캔 라벨링시 영상 화소 스캔과 동시에 라벨 병합을 수행함으로써 추가의 라벨 병합 과정을 실행하지 않아 라벨링 처리 시간을 줄일 수 있는 스캔 라벨러를 제공하는 것을 목적으로 한다.
이러한 본 발명은 물체와 배경으로 구분되는 이진영상에 대하여 8방향 인접 라벨링 처리를 단일 스캔으로 처리하며, 라벨병합 기간을 따로 두지 않고 이미지 스캔 기간만을 활용하여 라벨링 처리하는 것을 특징으로 한다.
또한, 본 발명에 의한 라벨러는 현재 들어오는 픽셀(pixel)과 이웃 픽셀(pixel)에 관하여 8방향 인접성을 검사하고 라벨을 할당 및 병합하는 연결요소체커(Connected Components Checker)(10); 각 물체의 영상에 부여될 라벨을 관리하는 라벨스택(Label Stack)(20); 라벨을 이동시키는 복수의 라벨 시프트 레지스터(Label Shift Register)(30); 및 각 영상의 바운딩 박스(bound box)와 무게중심의 정보를 관리하는 정보추출기(Information Extractor)(40)로 이루어질 수 있다.
상기 라벨시프트 레지스터들 사이에는 LMP(Label Merging Period)를 제거하기 위한 컨디셔날 셀렉터(Sn)가 더 구비하고, 상기 라벨스택은 효과적인 메모리 사용을 위해 스택 구조로 설계되어 이벤트에 따른 연산 처리 및 사용했던 라벨을 재사용 할 수 있게 한다.
상기 연결요소체커에서 이루어지는 라벨링 과정에서 발생하는 이벤트(event)는 입력 픽셀P가 물체 영상이고 이웃 픽셀이 모두 배경 영상일 때 발생하는 신규라벨할당(new label allocation) 이벤트, 입력 픽셀P가 물체 영상이고 하나 이상의 이웃 픽셀이 물체 영상이며 이들이 모두 같은 라벨을 부여받았을 경우 발생하는 이웃라벨할당(neighboring label allocation) 이벤트, 입력 픽셀P가 물체 영상이고 두 개 이상의 이웃 픽셀들이 물체 영상일뿐만 아니라 이들 중 서로 다른 라벨이 존재할 때 발생하는 라벨병합(label merging) 이벤트, 및 입력 픽셀P가 배경 영상일 때 발생하는 노 이벤트(no event)로 이루어진다.
또한, 상기 라벨병합 이벤트에서는 라벨이 작은 쪽으로 라벨 병합되고, 신규라벨할당 이벤트와 이웃라벨할당 이벤트는 현재 픽셀과 이웃픽셀간의 관계에 의해 발생하되, 이웃 픽셀은 8개인 것이 바람직하다.
상기 이벤트가 라벨병합 이벤트이고, 시프트라벨(
Figure 112013018157718-pat00001
)과 머지라벨(
Figure 112013018157718-pat00002
)이 같을 경우 결과라벨(
Figure 112013018157718-pat00003
)은 체크라벨(
Figure 112013018157718-pat00004
)로 선택하며, 그 외의 경우 결과라벨(
Figure 112013018157718-pat00005
)은 시프트라벨(
Figure 112013018157718-pat00006
)을 선택하고, 상기 이벤트가 신규라벨할당 이벤트일 때에는 pop연산을 통해 새로운 라벨을 부여하고, 라벨병합 이벤트일 때 push연산을 통해 병합되는 라벨을 스택에 쌓을 수 있다.
또한, 상기 라벨병합 이벤트가 발생할 때 push연산을 통해 병합되는 라벨을 스택(stack)의 최상위(top)에 저장하여 이후 신규라벨할당 이벤트가 발생하였을 때 재사용할 수 있게 할 수 있고, 라벨병합 이벤트가 발생할 때 라벨 시프트 레지스터에 존재하는 모든 컨디셔널 셀렉터는 병렬을 이루어 라벨 병합의 결과를 반영하여 시프트(shif)시킴으로 이미지 스캔과 라벨 병합이 동시에 이루어질 수 있게 할 수 있다.
본 발명은 단일 스캔 라벨링 처리 과정에서 라벨 병합 기간을 제거하여 실시간 영상 처리를 보다 빠르고 효과적으로 할 수 있는 효과가 있다.
또한 본 발명은 라벨링 처리 시간이 최소화되고, 고정적이기 때문에 다채널 실시간 감시 시스템에 적용하기에 적합하다. 라벨 스택에서는 효과적인 라벨관리를 하기 때문에 라벨러를 구현하기 위해서 필요한 로직수를 줄일 수 있게 하는 효과를 가지게 된다.
도 1은 단일 스캔 라벨러와 이중 스캔 라벨러의 스캔방식 방향과 스캔횟수를 보여주는 개념도
도 2는 NTSC 아날로그 영상 신호의 블랭킹기간(blanking period) 및 액티브비디오(active video) 영역의 구성도
도 3은 본 발명에 의한 라벨 병합 기간이 없는 단일 스캔 라벨러의 구성도
도 4는 연결요소체커에서의 출력값에 관한 상태표
도 5는 임의의 시퀀스 영상에 대한 연결요소체커에서 발생되는 이벤트 결과
도 6은 임의의 시퀀스 영상에 대한 연결요소체커에서 발생되는 체크된 라벨 결과
도 7은 임의의 시퀀스 영상에 대한 연결요소체커에서 발생되는 병합 라벨 결과
도 8은 라벨스택의 구조 및 초기화, 연산결과에 따른 동작 도
도 9는 임의의 시퀀스 영상에 대한 라벨스택의 연산 동작
도 10은 라벨 시프트 레지스터의 시프트 레지스터의 구조
도 11은 라벨 시프트 레지스터들 사이에 존재하는 컨디션셀렉터 1의 동작 상태표
도 12는 라벨병합 이벤트가 발생하였을 때의 라벨 시프트 레지스터 안에 저장되어 있는 라벨 값의 변화
도 13는 컨디셔널 셀렉터 2와 3의 이미지의 경계에서의 동작
도 14는 정보추출기의 구조
도 15는 정보추출기에서 추출한 바운드 박스와 무게중심의 모형도
도 16은 임의의 시퀀스에 대한 정보추출기에서 추출되는 바운드 박스 정보
도 17은 임의의 시퀀스에 대한 정보추출기에서 추출되는 무게중심 정보
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명은 하드웨어로 구현한 라벨러(labeler)이며, 라벨병합 기간이 따로 존재하지 않는 단일 스캔 라벨러이다.
도 3은 본 발명의 전체적인 라벨러의 구조를 나타낸 것으로서, 연결요소체커(Connected Components Checker)(10), 라벨스택(Label Stack)(20), 라벨 시프트 레지스터(Label Shift Register)(30) 그리고 정보추출기(Information Extractor)(40)로 이루어진다.
상기 연결요소체커(10)는 현재 들어오는 픽셀(pixel)P와 이웃 픽셀(pixel) A, B, C, D에 관하여 8방향 인접성을 검사하는 동작을 한다.
상기 라벨스택(20)은 라벨의 관리하고 있으며, 효율적인 라벨 관리를 위하여 스택(stack) 구조로 설계 되었다.
상기 라벨 시프트 레지스터(30)는 총 이미지의 Width + 1만큼의 연속된 시프트 레지스터(shift register)들로 구성되어 있으며, 이들 레지스터에는 도 3에서 보는 바와 같이 픽셀마스크(pixel mask)의 D의 위치부터 A까지의 라벨 정보를 담고 있다. 또한 라벨병합기간(LMP, Label Merging Period)를 없애기 위하여 각 시프트 레지스터 사이에 컨디셔널 셀렉터(conditional selector)(Sn)이 위치되어 있다.
상기 정보추출기(40)는 각 물체들의 바운딩 박스(bound box), 무게중심의 정보를 관리한다.
상기 연결요소체커(10)는 입력 픽셀P와 이웃 픽셀 A, B, C, D의 라벨 정보를 받는다. 도 4와 같이 연결요소체커(10)는 정보를 검사를 하여 이벤트(event), 머지라벨(
Figure 112013018157718-pat00007
), 체크라벨(
Figure 112013018157718-pat00008
)를 검사하고, 그 결과를 라벨스택(20), 라벨 시프트 레지스터(30) 및 정보추출기(40)에 전달한다.
이벤트는 신규라벨할당(new label allocation) 이벤트, 이웃라벨할당(neighboring label allocation) 이벤트, 라벨병합(label merging) 이벤트 그리고 노 이벤트(no event)가 있다.
신규라벨할당 이벤트는 입력 픽셀P가 물체 영상(또는 이미지, 이하 "영상"으로 통칭함)이고, 이웃 픽셀이 모두 배경 영상일 때 발생된다.
이웃라벨할당 이벤트는 입력 픽셀P가 물체 영상이고, 하나 이상의 이웃 픽셀이 물체 영상이고, 그것들이 모두 같은 라벨을 부여받았을 경우 발생한다.
라벨병합 이벤트는 입력 픽셀P가 물체 영상이고, 두 개 이상의 이웃 픽셀들이 물체 영상이며, 그것들 중 서로 다른 라벨이 존재할 때 발생하며, 라벨이 작은 쪽으로 라벨 병합이 된다.
노 이벤트는 입력 픽셀P가 배경 영상일 때 발생한다. 이러한 이벤트는 도 5와 같이 출력된다.
체크라벨(
Figure 112013018157718-pat00009
)은 입력 픽셀P에 할당되는 라벨로서 출력되고, 노 이벤트가 발생할 때는 라벨을 부여 받지 않는 디폴트(default) 값인 0이 할당되며, 신규라벨할당 이벤트일 때는 새로운 라벨을 할당받는다.
또한, 이웃라벨할당 이벤트일 때는 이웃한 픽셀의 라벨을 할당받으며, 라벨병합 이벤트일 때는 라벨 병합을 되는 서로 다른 두 라벨 중 작은 라벨로써 할당받는다. 체크라벨(
Figure 112013018157718-pat00010
)은 도 6과 같이 출력된다.
머지라벨(
Figure 112013018157718-pat00011
)은 라벨병합 이벤트가 발생할 때, 병합되는 라벨인 서로 다른 두 라벨 중 큰 라벨로서 할당받으며, 다른 이벤트에 관해서는 디폴트인 0을 할당받게 된다. 미지라벨(
Figure 112013018157718-pat00012
)은 도 7과 같이 출력된다.
상기 라벨스택(20)은 앞으로 사용될 라벨을 저장하고 있으며, 효율적인 메모리 사용을 위하여 도 8과 같이 스택 구조를 이루고 있고, 각 물체 영상에게 부여될 라벨을 관리하며, 상기 연결요소체커(10)로부터 출력되는 이벤트를 이용하여 동작을 한다.
상기 라벨스택(20)은 도 8(a)와 같이 오름차순으로 초기화되어 앞으로 사용될 라벨이 저장되고, 이벤트에 따라 연산을 한다. 톱라벨(
Figure 112013018157718-pat00013
) 위치에는 신규라벨할당 이벤트가 발생하였을 때 사용되는 라벨이 저장되어 있고, 도 8(b)와 같이 pop연산을 하여 현재 픽셀에 부여한다.
또한 라벨병합 이벤트가 발생하였을 때는 도 8(c)와 같이 머지라벨(
Figure 112013018157718-pat00014
)을 라벨스택(20)의 톱라벨(
Figure 112013018157718-pat00015
) 위치에 push연산을 한다. 이로 인하여 사용되었던 하위 라벨을 재사용 할 수 있게 된다. 사용되었던 하위 라벨을 재사용하는 목적은 라벨 관리를 체계적으로 하는 것과 효율적인 메모리 사용을 하기 위해서이다. 하나의 라벨을 저장하기 위하여 사용되어야 할 메모리의 크기는
Figure 112013018157718-pat00016
bit이며, 총 라벨스택(20)의 크기는
Figure 112013018157718-pat00017
bit로 설계되었다. 도 9는 상기 라벨스택(20)의 동작의 예를 보여주는 도표이다.
상기 라벨시프트 레지스터(30)는 도 10에 도시한 바와 같은 시프트 레지스터들이 영상의 넓이(width)+1만큼 연속으로 이어진 구조로써 설계되고, 입력픽셀P에 할당된 라벨이 라벨레지스터(R0)에 큐(queue)하여 한 라인의 이미지 스캐닝기간(ISP) 동안 이웃 라벨레지스터(Rn)에 시프트된다.
각 시프트 레지스터 사이에는 결과라벨(
Figure 112013018157718-pat00018
)을 결정해주는 스캐닝동안 라벨병합(label merging)을 실시간으로 적용시키는 컨디셔널 셀렉터(S1)가 존재하며, 이는 라벨시프트 레지스터 안에 총 영상의 넓이만큼 존재한다. 컨디셔날 셀렉터(S1)는 이미지 스캐닝기간 동안 발생되는 라벨병합에 대하여 실시간으로 그 결과를 모든 이웃 라벨레지스터(Rn)에 반영하여 라벨병합기간(LMP)이 없이 이미지 스캐닝기간(ISP)만으로 라벨링을 할 수 있게 한다. 이는 도 11과 같이 이벤트에 따라 다르게 동작한다.
또한, 이웃 픽셀에 대한 정보를 저장하는 이웃라벨 레지스터(neighboring label registers)(RA, RB, RC, RD)가 있으며, 이들은 컨디셔널 셀렉터(conditional selector)(S2, S3)에 의해서 영상의 경계 조건을 검사하여 영상의 경계를 벋어날 경우에는 배경 라벨을 연결요소체커에게 제공하고, 경계를 벋어나지 않을 경우에는 이웃 픽셀의 라벨 정보를 연결요소체커에게 제공한다.
컨디셔널 셀렉터(S1)는 연결요소체커(10)에서 받은 이벤트(event), 머지라벨(
Figure 112013018157718-pat00019
), 체크라벨(
Figure 112013018157718-pat00020
)을 이용하여 실시간으로 라벨병합 처리를 한다. 컨디셔널 셀렉터(S1)의 출력한 결과값인 결과라벨(
Figure 112013018157718-pat00021
)을 레지스터(RL)에 시프트시킨다. 라벨 시프트 레지스터는 시프트 레지스터로 구성되어 있기 때문에 라벨병합 이벤트가 발생할 때 마다 라벨 시프트 레지스터에 있는 모든 시프트 레지스터에 적용 할 수 있게 됨으로써 기존의 단일 스캔 라벨러에서 발생하는 영상 스캔 기간 이외에 라벨 병합 기간을 필요로 하는 문제점을 해결하게 된다. 도 12는 라벨 병합 이벤트가 발생하였을 때의 라벨 시프트 레지스터 안에 저장되어 있는 라벨 값의 변화에 대한 예이다.
도 13에서의 컨디셔널 셀렉터(S2, S3)는 한 라인의 시작 또는 끝 지점을 제외하고 결과라벨(
Figure 112013018157718-pat00022
)을 선택하는 컨디셔널 셀렉터이다. 도 13에서 보는 바와 같이 이미지의 시작과 끝에는 이웃 픽셀이 전부 존재하지 않으므로 컨디셔널 셀렉터(S2)는 각 라인의 시작에서 이미지 경계의 밖을 의미하는 디폴트 값 0을 선택하고, 컨디셔널 셀렉터(S3)는 각 라인의 끝에서 이미지 경계의 밖을 의미하는 디폴트 값 0을 선택한다.
상기 정보추출기(40)는 도 14에 도시한 바와 같이 연결요소체커(10)에서 받은 정보와 픽셀 카운터(counter)에서 받은 x, y축의 값을 이용하여 물체의 바운딩 박스(bounding box), 무게 중심을 추출하여 관리한다. 각 물체 영상의 바운딩 박스는 도 15(a)과 같이 하나의 물체를 구성하고 있는 픽셀 중 가장 작은 x축의 시작점(Starting point)(SX), 가장 작은 y축의 시작점(SY), 가장 큰 x축의 종료점(Ending point)(EX), 그리고 가장 큰 y축의 종료점(EY)으로 구성된다.
정보추출기(40)에서 각 물체 영상의 바운딩 박스 정보는 도 16에 도시한 바와 같이, 신규라벨할당 이벤트, 이웃라벨할당 이벤츠, 라벨병합 이벤트에 대하여 각각의 방식으로 추출된다.
도 16의 각 바운딩 박스의 테이블에서 진하게 칠해져 있는 인덱스(index)들은 업로드(upload)된 인덱스이다. 도 16(a)에서 보는 바와 같이 초기에 모든 바운딩 박스의 테이블은 0으로 초기화 된다. 플래그(Flag)는 해당 라벨이 할당 되었다면 1, 할당되어 있지 않으면 0을 나타낸다. 도 16(b)는 신규라벨할당 이벤트가 발생하였을 때 바운딩 박스의 테이블이 업로드된 상태의 도표이다. 신규라벨할당 이벤트가 발생되면, 플래그는 0에서 1로 업로드(upload)되며, x축 시작점(SX), x축 종료점(EX)은 픽셀 카운터에서 받은 x, 그리고 y축 시작점(SY), y축 종료점(EY)는 픽셀 카운터에서 받은 y로 업로드된다. 도 16(c)는 이웃라벨할당 이벤트가 발생하였을 때, 바운딩 박스의 테이블이 업로드된 도표이다. 이웃라벨할당 이벤트가 발생되면, x축 시작점(SX), x축 종료점(EX), y축 종료점(EY)는 픽셀 카운터에서 받은 x, y과 수학식 1의 대소비교를 통하여 업로드된다. 여기서 y축 시작점(SY)은 업로드되지 않는다.
Figure 112013018157718-pat00023
(수학식 1)
도 16(d)는 라벨병합 이벤트가 발생하기 직전 바운딩 박스의 테이블이며, 도 16(e)는 라벨병합 이벤트가 발생하였을 때 바운딩 박스의 테이블이다. 여기서 라벨 2는 1로 병합되기 때문에 라벨 2의 인덱스들은 전부 0으로 초기화 된다. 또한 라벨 1의 x축 시작점(SX), y축 시작점(SY), x축 종료점(EX), y축 종료점(EY)은 수학식 2의 대소비교를 통하여 업로드된다.
Figure 112013018157718-pat00024
(수학식 2)
각 물체들의 중심(Center of Gravity)의 관한 정보는 아래의 수학식 3의 연산을 통하여 업로드된다. 각 라벨을 구성하는 픽셀들의 x축 좌표들의 합(Total of X-axis point)(TX)과, y축 좌표들의 합(Total of Y-axis point)(TY), 그리고 하나의 물체를 구성하는 픽셀의 수를 나타내는 라벨요소의 합(Total of Label components)(TL)의 누적을 통하여 무게중심 테이블에 업로드한다. 또한 도 15(b)에 도시한 X축 중심(Center of gravity of X-axis)(CX)은 x축 좌표들의 합(TX)을 y축 좌표들의 합(TL)으로 나눈 몫이며, Y축 중심(Center of gravity of Y-axis)(CY)은 y축 좌표들의 합(TY)을 라벨요소의 합(TL)로 나눈 몫이다.
Figure 112013018157718-pat00025
(수학식 3)
도 17(a)에서 보는 바와 같이 초기에 모든 무게중심 테이블은 0으로 초기화 된다. 도 17(b)는 신규라벨할당 이벤트가 발생하였을 때의 무게 중심 테이블이 업로드된 도표이다. 신규라벨할당 이벤트가 발생되면 픽셀 카운터에서 받은 x, y를 이용하여 수학식 3의 연산을 통하여 업로드된다. 도 17(c)는 이웃라벨할당 이벤트가 발생하였을 때, 무게중심 테이블이 업로드된 도표이다. 이웃라벨할당 이벤트가 발생하였을 때, 픽셀 카운터에서 받은 x, y를 이용하여 식 (2. 3)의 연산을 통하여 업로드된다. 도 17(d)는 라벨병합 이벤트가 발생하기 직전의 무게중심 테이블이 업로드된 도표이며, 도 17(e)는 라벨병합 이벤트가 발생하였을 때, 무게중심 테이블이 업로드된 도표이다. 여기서 라벨 2는 라벨 1로 병합되기 때문에 라벨 2의 인덱스들은 전부 0으로 초기화 된다. 또한 라벨 l의 인덱스들은 수학식 4의 연산을 통하여 업로드된다.
Figure 112013018157718-pat00026
(수학식 4)
10: 연결요소체커
20: 라벨스택
30: 라벨시프트 레지스터 30m: 픽셀마스크
S1~Sn: 컨디셔널 셀렉터
40: 정보추출기
50: 픽셀 카운터

Claims (11)

  1. 물체와 배경으로 구분되는 이진영상에 대하여 8방향 인접 라벨링 처리를 단일 스캔으로 처리하며, 라벨병합 기간을 따로 두지 않고 이미지 스캔 기간만을 활용하여 라벨링 처리하는 것을 특징으로 하는 스캔 라벨러.
  2. 제1항에 있어서,
    상기 라벨러는 현재 들어오는 픽셀(pixel)과 이웃 픽셀(pixel)에 관하여 8방향 인접성을 검사하하고 라벨을 할당 및 병합하는 연결요소체커(Connected Components Checker)(10);
    각 물체의 영상에 부여될 라벨을 관리하는 라벨스택(Label Stack)(20);
    라벨을 이동시키는 복수의 라벨 시프트 레지스터(Label Shift Register)(30); 및
    각 영상의 바운딩 박스(bound box)와 무게중심의 정보를 관리하는 정보추출기(Information Extractor)(40)로 이루어지는 것을 특징으로 하는 스캔 라벨러.
  3. 제2항에 있어서,
    상기 라벨시프트 레지스터들 사이에는 LMP(Label Merging Period)를 제거하기 위한 컨디셔날 셀렉터(Sn)가 더 구비된 것을 특징으로 하는 스캔 라벨러.
  4. 제2항에 있어서,
    상기 라벨스택은 효과적인 메모리 사용을 위해 스택 구조로 설계되어 이벤트에 따른 연산 처리 및 사용했던 라벨을 재사용 할 수 있는 것을 특징으로 하는 스캔 라벨러.
  5. 제2항에 있어서,
    상기 연결요소체커에서 이루어지는 라벨링 과정에서 발생하는 이벤트(event)는 입력 픽셀P가 물체 영상이고 이웃 픽셀이 모두 배경 영상일 때 발생하는 신규라벨할당(new label allocation) 이벤트, 입력 픽셀P가 물체 영상이고 하나 이상의 이웃 픽셀이 물체 영상이며 이들이 모두 같은 라벨을 부여받았을 경우 발생하는 이웃라벨할당(neighboring label allocation) 이벤트, 입력 픽셀P가 물체 영상이고 두 개 이상의 이웃 픽셀들이 물체 영상일뿐만 아니라 이들 중 서로 다른 라벨이 존재할 때 발생하는 라벨병합(label merging) 이벤트, 및 입력 픽셀P가 배경 영상일 때 발생하는 노 이벤트(no event)로 이루어지는 것을 특징으로 하는 스캔 라벨러.
  6. 제5항에 있어서,
    상기 라벨병합 이벤트에서는 라벨이 작은 쪽으로 라벨 병합되는 것을 특징으로 하는 스캔 라벨러.
  7. 제5항에 있어서,
    상기 신규라벨할당(new label allocation) 이벤트와 이웃라벨할당 이벤트는 현제 픽셀과 이웃픽셀간의 관계에 의해 발생하되, 이웃 픽셀은 8개인 것을 특징으로 하는 스캔 라벨러.
  8. 제5항에 있어서,
    상기 이벤트가 라벨병합 이벤트이고, 시프트라벨(
    Figure 112013018157718-pat00027
    )과 머지라벨(
    Figure 112013018157718-pat00028
    )이 같을 경우 결과라벨(
    Figure 112013018157718-pat00029
    )은 체크라벨(
    Figure 112013018157718-pat00030
    )로 선택하며, 그 외의 경우 결과라벨(
    Figure 112013018157718-pat00031
    )은 시프트라벨(
    Figure 112013018157718-pat00032
    )을 선택하는 것을 특징으로 하는 스캔 라벨러.
  9. 제5항에 있어서,
    상기 이벤트가 신규라벨할당 이벤트일 때에는 pop연산을 통해 새로운 라벨을 부여하고, 라벨병합 이벤트일 때 push연산을 통해 병합되는 라벨을 스택에 쌓는 것을 특징으로 하는 스캔 라벨러.
  10. 제9항에 있어서,
    상기 라벨병합 이벤트가 발생할 때 push연산을 통해 병합되는 라벨을 스택(stack)의 최상위(top)에 저장하여 이후 신규라벨할당 이벤트가 발생하였을 때 재사용할 수 있게 한 것을 특징으로 하는 스캔 라벨러.
  11. 제5항에 있어서,
    상기 라벨병합 이벤트가 발생할 때 라벨 시프트 레지스터에 존재하는 모든 컨디셔널 셀렉터는 병렬을 이루어 라벨 병합의 결과를 반영하여 시프트(shif)시킴으로 이미지 스캔과 라벨 병합이 동시에 이루어지는 것을 특징으로 하는 스캔 라벨러.
KR1020130021950A 2013-02-28 2013-02-28 라벨 병합 기간이 없는 단일 스캔 라벨러 KR101394493B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130021950A KR101394493B1 (ko) 2013-02-28 2013-02-28 라벨 병합 기간이 없는 단일 스캔 라벨러

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021950A KR101394493B1 (ko) 2013-02-28 2013-02-28 라벨 병합 기간이 없는 단일 스캔 라벨러

Publications (1)

Publication Number Publication Date
KR101394493B1 true KR101394493B1 (ko) 2014-05-14

Family

ID=50893967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021950A KR101394493B1 (ko) 2013-02-28 2013-02-28 라벨 병합 기간이 없는 단일 스캔 라벨러

Country Status (1)

Country Link
KR (1) KR101394493B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412374A (zh) * 2016-12-13 2017-02-15 长沙麦斯森信息科技有限公司 基于投影的图像连通域单次扫描方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003514305A (ja) 1999-11-12 2003-04-15 ゴー・センサーズ・エルエルシー マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法
US6731801B2 (en) 1999-03-31 2004-05-04 Minolta Co., Ltd. Image processing apparatus and method for recognizing specific pattern and recording medium having image processing program recorded thereon
KR20070035655A (ko) * 2005-09-28 2007-04-02 엘지전자 주식회사 영상 데이터 레이블링 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731801B2 (en) 1999-03-31 2004-05-04 Minolta Co., Ltd. Image processing apparatus and method for recognizing specific pattern and recording medium having image processing program recorded thereon
JP2003514305A (ja) 1999-11-12 2003-04-15 ゴー・センサーズ・エルエルシー マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法
KR20070035655A (ko) * 2005-09-28 2007-04-02 엘지전자 주식회사 영상 데이터 레이블링 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412374A (zh) * 2016-12-13 2017-02-15 长沙麦斯森信息科技有限公司 基于投影的图像连通域单次扫描方法及装置
CN106412374B (zh) * 2016-12-13 2018-12-11 长沙麦斯森信息科技有限公司 基于投影的图像连通域单次扫描方法及装置

Similar Documents

Publication Publication Date Title
US9830736B2 (en) Segmenting objects in multimedia data
US20210073569A1 (en) Pooling device and pooling method
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
KR101030430B1 (ko) 영상 처리 장치와 방법 및 그 기록매체
CN103098077A (zh) 实时视频帧预处理硬件
US11748986B2 (en) Method and apparatus for recognizing key identifier in video, device and storage medium
US8913842B2 (en) Image smoothing method based on content-dependent filtering
WO2021139197A1 (zh) 一种图像处理方法及装置
CN109740563B (zh) 一种面向视频监控的运动目标检测方法
US8948502B2 (en) Image processing method, and image processor
US20170069072A1 (en) Image processing apparatus, image processing system, and image processing method
US20210227173A1 (en) Image data processing method, data transmission apparatus, image display method and storage medium
US8229251B2 (en) Pre-processing optimization of an image processing system
JP2023002768A (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
KR101394493B1 (ko) 라벨 병합 기간이 없는 단일 스캔 라벨러
Jeong et al. A single-pass connected component labeler without label merging period
US8306111B2 (en) Image analysis using a hybrid connected component labeling process
US9934593B2 (en) Status determination system
CN104322057A (zh) 图案处理装置、图案处理方法和图案处理程序
CN103279973A (zh) 基于混合并行的立体图像匹配系统
US9679222B2 (en) Apparatus and method for detecting a feature in an image
JP3897306B2 (ja) 地理画像間変化領域の抽出の支援方法及び地理画像間変化領域の抽出を支援可能なプログラム
KR101392978B1 (ko) 하이브리드 병렬처리를 이용한 영상 내 영역 라벨링 장치 및 방법
Najmabadi et al. Stream Processing of Scientific Big Data on Heterogeneous Platforms--Image Analytics on Big Data in Motion
US20190188512A1 (en) Method and image processing entity for applying a convolutional neural network to an image

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180502

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee