KR20220126560A - 이중 임계범위 기반의 객체 추출장치 및 그 방법 - Google Patents

Abstract

본 발명은 이중 임계범위 기반의 객체 추출장치 및 그 방법에 관한 것으로서, 일실시예에 따른 객체 추출장치는 타겟 객체를 포함하는 이미지를 수신하는 이미지 수신부와, 수신된 이미지에 대응되는 제1 임계범위와 제1 임계범위 보다 넓은 범위를 갖는 제2 임계범위를 산출하는 임계범위 산출부 및 수신된 이미지에 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 수신된 이미지에 제2 임계범위를 적용하여 제2 결과 이미지를 생성하며, 생성된 제1 결과 이미지와 생성된 제2 결과 이미지간의 인접성 분석을 통해 타겟 객체에 대응되는 객체 이미지를 생성하는 인접성 분석부를 포함한다.

Description

이중 임계범위 기반의 객체 추출장치 및 그 방법{APPARATUS FOR EXTRACTING OBJECT BASED ON MULTI THRESHOLD AND METHOD THEREOF}

본 발명은 객체 추출장치 및 그 방법에 관한 것으로, 보다 상세하게는 이중 임계범위를 적용하여 타겟 객체를 추출하는 기술적 사상에 관한 것이다.

영상에서 색상은 매우 중요한 정보로서 다양한 응용분야에서 이를 성공적으로 추출하기 위한 많은 연구가 진행되었다.

대표적인 사례로서 운전자 보조 시스템에서의 교통 표지판 검출, 사람의 피부색을 기준으로 하는 얼굴 영역 추출, 시각 장애인의 보행을 돕기 위한 점자블록의 검출 등을 들 수 있다.

특정 색상을 추출하는 전형적인 방법은 색 공간을 변환하고 각 성분별로 적절한 임계값을 설정하여 필터링을 수행하는 것이다. 그리고 불필요한 잡음을 제거하기 위해 모폴로지 등의 후처리 작업을 수행하는 것이 일반적이다.

색상 필터링 성능에 가장 핵심적으로 영향을 미치는 과정은 임계범위(또는 임계값)을 적절하게 설정하는 것이다. 이를 위해 성분별 히스토그램을 분석하거나 형태적인 특징을 결합하는 등의 방법을 이용 하기도 한다.

그러나, 최적 임계범위는 주위의 조명 환경에 따라 달라지고 심지어 동일한 영상 내에서도 위치에 따라 달라지기 때문에 임계값을 적절하게 설정한다는 것은 쉽지 않은 문제이다. 이러한 현상은 야외 상황에서 특히 두드러지게 나타나게 되며, 이로 인해 야외에 위치한 객체를 정확히 검출하는데 어려움을 겪고 있다.

한국등록특허 제10-1896357호, "객체를 검출하는 방법, 디바이스 및 프로그램"

본 발명은 이중 임계범위를 적용하여, 타겟 객체(타겟 색상) 추출을 위한 최적 임계값이 이미지 내의 위치에 따라 변동하는 문제에 대응할 수 있는 객체 추출장치 및 그 방법을 제공하고자 한다.

또한, 본 발명은 이중 임계 범위를 하나는 좁은 범위로, 다른 하나는 넓은 범위로 설정하고, 각각의 범위에 해당하는 화소들의 인접성을 분석하여 타겟 객체를 보다 정확하게 검출할 수 있는 객체 추출장치 및 그 방법을 제공하고자 한다.

본 발명의 일실시예에 따른 객체 추출장치는 타겟 객체를 포함하는 이미지를 수신하는 이미지 수신부와, 수신된 이미지에 대응되는 제1 임계범위와 제1 임계범위 보다 넓은 범위를 갖는 제2 임계범위를 산출하는 임계범위 산출부 및 수신된 이미지에 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 수신된 이미지에 제2 임계범위를 적용하여 제2 결과 이미지를 생성하며, 생성된 제1 결과 이미지와 생성된 제2 결과 이미지간의 인접성 분석을 통해 타겟 객체에 대응되는 객체 이미지를 생성하는 인접성 분석부를 포함할 수 있다.

일측에 따르면, 임계범위 산출부는 HSV 색 공간을 구성하는 색상 성분(hue), 명도 성분(value) 및 채도 성분(saturation) 각각에 대응되는 제1 임계범위와 제2 임계범위를 산출할 수 있다.

일측에 따르면, 임계범위 산출부는 수신된 이미지를 복수의 영역으로 분할하고, 분할된 영역 각각에 대응되는 임계범위를 산출할 수 있다.

일측에 따르면, 임계범위 산출부는 분할된 영역 각각에 대응되는 임계범위 중 적어도 둘 이상의 임계범위에 기초한 연산을 통해 제1 임계범위와 제2 임계범위를 산출할 수 있다.

일측에 따르면, 임계범위 산출부는 적어도 둘 이상의 임계범위의 교집합을 제1 임계범위로 산출하고, 적어도 둘 이상의 임계범위의 합집합을 제2 임계범위로 산출할 수 있다.

일측에 따르면, 임계범위 산출부는 적어도 둘 이상의 임계범위를 이용하여 HSV 색 공간을 구성하는 색상 성분, 명도 성분 및 채도 성분 각각에서 중심 성분을 산출하고, 산출된 중심 성분에 기초하여 제1 임계범위와 제2 임계범위를 산출할 수 있다.

일측에 따르면, 인접성 분석부는 생성된 제1 결과 이미지에서 타겟 객체에 대응되는 제1 타겟 영역을 추출하고, 제2 결과 이미지에서 추출된 제1 타겟 영역과 기설정된 임계 거리 이내로 인접한 영역을 제2 타겟 영역으로 추출할 수 있다.

일측에 따르면, 인접성 분석부는 추출된 제1 타겟 영역과 추출된 제2 타겟 영역의 합집합을 이용하여 객체 이미지를 생성할 수 있다.

일측에 따르면, 일실시예에 따른 객체 추출장치는 모폴로지 연산을 통해 생성된 객체 이미지에서 잡음 성분을 제거하는 모폴로지부를 더 포함할 수 있다.

일측에 따르면, 타겟 객체는 점자 블록 및 표지판 중 적어도 하나를 포함할 수 있다.

본 발명의 일실시예에 따른 객체 추출방법은 이미지 수신부에서 타겟 객체를 포함하는 이미지를 수신하는 단계와, 임계범위 산출부에서 수신된 이미지에 대응되는 제1 임계범위와 제1 임계범위 보다 넓은 범위를 갖는 제2 임계범위를 산출하는 단계 및 인접성 분석부에서 수신된 이미지에 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 수신된 이미지에 제2 임계범위를 적용하여 제2 결과 이미지를 생성하며, 생성된 제1 결과 이미지와 생성된 제2 결과 이미지간의 인접성 분석을 통해 타겟 객체에 대응되는 객체 이미지를 생성하는 단계를 포함할 수 있다.

일실시예에 따르면, 본 발명은 이중 임계범위를 적용하여, 타겟 객체(타겟 색상) 추출을 위한 최적 임계값이 이미지 내의 위치에 따라 변동하는 문제에 대응할 수 있다.

일실시예에 따르면, 본 발명은 이중 임계 범위를 하나는 좁은 범위로, 다른 하나는 넓은 범위로 설정하고, 각각의 범위에 해당하는 화소들의 인접성을 분석하여 타겟 객체를 보다 정확하게 검출할 수 있다.

도 1은 일실시예에 따른 객체 추출장치를 설명하기 위한 도면이다.
도 2a는 내지 도 2d는 일실시예에 따른 객체 추출장치를 이용하여 타겟 객체를 추출하는 예시를 설명하기 위한 도면이다.
도 3a 내지 도 3c는 일실시예에 따른 객체 추출장치에서 영역별 임계범위를 산출하는 예시를 설명하기 위한 도면이다.
도 4a 내지 도 4b는 단일 임계범위를 이용하여 타겟 객체를 산출하는 예시를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 객체 추출장치의 타겟 객체 추출 성능을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 객체 추출방법을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 객체 추출방법을 보다 구체적으로 설명하기 위한 도면이다.

이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.

실시 예 및 이에 이용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.

하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 이용이자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 이용될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.

"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 이용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.

본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 이용될 수 있다.

어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.

예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.

또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.

즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.

상술한 구체적인 실시 예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다.

그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 상술한 실시 예들이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.

한편 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 다양한 실시 예들이 내포하는 기술적 사상의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 일실시예에 따른 객체 추출장치를 설명하기 위한 도면이다.

도 1을 참조하면, 일실시예에 따른 객체 추출장치(100)는 이중 임계범위를 적용하여, 타겟 객체(타겟 색상) 추출을 위한 최적 임계값이 이미지 내의 위치에 따라 변동하는 문제에 대응할 수 있다.

또한, 객체 추출장치(100)는 이중 임계 범위를 하나는 좁은 범위로, 다른 하나는 넓은 범위로 설정하고, 각각의 범위에 해당하는 화소들의 인접성을 분석하여 타겟 객체를 보다 정확하게 검출할 수 있다.

이를 위해, 객체 추출장치(100)는 이미지 수신부(110), 임계범위 산출부(120), 인접성 분석부(130) 및 모폴로지부(140)를 포함할 수 있다.

일실시예에 따른 이미지 수신부(110)는 타겟 객체를 포함하는 이미지를 수신할 수 있다.

예를 들면, 타겟 객체는 점자 블록 및 표지판 중 적어도 하나를 포함할 수 있으나, 일실시예에 따른 타겟 객체는 이에 한정되지 않고, 실내/실외 환경에서 색상을 통해 주위 배경과 구분될 수 있는 모든 객체를 포함할 수 있다.

일실시예에 따른 임계범위 산출부(120)는 이미지 수신부(110)를 통해 수신된 이미지에 대응되는 제1 임계범위와 제1 임계범위 보다 넓은 범위를 갖는 제2 임계범위를 산출할 수 있다. 다시 말해, 제1 임계범위는 상대적으로 좁은 범위, 제2 임계범위는 상대적으로 넓은 범위로 설정될 수 있다.

일측에 따르면, 임계범위 산출부(120)는 HSV 색 공간을 구성하는 색상 성분(hue), 명도 성분(value) 및 채도 성분(saturation) 각각에 대응되는 제1 임계범위와 제2 임계범위를 산출할 수 있다.

다시 말해, 제1 임계범위 및 제2 임계범위 각각은 HSV 색 공간에서 기설정된 색상 임계범위(색상 하한값 ≤ H ≤ 색상 상한값), 기설정된 명도 임계범위(명도 하한값 ≤ S ≤ 명도 상한값) 및 기설정된 채도 임계범위(채도 하한값 ≤ V ≤ 채도 상한값)를 포함할 수 있다.

일측에 따르면, 임계범위 산출부(120)는 이미지 수신부(110)를 통해 수신된 이미지를 복수의 영역으로 분할하고, 분할된 영역 각각에 대응되는 임계범위를 산출할 수 있다.

예를 들면, 임계범위 산출부(120)는 수신된 이미지를 가로 방향 및/또는 세로 방향으로 분리하여, 적어도 둘 이상의 서브 영역을 형성할 수 있다.

보다 구체적인 예를 들면, 임계범위 산출부(120)는 수신된 이미지를 세로 방향 기준 3개의 서브 영역으로, 즉 상단 영역, 중간 영역 및 하단 영역으로 분할할 수 있다.

일측에 따르면, 임계범위 산출부(120)는 분할된 영역 각각에 대응되는 임계범위 중 적어도 둘 이상의 임계범위에 기초한 연산을 통해 제1 임계범위와 제2 임계범위를 산출할 수 있다.

구체적으로, 임계범위 산출부(120)는 적어도 둘 이상의 임계범위의 교집합을 제1 임계범위, 즉 좁은 임계범위로 산출하고, 적어도 둘 이상의 임계범위의 합집합을 제2 임계범위, 즉 넓은 임계범위로 산출할 수 있다.

또한, 임계범위 산출부(120)는 적어도 둘 이상의 임계범위를 이용하여 HSV 색 공간을 구성하는 색조 성분, 명도 성분 및 채도 성분 각각에서 중심 성분을 산출하고, 산출된 중심 성분에 기초하여 제1 임계범위와 제2 임계범위를 산출할 수도 있다.

일실시예에 따른 인접성 분석부(130)는 이미지 수신부(110)를 통해 수신된 이미지에 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 수신된 이미지에 제2 임계범위를 적용하여 제2 결과 이미지를 생성하며, 생성된 제1 결과 이미지와 생성된 제2 결과 이미지간의 인접성 분석을 통해 타겟 객체에 대응되는 객체 이미지를 생성할 수 있다.

다시 말해, 인접성 분석부(130)는 좁은 임계범위인 제1 임계범위를 적용하여 타겟 객체가 확실히 존재하는 제1 결과 이미지와, 넓은 임계범위인 제2 임계범위를 적용하여 타겟 객체가 존재할 가능성이 있는 제2 결과 이미지를 생성할 수 있다.

일측에 따르면, 인접성 분석부(130)는 생성된 제1 결과 이미지에서 타겟 객체에 대응되는 제1 타겟 영역을 추출하고, 제2 결과 이미지에서 추출된 제1 타겟 영역과 기설정된 임계 거리 이내로 인접한 영역을 제2 타겟 영역으로 추출할 수 있다.

또한, 인접성 분석부(130)는 추출된 제1 타겟 영역과 추출된 제2 타겟 영역의 합집합을 이용하여 객체 이미지를 생성할 수 있다.

다시 말해, 인접성 분석부(130)는 타겟 객체가 확실한 제1 타겟 영역과 함께, 인접한 제2 타겟 영역 또한 타겟 객체로 판단하여, 제1 타겟 영역과 제2 타겟 영역을 타겟 객체에 대응되는 영역으로 추출할 수 있다.

일실시예에 따른 모폴로지부(140)는 모폴로지 연산을 통해 생성된 객체 이미지에서 잡음 성분을 제거할 수 있다.

다시 말해, 모폴로지부(140)는 타겟 객체에 대응되는 영역을 포함하는 객체 이미지에 모폴로지를 적용하여 불필요한 잡음을 제거하여 타겟 객체를 보다 정확하게 추출할 수 있다.

도 2a는 내지 도 2d는 일실시예에 따른 객체 추출장치를 이용하여 타겟 객체를 추출하는 예시를 설명하기 위한 도면이다.

도 2a 내지 도 2d를 참조하면, 객체 추출장치는 타겟 객체를 포함하는 이미지를 수신할 수 있다. 여기서, 타겟 객체는 점자 블록일 수 있다.

구체적으로, 수신한 이미지의 하단을 중심으로 임계범위를 설정하는 경우에는 이미지 상단의 점자블록이 제대로 추출되지 않고 반대로 이미지 상단을 중심으로 임계범위를 설정하는 경우에도 점자블록이 제대로 추출되지 않는 상황이 발생될 수 있다.

이에, 객체 추출장치는 최적 임계값이 이미지 내의 위치에 따라 변동하는 문제에 대응하기 위해 이중 임계범위를 적용할 수 있다.

구체적으로, 객체 추출장치는 수신된 이미지에 대응되는 제1 임계범위(좁은 범위)와 제2 임계범위(넓은 범위)를 산출할 수 있다.

여기서, 제1 임계범위를 구성하는 색상 임계범위는 15 내지 20, 명도 임계범위는 49 내지 60, 채도 임계범위는 118 내지 226이며, 제2 임계범위의 색상 임계범위는 9 내지 25, 명도 임계범위는 3 내지 101, 채도 임계범위는 158 내지 227일 수 있다.

다음으로, 객체 추출장치는 수신된 이미지에 제1 임계범위를 적용하여 점자 블록으로 확실시되는 영역을 포함하는 제1 결과 이미지(210)를 생성하고, 수신된 이미지에 제2 임계범위를 적용하여 점자 블록일 가능성이 있는 영역을 포함하는 제2 결과 이미지(220)를 생성할 수 있다.

다음으로, 객체 추출장치는 제1 결과 이미지(210)와, 제2 결과 이미지(220)간의 인접성 분석을 통해, 최종적인 점자 블록 영역을 포함하는 객체 이미지(230)를 생성할 수 있다.

다음으로, 객체 추출장치는 객체 이미지(230)에 모폴로지를 적용하여 불필요한 잡음이 제거된 객체 이미지(240)를 생성할 수 있다.

즉, 객체 추출장치는 좁은 범위와 넓은 범위의 이중 임계범위를 적용함으로써, 이미지 전체에 단일 임계범위를 적용하는 경우에 비해 타겟 객체의 검출 성능을 향상시킬 수 있다.

도 3a 내지 도 3c는 일실시예에 따른 객체 추출장치에서 영역별 임계범위를 산출하는 예시를 설명하기 위한 도면이다.

도 3a 내지 도 3c를 참조하면, 객체 추출장치는 타겟 객체인 점자 블록을 포함하는 이미지를 수신하고, 수신한 이미지를 상단 영역(310), 중간 영역(320) 및 하단 영역(330)으로 분할하며, 분할된 영역들(310 내지 330) 각각에 대응되는 임계범위를 산출할 수 있다.

예를 들면, 객체 추출장치는 상단 영역(310), 중간 영역(320) 및 하단 영역(330) 각각에 대응되는 임계범위를 ground truth와의 IOU(intersection over uni on)를 기준으로 산출할 수 있다.

보다 구체적으로, 객체 추출장치는 상단 영역(310)의 임계범위를 구성하는 색상 임계범위는 9 내지 25, 명도 임계범위는 3 내지 67, 채도 임계범위는 165 내지 227로 산출할 수 있다.

또한, 객체 추출장치는 중간 영역(320)의 임계범위를 구성하는 색상 임계범위는 11 내지 20, 명도 임계범위는 24 내지 60, 채도 임계범위는 188 내지 226으로 산출할 수 있다.

또한, 객체 추출장치는 하단 영역(330)의 임계범위를 구성하는 색상 임계범위는 15 내지 22, 명도 임계범위는 49 내지 101, 채도 임계범위는 158 내지 227으로 산출할 수 있다.

한편, 객체 추출장치는 상단 영역(310)의 임계범위, 중간 영역(320)의 임계범위 및 하단 영역(330)의 임계범위 중 적어도 둘 이상의 임계범위에 기초한 연산을 통해 제1 임계범위와 제2 임계범위를 산출할 수 있다.

일측에 따르면, 객체 추출장치는 적어도 둘 이상의 임계범위의 교집합을 제1 임계범위로 산출하고, 적어도 둘 이상의 임계범위의 합집합을 제2 임계범위로 산출할 수 있다.

예를 들면, 객체 추출장치는 상단 영역(310)의 임계범위(색상 임계범위: 9 내지 25, 명도 임계범위: 3 내지 67, 채도 임계범위: 165 내지 227)와 하단 영역(330)의 임계범위(색상 임계범위: 15 내지 22, 명도 임계범위: 49 내지 101, 채도 임계범위: 158 내지 227)의 교집합을 제1 임계범위(색상 임계범위: 15 내지 22, 명도 임계범위: 49 내지 67, 채도 임계범위: 165 내지 226)로 산출하고, 합집합을 제2 임계범위(색상 임계범위: 9 내지 25, 명도 임계범위: 3 내지 101, 채도 임계범위: 158 내지 227)로 산출할 수 있다.

또한, 객체 추출장치는 상단 영역(310)의 임계범위(색상 임계범위: 9 내지 25, 명도 임계범위: 3 내지 67, 채도 임계범위: 165 내지 227)와 중간 영역(320)의 임계범위(색상 임계범위: 11 내지 20, 명도 임계범위: 24 내지 60, 채도 임계범위: 188 내지 226) 및 하단 영역(330)의 임계범위(색상 임계범위: 15 내지 22, 명도 임계범위: 49 내지 101, 채도 임계범위: 158 내지 227)의 교집합을 제1 임계범위(색상 임계범위: 15 내지 20, 명도 임계범위: 49 내지 60, 채도 임계범위: 188 내지 226)로 산출할 수도 있다.

일측에 따르면, 객체 추출장치는 적어도 둘 이상의 임계범위를 이용하여 HSV 색 공간을 구성하는 색조 성분, 명도 성분 및 채도 성분 각각에서 중심 성분을 산출하고, 산출된 중심 성분에 기초하여 제1 임계범위와 제2 임계범위를 산출할 수도 있다.

예를 들면, 객체 추출장치는 상단 영역(310)의 임계범위, 중간 영역(320)의 임계범위 및 하단 영역(330)의 임계범위를 이용하여 HSV 색 공간에서 성분의 중심(색조 성분의 중심값:

, 명도 성분의 중심값:

, 채도 성분의 중심값:

)을 산출하고, 산출된 중심값에 기설정된 제1 오프셋 값(

)을 적용하여 제1 임계범위를 산출하며, 산출된 중심값에 기설정된 제2 오프셋 값(

)(여기서,

)을 적용하여 제2 임계범위를 산출할 수 있다.

다시 말해, 객체 추출장치는 산출된 중심값에 기초하여 제1 임계범위(색상 임계범위:

, 명도 임계범위:

, 채도 임계범위:

)와, 제2 임계범위(색상 임계범위:

, 명도 임계범위:

, 채도 임계범위:

)를 산출할 수 있다.

도 4a 내지 도 4b는 단일 임계범위를 이용하여 타겟 객체를 산출하는 예시를 설명하기 위한 도면이다.

도 4a 내지 도 4b를 참조하면, 객체 추출장치를 이용하여 도로 상에 존재하는 파란색의 도로 표지판(타겟 객체)을 검출하고자 할 때, 참조부호 410과 같이 도로 표지판과 도로 표지판 주변 배경 영역의 색상 차이가 큰 경우에는 단일 임계범위로도 높은 정확도로 도로 표지판을 추출할 수 있는 것으로 나타났다.

그러나, 참조부호 420과 같이 도로 표지판과 도로 표지판 주변 배경 영역의 색상 차이가 크지 않은 경우에 단일 임계범위를 적용하면, 도로 표지판의 검출에 실패할 뿐만 아니라 주변 배경 영역에서 비슷한 색상을 가지는 잡음이 다수 포함된 결과를 보이는 것으로 나타났다.

다시 말해, 타겟 객체와 배경 영역간의 색상 차이가 크지 않은 경우에 단일 임계범위만으로는 타겟 객체 추출의 성공 확률 및 정확도가 높지 않은 것을 확인할 수 있다.

반면, 일실시예에 따른 객체 추출장치는 이중 임계범위(좁은 범위, 넓은 범위)를 적용하고, 이중 임계범위의 적용 결과에 따른 인접성 분석 및 모폴로지 연산을 수행함으로써, 타겟 객체와 배경 영역간의 색상 차이가 크지 않은 경우에도 타겟 객체를 높은 성공 확률 및 정확도로 추출할 수 있다.

도 5는 일실시예에 따른 객체 추출장치의 타겟 객체 추출 성능을 설명하기 위한 도면이다.

도 5를 참조하면, 도 5는 점자 블록(즉, 타겟 객체)을 포함하는 서로 다른 6개의 이미지(도 5의 '1' 내지 '6')에 대하여 이중 임계범위(제1 임계범위 및 제2 임계범위)를 적용하였을 때의 점자 블록의 검출 성능(도 5의 '이중')과, 제1 임계범위를 적용하였을 때의 점자 블록의 검출 성능(도 5의 '단일-1') 및 제2 임계범위를 적용하였을 때의 점자 블록의 검출 성능(도 5의 '단일-2')의 비교 결과를 도시한다.

도 5에서 성능 평가 기준으로는 추출된 점자블록 영역이 실제 점자블록 영역과 얼마나 겹치는지를 나타내는 IOU를 이용하였으며, '단일-1'은 이미지의 하단을 기준으로, '단일-2'는 이미지의 상단을 기준으로 설정된 임계범위를 의미한다.

도 5에 따르면, 이미지 '3' 부터 '6'까지 '단일-1' 및 '단일-2'를 적용한 경우에는 IOU 값의 편차가 크게 나타나는데, 그 이유는 일반적으로 점자블록이 영상의 하단에 존재하기 때문인 것으로 나타났다.

한편, 이미지 '5'의 경우에는 이중 임계범위 적용 성능이 '단일-1'의 임계범위를 적용하는 경우에 비해 약 3.6% 정도 낮아지는 결과를 보이는데, 이는 인접 잡음이 포함되면서 IOU에서 분모가 되는 합집합이 확장되기 때문인 것으로 나타났다. 그러나, 시각적으로 나타나는 점자블록의 연결성 측면에서는 이중 임계범위를 적용하는 것이 유리한 것으로 볼 수 있다.

도 5에 도시된 6개의 서로 다른 이미지를 대상으로 한 실험결과를 종합해보면, 일실시예에 따른 객체 추출장치와 같이 이중 임계범위를 적용하여 점자 블록을 추출하는 경우는 단일 임계범위를 이용하는 경우보다 IOU 기준으로 약 8.7%의 성능이 개선되는 효과를 나타내는 것을 확인할 수 있다.

도 6은 일실시예에 따른 객체 추출방법을 설명하기 위한 도면이다.

다시 말해, 도 6은 도 1 내지 도 5를 통해 설명한 일실시예에 따른 객체 추출장치의 동작방법을 설명하기 위한 도면으로, 이후 실시예 도 6을 통해 설명하는 내용 중 도 1 내지 도 5를 통해 설명한 내용과 중복되는 설명은 생략하기로 한다.

도 6을 참조하면, 610 단계에서 일실시예에 따른 객체 추출방법은 이미지 수신부에서 타겟 객체를 포함하는 이미지를 수신할 수 있다.

다음으로, 620 단계에서 일실시예에 따른 객체 추출방법은 임계범위 산출부에서 수신된 이미지에 대응되는 제1 임계범위와 제1 임계범위 보다 넓은 범위를 갖는 제2 임계범위를 산출할 수 있다.

다음으로, 630 단계에서 일실시예에 따른 객체 추출방법은 인접성 분석부에서 수신된 이미지에 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 수신된 이미지에 제2 임계범위를 적용하여 제2 결과 이미지를 생성하며, 생성된 제1 결과 이미지와 생성된 제2 결과 이미지간의 인접성 분석을 통해 타겟 객체에 대응되는 객체 이미지를 생성할 수 있다.

일실시예에 따른 객체 추출방법은 이후 실시예 도 7을 통해 보다 구체적으로 설명하기로 한다.

도 7은 일실시예에 따른 객체 추출방법을 보다 구체적으로 설명하기 위한 도면이다.

도 7을 참조하면, 710 단계에서 일실시예에 따른 객체 추출방법은 임계범위 산출부에서 타겟 객체를 포함하는 이미지를 복수의 영역으로 분할하고, 분할된 영역 각각에 대응되는 임계범위를 산출할 수 있다.

예를 들면, 타겟 객체는 점자 블록 및 표지판 중 적어도 하나를 포함할 수 있다.

다음으로, 720 단계에서 일실시예에 따른 객체 추출방법은 임계범위 산출부에서 분할된 영역 각각에 대응되는 임계범위 중 적어도 둘 이상의 임계범위에 기초한 연산을 통해 제1 임계범위와 제2 임계범위를 산출할 수 있다. 예를 들면, 제1 임계범위는 상대적으로 좁은 범위, 제2 임계범위는 상대적으로 넓은 범위로 설정될 수 있다.

일측에 따르면, 720 단계에서 일실시예에 따른 객체 추출방법은 적어도 둘 이상의 임계범위의 교집합을 제1 임계범위로 산출하고, 적어도 둘 이상의 임계범위의 합집합을 제2 임계범위로 산출할 수 있다.

일측에 따르면, 720 단계에서 일실시예에 따른 객체 추출방법은 임계범위 산출부에서 적어도 둘 이상의 임계범위를 이용하여 HSV 색 공간을 구성하는 색상 성분, 명도 성분 및 채도 성분 각각에서 중심 성분을 산출하고, 산출된 중심 성분에 기초하여 제1 임계범위와 제2 임계범위를 산출할 수도 있다.

다음으로, 730 단계 및 740 단계에서 일실시예에 따른 객체 추출방법은 인접성 분석부에서 수신된 이미지에 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 수신된 이미지에 제2 임계범위를 적용하여 제2 결과 이미지를 생성할 수 있다.

다시 말해, 730 단계 및 740 단계에서 일실시예에 따른 객체 추출방법은 좁은 임계범위인 제1 임계범위를 적용하여 타겟 객체가 확실히 존재하는 제1 결과 이미지와, 넓은 임계범위인 제2 임계범위를 적용하여 타겟 객체가 존재할 가능성이 있는 제2 결과 이미지를 생성할 수 있다.

다음으로, 750 단계에서 일실시예에 따른 객체 추출방법은 인접성 분석부에서 생성된 제1 결과 이미지와 생성된 제2 결과 이미지간의 인접성 분석을 통해 타겟 객체에 대응되는 객체 이미지를 생성할 수 있다.

일측에 따르면, 750 단계에서 일실시예에 따른 객체 추출방법은 인접성 분석부에서 생성된 제1 결과 이미지에서 타겟 객체에 대응되는 제1 타겟 영역을 추출하고, 제2 결과 이미지에서 추출된 제1 타겟 영역과 기설정된 임계 거리 이내로 인접한 영역을 제2 타겟 영역으로 추출하며, 추출된 제1 타겟 영역과 추출된 제2 타겟 영역의 합집합을 이용하여 객체 이미지를 생성할 수 있다.

다시 말해, 750 단계에서 일실시예에 따른 객체 추출방법은 타겟 객체가 확실한 제1 타겟 영역과 함께, 인접한 제2 타겟 영역 또한 타겟 객체로 판단하여, 제1 타겟 영역과 제2 타겟 영역을 타겟 객체에 대응되는 영역으로 추출할 수 있다.

다음으로, 760 단계에서 일실시예에 따른 객체 추출방법은 모폴로지부에서 모폴로지 연산을 통해 생성된 객체 이미지에서 잡음 성분을 제거할 수 있다.

결국, 본 발명을 이용하면, 이중 임계범위를 적용하여, 타겟 객체(타겟 색상) 추출을 위한 최적 임계값이 이미지 내의 위치에 따라 변동하는 문제에 대응할 수 있다.

또한, 본 발명을 이용하면, 이중 임계 범위를 하나는 좁은 범위로, 다른 하나는 넓은 범위로 설정하고, 각각의 범위에 해당하는 화소들의 인접성을 분석하여 타겟 객체를 보다 정확하게 검출할 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 객체 추출장치 110: 이미지 수신부
120: 임계범위 산출부 130: 인접성 분석부
140: 모폴로지부

Claims (11)

1. 타겟 객체를 포함하는 이미지를 수신하는 이미지 수신부;
   상기 수신된 이미지에 대응되는 제1 임계범위와 상기 제1 임계범위 보다 넓은 범위를 갖는 제2 임계범위를 산출하는 임계범위 산출부 및
   상기 수신된 이미지에 상기 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 상기 수신된 이미지에 상기 제2 임계범위를 적용하여 제2 결과 이미지를 생성하며, 상기 생성된 제1 결과 이미지와 상기 생성된 제2 결과 이미지간의 인접성 분석을 통해 상기 타겟 객체에 대응되는 객체 이미지를 생성하는 인접성 분석부
   를 포함하는 객체 추출장치.
2. 제1항에 있어서,
   상기 임계범위 산출부는,
   HSV 색 공간을 구성하는 색상 성분(hue), 명도 성분(value) 및 채도 성분(saturation) 각각에 대응되는 상기 제1 임계범위와 상기 제2 임계범위를 산출하는
   객체 추출장치.
3. 제1항에 있어서,
   상기 임계범위 산출부는,
   상기 수신된 이미지를 복수의 영역으로 분할하고, 상기 분할된 영역 각각에 대응되는 임계범위를 산출하는
   객체 추출장치.
4. 제3항에 있어서,
   상기 임계범위 산출부는,
   상기 분할된 영역 각각에 대응되는 임계범위 중 적어도 둘 이상의 임계범위에 기초한 연산을 통해 상기 제1 임계범위와 상기 제2 임계범위를 산출하는
   객체 추출장치.
5. 제4항에 있어서,
   상기 임계범위 산출부는,
   상기 적어도 둘 이상의 임계범위의 교집합을 상기 제1 임계범위로 산출하고, 상기 적어도 둘 이상의 임계범위의 합집합을 상기 제2 임계범위로 산출하는
   객체 추출장치.
6. 제4항에 있어서,
   상기 임계범위 산출부는,
   상기 적어도 둘 이상의 임계범위를 이용하여 HSV 색 공간을 구성하는 색상 성분, 명도 성분 및 채도 성분 각각에서 중심 성분을 산출하고, 상기 산출된 중심 성분에 기초하여 상기 제1 임계범위와 상기 제2 임계범위를 산출하는
   객체 추출장치.
7. 제1항에 있어서,
   상기 인접성 분석부는,
   상기 생성된 제1 결과 이미지에서 상기 타겟 객체에 대응되는 제1 타겟 영역을 추출하고, 상기 제2 결과 이미지에서 상기 추출된 제1 타겟 영역과 기설정된 임계 거리 이내로 인접한 영역을 제2 타겟 영역으로 추출하는
   객체 추출장치.
8. 제7항에 있어서,
   상기 인접성 분석부는,
   상기 추출된 제1 타겟 영역과 상기 추출된 제2 타겟 영역의 합집합을 이용하여 상기 객체 이미지를 생성하는
   객체 추출장치.
9. 제1항에 있어서,
   모폴로지 연산을 통해 상기 생성된 객체 이미지에서 잡음 성분을 제거하는 모폴로지부
   를 더 포함하는 객체 추출장치.
10. 제1항에 있어서,
    상기 타겟 객체는,
    점자 블록 및 표지판 중 적어도 하나를 포함하는
    객체 추출장치.
11. 이미지 수신부에서, 타겟 객체를 포함하는 이미지를 수신하는 단계;
    임계범위 산출부에서, 상기 수신된 이미지에 대응되는 제1 임계범위와 상기 제1 임계범위 보다 넓은 범위를 갖는 제2 임계범위를 산출하는 단계 및
    인접성 분석부에서, 상기 수신된 이미지에 상기 제1 임계범위를 적용하여 제1 결과 이미지를 생성하고, 상기 수신된 이미지에 상기 제2 임계범위를 적용하여 제2 결과 이미지를 생성하며, 상기 생성된 제1 결과 이미지와 상기 생성된 제2 결과 이미지간의 인접성 분석을 통해 상기 타겟 객체에 대응되는 객체 이미지를 생성하는 단계
    를 포함하는 객체 추출방법.
    

Images