KR101465940B1 - 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법 - Google Patents

영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법 Download PDF

Info

Publication number
KR101465940B1
KR101465940B1 KR1020140084986A KR20140084986A KR101465940B1 KR 101465940 B1 KR101465940 B1 KR 101465940B1 KR 1020140084986 A KR1020140084986 A KR 1020140084986A KR 20140084986 A KR20140084986 A KR 20140084986A KR 101465940 B1 KR101465940 B1 KR 101465940B1
Authority
KR
South Korea
Prior art keywords
image
color
temporary
channel
rgb
Prior art date
Application number
KR1020140084986A
Other languages
English (en)
Inventor
홍광석
오병훈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020140084986A priority Critical patent/KR101465940B1/ko
Application granted granted Critical
Publication of KR101465940B1 publication Critical patent/KR101465940B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Abstract

영상에서 컬러 객체를 검출하는 방법(100)은 영상 처리 장치가 소스 영상을 입력받는 단계(110), 소스 영상을 RGB 정규화하는 단계(120), 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상을 생성하는 단계(130), 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하는 단계(140) 및 제1 임시 영상 및 제2 임시 영상을 결합하여 객체를 최종 검출하는 단계(150)를 포함한다.

Description

영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법{DETECTING METHOD FOR COLOR OBJECT IN IMAGE, DETECTING APPARATUS FOR COLOR OBJECT IN IMAGE AND DETECTING METHOD FOR A PLURALITY OF COLOR OBJECT IN IMAGE}
이하 설명하는 기술은 영상에서 컬러 객체를 검출하는 방법 및 장치에 관한 것이다.
디지털 영상에서 객체를 검출하는 기법은 지능형 교통 시스템, 감시 카메라, 검출 객체와 컴퓨터 간 인터랙션(interaction) 등의 많은 응용분야에서 사용되고 있다. 또한, 고성능화된 다양한 스마트 기기의 등장으로 인하여 카메라를 통해 객체를 검출 및 인식하고, 인식된 객체를 이용하여 다양한 스마트 기기와의 인터랙션을 위한 연구가 활발히 진행되고 있다.
한편, 영상에서 객체 검출을 위하여 컬러를 이용한 영상처리 알고리즘은 R(red), G(green), B(blue)의 3차원 색상정보에 의해 표현되는 특징 정보를 주로 활용한다. 컬러 정보가 사용되는 주된 이유는 그레이(Gray) 영상이나 이진 영상에 비해 상대적으로 많은 정보를 제공해주며, 쉽게 데이터의 추출이 가능하고, 영상 처리의 속도가 빠르기 때문이다.
한국공개특허 제2013-0121344호(2013.11.06) 한국공개특허 제2013-0064556호(2013.06.18)
검출 객체와 컴퓨터 간 인터랙션 시스템으로는 마이크로소프트의 키넥트와 소니의 플레이스테이션 무브 등이 있지만, 시스템의 비용이 높고 특정 애플리케이션에만 적용되는 문제점이 있다.
추가적인 장비 없이 카메라만을 이용하여 움직이는 객체를 획득하고, 추적하는 방법들이 많이 연구되고 있지만 복잡한 환경과 다양한 조명에서 다중 객체를 추적하고, 실시간으로 분석하기에 한계가 있다. 나아가 종래 다중 객체 인식 시스템은 객체 검출을 위하여 입력 영상 전체를 탐색기 때문에 많은 영상처리 시간을 소모해야만 하는 문제점이 있다.
영상에서 컬러 객체 검출을 위한 종래의 YCbCr 모델은 영상에서 표현되는 RGB 3차원 색상 정보에 대하여 밝기 값을 제외한 B(blue)와 R(red)의 색차 정보만 추출하여 특정 색상에 최적화된 검출 및 인식을 수행하기 어려운 경우가 발생한다.
이하 설명하는 기술은 소스 영상에 대한 YCbCgCr 영상 및 HSV 영상을 각각 이용하여 소스 영상에서 객체를 검출하고자 한다. YCbCgCr 영상은 YCbCr 컬러 모델에 G(green) 색차 정보를 추가하여 새로운 YCbCgCr 컬러 모델을 사용한 것이다.
이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
영상에서 컬러 객체를 검출하는 방법은 영상 처리 장치가 소스 영상을 입력받는 단계, 소스 영상을 RGB 정규화하는 단계, 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상을 생성하는 단계, 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하는 단계 및 제1 임시 영상 및 제2 임시 영상을 결합하여 객체를 최종 검출하는 단계를 포함한다.
정규화하는 단계는 영상 처리 장치가 소스 영상에서 R 컬러값, G 컬러값 및 B 컬라값 각각에 대하여 각 성분의 값을 RGB 세 개의 성분의 값의 합으로 나누어 정규화한다.
제1 임시 영상을 생성하는 단계는 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하는 단계, YCbCgCr 영상에서 Cb, Cg 및 Cr 각각의 색차 채널에서 임계값 이상인 객체를 추출하는 단계, 객체를 추출 상기 Cb, Cg 및 Cr 중 적어도 하나의 영상에 대한 이진화를 수행하는 단계 및 이진화를 수행한 영상이 복수인 경우 각 영상에 대한 결합을 수행하는 단계를 포함한다.
제2 임시 영상을 생성하는 단계는 정규화된 RGB 컬러 영상을 HSV 영상으로 변환하는 단계, HSV 영상의 S 채널에서 제1 임계값 이상인 픽셀과 제2 임계값 이하인 픽셀을 추출하는 단계, HSV 영상의 V 채널에서 기준 임계값 이상인 픽셀을 추출하는 단계 및 S 채널에 추출한 영상 및 V 채널에서 추출한 영상을 결합하여 제2 임시 영상을 생성하는 단계를 포함한다.
영상에서 컬러 객체를 검출하는 장치는 소스 영상에 대한 YCbCgCr 영상 및 HSV 영상에서 각각 임계값을 이용하여 객체를 검출하고, 객체를 검출한 YCbCgCr 영상 및 HSV 영상을 결합하여 소스 영상에서 컬러 객체를 검출하는 소프트웨어를 저장하는 메모리 장치 및 소프트웨어를 이용하여 소스 영상에서 적어도 하나의 컬러 객체를 검출하는 연산 장치를 포함한다.
연산 장치는 소프트웨어를 이용하여 소스 영상을 RGB 정규화하고, 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상 및 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하고, 제1 임시 영상 및 제2 임시 영상을 결합하여 객체를 최종 검출한다.
연산 장치는 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하고, YCbCgCr 영상에서 Cb, Cg 및 Cr 각각의 색차 채널에서 기준 임계값 이상인 객체를 추출하고, 객체를 추출한 영상에 대한 이진화를 수행하여 제1 임시 영상을 생성한다.
연산 장치는 정규화된 RGB 컬러 영상을 HSV 영상으로 변환하고, HSV 영상의 S 채널에서 제1 임계값 이상인 픽셀과 제2 임계값 이하인 픽셀을 추출하고, HSV 영상의 V 채널에서 기준 임계값 이상인 픽셀을 추출하고, S 채널에 추출한 영상 및 V 채널에서 추출한 영상을 결합하여 제2 임시 영상을 생성한다.
영상에서 복수의 컬러 객체를 검출하는 방법은 영상 처리 장치가 복수의 타겟 객체가 포함된 소스 영상을 입력받는 단계, 영상 처리 장치가 소스 영상의 R 컬러값, G 컬러값 및 B 컬라값 각각에 대하여 각 성분의 값을 RGB 세 개의 성분의 값의 합으로 나누어 소스 영상을 정규화하는 단계 및 영상 처리 장치가 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상 및 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하고, 제1 임시 영상 및 제2 임시 영상을 결합하여 타겟 객체를 검출하는 단계를 포함한다.
이하 설명하는 기술은 YCbCgCr 영상 및 HSV 영상을 각각 이용하여 객체의 검출 효율이 좋고, 연산의 복잡도가 낮다. 따라서 이하 설명하는 기술은 휴대 단말과 같이 대중적인 장비를 이용하여 소스 영상에서 복수의 객체를 검출하는데 적합하다.
이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 영상에서 컬러 객체를 검출하는 방법에 대한 순서도의 예이다.
도 2는 영상에서 컬러 객체를 검출하는 방법에 대한 순서도의 다른 예이다.
도 3은 영상에서 컬러 객체를 검출하는 방법에 대한 과정의 일 예이다.
도 4는 영상에서 컬러 객체를 검출하는 장치에 대한 블록도의 예이다.
도 5는 영상에서 복수의 컬러 객체를 검출하는 방법에 대한 순서도의 예이다.
도 6은 영상에서 복수의 컬러 객체를 검출한 예를 도시한다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 이하 설명하는 기술의 영상에서 컬러 객체를 검출하는 방법(100) 및 영상에서 컬러 객체를 검출하는 장치(500)에 따른 구성부들의 구성은 이하 설명하는 기술의 목적을 달성할 수 있는 한도 내에서 대응하는 도면과는 상이해질 수 있음을 명확히 밝혀둔다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 디지털 영상에서 특정한 컬러 객체를 검출하는 기법에 관한 것이다. 전술한 바와 같이 영상에서 객체를 검출하는 기법은 다양한 응용 분야에서 사용되고 있다. 이하 설명하는 기술은 특히 스마트폰에 내장되는 카메라, 스마트 TV에 내장되는 카메라 또는 컴퓨터에 연결되는 카메라(웹 캠) 등과 같은 비교적 간단하고 저렴한 장치를 이용하여 영상에서 객체를 빠르게 검출하기 위한 것이다. 이하 설명하는 기술은 복잡도가 낮은 객체 검출 방법을 사용하여 영상에서 복수의 객체를 검출하는데 유용하다. 이하 설명하는 영상에서 컬러 객체를 검출하는 방법(100) 및 영상에서 컬러 객체를 검출하는 장치(500)는 영상에서 하나의 객체를 검출할 수도 있고, 영상에서 복수의 다중 객체를 검출하는데 사용될 수도 있다.
이하 설명하는 기술에서 주요한 특징은 종래의 YCbCr 컬러 모델에 G(green) 색차 정보를 추가하여 생성한 새로운 YCbCgCr 모델 및 HSV 모델을 동시에 이용한다는 점이다.
이하에서는 도면을 참조하면서 영상에서 컬러 객체를 검출하는 방법(100) 및 영상에서 컬러 객체를 검출하는 장치(500)에 관하여 구체적으로 설명하겠다.
도 1은 영상에서 컬러 객체를 검출하는 방법(100)에 대한 순서도의 예이다. 영상에서 컬러 객체를 검출하는 방법(100)은 영상 처리 장치가 소스 영상을 입력받는 단계(110), 소스 영상을 RGB 정규화하는 단계(120), 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상을 생성하는 단계(130), 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하는 단계(140) 및 제1 임시 영상 및 제2 임시 영상을 결합하여 객체를 최종 검출하는 단계(150)를 포함한다.
영상에서 컬러 객체를 검출하는 방법(100)은 소스 영상에 대한 이미지 처리를 수행하여 각각 제1 임시 영상 및 제2 임시 영상을 생성하고, 생성된 2 개의 영상을 결합하여 최종적으로 객체를 검출하는 기법이다.
소스 영상은 영상 처리 장치의 영상 획득 장치를 통해 최초 입력되는 컬러 영상을 의미한다. 영상 처리 장치는 카메라를 통해 입력받는 영상, 메모리에 저장된 영상 또는 네트워크를 통해 수신하는 영상에서 특정 객체를 검출하는 장치를 의미한다. 영상 처리 장치는 카메라가 내장된 영상 장치, 컴퓨터 장치, 스마트폰과 같은 모바일 장치, 카메라가 내장된 스마트 TV 등을 포함한다. 영상 획득 장치는 외부 영상을 실시간으로 획득하는 카메라, 메모리에 저장된 영상을 획득하는 인터페이스 장치, 네트워크를 통해 영상 데이터를 입력받는 통신 모듈 등을 포함한다.
소스 영상을 입력받는 단계(110)는 카메라로부터 직접 영상을 입력받거나, 메모리에 저장된 영상을 불러오거나, 네트워크 등을 통해 수신되는 영상을 전달받는다.
소스 영상을 RGB 정규화하는 단계(120)는 입력받은 RGB 컬러 영상을 정규화하는 과정이다. 입력으로 들어온 컬러 영상은 RGB 모델로 구성되어 있는데, 일반 RGB 컬러 모델은 조도 변화에 민감하여 정확한 연산을 수행하기 어렵기 때문에 r, g, b 각각의 성분 값을 세 성분 값의 합으로 나누어 주는 정규화 과정을 거친다. 정규화 과정은 아래의 수학식 1과 같다.
Figure 112014064005666-pat00001
상기 수식에서 R, G 및 B는 각각 정규화가 수행된 RGB 성분값이다.
도 2는 영상에서 컬러 객체를 검출하는 방법(100)에 대한 순서도의 다른 예이다. 도 2는 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상을 생성하는 단계(130) 및 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하는 단계(140)를 보다 구체적으로 설명한다. 제1 임시 영상을 생성하는 단계(130) 및 제2 임시 영상을 생성하는 단계(140)는 순서에 관계없이 순차적으로 수행되거나, 병렬적으로 수행될 수 있다.
먼저 제1 임시 영상을 생성하는 단계(130)에 대해 설명한다. 정규화된 RGB 컬러 영상은 YCbCgCr 영상으로 변환된다(131). YCbCgCr 영상은 YCbCr 컬러 모델에 G(green) 색차 정보를 추가한 YCbCgCr 모델로 생성된다.
RGB 컬러 모델에서 밝기 성분(Y)을 제외한 B(blue), G(green) 및 R(red) 각각에 대한 색차 정보 Cb, Cg 및 Cr을 추출하는 과정은 아래의 수학식 2 내지 수학식 4와 같다.
Figure 112014064005666-pat00002
Figure 112014064005666-pat00003
Figure 112014064005666-pat00004
상기 수학식에서 R,G,B는 RGB 컬러 모델에서 정규화 과정이 수행된 r(red), g(green), b(blue)에 대한 각각의 성분 값을 나타낸다.
위 수식으로부터 추출된 Cb, Cg, Cr 각각의 색차 채널에서 일정 임계치 값 이상의 픽셀(색이 진한 것)을 추출하는 것이 바람직하다(132). 예컨대, 150 이상인 값을 추출하여 사용할 수 있다. 그러나 임계값 설정은 시스템 성능, 검출하고자 하는 객체의 영상 정보, 영상이 획득되는 조도 등 다양한 환경 변수를 고려하여 변경될 수 있다. 제1 임시 영상을 생성하는 과정에서 사용하는 임계값을 YCbCgCr 임계값이라고 명명한다. YCbCgCr 임계값은 각 색차 채널에 따라 서로 다른 값이 사용될 수도 있다.
이 과정에서 Cb, Cg, Cr의 색차 채널 중 특정 색차 정보의 최대값을 추출할 수도 있다. 예컨대, 추출하고자 하는 타겟 객체에 대한 색차 정보를 알고 있다면, 해당 객체를 더욱 잘 검출할 수 있는 특정 채널만을 이용할 수도 있을 것이다.
이후 YCbCgCr 영상에서 특정 객체를 검출하기 위하여 YCbCgCr 영상에 대한 이진화를 수행하는 것이 바람직하다(133). 이진화를 통해 영상의 객체를 단순화하고, 객체 검출의 효율을 높일 수 있다.
각각의 색차 채널에서 임계치를 통한 해당 색상이 검출(132)되고 나면 이를 객체 영역으로 구분하고, 배경 대비 객체 영역에 대한 이진화 단계를 수행한다. 이진화 과정은 아래의 수학식 5와 같다.
Figure 112014064005666-pat00005
"Region of Object"는 영상에서 특정 객체가 위치하는 영역을 의미한다.
Figure 112014064005666-pat00006
는 이진화를 위한 임계치를 의미한다. 즉, Cg, Cg 및 Cr 각각에 대하여 추출한 색차 정보가
Figure 112014064005666-pat00007
이상인 경우는 255인 값(검은색)을 갖고,
Figure 112014064005666-pat00008
미만인 경우는 0인 값(흰색)을 갖게 된다. 이진화를 위한 임계치
Figure 112014064005666-pat00009
는 Cg, Cg 및 Cr을 추출하기 위해 사용하였던 제1 영상 임계치와는 다른 것이다.
Cg, Cg 및 Cr 색차 채널의 영상을 모두 이진화한 후 결합하여 제1 임시 영상을 생성할 수도 있고, Cg, Cg 및 Cr 색차 채널 중 객체를 뚜렷하게 검출한 영상만을 이진화하여 제1 임시 영상을 생성할 수도 있을 것이다. 검출하고자 하는 타겟 객체에 대한 색차 정보를 미리 알고 있다면 특정 채널의 영상만을 이진화할 수 있다.
나아가 각 색차 채널의 영상을 분석하여 이진화 대상을 선정하거나, 각 색차 채널의 영상을 이진화한 영상을 분석하여 이후 이진화 대상을 선정할 수도 있을 것이다. 다만 기본적으로는 3개의 색차 채널의 영상을 모두 이진화하여 결합하는 방식이 바람직할 수 있다.
이진화 단계(150) 수행 후 관심 객체 영역의 보다 정확한 검출을 위하여 불필요한 객체 또는 노이즈 등을 제거하는 단계를 수행하는 것이 바람직하다(134). 예컨대, 아래의 수학식 6에 의한 침식연산(Dilation) 및 아래의 수학식 7에 의한 팽창연산(Erosion)을 수행할 수 있다.
Figure 112014064005666-pat00010
침식연산은 A와 B를 화소의 집합이라고 가정했을 때, A
Figure 112014064005666-pat00011
B는 수학식 6과 같이 정의할 수 있다. 침식연산은 객체 내부의 돌출부는 감소하고 외부의 돌출부는 증가시켜서 물체 내부나 배경에서 발생한 구멍과 같은 공간을 채우거나 짧게 끊어진 영역을 연결하는데 주로 사용되며, 이진 영상에서 침식연산은 입력 화소가 균일한 곳에서는 변화가 없으나 흑백 화소가 같이 있는 영역에서 수행된다.
Figure 112014064005666-pat00012
팽창연산은 A와 B를 화소의 집합이라고 가정했을 때, A
Figure 112014064005666-pat00013
B는 수학식 7과 같이 정의할 수 있다. 여기서
Figure 112014064005666-pat00014
는 형태소 B를 이동한 결과로, 이 중 A집합에 완전하게 포함되는
Figure 112014064005666-pat00015
의 집합이 침식으로 일어난 결과를 의미한다. 즉, B를 A위로 이동하면서 B가 완전하게 포함되는 장소를 찾은 뒤 각 장소에서 원점에 해당하는 점을 모아 만든 집합을 팽창연산이라 정의할 수 있다.
YCbCgCr 컬러 모델로부터 각 색차 정보에 대하여 임계치 이상인 객체를 추출하고, 이진화 과정 및 노이즈 제거 과정을 거치면 소스 영상에 대한 제1 임시 영상이 마련될 수 있다. 제1 임시 영상을 생성하는 과정(130)은 소스 영상을 YCbCgCr 영상으로 변환하여 해당 영상에서 특정 객체를 검출하는 과정에 해당한다.
소스 영상을 이용하여 제2 임시 영상을 생성하는 과정(140)도 설명하도록 한다. 제2 임시 영상을 생성하는 단계(140)는 정규화된 RGB 컬러 영상을 HSV 영상으로 변환하는 단계(141), HSV 영상의 S 채널에서 제1 임계값 이상인 픽셀과 제2 임계값 이하인 픽셀을 추출하는 단계(142), HSV 영상의 V 채널에서 기준 임계값 이상인 픽셀을 추출하는 단계(143) 및 S 채널에 추출한 영상 및 V 채널에서 추출한 영상을 결합하여 제2 임시 영상을 생성하는 단계(144)를 포함한다.
제2 임시 영상을 생성하는 과정(140)에서는 조명에 민감한 H 채널을 제외하고 S(Saturation) 채널 및 V(Value) 채널만을 사용하였다. 물론 경우에 따라 H 채널의 정보를 이용할 수도 있을 것이다. 도 2에서는 HSV에서 S 채널의 최대 영역 및 최소 영역을 추출(142)한다고 기재하였는데 이는 S 채널에서 제1 임계값 이상인 픽셀과 제2 임계값 이하인 픽셀을 추출하는 과정을 의미한다. S 채널에서 사용되는 제1 임계값 및 제2 임계값을 S 채널 임계값이라고 명명한다. V 채널에서는 특정 기준 임계값 이상인 최대 영역을 추출한다. V 채널에서 사용되는 임계값을 V 채널 임계값이라고 명명한다.
전술한 YCbCgCr 임계값과 같이 S 채널 임계값 및 V 채널 임계값도 객체가 검출되는 환경 변수에 따라 달라질 수 있다. 예컨대, S 채널의 제1 임계값은 205, S 채널의 제2 임계값은 35, V 채널의 임계값은 190을 사용할 수 있다.
S 채널에 추출한 영상 및 V 채널에서 추출한 영상을 가산(AND) 연산하여 제2 임시 영상을 생성한다(144).
이후 제1 임시 영상 및 제2 임시 영상을 결합(AND)한다(150). 제1 임시 영상을 통해 검출되는 객체와 제2 임시 영상을 통해 검출되는 객체를 조합하여 객체 검출 효과를 높이기 위한 것이다. 결합된 최종 영상을 기준으로 소스 영상에서 타겟 객체를 검출하게 된다.
도 3은 영상에서 컬러 객체를 검출하는 방법에 대한 과정의 일 예이다.
(a) 과정은 배경화면과 마커를 부착한 손가락 영상을 입력받는 화면이고, (b) 과정은 입력된 영상을 RGB 정규화한 화면이다.
(c) 과정은 정규화한 RGB 영상을 제1 임시 영상으로 변환하는 화면의 예이다. (c) 과정은 정규화한 RGB 영상을 YCbCgCr 영상으로 변환하는 과정(c-1), Cb, Cg 및 Cr 각 채널에서 일정한 임계값을 넘는 최대 영역을 추출하여(c-2) 이를 결합한 영상 또는 특정 채널의 영상을 이진화하는 과정(c-3) 및 이진화된 영상에서 노이즈를 제거하는 과정(c-4)을 포함할 수 있다.
(d) 과정은 정규화한 RGB 영상을 제2 임시 영상으로 변환하는 화면의 예이다. (d) 과정은 정규화한 RGB 영상을 HSV 영상으로 변환하는 과정(d-1), HSV 중 S 채널에서 최대 영역 및 최소 영역을 추출하는 과정(d-2), HSV 중 V 채널에서 최대 영역을 추출하는 과정(d-3) 및 S 채널 영상 및 V 채널 영상을 결합하는 과정(d-4)를 포함한다.
(e) 과정은 최종적으로 제1 임시 영상 및 제2 임시 영상을 결합하는 과정이고, (f)는 제1 임시 영상 및 제2 임시 영상이 결합된 화면에서 객체를 검출하는 예이다.
도 4는 영상에서 컬러 객체를 검출하는 장치(500)에 대한 블록도의 예이다.
영상에서 컬러 객체를 검출하는 장치(500)는 소스 영상을 입력받는 카메라(510), 소스 영상에 대한 YCbCgCr 영상 및 HSV 영상에서 각각 임계값을 이용하여 객체를 검출하고, 객체를 검출한 YCbCgCr 영상 및 HSV 영상을 결합하여 소스 영상에서 컬러 객체를 검출하는 소프트웨어를 저장하는 메모리 장치(520) 및 소프트웨어를 이용하여 소스 영상에서 적어도 하나의 컬러 객체를 검출하는 연산 장치(530)를 포함한다.
도 4에서는 카메라를 통해 소스 영상을 입력받는 예를 도시한다. 영상에서 컬러 객체를 검출하는 장치(500)는 소스 영상에서 컬러 객체를 검출하기 위한 소프트웨어가 메모리 장치(520)에 저장된 형태이다. 영상에서 컬러 객체를 검출하는 장치(500)는 객체 검출을 위한 앱이 설치된 스마트폰과 같은 장치일 수도 있고, 객체 검출을 위한 임베디드 소프트웨어가 플래시 메모리 또는 ROM에 저장된 객체 검출 전용 장치일 수도 있다.
객체 검출 소프트웨어(525)는 기본적으로 전술한 영상에서 컬러 객체를 검출하는 방법(100)을 수행하는 프로그램에 해당한다.
연산 장치(530)는 메모리 장치(520)에 저장된 객체 검출 소프트웨어(525)를 구동하는 구성이다. 영상에서 컬러 객체를 검출하는 장치(500)는 카메라(510)에 입력된 소스 영상 및/또는 소스 영상에서 검출한 타겟 객체를 출력하는 디스플레이 장치(550)를 포함할 수 있다. 나아가 사용자로부터 타겟 객체에 대한 정보를 입력받는 인터페이스 장치(540)를 포함할 수도 있다. 사용자는 인터페이스 장치(540)를 통해 전술한 YCbCgCr 임계값, H 채널 임계값, V 채널 임계값 등을 입력할 수도 있다. 디스플레이 장치(550) 및 인터페이스 장치(540)는 컴퓨터 또는 모바일 단말 장치에서 사용되는 다양한 장치가 사용될 수 있다.
연산 장치(530)는 소프트웨어를 이용하여 소스 영상을 RGB 정규화하고, 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상 및 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하고, 제1 임시 영상 및 제2 임시 영상을 결합하여 객체를 최종 검출한다.
연산 장치(530)는 전술한 수학식 1과 같이 소스 영상의 R 컬러값, G 컬러값 및 B 컬라값 각각에 대하여 각 성분의 값을 RGB 세 개의 성분의 값의 합으로 나누어 소스 영상을 정규화한다.
연산 장치(530)는 전술한 수학식 2 내지 수학식 4를 이용하여 정규화된 RGB 영상을 YCbCgCr 영상으로 변환한다. 이후 연산 장치(530)는 YCbCgCr 영상에서 Cb, Cg 및 Cr 각각의 색차 채널에서 기준 임계값 이상인 객체를 추출하고, 객체를 추출한 영상에 대한 이진화를 수행하여 제1 임시 영상을 생성한다.
연산 장치(530)는 정규화된 RGB 컬러 영상을 HSV 영상으로 변환하고, HSV 영상의 S 채널에서 제1 임계값 이상인 픽셀과 제2 임계값 이하인 픽셀을 추출하고, HSV 영상의 V 채널에서 기준 임계값 이상인 픽셀을 추출하고, S 채널에 추출한 영상 및 V 채널에서 추출한 영상을 결합하여 제2 임시 영상을 생성한다.
연산 장치(530)는 최종적으로 제1 임시 영상 및 제2 임시 영상을 결합하여 타겟 객체를 검출한다.
도 5는 영상에서 복수의 컬러 객체를 검출하는 방법(200)에 대한 순서도의 예이다. 또한 도 6은 영상에서 복수의 컬러 객체를 검출한 예를 도시한다.
영상에서 복수의 컬러 객체를 검출하는 방법(200)은 영상 처리 장치가 소스 영상을 입력받는 단계(210), 소스 영상에서 복수의 타겟 객체 영역을 선택하는 단계(220), 소스 영상을 RGB 정규화하는 단계(230), 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 타겟 객체가 검출된 제1 임시 영상을 생성하는 단계(240), 정규화된 RGB 영상을 HSV 영상으로 변환하여 타겟 객체가 검출된 제2 임시 영상을 생성하는 단계(250) 및 제1 임시 영상 및 제2 임시 영상을 결합하여 타겟 객체를 최종 검출하는 단계(260)를 포함한다.
영상에서 복수의 컬러 객체를 검출하는 방법(200)은 전술한 영상에서 컬러 객체를 검출하는 방법(100)과 동일한 과정을 갖는다. 다만 소스 영상에서 복수의 객체를 검출할 수 있다는 점을 명확하게 설명하기 위한 것이다. 따라서 영상에서 컬러 객체를 검출하는 방법(100)에서 설명한 내용과 동일한 구성은 간략하게 설명하거나 설명을 생략한다.
소스 영상에 존재하는 많은 객체 중에 사용자가 지정하는 특정한 객체를 검출한다. 검출 대상이 되는 객체를 타겟 객체라고 명명하였다. 210 단계에서 입력되는 소스 영상에는 많은 객체가 존재할 수 있다. 도 6을 살펴보면 5개의 손가락 끝에 서로 다른 색의 컬러 마커(marker)가 있다. 사용자는 입력되는 소스 영상에서 검출하고자 하는 컬러 객체인 타겟 객체를 선택할 수 있다. 정확하게 설명하면 소스 영상에서 타겟 객체가 위치한 영역을 선택하는 것이다(220).
사용자가 소스 영상에서 타겟 객체 영역을 선택하는 방식은 해당 타겟 객체 영역을 관심 영역으로 지정하는 방법을 사용할 수 있다. 예컨대, 이동 단말의 디스플레이 장치가 터치 패널이라면, 타겟 객체 영역을 터치하여 관심 영역으로 지정할 수 있다. 또는 사용자가 커서 등을 이용하여 복수의 타겟 객체 영역을 관심 영역으로 지정할 수도 있다. 나아가, 이미지 처리 기술을 이용하여 소스 영상에서 복수의 타겟 객체 영역을 추출할 수도 있을 것이다.
이후 영상 처리 장치는 소스 영상을 RGB 정규화하고(230), 정규화된 RGB 영상을 YCbCgCr 변환하여 제1 임시 영상을 생성하고(240), 정규화된 RGB 영상을 HSV 변환하여 제2 임시 영상을 생성한다(250). 최종적으로 제1 임시 영상 및 제2 임시 영상을 결합하여 소스 영상에서 타게 객체를 검출하게 된다(260). 도 6은 5개의 컬러 타겟 객체를 검출한 예를 도시한다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
500 : 영상에서 컬러 객체를 검출하는 장치
510 : 카메라 520 : 메모리
525 : 객체 검출 소프트웨어 530 : 프로세서
540 : 인터페이스 장치 550 : 디스플레이 장치

Claims (10)

  1. 영상 처리 장치가 영상에서 컬러 객체를 검출하는 방법에 있어서,
    상기 영상 처리 장치가 소스 영상을 입력받는 단계;
    상기 소스 영상을 RGB 정규화하는 단계;
    상기 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상을 생성하는 단계;
    상기 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하는 단계; 및
    상기 제1 임시 영상 및 제2 임시 영상을 결합하여 객체를 최종 검출하는 단계를 포함하되,
    상기 제1 임시 영상을 생성하는 단계 및 상기 제2 임시 영상을 생성하는 단계는 순서에 관계없이 순차적으로 수행되거나, 병렬적으로 수행되고,
    상기 정규화하는 단계는 상기 영상 처리 장치가 상기 소스 영상에서 R 컬러값, G 컬러값 및 B 컬라값 각각에 대하여 각 성분의 값을 RGB 세 개의 성분의 값의 합으로 나누어 정규화하는 영상에서 컬러 객체를 검출하는 방법.
  2. 제1항에 있어서,
    상기 제1 임시 영상을 생성하는 단계는
    상기 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하는 단계;
    상기 YCbCgCr 영상에서 Cb, Cg 및 Cr 각각의 색차 채널에서 임계값 이상인 객체를 추출하는 단계;
    상기 객체를 추출 상기 Cb, Cg 및 Cr 중 적어도 하나의 영상에 대한 이진화를 수행하는 단계; 및
    상기 이진화를 수행한 영상이 복수인 경우 각 영상에 대한 결합을 수행하는 단계를 포함하는 영상에서 컬러 객체를 검출하는 방법.
  3. 제2항에 있어서,
    상기 변환하는 단계는
    상기 영상 처리 장치가 상기 RGB 영상에서 B 색차 정보(Cb), G 색차 정보(Cg) 및 R 색차 정보(Cr)을 아래의 수식과 같이 추출하는 영상에서 컬러 객체를 검출하는 방법.
    Figure 112014064005666-pat00016
    ,
    Figure 112014064005666-pat00017
    ,
    Figure 112014064005666-pat00018

    (상기 수식에서 R, G 및 B는 각각 정규화가 수행된 RGB 성분값임)
  4. 제3항에 있어서,
    임계값 이상인 객체를 추출하는 단계는
    상기 Cb, Cg 및 Cr 값에 대하여 기준 임계값 이상인 것만을 추출하는 영상에서 컬러 객체를 검출하는 방법.
  5. 제1항에 있어서,
    상기 제2 임시 영상을 생성하는 단계는
    상기 정규화된 RGB 영상을 HSV 영상으로 변환하는 단계;
    상기 HSV 영상의 S 채널에서 제1 임계값 이상인 픽셀과 제2 임계값 이하인 픽셀을 추출하는 단계;
    상기 HSV 영상의 V 채널에서 기준 임계값 이상인 픽셀을 추출하는 단계; 및
    상기 S 채널에 추출한 영상 및 상기 V 채널에서 추출한 영상을 결합하여 상기 제2 임시 영상을 생성하는 단계를 포함하는 영상에서 컬러 객체를 검출하는 방법.
  6. 소스 영상을 입력받는 카메라;
    상기 소스 영상에 대한 YCbCgCr 영상 및 HSV 영상에서 각각 임계값을 이용하여 객체를 검출하고, 상기 객체를 검출한 YCbCgCr 영상 및 HSV 영상을 결합하여 상기 소스 영상에서 컬러 객체를 검출하는 소프트웨어를 저장하는 메모리 장치; 및
    상기 소프트웨어를 이용하여 상기 소스 영상에서 적어도 하나의 컬러 객체를 검출하는 연산 장치를 포함하되,
    상기 연산 장치는 상기 소프트웨어를 이용하여 상기 소스 영상을 RGB 정규화하고, 상기 정규화된 RGB 영상을 YCbCgCr 영상으로 변환하여 객체가 검출된 제1 임시 영상 및 상기 정규화된 RGB 영상을 HSV 영상으로 변환하여 객체가 검출된 제2 임시 영상을 생성하고, 상기 제1 임시 영상 및 제2 임시 영상을 결합하여 객체를 최종 검출하는 영상에서 컬러 객체를 검출하는 장치.
  7. 제6항에 있어서,
    상기 연산 장치는
    상기 소스 영상의 R 컬러값, G 컬러값 및 B 컬라값 각각에 대하여 각 성분의 값을 RGB 세 개의 성분의 값의 합으로 나누어 정규화하는 영상에서 컬러 객체를 검출하는 장치.
  8. 제6항에 있어서,
    상기 연산 장치는
    상기 정규화된 RGB 영상을 상기 YCbCgCr 영상으로 변환하고, 상기 YCbCgCr 영상에서 Cb, Cg 및 Cr 각각의 색차 채널에서 기준 임계값 이상인 객체를 추출하고, 상기 객체를 추출한 영상에 대한 이진화를 수행하여 상기 제1 임시 영상을 생성하는 영상에서 컬러 객체를 검출하는 장치.
  9. 제8항에 있어서,
    상기 연산 장치는
    상기 RGB 영상에서 B 색차 정보(Cb), G 색차 정보(Cg) 및 R 색차 정보(Cr)에 대하여 아래의 수식을 이용하여 상기 RGB 영상을 상기 YCbCgCr 영상으로 변환하는 영상에서 컬러 객체를 검출하는 장치.
    Figure 112014064005666-pat00019

    Figure 112014064005666-pat00020

    Figure 112014064005666-pat00021

    (상기 수식에서 R, G 및 B는 각각 정규화가 수행된 RGB 성분값임)
  10. 제6항에 있어서,
    상기 연산 장치는
    상기 정규화된 RGB 영상을 HSV 영상으로 변환하고, 상기 HSV 영상의 S 채널에서 제1 임계값 이상인 픽셀과 제2 임계값 이하인 픽셀을 추출하고, 상기 HSV 영상의 V 채널에서 기준 임계값 이상인 픽셀을 추출하고, 상기 S 채널에 추출한 영상 및 상기 V 채널에서 추출한 영상을 결합하여 상기 제2 임시 영상을 생성하는 영상에서 컬러 객체를 검출하는 장치.
KR1020140084986A 2014-07-08 2014-07-08 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법 KR101465940B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140084986A KR101465940B1 (ko) 2014-07-08 2014-07-08 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140084986A KR101465940B1 (ko) 2014-07-08 2014-07-08 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20140036530A Division KR101465933B1 (ko) 2014-03-28 2014-03-28 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법

Publications (1)

Publication Number Publication Date
KR101465940B1 true KR101465940B1 (ko) 2014-11-26

Family

ID=52291748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140084986A KR101465940B1 (ko) 2014-07-08 2014-07-08 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법

Country Status (1)

Country Link
KR (1) KR101465940B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791603B1 (ko) * 2015-12-17 2017-10-30 성균관대학교산학협력단 잡음을 이용하여 컬러 객체를 검출하는 방법 및 잡음을 이용하여 발광 장치를 검출하는 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010093266A (ko) * 1999-01-27 2001-10-27 에를링 블로메, 타게 뢰브그렌 휴대용 다중 대역 통신 장치 및, 그 전하 소비량 결정방법
JP2008271556A (ja) * 2007-04-17 2008-11-06 Toshiba Corp 画像修正システムおよび方法
JP5257615B2 (ja) * 2009-06-04 2013-08-07 株式会社リコー 色変換テーブル生成装置、色変換テーブル生成方法及び画像処理装置
KR20130111021A (ko) * 2012-03-30 2013-10-10 경북대학교 산학협력단 영상처리장치 및 영상처리방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010093266A (ko) * 1999-01-27 2001-10-27 에를링 블로메, 타게 뢰브그렌 휴대용 다중 대역 통신 장치 및, 그 전하 소비량 결정방법
JP2008271556A (ja) * 2007-04-17 2008-11-06 Toshiba Corp 画像修正システムおよび方法
JP5257615B2 (ja) * 2009-06-04 2013-08-07 株式会社リコー 色変換テーブル生成装置、色変換テーブル生成方法及び画像処理装置
KR20130111021A (ko) * 2012-03-30 2013-10-10 경북대학교 산학협력단 영상처리장치 및 영상처리방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791603B1 (ko) * 2015-12-17 2017-10-30 성균관대학교산학협력단 잡음을 이용하여 컬러 객체를 검출하는 방법 및 잡음을 이용하여 발광 장치를 검출하는 시스템

Similar Documents

Publication Publication Date Title
Braham et al. Semantic background subtraction
Sanin et al. Shadow detection: A survey and comparative evaluation of recent methods
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
WO2017092431A1 (zh) 基于肤色的人手检测方法及装置
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
US10620826B2 (en) Object selection based on region of interest fusion
CN111124888B (zh) 录制脚本的生成方法和装置及电子装置
CN108563651B (zh) 一种多视频的目标搜索方法、装置及设备
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN110084204B (zh) 基于目标对象姿态的图像处理方法、装置和电子设备
JP6157165B2 (ja) 視線検出装置及び撮像装置
JP5887264B2 (ja) 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
CN113011403B (zh) 手势识别方法、系统、介质及设备
KR101791603B1 (ko) 잡음을 이용하여 컬러 객체를 검출하는 방법 및 잡음을 이용하여 발광 장치를 검출하는 시스템
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
JP2007052609A (ja) 手領域検出装置及び手領域検出方法、並びにプログラム
KR101344851B1 (ko) 영상처리장치 및 영상처리방법
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
Mohatta et al. Robust hand gestural interaction for smartphone based AR/VR applications
JP2017220098A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像認識システム
KR101541384B1 (ko) 영상 인식 장치 및 방법
JP2016095701A (ja) 画像処理装置、画像処理方法、及び、プログラム
CN111898463B (zh) 烟火检测识别方法和装置、存储介质及电子装置
KR101517538B1 (ko) 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 5