WO2023277473A1

WO2023277473A1 - 반려 동물의 식별을 위한 객체를 촬영하기 위한 방법 및 전자 장치

Info

Publication number: WO2023277473A1
Application number: PCT/KR2022/009095
Authority: WO
Inventors: 박대현; 임준호
Original assignee: 주식회사 펫나우
Priority date: 2021-06-28
Filing date: 2022-06-27
Publication date: 2023-01-05
Also published as: CA3218184A1; EP4322120A1; AU2022300548A1; JP2024518492A

Abstract

본 발명은 연산 복잡도를 감소시키면서 반려 동물의 식별을 위한 객체를 효과적으로 검출할 수 있는 영상 처리 방법 및 전자 장치를 제공한다. 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법은, 상기 반려 동물이 포함된 원본 영상을 획득하는 단계와, 상기 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하는 단계와, 상기 결정된 반려 동물의 종에 기초하여 상기 제1 특징 영역 내에서 상기 반려 동물의 식별을 위한 객체를 검출하는 단계를 포함한다.

Description

반려 동물의 식별을 위한 객체를 촬영하기 위한 방법 및 전자 장치

본 발명은 반려 동물의 식별을 위한 객체를 촬영하기 위한 방법 및 전자 장치에 관한 것으로, 보다 구체적으로 인공 지능 기반의 학습 또는 식별에 적합한 반려 동물의 식별용 객체의 이미지를 획득하기 위한 방법 및 전자 장치에 관한 것이다.

현대 사회에서 사람과 함께 생활하면서 정서적으로 의지할 수 있는 반려 동물에 대한 수요가 높아지고 있다. 이에 따라, 반려 동물에 대한 건강 관리 등을 위하여 다양한 반려 동물에 대한 정보를 데이터베이스화 하여 관리할 필요성이 증가하고 있다. 반려 동물을 관리하기 위하여 사람의 지문과 같이 반려 동물의 식별 정보가 필요하며, 반려 동물에 따라 사용될 수 있는 객체가 각각 정의될 수 있다. 예를 들어, 강아지의 경우 비문(코 주름의 형상)이 각자 상이하므로 각 강아지마다 비문을 식별 정보로 사용할 수 있다.

도 1의 (a)에 도시된 것과 같이, 비문을 등록하는 방법은 사람의 지문 또는 안면을 등록하는 것과 같이 반려 동물의 코를 포함한 안면을 촬영하고(S110) 비문을 포함한 이미지를 데이터베이스에 저장 및 등록하는 과정(S120)에 의해 수행된다. 또한, 비문을 조회하는 방법은 도 1의 (b)에 도시된 것과 같이 반려 동물의 비문을 촬영하고(S130), 촬영된 비문과 일치하는 비문 및 이와 관련된 정보를 탐색하고(S140), 촬영된 비문과 일치하는 정보를 출력하는 과정(S150)에 의해 수행될 수 있다. 도 1과 같이 반려 동물의 비문을 등록하고 조회하는 과정을 통해 각 반려 동물을 식별하고 해당 반려 동물의 정보를 관리할 수 있다. 반려 동물의 비문 정보는 데이터베이스에 저장되고 AI 기반의 학습 또는 식별을 위한 데이터로서 사용될 수 있다.

그러나, 반려 동물의 비문을 취득하고 저장함에 있어 몇 가지 문제점이 존재한다.

먼저, 사진은 촬영 각도, 초점, 거리, 크기, 환경 등에 따라 인식이 어려울 수 있다. 사람의 안면 인식 기술을 비문 인식에 적용하고자 하는 시도가 있었으나, 사람의 안면 정보는 충분한 데이터가 축적된 반면 반려 동물의 비문 정보는 충분한 데이터가 확보되지 않아 인식률이 낮다는 문제점이 있다. 구체적으로, AI 기반의 인식이 수행되기 위하여는 기계가 학습할 수 있는 형태로 가공된 학습 데이터가 필요하나, 반려 동물의 비문은 충분한 데이터가 축적되지 않아 비문 인식에 어려움이 있다.

또한, 반려 동물의 비문 인식을 위하여는 선명한 코 주름을 갖는 이미지가 요구되나, 사람과 달리 반려 동물은 잠시 동작을 멈추는 것과 같은 행위를 할 줄 모르기 때문에 선명한 코 주름 이미지를 취득하기가 쉽지 않다. 예를 들어, 강아지는 계속 안면을 움직이고 혀를 낼름거리기 때문에 원하는 품질의 비문 이미지를 취득하기가 매우 어렵다. 예를 들어, 비문 인식을 위하여 코의 주름이 선명하게 촬영된 영상이 요구되지만 실제로 촬영된 이미지는 대부분 흔들림 등으로 인하여 코 주름이 선명하게 촬영되지 못한 경우가 많다. 이러한 문제를 해결하기 위하여 강아지의 코를 강제로 고정시킨 상태로 촬영하는 방법들이 고려되고 있으나, 반려 동물에게 강제적인 행위를 하도록 하기 때문에 부적절한 것으로 평가받고 있다.

본 발명은 연산 복잡도를 감소시키면서 반려 동물의 식별을 위한 객체를 효과적으로 검출할 수 있는 영상 처리 방법 및 전자 장치를 제공한다.

본 발명은 반려 동물의 식별을 위한 객체의 이미지를 획득하는 과정에서 낮음 품질의 이미지를 효과적으로 필터링할 수 있는 방법 및 전자 장치를 제공한다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.

본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법은, 상기 반려 동물이 포함된 원본 영상을 획득하는 단계와, 상기 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하는 단계와, 상기 결정된 반려 동물의 종에 기초하여 상기 제1 특징 영역 내에서 상기 반려 동물의 식별을 위한 객체를 검출하는 단계를 포함한다.

본 발명에 따르면, 상기 반려 동물의 종을 결정하는 단계는, 상기 원본 영상에 대한 제1 전처리를 적용하는 단계와, 상기 전처리된 영상에서 상기 반려 동물의 종을 결정하여 상기 제1 특징 영역을 설정하는 단계와, 상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제1 특징 영역을 설정하는 단계는, 학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하는 단계와, 상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하는 단계와, 상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하는 단계와, 특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고, 상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략될 수 있다.

본 발명에 따르면, 상기 원본 영상에 대한 제1 전처리를 적용하는 단계는, 상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하는 단계와, 상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 반려 동물의 식별을 위한 객체를 검출하는 단계는, 상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하는 단계와, 상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하는 단계와, 상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제1 특징 영역에 대한 제2 전처리는 상기 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행될 수 있다.

본 발명에 따르면, 상기 제2 특징 영역을 설정하는 단계는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 서버로 전송될 수 있다.

본 발명에 따르면, 상기 제1 특징 영역을 생성하는 단계는, 상기 영상에서 상기 반려 동물의 종을 결정하기 위한 특징 영역 후보들을 생성하는 단계와, 상기 특징 영역 후보들 각각의 신뢰도 값에 기초하여 위치 및 크기가 결정된 제1 특징 영역을 생성하는 단계를 포함할 수 있다.

본 발명에 전자 장치는, 상기 반려 동물이 포함된 원본 영상을 생성하는 카메라와, 상기 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하고, 상기 결정된 반려 동물의 종에 기초하여 상기 제1 특징 영역 내에서 상기 반려 동물의 식별을 위한 객체를 검출하는 프로세서와, 상기 반려 동물의 식별을 위한 객체가 유효한 경우 상기 객체의 이미지를 서버로 전송하는 통신 모듈을 포함한다.

본 발명에 따르면, 상기 프로세서는 상기 원본 영상에 대한 제1 전처리를 적용하고, 상기 전처리된 영상에서 상기 반려 동물의 종을 결정하여 상기 제1 특징 영역을 설정하고, 상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출할 수 있다.

본 발명에 따르면, 상기 프로세서는 학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하고, 상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하고, 상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하고, 특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성할 수 있다.

본 발명에 따르면, 상기 프로세서는 상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하고, 상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용할 수 있다.

본 발명에 따르면, 상기 프로세서는 상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하고, 상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하고, 상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출할 수 있다.

본 발명에 따르면, 상기 프로세서는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정할 수 있다.

본 발명에 따르면, 상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 상기 서버로 전송될 수 있다.

본 발명에 따르면, 상기 프로세서는, 상기 영상에서 상기 반려 동물의 종을 결정하기 위한 특징 영역 후보들을 생성하고, 상기 특징 영역 후보들 각각의 신뢰도 값에 기초하여 위치 및 크기가 결정된 제1 특징 영역을 생성할 수 있다.

본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법 및 전자 장치는 반려 동물을 촬영한 후 즉시 비문의 학습 또는 식별을 위한 이미지를 선별하고 서버의 데이터베이스에 저장하도록 함으로써 학습 또는 식별을 위한 반려 동물의 코에 대응하는 객체의 이미지를 효과적으로 획득할 수 있다.

또한, 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법 및 전자 장치는 반려 동물의 종을 먼저 결정한 후 반려 동물의 비문 이미지를 추출함으로써 연산 복잡도를 감소시킬 수 있다.

본 발명에 따르면, 반려 동물의 종을 결정하기 위한 특징 영역을 결정하는 과정에서 복수개의 특징 영역 후보들 각각의 신뢰도 값을 고려하여 보다 넓은 영역의 최종 특징 영역을 생성하므로 이후 최종 특징 영역 내에서 반려 동물의 식별용 객체를 검출함으로써 보다 정확한 검출을 가능하게 한다.

본 발명에 따르면, 촬영된 이미지에서 강아지의 코와 같이 반려 동물의 식별을 위한 객체 이미지의 품질을 검사함으로써 해당 이미지가 인공 지능 기반의 학습 또는 식별에 적합한 이미지인지를 확인할 수 있고, 적합한 이미지만을 저장하여 학습 또는 식별을 위한 신경망을 최적화할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 AI 기반의 반려 동물의 관리를 위한 개략적인 절차를 도시한다.

도 2은 본 발명에 따른 학습 또는 식별용 객체 이미지의 적합도 판단이 적용된 AI 기반의 반려 동물의 비문 관리를 위한 절차를 도시한다.

도 3은 본 발명에 따른 반려 동물의 관리 시스템에서 반려 동물의 식별을 위한 객체를 검출하기 위한 절차를 도시한다.

도 4는 본 발명이 적용된 반려 동물의 식별 객체를 검출하기 위한 UI(User Interface) 화면의 예를 도시한다.

도 5는 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하는 과정을 도시한다.

도 6은 본 발명에 따른 특징 영역을 설정하기 위한 과정을 도시한다.

도 7은 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 과정을 나타내는 흐름도이다.

도 8은 본 발명에 따른 반려 동물의 종을 결정하기 위한 특징 영역을 도출하는 과정을 도시한다.

도 9는 본 발명에 따른 반려 동물의 식별을 위한 객체의 이미지를 처리하는 과정을 나타내는 흐름도이다.

도 10은 입력 이미지에 캐니 경계선(Canny edge) 검출기를 적용한 결과 이미지의 예를 나타낸다.

도 11은 캐니 경계선 검출기를 적용한 결과 이미지에서 흔들림 여부를 판단하기 위하여 사용되는 경계선이 위치한 픽셀 블록의 패턴 형태의 예를 도시한다.

도 12는 반려 동물의 식별을 위한 객체의 이미지를 필터링하기 위한 방법의 흐름도이다.

도 13은 본 발명에 따른 전자 장치의 블록도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적인 실시예에서만 설명하고, 그 외의 다른 실시예에서는 대표적인 실시예와 다른 구성에 대해서만 설명하기로 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(또는 결합)"되어 있는 경우뿐만 아니라, 다른 부재를 사이에 두고 "간접적으로 연결(또는 결합)"된 것도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 문서에서는 강아지의 코 주름 형상(비문)을 활용하여 식별 정보를 추출하는 내용을 중심으로 설명하나, 본 발명에서 반려 동물의 범위는 강아지에 한정되지 않으며, 또한 식별 정보로 사용되는 특징으로서 비문에 한정되지 않고 다양한 반려 동물의 신체적 특징이 사용될 수 있다.

앞서 설명한 바와 같이, AI 기반의 학습 또는 식별에 적합한 반려 동물의 비문 이미지가 충분하지 않고 반려 동물의 비문 이미지는 그 품질이 낮을 가능성이 크기 때문에 AI 기반의 학습 또는 식별을 위하여 비문 이미지를 선별적으로 데이터베이스에 저장할 필요가 있다.

도 2은 본 발명에 따른 학습 또는 식별용 비문 이미지의 적합도 판단이 적용된 AI 기반의 반려 동물의 비문 관리를 위한 절차를 도시한다. 본 발명은 반려 동물의 비문을 촬영한 후 촬영된 비문 이미지가 AI 기반의 학습 또는 식별을 위한 데이터로서 적합한지 여부를 먼저 판단하고, 적합하다고 판단된 경우 AI 기반의 학습 또는 인식을 위한 서버로 전송 및 저장하여 이후 학습 또는 식별을 위한 데이터로 사용한다.

도 2에 도시된 것과 같이, 본 발명에 따른 비문 관리 절차는 크게 비문 취득 절차와 비문 인식 절차를 포함한다.

본 발명에 따르면, 신규로 반려 동물의 비문을 등록할 때 반려 동물이 포함된 영상을 촬영한 후 반려 동물의 얼굴 영역에서 비문 이미지를 추출하며, 특히 해당 비문 이미지가 해당 반려 동물의 식별 또는 학습을 위하여 적합한 지 여부를 먼저 판단한다. 촬영된 이미지가 식별 또는 학습에 적합하다고 판단된 경우 해당 이미지가 서버(인공지능 신경망)로 전송되어 데이터베이스에 저장된다.

비문을 통해 반려 동물의 식별 정보를 조회하는 경우, 마찬가지로 반려 동물이 포함된 영상을 촬영한 후 반려 동물의 얼굴 영역에서 비문 이미지를 추출하며, 특히 해당 비문 이미지가 해당 반려 동물의 식별 또는 학습을 위하여 적합한 지 여부를 먼저 판단한다. 촬영된 이미지가 식별 또는 학습에 적합하다고 판단된 경우 해당 이미지가 서버로 전송되고 기존에 저장된 비문 이미지들과의 매칭을 통해 해당 반려 동물의 식별 정보를 추출한다.

비문 등록 절차의 경우, 도 2의 (a)와 같이 반려 동물을 촬영하고(S205), 촬영된 반려 동물의 이미지에서 먼저 얼굴 영역(이후 제1 특징 영역으로 설명됨)을 검출하고(S210), 얼굴 영역 내에서 코가 차지하는 영역(이후 제2 특징 영역으로 설명됨)을 검출하고 촬영된 이미지가 학습 또는 식별용으로 적합한지에 대한 품질 검사를 통해 비문 이미지를 출력하고(S215), 출력된 이미지가 인공 신경망을 구성하는 서버로 전송되어 저장 및 등록된다(S220).

비문 조회 절차의 경우, 도 2의 (b)와 같이 반려 동물을 촬영하고(S230), 반려 동물의 이미지에서 얼굴 영역을 검출하고(S235), 얼굴 영역 내에서 코가 차지하는 영역을 검출하고 촬영된 이미지가 학습 또는 식별용으로 적합한지에 대한 품질 검사를 통해 비문 이미지를 출력하는데(S240), 이는 비문 등록 절차와 유사하다. 이후 절차는 출력된 비문 이미지를 기존에 저장 및 학습된 비문 이미지들과 비교하여 일치하는 정보를 탐색하는 과정(S245)과 탐색 결과에 대한 출력 과정(S250)이 수행된다.

도 3은 본 발명에 따른 반려 동물의 비문 관리 시스템에서 반려 동물의 코에 대응하는 객체를 검출하기 위한 절차를 도시한다.

도 3을 참조하면, 먼저 반려 동물을 촬영하여 초기 이미지가 생성되며(S305), 초기 이미지에서 얼굴 영역을 검출하는 단계가 먼저 수행된다(S310). 이후 얼굴 영역 내에서 반려 동물의 종을 고려하여 코 영역을 검출하는 단계가 수행된다(S315). 1차적으로 얼굴 영역을 먼저 검출하고 2차적으로 코 영역을 검출하는 것은 계단식(cascaded) 검출을 통해 모든 종을 고려하여 코 영역을 검출하는 것 보다 연산 복잡도를 낮출 수 있고 검출 정확도도 향상시킬 수 있기 때문이다. 이후 검출된 코 영역의 이미지가 향후 비문의 식별 또는 학습에 있어 적합한지 여부를 검사하기 위한 품질 검사가 수행되고(S320), 품질 검사 결과 적합한 이미지로 판단된 경우 해당 이미지를 서버로 전송하여 비문의 식별에 사용되거나 향후 학습 또는 식별을 위해 저장될 수 있다(S325).

또한, 본 발명에 따르면 강아지의 코 주름(비문)과 같이 반려 동물의 식별을 위한 객체의 이미지가 흐릿하게 촬영되지 않도록 검출된 코 영역에 초점이 맞춰지도록 카메라를 제어할 수 있다(S330). 이는 카메라의 초점이 코 영역에 맞춰지도록 함으로써 코의 초점이 어긋남으로 인해 이미지의 품질이 저하되는 것을 방지하기 위함이다.

도 4는 본 발명이 적용된 반려 동물의 비문 이미지를 획득하기 위한 UI(User Interface) 화면의 예를 도시한다. 도 4는 여러 반려 동물들 중에서 강아지의 비문을 취득하기 위한 경우를 도시한다.

도 4를 참고하면, 촬영중인 영상에서 반려 동물의 종을 식별하여 현재 촬영중인 반려 동물이 강아지인지 여부를 판단한다. 촬영중인 반려 동물이 강아지가 아닌 경우 도 4의 (a)와 같이 '강아지를 찾을 수 없어요'와 같은 문구를 출력하고, 촬영중인 반려 동물이 강아지인 경우 강아지의 비문을 획득하기 위한 절차를 수행한다. 촬영중인 반려 동물이 강아지인지 여부를 판단하기 위하여 영상에 포함된 반려 동물의 얼굴 영역을 먼저 추출하고, 얼굴 영역에 포함된 이미지를 기존의 학습된 데이터와 비교하여 해당 반려 동물의 종(Species)을 결정할 수 있다.

이후, 도 4의 (b) 내지 (e)와 같이 강아지의 얼굴에서 강아지의 코에 해당하는 영역을 설정한 후 코에 해당하는 영역에 초점을 맞추어 촬영이 수행될 수 있다. 즉, 반려 동물의 식별을 위한 객체에 해당하는 영역의 위치(중심점)으로 초점이 맞춰지도록 카메라를 제어할 수 있다. 또한, 사용자에게 현재 추적중인 객체(예: 코)로 초점이 맞춰져 촬영되고 있음을 피드백을 하기 위하여 추적중인 객체의 위치에 그래픽 엘레먼트를 오버레이(overlay)할 수 있다. 추적중인 객체의 위치에 해당 객체의 검출 상태를 나타내는 그래픽 엘레먼트를 표시함으로써 현재 촬영중인 반려 동물에서 객체 인식이 수행되고 있음이 사용자에게 인지될 수 있다.

도 4의 (b) 내지 (e)에 도시된 것과 같이, 현재 촬영중인 객체의 이미지 품질이 양호한 경우(객체의 이미지의 품질이 기준 조건을 만족하는 경우), 양호 품질 상태를 나타내는 제1 그래픽 엘레먼트(410A)(예: 웃는 아이콘 또는 녹색 아이콘)를 객체에 오버레이하여 출력할 수 있다. 현재 촬영중인 객체의 이미지 품질이 불량한 경우(객체의 이미지의 품질이 기준 조건을 만족하지 않는 경우), 불량 품질 상태를 나타내는 제2 그래픽 엘레먼트(410B)(예: 우는 아이콘 또는 적색 아이콘)를 객체에 오버레이하여 출력할 수 있다.

도 4와 같이 강아지가 지속적으로 움직이는 경우에도 강아지의 코를 추적하면서 코에 초점을 맞춰 촬영이 수행될 수 있다. 이때 각 촬영된 영상에서 강아지의 비문 이미지가 반려 동물의 식별 또는 학습을 위하여 적합한지 여부를 판단하고, 적합성에 대한 정도가 출력될 수 있다.

예를 들어, 촬영된 강아지의 비문 이미지가 반려 동물의 식별 또는 학습을 위하여 적합한지에 대한 정도가 수치로서 계산될 수 있으며, 적합도에 대한 수치에 따라 적합도가 낮을수록 'BAD' 방향으로, 적합도가 높을 수록 'GOOD' 방향으로 게이지가 채워지는 형태의 스코어 정보(420)가 출력될 수 있다. 즉, 영상에서 객체의 촬영 품질을 나타내는 스코어 정보(420)가 출력될 수 있다.

또한, 현재 촬영되고 있는 비문의 이미지에 대한 품질 평가(사이즈, 밝기, 선명도 등)를 수행하여 인공 지능 기반의 식별 또는 학습에 적합한 비문 이미지가 촬영되도록 사용자에게 피드백을 제공하는 메시지(430)를 출력할 수 있다. 예를 들어, 강아지 비문 이미지의 사이즈가 기준치보다 작은 경우, 보다 큰 사이즈의 비문 이미지가 촬영되도록 도 4의 (c)에 도시된 것과 같이 '강아지 코 거리를 맞춰주세요'와 같은 메시지를 출력할 수 있다. 또한, 반려 동물의 식별을 위하여 적합한 품질을 갖는 객체의 이미지가 획득되는 진행 정도를 나타내는 진행률 정보(440)가 출력될 수 있다. 예를 들어, 적합한 품질을 갖는 비문 이미지가 4장 필요하고 현재까지 적합한 이미지가 1장 취득된 경우, 도 4와 같이 진행률이 25%임을 나타내는 진행률 정보(440)가 출력될 수 있다.

강아지의 비문 이미지가 충분히 획득된 경우, 촬영을 종료하고 해당 강아지의 비문 이미지와 함께 식별 정보를 데이터베이스에 저장하거나 해당 강아지의 식별 정보를 출력할 수 있다.

본 발명에서, 반려 동물의 얼굴 영역을 먼저 검출한 이후 얼굴 영역 내에서 코 영역을 검출한다. 이는 연산 복잡도를 저감시키면서 객체 검출 난이도를 낮추기 위함이다. 영상을 촬영하는 과정에서 검출하고자 하는 객체 이외의 물체 또는 불필요하거나 잘못된 정보가 영상에 포함될 수 있다. 따라서, 본 발명은 촬영중인 영상에서 원하는 객체(반려 동물의 코)가 존재하는지 여부를 먼저 판단한다.

또한, 반려 동물의 비문을 식별하기 위하여는 일정 수준 이상의 해상도를 갖는 영상이 요구되지만 영상의 해상도가 높아질수록 영상의 처리를 위한 연산량이 증가하게 되는 문제가 있다. 또한, 반려 동물의 종류가 증가함에 따라 각 반려 동물의 종류 별로 학습 방법이 상이하기 때문에 인공지능의 연산 난이도가 더욱 증가하게 되는 문제가 있다. 특히, 유사한 종류의 동물은 비슷한 형상을 가지기 때문에(예: 강아지의 코와 늑대의 코는 유사함) 유사한 동물에 대하여 동물의 종류와 함께 코를 분류하는 것은 매우 높은 연산 난이도를 가질 수 있다.

따라서, 본 발명은 이러한 연산 복잡도를 저감시키기 위하여 계단식(cascaded) 객체 검출 방법을 사용한다. 예를 들어, 반려 동물을 촬영하면서 반려 동물의 얼굴 영역을 먼저 검출한 후 반려 동물의 종류를 먼저 식별하고, 검출된 반려 동물의 얼굴 영역과 식별된 반려 동물의 종류에 기초하여 해당 반려 동물의 코 영역을 검출한다. 이는 상대적으로 연산 복잡도가 낮은 저해상도에서 반려 동물의 종류를 식별하는 과정을 먼저 수행하고 반려 동물의 종류에 따라 결정된 객체 검출 방법을 적용하여 반려동물의 얼굴 영역에서 고해상도를 유지하며 코 영역 검출을 수행하는 것이다. 그리하여, 본 발명은 상대적으로 연산 복잡도를 저감시키면서도 효과적으로 반려 동물의 코 영역을 검출할 수 있다.

도 5는 본 발명에 따른 반려 동물의 식별을 위한 전반적인 영상 처리 과정을 도시한다. 도 5에 도시된 것과 같이, 본 발명에 의한 입력 영상을 처리하는 방법은 카메라에서 입력 영상을 받아오는 단계(S505), 입력 영상의 크기를 조정하여 1차 처리 영상을 생성하는 제1 전처리 단계(S510), 제1 전처리 단계에서 생성된 처리 영상으로부터 동물의 위치와 동물의 종을 검출하는 제1 특징 영역 검출 단계(S515), 제1 특징 영역 검출 단계의 결과물로부터 동물 영상의 제1 특징 값을 추출하는 제1 후처리 단계(S520), 제1 후처리 단계를 통해 처리된 영상에서 반려 동물의 종에 따라 반려 동물의 식별을 위한 객체(예: 코)를 검출하기 위한 검출기를 결정하는 단계(S525), 반려 동물의 식별을 위한 영상 처리를 위하여 영상의 크기를 조절하는 제2 전처리 단계(S530), 제1 특징 검출 단계에서 검출할 수 있는 동물의 종에 각각 대응하는 적어도 하나의 제2 특징 영역 검출 단계(S535), 각각의 제2 특징 영역 검출 단계에 대응하여 동물 영상의 제2 특징 값을 추출하는 제2 후처리 단계(S540)를 포함한다.

제1 전처리 단계

원본 영상에 대한 제1 전처리를 적용하는 단계(S510)는 원본 영상의 크기, 비율, 방향 등을 조절하여 객체 검출에 적합한 형태로 영상을 변환하는 단계이다.

카메라 기술의 발달에 따라, 입력 영상은 대부분 수백만에서 수천만 화소로 구성되며, 이렇게 큰 영상을 직접 처리하는 것은 바람직하지 않다. 객체 검출이 효율적으로 작동하려면 입력 영상을 처리하기 적당하도록 전처리 과정을 수행해야 한다. 이러한 과정은 수학적으로는 좌표계 변환으로 이루어진다.

입력 영상 내의 임의의 4점을 처리 영상의 네 꼭지점에 대응시키고, 임의의 좌표계 변환 과정을 거침으로써 임의의 처리 영상을 생성할 수 있음은 명백하다. 그러나 좌표계 변환 과정에 있어 임의의 비선형 변환 함수를 사용하는 경우, 특징 영역 검출기의 결과로 획득한 경계 상자로부터 입력 영상의 특징 영역을 얻는 역변환이 가능하여야 한다. 예를 들면, 입력 영상의 임의의 4점을 처리 영상의 네 꼭지점에 대응시켜 선형 변환하는 아핀 변환(Affine Transformation)을 사용하면 손쉽게 그 역변환 과정을 얻을 수 있으므로 이를 사용함이 바람직하다.

입력 영상 내의 임의의 4점을 결정하는 방법의 일 예로, 입력 영상의 네 꼭지점을 그대로 사용하는 방법을 생각할 수 있다. 또는, 가로 길이와 세로 길이가 같은 비율로 변환될 수 있도록, 입력 영상에 여백을 덧붙이거나, 또는 입력 영상의 일부를 잘라내는 방법을 사용할 수 있다. 또는 입력 영상의 크기를 축소시키기 위하여 다양한 보간 방법을 적용할 수 있다.

제1 특징 영역 검출 단계

본 단계는 전처리된 영상 내에서 반려 동물이 존재하는 영역과 그 동물의 종(種)을 먼저 검출함으로써, 후술할 제2 특징 영역 검출 단계에서 사용할 수 있는 제1 특징 영역을 설정하고, 더불어 각 반려 동물의 종에 최적화된 제2 특징 영역 검출기를 선택함으로써 최종적인 특징점 검출 성능을 올리는 데에 그 목적을 둔다.

본 과정에 있어 객체 검출 및 분류 방법은 관련 분야에 통상적인 지식을 가진 자라면 어느 것이던 용이하게 결합할 수 있을 것이다. 그러나, 종래의 방법과 대비하여 인공 신경망에 기반한 방법이 성능이 우수한 것으로 알려져 있으므로, 가급적 인공 신경망에 기반한 특징 검출 기법을 사용하는 것이 바람직하다. 예를 들어, 인공 신경망에 한 장의 이미지에 대하여 여러 가지 크기의 물체를 검출하는 알고리즘인 SSD(Single-Shot Multibox Detection) 방식의 특징 검출기가 사용될 수 있다.

앞서 설명한 전처리기에 따라 정규화된 입력 영상은, 인공 신경망에 의하여 계층적으로 제1 특징 영상부터 제n 특징 영상을 구성하게 된다. 이 때 각 계층마다 특징 영상을 추출하는 방법은 인공 신경망의 학습 단계에서 기계적으로 학습될 수 있다.

이렇게 추출된 계층적 특징 영상은, 각 계층마다 대응되는 사전 정의된 상자(Priori Box) 목록과 결합되어 경계 상자와 개체 종류, 그리고 신뢰도 값 목록을 생성하게 된다. 이러한 연산 과정 또한 인공 신경망의 학습 단계에서 기계적으로 학습될 수 있다. 예를 들어 그 결과값은 아래의 표 1과 같은 형식으로 반환된다. 이 때 신경망이 판단할 수 있는 종의 개수는 신경망 설계 단계에서 결정되며, 암묵적으로 객체가 존재하지 않는 경우, 즉 "배경"이 정의된다.

이러한 결과 상자는 NMS(Non-Maximum Suppression) 단계를 통하여 중첩되는 결과 상자들을 병합하여 최종적으로 영상 내에 존재하는 객체 검출 결과로 반환된다. NMS는 복수개의 특징 영역 후보들로부터 최종적인 특징 영역을 도출하는 과정으로서, 특징 영역 후보들은 도 6과 같은 절차에 따라 표 1과 같은 확률 값을 고려하여 생성될 수 있다.

이 과정을 상세히 설명하면 다음과 같다.

1. 배경을 제외한 각각의 종에 대하여 각각 다음 과정을 수행한다.

A. 경계 상자 목록에서, 해당 종일 확률이 특정 문턱 값 보다 낮은 상자를 제외한다. 남은 상자가 없다면 결과 없음으로 종료한다.

B. 상기 경계 상자 목록에서, 해당 종일 확률이 가장 높은 상자를 제1 상자(제1 경계 영역)로 지정하고 경계 상자 목록에서 제외한다.

C. 나머지 경계 상자 목록에 대하여, 확률이 높은 순서에 따라 각각 다음 과정을 수행한다.

i. 제1 상자와의 교집합 대 합집합 면적 비(Intersection over Union)를 연산한다.

ii. IoU가 특정 문턱 값보다 높다면, 이 상자는 제1 상자와 중첩되는 상자이다. 제1 상자와 병합한다.

D. 제1 상자를 결과 상자 목록에 추가한다.

E. 경계 상자 목록에 상자가 남아 있다면, 남은 상자를 대상으로 다시 C 단계부터 반복한다.

두 상자 A와 B에 대하여, 교집합 대 합집합 면적비는 아래의 수학식 1과 같이 효과적으로 연산할 수 있다.

즉, 본 발명에 따르면 특징 영역 후보들을 생성하는 단계는 특징 영상에서 특정 동물 종에 해당할 확률이 가장 높은 제1 경계 영역(제1 상자)을 선택하는 단계와, 특징 영상에서 선택된 경계 영역(제1 상자)을 제외한 나머지 경계 영역들에 대하여 확률 값의 순서에 따라 제1 경계 영역과의 교집합 대 합집합 면적비(IoU)를 계산하고 교집합 대 합집합 면적이 기준 면적비보다 큰 경계 영역을 특징 영상의 특징 영역 후보에 포함시키는 단계를 포함할 수 있다.

상기 과정에서 제1 상자와 중첩되는 상자를 병합하는 방법에 대해 설명하면 다음과 같다. 예를 들어, 제1 상자는 그대로 유지하고 제2 상자는 경계 상자 목록에서 삭제하는 방법으로 병합할 수 있다 (Hard NMS). 또는, 제1 상자는 그대로 유지하고 제2 상자가 특정 종일 확률을 (0, 1) 사이의 값만큼 가중치를 주어 감소시키고, 감쇄된 결과값이 특정 문턱 값보다 작다면 비로소 경계 상자 목록에서 삭제하는 방법으로 병합할 수 있다 (Soft NMS).

본 발명에서 제안하는 일 실시예로서, 아래의 수학식 2와 같이 제1 상자(제1 특징 영역 후보)와 제2 상자(제1 특징 영역 후보)를 확률 값에 따라 병합하는 새로운 방법(Expansion NMS)을 사용할 수 있다.

이 때, p¹, p² 는 각각 제 1 상자(제1 특징 영역 후보), 제 2 상자(제1 특징 영역 후보)의 확률 값이며, C_(x,y) ¹, C_(x,y) ², C_(x,y) ⁿ는 각각 제 1 상자, 제 2 상자, 병합된 상자의 중앙점의 (x,y) 좌표 값을 나타낸다. 같은 방법으로, W₁, W₂, W_n은 각각 제1 상자, 제2 상자, 병합된 상자의 가로 너비를, H¹, H², Hⁿ은 세로 높이를 나타낸다. 병합된 상자의 확률 값은 제1 상자의 확률 값을 사용할 수 있다. 본 발명에 따른 확장형 NMS에 의해 도출되는 제1 특징 영역은 각 특징 영역 후보들에서 특정 종이 위치할 신뢰도 값을 고려하여 결정된다.

즉, 제1 특징 영역이 위치하는 중심점(C_(x,y) ⁿ)은 수학식 2와 같이 특징 영역 후보의 중심점들(C_(x,y) ¹, C_(x,y) ²)에 대한 신뢰도 값(p¹, p²)의 가중 합에 의해 결정될 수 있다.

또한, 제1 특징 영역의 너비(W_n ⁾는 수학식 2와 같이 특징 영역 후보들의 너비들(W₁, W₂)에 대한 신뢰도 값(p¹, p²)의 가중 합에 의해 결정되고, 제1 특징 영역의 높이(Hⁿ)는 특징 영역 후보들의 높이들(H¹, H²)에 대한 신뢰도 값(p¹, p²)의 가중 합에 의해 결정될 수 있다.

상기 실시 예에 따라 새로운 상자를 생성함으로써, 기존의 Hard-NMS 또는 Soft-NMS 방식과 대비하였을 때, 폭과 너비가 더 큰 상자를 얻게 된다. 본 실시예에 따르면 다단계 검출기를 수행하기 위한 전처리 검출에서는 일정 부분의 여백을 추가하는 구성이 가능한데, 본 발명에 따른 확장형 NMS(Expansion NMS)를 사용함으로써 이러한 여백을 적응적으로 결정할 수 있다.

도 8은 기존의 NMS와 비교하여 본 발명에 따른 확장형 NMS를 적용하여 반려 동물의 특징 영역을 검출하는 경우의 예를 도시한다. 도 8의 (a)는 원본 영상에서 생성된 복수개의 특징 영역 후보들을 도시하며, 도 8의 (b)는 기존의 NMS에 의해 도출된 제1 특징 영역의 예, 도 8의 (c)는 본 발명에 따른 확장형 NMS를 적용하여 도출된 제2 특징 영역의 예를 도시한다. 도 8의 (b)에 도시된 것과 같이 기존의 NMS(Hard NMS, Soft NMS)는 복수개의 박스들(특징 영역 후보들) 중 신뢰도가 가장 큰 하나의 박스(특징 영역 후보)를 선택하기 때문에 이후 수행되는 제2 특징 영역 검출 과정에서 코 영역과 같이 비문을 획득하는데 필요한 영역이 벗어날 가능성이 있다.

따라서, 본 발명은 복수개의 박스들(특징 영역 후보들)에 대하여 신뢰도 값에 기반한 가중 평균을 적용하여 도 8의 (c)와 같이 너비와 높이가 큰 하나의 박스를 제1 특징 영역(반려 동물의 얼굴 영역)으로 설정하고, 제1 특징 영역 내에서 반려 동물의 식별을 위한 제2 특징 영역(코 영역)을 검출할 수 있다. 본 발명과 같이 보다 확장된 제1 특징 영역을 설정함으로써 이후 수행되는 제2 특징 영역이 검출되지 않는 오류의 발생을 감소시킬 수 있다.

마지막으로, 이렇게 결정된 하나 또는 복수 개의 경계 상자에 대하여, 전처리 단계에서 사용한 임의의 변환 과정에 대한 역변환 과정을 거침으로써 원본 영상에서의 특징 영역을 얻을 수 있음은 당연하다. 구성에 따라서는 원본 영상에서의 특징 영역에 일정량의 여백을 덧붙임으로써 후술할 제2 검출 단계를 잘 수행할 수 있도록 조정할 수 있다.

제1 후처리 단계

앞서 기술한 제1 특징 영역 설정 단계(S515)에서 획득된 입력 영상의 각 특징 영역에 대하여, 추가적인 후처리 단계를 수행함으로써 제1 특징 값을 생성할 수 있다. 예를 들어, 입력 영상의 제1 특징 영역에 대한 밝기 정보(제1 특징 값)를 획득하기 위해 아래의 수학식 3과 같은 연산을 수행할 수 있다.

이 때 L은 BT.601 표준에 따른 Luma 값이며, V는 HSV 색공간에서 정의하는 명도 값이다. M, N은 대상 특징 영역의 가로 너비와 세로 높이이다.

이렇게 추가적으로 생성한 제1 특징 값을 이용하여, 제1 특징 영역 검출 단계(S515)에서 획득한 제1 특징 영역이 본 특허와 결합되는 응용 분야에서 사용하는데 적합한지 예측할 수 있다. 추가적으로 생성되는 제1 특징 값은 응용 분야에 따라 적절하게 설계되어야 함은 자명하다. 응용 분야에서 정의하는 제1 특징 값의 조건을 충족하지 않는 경우, 선택적으로 후술하는 제2 특징 영역 설정 및 객체 검출 단계를 생략하도록 시스템을 구성할 수 있다.

제2 특징 영역 검출 단계

본 단계는 동물이 존재하는 영역에서 구체적으로 응용 분야에서 필요로 하는 특징 영역을 추출하는 것을 목적으로 한다. 예를 들어, 동물의 얼굴 영역에서 눈, 코, 입, 귀의 위치를 검출해 내는 응용 분야를 예를 들면, 제1 특징 영역 검출 단계에서는 동물의 얼굴 영역과 동물의 종 정보를 우선 구분하고, 제2 특징 영역 검출 단계에서는 동물의 종에 따라 눈, 코, 입, 귀 위치를 검출해 내는 것을 목적으로 한다.

이 과정에 있어, 제2 특징 영역 검출 단계는 각각의 동물의 종에 특화된 서로 독립된 복수 개의 특징 영역 검출기로 구성될 수 있다. 예를 들어, 제1 특징 영역 검출 단계에서 개, 고양이, 햄스터를 구분할 수 있다면, 3개의 제2 특징 영역 검출기를 두고 각각을 개, 고양이, 햄스터에 대해 특화되도록 설계하는 것이 바람직하다. 이렇게 함으로써, 개별 특징 영역 검출기에서 학습하여야 하는 특징 종류를 감소시켜 학습 복잡도를 감소시킬 수 있으며, 또한 학습 데이터 수집 측면에서도 더 적은 숫자의 데이터 만으로도 신경망 학습이 가능하게 됨은 자명하다.

각각의 제2 특징 영역 검출기는 서로 독립적으로 구성되므로, 통상적인 지식 소유자라면 독립된 개별 검출기를 손쉽게 구성이 가능하다. 각각의 특징 영역 검출기는 각각의 종에서 검출하려는 특징 정보에 맞게끔 개별적으로 구성하는 것이 바람직하다. 또는, 시스템 구성의 복잡도를 감소시키기 위하여, 일부 또는 모든 제2 특징 영역 검출기가 같은 구조의 특징 영역 검출기를 공유하되, 학습 파라미터 값을 교체함으로써 각각의 종에 적합하게 시스템을 구성하는 방법을 사용할 수 있다. 더욱 나아가, 제2 특징 영역 검출기로 제1 특징 영역 검출 단계와 동일한 구조의 특징 영역 검출기를 사용하되, 학습 파라미터 값과 NMS 방법만을 교체함으로써 시스템 복잡도를 더욱 감소시키는 방법을 고려할 수도 있다.

제1 특징 영역 검출 단계 및 제1 후처리 단계를 통하여 설정된 하나 또는 복수 개의 특징 영역에 대하여, 제1 특징 영역 검출 단계에서 검출한 종 정보를 이용하여 어떤 제2 특징 영역 검출기를 사용할 지 결정하고, 결정된 제2 특징 영역 검출기를 이용하여 제2 특징 영역 검출 단계를 수행한다.

먼저 전처리 과정을 수행한다. 이 때 좌표를 변환하는 과정에서, 역변환이 가능한 변환 과정을 사용해야 함은 자명하다. 제2 전처리 과정에서는 입력 영상 내에서 검출된 제1 특징 영역을 제2 특징 영역 검출기의 입력 영상으로 변환하여야 하므로 변환 함수를 설계하는데 필요한 4개 점은 제1 특징 영역의 네 꼭지점으로 정의함이 바람직하다.

제2 특징 영역 검출기를 통하여 획득한 제2 특징 영역은 제1 특징 영역을 이용하여 검출된 값이므로, 전체 입력 영상 내에서 제2 특징 영역을 연산할 때에는 제1 특징 영역을 고려하여야 한다.

제2 특징 영역 검출기를 통하여 획득한 제2 특징 영역에 대하여, 제1 후처리 단계와 유사하게 추가적인 후처리 단계를 수행함으로써 제2 특징 값을 생성할 수 있다. 예를 들어, 영상의 선명도를 구하기 위하여 Sobel filter를 적용하거나, 또는 특징 영역 사이에 검출 여부 및 상대적인 위치 관계를 이용하여, 검출하려는 동물의 자세 등의 정보를 구할 수 있다. 또한, 이후 설명되는 것과 같은 이미지 품질 검사(예: 초점 어긋남(Focus blur), 흔들림(Motion blur))가 수행될 수 있다.

이렇게 추가적으로 생성한 제2 특징 값을 이용하여, 제2 객체 검출 단계에서 획득한 특징 영역이 본 특허와 결합되는 응용 분야에서 사용하는데 적합한지 예측할 수 있다. 추가적으로 생성되는 제2 특징 값은 응용 분야에 따라 적절하게 설계되어야 함은 자명하다. 응용 분야에서 정의하는 제2 특징 값의 조건을 충족하지 않는 경우, 제2 검출 영역뿐만 아니라 제1 검출 영역을 검출 결과에서 제외하는 등 응용 분야에 적합하게 데이터를 취득할 수 있도록 설계함이 바람직하다.

시스템 확장

본 발명에서는 2단계의 검출 단계를 구성함으로써, 제1 특징 위치 검출 단계에서는 동물의 위치와 종을 검출하고, 이 결과에 따라 제2 특징 위치 검출 단계에서 사용하는 검출기를 선택하는 시스템과 구성 방법의 예를 들었다.

이러한 계단식 구성(cascade configuration)은 손쉽게 다층 계단식 구성으로 확장될 수 있다. 예를 들어, 제1 특징 위치 검출 단계에서는 동물의 몸 전체를 검출하고, 제2 특징 위치 검출 단계에서는 동물의 얼굴 위치와 팔다리 위치를 검출하고, 제3 특징 위치 검출 단계에서는 얼굴에서 눈, 코, 입, 귀의 위치를 검출하는 등의 응용 구성이 가능하다.

이러한 다층 계단식 구성을 사용함으로써 동시에 여러 계층의 특징 위치 취득이 가능한 시스템을 손쉽게 설계할 수 있다. 다층 계단식 시스템을 설계함에 있어 층 수를 결정하는 데에는 취득하고자 하는 특징 위치의 계층 도메인, 전체 시스템의 동작 시간과 복잡도, 그리고 각각의 개별 특징 영역 검출기를 구성하는데 필요한 자원 등을 고려하여야 최적의 계층 구조를 설계할 수 있음은 자명하다.

도 7은 본 발명에 따른 반려 동물의 비문 관리 시스템에서 반려 동물의 코에 대응하는 객체를 검출하기 위한 방법의 흐름도이다.

본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법은, 반려 동물(예: 강아지)이 포함된 원본 영상을 획득하는 단계(S710)와, 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 반려 동물의 종(種)을 결정하는 단계(S720)와, 결정된 반려 동물의 종(種)에 기초하여 제1 특징 영역 내에서 반려 동물의 식별을 위한 객체(예: 코)를 검출하는 단계(S730)를 포함한다.

S710 단계에서, 반려 동물의 객체 인식을 위한 어플리케이션이 실행된 상태에서 활성화된 카메라를 통해 반려 동물이 포함된 원본 영상이 획득된다. 여기서 반려 동물이 원활하게 촬영될 수 있도록 조도, 초점 등이 조절될 수 있다. 여기서 획득된 영상이 도 5 및 도 6의 입력 영상으로 제공될 수 있다. 이후 앞서 설명한 바와 같이 계단식(cascaded) 객체 검출을 위하여 반려 동물의 종을 결정하는 단계(S720) 및 반려 동물의 객체를 검출하는 단계(S730)가 수행될 수 있다.

S720 단계에서, 반려 동물의 종을 식별하기 위한 절차가 수행된다. 본 발명에 따르면, 상기 반려 동물의 종을 결정하는 단계(S720)는, 원본 영상에 대한 제1 전처리를 적용하는 단계와, 전처리된 영상에서 반려 동물의 종을 식별하고 상기 제1 특징 영역을 설정하는 단계와, 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 단계를 포함할 수 있다.

원본 영상에 대한 제1 전처리를 적용하는 단계는 앞서 도 5의 S510 단계를 참조하여 설명한 것과 같이 원본 영상의 크기, 비율, 방향 등을 조절하여 객체 검출에 적합한 형태로 영상을 변환하는 단계이다.

제1 특징 영역을 설정하는 단계는 영상에서 반려 동물이 존재하는 영역과 그 반려 동물의 종을 검출하는 단계로서, 후술할 제2 특징 영역 검출 단계에서 사용할 수 있는 제1 특징 영역을 설정하고, 더불어 각 반려 동물의 종에 최적화된 제2 특징 영역 검출기를 선택함으로써 최종적인 특징점 검출 성능을 개선하기 위함이다.

본 발명에 따르면, 제1 특징 영역을 설정하는 단계는, 학습용 신경망을 사용하여 상기 전처리된 영상을 복수개의 특징 영상으로 구분하는 단계와, 복수의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하는 단계와, 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하는 단계와, 특정 동물 종에 대하여 계산된 확률 값이 기준치 이상인 경우 경계 상자가 포함되도록 제1 특징 영역을 구성하는 단계를 포함할 수 있다.

앞서 설명한 바와 같이, 전처리기에 따라 정규화된 입력 영상은 인공 신경망에 의하여 계층적으로 제1 특징 영상부터 제n 특징 영상을 구성하게 된다. 이 때 각 계층마다 특징 영상을 추출하는 방법은 인공 신경망의 학습 단계에서 기계적으로 학습될 수 있다.

이렇게 추출된 계층적 특징 영상은, 각 계층마다 대응되는 사전 정의된 경계 상자(Priori Box) 목록과 결합되어 경계 상자와 개체 종류, 그리고 신뢰도 값(확률 값) 목록을 생성하고, 결과적으로 표 1과 같은 형식으로 출력될 수 있다.

이후, 특정 경계 상자에서 특정 동물 종류의 확률 값이 기준치 이상인 경우 해당 경계 상자가 제1 특징 영역에 포함될 수 있도록 제1 특징 영역을 설정한다.

한편, 앞서 설명한 것과 같이 반려 동물의 얼굴 영역(제1 특징 영역)을 결정하기 위한 과정은 높은 해상도가 요구되지 않기 때문에 상대적으로 낮은 해상도에서 수행될 수 있다. 즉, 원본 영상에 대한 제1 전처리를 적용하는 단계는 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하는 단계와, 제1 해상도로 변환된 영상에 대하여 제1 전처리를 적용하는 단계를 포함할 수 있다.

한편, 반려 동물의 종을 식별하기 위한 제1 특징 영역이 설정되면, 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값이 추출된다. 이는 획득된 영상으로부터 추출된 강아지의 비문 이미지가 이후 학습 또는 식별에 사용되는 데이터로서 적합한지 여부를 먼저 판단하기 위함이다.

즉, 제1 특징 값이 기준치보다 큰 경우 반려 동물을 식별하기 위한 객체 검출이 수행되고, 상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 수행되지 않고 다른 영상에 대한 처리가 수행된다. 제1 특징 값은 실시예마다 다양할 수 있으며, 예를 들어 처리되는 영상의 밝기 정보가 사용될 수 있다.

S730 단계에서, 반려 동물을 식별하기 위한 객체의 검출이 수행된다. 반려 동물을 식별하기 위한 객체로서, 눈, 코, 입, 귀 등 다양한 부위가 사용될 수 있으나, 대표적으로 비문을 사용하기 위한 코를 중심으로 설명하도록 한다. 본 단계는 앞서 수행한 반려 동물의 종을 고려하여 수행된다. 반려 동물이 강아지인 경우 강아지에 최적화된 식별을 위한 객체 검출이 수행될 수 있다. 최적화된 객체 검출은 동물의 종류별로 상이할 수 있다. 나아가, 촬영된 영상에 포함된 반려 동물이 여러 종류인 경우 각 동물마다 식별을 위한 객체 검출이 수행될 수 있다.

반려 동물의 식별을 위한 객체를 검출하는 단계는, 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하는 단계와, 제2 전처리된 제1 특징 영역에서 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하는 단계와, 상기 제2 특징 영역에 대한 제2 후처리를 적용하는 단계를 포함할 수 있다.

반려 동물의 식별을 위한 객체를 검출하기 위한 제2 전처리는 제1 전처리와 유사하게 영상의 사이즈 등을 조절하는 과정이다. 제1 특징 영역에 대한 제2 전처리는 상기 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행될 수 있다. 이는 동물의 종류를 결정하는 과정과 달리 반려 동물의 식별을 위한 객체(예: 코)를 검출하고 식별용 데이터(비문 이미지)를 검사하는 과정은 상대적으로 높은 품질의 이미지가 요구되기 때문이다. 이후, 전처리된 영상에 대하여 반려 동물의 식별을 위한 객체로서 제2 특징 영역이 설정된다

제2 특징 영역을 설정하는 단계는 반려 동물의 종에 따라 제1 특징 영역(예: 얼굴 영역)에서 반려 동물의 식별을 위한 객체(예: 코)가 위치하는 확률에 기초하여 제2 특징 영역(예: 코 영역)을 설정하는 단계를 포함한다. 앞서 S720 단계에서 반려 동물의 종이 결정되면, 해당 종에 따라 최적화된 개별 특징 영역 검출기 및 파라미터가 선택되고, 선택된 검출기 및 파라미터를 사용하여 보다 낮은 연산 복잡도로 해당 반려 동물의 식별용 객체(예: 코 영역)를 검출할 수 있다.

제2 특징 영역으로 검출된 반려 동물의 식별용 객체의 이미지가 이후 학습 또는 식별에 사용되기에 적합한지 여부를 검사하기 위한 후처리가 수행될 수 있다. 후처리에 대한 결과로서 해당 이미지의 적합도를 나타내는 제2 특징 값으로서 도출될 수 있다. 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 서버로 전송된다.

도 13은 본 발명에 따른 전자 장치(1300)의 블록도이다. 본 발명에 따른 전자 장치(1300)는, 카메라(1310), 프로세서(1320), 통신 모듈(1330), 메모리(1340), 디스플레이(1350)를 포함할 수 있다.

카메라(1310)는 렌즈와 같은 광학 모듈과 입력된 광으로부터 영상 신호를 생성하는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor)를 포함할 수 있으며, 영상 촬영을 통해 영상 데이터를 생성하여 프로세서(1320)로 제공할 수 있다.

프로세서(1320)는 전자 장치(1300)의 각 모듈을 제어하고 영상 처리를 위해 필요한 연산을 수행한다. 프로세서(1320)는 그 기능에 따라 복수개의 마이크로프로세서(프로세싱 회로)로 구성될 수 있다. 프로세서(1320)는 앞서 설명한 바와 같이 반려 동물(예: 강아지)의 식별을 위한 객체(예: 코)를 검출하고 해당 객체에 대한 이미지의 유효성 판단을 수행할 수 있다.

통신 모듈(1330)은 유/무선 네트워크를 통해 외부의 개체(entity)와 데이터를 송신 또는 수신할 수 있다. 특히, 통신 모듈(1330)은 학습 또는 식별을 서버와의 통신을 통해 인공 지능 기반의 처리를 위한 데이터를 교환할 수 있다.

추가적으로, 전자 장치(1300)는 영상 데이터 및 영상 처리를 위하여 필요한 정보를 저장하는 메모리(1340)와 사용자에게 화면을 출력하는 디스플레이(1350)를 포함하여 용도에 따라 다양한 모듈들을 포함할 수 있다.

본 발명에 따른 전자 장치(1300)는, 반려 동물이 포함된 원본 영상을 생성하는 카메라(1310)와, 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하고, 결정된 반려 동물의 종에 기초하여 제1 특징 영역 내에서 반려 동물의 식별을 위한 객체를 검출하는 프로세서(1320)와, 반려 동물의 식별을 위한 객체가 유효한 경우 상기 객체의 이미지를 서버로 전송하는 통신 모듈(1330)을 포함한다.

본 발명에 따르면, 프로세서(1320)는, 원본 영상에 대한 제1 전처리를 적용하고, 전처리된 영상에서 반려 동물의 종을 결정하여 제1 특징 영역을 설정하고, 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출할 수 있다.

본 발명에 따르면, 프로세서(1320)는, 학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하고, 상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하고, 상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하고, 특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 경계 상자가 포함되도록 제1 특징 영역을 구성할 수 있다.

본 발명에 따르면, 제1 특징 값이 기준치보다 큰 경우 반려 동물을 식별하기 위한 객체 검출이 수행되고, 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략될 수 있다.

본 발명에 따르면, 프로세서(1320)는, 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하고, 제1 해상도로 변환된 영상에 대하여 제1 전처리를 적용할 수 있다.

본 발명에 따르면, 프로세서(1320)는, 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하고, 제2 전처리된 제1 특징 영역에서 반려 동물의 종에 기초하여 반려 동물의 식별을 위한 제2 특징 영역을 설정하고, 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출할 수 있다.

본 발명에 따르면, 제1 특징 영역에 대한 제2 전처리는 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행될 수 있다.

본 발명에 따르면, 프로세서(1320)는 반려 동물의 종에 따라 제1 특징 영역에서 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 제2 특징 영역을 설정할 수 있다.

본 발명에 따르면, 제2 특징 값이 기준치보다 큰 경우 제2 특징 영역을 포함하는 이미지가 서버로 전송될 수 있다.

본 발명에 따르면, 프로세서(1320)는, 영상에서 반려 동물의 종을 결정하기 위한 특징 영역 후보들을 생성하고, 특징 영역 후보들 각각의 신뢰도 값에 기초하여 위치 및 크기가 결정된 제1 특징 영역을 생성할 수 있다.

도 9는 반려 동물의 식별을 위한 객체의 이미지를 처리하기 위한 방법의 흐름도이다.

본 발명에 따른 반려 동물의 식별을 위한 객체의 이미지를 처리하기 위한 방법은, 반려 동물이 포함된 영상을 획득하는 단계(S910)와, 영상에서 반려 동물의 종을 결정하기 위한 특징 영역 후보들을 생성하는 단계(S920)와, 특징 영역 후보들 각각의 신뢰도 값에 기초하여 위치 및 크기가 결정된 제1 특징 영역을 설정하는 단계(S930)와, 제1 특징 영역에서 반려 동물을 식별하기 위한 객체를 포함하는 제2 특징 영역을 설정하는 단계(S940)와, 제2 특징 영역에서 상기 객체의 이미지를 획득하는 단계(S950)를 포함한다.

본 발명에 따르면, 특징 영역 후보들을 생성하는 단계는 인공 신경망을 사용하여 계층적으로 특징 영상들을 생성하는 단계와, 특징 영상들 각각에 대하여 미리 정의된 경계 영역들을 적용하여 각 경계 영역들에서 특정 종의 반려 동물이 위치할 확률 값을 계산하는 단계와, 확률 값을 고려하여 특징 영역 후보들을 생성하는 단계를 포함할 수 있다.

전처리기에 따라 정규화된 입력 영상은 인공 신경망에 의해 계층적으로 제1 특징 영상부터 제n 특징 영상이 생성되며, 각 계층마다 특징 영상을 추출하는 방법은 인공 신경망의 학습 단계에서 기계적으로 학습될 수 있다.

추출된 계층적 특징 영상은 각 계층마다 대응되는 사전 정의된 경계 영역(경계 상자)의 목록과 결합되어 경계 영역 마다 특정 동물 종류이 위치할 확률 값의 목록이 표 1과 같이 생성된다. 여기서 특정 동물 종류인지 여부가 판단이 안되는 경우 "배경"으로 정의될 수 있다.

이후 본 발명에 따른 확장형 NMS를 적용하여 각 특징 영상에서 반려 동물의 얼굴과 같이 종의 식별을 위한 제1 특징 영역의 후보들(특징 영역 후보들)이 생성된다. 각 특징 영역 후보들은 앞서 도출된 특정 동물 종별 확률 값을 사용하여 도출될 수 있다.

본 발명에 따르면, 특징 영역 후보들을 생성하는 단계는, 특징 영상에서 특정 동물 종에 해당할 확률이 가장 높은 제1 경계 영역을 선택하는 단계와, 특징 영상에서 선택된 제1 경계 영역을 제외한 나머지 경계 영역들에 대하여, 확률 값의 순서에 따라 상기 제1 경계 영역과의 중첩도를 계산하고 상기 중첩도가 기준 중첩도보다 큰 경계 영역을 특징 영상의 특징 영역 후보에 포함시키는 단계를 포함할 수 있다. 이 때 중첩도 평가를 위하여, 예를 들어 두 경계 영역 사이의 교집합 대 합집합 면적비를 사용할 수 있다.

즉, 하기의 절차를 통해 도 8의 (a)와 같은 특징 영역 후보가 생성될 수 있다.

i. 제1 상자와의 중첩도를 연산한다. 예를 들면 교집합 대 합집합 면적 비(Intersection over Union)를 사용할 수 있다.

ii. 상기 중첩도 값이 특정 문턱 값보다 높다면, 이 상자는 제1 상자와 중첩되는 상자이다. 제1 상자와 병합한다.

D. 제1 상자를 결과 상자 목록에 추가한다.

두 상자 A와 B에 대하여, 예를 들어 교집합 대 합집합 면적비는 앞서 설명한 수학식 1과 같이 효과적으로 연산할 수 있다.

도 8을 참조하여 설명한 바와 같이 본 발명에 따라 도출된 각각의 특징 영역 후보들로부터 각 특징 영역 후보의 신뢰도 값에 기반하여 제1 특징 영역(예: 반려 동물의 얼굴 영역)이 도출될 수 있다.

본 발명에 따르면, 제1 특징 영역이 위치하는 중심점(C_(x,y) ⁿ)은 수학식 2와 같이 특징 영역 후보의 중심점들(C_(x,y) ¹, C_(x,y) ²)에 대한 신뢰도 값(p¹, p²)의 가중 합에 의해 결정될 수 있다.

본 발명에 따르면, 제1 특징 영역의 너비(W_n ⁾는 수학식 2와 같이 특징 영역 후보들의 너비들(W₁, W₂)에 대한 신뢰도 값(p¹, p²)의 가중 합에 의해 결정되고, 제1 특징 영역의 높이(Hⁿ)는 특징 영역 후보들의 높이들(H¹, H²)에 대한 신뢰도 값(p¹, p²)의 가중 합에 의해 결정될 수 있다.

본 발명은 복수개의 박스들(특징 영역 후보들)에 대하여 신뢰도 값에 기반한 가중 평균을 적용하여 너비와 높이가 큰 하나의 박스를 제1 특징 영역(반려 동물의 얼굴 영역)으로 설정하고, 제1 특징 영역 내에서 반려 동물의 식별을 위한 제2 특징 영역(코 영역)을 검출할 수 있다. 본 발명과 같이 보다 확장된 제1 특징 영역을 설정함으로써 이후 수행되는 제2 특징 영역이 검출되지 않는 오류의 발생을 감소시킬 수 있다.

이후 제1 특징 영역(예: 강아지의 얼굴 영역) 내에서 반려 동물의 식별을 위한 제2 특징 영역(예: 코 영역)에 대한 검출이 수행된다. 본 단계는 앞서 수행한 반려 동물의 종을 고려하여 수행된다. 반려 동물이 강아지인 경우 강아지에 최적화된 식별을 위한 객체 검출이 수행될 수 있다. 최적화된 객체 검출은 동물의 종류별로 상이할 수 있다.

제2 특징 영역을 설정하는 단계는 반려 동물의 종에 따라 제1 특징 영역(예: 얼굴 영역)에서 반려 동물의 식별을 위한 객체(예: 코)가 위치하는 확률에 기초하여 제2 특징 영역(예: 코 영역)을 설정하는 단계를 포함한다.

또한, 제2 특징 영역으로 검출된 반려 동물의 식별용 객체의 이미지가 이후 학습 또는 식별에 사용되기에 적합한지 여부를 검사하기 위한 후처리가 수행될 수 있다. 후처리에 대한 결과로서 해당 이미지의 적합도를 나타내는 제2 특징 값으로서 도출될 수 있다. 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 서버로 전송되고, 상기 제2 특징 값이 기준치보다 작은 경우 상기 제2 특징 영역을 포함하는 이미지는 버려진다.

본 발명에 따른 전자 장치(1300)는, 반려 동물이 포함된 영상을 생성하는 카메라(1310)와, 카메라(1320)로부터 제공된 영상을 처리하여 반려 동물의 식별을 위한 객체의 이미지를 생성하는 프로세서(1330)를 포함한다. 프로세서(1330)는 영상에서 반려 동물의 종을 결정하기 위한 특징 영역 후보들을 생성하고, 특징 영역 후보들 각각의 신뢰도 값에 기초하여 위치 및 크기가 결정된 제1 특징 영역을 설정하고, 상기 제1 특징 영역에서 상기 반려 동물을 식별하기 위한 객체를 포함하는 제2 특징 영역을 설정하고, 상기 제2 특징 영역에서 상기 객체의 이미지를 획득할 수 있다.

본 발명에 따르면, 프로세서(1320)는 인공 신경망을 사용하여 계층적으로 상기 영상을 복수개의 특징 영상들을 생성하고, 상기 특징 영상들 각각에 대하여 미리 정의된 경계 영역들을 적용하여 각 경계 영역들에서 특정 종의 반려 동물이 위치할 확률 값을 계산하고, 상기 확률 값을 고려하여 상기 특징 영역 후보들을 생성할 수 있다.

본 발명에 따르면, 프로세서(1320)는 상기 특징 영상에서 특정 동물 종에 해당할 확률이 가장 높은 제1 경계 영역을 선택하고, 상기 특징 영상에서 상기 선택된 경계 영역을 제외한 나머지 경계 영역들에 대하여, 상기 확률 값의 순서에 따라 상기 제1 경계 영역과의 중첩도를 계산하고 상기 중첩도가 기준 중첩도보다 큰 경계 영역을 상기 특징 영상의 특징 영역 후보에 포함시킬 수 있다. 이때 중첩도를 계산하기 위하여 두 경계 영역 사이의 교집합 대 합집합 면적비가 사용될 수 있다.

본 발명에 따르면, 제1 특징 영역이 위치하는 중심점은 특징 영역 후보의 중심점들에 대한 신뢰도 값의 가중 합에 의해 결정될 수 있다.

본 발명에 따르면, 제1 특징 영역의 너비는 특징 영역 후보들의 너비들에 대한 신뢰도 값의 가중 합에 의해 결정되고, 제1 특징 영역의 높이는 상기 특징 영역 후보들의 높이들에 대한 신뢰도 값의 가중 합에 의해 결정될 수 있다.

본 발명에 따르면, 프로세서(1320)는, 다음 영상에서 객체의 변경된 위치를 검출하고, 다음 영상에서 위치가 변경된 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하고, 변경된 위치로 초점을 설정한 상태에서 다음 촬영을 수행하도록 카메라(1310)를 제어할 수 있다.

본 발명에 따르면, 프로세서(1320)는 영상에서 반려 동물의 종(種)을 결정하기 위한 제1 특징 영역을 설정하고, 제1 특징 영역 내에서 반려 동물의 식별을 위한 객체를 포함하는 제2 특징 영역을 설정할 수 있다.

본 발명에 따르면, 프로세서(1320)는 반려 동물의 식별을 위한 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단할 수 있다.

본 발명에 따르면, 프로세서(1320)는 객체의 이미지의 품질이 기준 조건을 만족하는지 여부를 판단하고, 품질이 기준 조건을 만족하는 경우 객체의 이미지를 서버로 전송하고, 품질이 기준 조건을 만족하지 않는 경우 객체의 이미지를 버리고 다음 영상에 대한 촬영을 수행하도록 카메라(1310)를 제어할 수 있다.

앞서 설명한 과정을 통해 도출된 객체의 이미지(예: 비문 이미지)에 대하여, 인공 지능 기반의 학습 또는 식별에 적합한지 여부가 검사된다. 이미지의 품질 검사는 다양한 품질 조건에 의해 수행될 수 있는데, 이는 신경망 설계자에 의해 정의될 수 있다. 예를 들어, 실제 강아지의 사진일 것, 비문이 선명하게 찍힐것, 이물질이 없을 것, 정면에서 찍힌 이미지일 것, 주변 여백이 일정 비율 이하일 것 등이 조건으로 포함될 수 있다. 이러한 조건은 수치화, 객관화가 가능함이 바람직할 것이다. 품질이 떨어지는 이미지가 신경망에 저장될 경우 전반적인 신경망의 성능 하락을 초래할 수 있으므로 기준 이하의 품질을 갖는 이미지는 사전에 필터링함이 바람직할 것이다. 이러한 필터링 처리는 앞서 설명한 제1 후처리 단계 또는 제2 후처리 단계에서 수행될 수 있다.

객체의 이미지에 대한 품질을 검사하기 위한 실시예로서, 크게 초점의 어긋남으로 인한 품질 저하와 카메라 또는 객체의 흔들림으로 인한 품질 저하를 검출하는 방안에 대하여 설명한다.

본 발명에 따른 반려 동물의 식별을 위한 객체의 이미지를 필터링하기 위한 방법은, 반려 동물이 포함된 영상을 획득하는 단계(S1210)와, 영상에서 반려 동물의 종을 결정하고 제1 특징 영역을 설정하는 단계(S1220)와, 결정된 반려 동물의 종을 고려하여 제1 특징 영역 내에서 반려 동물을 식별하기 위한 객체를 포함하는 제2 특징 영역을 설정하는 단계(S1230)와, 제2 특징 영역에서 객체의 이미지에 대한 품질을 검사하여 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계(S1240)를 포함한다.

또한, 본 발명에 따르면, 제1 특징 영역에 대한 후처리(품질 검사)를 수행하여 제1 특징 영역의 이미지가 적합한 품질을 가지는 경우에 한하여 제2 특징 영역 검출 및 적합성 판단이 수행될 수 있다. 즉, 제1 특징 영역을 설정하는 단계는 제1 특징 영역에서 상기 객체의 이미지에 대한 품질을 검사하여 상기 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계를 포함하고, 제2 특징 영역은 제1 특징 영역에서 상기 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한 것으로 판단되는 경우 설정될 수 있다. 제1 특징 영역에서 상기 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합하지 않은 것으로 판단되면, 현재 프레임의 이미지를 버리고 다음 프레임의 이미지를 촬영할 수 있다.

제1 특징 영역에 대한 품질 검사(제1 후처리)는 실시예에 따라 생략될 수도 있다. 즉, 제1 후처리 과정이 생략되고 곧바로 제2 특징 영역 검출이 수행될 수 있다.

객체의 이미지에 대한 품질 검사는 제1 특징 영역 또는 제2 특징 영역의 위치 별로 상이한 가중치를 적용함으로써 수행될 수 있다.

제1 후처리 단계에서 객체의 이미지 품질 검사를 위한 방법으로 전술한 밝기 평가를 수행할 수 있다. 예를 들어 제1 특징 영역에 대해 전술한 수학식 2의 연산을 수행하여 BT.601 표준에 따른 밝기값과 HSV 색공간에서의 명도(Value) 정보를 픽셀 단위로 추출하고, 그 평균값이 제1 밝기 기준값보다 작은 경우 영상이 너무 어두운 것으로 판단하며, 제2 밝기 기준값보다 큰 경우 영상이 너무 밝은 것으로 판단하며, 영상이 너무 어둡거나 너무 밝은 경우 제2 특징 영역 검출 등 후속 단계를 생략하고 처리를 종료할 수 있다. 또한 제1 특징 영역 중 중요하다고 판단되는 영역에 가중치를 부여하여 판단할 수 있다.

본 발명에 따르면 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계는 객체의 이미지에서 객체에 대한 초점 어긋남 정도(Defocus blur)를 판단하는 단계를 포함할 수 있다.

초점의 어긋남으로 인한 품질 저하(Defocus blur)를 검출하기 위한 방법은 다음과 같다. Defocus blur는 카메라의 초점이 맞지 않아서, 목적한 영역(예: 비문 영역)이 흐려지는 현상을 의미한다. Defocus blur가 발생하는 경우로서, 휴대폰 카메라에서 자동 초점 조절이 수행되는 동안 취득된 사진 등을 들 수 있다.

Defocus blur가 발생한 이미지를 판별하기 위하여, 영상에서 고주파 성분(특정 값보다 큰 주파수를 갖는 성분)을 추출하여 처리할 수 있다. 영상에 대해서 고주파 성분은 밝기 및 색상이 급격하게 변화하는 지점, 즉 영상 내의 물체 경계선에 주로 위치하며, 저주파 성분은 주변과 유사한 밝기 및 색상을 갖는 지점에 주로 위치한다. 따라서 초점이 잘 맞아 선명한 이미지일수록 영상 내에 고주파 성분이 강하게 분포한다. 이를 판단하기 위하여, 예를 들면 라플라시안 연산자(Laplacian operator)를 활용할 수 있다. 라플라시안 연산자는 입력 신호에 2계도 미분을 수행하며, 입력 신호의 고주파 성분을 남기고 저주파 성분을 효과적으로 제거할 수 있다. 따라서 라플라시안 연산자를 사용하면 효과적으로 영상 내의 물체 경계선을 찾을 수 있으며, 또한 경계선이 얼마나 선명한지를 수치로 얻을 수 있다.

예를 들어 아래의 수학식 4와 같은 5x5 LoG(Laplacian of Gaussian) 커널을 입력 사진에 컨볼루션(Convolution) 연산을 적용함으로써 영상 내의 경계선 위치와 경계선의 선명도 정보를 얻을 수 있다.

Defocus blur가 적고 경계선이 선명한 사진은 라플라시안 연산자를 적용한 결과값이 0에서 상대적으로 큰 값의 범위까지 분포할 것이며, 반대로 Defocus blur가 커서 경계선이 흐리게 촬영된 사진은 라플라시안 연산자를 적용한 결과값이 0에서 상대적으로 작은 값의 범위에서 분포할 것이다. 따라서 라플라시안 연산자를 적용한 결과값의 분포를 모델링 함으로써 선명도를 파악할 수 있다.

이러한 방법의 일 예로, 라플라시안 연산자를 적용한 결과 이미지의 분산값을 이용하여 선명도를 파악할 수 있다. 또는 분포도(Histogram) 분석을 통하여, Laplacian 값 분포의 10분위 분포도를 구하고, 최고-최저구간의 분포 비율을 연산하는 등 다양한 통계적 기법을 동원할 수 있다. 이러한 방법은 사용하고자 하는 응용 분야에 따라 선택적으로 적용할 수 있다.

즉 본 발명에 따르면, 객체에 대한 초점 어긋남 정도를 판단하는 단계는, 제2 특징 영역의 이미지에 2계도 미분을 수행하는 라플라시안 연산자(Laplacian operator)를 적용하여 고주파 성분의 분포도를 나타내는 이미지를 추출하는 단계와, 고주파 성분의 분포도로부터 제2 특징 영역의 이미지의 초점 어긋남을 나타내는 값을 계산하는 단계를 포함할 수 있다.

코 영역에서도 위치에 따라 선명도의 중요한 정도에 차이가 발생한다. 즉, 영상 중앙부인 경우 코의 중앙부일 확률이 높고, 영상 가장자리로 이동할수록 코의 외각 부이거나, 또는 코 주변의 털 영역일 가능성이 증가한다. 이러한 공간적 특성을 반영하기 위하여, 영상을 일정 영역으로 분할하고 각각의 영역마다 가중치를 다르게 부여하여 선명도를 판정하는 방법을 고려할 수 있다. 예를 들어, 상기 영상을 9분할하거나, 영상 중앙을 기준으로 타원을 그리는 등 관심 영역을 설정한 뒤, 해당 영역에 1보다 큰 w의 가중치를 곱하는 등의 방법을 고려할 수 있다.

즉 본 발명에 따르면, 제2 특징 영역의 중심부에 적용되는 가중치는 제2 특징 영역의 주변부에 적용되는 가중치 보다 크도록 설정될 수 있다. 중심부에 주변부보다 더 큰 가중치를 적용함으로써 강아지의 비문과 같은 식별용 객체에 대해 집중적으로 이미지 품질 검사가 수행될 수 있다.

이렇게 라플라시안 연산자를 이용하여 판별한 Defocus blur 점수는, 0에 가까울수록 영상에 경계선이 희미하게 존재하며, 그 값이 클수록 영상에 경계선이 강하게 존재함을 의미한다. 따라서 Defocus blur 점수가 문턱값(threshold value)보다 큰 경우 선명한 이미지로 분류하고, 그렇지 않다면 흐린 이미지로 판단할 수 있다. 이러한 문턱값은 사전에 수집한 이용하여 경험적으로 결정하거나, 또는 카메라에서 매번 여러 장의 입력 영상을 누적하여 관찰함으로써 적응적으로 결정할 수 있다.

본 발명에 따르면, 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계는 상기 객체의 이미지에서 상기 객체의 흔들림 정도를 판단하는 단계를 포함할 수 있다.

이하, 흔들림으로 인한 품질 저하(motion blur)를 검출하는 방안에 대해 설명한다. Motion blur는 카메라의 노출 시간동안 촬영 대상과 카메라의 상대적인 위치가 흔들리면서, 목적한 영역이 흔들린 것처럼 촬영되는 현상을 말한다. 이러한 사진이 취득되는 경우로, 광량이 낮은 환경에서 휴대폰 카메라의 노출 시간 설정을 길게 설정하여 촬영하는 경우, 한 장의 사진을 촬영하는 노출 시간 동안 강아지가 움직이거나 또는 사용자의 손떨림으로 인해 발생할 수 있다.

이러한 이미지의 특징 분석을 위하여 다양한 경계선 검출기(edge detector)를 사용할 수 있다. 예를 들어 캐니 경계선(Canny edge) 검출기의 경우, 연속적으로 이어진 경계선을 효율적으로 검출하는 경계선 검출기로 알려져 있다.

도 10의 위쪽 대각선 방향으로 흔들림이 발생한 이미지에 Canny edge 검출기를 적용하여 결과 이미지의 예이다. 도 10에 나타난 것과 같이 이미지에 Canny edge 검출기를 적용한 결과. 비문 영역의 경계선이 대각선(/) 방향으로 일관되게 발생함이 확인된다.

해당 경계선의 방향성을 분석함으로써 흔들림 여부를 효과적으로 판단할 수 있다. 방향성 분석 방법의 일 예를 들어 설명하면, Canny edge 검출기에서 검출된 경계선은 항상 주변 픽셀과 연결되어 있다는 특징이 있다. 따라서 주변 픽셀과의 연결관계를 분석함으로써 방향성을 분석할 수 있다. 본 발명의 일 실시예에 따르면, Canny edge 검출기가 적용된 이미지에서 경계선이 위치한 일정 크기의 픽셀 블록에서의 패턴 분포를 분석함으로써 전체적인 흔들림 방향과 정도가 계산될 수 있다.

예를 들어, 도 11의 (a)와 같이 3x3 픽셀이 경계선으로 검출된 경우를 예시로 들어 상세히 설명하면 다음과 같다. 편리한 설명을 위해, 도 11과 같이 9개의 픽셀을 위치에 따라 각각 번호를 지정하여 설명한다.

중앙 5번 픽셀의 경우, 항상 경계선으로 판명된다고 가정할 수 있다. 5번 픽셀이 경계선이 아닌 경우 이 3x3 픽셀 배열은 경계선 배열이 아니므로 처리를 건너 뛰거나, 또는 경계선 아닌 픽셀로 집계할 수 있다.

중앙 5번 픽셀이 경계선 픽셀인 경우, 나머지 주변 8개 픽셀이 경계선인지 아닌지를 기준으로 하여 총 2⁸=256개의 패턴을 정의할 수 있다. 예를 들어 도 11의 (a)의 경우, {1, 2, 3, 4, 6, 7, 8, 9}번 픽셀의 경계선 여부를 바탕으로 (01000100) 패턴이며, 이를 10진법으로 환산하여 68번째 패턴이라 명명할 수 있다. 이러한 명명 방법은 구현 상황에 용이하도록 변경될 수 있다.

이렇게 패턴이 정의되면, 패턴의 배치에 따라서 경계선의 시작점과 끝점, 그리고 방향을 정의할 수 있다. 예를 들어 상기 68번째 패턴은, 경계가 좌하단(7번)에서 시작하여 상단(2번)에서 끝난다고 정의할 수 있다. 이를 바탕으로 해당 패턴은 {대각선 우상단(↗) 방향, 가파른 각도}패턴으로 정의할 수 있다.

같은 방법으로 도 11의 (b)의 패턴을 분석하면 다음과 같다. 해당 패턴은 (01010000) 패턴이며, 이는 80번 패턴으로 명명할 수 있다. 경계는 좌측(4번)에서 시작하여 상단(2번)에서 끝나므로 해당 패턴은 {대각선 우상단(↗) 방향, 중간 각도}패턴으로 정의할 수 있다.

이와 같은 방법으로 256가지 패턴에 대해 찾아보기 표(Lookup Table)을 작성할 수 있다. 이 때 나올 수 있는 조합은 예를 들면 다음과 같이 8가지 방향으로 정의할 수 있다.

세로(↑)

대각선 우상단(↗) {가파른, 중간, 얕은} 각도

가로(→)

대각선 우하단(↘) {얕은, 중간, 가파른} 각도

이러한 방법을 바탕으로 Canny edge 검출기의 결과 영상에서 경계 픽셀의 방향성 통계 정보를 작성할 수 있다. 이러한 통계 정보를 바탕으로 해당 영상이 Motion blur가 발생했는지를 효과적으로 판단할 수 있다. 이러한 판단 기준은 경험적으로 분류 방법을 설계하거나, 또는 기계 학습 방법을 이용하여 다량의 데이터를 바탕으로 판별할 수 있음은 자명하다. 이러한 방법으로는 예를 들면 판단 트리(Decision Tree), 랜덤 포레스트(Random Forest) 등의 방법을 사용하거나, 또는 심층 신경망을 이용한 분류기(Classifier)를 설계할 수 있다.

즉 본 발명에 따르면, 객체의 흔들림 정도를 판단하는 단계는, 도 10과 같이 제2 특징 영역의 이미지에 캐니 경계선(Canny edge) 검출기를 적용하여 객체의 이미지에서 연속적으로 이어진 경계선으로 구성된 경계선 이미지를 구성하는 단계와, 도 10과 같은 경계선 이미지에서 상기 경계선이 포함된 블록들의 방향 패턴의 분포를 분석하는 단계와, 방향 패턴의 분포로부터 객체의 흔들림 정도를 나타내는 값을 계산하는 단계를 포함할 수 있다.

상술한 통계 정보를 작성함에 있어서, 코 영역이 주변 영역보다 더 중요한 정보를 가짐은 자명하다. 따라서 영상 내부의 일정한 영역에서 통계 정보를 별도로 수집하여 가중치를 주는 등의 방법을 사용할 수 있다. 이러한 방법의 일 예로, 전술한 Laplacian operator을 이용한 Defocus blur 판별에서 사용한 방법을 사용할 수 있다. 즉, 방향 패턴의 분포로부터 객체의 흔들림 정도를 나타내는 값을 계산하는 단계는 제2 특징 영역의 블록 별로 가중치를 적용하여 방향 패턴의 분포 정도를 계산하는 단계를 포함하고, 제2 특징 영역의 중심부에 위치한 블록의 가중치는 상기 제2 특징 영역의 주변부에 위치한 블록의 가중치 보다 크도록 설정될 수 있다.

도 12는 반려 동물의 식별을 위한 객체의 이미지를 필터링하기 위한 방법의 흐름도이다. 본 발명에 따른 반려 동물의 식별을 위한 객체의 이미지를 필터링하기 위한 방법은, 반려 동물이 포함된 영상을 획득하는 단계(S1210)와, 영상에서 반려 동물의 종을 결정하고 제1 특징 영역을 설정하는 단계(S1220)와, 결정된 반려 동물의 종을 고려하여 제1 특징 영역 내에서 반려 동물을 식별하기 위한 객체를 포함하는 제2 특징 영역을 설정하는 단계(S1230)와, 제2 특징 영역에서 객체의 이미지에 대한 품질을 검사하여 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계(S1240)를 포함한다. 객체의 이미지에 대한 품질 검사는 제1 특징 영역 또는 제2 특징 영역의 위치 별로 상이한 가중치를 적용함으로써 수행될 수 있다.

한편, 제1 특징 영역을 설정하는 단계(S1220) 이후에 제1 특징 영역에서 객체의 이미지에 대한 품질을 검사하여 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계(S1230)가 수행될 수 있다. 이때 제2 특징 영역은 상기 제1 특징 영역에서 상기 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한 것으로 판단되는 경우 설정될 수 있다. 제1 특징 영역에 대한 품질 검사(제1 후처리)는 실시예에 따라 생략될 수도 있다.

제1 특징 영역에서 상기 객체의 이미지에 대한 품질을 검사하여 상기 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계는 제1 특징 영역에서의 밝기가 기준 범위에 속하는지 여부를 판단하는 단계를 포함할 수 있다. 본 단계는 제1 특징 영역에서 BT.601 표준에 따른 Luma 정보와 HSV 색공간의 명도 정보를 추출하고, 그 평균값이 제1 문턱값과 제2 문턱값 사이에 있는지 판단하는 단계를 포함할 수 있다. 본 단계에서 평균값을 연산함에 있어 영상 내 위치에 따라 가중치를 다르게 적용할 수 있다.

본 발명에 따르면, 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하는 단계는 객체의 이미지에서 객체에 대한 초점 어긋남 정도(Defocus blur)를 판단하는 단계를 포함할 수 있다.

본 발명에 따르면, 객체에 대한 초점 어긋남 정도를 판단하는 단계는, 제2 특징 영역의 이미지에 2계도 미분을 수행하는 라플라시안 연산자(Laplacian operator)를 적용하여 고주파 성분의 분포도를 나타내는 이미지를 추출하는 단계와, 고주파 성분의 분포도로부터 제2 특징 영역의 이미지의 초점 어긋남을 나타내는 값을 계산하는 단계를 포함할 수 있다.

본 발명에 따르면, 제1 특징 영역 또는 제2 특징 영역의 중심부에 적용되는 가중치는 제1 특징 영역 또는 제2 특징 영역의 주변부에 적용되는 가중치 보다 크도록 설정될 수 있다.

본 발명에 따르면, 객체의 흔들림 정도를 판단하는 단계는, 제2 특징 영역의 이미지에 캐니 경계선(Canny edge) 검출기를 적용하여 객체의 이미지에서 연속적으로 이어진 경계선으로 구성된 경계선 이미지를 구성하는 단계와, 같이 경계선 이미지에서 상기 경계선이 포함된 블록들의 방향 패턴의 분포를 분석하는 단계와, 방향 패턴의 분포로부터 객체의 흔들림 정도를 나타내는 값을 계산하는 단계를 포함할 수 있다.

본 발명에 따르면, 방향 패턴의 분포로부터 객체의 흔들림 정도를 나타내는 값을 계산하는 단계는 제2 특징 영역의 블록 별로 가중치를 적용하여 방향 패턴의 분포 정도를 계산하는 단계를 포함하고, 제2 특징 영역의 중심부에 위치한 블록의 가중치는 상기 제2 특징 영역의 주변부에 위치한 블록의 가중치 보다 크도록 설정될 수 있다.

본 발명에 따른 전자 장치(1300)는, 반려 동물이 포함된 영상을 생성하는 카메라(1310)와, 카메라(1310)로부터 제공된 영상을 처리하여 반려 동물의 식별을 위한 객체의 이미지를 생성하는 프로세서(1320)를 포함한다. 프로세서(1320)는, 영상에서 반려 동물의 종을 결정하기 위한 제1 특징 영역을 설정하고, 결정된 반려 동물의 종을 고려하여 제1 특징 영역 내에서 반려 동물을 식별하기 위한 객체를 포함하는 제2 특징 영역을 설정하고, 제2 특징 영역에서 객체의 이미지에 대한 품질을 검사하여 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단하도록 설정된다.

본 발명에 따르면, 프로세서(1310)는 제1 특징 영역에서 객체의 이미지에 대한 품질을 검사하여 상기 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한지 여부를 판단할 수 있다. 여기서 제2 특징 영역 검출 및 품질 검사는 제1 특징 영역에서 객체의 이미지가 인공 지능 기반의 학습 또는 식별에 적합한 경우에 한하여 수행될 수 있다.

본 발명에 따르면, 프로세서(1310)는 제1 특징 영역에서의 밝기가 기준 범위에 속하는지 여부를 판단할 수 있다. 제1 특징 영역에 대한 품질 검사(제1 후처리)는 실시예에 따라 생략될 수도 있다.

여기서 객체의 이미지에 대한 품질 검사는 제1 특징 영역 또는 제2 특징 영역의 위치 별로 상이한 가중치를 적용함으로써 수행될 수 있다.

본 발명에 따르면, 프로세서(1310)는 상기 객체의 이미지에서 상기 객체에 대한 초점 어긋남 정도를 판단할 수 있다.

본 발명에 따르면, 프로세서(1310)는, 제2 특징 영역의 이미지에서 고주파 성분의 분포도를 나타내는 이미지를 추출하고, 상기 고주파 성분의 분포도로부터 상기 제2 특징 영역의 이미지의 초점 어긋남을 나타내는 값을 계산할 수 있다.

본 발명에 따르면, 프로세서(1310)는 객체의 이미지에서 객체의 흔들림 정도를 판단할 수 있다.

본 발명에 따르면, 프로세서(1310)는 제2 특징 영역의 이미지의 경계선으로 구성된 경계선 이미지를 구성하고, 상기 경계선 이미지에서 상기 경계선이 포함된 블록들의 방향 패턴의 분포를 분석하고, 상기 방향 패턴의 분포로부터 상기 객체의 흔들림 정도를 나타내는 값을 계산할 수 있다.

본 발명에 따르면, 프로세서(1310)는 제2 특징 영역의 블록 별로 가중치를 적용하여 방향 패턴의 분포 정도를 계산하고, 제2 특징 영역의 중심부에 위치한 블록의 가중치는 제2 특징 영역의 주변부에 위치한 블록의 가중치 보다 크도록 설정될 수 있다.

본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims

반려 동물의 식별을 위한 객체를 검출하기 위한 방법에 있어서,

상기 반려 동물이 포함된 원본 영상을 획득하는 단계;

상기 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하는 단계; 및

상기 결정된 반려 동물의 종에 기초하여 상기 제1 특징 영역 내에서 상기 반려 동물의 식별을 위한 객체를 검출하는 단계를 포함하는 방법.
제1항에 있어서,

상기 반려 동물의 종을 결정하는 단계는,

상기 원본 영상에 대한 제1 전처리를 적용하는 단계;

상기 전처리된 영상에서 상기 반려 동물의 종을 결정하고 상기 제1 특징 영역을 설정하는 단계;

상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 단계를 포함하는 방법.
제2항에 있어서,

상기 제1 특징 영역을 설정하는 단계는,

학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하는 단계;

상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하는 단계;

상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하는 단계; 및

특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성하는 단계를 포함하는 방법.
제2항에 있어서,

상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고,

상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략되는 방법.
제2항에 있어서,

상기 원본 영상에 대한 제1 전처리를 적용하는 단계는,

상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하는 단계; 및

상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용하는 단계를 포함하는 방법.
제1항에 있어서,

상기 반려 동물의 식별을 위한 객체를 검출하는 단계는,

상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하는 단계;

상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하는 단계; 및

상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출하는 단계를 포함하는 방법.
제6항에 있어서,

상기 제1 특징 영역에 대한 제2 전처리는 상기 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행되는 방법.
제6항에 있어서,

상기 제2 특징 영역을 설정하는 단계는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정하는 단계를 포함하는 방법.
제6항에 있어서,

상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 서버로 전송되는 방법.
제1항에 있어서,

상기 제1 특징 영역을 생성하는 단계는,

상기 영상에서 상기 반려 동물의 종을 결정하기 위한 특징 영역 후보들을 생성하는 단계; 및

상기 특징 영역 후보들 각각의 신뢰도 값에 기초하여 위치 및 크기가 결정된 제1 특징 영역을 생성하는 단계를 포함하는 방법.
반려 동물의 식별을 위한 객체를 검출하기 위한 전자 장치에 있어서,

상기 반려 동물이 포함된 원본 영상을 생성하는 카메라;

상기 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하고, 상기 결정된 반려 동물의 종에 기초하여 제1 특징 영역 내에서 상기 반려 동물의 식별을 위한 객체를 검출하는 프로세서; 및

상기 반려 동물의 식별을 위한 객체가 유효한 경우 상기 객체의 이미지를 서버로 전송하는 통신 모듈을 포함하는 전자 장치.
제11항에 있어서,

상기 프로세서는,

상기 원본 영상에 대한 제1 전처리를 적용하고,

상기 전처리된 영상에서 상기 반려 동물의 종을 결정하여 상기 제1 특징 영역을 설정하고,

상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 전자 장치.
제12항에 있어서,

상기 프로세서는,

학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하고,

상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하고,

상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하고,

특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성하는 전자 장치.
제12항에 있어서,

상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고,

상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략되는 전자 장치.
제12항에 있어서,

상기 프로세서는,

상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하고,

상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용하는 전자 장치.
제11항에 있어서,

상기 프로세서는,

상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하고,

상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하고,

상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출하는 전자 장치.
제16항에 있어서,

상기 제1 특징 영역에 대한 제2 전처리는 상기 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행되는 전자 장치.
제16항에 있어서,

상기 프로세서는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정하는 전자 장치.
제16항에 있어서,

상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 상기 서버로 전송되는 전자 장치.
제11항에 있어서,

상기 프로세서는,

상기 영상에서 상기 반려 동물의 종을 결정하기 위한 특징 영역 후보들을 생성하고,

상기 특징 영역 후보들 각각의 신뢰도 값에 기초하여 위치 및 크기가 결정된 제1 특징 영역을 생성하는 전자 장치.