KR20230104969A - 코 기반 반려동물 식별을 위한 시스템 및 방법 - Google Patents

Abstract

반려동물의 코의 이미지를 통해 반려동물을 식별하는 방법은 반려동물의 코를 포함하는 적어도 하나의 이미지를 수신하는 단계와, 적어도 하나의 이미지에서 반려동물의 코와 코의 콧구멍을 식별하는 단계와, 코의 콧구멍의 정렬 정도를 제1 임계값과 비교하는 단계와, 콧구멍의 정렬 정도가 임계값을 충족하는 것에 따라, 이미지의 적어도 코 부분에 대한 품질 메트릭을 결정하는 단계와, 품질 메트릭이 제2 임계값을 충족하는 것에 따라, 적어도 하나의 이미지에서 반려동물의 코의 특징의 표현을 결정하는 단계를 포함한다.

Description

코 기반 반려동물 식별을 위한 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은 2020년 12월 15일에 출원된 미국 가출원 제63/125,929호에 대한 우선권 및 이익을 주장하며, 그 내용은 모든 목적을 위해 본 명세서에 참조로 포함된다.

기술 분야

본 개시는 일반적으로 반려동물 식별에 관한 것으로, 특히 이미지 인식을 통한 반려동물 식별에 관한 것이다.

잃어버린 개 식별을 위한 현재 방법은 번거롭고 불편한 마이크로칩 이식이나 인식표 방법을 포함한다. 이들 방법 모두 반려동물을 등록하고 식별하는 데 상당한 장벽을 포함한다. 마이크로칩 이식을 사용하려면 수의사를 방문해야 하며 인식표에는 종종 정부 기관의 개입이 필요하다. 또한, 마이크로칩 이식에 수반되는 반려동물의 안전에 대한 우려가 있을 수 있으며 인식표가 분실될 수 있다.

다양한 실시예에 따르면, 사용자는 반려동물의 코 이미지를 사용하여 반려동물을 식별할 수 있다. 사용자는 반려동물의 코 이미지를 캡처할 수 있고 이미지가 분석되어 반려동물의 독특한 코의 특징을 결정할 수 있다. 등록된 반려동물의 코 특징의 표현을 저장하는 등록된 반려동물의 데이터베이스는 반려동물의 신원을 결정하기 위해 쿼리될 수 있다. 다양한 실시예에 따르면, 사용자는 주인인 경우 반려동물을 등록하거나, 반려동물 서비스 제공자 또는 잃어버린 반려동물 발견자의 경우 반려동물을 식별하기 위해 코 식별 앱을 실행하는 모바일 디바이스만 있으면 된다. 따라서, 기존의 마이크로칩 이식 및 인식표보다 훨씬 낮은 장벽으로 반려동물 식별이 달성될 수 있다.

다양한 실시예에 따르면, 반려동물의 코의 이미지를 통해 반려동물을 식별하는 방법은 반려동물의 코를 포함하는 적어도 하나의 이미지를 수신하는 단계와, 적어도 하나의 이미지에서 반려동물의 코와 코의 콧구멍을 식별하는 단계와, 코의 콧구멍의 정렬 정도를 제1 임계값과 비교하는 단계와, 콧구멍의 정렬 정도가 임계값을 충족하는 것에 따라, 이미지의 적어도 코 부분에 대한 품질 메트릭을 결정하는 단계와, 품질 메트릭이 제2 임계값을 충족하는 것에 따라, 적어도 하나의 이미지에서 반려동물의 코의 특징의 표현을 결정하는 단계를 포함한다.

이들 실시예 중 임의의 것에서, 적어도 하나의 이미지에서 반려동물의 코 및 코의 콧구멍을 식별하는 단계는 머신 러닝 알고리즘을 사용하는 단계를 포함할 수 있다.

이들 실시예 중 임의의 것에서, 코의 콧구멍의 정렬 정도를 제1 임계값과 비교하는 단계는 콧구멍 사이의 수직 오프셋을 결정함으로써 콧구멍의 수평 정렬을 결정하는 단계를 포함할 수 있다.

이들 실시예 중 임의의 것에서, 제1 임계값은 30도일 수 있다.

이들 실시예 중 임의의 것에서, 방법은 적어도 하나의 이미지에서 반려동물의 코의 특징의 표현을 결정하기 전에, 하나의 콧구멍과 다른 콧구멍의 크기를 비교하는 단계를 더 포함할 수 있다.

이들 실시예 중 임의의 것에서, 품질 메트릭은 블러 메트릭일 수 있다. 선택적으로, 블러 메트릭은 특이값 분해를 사용하여 결정된다.

이들 실시예 중 임의의 것에서, 반려동물의 코의 특징의 표현은 로컬 이진 패턴 히스토그램 알고리즘을 통해 결정될 수 있다.

이들 실시예 중 임의의 것에서, 방법은 반려동물을 식별하기 위해 저장된 반려동물 신원에 대응하는 반려동물의 코의 특징의 복수의 저장된 표현과 반려동물의 코의 특징의 표현을 비교하는 단계를 더 포함할 수 있다.

다양한 실시예에 따르면, 시스템은 하나 이상의 프로세서, 메모리, 및 메모리에 저장되고 상기 방법 중 임의의 것을 수행하기 위해 하나 이상의 프로세서에 의해 실행될 명령어를 포함하는 하나 이상의 프로그램을 포함한다.

다양한 실시예에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는 상기 방법 중 임의의 것을 수행하기 위해 하나 이상의 프로세서에 의해 실행될 하나 이상의 프로그램을 저장한다.

본 발명은 이제 첨부된 도면을 참조하여 예로서만 설명될 것이다:
도 1은 다양한 실시예에 따라, 이미지 인식을 이용한 반려동물 식별 방법을 도시한다.
도 2a 및 도 2b는 다양한 실시예에 따라, 반려동물의 코 특징을 추출하는 기법을 도시한다.
도 3은 다양한 실시예에 따라, 코 인식 기반의 반려동물 식별 방법을 이용하여 반려동물을 등록하는 방법을 도시한다.
도 4는 다양한 실시예에 따라, 코 인식 방법을 통한 반려동물 식별 방법을 도시한다.
도 5a 및 도 5b는 다양한 실시예에 따라, 식별을 위해 개의 코의 하나 이상의 이미지를 캡처하기 위한 그래픽 사용자 인터페이스 및 식별 정보를 도시한다.
도 6은 다양한 실시예에 따른 반려동물 식별 시스템을 도시한다.
도 7은 몇몇 실시예에 따른 컴퓨팅 시스템의 예를 도시한다.
도 8은 콧구멍의 정렬을 결정하는 데 사용되는 측정의 예를 도시한다.

다양한 실시예에 따른 시스템 및 방법은 반려동물 코의 이미지에 대한 이미지 인식을 통해 반려동물의 식별을 가능하게 한다. 다양한 실시예에 따르면, 개 또는 고양이와 같은 반려동물의 얼굴의 적어도 일부의 이미지가 캡처되고 분석되어 그 이미지에서 반려동물의 코를 검출한다. 코 부분은 분석되고 코의 적어도 일부의 특징의 표현으로 변환되어 반려동물에 대한 식별 정보와 함께 데이터베이스에 저장된다. 이후에 캡처된 반려동물의 이미지는 유사한 방식으로 분석되고 저장된 표현과 비교되어 반려동물을 식별할 수 있다.

다양한 실시예에 따르면, 사용자 모바일 디바이스 상의 모바일 애플리케이션은 사용자가 반려동물의 얼굴 이미지를 캡처하고 이미지 또는 이미지의 표현을 그 이미지 표현을 반려동물 식별 데이터베이스에 저장하는 서버에 업로드하게 할 수 있다. 반려동물 주인은 예컨대, 등록 프로세스 동안 그들의 반려동물의 이미지와 함께 식별 정보를 제공할 수 있다. 잃어버린 반려동물의 발견자는 잃어버린 반려동물을 식별하기 위해 잃어버린 반려동물의 이미지를 캡처하는 데 모바일 애플리케이션을 사용할 수 있다. 몇몇 실시예에 따르면, 잃어버린 반려동물의 발견자에 의해 캡처된 이미지를 데이터베이스화된 반려동물 식별정보의 이미지의 표현과 매칭시킬 때, 서버는 그들의 반려동물이 발견되었다는 알림을 반려동물 주인에게 제공할 수 있다. 본 명세서에 설명된 시스템 및 방법은 마이크로칩 이식에 요구되는 수의사 방문 및 수술을 필요로 하지 않고, 손상되거나 실수로 반려동물에게서 떼어질 수 있는 태그를 필요로 하지 않고도 잃어버린 반려동물을 주인과 재결합할 수 있게 한다.

몇몇 실시예에서, 본 명세서에 기술된 시스템 및 방법은 반려동물의 수명 동안 반려동물의 건강 또는 다른 양상을 추적하기 위해 반려동물 신원과 관련하여 수의사 방문과 같은 반려동물 관련 활동을 저장할 수 있게 한다. 동물병원, 애견 미용사 또는 기타 반려동물 서비스 제공자는 예약을 위해 반려동물을 체크인할 때 반려동물의 이미지를 캡처할 수 있다. 반려동물은 자동으로 식별되고 이전 예약 중에 생성된 기록에 액세스하여 제공자가 참조하고/하거나 예약 중에 생성된 기록이 제공자 또는 다른 제공자에 의해 나중에 액세스되도록 반려동물과 연결될 수 있다.

다양한 실시예에 대한 다음 설명에서, 다음 설명에서 사용되는 단수형 관사는 문맥상 명확하게 이와 다르게 나타내지 않는 한 복수형도 포함하는 것으로 이해해야 한다. 또한, 본 명세서에서 사용된 "및/또는"이라는 용어는 관련된 나열된 항목 중 하나 이상 중 임의의 및 모든 가능한 조합을 지칭하고 포함하는 것으로 이해해야 한다. 또한 "내포하다", "내포하는" "포함하다" 및/또는 "포함하는"이라는 용어는 본 명세서에서 사용될 때 언급된 특징, 정수, 단계, 동작, 요소, 구성요소 및/또는 또는 유닛의 존재를 명시하지만 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성요소, 유닛 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않음을 이해해야 한다.

본 개시의 소정 양상은 알고리즘의 형태로 본 명세서에 기술된 프로세스 단계 및 명령어를 포함한다. 본 개시의 프로세스 단계 및 명령어는 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있으며, 소프트웨어로 구현될 때 다양한 운영 체제에 의해 사용되는 상이한 플랫폼에서 상주하고 작동되도록 다운로드될 수 있음에 유의해야 한다. 다음 논의에서 명백하게 이와 달리 구체적으로 언급되지 않는 한, 설명 전반에 걸쳐 "처리하는", "컴퓨팅하는", "계산하는", "결정하는", "표시하는", "생성하는" 등과 같은 용어를 이용하는 논의는 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 그러한 정보 저장, 전송 또는 표시 디바이스 내에서 물리적(전자적) 양으로 표현된 데이터를 조작하고 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션 및 프로세스를 참조하는 것으로 이해된다.

몇몇 실시예에서 본 개시는 또한 본 명세서에서의 동작을 수행하기 위한 디바이스에 관한 것이다. 이 디바이스는 요구되는 목적을 위해 특별히 구성되거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, USB 플래시 드라이브, 외장 하드 드라이브, 광학 디스크, CD-ROM, 자기 광학 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광학 카드, 주문형 집적 회로(ASIC), 또는 전자 명령어를 저장하는 데 적합한 임의의 유형의 매체를 포함하는 임의의 유형의 디스크와 같으나 이에 제한되지 않는 비일시적 컴퓨터 판독가능 저장 매체에 저장될 수 있고, 이들은 각각 컴퓨터 시스템 버스에 연결되어 있다. 또한, 본 명세서에서 언급되는 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나, 예컨대, 상이한 기능을 수행하거나 컴퓨팅 능력을 향상시키기 위한 복수의 프로세서 설계를 이용하는 아키텍처일 수 있다. 적합한 프로세서는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 필드 프로그래밍 가능 게이트 어레이(FPGA) 및 ASIC을 포함한다.

본 명세서에 설명된 방법, 디바이스 및 시스템은 본질적으로 임의의 특정 컴퓨터 또는 기타 장치와 관련이 없다. 다양한 범용 시스템이 또한 본 명세서의 교시에 따른 프로그램과 함께 사용될 수 있거나, 필요한 방법 단계를 수행하기 위해 보다 특수화된 장치를 구성하는 것이 편리한 것으로 증명될 수 있다. 이러한 다양한 시스템에 필요한 구조는 아래 설명에서 나타날 것이다. 또한, 본 발명은 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 본 명세서에 기술된 바와 같이 본 발명의 교시를 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있음을 이해할 것이다.

도 1은 반려동물의 독특한 해부학적 이미지에 대해 수행된 이미지 인식을 사용하여 반려동물을 식별하는 방법(100)을 도시한다. 다양한 실시예에 따르면, 방법(100)은 반려동물의 코 이미지로부터 개 또는 고양이와 같은 반려동물을 식별하는 데 사용될 수 있다. 아래의 설명은 개의 식별에 관한 것이지만, 아래에 설명된 원리는 고양이와 같은 다른 동물의 식별에 적용될 수 있으며, 이러한 적용은 본 개시의 범위 내에 있음을 이해해야 한다.

단계(102)에서, 예를 들어 모바일 디바이스의 카메라를 사용하여 개 얼굴의 이미지가 캡처된다. 이미지는 모바일 디바이스에서 실행되는 앱을 사용하여 캡처될 수 있으며, 이는 사용자가 개의 코의 적어도 하나의 이미지를 캡처하도록 안내할 수 있다. 몇몇 실시예에서, 앱은 개의 코가 적절하게 조명되도록 이미지 캡처 동안 플래시가 켜져 있음을 보장하도록 모바일 디바이스를 제어한다.

단계(104)에서, 이미지에서 코를 검출하고 이미지에서 콧구멍을 검출하기 위해 이미지가 분석된다. 몇몇 실시예에서, 코 및/또는 콧구멍은 Google™ AutoML 객체 검출 모델과 같은 머신 러닝 알고리즘을 사용하여 검출된다. 몇몇 실시예에서, 머신 러닝 알고리즘은 개의 코 및/또는 콧구멍의 이미지에 대해 트레이닝된다. 일부 실시예에서, 머신 러닝 알고리즘은 코 및/또는 콧구멍에 대한 경계 상자를 포함하고 라벨링되는 개의 코 및/또는 콧구멍의 이미지에 대해 트레이닝된다. 일부 실시예에서, 머신 러닝 알고리즘은 코의 경계 상자를 결정한다. 다양한 실시예에 따르면, 코 및/또는 콧구멍이 검출될 수 없는 경우, 방법(100)은 다른 이미지의 캡처를 위해 단계(102)로 돌아갈 수 있다. 사용자는 예를 들어, 다른 이미지를 캡처하도록 프롬프트될 수 있다.

단계(106)에서, 코와 콧구멍이 검출되었다면, 콧구멍은 이미지에서 콧구멍의 정렬을 결정하기 위해 분석된다. 일부 실시예에서, 검출된 콧구멍의 상부 에지 또는 중심 사이의 수직 거리가 측정되고 측정 지점 사이의 수평 간격과 함께 사용되어 콧구멍의 정렬을 결정할 수 있다. 이에 대한 예는 콧구멍(804 및 806)을 갖는 예시적인 코(802)의 개략도를 포함하는 도 8에 도시되어 있다. 머신 러닝 모델은 코(802)에 대한 경계 상자(808), 콧구멍(804)에 대한 경계 상자(810) 및 콧구멍(806)에 대한 경계 상자(812)를 결정하였다. 콧구멍(804, 806)의 상단에 대응할 수 있는 경계 상자(810, 812)의 상단 사이에서 수직 측정(814)이 취해질 수 있고, 경계 상자(810, 812)의 수평 중심 사이에서 수평 측정(816)이 취해질 수 있다. 이러한 측정 중 하나 또는 둘 모두는 콧구멍의 정렬을 결정하는 데 사용될 수 있다. 일부 실시예에서, 결정된 정렬은 정렬 임계값과 비교되어 콧구멍이 이미지에서 적절하게 정렬되는지 여부를 결정할 수 있다. 정렬 임계값의 예는 30도 이하, 25도 이하, 20도 이하, 15도 이하, 5도 이하, 2도 이하 및 1도 이하를 포함하며, 이는 콧구멍 상단 에지 또는 중앙의 추정을 연결하는 선과 이미지를 가로지르는 수평선 사이에서 측정된 각도이다. 도 8은 위에서 논의된 바와 같이 콧구멍의 수평 및 수직 간격으로부터 결정될 수 있는 예시적인 각도 측정(818)을 도시한다. 콧구멍이 적절하게 정렬되지 않은 경우, 방법은 새로운 이미지를 캡처하기 위해 단계(102)로 돌아간다. 일부 실시예에서, 콧구멍의 정렬은 이미지를 수락 또는 거부하는 대신에 또는 이에 더하여 이미지를 회전시키는 데 사용될 수 있다. 예를 들어, 결정된 정렬이 수평에서 5도이면, 이미지가 5도 회전될 수 있다.

몇몇 실시예에서, 콧구멍의 크기가 비교될 수 있고 콧구멍의 크기 간의 차이의 측정치가 임계값과 비교될 수 있다. 크기가 너무 다른 콧구멍은 이미지에서 코가 한쪽으로 멀리 돌아가 있거나 빛이 한쪽에서 너무 강하게 들어오는 것을 나타낼 수 있으며, 둘 다 성능이 좋지 않을 수 있다. 예를 들어, 도 8에 관하여, 각각의 경계 상자(810, 812)의 크기에 기초하여 콧구멍(804)의 크기는 콧구멍(806)의 크기보다 작다고 결정될 수 있다. 크기가 너무 다른 콧구멍을 가진 이미지(예를 들어, 사전결정된 임계 크기 차이를 충족하지 못함)는 거부될 수 있으며 방법은 새로운 이미지를 캡처하기 위해 단계(102)로 돌아갈 수 있다. 일부 실시예에서, 다음 이미지 캡처를 개선하는 방법에 관한 안내가 사용자에게 제공될 수 있다.

단계(108)에서, 콧구멍이 적절하게 정렬되면 및/또는 정렬에 따라 이미지를 회전시킨 후에, 주로 코 부분을 포함하도록 이미지를 잘라낼 수 있다. 예컨대, 단계(104)에서 결정된 코의 경계 상자의 외부 부분을 제거함으로써 이미지의 임의의 코가 아닌 부분 중 적어도 일부가 제거될 수 있다. 일부 실시예에서, 이미지는 데이터 양 및 처리 시간을 줄이기 위해 다운샘플링된다. 일부 실시예에서, 이미지는 그레이 스케일 이미지로 변환된다(일부 실시예에서, 이미지는 단계(104-106) 중 어느 하나 이전에 또는 그 동안에 그레이 스케일 이미지로 변환된다).

단계(110)에서, 잘라낸 이미지는 이미지에 대한 이미지 품질 메트릭을 결정하기 위해 분석된다. 일부 실시예에서, 이미지 품질 메트릭은 블러 정도이다. 이미지 블러는 라플라시안 분산(Variance of Laplacian), CPBD(Cumulative Probability of Blur Detection), SSIM(Structural Similarity) 및 하르 웨이블릿(Haar Wavelet)과 같은 임의의 적절한 블러 분석 기법 또는 기법의 조합을 사용하여 결정될 수 있다. 일부 실시예에서, SVD(singular value decomposition) 방법을 사용하여 블러 정도 수치를 계산한 다음 임계값과 비교한다. 다양한 실시예에 따르면, 블러 정도 수치(또는 다른 이미지 품질 메트릭)가 임계값 요구사항을 충족하지 못하면, 이미지가 거부되고 방법은 새로운 이미지를 캡처하기 위해 단계(102)로 돌아간다.

단계(112)에서, 이미지가 단계(110)의 이미지 품질 임계값(예를 들어, 블러 정도) 요구사항을 충족하면, 이미지(또는 이미지의 잘라낸 부분)가 분석되어 반려동물의 코의 독특한 특징을 추출하고 코의 한 이미지에서 다음 이미지까지 상대적으로 변하지 않을 이미지의 코 특징의 표현을 생성하여 상이한 시간에 상이한 조건에서 촬영된 동일한 코의 2개의 이미지가 동일하거나 실질적으로 동일한 표현을 생성할 것이다. 일부 실시예에서, LBPH(Local Binary Patterns Histogram) 기법은 이미지에서 코의 특징의 표현을 생성하는 데 사용된다. 일부 실시예에 따르면, LBPH 기법은 잘라낸 이미지를 그리드(예를 들어, 8x8 셀 포함)로 분할하고, 각 셀마다 LBP를 계산한 다음, 해당 LBP의 히스토그램을 계산하는 것을 포함한다. 도 2a 및 도 2b는 다양한 실시예에 따른 반려동물 코의 특징을 추출하기 위한 LBPH 기법을 도시한다. 도 2a는 잘라낸 이미지(202)의 LBP 표현(204)의 생성을 도시한다. 도 2b는 LBP 표현(204)의 그리드(208)의 각 셀에 대한 히스토그램(206)의 계산을 도시한다. 단계(112)에서 사용된 LBPH는 코의 특징의 표현을 생성하기 위한 방법의 예일 뿐이다. 또 다른 예는 지각적 해싱(perceptual hashing)이다.

일부 실시예에서, 사용자는 반려동물의 코의 복수의 이미지를 캡처하도록 안내될 수 있고 방법(100)은 모든 것이 캡처된 후에 이미지에 대해 수행될 수 있다. 일부 실시예에서, 후속 이미지는 이미지가 방법(100)의 하나 이상의 이미지 품질 임계값을 충족하지 못하는 경우에만 캡처된다. 일부 실시예에서, 방법(100)은 복수의 이미지 각각에 대해 수행되고 단계(112)에서 코의 특징의 표현을 생성하기 위해 최상의 품질 메트릭을 갖는 이미지가 선택될 수 있다.

도 3은 도 1의 방법(100)과 같은 코 인식 기반 반려동물 식별 방법을 사용하여 반려동물을 등록하는 방법(300)을 도시한다. 단계(302)에서, 도 1의 방법(100)을 사용하는 것과 같이, 반려동물의 코의 하나 이상의 이미지가 수신되어 코의 특징의 표현을 생성하는 데 사용된다. 이미지는 반려동물 주인의 모바일 디바이스와 같은 모바일 디바이스에 의해 캡처될 수 있고, 모바일 디바이스에서 실행되는 앱에 의해 수신될 수 있고/있거나 이미지(들)을 캡처하는 모바일 디바이스에 통신 가능하게 연결된 서버에 의해 수신될 수 있다. 일부 실시예에서, 앱은 이미지 캡처 프로세스를 통해 사용자를 안내할 수 있다. 반려동물 코의 특징의 표현을 생성하기 위한 방법(100)의 하나 이상의 단계는 모바일 디바이스에 연결된 서버에서 수행될 수 있다. 예를 들어, 모바일 디바이스에 의해 캡처된 이미지는 서버에 업로드될 수 있고 서버는 단계(104-112)를 수행할 수 있다. 일부 실시예에서, 방법(100)의 하나 이상의 단계는 모바일 디바이스에서 로컬로 수행된다. 일부 실시예에서, 방법(100)의 모든 단계는 디바이스에서 수행되고 모바일 디바이스(예를 들어, 모바일 디바이스에서 실행되는 앱)에 의해 생성된 반려동물의 코의 특징의 표현은 서버에 업로드된다. 코의 특징의 표현은 서버 상의 반려동물 식별 데이터베이스에 저장된다.

단계(304)에서, 예컨대, 반려동물 주인의 모바일 디바이스 및/또는 서버에서 반려동물에 대한 식별 정보가 수신된다. 식별 정보의 예는 반려동물의 이름, 반려동물의 품종, 반려동물의 성별, 반려동물의 신체적 특징(체중, 키, 피부색 등), 반려동물 주인의 이름, 반려동물 주인의 전화번호, 반려동물 주인의 주소 등이다. 식별 정보는 그래픽 사용자 인터페이스의 하나 이상의 필드를 통해 모바일 디바이스에서 실행되는 앱에 입력될 수 있다. 식별 정보는 반려동물의 코의 특징의 표현과 관련하여 서버에 업로드되어 서버의 데이터베이스에 저장된다.

도 4는 도 1의 코 인식 방법(100)을 통해 반려동물을 식별하는 방법을 도시한다. 단계(402)에서, 반려동물의 코의 하나 이상의 이미지가 모바일 디바이스에서 캡처된다. 모바일 디바이스는 잃어버린 것으로 보이는 반려동물을 발견한 어떤 사람의 소유일 수 있으며 모바일 디바이스 주인은 모바일 디바이스에서 실행되는 앱의 잃어버린 반려동물 식별 기능을 사용하여 반려동물을 식별하려고 할 수 있거나 또는 모바일 디바이스는 예약을 위해 반려동물을 체크인하고 있는 수의사 진료 또는 기타 반려동물 서비스의 모바일 디바이스일 수 있다. 반려동물 코의 하나 이상의 이미지는 도 1의 방법(100)에 따라 분석되고 코의 특징에 대한 표현이 생성된다. 코의 특징의 표현은 모바일 디바이스에 통신 가능하게 연결된 서버에 업로드될 수 있거나 서버는 모바일 디바이스에 의해 캡처된 이미지로부터 코의 특징의 표현을 생성할 수 있다.

단계(404)에서, 단계(402)에서 생성된 코의 특징의 표현은 등록된 반려동물에 대응하는 저장된 표현의 데이터베이스와 비교되어 표현이 임의의 저장된 표현과 매칭되는지 여부를 결정한다. 일부 실시예에서, 매칭은 단계(402)에서 생성된 코의 특징의 표현과 데이터베이스의 각각의 표현 사이의 유사성 점수를 계산함으로써 결정될 수 있고, 유사성 점수는 임계값과 비교될 수 있다. 방법(100)의 단계(112)의 LBPH를 비교하기 위한 다양한 기법은 유클리드 거리(Euclidean distance), 카이제곱(chi-square) 및 절대값을 포함한다. 매칭을 달성하면, 저장된 표현에 대한 식별 정보가 데이터베이스로부터 검색된다.

단계(406)에서, 단계(404)에서 성공적인 매칭을 달성하면, 반려동물의 식별 표시가 제공될 수 있다. 일부 실시예에서, 잃어버린 반려동물 발견자 또는 반려동물 서비스 제공자와 같은 식별 프로세스를 개시한 모바일 디바이스에 표시가 제공된다. 일부 실시예에서, 잃어버린 반려동물이 발견되었다는 표시는 반려동물 발견자의 모바일 디바이스의 위치 또는 반려동물 발견자가 제공하는 위치 정보(예컨대, 반려동물 발견자가 앱에 수동으로 입력함)에 기초한 반려동물의 GPS 또는 지도 위치와 같은 반려동물의 위치의 일부 표시와 함께 반려동물 주인의 모바일 디바이스에 제공될 수 있다. 일부 실시예에서, 전화번호와 같은 잃어버린 반려동물 발견자에 관한 정보가 반려동물 주인에게 제공될 수 있다. 일부 실시예에서, 반려동물 주인 및 반려동물 발견자의 모바일 디바이스 상의 앱은 반려동물 주인과 반려동물 발견자 사이의 통신을 가능하게 할 수 있다.

도 5a는 도 1의 방법(100)에서 사용하기 위해 개의 코의 하나 이상의 이미지를 캡처하기 위한 그래픽 사용자 인터페이스(500)를 도시한다. 타깃 상자(502)는 개의 코를 촬영하는 방법을 사용자에게 안내하기 위해 제공될 수 있다. 도 5b는 사용자 인터페이스(500)를 통해 제공될 수 있는 반려동물 식별 정보를 도시한다.

도 6은 다양한 실시예에 따른 반려동물 식별을 위한 시스템(600)을 도시한다. 하나 이상의 모바일 디바이스(602)를 사용하여 반려동물 코의 이미지를 캡처할 수 있다. 모바일 디바이스(602)에 의해 수행된 이미지 처리의 하나 이상의 단계의 이미지 또는 결과는 하나 이상의 네트워크(606)를 통해 모바일 디바이스(602)에 연결된 서버(604)로 전송될 수 있다. 서버(604)는 식별 정보와 함께 반려동물 코의 특징의 표현을 저장하기 위한 데이터베이스(608)에 연결된다. 서버(604)는 위에서 논의된 원리에 따라 반려동물을 식별하기 위한 반려동물의 코의 특징의 표현에 대한 매칭을 검색하기 위해 데이터베이스(608)에 쿼리할 수 있다.

도 7은 몇몇 실시예에 따라 도 6의 시스템(600)의 하나 이상의 구성요소, 예컨대, 모바일 디바이스(602) 또는 서버(604)에 사용될 수 있는 컴퓨팅 시스템(700)의 예를 도시한다. 시스템(600)은 근거리 통신 네트워크, 광역 통신 네트워크, 셀룰러 네트워크 등과 같은 네트워크에 연결된 컴퓨터일 수 있다. 시스템(600)은 클라이언트 또는 서버일 수 있다. 도 7에 도시된 바와 같이, 시스템(700)은 개인용 컴퓨터, 워크스테이션, 서버, 전화 또는 태블릿과 같은 핸드헬드 컴퓨팅 디바이스(휴대용 전자 디바이스) 또는 전용 디바이스와 같은 임의의 적합한 유형의 프로세서 기반 시스템일 수 있다. 시스템(700)은 예를 들어, 입력 디바이스(720), 출력 디바이스(730), 하나 이상의 프로세서(710), 저장소(740) 및 통신 디바이스(760) 중 하나 이상을 포함할 수 있다. 입력 디바이스(720) 및 출력 디바이스(730)는 일반적으로 전술한 것들에 대응할 수 있고 컴퓨터와 연결 가능하거나 통합될 수 있다.

입력 디바이스(720)는 터치 스크린, 키보드 또는 키패드, 마우스, 가상/증강 현실 시스템의 제스처 인식 구성요소 또는 음성 인식 디바이스와 같이 입력을 제공하는 임의의 적절한 디바이스일 수 있다. 출력 디바이스(730)는 디스플레이, 터치 스크린, 햅틱 디바이스, 가상/증강 현실 디스플레이 또는 스피커와 같이 출력을 제공하는 임의의 적절한 디바이스이거나 이를 포함할 수 있다.

저장소(740)는 RAM, 캐시, 하드 드라이브, 착탈가능 저장 디스크 또는 기타 비일시적 컴퓨터 판독가능 매체를 포함하는 전기, 자기 또는 광학 메모리와 같은 저장소를 제공하는 임의의 적합한 디바이스일 수 있다. 통신 디바이스(760)는 네트워크 인터페이스 칩 또는 디바이스와 같이 네트워크를 통해 신호를 송수신할 수 있는 임의의 적합한 디바이스를 포함할 수 있다. 컴퓨팅 시스템(700)의 구성요소는 예컨대, 물리적 버스를 통해 또는 무선으로 임의의 적절한 방식으로 연결될 수 있다.

프로세서(들)(710)는 중앙 처리 장치(CPU), 필드 프로그래밍 가능 게이트 어레이(FPGA) 및 주문형 집적 회로(ASIC) 중 임의의 것 또는 이들의 임의의 조합을 포함하는 임의의 적합한 프로세서 또는 프로세서의 조합일 수 있다. 저장소(740)에 저장되고 하나 이상의 프로세서(710)에 의해 실행될 수 있는 소프트웨어(750)는 예를 들어, 본 개시의 기능 또는 기능의 일부를 구현하는 프로그래밍을 포함할 수 있다(예를 들어, 전술한 바와 같이 디바이스에 구현됨). 예를 들어, 소프트웨어(750)는 방법(400), 방법(800) 및/또는 방법(1000)의 단계 중 하나 이상을 수행하기 위한 하나 이상의 프로그램을 포함할 수 있다.

소프트웨어(750)는 또한 명령어 실행 시스템, 장치 또는 디바이스, 예컨대, 전술한 것들에 의해 또는 그와 관련하여 사용하기 위한 임의의 비일시적 컴퓨터 판독가능 저장 매체 내에 저장 및/또는 이송될 수 있으며, 이는 명령어 실행 시스템, 장치 또는 디바이스로부터 소프트웨어와 관련된 명령어를 인출하고 명령어를 실행할 수 있다. 본 개시와 관련하여, 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그래밍을 포함하거나 저장할 수 있는 저장소(740)와 같은 임의의 매체일 수 있다.

소프트웨어(750)는 또한 명령어 실행 시스템, 장치 또는 디바이스, 예컨대, 전술한 것들에 의해 또는 그와 관련하여 사용하기 위한 임의의 이송 매체 내에 전파될 수 있으며, 이는 명령어 실행 시스템, 장치 또는 디바이스로부터 소프트웨어와 관련된 명령어를 인출하고 명령어를 실행할 수 있다. 본 개시의 맥락에서, 이송 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 프로그래밍을 통신, 전파 또는 이송할 수 있는 임의의 매체일 수 있다. 이송 컴퓨터 판독가능 매체는 전자, 자기, 광학, 전자기 또는 적외선 유선 또는 무선 전파 매체를 포함할 수 있지만 이에 제한되지 않는다.

시스템(700)은 임의의 적절한 유형의 상호연결된 통신 시스템일 수 있으며 네트워크에 연결될 수 있다. 네트워크는 임의의 적절한 통신 프로토콜을 구현할 수 있으며 임의의 적절한 보안 프로토콜에 의해 보안될 수 있다. 네트워크는 무선 네트워크 연결, T1 또는 T3 회선, 케이블 네트워크, DSL 또는 전화선과 같은 네트워크 신호의 송신 및 수신을 구현할 수 있는 임의의 적절한 구성의 네트워크 링크를 포함할 수 있다.

시스템(700)은 네트워크에서 작동하기에 적합한 임의의 운영 체제를 구현할 수 있다. 소프트웨어(750)는 C, C++, Java 또는 Python과 같은 임의의 적절한 프로그래밍 언어로 작성될 수 있다. 다양한 실시예에서, 본 개시의 기능을 구현하는 애플리케이션 소프트웨어는 상이한 구성으로, 예를 들어, 클라이언트/서버 배열로 또는 웹 기반 애플리케이션 또는 웹 서비스로서 웹 브라우저를 통해 배치될 수 있다.

전술한 설명은 설명을 위해 특정 실시예를 참조하여 기술되었다. 그러나, 상기 예시적인 논의는 본 발명을 개시된 바로 그 형태로 제한하거나 총망라하려는 것이 아니다. 상기 교시의 관점에서 많은 수정 및 변형이 가능하다. 기법의 원리 및 이의 실제 적용을 가장 잘 설명하기 위해 실시예를 선택하고 설명하였다. 따라서 당업자는 고려되는 특정 용도에 적합한 다양한 수정을 갖는 다양한 실시예 및 기법을 가장 잘 활용할 수 있다.

첨부 도면을 참조하여 개시 및 실시예를 충분히 설명하였지만, 다양한 변경 및 수정이 당업자에게 명백할 것이라는 점에 유의해야 한다. 그러한 변경 및 수정은 청구범위에 의해 정의된 개시 및 예의 범위 내에 포함되는 것으로 이해되어야 한다. 마지막으로, 본 출원에서 언급된 특허 및 공보의 전체 개시는 이로써 본 명세서에 참조로 통합된다.

Claims (19)

1. 반려동물의 코의 이미지를 통해 상기 반려동물을 식별하는 방법으로서,
   컴퓨팅 시스템에서,
   상기 반려동물의 코를 포함하는 적어도 하나의 이미지를 수신하는 단계와,
   상기 적어도 하나의 이미지에서 상기 반려동물의 코와 상기 코의 콧구멍을 식별하는 단계와,
   상기 코의 콧구멍의 정렬 정도를 제1 임계값과 비교하는 단계와,
   상기 콧구멍의 정렬 정도가 상기 임계값을 충족하는 것에 따라, 상기 이미지의 적어도 코 부분에 대한 품질 메트릭을 결정하는 단계와,
   상기 품질 메트릭이 제2 임계값을 충족하는 것에 따라, 상기 적어도 하나의 이미지에서 상기 반려동물의 코의 특징의 표현을 결정하는 단계를 포함하는,
   방법.
   
2. 제1항에 있어서,
   상기 적어도 하나의 이미지에서 상기 반려동물의 코 및 상기 코의 콧구멍을 식별하는 단계는 머신 러닝 알고리즘을 사용하는 단계를 포함하는,
   방법.
   
3. 제1항 또는 제2항에 있어서,
   상기 코의 콧구멍의 정렬 정도를 제1 임계값과 비교하는 단계는 상기 콧구멍 사이의 수직 오프셋을 결정함으로써 상기 콧구멍의 수평 정렬을 결정하는 단계를 포함하는,
   방법.
   
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 제1 임계값은 30도인,
   방법.
   
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 적어도 하나의 이미지에서 상기 반려동물의 코의 특징의 표현을 결정하기 전에, 하나의 콧구멍과 다른 콧구멍의 크기를 비교하는 단계를 더 포함하는,
   방법.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 품질 메트릭은 블러 메트릭(blur metric)인,
   방법.
   
7. 제6항에 있어서,
   상기 블러 메트릭은 특이값 분해(singular value decomposition)를 사용하여 결정되는,
   방법.
   
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 반려동물의 코의 특징의 표현은 로컬 이진 패턴 히스토그램 알고리즘을 통해 결정되는,
   방법.
   
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 반려동물을 식별하기 위해 저장된 반려동물 신원에 대응하는 반려동물의 코의 특징의 복수의 저장된 표현과 상기 반려동물의 코의 특징의 표현을 비교하는 단계를 포함하는,
   방법.
   
10. 하나 이상의 프로세서, 메모리, 및 상기 메모리에 저장되고 명령어를 포함하는 하나 이상의 프로그램을 포함하는 시스템으로서,
    상기 명령어는,
    반려동물의 코를 포함하는 적어도 하나의 이미지를 수신하고,
    상기 적어도 하나의 이미지에서 상기 반려동물의 코와 상기 코의 콧구멍을 식별하며,
    상기 코의 콧구멍의 정렬 정도를 제1 임계값과 비교하고,
    상기 콧구멍의 정렬 정도가 상기 임계값을 충족하는 것에 따라, 상기 이미지의 적어도 코 부분에 대한 품질 메트릭을 결정하며,
    상기 품질 메트릭이 제2 임계값을 충족하는 것에 따라, 상기 적어도 하나의 이미지에서 상기 반려동물의 코의 특징의 표현을 결정하기 위해
    상기 하나 이상의 프로세서에 의해 실행되는,
    시스템.
    
11. 제10항에 있어서,
    상기 적어도 하나의 이미지에서 상기 반려동물의 코 및 상기 코의 콧구멍을 식별하는 것은 머신 러닝 알고리즘을 사용하는 것을 포함하는,
    시스템.
    
12. 제10항 또는 제11항에 있어서,
    상기 코의 콧구멍의 정렬 정도를 제1 임계값과 비교하는 것은 상기 콧구멍 사이의 수직 오프셋을 결정함으로써 상기 콧구멍의 수평 정렬을 결정하는 것을 포함하는,
    시스템.
    
13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 제1 임계값은 30도인,
    시스템.
    
14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로그램은, 상기 적어도 하나의 이미지에서 상기 반려동물의 코의 특징의 표현을 결정하기 전에, 하나의 콧구멍과 다른 콧구멍의 크기를 비교하기 위한 추가 명령어를 포함하는,
    시스템.
    
15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 품질 메트릭은 블러 메트릭인,
    시스템.
    
16. 제15항에 있어서,
    상기 블러 메트릭은 특이값 분해를 사용하여 결정되는,
    시스템.
    
17. 제10항 내지 제16항 중 어느 한 항에 있어서,
    상기 반려동물의 코의 특징의 표현은 로컬 이진 패턴 히스토그램 알고리즘을 통해 결정되는,
    시스템.
    
18. 제10항 내지 제17항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로그램은 상기 반려동물을 식별하기 위해 저장된 반려동물 신원에 대응하는 반려동물의 코의 특징의 복수의 저장된 표현과 상기 반려동물의 코의 특징의 표현을 비교하기 위한 추가 명령어를 포함하는,
    시스템.
    
19. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하기 위해 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체.

Images