KR20230170377A - 반려 동물 모니터링 장치 및 방법 - Google Patents
반려 동물 모니터링 장치 및 방법 Download PDFInfo
- Publication number
- KR20230170377A KR20230170377A KR1020220070785A KR20220070785A KR20230170377A KR 20230170377 A KR20230170377 A KR 20230170377A KR 1020220070785 A KR1020220070785 A KR 1020220070785A KR 20220070785 A KR20220070785 A KR 20220070785A KR 20230170377 A KR20230170377 A KR 20230170377A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- companion animal
- frame
- background
- key
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000012806 monitoring device Methods 0.000 title claims description 16
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 241001465754 Metazoa Species 0.000 claims description 105
- 238000012544 monitoring process Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- 241000282412 Homo Species 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 206010037180 Psychiatric symptoms Diseases 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000004090 dissolution Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/41—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 카메라로부터 촬영된 영상을 수신하는 단계; 상기 수신한 영상을 영상 데이터베이스에 저장하는 단계; 키-프레임(key-frame)을 추출하는 단계; 상기 추출된 키-프레임에서 배경 추출 엔진을 통하여 배경 이미지를 추출하는 단계; 및 상기 추출된 키-프레임에서 객체 검출 엔진을 통하여 객체 이미지를 추출하는 단계를 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법을 제공한다.
Description
본 발명은 반려 동물 모니터링 장치 및 방법에 관한 것이다.
반려 동물은 인간과의 친밀한 교제 또는 정서적인 공유를 목적으로 선사시대 이래로 인간과 생활을 공유한 것으로 알려져 있다. 인간적인 교류가 지속적으로 이루어졌던 전통사회가 해체되고 현대 사회에서의 고독감이 증가함에 따라 인간과의 친밀한 교제나 정서적 공유나 교류와 같은 인간의 욕구를 충족시킬 수 있는 반려 동물에 대한 관심이 점차 증가하고 있다. 최근에는 사회구조 및 가족 관계의 해체나 변화로 미혼 남녀 1인 가구나 고령화 시대의 도래에 따른 독거 노인 가구가 급증하고 있는데, 이러한 상황에서 현대 인간이 갖는 고독감을 해소하는 등 현대 인간의 정서적인 안정이나 새로운 가족으로서의 반려 동물에 대한 수요가 급증 하고 있다.
다만, 반려 동물은 사용자가 직장에 가 있는 경우 집 안에 혼자 있는 경우가 일반적인데, 이 경우 사용자는 반려 동물이 집에서 무엇을 하고 있는지 알 수 없으며 위험한 상황이 되었을 경우에도 알아차리지 못하는 문제점이 있다.
이러한 점을 해결하기 위하여 사용자들은 집 내부에 CCTV를 설치하여 집 밖에 있을 때에도 반려 동물을 살피고자 하는데, 이 경우에도 역시 24시간 집 내부를 촬영하는 CCTV 특성상 용상의 양이 방대하여 사용자는 원하는 상황을 바로 포착하지 못할 수 있다.
반려 동물은 인간과의 친밀한 교제 또는 정서적인 공유를 목적으로 선사시대 이래로 인간과 생활을 공유한 것으로 알려져 있다. 인간적인 교류가 지속적으로 이루어졌던 전통사회가 해체되고 현대 사회에서의 고독감이 증가함에 따라 인간과의 친밀한 교제나 정서적 공유나 교류와 같은 인간의 욕구를 충족시킬 수 있는 반려 동물에 대한 관심이 점차 증가하고 있다. 최근에는 사회구조 및 가족 관계의 해체나 변화로 미혼 남녀 1인 가구나 고령화 시대의 도래에 따른 독거 노인 가구가 급증하고 있는데, 이러한 상황에서 현대 인간이 갖는 고독감을 해소하는 등 현대 인간의 정서적인 안정이나 새로운 가족으로서의 반려 동물에 대한 수요가 급증 하고 있다.
다만, 반려 동물은 사용자가 직장에 가 있는 경우 집 안에 혼자 있는 경우가 일반적인데, 이 경우 사용자는 반려 동물이 집에서 무엇을 하고 있는지 알 수 없으며 위험한 상황이 되었을 경우에도 알아차리지 못하는 문제점이 있다.
이러한 점을 해결하기 위하여 사용자들은 집 내부에 CCTV를 설치하여 집 밖에 있을 때에도 반려 동물을 살피고자 하는데, 이 경우에도 역시 24시간 집 내부를 촬영하는 CCTV 특성상 용상의 양이 방대하여 사용자는 원하는 상황을 바로 포착하지 못할 수 있다.
본 발명의 일 실시 예는 카메라로부터 촬영된 영상을 수신하는 단계; 상기 수신한 영상을 영상 데이터베이스에 저장하는 단계; 키-프레임(key-frame)을 추출하는 단계; 상기 추출된 키-프레임에서 배경 추출 엔진을 통하여 배경 이미지를 추출하는 단계; 및 상기 추출된 키-프레임에서 객체 검출 엔진을 통하여 객체 이미지를 추출하는 단계를 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법을 제공한다.
상기 배경 추출 엔진은 코드-북(code-book)을 기반으로 상기 배경 이미지를 추출하는 것을 특징으로 한다.
상기 배경 추출 엔진은 키-프레임에 포함된 모든 픽셀의 RGB 값을 상기 코드-북에 기록하여 상기 배경 이미지를 추출하는 것을 특징으로 한다.
상기 객체 검출 엔진은 상기 키-프레임에서 배경 이미지 외에 객체가 포함된 상기 객체 이미지를 추출하되, 상기 객체는 반려 동물인 것을 특징으로 한다.
상기 객체 검출 엔진은 상기 기-프레임에서 상기 객체가 검출되지 않은 경우, 상기 영상을 상기 영상 데이터베이스에서 삭제하는 단계를 더 포함하는 것을 특징으로 한다.
상기 반려 동물 모니터링 방법은 배경 제거 엔진을 통하여 상기 객체의 컨투어(contour)를 남기기 위해 배경 제거를 수행하는 단계를 더 포함하는 것을 특징으로 한다.
상기 반려 동물 모니터링 방법은 상기 배경 이미지에 포함된 특징점(keypoint)을 추출하는 단계; 및 상기 특징점 및 상대 극 좌표를 이용하여 상기 배경 이미지와 상기 객체 이미지를 합성하는 단계를 더 포함하는 것을 특징으로 한다.
상기 반려 동물 모니터링 방법은 생성된 합성 이미지를 연속으로 이어 붙여 제 1 시간의 제 1 영상으로 생성하는 단계를 더 포함하는 것을 특징으로 한다.
상기 반려 동물 모니터링 방법은 상기 제 1 영상은 유저 인터페이스를 포함하되, 상기 유저 인터페이스를 선택하는 제 1 사용자 입력 신호를 수신하는 단계; 및 상기 제 1 사용자 입력 신호에 기초하여 상기 제 1 영상과 연결된 영상을 출력하는 단계를 더 포함하는 것을 특징으로 한다.
상기 반려 동물 모니터링 방법은 상기 제 1 영상에 포함된 상기 객체 이미지를 선택하는 제 2 사용자 입력 신호를 수신하는 단계; 및 상기 제 2 사용자 입력 신호에 기초하여 상기 제 1 영상과 연결된 영상을 출력하는 단계를 더 포함하는 것을 특징으로 한다.
상기 반려 동물 모니터링 방법은 상기 반려 동물이 상기 객체 이미지로 추출되는 경우, 상기 객체 이미지를 이미지 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 한다.
상기 객체 이미지를 상기 이미지 데이터베이스에 저장하는 단계는, 상기 반려 동물이 포함된 상기 영상의 이름 정보, 상기 반려 동물이 처음 등장한 시간 정보, 상기 반려 동물이 처음 등장한 이미지 정보 중 적어도 하나를 함께 저장하는 것을 특징으로 한다.
상기 카메라는 PTZ형 카메라인 것을 특징으로 한다.
본 발명의 또 다른 일 실시 예는 영상을 촬영하는 PTZ형 카메라; 상기 촬영된 영상을 저장하는 영상 데이터베이스; 상기 촬영된 영상에서 키-프레임(key-frame)을 추출하는 프레임 추출부; 상기 추출된 키-프레임에서 배경 이미지를 추출하는 배경 추출 엔진; 및 상기 추출된 키-프레임에서 객체 이미지를 추출하는 객체 검출 엔진을 포함하는 것을 특징으로 하는, 반려 동물 모니터링 장치를 제공한다.
본 발명의 일 실시 예에 따르면, 방대한 영상 속에서 반려 동물 등장 이미지를 요약 및 검색하여 원하는 영상에 접근이 가능하다는 장점이 있다.
다만, 당업자는 여기에서 명시적으로 언급하지 않은 기술적 효과에 대해서도, 명세서 전체의 취지를 통해 이해할 수가 있다.
도 1은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 방법을 설명하는 순서도이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 배경 추출 엔진을 설명하는 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시 따른 이미지 합성 방법을 설명하기 위한 종래 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 합성 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 반려 동물 영상을 확인하는 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 방법에서 제공하는 유저 인터페이스를 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 장치를 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 배경 추출 엔진을 설명하는 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시 따른 이미지 합성 방법을 설명하기 위한 종래 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 합성 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 반려 동물 영상을 확인하는 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 방법에서 제공하는 유저 인터페이스를 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 장치를 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 CCTV 카메라에서 반려 동물의 영상을 검색하는 방법을 제안하고자 한다.
이는 비디오 요약 및 검색을 통하여 이루어질 수 있으며, 이를 위하여 비디오 인덱싱 및 비디오 시놉시스 방법과 관련된 기술이 사용된다. 보다 상세하게는, 장시간 촬영된 CCTV에서 매시간 사람이 직접 정보를 확인하는 것은 시간이 너무 오래 걸리기 때문에 비디오 시놉시스를 활용하여 이를 개선할 수 있다. 예를 들어서, 교차로를 24시간 촬영한 영상이 있다고 가정하고, 파란색 차가 이 교차로에 여러 번 진입했다고 할 때, 컴퓨터 비전 기술을 이용하여 비디오 요약 및 검색을 시행한다면 짧은 영상의 확인만 가지고도 정보를 파악할 수 있다.
고정된 카메라에서 24시간 촬영되는 CCTV 영상의 경우, 영상의 양이 방대하고 원하는 반려 동물의 영상을 찾기가 어렵다. 따라서, 본 발명에서는 반려 동물 등장 영상을 찾아내고 찾아낸 영상의 반려 동물 등장 이미지를 사용자에게 제공함으로써 원하는 반려 동물 영상에 접근하기 쉽게 검색할 수 있도록 한다.
또한, 상대 좌표 투영을 통하여 카메라 시점이 움직여도 동일한 특징점만 검출할 수 있다면 비디오 시놉시스 기술을 적용할 수 있다. 이 방법은 ptx 카메라 등에 적용이 가능하다. 따라서, 본 발명을 통해 방대한 영상 속에서 반려 동물 등장 이미지를 통해 원하는 영상에 접근이 가능하게 된다.
본 발명은 한정된 자원으로 많은 고객에 대한 서비스를 클라우드 서버에서 처리하기 위하여 다양한 경량화 모델들을 탑재하고자 한다. 본 발명을 통하여, 다수의 영상에서 반려 동물이 촬영된 영상을 찾아내고 찾아낸 영상의 반려 동물 등장 부분을 짧은 동영상으로 요약함으로써 사용자가 자신의 반려 동물 등장 영상의 인덱싱을 확인할 수 있다. 또한, 사용자는 짧은 영상(예를 들어, gif)의 각각의 화면에 포함된 유저 인터페이스를 이용하여 연결된 동영상으로 접근할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 방법을 설명하는 순서도이다.
도 1을 참조하면, 단계(S101)에서, 카메라는 영상을 촬영할 수 있다. 여기에서, 카메라는 실내 또는 실외에 고정되거나 이동식 카메라에 대응할 수 있다. 일 실시 예에서, 카메라는 실시간으로 영상을 촬영할 수 있다. 이때, 카메라는 반려 동물을 실시간으로 촬영하게 된다.
단계(S102)에서, 촬영된 영상은 영상 데이터베이스(DB)에 저장될 수 있다. 여기에서, 데이터베이스는 외부 서버에 저장되거나 카메라에 포함된 메모리에 저장될 수 있다.
단계(S103)에서, 촬영된 영상에서 키-프레임(key-frame)을 추출할 수 있다.
단계(S104)에서, 추출된 키-프레임에서 배경 추출 엔진을 통하여 배경 이미지를 추출할 수 있다. 일 실시 예에서, 배경 추출 엔진은 코드북을 기반으로 배경 이미지를 추출할 수 있다. 이에 대하여는 도 2를 통하여 자세히 설명하도록 한다.
단계(S105)에서, 추출된 키-프레임에서 반려 동물 검출 엔진을 통하여 반려 동물을 검출할 수 있다. 이때, 반려 동물이 등장한 비디오가 아니면 비디오 데이터베이스 내에서 해당 영상을 영상 데이터베이스에서 삭제할 수 있다.
단계(S106)에서, 추출된 키-프레임에 반려 동물이 검출된 경우, 해당 영상은 이미지 데이터베이스(DB)에 저장될 수 있다. 일 실시 예에서, 반려 동물 등장 영상의 이름, 시간, 반려 동물 등장 첫 이미지, 반려 동물 등장 첫 이미지의 사각박스 영역 좌표가 함께 저장될 수 있다.
단계(S107)에서, 배경 제거 엔진(background matting)을 통하여 반려 동물 영역을 제외한 나머지 영역이 제거될 수 있다. 보다 상세하게는, 배경 제거 엔진을 통하여 반려 동물의 컨투어(contour)를 남기기 위해 배경 제거(matting)를 수행할 수 있다.
단계(S108)에서, 단계(S104)를 통하여 추출된 배경 이미지와 단계(S107)을 통하여 배경이 제거된 반려 동물 이미지를 이용해 상대 좌표를 투영하고 이미지를 합성할 수 있다. 이에 따라, 이미지 데이터베이스의 내용이 업데이트 될 수 있다. 이에 대하여는 도 4를 통하여 자세히 설명하도록 한다.
단계(S109)에서, 배경 이미지와 반려 동물 이미지가 합성된 이미지 또는 짧은 동영상은 사용자에게 제공될 수 있다. 이후, 사용자는 출력된 이미지 또는 짧은 동영상에 포함된 유저 인터페이스를 이용하여 해당 전체 영상을 확인할 수 있다. 이에 대하여는 도 5 및 도 6을 통하여 자세히 설명하도록 한다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 배경 추출 엔진을 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
도 2a를 참조하면, 카메라가 촬영한 영상(200) 시간에 따른 제 1 프레임(210), 제 2 프레임(220) 및 제 3 프레임(230)을 포함할 수 있다. 이때, 프레임은 영상의 한 단위로 단위 시간에 따른 하나의 장면(scene)에 대응할 수 있다.
이때, 제 1 프레임(210)은 객체(211) 및 배경(212)을 포함할 수 있으며, 객체(211)의 위치는 제 1 프레임(210) 내지 제 3 프레임(230)에 따라 변경될 수 있다. 즉, 객체(211)는 제 1 프레임(210) 상에서는 왼쪽에 위치하고, 제 2 프레임(220) 상에서는 가운데 위치하고, 제 3 프레임(230) 상에서는 오른쪽에 위치하게 된다. 이렇듯 객체(211)가 움직이는 경우에도 배경(211)은 제 1 프레임(210) 내지 제 3 프레임(230) 상에서 변동이 없다. 이러한 규칙으로 배경(211)은 고정되어 있고, 객체(211)만 움직이기 때문에 도 2b와 같은 코드북 형태로 각각의 프레임을 이미지 데이터베이스에 저장할 수 있다.
도 2b를 참조하면, 도 2a의 제 1 프레임(210) 및 제 2 프레임(220)에 포함된 모든 픽셀의 RGB 값은 코드-북(code-book) 형태로 기록될 수 있다.
보다 상세하게는, 도 2a의 (a)를 참조하면, 제 1 프레임(210)의 포함된 배경(211)과 객체(212)를 구성하는 모든 픽셀들의 RGB 값은 제 1 코드-북(230)과 같이 표현될 수 있다. 마찬가지로, 도 2a의 (b)를 참조하면, 제 2 프레임(220)의 포함된 배경(211)과 객체(212)를 구성하는 모든 픽셀들의 RGB 값은 제 2 코드-북(240)과 같이 표현될 수 있다.
제 1 코드-북(230)을 살펴보면, 배경(211)에 해당하는 RGB 값은 “22”로 표현되고, 객체(212)에 해당하는 RGB 값은 “99”로 표현된다. 마찬가지로, 제 2 코드-북(240)을 살펴보면, 배경(211)에 해당하는 RGB 값은 “22”로 표현되고, 객체(212)에 해당하는 RGB 값은 “99”로 표현된다. 이때, 제 1 코드-북(230)과 제 2 코드-북(240)을 비교해보면, 제 1 프레임(210)과 제 2 프레임(230)에서 RGB 값인 “22”가 변하지 않는 부분이 있다. 이 부분이 배경(211)이 된다. 반면, 제 1 코드-북(230)과 제 2 코드-북(240)을 비교해보면, 제 1 프레임(210)과 제 2 프레임(230)에서 RGB 값이 ”99"인 부분은 위치가 변하게 된다. 이 부분이 객체(212)가 된다.
배경 추출 엔진은 이러한 방식으로 객체(212)와 배경(211)에 대한 이미지를 추출할 수 있다.
이때, 객체 이미지가 추출되면 객체를 나타내는 사각형 박스의 좌표 정보를 데이터베이스에 저장할 수 있다. 이때, 추출된 객체가 반려 동물인 경우, 반려 동물이 포함된 영상의 이름 정보, 반려 동물이 처음 등장한 시간 정보, 반려 동물이 처음 등장한 이미지 정보 중 적어도 하나를 데이터베이스에 함께 저장할 수 있다.
일 실시 예에서, 객체가 검출되지 않은 영상은 영상 데이터베이스에서 삭제할 수 있다. 즉, 객체가 검출되지 않은 이미지를 포함하는 영상을 저장하는 경우 메모리의 낭비가 되기 때문에 객체가 검출되지 않은 영상을 삭제할 수 있다.
객체가 검출된 영상은 영상 데이터베이스 내에 저장되어 추후 사용자가 해당 객체가 포함된 이미지를 선택하는 경우 영상 데이터베이스를 통하여 불러와 재생할 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시 따른 이미지 합성 방법을 설명하기 위한 종래 방법을 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
도 3a를 참조하면, 제 1 이미지(310)에 포함된 제 1 객체(311)의 좌표는 (x1, y1, w1, h1)로 표현될 수 있다. 여기에서 (x, y)는 객체를 나타내는 사각형 박스의 좌측 상단 좌표를 나타내며, w는 객체를 나타내는 사각형 박스의 가로 너비, h는 객체를 나타내는 사각형 박스의 세로 너비를 나타낸다. 즉 제 1 객체(311)의 좌표가 (x1, y1, w1, h1)인 경우, 제 1 객체(311)를 나타내는 사각형 박스의 (가로 시작점, 세로 시작점, 가로 길이, 세로 길이)를 의미할 수 있다.
제 2 이미지(320)에 포함된 제 2 객체(321)의 좌표는 (x2, y2, w2, h2)로 표현될 수 있다.
이때, 제 1 이미지(310)와 제 2 이미지(320)를 합성하는 경우, 제 3 이미지(330)를 생성할 수 있다. 제 3 이미지(330)는 제 1 이미지(310)에 포함된 제 1 객체(311)와 제 2 이미지(320)에 포함된 제 2 객체(321)를 포함할 수 있다.
이때, 제 3 이미지(330)에 포함된 제 1 객체(311)를 나타내는 사각형 박스의 좌표는 (x1, y1, w1, h1)이 되며, 제 2 객체(321)를 나타내는 사각형 박스의 좌표는 (x2, y2, w2, h2)가 된다. 이 경우에는 제 1 객체(311) 및 제 2 객체(321)는 모두 합성된 제 3 이미지(330)에 제대로 배치된 것처럼 보인다.
반면, 도 3a와 같은 방식은 촬영 지점이 조금 변하거나 사람을 따라 촬영 범위가 조금씩 변하는 PTZ형 카메라(Pan Tilt Zoom camera)에는 적용이 불가능하다. 여기에서, PTZ형 카메라는 원격으로 회전, 줌 조정이 가능한 카메라로 촬영 지점이 변하게 되며 사람을 따라 촬영 범위가 변하게 되는 카메라를 의미한다.
도 3b를 참조하면, 제 1 이미지(310)는 도 3a와 마찬가지로 (x1, y1, w1, h1)의 좌표를 갖는 제 1 객체(311)를 포함할 수 있다. 또한, 제 4 이미지(340)는 상술한 제 2 이미지(320)에서 움직인 제 2 객체(321)를 포함할 수 있다. 이때, 제 2 객체(321)를 나타내는 사각형 박스의 좌표는 (x3, y3, w3, h3)가 된다.
즉, PTZ형 카메라로 제 4 이미지(340)를 촬영하는 경우, 제 4 이미지(340)에 포함된 촬영 지점(341)이 변경될 수 있다. 도 3b의 제 4 이미지(340)에 포함된 촬영 지점(341)은 제 1 이미지(310)에도 포함된 것이지만 카메라의 방향 전환 등에 따라 다른 시점에서 촬영될 수 있다. 이 경우, 도 3a와 동일한 방법으로 이미지를 합성하는 경우, 제 5 이미지(350)와 같은 문제가 발생하게 된다.
제 5 이미지(350)은 제 1 이미지(310)에 포함된 제 1 객체(311) 및 제 4 이미지(340)에 포함된 제 2 객체(321)를 포함할 수 있다. 이때, 제 1 객체(311)의 좌표는 (x1, y1, w1, h1)이 되고, 제 2 객체(321)의 좌표는 (x3, y3, w3, h3)가 된다. 이 경우, 제 1 객체(311)는 정상적으로 합성이 되었으나 제 2 객체(321)의 경우 촬영 지점이 변경된 것을 고려하지 못해 제대로 된 위치에 합성이 되지 않는다.
이러한 점을 보완하기 위하여 본 발명에서는 도 4의 방안을 제안하고자 한다.
도 4는 본 발명의 일 실시 예에 따른 이미지 합성 방법을 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
본 발명의 일 실시 예에서는, 특징점(keypoint)을 기준으로 하여 상대 극 좌표를 사용하여 도 3a 및 도 3b의 문제를 해결하고자 한다.
여기에서, 특징점은 고전 컴퓨터 비전 방법(예를 들어, SIFT, SURF) 또는 딥러닝 방법을 이용하여 구할 수 있다. 여기에서, SIFT(Scale-Invariant Feature Transform)는 이미지의 크기와 회전에 불변하는 특징을 추출하는 알고리즘으로 이는 공개된 기술로 설명을 생략하도록 한다. 마찬가지로, SURF(Speeded Up Robust Features)는 여러 개의 영상으로부터 스케일, 조명, 시점 등의 환경 변화를 고려하여 환경 변화에 불변하는 특징점을 찾는 알고리즘으로 이 역시 공개된 기술로 설명을 생략하도록 한다.
이와 같은 방법으로 특징점을 찾게 되면, 도 4와 같은 방법으로 이미지를 합성할 수 있게 된다.
도 4를 참조하면, 제 1 이미지(400)는 특징점(400a) 및 제 1 객체(411)를 포함할 수 있다. 여기에서, 특징점(400a)은 상술한 바와 같이 이미지의 크기, 회전 및 시점 등의 환경 변화에 영향을 받지 않는 불변하는 점에 해당한다. 이때, 특징점(400a)의 좌표는 (x1, y1)로 정할 수 있다.
또한, 제 1 객체(411)를 나타내는 사각형 박스의 좌측 상단의 상대 극 좌표는 (r1, θ1)이 되고, 사각형 박스의 우측 하단의 상대 극 좌표는 (r2, θ2)로 가정할 수 있다.
합성하고자 하는 제 2 이미지(420)는 역시 특징점(400b) 및 제 2 객체(421)를 포함할 수 있다. 이때, 제 2 이미지(420)의 특징점(400b)의 좌표는 (x2, y2)로 정할 수 있다.
또한, 제 2 객체(421)를 나타내는 사각형 박스의 좌측 상단의 상대 극 좌표는 (r3, θ3)이 되고, 사각형 박스의 우측 하단의 상대 극 좌표는 (r4, θ4)로 가정할 수 있다.
본 발명의 일 실시 예에서, 제 1 이미지(410) 및 제 2 이미지(420)를 합성한 제 3 이미지(430)를 상세히 설명하면 다음과 같다.
제 3 이미지(430)는 제 1 이미지(410)에 포함된 특징점(400a)과 제 2 이미지(420)에 포함된 특징점(400b)을 공유하며, 제 1 이미지(410)에 포함된 제 1 객체(411)와 제 2 이미지(420)에 포함된 제 2 객체(421)를 포함할 수 있다.
본 발명의 일 실시 예에서, 제 1 객체(411)의 좌표를 설정할 때 특징점(400a)의 좌표 (x1, y1)을 기준으로 작성할 수 있고, 제 2 객체(421)의 좌표를 설정할 때는 특징점(400b)의 좌표 (x2, y2)를 기준으로 작성할 수 있다.
이에 따른 각각의 좌표는 제 1 객체(411)를 나타내는 사각형 박스의 좌측 상단의 변환 극 좌표는 (x3+r1*cosθ1, y3+r1*sinθ1)이 되고, 우측 하단의 변환 극 좌표는 (x3+r2*cosθ2, y3+r2*sinθ2)가 된다. 마찬가지로, 제 2 객체(421)를 나타내는 사각형 박스의 좌측 상단의 변환 극 좌표는 (x3+r3*cosθ3, y3+r3*sinθ3)가 되고, 우측 하단의 변환 극 좌표는 (x3+r4*cosθ4, y3+r4*sinθ4)가 된다.
즉, 이미지를 합성하더라도 특징점(400a, 400b)의 좌표는 불변하기 때문에 제 1 객체(411) 및 제 2 객체(421)를 합성할 때 특징점(400a, 400b)를 기준으로 좌표를 설정하여 이미지를 합성할 수 있다.
또한, 상술한 기술 내용은 2장의 이미지를 합성할 때의 내용이며 n장(여기에서, n은 정수)을 합성할 경우에는 이전에 수행하였던 결과와 새로운 이미지를 이용하여 순차적으로 진행할 수 있다. 이때, 최종적으로 생성된 이미지들을 연속적으로 배열하여 짧은 동영상을 생성할 수 있다.
일 실시 예에서, 상술한 방법으로 생성된 합성 이미지를 연속으로 이어 붙여 제 1 시간(예를 들어서, 10초)의 제 1 영상으로 생성할 수 있다. 생성된 영상은 사용자에게 제공되어 사용자가 합성된 이미지에 포함된 객체를 확인할 수 있도록 제공될 수 있다. 이에 대하여는 도 5 및 도 6을 통하여 자세히 설명하도록 한다.
도 5은 본 발명의 일 실시 예에 따른 반려 동물 영상을 확인하는 방법을 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
본 발명의 일 실시 예에서, 원하는 반려 동물의 등장 화면을 선택하는 경우, 영상 데이터베이스를 통하여 해당 영상을 출력할 수 있다.
도 5를 참조하면, 제 1 프레임(510)은 배경 이미지를 나타내고, 제 2 프레임(520)은 배경 이미지와 제 1 반려 동물(521)이 등장한 이미지를 나타내고, 제 3 프레임(530)은 배경 이미지, 제 1 반려 동물(521) 및 제 2 반려 동물(531)이 등장한 이미지를 나타내고, 제 4 프레임(540)은 배경 이미지, 제 1 반려 동물(521), 제 2 반려 동물(531) 및 제 3 반려 동물(541)이 등장한 이미지를 나타내고, 제 5 프레임(550)은 배경 이미지, 제 1 반려 동물(521), 제 2 반려 동물(531), 제 3 반려 동물(541) 및 제 4 반려 동물(551)이 등장한 이미지를 나타낸다.
이때, 배경 이미지와 제 1 내지 제 4 반려 동물(521, 531, 541, 551)은 상술한 실시 예로 합성되어 제 2 내지 제 5 프레임(520, 530, 540, 550)을 구성할 수 있다.
일 실시 예에서, 반려 동물 모니터링 장치 및 방법은 반려 동물이 포함된 제 2 프레임 내지 제 5 프레임(520, 530, 540, 550)을 순서대로 제공할 수 있다. 이때, 제 2 프레임 내지 제 5 프레임(520, 530, 540, 550)은 gif파일 형태의 짧은 영상으로 생성될 수 있다. 이후, 생성된 영상이 사용자에게 제공될 수 있다. 이때, 반려 동물 모니터링 장치 및 방법은 사용자 단말기(미도시)로 제 2 프레임 내지 제 5 프레임(520, 530, 540, 550)을 전송하는 형태로 사용자에게 이미지를 제공할 수 있다.
일 실시 예에서, 제 2 내지 제 5 프레임(520, 530, 540, 550)이 사용자에게 제공된 이후, 사용자가 제 2 내지 제 5 프레임(520, 530, 540, 550)에 포함된 반려 동물을 선택하는 경우, 반려 동물 모니터링 장치 및 방법은 선택된 반려 동물이 연결된 전체 영상을 사용자에게 제공할 수 있다.
보다 상세하게는, 사용자는 제 3 프레임(530)에 포함된 제 2 반려 동물(531)을 선택할 수 있다. 이 경우, 반려 동물 모니터링 장치 및 방법은 제 2 반려 동물(531)에 연결된 영상인 “B.MP4”를 사용자에게 제공할 수 있다. 반면, 사용자는 제 5 프레임(550)에 포함된 제 4 반려 동물(551)으 선택할 수 있다. 이 경우, 반려 동물 모니터링 장치 및 방법은 제 4 반려 동물(551)에 연결된 영상인 “D.MP4”를 사용자에게 제공할 수 있다.
이와 같이, 반려 동물 모니터링 장치는 배경 이미지와 각각의 반려 동물이 합성된 이미지 또는 영상을 사용자에게 제공하고, 사용자가 선택한 반려 동물에 대한 영상만을 제공할 수 있다. 이에 따라, 사용자는 전체 영상을 확인할 필요가 없고 원하는 반려 동물이 등장한 영상만을 확인할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 방법에서 제공하는 유저 인터페이스를 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
도 6의 (a)는 본 발명의 일 실시 예에 따른 카메라(600)가 객체(611)를 촬영하고 있는 모습을 나타내는 도면이고, 도 6의 (b)는 사용자 단말기(610)에서 본 발명의 일 실시 예에 따른 방법으로 제공되는 화면을 선택하는 모습을 나타내는 도면이다.
보다 상세하게는, 도 6의 (a)와 같이 본 발명의 일 실시 예에 따른 카메라(600)가 객체(611)가 포함된 영상을 촬영한 후 상술한 실시 예에 따라 배경 이미지와 객체(611)를 포함하는 객체 이미지가 추출되어 합성될 수 있다.
이후, 도 6의 (b)와 같이 사용자 단말기(610)는 합성 이미지 또는 생성된 영상을 디스플레이를 통하여 출력할 수 있다. 이를 위하여, 사용자 단말기(610)는 본 발명의 일 실시 예에 따른 반려 동물 모니터링 장치로부터 데이터를 수신할 수 있다. 사용자 단말기(610)는 일반적으로 사용되는 이동통신 이동통신 단말기, 스마트폰(smart phone), 태블릿(tablet) PC(personal computer), 전자수첩, 노트북(notebook), PDA(personal digital assistant), 웨어러블 장치(wearable device) 등과 같은 다양한 유형의 전자 장치에 대응할 수 있다. 따라서, 이러한 사용자 단말기(610)는 네트워크를 통하여 또는 USB 등과 같이 직접적으로 연결 가능한 저장 장치를 통하여 카메라(600)가 촬영한 영상을 수신할 수 있다. 이때, 사용자가 제공받는 영상은 카메라(600)가 촬영한 전체 원본 영상이 아닌 본 발명의 일 실시 예에 따라 새롭게 합성되거나 생성된 이미지 또는 영상에 대응할 수 있다.
본 발명의 일 실시 예에서, 사용자는 도 5에서 상술한 바와 같이 출력 중인 객체(611)를 직접 선택하거나 유저 인터페이스(미도시)를 선택할 수 있다. 예를 들어, 사용자는 사용자 단말기(610)의 디스플레이를 터치할 수 있다.
이후, 사용자 단말기(610)는 본 발명의 반려 동물 모니터링 장치에 객체(611)가 포함된 짧은 영상 또는 객체(611)가 포함된 원본 영상을 요청하여 사용자에게 제공할 수 있다. 이때, 상술한 바와 같이 객체(611)가 포함된 이미지 또는 짧은 영상이 데이터베이스에 저장될 때 객체(611)가 처음 등장하는 시간, 객체(611)가 등장하는 시간 등을 함께 저장하기 때문에 반려 동물 모니터링 장치는 데이터베이스를 검색하여 이를 사용자 단말기(610)에 제공할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 반려 동물 모니터링 장치를 설명하는 도면이다. 이하, 상술한 내용과 중복되는 설명은 생략하도록 한다.
도 7을 참조하면, 반려 동물 모니터링 장치는 PTZ형 카메라(710), 프레임 추출부(720), 배경 추출 엔진(730), 객체 검출 엔진(740), 이미지 합성부(750) 및 데이터베이스(760)를 포함할 수 있다. 여기에서, 설명하는 구성은 필수적인 구성이 아니라 본 발명의 일 실시 예의 동작을 설명하기 위한 것으로 구분되어 설명하고 있으나 구성은 하나로 통합되거나 더욱 세분화되어 표현될 수 있다. 또한, 도시되어 있지 않으나 반려 동물 모니터링 장치는 설명하는 구성의 동작을 모두 수행할 수 있는 프로세서(processor)를 포함할 수 있다. 다만, 이하에서는 각각의 기능을 수행하는 구성 모듈을 개별적으로 설명하도록 한다.
카메라(710)는 영상을 촬영할 수 있다. 이때, 카메라(710)는 PTZ형 카메라에 대응할 수 있다.
프레임 추출부(720)는 촬영된 영상에서 키-프레임(key-frame)을 추출할 수 있다.
배경 추출 엔진(730)은 추출된 키-프레임에서 배경 이미지를 추출할 수 있다. 이는 도 2a 및 도 2b에서 상술한 코드-북을 기반으로 할 수 있다. 예를 들어, 배경 추출 엔진(730)은 키-프레임에 포함된 모든 픽셀의 RGB 값을 코드-북에 기록하여 배경 이미지를 추출할 수 있다.
객체 검출 엔진(740)은 추출된 키-프레임에서 객체 이미지를 추출할 수 있다. 배경 추출 엔진과 마찬가지로 도 2a 및 도 2b에서 상술한 코드-북을 기반으로 할 수 있다. 즉, 배경 추출 엔진(730)과 객체 검출 엔진(740)은 구분되어 있으나 하나의 모듈에서 수행될 수 있다. 일 실시 예에서, 객체 검출 엔진(740)은 객체가 검출되지 않는 경우, 영상을 데이터베이스(760)에서 삭제할 수 있다.
배경 제거 엔진(미도시)는 객체 검출 엔진(740)을 통하여 추출된 객체의 컨투어(contour)를 남기기 위하여 배경 제거를 수행할 수 있다.
이미지 합성부(750)는 배경 추출 엔진(730)을 통하여 추출된 배경 이미지에 포함된 특징점을 추출할 수 있다. 이후, 특징점 및 상대 극 좌표를 이용하여 배경 이미지와 객체 이미지를 합성할 수 있다. 이후, 생성된 합성 이미지를 연속으로 이어 붙여 제 1 시간의 제 1 영상을 생성할 수 있다. 이에 대하여는, 도 4에서 상술한 바와 같다.
데이터베이스(760)는 카메라(710)를 통해 촬영된 영상, 프레임 추출부(720)를 통해 추출된 키-프레임, 배경 추출 엔진(730)을 통해 추출된 배경 이미지, 객체 검출 엔진(740)을 통해 추출된 객체 이미지, 배경 제거 엔진을 통해 배경이 제거된 이미지, 이미지 합성부(750)를 통해 합성된 이미지 등을 모두 저장할 수 있다. 또한, 데이터베이스(760)는 다른 구성의 요청에 의해 저장된 데이터를 전송할 수 있다. 여기에서, 데이터베이스(760)는 영상 데이터베이스 및 이미지 데이터베이스를 각각 구분하여 포함할 수 있다.
또한, 도면에 도시되어 있지는 않으나 사용자 단말기(미도시)의 요청에 기초하여 반려 동물 모니터링 장치는 제 1 영상을 사용자 단말기에 제공할 수 있다. 이때, 제 1 영상은 연결된 영상을 재생하기 위한 유저 인터페이스를 포함할 수 있다. 이에 대하여는 도 5 및 도 6에서 상술한 바와 같다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상 본 발명의 실시 예에 따른 단말기, 클라우드 서버, 클라우드 AR 플랫폼의 영상 송수신 시스템 및 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.
710: PTZ형 카메라
720: 프레임 추출부
730: 배경 추출 엔진
740: 객체 검출 엔진
750: 이미지 합성부
760: 데이터베이스
720: 프레임 추출부
730: 배경 추출 엔진
740: 객체 검출 엔진
750: 이미지 합성부
760: 데이터베이스
Claims (14)
- 카메라로부터 촬영된 영상을 수신하는 단계;
상기 수신한 영상을 영상 데이터베이스에 저장하는 단계;
키-프레임(key-frame)을 추출하는 단계;
상기 추출된 키-프레임에서 배경 추출 엔진을 통하여 배경 이미지를 추출하는 단계; 및
상기 추출된 키-프레임에서 객체 검출 엔진을 통하여 객체 이미지를 추출하는 단계를 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 1 항에 있어서,
상기 배경 추출 엔진은 코드-북(code-book)을 기반으로 상기 배경 이미지를 추출하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 2 항에 있어서,
상기 배경 추출 엔진은 키-프레임에 포함된 모든 픽셀의 RGB 값을 상기 코드-북에 기록하여 상기 배경 이미지를 추출하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 1 항에 있어서,
상기 객체 검출 엔진은 상기 키-프레임에서 배경 이미지 외에 객체가 포함된 상기 객체 이미지를 추출하되, 상기 객체는 반려 동물인 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 4 항에 있어서,
상기 객체 검출 엔진은 상기 키-프레임에서 상기 객체가 검출되지 않은 경우, 상기 영상을 상기 영상 데이터베이스에서 삭제하는 단계를 더 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 5 항에 있어서,
배경 제거 엔진을 통하여 상기 객체의 컨투어(contour)를 남기기 위해 배경 제거를 수행하는 단계를 더 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 1 항에 있어서,
상기 배경 이미지에 포함된 특징점(keypoint)을 추출하는 단계; 및
상기 특징점 및 상대 극 좌표를 이용하여 상기 배경 이미지와 상기 객체 이미지를 합성하는 단계를 더 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 7 항에 있어서,
상기 생성된 합성 이미지를 연속으로 이어 붙여 제 1 시간의 제 1 영상으로 생성하는 단계를 더 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 8 항에 있어서,
상기 제 1 영상은 유저 인터페이스를 포함하되, 상기 유저 인터페이스를 선택하는 제 1 사용자 입력 신호를 수신하는 단계; 및
상기 제 1 사용자 입력 신호에 기초하여 상기 제 1 영상과 연결된 영상을 출력하는 단계를 더 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 8 항에 있어서,
상기 제 1 영상에 포함된 상기 객체 이미지를 선택하는 제 2 사용자 입력 신호를 수신하는 단계; 및
상기 제 2 사용자 입력 신호에 기초하여 상기 제 1 영상과 연결된 영상을 출력하는 단계를 더 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 4 항에 있어서,
상기 반려 동물이 상기 객체 이미지로 추출되는 경우, 상기 객체 이미지를 이미지 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 11 항에 있어서,
상기 객체 이미지를 상기 이미지 데이터베이스에 저장하는 단계는, 상기 반려 동물이 포함된 상기 영상의 이름 정보, 상기 반려 동물이 처음 등장한 시간 정보, 상기 반려 동물이 처음 등장한 이미지 정보 중 적어도 하나를 함께 저장하는 것을 특징으로 하는, 반려 동물 모니터링 방법. - 제 1 항에 있어서,
상기 카메라는 PTZ형 카메라인 것을 특징으로 하는, 반려 동물 모니터링 방법. - 영상을 촬영하는 PTZ형 카메라;
상기 촬영된 영상을 저장하는 영상 데이터베이스;
상기 촬영된 영상에서 키-프레임(key-frame)을 추출하는 프레임 추출부;
상기 추출된 키-프레임에서 배경 이미지를 추출하는 배경 추출 엔진; 및
상기 추출된 키-프레임에서 객체 이미지를 추출하는 객체 검출 엔진을 포함하는 것을 특징으로 하는,
반려 동물 모니터링 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220070785A KR20230170377A (ko) | 2022-06-10 | 2022-06-10 | 반려 동물 모니터링 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220070785A KR20230170377A (ko) | 2022-06-10 | 2022-06-10 | 반려 동물 모니터링 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230170377A true KR20230170377A (ko) | 2023-12-19 |
Family
ID=89385748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220070785A KR20230170377A (ko) | 2022-06-10 | 2022-06-10 | 반려 동물 모니터링 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230170377A (ko) |
-
2022
- 2022-06-10 KR KR1020220070785A patent/KR20230170377A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8315463B2 (en) | User interface for face recognition | |
| US8634603B2 (en) | Automatic media sharing via shutter click | |
| CN100571363C (zh) | 图像处理设备、系统和方法 | |
| CN101646070B (zh) | 一种新型智能安防监控方法及其专用设备 | |
| CN101692706B (zh) | 用于安防监控的智能存储设备 | |
| US20070195344A1 (en) | System, apparatus, method, program and recording medium for processing image | |
| US20040126038A1 (en) | Method and system for automated annotation and retrieval of remote digital content | |
| US20140293069A1 (en) | Real-time image classification and automated image content curation | |
| EP2549390A1 (en) | Data processing device and data processing method | |
| WO2012064532A1 (en) | Aligning and summarizing different photo streams | |
| CN101621673A (zh) | 智能网络安防监控摄像机 | |
| KR101832680B1 (ko) | 참석자들에 의한 이벤트 검색 | |
| WO2019223158A1 (zh) | Vr图像生成方法、装置、计算机设备及存储介质 | |
| US20120114307A1 (en) | Aligning and annotating different photo streams | |
| US8320609B2 (en) | Device and method for attaching additional information | |
| US9973649B2 (en) | Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program | |
| JP2015002423A (ja) | 画像処理装置、サーバ及び記憶媒体 | |
| KR100862939B1 (ko) | 영상 기록 재생 시스템 및 영상 기록 재생 방법 | |
| KR102180474B1 (ko) | 백업 정보를 디스플레이 하여 이미지 파일을 관리하는 장치 및 방법 | |
| Quack et al. | Object recognition for the internet of things | |
| CN102428705A (zh) | 数据处理装置以及数据处理方法 | |
| JPWO2014065033A1 (ja) | 類似画像検索装置 | |
| KR20230170377A (ko) | 반려 동물 모니터링 장치 및 방법 | |
| JP2010068247A (ja) | コンテンツ出力装置、方法、プログラムおよびシステム | |
| US11283945B2 (en) | Image processing apparatus, image processing method, program, and recording medium |