KR20210114805A

KR20210114805A - 머신러닝 모델을 이용한 객체 인식 방법 및 시스템

Info

Publication number: KR20210114805A
Application number: KR1020200030400A
Authority: KR
Inventors: 신동군; 조근혜
Original assignee: 성균관대학교산학협력단
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2021-09-24
Also published as: KR102426591B1; US20210287051A1; US11620360B2

Abstract

본 발명은 머신러닝 모델을 이용한 객체 인식 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 객체를 인식하기 위한 영상을 획득하는 단계, 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하는 단계, 및 상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 객체를 인식하는 단계를 포함한다.

Description

머신러닝 모델을 이용한 객체 인식 방법 및 시스템{METHODS AND SYSTEMS FOR RECOGNIZING OBJECT USING MACHINE LEARNING MODEL}

본 발명은 머신러닝 모델을 이용한 객체 인식 방법 및 시스템에 관한 것이다.

다양한 목적으로 비디오에서의 객체 인식이 활용된다. 비디오에서의 객체 인식은 자율 주행, 주행 보조 또는 CCTV 영상 분석 등에 활용된다. 자동차에서 촬영된 영상으로 전방 또는 주위 객체를 인식하여 자율 주행 또는 주행 보조에 이용한다. CCTV에서 촬영된 영상에서 화면에 존재하는 사물과 사람을 인식한 후 이를 분석하여 통계 정보를 생성하거나 이벤트를 탐지한다.

객체 인식 방법으로 최근에는 학습이 용이하고 정확도가 높은 심층신경망이 주로 사용된다. 추론 정확도가 높은 심층신경망은 연산량이 많아 연산 능력이 낮은 장치에서는 수행 시간이 길다. 객체 인식을 차량이나 드론, CCTV(Closed-circuit television)에 장착된 시스템온칩(SoC, System on chip) 등에서 빠르게 수행하기 위해 연산량을 줄이는 것이 필요하다. 이와 같이, 객체 인식은 연산량이 많아 차량, 드론 또는 CCTV 등에 장착된 SoC에서 수행할 시에 지연시간이 길어지는 문제가 있고, 따라서 연산량을 줄이는 것이 필요하다.

객체 인식의 연산량은 인식할 이미지의 크기에 비례하므로 연산량을 감축하기 위해 객체 인식을 수행할 이미지 영역을 한정하는 방법들이 제시되고 있다. 이러한 종래 방법들은 보행자, 전방차량 번호판, 전방 표지판, 차선 등을 인식하는 고정된 관심 영역을 설정한다. 여기서, 종래 방법들은 탐지한 목표물 주위를 동적 관심 영역으로 설정하여 인식의 범위를 줄인다.

이와 같은 종래 방법들은 특정 촬영 상황에 대한 선행지식을 가진 사람이 상황에 맞게 인식할 영역을 축소하는 알고리즘을 설계한 것이다. 그러므로 종래 방법들은 다른 상황의 영상에는 적용할 수 없다는 한계가 있다.

본 발명의 실시예들은 머신러닝 모델을 이용하여 임의의 영상에 대해 객체가 새롭게 출현할 영역을 추론하여 객체 인식을 빠르게 수행하기 위한, 머신러닝 모델을 이용한 객체 인식 방법 및 시스템을 제공하고자 한다.

다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 객체 인식 장치에 의해 수행되는 머신러닝 모델을 이용한 객체 인식 방법에 있어서, 객체를 인식하기 위한 영상을 획득하는 단계; 상기 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하는 단계; 및 상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하는 단계를 포함하는, 머신러닝 모델을 이용한 객체 인식 방법이 제공될 수 있다.

상기 방법은, 영상의 각 프레임에 대해 상기 객체가 신규로 출현한 제1 영역과 상기 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성하는 단계를 더 포함할 수 있다.

상기 객체 출현 영역 데이터셋을 생성하는 단계는, 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성할 수 있다.

상기 방법은, 상기 생성된 객체 출현 영역 데이터셋을 이용하여 객체가 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시키는 단계를 더 포함할 수 있다.

상기 머신러닝 모델에 학습시키는 단계는, 새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

상기 머신러닝 모델에 학습시키는 단계는, 상기 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 상기 머신러닝 모델을 학습시킬 수 있다.

상기 객체를 인식하는 단계는, 첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행할 수 있다.

상기 방법은, 영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트하는 단계를 더 포함할 수 있다.

상기 객체 출현 영역을 업데이트하는 단계는, 상기 누적 이동값이 기설정된 임계치를 이하이면 상기 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 상기 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측할 수 있다.

상기 객체 출현 영역을 업데이트하는 단계는, 이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 하나 이상의 프로그램과 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 객체를 인식하기 위한 영상을 획득하고, 상기 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하고, 상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하는, 머신러닝 모델을 이용한 객체 인식 장치가 제공될 수 있다.

상기 프로세서는, 영상의 각 프레임에 대해 상기 객체가 신규로 출현한 제1 영역과 상기 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성할 수 있다.

상기 프로세서는, 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성할 수 있다.

상기 프로세서는, 상기 생성된 객체 출현 영역 데이터셋을 이용하여 상기 객체가 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

상기 프로세서는, 새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

상기 프로세서는, 상기 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 상기 머신러닝 모델을 학습시킬 수 있다.

상기 프로세서는, 첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행할 수 있다.

상기 프로세서는, 영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트할 수 있다.

상기 프로세서는, 상기 누적 이동값이 기설정된 임계치를 이하이면 상기 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 상기 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측할 수 있다.

상기 프로세서는, 이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 영상의 각 프레임에 대해 객체가 신규로 출현한 제1 영역과 상기 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성하고, 상기 생성된 객체 출현 영역 데이터셋을 이용하여 상기 객체가 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 이용하여 머신러닝 모델에 학습시키는 객체 인식 서버; 및 상기 객체 인식 서버로부터 학습된 머신러닝 모델을 수신하고, 상기 객체를 인식하기 위한 영상을 획득하고, 상기 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하고, 상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하는 객체 인식 장치를 포함하는, 머신러닝 모델을 이용한 객체 인식 시스템이 제공될 수 있다.

상기 객체 인식 서버는, 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성할 수 있다.

상기 객체 인식 서버는, 새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

상기 객체 인식 서버는, 상기 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 상기 머신러닝 모델을 학습시킬 수 있다.

상기 객체 인식 장치는, 첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행할 수 있다.

상기 객체 인식 장치는, 영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트할 수 있다.

상기 객체 인식 장치는, 상기 누적 이동값이 기설정된 임계치를 이하이면 상기 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 상기 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측할 수 있다.

상기 객체 인식 장치는, 이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행 가능한 하나 이상의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금: 객체를 인식하기 위한 영상을 획득하고, 상기 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하고, 상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하게 하는 명령어들을 포함하는, 비 일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명의 실시예들은 머신러닝 모델을 이용하여 임의의 영상에 대해 객체가 새롭게 출현할 영역을 추론하여 객체 인식을 빠르게 수행할 수 있다.

본 발명의 실시예들은 임의의 영상에 대해 새롭게 객체가 출현할 후보 영역을 한정하고, 그 한정된 영상 부분에만 객체 인식을 수행하고, 수행된 객체 인식 결과와 이전 객체 인식 결과를 통합함으로써, 객체 인식을 빠르게 수행할 수 있다.

본 발명의 실시예들은 많은 연산량 및 저장공간이 필요한 데이터셋 생성 동작 및 머신러닝 학습 동작을 별도의 객체 인식 서버에서 수행함으로써, 객체 인식 결과를 더욱 신속하게 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 장치의 구성을 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법에서 데이터셋 생성 과정을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법에서 영상의 객체 인식을 활용하는 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법을 통해 예측된 객체 출현 영역을 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따른 머신러닝 모델을 이용한 객체 인식 장치 시스템의 구성을 나타낸 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법을 나타낸 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 장치의 구성을 나타낸 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 장치(100)는, 메모리(110) 및 프로세서(120)를 포함한다. 여기서, 머신러닝 모델을 이용한 객체 인식 장치(100)는 통신 모듈(130) 및 촬영 모듈(140)을 더 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 객체 인식 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 객체 인식 장치(100)가 구현될 수 있다.

이하, 도 1의 머신러닝 모델을 이용한 객체 인식 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

촬영 모듈(140)은 임의의 영상을 촬영하거나, 객체 인식을 수행할 영상을 촬영하고, 촬영된 영상을 프로세서(120)로 전달한다.

통신 모듈(130)은 외부로부터 촬영된 임의의 영상을 수신하거나, 객체 인식을 수행할 영상을 수신하여 프로세서(120)로 전달한다.

메모리(110)는 하나 이상의 프로그램과 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 저장한다.

프로세서(120)는 메모리(110)에 저장된 하나 이상의 프로그램을 실행한다. 프로세서(120)는, 객체를 인식하기 위한 영상을 획득하고, 미리 학습된 머신러닝 모델을 이용하여 영상에서 객체 출현 영역을 예측하고, 그 예측된 객체 출현 영역을 이용하여 이미지에서 객체를 인식한다.

실시예들에 따르면, 프로세서(120)는 영상의 각 프레임에 대해 객체가 신규로 출현한 제1 영역과 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성할 수 있다.

실시예들에 따르면, 프로세서(120)는 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 그 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 객체가 신규로 출현한 영역과 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성할 수 있다.

실시예들에 따르면, 프로세서(120)는 생성된 객체 출현 영역 데이터셋을 이용하여 객체가 출현하는 영역의 공통적인 특징을 추출하고, 그 추출된 객체가 출현하는 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

실시예들에 따르면, 프로세서(120)는 새로운 객체가 출현할 후보 영역을 추론하고, 그 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

실시예들에 따르면, 프로세서(120)는 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 그 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 머신러닝 모델을 학습시킬 수 있다.

실시예들에 따르면, 프로세서(120)는 첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행할 수 있다.

실시예들에 따르면, 프로세서(120)는 영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트할 수 있다.

실시예들에 따르면, 프로세서(120)는 누적 이동값이 기설정된 임계치를 이하이면 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측할 수 있다.

실시예들에 따르면, 프로세서(120)는 이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 그 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출할 수 있다.

도 2는 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법을 나타낸 흐름도이다.

단계 S101에서, 객체 인식 장치(100)는 객체 출현 영역 데이터셋을 생성한다.

단계 S102에서, 객체 인식 장치(100)는 객체 출현 영역 데이터셋을 이용하여 객체 출현 영역을 예측하는 머신러닝 모델을 학습시킨다.

단계 S103에서, 객체 인식 장치(100)는 분석할 영상에 대해 머신러닝 모델을 이용하여 객체 출현 영역을 예측한다.

단계 S104에서, 객체 인식 장치(100)는 예측된 객체 출현 영역을 이용하여 객체 인식을 수행한다. 즉, 객체 인식 장치(100)는 분석할 비디오의 객체 출현 영역을 학습된 머신러닝 모델로 추론하고, 그 결과를 활용하여 객체 인식을 수행할 수 있다. 이와 같이, 본 발명의 일실시예는 임의의 영상에 대해 객체가 새롭게 출현할 영역을 추론하는 머신러닝 모델을 이용하여 객체 인식을 수행한다. 이러한 머신러닝 모델을 이용하여 비디오에 대해 연속적인 객체 인식을 진행하고자 할 때, 본 발명의 일실시예는 객체 인식을 수행하는 영역을 줄이고, 이전의 객체 인식 결과와 통합하여 적은 연산량으로 객체 정보를 획득할 수 있다.

도 3은 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법에서 데이터셋 생성 과정을 나타낸 흐름도이다.

본 발명의 일 실시예에서는 비디오 영상 또는 이미지를 입력으로 받아 객체가 출현하는 영역을 예측하는 머신러닝 모델을 구성한다. 또한 이 머신러닝 모델을 학습시키기 위해 객체 출현 영역의 예측을 위한 데이터셋을 구성한다. 이하, 데이터셋 생성 과정을 설명하기로 한다.

단계 S201에서, 객체 인식 장치(100)는 임의의 환경에서 촬영된 영상을 수집한다.

단계 S202에서, 객체 인식 장치(100)는 수집된 영상의 각 프레임에서 객체 인식을 수행한다.

단계 S203에서, 객체 인식 장치(100)는 프레임별로 영상에 존재하는 모든 객체의 종류 및 위치 정보를 얻는다. 객체 인식 장치(100)는 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 화면에 존재하는 모든 객체의 종류 및 위치 정보를 얻는다.

단계 S204에서, 객체 인식 장치(100)는 프레임별 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 얻는다.

단계 S205에서, 객체 인식 장치(100)는 프레임별로 객체의 식별 정보와 위치 정보를 이용하여 각 프레임에 대해 처음 등장한 객체가 있는 영역과 객체가 없는 영역을 구별하는 레이블을 생성한다. 예를 들면, 객체 인식 장치(100)는 프레임별로 특정 물체가 처음 등장한 영역에 대해서 레이블을 생성할 수 있다.

단계 S206에서, 객체 인식 장치(100)는 생성된 레이블을 저장한다.

도 4는 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법에서 영상의 객체 인식을 활용하는 방법을 나타낸 흐름도이다.

단계 S301에서, 객체 인식 장치(100)는 첫 번째 프레임에 대해서는 영상의 전체 영역에서 객체를 인식한다. 즉, 객체 인식 장치(100)는 객체 인식 작업을 시작하는 첫 번째 프레임에 대해서는 전체 화면에서 객체를 인식한다.

단계 S302에서, 객체 인식 장치(100)는 객체 출현 영역을 예측하는 머신러닝 모델을 이용하여 영상에서 객체 출현 영역을 예측한다.

단계 S303에서, 객체 인식 장치(100)는 두 번째 프레임부터는 현재 프레임 중 객체 출현 영역에서 객체 인식을 수행한다. 즉, 객체 인식 장치(100)는 두 번째 프레임부터는 예측된 객체 출현 영역을 이용해 객체 인식이 수행되는 영역을 제한하여 수행한다.

단계 S304에서, 객체 인식 장치(100)는 이전 프레임에서 예측된 객체 정보와 병합하여 현재 프레임의 객체 정보를 생성한다.

단계 S305에서, 객체 인식 장치(100)는 현재 프레임이 영상의 마지막 프레임인지를 확인한다.

단계 S306에서, 객체 인식 장치(100)는 현재 프레임이 영상의 마지막 프레임이 아니면, 다음 프레임을 현재 프레임으로 가져온다.

단계 S307에서, 객체 인식 장치(100)는 이전에 객체 출현 영역을 예측한 프레임으로부터의 누적 이동값을 계산한다. 여기서, 누적 이동값은 영상으로부터 모션벡터 등 화면 이동에 관련된 수치를 얻어 누적한 것을 말한다.

단계 S308에서, 객체 인식 장치(100)는 누적 이동값이 임계치 미만인지를 확인한다. 한편, 예를 들면, 객체 인식 장치(100)는 고정된 카메라 즉, 영상이 변경되지 않는 고정 화면에서 촬영하는 영상에 대한 객체 인식이라면 단계 S302로 돌아간다.

단계 S309에서, 객체 인식 장치(100)는 누적 이동값이 임계치 미만이면, 누적 이동값을 이용하여 객체 출현 영역을 업데이트한다. 객체 인식 장치(100)는 누적 이동값이 임계치를 넘어서지 않으면 누적 이동값을 이용하여 객체 출현 영역의 예측 결과를 업데이트한 후, 단계 S303로 돌아간다.

반면, 객체 인식 장치(100)는 누적 이동값이 임계치 이상이면, 머신러닝 모델을 이용하여 영상에서 객체 출현 영역을 예측하는 단계 S302를 다시 수행한다. 이후, 객체 인식 장치(100)는 다시 새롭게 예측된 객체 출현 영역을 이용하여 단계 S303부터 수행한다. 이와 같이, 객체 인식 장치(100)는 누적 이동값이 임계치를 넘어선다면 단계 S302로 돌아가 현재 프레임 기준으로 객체 출현 영역을 다시 예측하고 그 이하 과정을 수행한다.

한편, 단계 S310에서, 객체 인식 장치(100)는 현재 프레임이 영상의 마지막 프레임이면 객체 인식 동작을 종료한다.

한편, 본 발명의 일실시예에 사용되는 누적 이동값을 구하는 과정을 설명하기로 한다. 객체 인식 장치(100)는 현재 프레임과 직전 프레임 간에 모션 벡터(motion vector)를 구한다. 모션 벡터를 구하는 단위는 전체 이미지를 여러 개의 직사각형으로 나눈 블록이 된다. 객체 인식 장치(100)가 직전 프레임에서 물체가 없다고 판별되는 부분에 대해 모션 벡터를 구하고, 이 평균을 누적해가며 촬영 장면이 얼마나 이동하였는지에 대한 척도로 삼는다. 이를 누적 모션 벡터라 부른다. 누적 모션 벡터가 일정 기준치를 넘어서면, 이전에 객체 출현 영역을 추론했을 때와 촬영하는 장면이 크게 달라졌다. 그러므로 객체 인식 장치(100)는 새롭게 객체 출현 영역을 추론하고 누적 모션 벡터를 0으로 초기화한다. 모션 벡터를 구하여 누적하는 주기는 연산장치의 연산능력에 따라 조정될 수 있다.

도 5는 본 발명의 일 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법을 통해 예측된 객체 출현 영역을 나타낸 도면이다.

한편, 머신러닝 모델 학습에 대해 설명하기로 한다. 객체 인식 장치(100)는 데이터셋으로부터 임의의 이미지(610)를 입력받는다. 그리고 객체 인식 장치(100)는 머신러닝 모델을 이용하여, 객체가 등장하는 영역의 공통적인 특징을 학습하여 새로운 이미지를 입력으로 받았을 때 새로운 객체가 등장할 후보 영역을 추론해낸다. 그리고 객체 인식 장치(100)는 후보 영역이 포함된 예측 결과 영상(620)을 산출한다. 예를 들어, 도 5에 도시된 건물의 문(621)이나 도로의 끝(622)에서 객체가 등장하는 경우가 많다. 이와 같이 객체 인식 장치(100)는 객체가 등장하는 곳의 공통적인 특징을 추출하여 새로운 이미지에서 객체가 등장할 영역을 예측하는 근거로 삼게 된다.

변형예로, 데이터셋에서 객체가 등장한 영역을 픽셀별로 표시하였으면, 이를 슈퍼픽셀 이미지 세그먼테이션(Superpixel Image Segmentation)으로 예측하도록 학습할 수 있다. 이미지 세그먼테이션(Image Segmentation)은 이미지의 각 픽셀이 어떤 분류에 해당할지를 예측하는 작업이다. 본 발명의 일실시예에서는 각 픽셀에 대해 새로운 객체가 등장하는 영역과 그렇지 않은 영역, 두 분류 중에서 어디에 해당할지를 예측한다. 이때, 모든 픽셀에 대하여 분류를 하면 연산량이 크다. 그러므로, 객체 인식 장치(100)는 복수의 픽셀을 클러스터링하여 클러스터를 생성한다. 생성된 각 클러스터를 슈퍼픽셀(Superpixel)이라 칭한다. 객체 인식 장치(100)는 슈퍼픽셀 단위로 새로운 객체가 출현한 영역과 새로운 객체가 출현하지 않은 영역으로 분류하여 연산량을 줄일 수 있다. 이때, 클러스터링되는 픽셀의 개수는 특정 픽셀 개수로 한정되지 않고, 이미지 특징이나 연산량 증감량에 따라 달라질 수 있다.

도 6은 본 발명의 다른 실시예에 따른 머신러닝 모델을 이용한 객체 인식 장치 시스템의 구성을 나타낸 구성도이다.

도 6에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 머신러닝 모델을 이용한 객체 인식 시스템(10)은 객체 인식 장치(100) 및 객체 인식 서버(200)를 포함한다. 여기서, 객체 인식 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 여기서, 머신러닝 모델을 이용한 객체 인식 장치(100)는 통신 모듈(130) 및 촬영 모듈(140)을 더 포함할 수 있다. 그리고, 객체 인식 서버(200)는 메모리(210), 프로세서(220) 및 통신 모듈(230)을 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 객체 인식 시스템(10)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 객체 인식 시스템(10)이 구현될 수 있다.

이하, 도 6의 머신러닝 모델을 이용한 객체 인식 시스템(10)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

통신 모듈(230)은 데이터셋 생성에 필요한 비디오 영상 또는 이미지를 획득한다. 또는, 통신 모듈(230)은 임의의 환경에서 촬영된 영상을 획득한다. 또한, 통신 모듈(230)은 객체 인식을 위해 객체 인식 장치(100)와 연동하여 통신한다. 통신 모듈(230)은 객체 인식 장치(100) 또는 외부로부터 객체 인식에 필요한 영상이나 이미지를 획득/수집하거나 또는 객체 인식 장치(100)에 머신러닝 모델을 전송할 수 있다.

메모리(210)는 통신 모듈(230)을 통해 획득된, 데이터셋 생성에 필요한 비디오 영상 또는 이미지를 저장한다. 또는, 메모리(210)는 통신 모듈(230)을 통해 획득된, 임의의 환경에서 촬영된 영상을 저장한다.

프로세서(220)는 메모리(210)에 저장된 영상의 각 프레임에서 객체 인식을 수행하고, 프레임별로 영상에 존재하는 모든 객체의 종류 및 위치 정보를 얻는다. 프로세서(220)는 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 화면에 존재하는 모든 객체의 종류 및 위치 정보를 얻는다. 프로세서(220)는 프레임별 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 얻는다. 그리고 프로세서(220)는 프레임별로 객체의 식별 정보와 위치 정보를 이용하여 각 프레임에 대해 처음 등장한 객체가 있는 영역과 객체가 없는 영역을 구별하는 레이블을 생성한다. 예를 들면, 프로세서(220)는 프레임별로 특정 물체가 처음 등장한 영역에 대해서 레이블을 생성할 수 있다.

그리고 프로세서(220)는 생성된 객체 출현 영역 데이터셋을 이용하여 객체가 출현하는 영역의 공통적인 특징을 추출하고, 그 추출된 객체가 출현하는 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

실시예들에 따르면, 프로세서(220)는 새로운 객체가 출현할 후보 영역을 추론하고, 그 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시킬 수 있다.

실시예들에 따르면, 프로세서(220)는 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 그 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 머신러닝 모델을 학습시킬 수 있다.

도 7은 본 발명의 다른 실시예에 따른 머신러닝 모델을 이용한 객체 인식 방법을 나타낸 흐름도이다.

단계 S401에서, 객체 인식 서버(200)는 객체 출현 영역 데이터셋을 생성한다.

단계 S402에서, 객체 인식 서버(200)는 객체 출현 영역 데이터셋을 이용하여 객체 출현 영역을 예측하는 머신러닝 모델을 학습시킨다.

단계 S403에서, 객체 인식 서버(200)는 학습된 머신러닝 모델을 객체 인식 장치(100)에 전송한다. 이때, 객체 인식 서버(200)는 학습된 머신러닝 모델을 저장한다.

한편, 단계 S404에서, 객체 인식 장치(100)는 객체 인식 서버(200)로부터 수신된 머신러닝 모델을 저장한다.

단계 S405에서, 객체 인식 장치(100)는 분석할 영상에 대해, 저장된 머신러닝 모델을 이용하여 객체 출현 영역을 예측한다.

단계 S406에서, 객체 인식 장치(100)는 예측된 객체 출현 영역을 이용하여 객체 인식을 수행한다. 즉, 객체 인식 장치(100)는 분석할 비디오의 객체 출현 영역을 학습된 머신러닝 모델로 추론하고, 그 결과를 활용하여 객체 인식을 수행할 수 있다.

이와 같이, 본 발명의 다른 실시예에 따르면, 객체 인식 서버(200)는 데이터셋의 생성 동작 및 머신러닝 모델의 학습 동작을 수행하고, 객체 인식 장치(100)는 학습된 머신러닝 모델을 이용하여 객체 출현 영역을 예측하고 예측된 객체 출현 영역을 이용하여 객체 인식을 수행한다. 본 발명의 다른 실시예는 많은 연산량 및 저장공간이 필요한 데이터셋 생성 동작 및 머신러닝 학습 동작을 별도의 객체 인식 서버(200)에서 수행함으로써, 객체 인식 결과를 더욱 신속하게 제공할 수 있다.

한편, 프로세서에 의해 실행 가능한 적어도 하나의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 적어도 하나의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금: 객체를 인식하기 위한 영상을 획득하고, 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하고, 상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 객체를 인식하게 하는 명령어들을 포함하는, 비 일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 객체 인식 장치
110: 메모리
120: 프로세서
130: 통신 모듈
140: 촬영 모듈
200: 객체 인식 서버
210: 메모리
220: 프로세서
230: 통신 모듈

Claims

객체 인식 장치에 의해 수행되는 머신러닝 모델을 이용한 객체 인식 방법에 있어서,
객체를 인식하기 위한 영상을 획득하는 단계;
상기 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하는 단계; 및
상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하는 단계를 포함하는, 머신러닝 모델을 이용한 객체 인식 방법.
제1항에 있어서,
영상의 각 프레임에 대해 상기 객체가 신규로 출현한 제1 영역과 상기 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성하는 단계를 더 포함하는, 머신러닝 모델을 이용한 객체 인식 방법.
제2항에 있어서,
상기 객체 출현 영역 데이터셋을 생성하는 단계는,
영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성하는, 머신러닝 모델을 이용한 객체 인식 방법.
제2항에 있어서,
상기 생성된 객체 출현 영역 데이터셋을 이용하여 객체가 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시키는 단계를 더 포함하는, 머신러닝 모델을 이용한 객체 인식 방법.
제4항에 있어서,
상기 머신러닝 모델에 학습시키는 단계는,
새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시키는, 머신러닝 모델을 이용한 객체 인식 방법.
제4항에 있어서,
상기 머신러닝 모델에 학습시키는 단계는,
상기 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 상기 머신러닝 모델을 학습시키는, 머신러닝 모델을 이용한 객체 인식 방법.
제1항에 있어서,
상기 객체를 인식하는 단계는,
첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행하는, 머신러닝 모델을 이용한 객체 인식 방법.
제1항에 있어서,
영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트하는 단계를 더 포함하는, 머신러닝 모델을 이용한 객체 인식 방법.
제8항에 있어서,
상기 객체 출현 영역을 업데이트하는 단계는,
상기 누적 이동값이 기설정된 임계치를 이하이면 상기 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 상기 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측하는, 머신러닝 모델을 이용한 객체 인식 방법.
제8항에 있어서,
상기 객체 출현 영역을 업데이트하는 단계는,
이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출하는, 머신러닝 모델을 이용한 객체 인식 방법.
하나 이상의 프로그램과 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 저장하는 메모리; 및
상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는,
상기 객체를 인식하기 위한 영상을 획득하고,
상기 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하고,
상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하는, 머신러닝 모델을 이용한 객체 인식 장치.
제11항에 있어서,
상기 프로세서는,
영상의 각 프레임에 대해 상기 객체가 신규로 출현한 제1 영역과 상기 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성하는, 머신러닝 모델을 이용한 객체 인식 장치.
제12항에 있어서,
상기 프로세서는,
영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성하는, 머신러닝 모델을 이용한 객체 인식 장치.
제12항에 있어서,
상기 프로세서는,
상기 생성된 객체 출현 영역 데이터셋을 이용하여 상기 객체가 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시키는, 머신러닝 모델을 이용한 객체 인식 장치.
제14항에 있어서,
상기 프로세서는,
새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시키는, 머신러닝 모델을 이용한 객체 인식 장치.
제14항에 있어서,
상기 프로세서는,
상기 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 상기 머신러닝 모델을 학습시키는, 머신러닝 모델을 이용한 객체 인식 장치.
제11항에 있어서,
상기 프로세서는,
첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행하는, 머신러닝 모델을 이용한 객체 인식 장치.
제11항에 있어서,
상기 프로세서는,
영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트하는, 머신러닝 모델을 이용한 객체 인식 장치.
제18항에 있어서,
상기 프로세서는,
상기 누적 이동값이 기설정된 임계치를 이하이면 상기 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 상기 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측하는, 머신러닝 모델을 이용한 객체 인식 장치.
제18항에 있어서,
상기 프로세서는,
이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출하는, 머신러닝 모델을 이용한 객체 인식 장치.
영상의 각 프레임에 대해 객체가 신규로 출현한 제1 영역과 상기 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성하고, 상기 생성된 객체 출현 영역 데이터셋을 이용하여 상기 객체가 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 이용하여 머신러닝 모델에 학습시키는 객체 인식 서버; 및
상기 객체 인식 서버로부터 학습된 머신러닝 모델을 수신하고, 상기 객체를 인식하기 위한 영상을 획득하고, 상기 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하고, 상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하는 객체 인식 장치를 포함하는, 머신러닝 모델을 이용한 객체 인식 시스템.
제21항에 있어서,
상기 객체 인식 서버는,
영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성하는, 머신러닝 모델을 이용한 객체 인식 시스템.
제21항에 있어서,
상기 객체 인식 서버는,
새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 머신러닝 모델에 학습시키는, 머신러닝 모델을 이용한 객체 인식 시스템.
제21항에 있어서,
상기 객체 인식 서버는,
상기 생성된 객체 출현 영역 데이터셋에서 이미지의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션(Superpixel Image Segmentation)으로 객체의 신규 출현 영역이 예측되도록 상기 머신러닝 모델을 학습시키는, 머신러닝 모델을 이용한 객체 인식 시스템.
제21항에 있어서,
상기 객체 인식 장치는,
첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행하는, 머신러닝 모델을 이용한 객체 인식 시스템.
제21항에 있어서,
상기 객체 인식 장치는,
영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트하는, 머신러닝 모델을 이용한 객체 인식 시스템.
제26항에 있어서,
상기 객체 인식 장치는,
상기 누적 이동값이 기설정된 임계치를 이하이면 상기 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 상기 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측하는, 머신러닝 모델을 이용한 객체 인식 시스템.
제26항에 있어서,
상기 객체 인식 장치는,
이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출하는, 머신러닝 모델을 이용한 객체 인식 시스템.
프로세서에 의해 실행 가능한 하나 이상의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
객체를 인식하기 위한 영상을 획득하고,
상기 객체가 출현하는 영역의 특징이 미리 학습된 머신러닝 모델을 이용하여 상기 획득된 영상에서 객체 출현 영역을 예측하고,
상기 예측된 객체 출현 영역을 이용하여 상기 획득된 이미지에서 상기 객체를 인식하게 하는 명령어들을 포함하는, 비 일시적 컴퓨터 판독 가능한 저장 매체.