KR102060110B1 - 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 객체 분류 장치에서 컨텐츠에 포함되는 객체를 분류하는 방법에 있어서, 상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하는 자질 추출 단계; 상기 자질에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 유사 객체 후보군을 산출하는 유사 객체 후보군 산출 단계; 및 상기 유사 객체 후보군에 대하여 상기 자질을 이용하여 상기 유사 객체 후보군의 컨텐츠에 포함된 객체의 유사성을 판단하는 객체 유사성 판단 단계;를 포함하는 것을 특징으로 하는 객체 분류 방법을 개시한다.

Description

컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램{Method, apparatus and computer program for classifying object in contents}

본 발명은 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 사진이나 동영상 등 컨텐츠에 포함되는 인물이나 사물 등의 객체를 분류함에 있어, 상기 객체에 대한 자질의 일부 원소만을 고려하여 유사 객체 후보군을 산출한 후, 상기 유사 객체 후보군에 한정하여 객체를 분류하도록 함으로써, 적은 전산 자원만으로도 객체를 신속하고 효율적으로 분류할 수 있는 객체 분류 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

최근 스마트폰 등 디지털 장치의 보급이 폭넓게 이루어지면서 사용자들은 다수의 사진이나 동영상 등 컨텐츠를 생성하거나, 나아가 다른 사용자들이 생성하여 서버 등에 업로드한 다량의 컨텐츠들을 검색하여 자신이 원하는 컨텐츠를 선택하여 사용하는 것이 일반화되고 있다.

그런데, 사용자가 다량의 컨텐츠에서 자신이 원하는 인물이나 사물 등의 객체가 포함된 컨텐츠를 찾아내는 것은 매우 번거로운 작업이 될 수 있다. 즉, 사용자는 상기 다량의 컨텐츠를 일일이 열어 자신이 원하는 인물이나 사물 등이 포함되어 있는지 여부를 확인할 수 있겠으나, 이러한 경우 사용자는 다량의 컨텐츠에서 자신이 원하는 컨텐츠를 찾기 위하여 매우 많은 시간과 노력을 들여야 하는 어려움이 따른다.

이에 대하여, 서버 등에서 기계 학습 등을 이용해 상기 사진이나 영상 등 컨텐츠에 포함되는 객체를 미리 인식하거나 분류하여 두고, 사용자가 입력하는 검색어 등에 대응하는 컨텐츠를 제공함으로써, 사용자가 자신이 원하는 컨텐츠를 용이하게 검색하여 사용할 수 있도록 하는 방안이 시도되고 있다. 예를 들어, 대한민국 공개특허 제 10-2012-0064581호에서는 주어진 영상에 포함된 인물의 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 얼굴 특징 기술자를 추출한 후, 상기 영상에 포함된 인물이 누구인지 인식하거나 분류하여 사용자에게 제공하는 영상 분류 방법 및 장치를 개시하고 있다.

그런데, 기계 학습 등을 이용해 다량의 컨텐츠를 분석하여 상기 컨텐츠에 포함된 객체를 인식하고 분류하기 위해서 많은 전산 자원(computing resource)가 소요되는 문제가 따르게 된다. 예를 들어, 포털 사이트 등에 업로드되는 사진이나 동영상 등 다량의 컨텐츠를 분석하기 위해서는 막대한 전산 자원이 요구될 수 있는 바, 상기 다량의 컨텐츠를 분석하기 위한 시스템을 구축, 운영하기 위하여 상당한 비용이 소요되거나, 상기 다량의 컨텐츠를 분석하여 사용자에게 제공하는데 상당한 시간이 지연되는 문제가 생길 수 있다.

대한민국 공개특허 제 10-2012-0064581호(2012년 6월 19일 공개)

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 사진이나 동영상 등 컨텐츠에 포함되는 인물이나 사물 등의 객체를 인식하거나 분류하기 위하여 소요되는 전산 자원(computing resource)를 획기적으로 줄이고 신속하고 효율적으로 분류 작업을 처리할 수 있는 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.

특히, 본 발명은 서버 등에 저장되는 객체를 포함하는 다량의 컨텐츠를 빠르고 효율적으로 분류할 수 있는 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 객체 분류 방법은, 객체 분류 장치에서 컨텐츠에 포함되는 객체를 분류하는 방법으로서, 상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하는 자질 추출 단계; 상기 자질에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 유사 객체 후보군을 산출하는 유사 객체 후보군 산출 단계; 및 상기 유사 객체 후보군에 대하여 상기 자질을 이용하여 상기 유사 객체 후보군의 컨텐츠에 포함된 객체의 유사성을 판단하는 객체 유사성 판단 단계;를 포함하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 컴퓨터 프로그램은 상기 기재된 객체 분류 방법의 각 단계를 컴퓨터에서 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다.

본 발명의 또 다른 측면에 따른 객체 분류 장치는, 컨텐츠에 포함되는 객체를 분류하는 객체 분류 장치로서, 상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하는 자질 추출부; 상기 자질에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 유사 객체 후보군을 산출하는 유사 객체 후보군 산출부; 및 상기 유사 객체 후보군에 대하여 상기 자질을 이용하여 상기 유사 객체 후보군의 컨텐츠에 포함된 객체의 유사성을 판단하는 객체 유사성 판단부;를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 컨텐츠에 포함되는 객체에 대한 자질의 일부 원소만을 고려하여 유사 객체 후보군을 산출한 후, 상기 유사 객체 후보군에 한정하여 객체를 분류하도록 함으로써, 제한된 전산 자원만을 이용하면서도 컨텐츠에 포함된 객체를 신속하고 효율적으로 분류할 수 있게 된다.

또한, 본 발명의 일 실시예에 따르면, 특히 서버 등에 저장되는 다량의 컨텐츠를 빠르고 효율적으로 분류할 수 있어 컨텐츠 분석 시스템을 구축, 운영하기 위한 비용을 절감하고, 나아가 사용자에게 컨텐츠에 포함된 객체의 분류 결과를 보다 신속하게 제공할 수 있게 된다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체 분류 시스템의 구성도이다.
도 2는 통상의 컨텐츠에 포함되는 객체의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 객체 분류 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 자질 추출 단계의 구체화된 순서도이다.
도5은 본 발명의 일 실시예에 따른 컨텐츠에 포함된 객체에 대한 자질 추출을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 유사 객체 후보군 산출 단계의 구체화된 순서도이다.
도 7과 도 8에서는 본 발명의 일 실시예에 따라 자질 벡터로부터 유사 후보군 판단 벡터를 구성하는 방법을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따라 객체로부터 자질 벡터와 유사 후보군 판단 벡터를 산출하는 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따라 유사 객체 후보군 중에서 선정된 일부 객체를 이용하여 객체를 분류하는 방법을 설명하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 신경망 네트워크를 이용한 자질 벡터의 산출을 설명하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 코사인 유사도 판단 알고리즘을 설명하는 도면이다.
도 13은 본 발명의 일 실시예에 따라 동일 객체를 포함하는 복수의 객체군을 통합하는 알고리즘을 설명하는 도면이다.
도 14는 본 발명의 일 실시예에 따른 객체 분류 장치의 구성도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 권리범위를 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 해당 분야의 통상의 기술자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 아니된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2구성 요소로 명명될 수 있고, 유사하게 제2구성 요소도 제1 구성요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 기술사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 기술사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

이하에서는, 본 발명에 따른 객체 분류 방법, 장치 및 컴퓨터 프로그램의 예시적인 실시형태들을 첨부된 도면을 참조하여 상세히 설명한다.

먼저, 도 1에서는 본 발명의 일 실시예에 따른 객체 분류 시스템(100)의 구성도를 보여주고 있다. 도 1에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 객체 분류 시스템 (100)은 사진이나 동영상 등 컨텐츠에 포함되는 인물이나 사물 등의 객체를 분류하는 객체 분류 장치(120)와 사용자 단말(110)을 포함하여 구성될 수 있다.

이때, 상기 사용자 단말(110)로서는 스마트폰, 태블릿 PC, PDA, 휴대전화 등 휴대 단말기가 사용될 수 있고, 그외에도 퍼스널 컴퓨터(PC), 노트북 PC 등 다양한 종류의 단말들이 채택될 수 있다.

또한, 본 발명에서 사진이나 동영상 외에도 인물이나 사물 등의 분류의 대상이 될 수 있든 객체(object)를 포함하는 다양한 컨텐츠가 사용될 수 있다.

상기 사용자 단말(110)은 인물이나 사물 등 객체를 포함하는 사진이나 동영상 등 컨텐츠를 상기 객체 분류 장치(120)로 전송하거나, 상기 객체 분류 장치(120)로부터 상기 컨텐츠를 전송받아 사용자에게 제공할 수도 있다.

또한, 사용자는 상기 사용자 단말(110)을 통해 소정의 검색어를 입력하여 상기 검색어에 대응하는 컨텐츠의 목록을 제공받거나, 미리 분류된 카테고리에 따른 컨텐츠의 목록을 제공받는 등의 방법으로 자신이 원하는 컨텐츠를 편리하게 선택하여 제공받을 수도 있다.

또한, 상기 객체 분류 장치(120)는 도 2에서 볼 수 있는 바와 같이 사진이나 동영상 등 컨텐츠에 포함되는 인물이나 사물 등의 객체를 분류하게 된다. 특히, 사진이나 동영상 등 컨텐츠에 포함되는 객체를 분류하기 위해서는 많은 전산 자원(computing resource)가 소요될 수 있는데 반하여, 본 발명의 일 실시예에 따른 객체 분류 장치(120)에서는 컨텐츠에 포함되는 객체에 대한 자질의 일부 원소만을 고려하여 유사 객체 후보군을 산출한 후, 상기 유사 객체 후보군에 한정하여 객체를 분류하도록 함으로써, 제한된 전산 자원만을 이용하면서도 컨텐츠에 포함된 객체를 신속하고 효율적으로 분류할 수 있게 된다.

나아가, 상기 객체 분류 장치(120)는 하나 혹은 둘 이상의 서버로서 구현되어, 상기 사용자 단말(110)에 상기 객체가 분류된 컨텐츠에 대한 다양한 서비스를 제공할 수도 있다.

또한, 상기 사용자 단말(110)과 객체 분류 장치(120)를 연결하는 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크 또는 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.

도 3에서는 본 발명의 일 실시예에 따른 객체 분류 방법의 순서도를 도시하고 있다. 도 3에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 객체 분류 방법은, 객체 분류 장치에서 컨텐츠에 포함되는 객체를 분류하는 방법으로서, 상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하는 자질 추출 단계(S110), 상기 자질에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 유사 객체 후보군을 산출하는 유사 객체 후보군 산출 단계(S120) 및 상기 유사 객체 후보군에 포함된 객체에 대하여 상기 자질을 이용하여 유사성을 판단하는 객체 유사성 판단 단계(S130)를 포함할 수 있다.

아래에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 객체 분류 방법을 각 단계별로 나누어 자세하게 검토한다.

먼저, 상기 자질 추출 단계(S110)에서는 분류하고자 하는 상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하게 된다.

보다 구체적으로, 본 발명의 일 실시예로서 상기 자질 추출 단계(110)는, 도 4에서 볼 수 있는 바와 같이, 상기 컨텐츠에서 상기 객체의 영역을 산출하는 단계(S111) 및 상기 객체의 영역에 대하여 상기 객체의 특징을 나타내는 자질을 추출하는 단계(S113)를 포함할 수 있으며, 나아가 상기 객체의 영역을 정규화하는 정규화 단계(S112)를 더 포함할 수도 있다.

이하, 도 5를 참고하여 상기 자질 추출 단계(S110)를 보다 자세하게 살핀다.

먼저, 객체 분류 장치(120)는, 도 5에서 볼 수 있는 바와 같이, 주어진 사진이나 동영상등 컨텐츠(501)에서 분류하고자 하는 객체의 영역(502, 503)을 산출하게 된다.

보다 구체적인 예를 들어, 사진이나 동영상에 포함된 인물을 인식하고 분류하기 위해서는 상기 인물의 얼굴에 해당하는 영역을 산출할 수 있다.

나아가, 본 발명이 반드시 상기한 바와 같이 상기 컨텐츠에 포함되는 인물을 분류하는데 한정되는 것은 아니며, 이외에도 동물이나 식물 등을 분류하는데 적용될 수도 있고, 음식이나 물건을 분류하는데 적용될 수도 있으며, 나아가 유명 관광지나 건물 등을 다양한 객체들을 분류하는데 적용될 수도 있다.

이어서, 객체 분류 장치(120)는 상기 산출된 객체의 영역에 대하여 상기 객체의 특징을 나타내는 자질을 추출하게 된다.

보다 구체적인 예를 들어, 도 5에서 볼 수 있는 바와 같이, 상기 산출된 인물의 얼굴 영역으로부터 상기 객체의 특징을 나타내는 자질(504, 505)을 추출할 수 있다.

이때, 상기 객체에 대한 자질을 산출함에 있어서, 상기 객체의 영역에 대한 데이터를 신경망 네트워크(neural network)의 입력층으로 입력한 후 완전 연결층(fully-connected layer)의 출력으로부터 상기 객체에 대한 자질을 산출할 수도 있다.

이에 대하여, 도 11에서는 본 발명의 일 실시예로서 신경망 네트워크를 이용한 상기 객체에 대한 자질 벡터를 산출하는 과정을 예시하고 있다. 도 11에서 볼 수 있는 바와 같이, 신경망 네트워크는 입력층(1101)과 콘볼루션층(1102) 및 완전 연결층(1103)을 포함하여 구성될 수 있으며, 이에 따라 상기 객체의 영역에 대한 데이터(이미지 등)을 상기 입력층(1101)로 입력한 후, 상기 완전 연결층(1103)에서 출력되는 출력값을 이용하여, 도 5에서 볼 수 있는 바와 같이 벡터 등의 형태로 상기 객체에 대한 자질(504, 505)을 추출할 수 있다.

나아가, 상기 컨텐츠에서 상기 객체의 영역을 산출한 후(S111), 상기 객체의 영역에 대하여 상기 객체의 특징을 나타내는 자질을 추출(S113)하기에 앞서, 상기 객체의 영역을 정규화할 수도 있다(S112).

즉, 도 5에서 볼 수 있는 바와 같이, 컨텐츠에서 산출되는 상기 객체의 영역(504, 505)의 크기, 밝기 등이 서로 다를 경우, 동일한 객체라 하더라도 상기 자질의 값이 서로 달라질 수 있는 바, 상기 객체에 대한 보다 정확한 분류를 위해서는 상기 객체의 영역을 산출하고, 상기 객체의 영역을 정규화한 후, 상기 객체에 대한 자질을 추출하는 것이 보다 바람직하게 된다.

다음으로, 상기 유사 객체 후보군 산출 단계(S120)에서는 상기 자질에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 유사 객체 후보군을 산출하게 된다.

즉, 상기 자질에 포함되는 복수의 원소 전부를 이용하여 객체의 유사성을 판단하고 상기 객체를 분류하는 경우에는, 소요되는 전산 자원(computing resource)이 크게 늘어날 수 있는 바, 본 발명에서는 상기 자질에 포함되는 복수의 원소 중 일부의 원소 만을 이용하도록 하며, 나아가 상기 일부의 원소를 이용하여 복수의 객체 중 일부 객체를 유사 객체 후보군을 산출한 후, 상기 유사 객체 후보군에 한정하여 객체를 분류하도록 함으로써, 제한된 전산 자원만을 이용하면서도 컨텐츠에 포함된 객체를 신속하고 효율적으로 분류할 수 있게 된다

보다 구체적으로, 본 발명의 일 실시예로서 상기 유사 객체 후보군 산출 단계(S120)는, 도 6에서 볼 수 있는 바와 같이, 상기 자질에 포함되는 복수의 원소(element) 중에서 상기 원소의 크기를 기준으로 미리 정해진 개수의 일부 원소를 산출하는 단계(S121), 상기 산출된 일부 원소를 그 크기를 기준으로 정렬한 후, 상기 산출된 일부 원소들의 상기 자질 벡터에서의 위치를 나타내는 각 인덱스 값으로 유사 후보군 판단 벡터를 구성하는 단계(S122) 및 상기 각 객체에 대한 각 유사 후보군 판단 벡터의 유사성을 기준으로 상기 각 객체에 대한 유사도를 판단하여 유사 객체 후보군을 산출하는 단계(S123)를 포함할 수 있다.

이하, 도 7 내지 도 10을 참고하여 상기 유사 객체 후보군 산출 단계(S120)를 보다 자세하게 살핀다.

우선, 도 7과 도 8에서는 본 발명의 일 실시예에 따라 자질 벡터로부터 유사 후보군 판단 벡터를 구성하는 방법을 설명하고 있다.

이때, 도 7에서 볼 수 있는 바와 같이, 객체(예를 들어 인물의 얼굴(도 7의 A, A'))가 유사한 경우, 상기 각 객체의 자질 벡터는 큰 값을 가지는 원소가 서로 유사한 위치에(즉, 유사한 인덱스 값에) 위치하게 된다. 반면, 객체가 서로 다른 형상을 가지는 경우(예를 들어, 도 7의 C)에는 상기 각 객체의 자질 벡터도 상당히 다른 값을 가지게 된다.

즉, 도 7의 예에서 볼 수 있는 바와 같이, 객체가 서로 유사한 경우(도 7의 A, A')에는 상기 객체에 대한 자질 벡터도 서로 유사한 위치에 큰 값을 가지는 원소가 위치(도 7의 701, 702, 703)하게 되고, 객체가 이와 다른 형상을 가지는 경우(예를 들어, 도 7의 C)에는 상기 객체의 자질 벡터도 상당히 다른 값을 가지게 된다. 이에 따라, 각 객체의 자질 벡터가 유사한 패턴을 보이는 경우, 상기 각 객체는 서로 동일하거나 유사한 형상을 가질 가능성이 높아진다.

따라서, 상기 유사 객체 후보군 산출 단계(S120)에서는 상기 자질에 포함되는 복수의 원소(element) 중에서 상기 원소의 크기를 기준으로 미리 정해진 개수의 일부 원소를 산출하고, 상기 일부 원소만을 이용하여 유사 객체 후보군을 산출함으로써, 소요되는 전산 자원을 줄이면서도 컨텐츠에 포함된 객체를 신속하고 효율적으로 분류할 수 있게 된다.

이때, 상기 각 객체에 대한 자질은 복수의 원소를 포함하는 벡터인 자질 벡터를 이루도록 하고, 상기 복수의 원소 중에서 산출된 일부 원소는 유사 후보군 판단 벡터를 이루도록 할 수 있으며, 상기 자질 벡터와 상기 유사 후보군 판단 벡터를 각 객체에 대응하여 저장함으로써, 상기 자질 벡터와 상기 유사 후보군 판단 벡터를 이용하여 상기 각 객체에 대한 분류를 효율적으로 수행할 수 있게 된다.

나아가, 상기 유사 후보군 판단 벡터는, 도 8에서 볼 수 있는 바와 같이, 상기 복수의 원소를 포함하는 자질 벡터에서 크기를 기준으로 미리 정해진 개수만큼 산출된 일부 원소를 그 크기 순으로 정렬한 후, 상기 산출된 일부 원소들의 상기 자질 벡터에서의 위치를 나타내는 각 인덱스 값으로 상기 유사 후보군 판단 벡터를 구성할 수 있다.

보다 구체적인 예를 들어, 도 8에서 객체에 대한 자질 벡터(801)가 주어지면, 상기 자질 벡터의 원소 중 크기를 기준으로 미리 정해진 개수(도 8에서는 8개)의 원소를 산출(도 8에서 "7, 7, 6, 8, 7, 7, 7, 9")하고, 그 크기 순으로 정렬(위의 예에서 "9, 8, 7, 7, 7, 7, 7, 6")한 후, 상기 산출된 원소들의 상기 자질 벡터에서의 위치를 나타내는 각 인덱스 값("9"의 인덱스(위치)는 "19, "8"의 인덱스는 "15", "7"의 인덱스는 "2, 3, 16, 17, 18"(5개이므로 순차 나열), "6"의 인덱스는 "11")으로 상기 객체에 대한 유사 후보군 판단 벡터(도 8의 802)을 구성({19, 15, 2, 3, 16, 17, 18, 11})할 수 있게 된다.

이에 따라, 각 객체에 대한 유사 후보군 판단 벡터는 각 객체에 대한 자질 벡터보다 크게 줄어든 원소 만을 가지면서도 각 객체의 유사성을 효율적으로 판단할 수 있어, 소요되는 전산 자원을 줄이면서도 컨텐츠에 포함된 객체를 신속하고 효율적으로 분류할 수 있게 된다.

보다 구체적인 예를 들어, 본 발명의 일 실시예에 따라 신경망 네트워크(예를 들어, 도 11의 VGG 네트워크)를 이용하여 객체를 분류하고자 하는 경우, 충분한 정확도를 확보하기 위해서는 자질의 차원(원소수)를 늘려야 하며(예를 들어 도 11의 완전 연결층(1103)에서 출력되는 객체에 대한 자질은 4096개의 원소를 가질 수 있음), 이에 따라 상기 각 객체에 대한 자질에 포함되는 다수의 원소를 모두 고려하여 각 객체를 분류하는 경우에는 막대한 전산 자원이 요구되는 문제가 따르게 된다.

이에 대하여, 본 발명의 일 실시예로서, 상기 각 객체에 대한 자질 벡터로부터 상기 유사 후보군 판단 벡터를 산출하는 경우, 상기 유사 후보군 판단 벡터에 포함되는 원소의 수를 크게 줄이고도 각 객체의 유사성을 효율적으로 판단할 수 있게 된다(예를 들어, 상기 유사 후보군 판단 벡터가 수십개 이내의 원소 만을 포함하더라도 효율적으로 각 객체의 유사성을 판단하는 것이 가능).

이에 따라, 도 9에서 볼 수 있는 바와 같이, 상기 유사 객체 후보군 산출 단계(S120)에서는 컨텐츠에 포함된 객체(도 9의 901)의 영역을 산출한 후, 신경망 네트워크(902)를 이용하여 상기 객체의 특징을 나타내는 자질 벡터(903)를 산출하고, 이어서 상기 자질 벡터(903)에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 상기 객체에 대한 유사 후보군 판단 벡터(904)를 산출한 후, 상기 산출된 자질 벡터(903)와 유사 후보군 판단 벡터(904)를 각 객체(901)에 대응시켜 메모리 등의 저장 장치(905)에 저장할 수 있다.

나아가, 도 10에서는 본 발명의 일 실시예에 따라 기분류된 객체군에 대하여 선정된 일부 객체를 이용하여 객체를 분류하는 방법을 설명하고 있다.

즉, 주어진 객체를 유사 객체 후보군에 포함시킬지 여부를 판단함에 있어, 기분류된 객체군에 포함된 전체 객체에 대하여 비교하는 경우 상당한 시간과 전산 자원이 소요될 수 있는 반면, 본 발명에서는 도 10에서 볼 수 있는 바와 같이, 기분류된 객체군(1002, 1004)에 포함되는 복수의 객체 중 일부 객체(1003, 1005)를 선정한 후, 상기 선정된 일부 객체의 유사 후보군 판단 벡터와 분류하고자 하는 객체(1001)의 유사 후보군 판단 벡터를 비교함으로써, 상기 객체가 상기 기분류된 객체군(1002, 1004)에 포함될 수 있는지 여부를 보다 효율적으로 판단할 수 있다.

즉, 상기 기분류된 객체군(1002, 1004)에는 서로 유사한 유사 후보군 판단 벡터를 가지는 객체가 포함되어 있는 바, 일부 객체(1003, 1005)만을 선정하여 비교함으로써, 보다 적은 전산 자원을 활용하여 신속하게 판단하면서도 높은 정확도를 유지할 수 있게 된다.

이어서, 상기 객체 유사성 판단 단계(S130)에서는 상기 유사 객체 후보군에 포함된 객체에 대하여 상기 자질을 이용하여 유사성을 판단하게 된다.

즉, 상기 유사 객체 후보군 산출 단계(S120)에서는 상기 자질에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 유사 또는 동일한 객체일 가능성이 있는 유사 객체 후보군을 산출하였으므로, 상기 객체 유사성 판단 단계(S130)에서는 상기 유사 객체 후보군에 포함된 각 객체에 대한 자질을 이용하여 보다 정확하게 각 객체의 유사성을 판단하게 된다.

보다 구체적인 예를 들어, 상기 각 객체의 유사성을 판단함에 있어, 도 12에서 예시하고 있는 코사인 유사도(Cosine similarity) 판단 알고리즘 등을 이용할 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 상기 각 객체의 유사성을 적절하게 판단할 수 있는 다양한 알고리즘이 적용될 수 있다.

또한, 도 13에서는 본 발명의 일 실시예에 따라 동일 객체를 포함하는 복수의 객체군을 하나의 객체군으로 통합하는 알고리즘을 설명하고 있다.

보다 구체적으로, 본 발명에 따라 유사 객체 후보군을 산출하고, 객체의 유사도를 기준으로 다수의 객체를 분류하면서, 동일한 객체임에도 불구하고 서로 상이한 객체로 분류되어 복수의 객체군을 형성하는 문제가 나타날 수 있다.

보다 구체적인 예를 들어, 도 13에서 볼 수 있는 바와 같이, 동일 인물(예를 들어, 홍길동)에 대한 사진 등 컨텐츠라 하더라도 사진의 명암, 크기, 방향 등에 따라 다소간의 차이가 있을 수 있고, 이에 따라 객체 분류 장치(120)에서 서로 다른 객체로 인식할 수 있다. 이에 따라 동일한 객체에 대한 사진 등 콘텐츠(1301, 1302, 1303)가 주어지더라도 객체 분류 장치(120)에서는 이를 서로 다른 객체로 인식하여 복수의 객체군(1304, 1305, 1306)으로 분류할 가능성이 따른다.

이에 대하여, 본 발명의 일 실시예로서, 상기 객체 유사성 판단 단계(S130)를 거쳐 서로 다른 객체로 분류된 복수의 객체군에 대하여, 동일한 객체가 공통으로 포함되는 둘 이상의 객체군이 있는 경우, 상기 동일한 객체가 공통으로 포함되는 둘 이상의 객체군을 하나의 객체군으로 통합할 수 있다.

즉, 제1 객체군(1304)과 제2 객체군(1305)에는 (A4)가 공통으로 포함되는 바, 상기 제1 객체군(1304)과 제2 객체군(1305)는 동일한 객체를 포함하는 객체군으로 판단하여 하나의 객체군으로 통합할 수 있다.

또한, 상기 제2 객체군(1305)과 제3 객체군(1306)에는 (A5)가 공통으로 포함되므로, 상기 제2 객체군(1305)과 제3 객체군(1306)이 동일한 객체를 포함하는 객체군으로 판단되어 하나의 객체군으로 통합될 수 있으며, 나아가 상기 제1 객체군(1304)과 제2 객체군(1305)이 동일한 객체(A4)를 포함하는 것을 함께 고려하여 상기 제1 객체군(1304), 제2 객체군(1305) 및 제3 객체군(1306)을 모두 통합하여 하나의 제4 객체군(1307)을 생성할 수도 있다.

이에 따라, 본 발명의 일 실시예에 따른 객체 분류 방법에서는 컨텐츠에 포함되는 객체에 대한 자질의 일부 원소만을 고려하여 유사 객체 후보군을 산출한 후, 상기 유사 객체 후보군에 한정하여 객체를 분류하도록 함으로써, 제한된 전산 자원만을 이용하면서도 컨텐츠에 포함된 객체를 신속하고 효율적으로 분류할 수 있으며, 특히 서버 등에 저장되는 다량의 컨텐츠를 빠르고 효율적으로 분류할 수 있어 컨텐츠 분석 시스템을 구축, 운영하기 위한 비용을 절감하고, 나아가 사용자에게 컨텐츠에 포함된 객체의 분류 결과를 보다 신속하게 제공할 수 있게 된다.

또한, 본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 앞서 살핀 객체 분류 방법의 각 단계를 컴퓨터에서 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다. 상기 컴퓨터 프로그램은 컴파일러에 의해 만들어지는 기계어 코드를 포함하는 컴퓨터 프로그램뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에서 실행될 수 있는 고급 언어 코드를 포함하는 컴퓨터 프로그램일 수도 있다. 이때, 상기 컴퓨터로서는 퍼스널 컴퓨터(PC)나 노트북 컴퓨터 등에 한정되지 아니하며, 서버, 스마트폰, 태블릿 PC, PDA, 휴대전화 등 중앙처리장치(CPU)를 구비하여 컴퓨터 프로그램을 실행할 수 있는 일체의 정보처리 장치를 포함한다.

또한, 상기 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

또한, 도 14에서는 본 발명의 일 실시예에 따른 객체 제공 장치(120)의 구성도를 예시하고 있다.

도 14에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 객체 분류 장치(120)는 자질 추출부(121), 유사 객체 후보 산출부(122) 및 객체 유사성 판단부(123)를 포함하여 구성될 수 있다.

나아가, 상기 본 발명의 일 실시예에 따른 객체 분류 방법, 장치 및 컴퓨터 프로그램에 대하여, 앞에서는 주로 네트워크(130)를 통하여 사용자 단말(110)과 연결되는 서버 등의 객체 분류 장치(120)에서 상기 객체를 분류하는 것으로 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 본 발명의 일 실시예에 따른 객체 분류 방법은 스마트폰이나 개인용PC 등의 사용자 단말(110)에서 실행될 수도 있다. 즉, 상기 객체 분류 장치(120)는 서버 뿐만 아니라 스마트폰 등 개인용 단말 장치도 상기 객체 분류 장치(120)로서 기능할 수 있으며, 나아가 컴퓨터 프로그램으로 구성되어 스마트폰이나 개인용 PC 등에서 구동될 수도 있다.

이어서, 아래에서는 본 발명의 일 실시예에 따른 객체 분류 장치(120)를 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 객체 분류 장치 (120)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 객체 분류 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.

먼저, 자질 추출부 (121)에서는 상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하게 된다.

또한, 유사 객체 후보군 산출부(122)에서는 상기 자질에 포함되는 복수의 원소(element) 중 일부 원소를 이용하여 유사 객체 후보군을 산출하게 된다.

마지막으로, 객체 유사성 판단부(123)에서는 상기 유사 객체 후보군에 포함된 객체에 대하여 상기 자질을 이용하여 유사성을 판단하게 된다.

나아가, 본 발명의 일 실시예에 따른 객체 분류 장치(120)에서, 상기 유사 객체 후보군 산출부(122)에서는 상기 자질에 포함되는 복수의 원소(element) 중에서 상기 원소의 크기를 기준으로 미리 정해진 개수의 일부 원소를 산출할 수 있다.

보다 구체적으로, 상기 유사 후보군 판단 벡터는, 도 8에서 볼 수 있는 바와 같이, 상기 산출된 일부 원소를 그 크기를 기준으로 정렬한 후, 상기 산출된 일부 원소들의 상기 자질 벡터에서의 위치를 나타내는 각 인덱스 값으로 구성될 수 있다.

나아가, 본 발명의 일 실시예에 따른 유사 객체 후보군 산출부(122)에서는, 도 9에서 볼 수 있는 바와 같이, 각 객체에 대한 자질로 복수의 원소를 포함하는 벡터인 자질 벡터를 구성하고, 상기 복수의 원소 중에서 산출된 일부 원소로 유사 후보군 판단 벡터를 구성하여, 상기 자질 벡터와 상기 유사 후보군 판단 벡터를 상기 각 객체에 대응하여 저장할 수 있다.

본 명세서에서 설명된 위 실시예 및 도면들은 단지 예시적인 것일 뿐, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 또한, 도면에 도시된 구성요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 또한 본 발명 중 방법 발명에서 제시하는 단계들은 반드시 그 선후의 순서에 대한 구속을 의도한 것이 아니며, 각 공정의 본질에 따라 반드시 어느 단계가 선행되어야 하는 것이 아닌 한 순서는 필요에 따라 적절히 변경될 수 있다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해본 발명의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등 범주 내에서 설계 조건 및 요소에 따라 구성될 수 있음을 이해할 수 있다.

100 : 객체 분류 시스템
110, 110a, 110b : 사용자 단말
120 : 객체 분류 장치
121 : 자질 추출부
122 : 유사 객체 후보 산출부
123 : 객체 유사성 판단부
130 : 네트워크

Claims (16)

1. 객체 분류 장치에서 컨텐츠에 포함되는 객체를 분류하는 방법에 있어서,
   상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하는 자질 추출 단계;
   상기 자질에 포함되는 복수의 원소(element) 중에서 상기 원소의 크기를 기준으로 미리 정해진 개수의 일부 원소를 산출하고, 상기 일부 원소의 위치를 나타내는 인덱스 값으로 유사 후보군 판단 벡터를 구성하여 이를 기준으로 상기 객체에 대한 유사 객체 후보군을 산출하는 유사 객체 후보군 산출 단계; 및
   상기 유사 객체 후보군에 포함된 객체에 대하여 상기 자질을 이용하여 유사성을 판단하는 객체 유사성 판단 단계;
   를 포함하는 것을 특징으로 하는 객체 분류 방법.
2. 제1항에 있어서,
   상기 자질 추출 단계는,
   상기 컨텐츠에서 상기 객체의 영역을 산출하는 단계; 및
   상기 객체의 영역에 대하여 상기 객체의 특징을 나타내는 자질을 추출하는 단계;를 포함하는 것을 특징으로 하는 객체 분류 방법.
3. 제2항에 있어서,
   상기 객체의 영역을 정규화하는 정규화 단계;를 더 포함하는 것을 특징으로 하는 객체 분류 방법.
4. 삭제
5. 제1항에 있어서,
   상기 유사 객체 후보군 산출 단계에서,
   각 객체에 대한 자질은 복수의 원소를 포함하는 벡터인 자질 벡터를 이루며,
   상기 복수의 원소 중에서 산출된 일부 원소는 유사 후보군 판단 벡터를 이루어,
   상기 각 객체에 대응하여 저장되는 것을 특징으로 하는 객체 분류 방법.
6. 제5항에 있어서,
   상기 유사 후보군 판단 벡터는,
   상기 산출된 일부 원소를 그 크기를 기준으로 정렬한 후, 상기 산출된 일부 원소들의 상기 자질 벡터에서의 위치를 나타내는 각 인덱스 값으로 구성되는 것을 특징으로 하는 객체 분류 방법.
7. 제5항에 있어서,
   상기 유사 객체 후보군 산출 단계에서는,
   상기 각 객체에 대한 각 유사 후보군 판단 벡터의 유사성을 기준으로 상기 각 객체에 대한 유사도를 판단하여 유사 객체 후보군을 산출하는 것을 특징으로 하는 객체 분류 방법.
8. 제5항에 있어서,
   상기 유사 객체 후보군 산출 단계에서는,
   기분류된 객체군에 포함되는 복수의 객체 중 일부 객체를 선정한 후,
   상기 선정된 일부 객체의 유사 후보군 판단 벡터와 분류하고자 하는 상기 객체의 유사 후보군 판단 벡터를 비교하여 상기 유사 객체 후보군에 포함될 것인지 여부를 판단하는 것을 특징으로 하는 객체 분류 방법.
9. 제1항에 있어서,
   상기 자질 추출 단계에서는,
   상기 객체에 대한 신경망 네트워크(neural network)의 완전 연결층(fully-connected layer)의 출력을 이용하여 상기 자질(feature)를 추출하는 것을 특징으로 하는 객체 분류 방법.
10. 제1항에 있어서,
    상기 객체 유사성 판단 단계를 거쳐 서로 다른 객체로 분류된 복수의 객체군에 대하여,
    동일한 객체가 공통으로 포함되는 둘 이상의 객체군이 있는 경우, 상기 동일한 객체가 공통으로 포함되는 둘 이상의 객체군을 하나의 객체군으로 통합하는 객체군 통합 단계를 더 포함하는 것을 특징으로 하는 객체 분류 방법.
11. 컴퓨터에서 제1항 내지 제3항, 제5항 내지 제10항 중 어느 한 항에 기재된 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
12. 컨텐츠에 포함되는 객체를 분류하는 객체 분류 장치에 있어서,
    상기 컨텐츠에 포함되는 객체의 특징을 나타내는 자질(feature)를 추출하는 자질 추출부;
    상기 자질에 포함되는 복수의 원소(element) 중에서 상기 원소의 크기를 기준으로 미리 정해진 개수의 일부 원소를 산출하고, 상기 일부 원소의 위치를 나타내는 인덱스 값으로 유사 후보군 판단 벡터를 구성하여 이를 기준으로 상기 객체에 대한 유사 객체 후보군을 산출하는 유사 객체 후보군 산출부; 및
    상기 유사 객체 후보군에 포함된 객체에 대하여 상기 자질을 이용하여 유사성을 판단하는 객체 유사성 판단부;
    를 포함하는 것을 특징으로 하는 객체 분류 장치.
13. 삭제
14. 제12항에 있어서,
    상기 유사 객체 후보군 산출부에서는,
    각 객체에 대한 자질로 복수의 원소를 포함하는 벡터인 자질 벡터를 구성하고,
    상기 복수의 원소 중에서 산출된 일부 원소로 유사 후보군 판단 벡터를 구성하여,
    상기 각 객체에 대응하여 저장하는 것을 특징으로 하는 객체 분류 장치.
15. 제14항에 있어서,
    상기 유사 후보군 판단 벡터는,
    상기 산출된 일부 원소를 그 크기를 기준으로 정렬한 후, 상기 산출된 일부 원소들의 상기 자질 벡터에서의 위치를 나타내는 각 인덱스 값으로 구성되는 것을 특징으로 하는 객체 분류 장치.
16. 제12항에 있어서,
    상기 객체 유사성 판단부에서 서로 다른 객체로 분류된 복수의 객체군에 대하여,
    동일한 객체가 공통으로 포함되는 둘 이상의 객체군이 있는 경우, 상기 동일한 객체가 공통으로 포함되는 둘 이상의 객체군을 하나의 객체군으로 통합하는 객체군 통합하는 것을 특징으로 하는 객체 분류 장치.

Images