KR20180048058A - 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치 - Google Patents

객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치 Download PDF

Info

Publication number
KR20180048058A
KR20180048058A KR1020160145151A KR20160145151A KR20180048058A KR 20180048058 A KR20180048058 A KR 20180048058A KR 1020160145151 A KR1020160145151 A KR 1020160145151A KR 20160145151 A KR20160145151 A KR 20160145151A KR 20180048058 A KR20180048058 A KR 20180048058A
Authority
KR
South Korea
Prior art keywords
attribute
age
layer
calculating
classification
Prior art date
Application number
KR1020160145151A
Other languages
English (en)
Other versions
KR102308871B1 (ko
Inventor
곽영준
유병인
김영성
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160145151A priority Critical patent/KR102308871B1/ko
Priority to US15/595,997 priority patent/US10558912B2/en
Publication of KR20180048058A publication Critical patent/KR20180048058A/ko
Application granted granted Critical
Publication of KR102308871B1 publication Critical patent/KR102308871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

이하, 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치가 제공된다. 일 실시예에 따른 객체 인식 장치는, 객체의 속성에 대해 트레이닝된 속성 레이어, 객체의 분류에 대해 트레이닝된 분류 레이어를 이용하여, 입력 데이터로부터 객체 나이 정보를 산출할 수 있다.

Description

객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치{DEVICE AND METHOD TO TRAIN AND RECOGNIZE OBJECT BASED ON ATTRIBUTE OF OBJECT}
이하, 객체의 속성에 기반하여 객체를 인식하고, 객체의 인식을 트레이닝하는 기술이 제공된다.
최근 들어, 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위하여, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중 하나로, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링 한 인공 뉴럴 네트워크(artificial neural network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공 뉴럴 네트워크는 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 인공 뉴럴 네트워크는 입력 패턴과 출력 패턴들 사이의 사상(mapping)을 생성할 수 있고, 이러한 사상을 생성하는 능력은 인공 뉴럴 네트워크의 학습 능력이라고 표현된다. 또한, 인공 뉴럴 네트워크는 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가진다.
일 실시예에 따르면 객체 인식 방법은, 객체 모델(object model)을 이용하여, 객체(object)를 포함하는 입력 데이터(input data)로부터 특징 데이터(feature data)를 추출(extract)하는 단계; 분류 레이어(classification layer)를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 대한 속성 분류 정보(attribute classification information)를 산출(calculate)하는 단계; 속성 레이어(attribute layer)를 이용하여, 상기 특징 데이터로부터 속성과 연관된 속성 나이 정보(attribute age information)를 산출하는 단계; 및 상기 속성 분류 정보 및 속성 나이 정보에 기초하여 상기 객체의 객체 나이 정보(object age information)를 추정(estimate)하는 단계를 포함할 수 있다.
상기 속성 분류 정보를 산출하는 단계는, 복수의 속성들의 각각에 대해, 상기 입력 데이터에 포함된 객체가 해당 속성일 확률을 산출하는 단계를 포함할 수 있다.
상기 속성 나이 정보를 산출하는 단계는, 복수의 나이들(ages)의 각각에 대해, 상기 속성을 가지는 객체가 해당 나이에 속하는 확률을 산출하는 단계를 포함할 수 있다.
상기 객체 나이 정보를 추정하는 단계는, 복수의 속성들의 각각에 대해 산출된, 상기 객체가 해당 속성일 확률 및 해당 속성을 가지는 객체가 각각의 나이에 속하는 확률에 기초하여 상기 객체 나이 정보를 추정하는 단계를 포함할 수 있다.
상기 속성 나이 정보를 산출하는 단계는, 복수의 속성 레이어들의 각각에 지정된 속성과 연관된 속성 나이 정보를, 상기 특징 데이터로부터 해당 속성 레이어를 이용하여 산출하는 단계를 포함할 수 있다.
객체 인식 방법은 사용자 로그인 시도에 응답하여, 상기 속성 분류 정보 및 상기 객체 나이 정보 중 적어도 하나 및 사용자 인증 관련 정보에 기초하여, 상기 객체가 등록된 사용자에 매칭하는지 여부를 판단하는 단계를 더 포함할 수 있다.
객체 인식 방법은 상기 속성 분류 정보 및 상기 객체 나이 정보에 기초하여, 상기 객체에 대응하는 사용자에게 제공되는 상품 추천 정보를 결정하는 단계; 및 상기 결정된 상품 추천 정보를 사용자 단말의 디스플레이 상에 시각화하는 단계를 더 포함할 수 있다.
상기 속성 분류 정보를 산출하는 단계는, 상기 분류 레이어를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 포함된 객체가 속하는 성별에 대한 확률을 산출하는 단계를 포함하고, 상기 속성 나이 정보를 산출하는 단계는, 상기 속성 레이어를 이용하여, 성별의 각각에 대해, 상기 특징 데이터로부터 해당 성별을 가지는 객체가 나이에 속할 확률을 산출하는 단계를 포함하며, 상기 객체 나이 정보를 추정하는 단계는, 상기 객체가 속하는 성별에 대한 확률, 및 성별의 각각에 대해 상기 객체가 나이에 속할 확률에 기초하여 상기 객체 나이 정보를 추정하는 단계를 포함할 수 있다.
상기 속성 분류 정보를 산출하는 단계는, 상기 분류 레이어를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 포함된 객체가 속하는 인종에 대한 확률을 산출하는 단계를 포함하고, 상기 속성 나이 정보를 산출하는 단계는, 상기 속성 레이어를 이용하여, 인종의 각각에 대해, 상기 특징 데이터로부터 해당 인종을 가지는 객체가 나이에 속할 확률을 산출하는 단계를 포함하며, 상기 객체 나이 정보를 추정하는 단계는, 상기 객체가 속하는 인종에 대한 확률, 및 인종의 각각에 대해 상기 객체가 나이에 속할 확률에 기초하여 상기 객체 나이 정보를 추정하는 단계를 포함할 수 있다.
상기 객체 모델은, 복수의 레이어를 포함하는 뉴럴 네트워크를 포함하고, 상기 복수의 레이어의 각각은 복수의 노드를 포함할 수 있다.
일 실시예에 따른 객체 인식용 뉴럴 네트워크 트레이닝 방법은 객체 모델 및 상기 객체 모델과 연결된 분류 레이어를 이용하여, 트레이닝 데이터로부터 속성 분류 손실을 산출하는 단계; 상기 객체 모델, 상기 분류 레이어, 및 상기 객체 모델과 연결된 속성 레이어를 이용하여, 상기 트레이닝 데이터로부터 객체 나이 손실을 산출하는 단계; 및 상기 속성 분류 손실 및 상기 객체 나이 손실에 기초하여 상기 객체 모델, 상기 속성 레이어, 및 상기 분류 레이어를 트레이닝하는 단계를 포함할 수 있다.
상기 속성 분류 손실을 산출하는 단계는, 객체 모델 및 분류 레이어를 이용하여, 상기 트레이닝 데이터의 트레이닝 입력으로부터 상기 속성 분류 정보를 산출하는 단계; 및 상기 속성 분류 정보 및 트레이닝 분류에 기초하여 상기 속성 분류 손실을 산출하는 단계를 포함할 수 있다.
트레이닝 방법은 객체 모델 및 속성 레이어를 이용하여, 트레이닝 데이터로부터 속성 나이 손실(attribute age loss)을 산출하는 단계를 더 포함하고, 상기 트레이닝하는 단계는, 상기 속성 나이 손실에 더 기초하여 상기 객체 모델 및 상기 속성 레이어 중 적어도 하나를 트레이닝하는 단계를 포함할 수 있다.
상기 속성 나이 손실을 산출하는 단계는, 상기 객체 모델 및 상기 속성 레이어를 이용하여, 상기 트레이닝 데이터의 트레이닝 입력으로부터 속성 나이 정보를 산출하는 단계; 및 상기 속성 나이 정보 및 상기 트레이닝 데이터의 트레이닝 속성 나이에 기초하여 상기 속성 나이 손실을 산출하는 단계를 포함할 수 있다.
상기 속성 나이 손실에 더 기초하여 상기 객체 모델 및 상기 속성 레이어 중 적어도 하나를 트레이닝하는 단계는, 상기 속성 나이 손실을 상기 속성 레이어로부터 상기 객체 모델의 입력 레이어로 역전파 하는 단계를 포함할 수 있다.
상기 객체 나이 손실을 산출하는 단계는, 상기 분류 레이어를 이용하여 산출된 속성 분류 정보 및 상기 속성 레이어를 이용하여 산출된 속성 나이 정보에 기초하여 상기 객체 나이 손실을 산출하는 단계를 포함하고, 상기 트레이닝하는 단계는, 상기 객체 나이 손실을 상기 속성 레이어 및 상기 분류 레이어 중 적어도 하나로부터 상기 객체 모델의 입력 레이어로 역전파 하는 단계를 포함할 수 있다.
상기 트레이닝하는 단계는, 상기 속성 분류 손실을 상기 분류 레이어로부터 상기 객체 모델의 입력 레이어로 역전파 하는 단계를 포함할 수 있다.
상기 트레이닝하는 단계는, 상기 객체 모델을 구성하는 복수의 레이어들의 각각의 노드를 연결하는 연결 가중치를 업데이트하는 단계를 포함할 수 있다.
일 실시예에 따른 객체 인식 장치는, 객체 모델을 이용하여, 객체를 포함하는 입력 데이터로부터 특징 데이터를 추출하고, 분류 레이어를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 대한 속성 분류 정보를 산출하며, 속성 레이어를 이용하여, 상기 특징 데이터로부터 속성과 연관된 속성 나이 정보를 산출하고, 상기 속성 분류 정보 및 속성 나이 정보에 기초하여 상기 객체의 객체 나이 정보를 추정하는 처리부를 포함할 수 있다.
도 1은 일 실시예에 따른 객체 인식 네트워크의 구조를 도시한 도면이다.
도 2는 일 실시예에 따른 객체 인식 방법을 도시한 흐름도이다.
도 3은 일 실시예에 따른 성별에 기초하여 객체의 나이를 인식하는 과정을 예시적으로 도시한 도면이다.
도 4는 일 실시예에 따른 객체 인식 네트워크를 이용한 객체 나이 정보의 산출을 설명하는 도면이다.
도 5는 일 실시예에 따른 객체 인식 네트워크의 세부적인 구성을 설명하는 도면이다.
도 6은 일 실시예에 따른 객체 인식의 트레이닝 방법을 도시한 흐름도이다.
도 7은 일 실시예에 따른 객체 인식 네트워크의 손실을 산출하는 과정을 설명하는 도면이다.
도 8은 일 실시예에 따른 객체 인식 네트워크의 역전파 학습을 설명하는 도면이다.
도 9는 다른 일 실시예에 따른 객체 인식 네트워크의 손실을 산출하는 과정을 설명하는 도면이다
도 10 및 도 11은 일 실시예에 따른 객체 인식이 활용되는 예시를 도시한 도면이다.
도 12는 일 실시예에 따른 객체 인식 장치 및 객체 인식의 트레이닝 장치의 구성을 설명하는 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 객체 인식 네트워크의 구조를 도시한 도면이다.
일 실시예에 따르면 객체 인식 장치는 객체 인식 네트워크 구조(100)를 이용하여, 입력 데이터(101)로부터 객체 나이 정보(109)를 추정할 수 있다.
객체 인식 네트워크 구조(100)는 객체 모델(110), 및 객체 모델(110)과 연결된 레이어들(120, 130, 140)을 포함할 수 있다. 객체 모델(110)은 입력 데이터(101)로부터 특징 데이터가 출력되도록 트레이닝된 모델로서, 예를 들어, 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN, convolutional neural network), 및 딥 뉴럴 네트워크(DNN, deep neural network) 등일 수 있다.
예를 들어, 뉴럴 네트워크는 복수의 레이어들을 포함할 수 있고, 레이어들 각각은 복수의 노드들을 포함할 수 있다. 노드는 뉴런이라고 표현될 수도 있다. 이웃한 레이어들의 뉴런들은 연결선들로 연결될 수 있다. 연결선은 시냅스로 표현될 수 있다. 트레이닝에 따라 연결선들에는 연결 가중치들이 부여될 수 있고, 레이어에 대응하는 파라미터들은 이러한 연결 가중치들을 포함할 수 있다. 프로세서는 레이어의 연결 가중치 및 활성화 함수에 기초하여 레이어에 대한 입력으로부터 레이어의 출력을 산출할 수 있다. 객체 인식 장치는 뉴럴 네트워크를 포함하는 객체 인식 네트워크 구조(100)를 메모리에 저장된 내부 데이터베이스로부터 획득하거나, 통신부를 통해 외부 서버로부터 수신하여 획득할 수 있다.
예를 들어, 객체 모델(110)의 뉴럴 네트워크는 연결선(edge)으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 인식 모델을 나타낼 수 있다. 뉴럴 네트워크는 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 뉴럴 네트워크는 인공(artificial) 뉴럴 네트워크라고 지칭될 수 있다.
뉴럴 네트워크는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런들을 이용한다. 인공 뉴런은 노드(node)라고 지칭될 수 있다. 인공 뉴런들은 연결 가중치(connection weight)를 가지는 연결선을 통해 상호 연결될 수 있다. 연결 가중치는 연결선이 갖는 특정한 값으로, 시냅스 가중치(synapse weight) 또는 연결 강도라고 지칭될 수 있다.
뉴럴 네트워크는 복수의 레이어들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크는 입력 레이어(input layer)(111), 히든 레이어(hidden layer)(112), 출력 레이어(output layer)을 포함할 수 있다. 입력 레이어(111)는 트레이닝 또는 인식을 수행하기 위한 입력을 수신하여 히든 레이어(112)에 전달할 수 있고, 출력 레이어는 히든 레이어(112)로부터 수신한 신호에 기초하여 뉴럴 네트워크의 출력을 생성할 수 있다. 도 1에 도시된 객체 인식 네트워크 구조(100)에서, 출력 레이어는 속성 레이어들(120, 130) 및 분류 레이어(140)를 포함할 수 있다. 히든 레이어(112)는 입력 레이어(111)와 속성 레이어들(120, 130) 및 분류 레이어(140) 사이에 위치하고, 입력 레이어(111)를 통해 전달된 트레이닝 데이터의 트레이닝 입력을 예측하기 쉬운 값으로 변화시킬 수 있다.
입력 레이어(111), 히든 레이어(112) 및 속성 레이어들(120, 130) 및 분류 레이어(140) 는 복수 개의 노드들을 포함할 수 있다. 입력 레이어(111)에 포함된 노드는 입력 노드(input node)라고 지칭되고, 히든 레이어(112)에 포함된 노드는 히든 노드(hidden node)라고 지칭될 수 있다.
입력 레이어(111)에 포함된 입력 노드들과 히든 레이어(112)에 포함된 히든 노드들은 연결 가중치를 가지는 연결선들을 통해 서로 연결될 수 있다. 히든 레이어(112)에 포함된 히든 노드들과 속성 레이어들(120, 130) 및 분류 레이어(140) 에 포함된 출력 노드들은 연결 가중치를 가지는 연결선들을 통해 서로 연결될 수 있다.
도 1에 도시된 바와 같이 뉴럴 네트워크는 복수 개의 히든 레이어들(112)을 포함할 수 있다. 복수 개의 히든 레이어들(112)을 포함하는 뉴럴 네트워크는 깊은 뉴럴 네트워크(deep neural network)라고 지칭될 수 있다. 깊은 뉴럴 네트워크를 학습시키는 것은 깊은 학습(deep learning)이라고 지칭될 수 있다. 도 1에 도시된 바와 같이, 히든 레이어(112)에 제1 히든 레이어, 제2 히든 레이어, 및 제3 히든 레이어가 포함되는 경우를 가정하면, 제1 히든 레이어에 속한 히든 노드의 출력은 제2 히든 레이어에 속한 히든 노드들에 연결될 수 있다. 제2 히든 레이어에 속한 히든 노드의 출력은 제3 히든 레이어에 속한 히든 노드들에 연결될 수 있다.
예를 들어, 객체 인식 장치 및 객체 인식의 트레이닝 장치는, 각 히든 레이어에 이전 히든 레이어에 포함된 이전 히든 노드들의 출력들을 연결 가중치를 가지는 연결선들을 통해 입력할 수 있고, 이전 히든 노드들의 출력들에 연결 가중치가 적용된 값들 및 활성화 함수에 기초하여 히든 레이어에 포함된 히든 노드들의 출력을 생성할 수 있다. 일 예시에 따르면, 다음 히든 노드로 출력를 발화하기 위하여, 활성화 함수의 결과는 현재 히든 노드의 임계 값을 초과해야 한다. 이 경우, 노드는 입력 벡터들을 통하여 특정 임계 활성화 강도에 도달하기 전에는 다음 노드로 신호를 발화하지 않고, 비활성화 상태를 유지할 수 있다.
입력 데이터(101)는 객체 인식 장치가 획득한 데이터로서, 객체와 연관된 데이터를 나타낼 수 있고, 예를 들어, 객체를 포함하는 영상 데이터일 수 있다. 특징 데이터는 입력 데이터(101)가 추상화된 데이터로서, 입력 데이터(101)의 특징을 나타내는 데이터를 나타낼 수 있고, 예를 들어, 입력 데이터(101)에 포함된 객체의 특징을 나타낼 수 있다. 객체 인식 장치는 객체 모델(110)을 이용하여, 입력 데이터(101)로부터 특징 데이터를 출력할 수 있다.
객체 나이 정보(109)는 객체의 나이(age)를 지시하는 정보를 나타낼 수 있다. 예를 들어, 객체가 사람(human)인 경우, 객체 나이 정보(109)는 사람의 나이를 나타낼 수 있고, 사람의 출생년도를 기준으로 사람의 나이는 0세로 지정될 수 있고, 이후 1세, 2세 내지 100세와 같이 1년을 주기로 사람의 나이가 구분될 수 있다.
객체 인식 네트워크 구조(100)에 포함되는, 객체 모델(110)과 연결된 레이어들은 상술한 바와 같이 출력 레이어일 수 있고, 제1 속성 레이어(120), 제2 속성 레이어(130), 및 분류 레이어(140)를 포함할 수 있다. 다만, 속성 레이어(120, 130)를 도 1에 도시된 바로 한정하는 것은 아니고, 입력 데이터(101)로부터 분류될 수 있는 속성의 개수에 따라 속성 레이어의 개수가 결정될 수 있다.
본 명세서에서, 속성은 객체의 특성을 나타내는 속성을 나타낼 수 있고, 예를 들어, 객체가 사람인 경우, 사람의 성별, 사람의 인종, 사람의 키, 및 사람의 피부색 등에 의해 분류될 수 있다. 예를 들어, 성별 속성에 대해서, 객체는 남성 또는 여성으로 분류될 수 있다. 다른 예를 들어, 인종 속성에 대해서, 객체는 백인, 황인, 또는 흑인으로 분류될 수 있다.
분류 레이어(140)는 특징 데이터로부터 객체의 속성을 분류하도록 트레이닝된 레이어를 나타낼 수 있다. 일 실시예에 따르면, 객체 인식 장치는 객체를 포함하는 입력 데이터(101)로부터 산출된 특징 데이터로부터, 분류 레이어(140)를 이용하여 객체의 속성(예를 들어, 성별)을 분류할 수 있다. 예를 들어, 객체 인식 장치는 분류 레이어(140)를 이용하여, 복수의 속성들의 각각에 대해, 입력 데이터(101)에 포함된 객체가 해당 속성일 확률을 산출할 수 있다.
제1 속성 레이어(120)는 특징 데이터로부터 객체가 제1 속성을 가지는 경우, 해당 객체의 속성 나이 정보를 출력하도록 트레이닝된 레이어를 나타낼 수 있다. 제2 속성 레이어(130)는 특징 데이터로부터 객체가 제2 속성을 가지는 경우, 해당 객체의 속성 나이 정보를 출력하도록 트레이닝된 레이어를 나타낼 수 있다. 속성 나이 정보는 복수의 나이들(ages)의 각각에 대해, 특정 속성을 가지는 객체가 해당 나이에 속하는 확률을 나타낼 수 있다. 속성 나이 정보는 특정 속성의 객체가 0세부터 100세까지, 각각의 나이에 속할 확률을 나타내는 정보를 포함할 수 있다. 예를 들어, 속성이 성별인 경우, 제1 속성 레이어(120)는 객체가 남성일 경우의 남성 속성 나이 정보를 출력하도록 트레이닝된 레이어를 나타낼 수 있고, 제2 속성 레이어(130)는 객체가 여성일 경우의 여성 속성 나이 정보를 출력하도록 트레이닝된 레이어를 나타낼 수 있다.
도 2는 일 실시예에 따른 객체 인식 방법을 도시한 흐름도이다.
우선, 단계(210)에서 객체 인식 장치는 객체 모델(object model)을 이용하여, 객체(object)를 포함하는 입력 데이터(input data)로부터 특징 데이터(feature data)를 추출(extract)할 수 있다.
그리고 단계(220)에서 객체 인식 장치는 분류 레이어(classification layer)를 이용하여, 특징 데이터로부터 입력 데이터에 대한 속성 분류 정보(attribute classification information)를 산출(calculate)할 수 있다. 일 실시예에 따른 객체 인식 장치는 복수의 속성들의 각각에 대해, 입력 데이터에 포함된 객체가 해당 속성일 확률을 산출할 수 있다.
이어서 단계(230)에서 객체 인식 장치는 속성 레이어(attribute layer)를 이용하여, 특징 데이터로부터 속성과 연관된 속성 나이 정보(attribute age information)를 산출할 수 있다. 일 실시예에 따른 객체 인식 장치는 복수의 나이들(ages)의 각각에 대해, 속성을 가지는 객체가 해당 나이에 속하는 확률을 산출할 수 있다. 예를 들어, 객체 인식 장치는 복수의 속성 레이어들의 각각에 지정된 속성과 연관된 속성 나이 정보를, 특징 데이터로부터 해당 속성 레이어를 이용하여 산출할 수 있다.
그리고 단계(240)에서 객체 인식 장치는 속성 분류 정보 및 속성 나이 정보에 기초하여 객체의 객체 나이 정보(object age information)를 추정(estimate)할 수 있다. 일 실시예에 따른 객체 인식 장치는 복수의 속성들의 각각에 대해 산출된, 객체가 해당 속성일 확률 및 해당 속성을 가지는 객체가 각각의 나이에 속하는 확률에 기초하여 객체 나이 정보를 추정할 수 있다.
객체 인식 장치는 객체 모델, 분류 레이어 및 속성 레이어를 내부에 저장할 수도 있으나, 이로 한정하는 것은 아니고 외부로부터 수신할 수 있다. 예를 들어, 객체 모델, 분류 레이어, 및 속성 레이어가 최신 버전으로 업데이트되는 경우에 응답하여, 객체 인식 장치는 객체 모델, 분류 레이어, 및 속성 레이어를 외부로부터 수신할 수도 있다.
하기 도 3 내지 도 5에서 객체 인식 방법을 보다 상세히 설명한다.
도 3은 일 실시예에 따른 성별에 기초하여 객체의 나이를 인식하는 과정을 예시적으로 도시한 도면이다.
일 실시예에 따르면, 객체 인식 장치는 객체 모델, 속성 레이어, 및 분류 레이어에 기초하여, 입력 데이터로부터 성별에 기초한 속성 나이 정보를 추정할 수 있다.
객체 인식 장치는 입력 데이터를 획득(310)할 수 있다. 예를 들어, 객체 인식 장치는 외부로부터 입력 데이터를 수신하거나, 자체적으로 카메라 모듈을 이용하여 장치의 외부를 촬영함으로써 입력 데이터를 획득할 수 있다. 객체 인식 장치는 획득한 입력 데이터로부터, 객체 모델을 이용하여 특징 데이터를 추출할 수 있다.
객체 인식 장치는 추출된 특징 데이터로부터 남자 나이 확률을 계산(320)할 수 있다. 예를 들어, 객체 인식 장치는 남성의 나이를 산출하도록 트레이닝된 속성 레이어를 이용하여, 특징 데이터로부터 남자 나이 확률을 계산할 수 있다. 또한, 객체 인식 장치는 추출된 특징 데이터로부터 여자 나이 확률을 계산(330)할 수 있다. 예를 들어, 객체 인식 장치는 여성의 나이를 산출하도록 트레이닝된 속성 레이어를 이용하여, 특징 데이터로부터 여자 나이 확률을 계산할 수 있다.
객체 인식 장치는 추출된 특징 데이터로부터 성별 확률을 계산(340)할 수 있다. 예를 들어, 객체 인식 장치는 남성일 확률 및 여성일 확률을 산출하도록 트레이닝된 분류 레이어를 이용하여, 특징 데이터로부터 성별 확률을 계산할 수 있다.
객체 인식 장치는 산출된 남자 나이 확률 및 성별 확률에 기초하여, 남자 나이를 추정(350)할 수 있다. 또한, 객체 인식 장치는 산출된 여자 나이 확률 및 성별 확률에 기초하여 여자 나이를 추정(360)할 수 있다.
객체 인식 장치는 추정된 남자 나이 및 추정된 여자 나이에 기초하여, 성별에 강인한(robust) 나이를 추정(390)할 수 있다. 객체 인식 장치는 성별 속성이 반영된 나이를 추정하므로, 보다 성별에 강인하게 추정된 객체의 나이 값을 획득할 수 있다. 상술한 예시는 성별에 기초한 나이 추정이나, 이로 한정하는 것은 아니다. 객체 인식 장치는 인종, 및 키 등과 같은 다양한 속성에 기초하여 나이를 추정할 수 있다.
도 4는 일 실시예에 따른 객체 인식 네트워크를 이용한 객체 나이 정보의 산출을 설명하는 도면이다.
일 실시예에 따르면 객체 인식 장치는 객체 모델(410), 제1 속성 레이어(420), 제2 속성 레이어(430), 및 분류 레이어(440)를 포함하는 객체 인식 네트워크를 이용하여, 입력 데이터(401)로부터 객체 나이 정보(409)를 추정할 수 있다.
상술한 바와 같이, 객체 인식 장치는 객체 모델(410) 및 제1 속성 레이어(420)를 이용하여, 나이들(ages)의 각각에 대해, 제1 속성을 가지는 객체가 해당 나이에 속하는 확률을 산출할 수 있다 여기서, 객체 인식 장치는 분류 레이어(440)를 통해 산출된, 객체가 제1 속성일 확률 및 제1 속성을 가지는 객체가 각 나이에 속하는 확률에 대해 곱 연산을 수행함으로써, 제1 속성이 반영된 제1 속성 나이 정보를 산출할 수 있다.
또한, 객체 인식 장치는 객체 모델(410) 및 제2 속성 레이어(430)를 이용하여, 나이들의 각각에 대해 제2 속성을 가지는 객체가 해당 나이에 속하는 확률을 산출할 수 있다. 여기서, 객체 인식 장치는 분류 레이어(440)를 통해 산출된, 객체가 제2 속성일 확률 및 제2 속성을 가지는 객체가 각 나이에 속하는 확률에 대해 곱 연산을 수행함으로써, 제2 속성이 반영된 제2 속성 나이 정보를 산출할 수 있다.
객체 인식 장치는 제1 속성 나이 정보 및 제2 속성 나이 정보를 합산함으로써, 객체 나이 정보(409)를 산출할 수 있다. 상술한 바와 같이, 객체 나이 정보(409)는, 성별 속성이 반영된 나이를 나타낼 수 있다.
제1 속성 나이 정보 및 제2 속성 나이 정보에 대해서는 하기 도 5에서 보다 상세히 설명한다.
도 5는 일 실시예에 따른 객체 인식 네트워크의 세부적인 구성을 설명하는 도면이다.
하기에서, 제1 속성은 남자 속성, 제2 속성은 여자 속성인 경우를 예로 들어 설명한다.
일 실시예에 따르면, 객체 인식 장치는 속성 레이어(420, 430)를 이용하여, 성별의 각각에 대해, 특징 데이터로부터 해당 성별을 가지는 객체가 나이에 속할 확률을 산출할 수 있다. 예를 들어, 객체 인식 장치는 객체 모델을 이용하여 추출된 특징 데이터로부터 제1 속성 레이어(420)를 이용하여 제1 속성을 가지는 객체가 각 나이에 속하는 확률을 산출할 수 있다. 일 실시예에 따르면 객체 인식 장치는 복수의 나이들(522)에 대해, 각각의 나이에 속할 확률(521)을 산출할 수 있다. 예를 들어, 각각의 나이에 속할 확률(521)은, 남성인 객체가 0세에 속할 확률, 남성인 객체가 1세에 속할 확률, 남성인 객체가 2세에 속할 확률 내지 남성인 객체가 100세에 속할 확률을 나타낼 수 있다. 나이의 범위를 0세부터 100세로 설명하였으나, 이로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다. 객체 인식 장치는 여성 속성에 대해서도 유사하게, 복수의 나이들(532)에 대해, 각각의 나이에 속할 확률(531)을 산출할 수 있다. 도 5에서 Pn은 n세일 확률을 나타낼 수 있고, n은 0 이상의 정수를 나타낼 수 있다. 도 5에서는 100세까지 도시하였으나, 이로 한정하는 것은 아니다.
또한, 객체 인식 장치는 분류 레이어(440)를 이용하여, 특징 데이터로부터 입력 데이터에 포함된 객체가 속하는 성별에 대한 확률을 산출할 수 있다. 예를 들어, 객체 인식 장치는 분류 레이어(440)를 이용하여, 특징 데이터로부터 객체가 남성일 확률(Pmale), 여성일 확률(Pfemale)을 산출할 수 있다.
일 실시예에 따르면 객체 인식 장치는 객체가 속하는 성별에 대한 확률, 및 성별의 각각에 대해 객체가 나이에 속할 확률에 기초하여 객체 나이 정보를 추정할 수 있다. 예를 들어, 상술한 바와 같이 객체 인식 장치는 각 성별 확률 및 해당 성별에서의 나이 확률에 대해 곱 연산을 수행하여 남성 속성 나이 정보 및 여성 속성 나이 정보를 산출할 수 있고, 각 속성 나이 정보를 합산하여 객체 나이 정보(409)를 산출할 수 있다.
다만, 도 5에서는 성별 속성에 기초한 객체 인식을 설명하였는데, 이로 한정하는 것은 아니다. 예를 들어, 객체 인식 장치는 인종 속성에 기초하여 객체의 나이를 인식할 수도 있다.
다른 일 실시예에 따르면, 객체 인식 장치는 분류 레이어를 이용하여, 특징 데이터로부터 입력 데이터에 포함된 객체가 속하는 인종에 대한 확률을 산출할 수 있다. 또한, 객체 인식 장치는 속성 레이어를 이용하여, 인종의 각각에 대해, 특징 데이터로부터 해당 인종을 가지는 객체가 나이에 속할 확률을 산출할 수 있다. 더 나아가, 객체 인식 장치는 객체가 속하는 인종에 대한 확률, 및 인종의 각각에 대해 객체가 나이에 속할 확률에 기초하여 객체 나이 정보를 추정할 수도 있다.
도 6은 일 실시예에 따른 객체 인식의 트레이닝 방법을 도시한 흐름도이다.
우선, 단계(610)에서 객체 인식의 트레이닝 장치는 객체 모델 및 객체 모델과 연결된 분류 레이어를 이용하여, 트레이닝 데이터로부터 속성 분류 손실을 산출할 수 있다. 일 실시예에 따른 트레이닝 장치는 객체 모델 및 분류 레이어를 이용하여, 트레이닝 데이터의 트레이닝 입력으로부터 속성 분류 정보를 산출하고, 속성 분류 정보 및 트레이닝 분류에 기초하여 속성 분류 손실을 산출할 수 있다.
그리고 단계(620)에서 객체 인식의 트레이닝 장치는 객체 모델, 분류 레이어, 및 객체 모델과 연결된 속성 레이어를 이용하여, 트레이닝 데이터로부터 객체 나이 손실을 산출할 수 있다. 일 실시예에 따른 트레이닝 장치는 분류 레이어를 이용하여 산출된 속성 분류 정보 및 속성 레이어를 이용하여 산출된 속성 나이 정보에 기초하여 객체 나이 손실을 산출할 수 있다.
이어서 단계(630)에서 객체 인식의 트레이닝 장치는 속성 분류 손실 및 객체 나이 손실에 기초하여 객체 모델, 속성 레이어, 및 분류 레이어를 트레이닝할 수 있다. 트레이닝 장치는 객체 나이 손실을 속성 레이어 및 분류 레이어 중 적어도 하나로부터 객체 모델의 입력 레이어로 역전파할 수 있다. 또한, 트레이닝 장치는 속성 분류 손실을 분류 레이어로부터 객체 모델의 입력 레이어로 역전파할 수 있다. 역전파를 통해, 트레이닝 장치는 객체 모델을 구성하는 복수의 레이어들의 각각의 노드를 연결하는 연결 가중치를 업데이트할 수 있다.
객체 인식 네트워크 구조의 트레이닝을 위한 역전파 학습은 하기에서 보다 상세히 설명한다.
도 7은 일 실시예에 따른 객체 인식 네트워크의 손실을 산출하는 과정을 설명하는 도면이다.
객체 인식의 트레이닝 장치(이하, 트레이닝 장치)는 트레이닝 데이터(701)에 기초하여, 객체 인식 네트워크 구조를 트레이닝시킬 수 있다.
일 실시예에 따른 트레이닝 장치는 감독 학습(supervised learning)을 통해 객체 인식 네트워크 구조를 학습시킬 수 있다. 트레이닝 장치는 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 감독 학습은 트레이닝 데이터(701)의 트레이닝 입력 그에 대응하는 트레이닝 출력을 함께 객체 인식 네트워크 구조에 입력하고, 트레이닝 데이터(701)의 트레이닝 출력에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 기법이다. 도 7은 뉴럴 네트워크의 구조를 노드 구조로 표현하였으나, 실시예들은 이러한 노드 구조에 국한되지 않는다. 메모리 스토리지에 뉴럴 네트워크를 저장하기 위하여 다양한 데이터 구조가 이용될 수 있다.
일 실시예에 따르면, 트레이닝 장치는 뉴럴 네트워크에 역전파되는 손실들(708, 709) 및 뉴럴 네트워크에 포함된 노드들의 출력 값에 기초한 기울기 하강(gradient descent) 기법을 통하여, 노드들의 파라미터를 결정할 수 있다. 예를 들어, 트레이닝 장치는 손실 역 전파 학습(back-propagation learning)을 통해 노드들 사이의 연결 가중치를 업데이트할 수 있다. 손실 역 전파 학습은, 주어진 트레이닝 데이터(701)에 대해 포워드 계산(forward computation)을 통하여 손실(708, 709)을 추정한 후, 출력 레이어에서 시작하여 히든 레이어 및 입력 레이어를 향하는 역 방향으로 추정한 손실을 전파하면서, 손실을 줄이는 방향으로 연결 가중치를 업데이트하는 방법이다. 객체 인식 네트워크 구조의 처리는 입력 레이어 히든 레이어 출력 레이어의 방향으로 진행되지만, 손실 역 전파 트레이닝에서 연결 가중치의 업데이트 방향은 출력 레이어 히든 레이어 입력 레이어의 방향(하기 도 8 참조)으로 진행될 수 있다. 하나 또는 그 이상의 프로세서는 객체 인식 네트워크 구조를 원하는 방향으로 처리하기 위하여, 레이어 또는 일련의 계산 데이터를 저장하는 버퍼 메모리를 이용할 수 있다.
트레이닝 장치는 현재 설정된 연결 가중치들이 얼마나 최적에 가까운지를 측정하기 위한 목적 함수(objective function)를 정의하고, 목적 함수의 결과에 기초하여 연결 가중치들을 계속 변경하고, 트레이닝을 반복적으로 수행할 수 있다. 예를 들어, 목적 함수는 객체 인식 네트워크 구조가 트레이닝 데이터(701)의 트레이닝 입력에 기초하여 실제 출력한 출력 값과 출력되기로 원하는 기대 값 사이의 손실을 계산하기 위한 손실 함수일 수 있다. 트레이닝 장치는 손실 함수의 값을 줄이는 방향으로 연결 가중치들을 업데이트할 수 있다.
일 실시예에 따르면, 트레이닝 장치는 객체 인식 네트워크 구조를 트레이닝시키기 위하여, 객체 나이 손실(Lossage)(709) 및 속성 분류 손실(Lossgender)(708)을 산출할 수 있다. 예를 들어, 트레이닝 장치는 객체 모델(410), 제1 속성 레이어(420), 제2 속성 레이어(430), 및 분류 레이어(440)에 기초하여, 트레이닝 데이터(701)의 트레이닝 입력으로부터 객체 나이 정보를 추정할 수 있다. 트레이닝 장치는 추정된 객체 나이 정보 및 트레이닝 데이터(701)의 트레이닝 출력에 기초하여 객체 나이 손실(Lossage) (709)을 산출할 수 있다. 객체 나이 손실(Lossage) (709)은 목적 함수에 따라 계산될 수 있고, 목적 함수는 설계에 따라 변경될 수 있다.
또한, 트레이닝 장치는 객체 모델(410) 및 분류 레이어(440)에 기초하여, 트레이닝 데이터(701)의 트레이닝 입력으로부터 속성 분류 정보를 추정할 수 있고, 속성 분류 정보 및 트레이닝 데이터(701)의 트레이닝 분류에 기초하여 속성 분류 손실(Lossgender) (708)을 산출할 수 있다.
도 8은 일 실시예에 따른 객체 인식 네트워크의 역전파 학습을 설명하는 도면이다.
도 8은 도 7에서 산출된 손실들의 역전파를 통한 트레이닝을 도시한 도면이다. 트레이닝 장치는 객체 나이 손실(Lossage) (709)을 제1 속성 레이어(420), 제2 속성 레이어(430), 및 분류 레이어(440) 중 적어도 하나로부터, 객체 모델(410)의 입력 레이어의 방향으로 역전파 시킬 수 있다. 예를 들어, 트레이닝 장치는 객체 나이 손실(Lossage)(709)을 다음 수학식 1과 같이 산출할 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
로서, 나이들에 대응하는 수(number)를 나타낼 수 있다. 수학식 1에 따른 손실 함수는 성별 및 나이가 같이 고려된 함수를 나타낼 수 있다. 예를 들어, 상술한 수학식 1은 나이 산출을 위해 유클리드 거리(Euclidean Distance)의 형태로 손실 함수가 정의된 것으로서, 연속된 숫자 값인 나이 추정에 사용될 수 있다.
또한, 상술한 수학식 1에서
Figure pat00003
은 다음 수학식 2와 같이, 추정된 나이와 성별 확률의 곱으로 표현될 수 있다.
[수학식 2]
Figure pat00004
더 나아가, 나이 확률 및 성별 확률은 다항 로지스틱 회귀(Multinomial logistic regression)를 통해 다음 수학식 3 및 수학식 4와 같이 나타낼 수 있다.
[수학식 3]
Figure pat00005
[수학식 4]
Figure pat00006
또한, 트레이닝 장치는 속성 분류 손실(Lossgender)(708)을 다음 수학식 5에 따라 산출할 수 있다. 속성 분류 손실(Lossgender)은 소프트맥스(softmax)로 나타낼 수 있다.
[수학식 5]
Figure pat00007
객체 나이 손실(Lossage)은 가독성을 위하여, 도 8에서 Lage로 도시하였으며, 속성 분류 손실(Lossgender)도 Lgender로 도시한다.
트레이닝 장치는 객체 나이 손실(Lossage)을 하기 수학식 6과 같이 미분하여 역전파할 수 있다.
[수학식 6]
Figure pat00008
상술한 수학식 6에서, Wage는 다음 수학식 7과 같이 나타낼 수 있다.
[수학식 7]
Figure pat00009
본 명세서에서 W는 객체 인식 네트워크의 파라미터로서, 예를 들어, 레이어들의 노드들을 연결하는 연결선에 부여된 연결 가중치를 나타낼 수 있다. 상술한 수학식 7에서 Wage_male은 남자의 나이를 추정하는데 요구되는 파라미터, Wgender _male은 남자인 성별을 추정하는데 요구되는 파라미터, Wage_female는 여자의 나이 추정하는데 요구되는 파라미터, Wgender _female는 여자인 성별을 추정하는데 요구되는 파라미터를 나타낼 수 있다. 또한, 트레이닝 장치는 속성 분류 손실(Lossgender)을 하기 수학식 8과 같이 미분하여 역전파할 수 있다.
[수학식 8]
Figure pat00010
트레이닝 장치는 분류 레이어(440)로부터 객체 모델(410)로의 손실(807)을 하기 수학식 9와 같이 산출하여 역전파할 수 있다.
[수학식 9]
Figure pat00011
트레이닝 장치는 제1 속성 레이어(420)로부터 객체 모델(410)로의 손실(805)를 하기 수학식 10과 같이 산출하여 역전파할 수 있다.
[수학식 10]
Figure pat00012
트레이닝 장치는 제2 속성 레이어(430)로부터 객체 모델(410)로의 손실(804)를 하기 수학식 11과 같이 산출하여 역전파할 수 있다.
[수학식 11]
Figure pat00013
상술한 예시에서는 속성으로서, 성별만을 고려하였으나, 이로 한정하는 것은 아니다. 인종, 머리카락의 색 등과 같이 다양한 속성에 기초하여 객체 인식을 수행하는 경우, 객체 인식 장치 및 트레이닝 장치는 다음 수학식 12에 따른 확률을 이용할 수도 있다.
[수학식 12]
Figure pat00014
도 9는 다른 일 실시예에 따른 객체 인식 네트워크의 손실을 산출하는 과정을 설명하는 도면이다
일 실시예에 따르면, 도 7 및 도 8에 따른 트레이닝에 더하여, 트레이닝 장치는 속성 나이 손실(attribute age loss)(906, 907)을 트레이닝에 반영할 수도 있다. 예를 들어, 트레이닝 장치는 객체 모델(410) 및 속성 레이어를 이용하여, 트레이닝 데이터(701)로부터 속성 나이 손실(906, 907) 을 산출할 수 있다. 속성 나이 손실(906, 907)은, 도 9에서 예를 들어, 제1 속성 나이 손실(1st Lossage)(906) 및 제2 속성 나이 손실(2nd Lossage)(907)을 포함할 수 있다. 트레이닝 장치는 속성 나이 손실(906, 907)에 더 기초하여 객체 모델(410) 및 속성 레이어 중 적어도 하나를 트레이닝할 수 있다.
예를 들어, 트레이닝 장치는 객체 모델(410) 및 속성 레이어를 이용하여, 트레이닝 데이터(701)의 트레이닝 입력으로부터 속성 나이 정보를 산출할 수 있다. 트레이닝 장치는 속성 나이 정보 및 트레이닝 데이터(701)의 트레이닝 속성 나이에 기초하여 속성 나이 손실(906, 907)을 산출할 수 있다. 트레이닝 속성 나이는, 트레이닝 데이터(701)에서, 트레이닝 입력에 대해 미리 매핑된 속성 나이로서, 예를 들어 트레이닝 입력이 임의의 속성일 경우 트레이닝 입력이 가지게 되는 나이에 대한 확률을 나타낼 수 있다.
트레이닝 장치는 속성 나이 손실(906, 907)을 속성 레이어로부터 객체 모델(410)의 입력 레이어로 역전파할 수 있다. 역전파 과정은 도 8에서 상술한 바와 유사하게 수행될 수 있다.
도 10 및 도 11은 일 실시예에 따른 객체 인식이 활용되는 예시를 도시한 도면이다.
도 10은 객체 인식 장치가 사용자 인식(1040)을 수행하는 예시를 도시한다. 객체 인식 장치는 도 1 내지 도 9에서 설명한 속성에 기초한 객체 인식(1020)을 수행할 수 있고, 그 결과를 사용자 인식(1040) 및 표정 인식(1030) 등에 반영할 수 있다. 속성에 기초한 객체 인식(1020)은 예를 들어, 속성 인식(1021) 및 나이 인식(1022)을 포함할 수 있다. 예를 들어, 객체 인식 장치는 속성 인식(1021)에 기초하여, 나이 인식(1022)을 수행할 수 있다.
일 실시예에 따르면 객체 인식 장치는 사용자 로그인 시도(1010)에 응답하여, 속성 분류 정보 및 객체 나이 정보 중 적어도 하나 및 사용자 인증 관련 정보에 기초하여, 객체가 등록된 사용자에 매칭하는지 여부를 판단할 수 있다. 사용자 인증 관련 정보는, 사용자 인증을 위한 정보로서, 예를 들어, 사용자의 계정과 관련된 정보, 사용자의 생체 정보, 및 사용자의 비밀번호 등을 포함할 수 있다. 객체 인식 장치는 객체가 등록된 사용자에 매칭하는 경우에 응답하여, 사용자 로그인 시도(1010)한 사용자를 정당한 사용자로 결정할 수 있다.
또한, 객체 인식 장치는 표정 인식(1030)을 수행하는 경우, 속성에 기초한 객체 인식(1020)의 결과를 반영할 수 있다. 예를 들어, 객체 인식 장치는 정확한 나이를 추정할 수 있고, 추정된 나이를 반영하여 사용자의 표정을 보다 정확하게 인식할 수 있다.
도 11은 객체 인식 장치가 사용자에게 타겟팅된 광고를 제공하는 실시예를 설명한다.
일 실시예에 따르면 객체 인식 장치는 사용자에 의한 상품 조회(1110)를 감지할 수 있다. 객체 인식 장치는 상품 조회(1110)가 감지되는 경우에 응답하여, 속성에 기초한 나이 인식(1120)을 수행할 수 있다. 속성에 기초한 나이 인식(1120)은 상술한 바와 같이, 속성 인식(1121) 및 나이 인식(1120)을 포함할 수 있다. 객체 인식 장치는 속성에 기초한 나이 인식(1120)을 통해, 속성 분류 정보 및 객체 나이 정보를 산출할 수 있다.
객체 인식 장치는 속성에 기초한 나이 인식(1120)의 결과에 기초하여 상품 추천(1130)을 수행할 수 있다. 예를 들어, 객체 인식 장치는 속성 분류 정보 및 객체 나이 정보에 기초하여, 객체에 대응하는 사용자에게 제공되는 상품 추천 정보를 결정할 수 있다. 객체 인식 장치는 결정된 상품 추천 정보를 사용자 단말의 디스플레이 상에 시각화할 수 있다. 사용자는 상품 추천 정보에 기초하여 상품을 구매(1140)할 수 있다.
일 실시예에 따른 객체 인식 장치는 사용자의 정확한 나이를 인식함으로써, 해당 연령의 사람들이 선호하는 상품의 종류를 분석하여 추천할 수 있다.
도 12는 일 실시예에 따른 객체 인식 장치 및 객체 인식의 트레이닝 장치의 구성을 설명하는 도면이다.
도 12에 도시된 장치(1200)는 이미지 획득부(1210), 처리부(1220), 및 저장부(1230)를 포함할 수 있다. 참고로, 도 12에 도시된 장치(1200)는 객체 인식 장치 및 객체 인식의 트레이닝 장치 중 적어도 하나로서 동작할 수 있다. 예를 들어, 도 12에 도시된 장치(1200)는 도 2 내지 도 5, 도 10 및 도 11에서 설명한 객체 인식 장치로서 동작하거나, 도 6 내지 도 9에서 설명한 트레이닝 장치로서 동작할 수 있고, 더 나아가 도 2 내지 도 11에서 설명한 동작을 모두 수행하는 장치로서 동작할 수도 있다.
우선, 도 12에 도시된 장치(1200)가 객체 인식 장치인 경우의 동작을 설명한다. 객체 인식 장치는 스마트폰, 스마트 TV, 웨어러블 장치, 및 가정용 로봇 등일 수 있다.
이미지 획득부(1210)는 입력 데이터를 획득할 수 있다. 예를 들어, 이미지 획득부(1210)는 입력 데이터를 외부로부터 수신하거나, 외부를 촬영하여 영상 데이터를 획득할 수 있다.
처리부(1220)는 속성에 기반한 객체 인식을 위한 동작을 수행할 수 있다. 예를 들어, 처리부(1220)는 객체 모델을 이용하여, 객체를 포함하는 입력 데이터로부터 특징 데이터를 추출하고, 분류 레이어를 이용하여, 특징 데이터로부터 입력 데이터에 대한 속성 분류 정보를 산출하며, 속성 레이어를 이용하여, 특징 데이터로부터 속성과 연관된 속성 나이 정보를 산출하고, 속성 분류 정보 및 속성 나이 정보에 기초하여 객체의 객체 나이 정보를 추정할 수 있다. 또한, 처리부(1220)는 도 2 내지 도 5, 도 10 및 도 11에서 설명한 동작들을 수행할 수 있다.
저장부(1230)는 객체 인식 네트워크 구조를 저장할 수 있다. 예를 들어, 저장부(1230)는 객체 모델, 속성 레이어, 및 분류 레이어를 저장할 수 있고, 레이어의 각각에 포함된 노드들을 연결하는 연결 가중치들을 저장할 수 있다.
하기에서는, 도 12에 도시된 장치(1200)가 트레이닝 장치인 경우의 동작을 설명한다.
이미지 획득부(1210)는 트레이닝 데이터를 획득할 수 있다. 예를 들어, 이미지 획득부(1210)는 저장부(1230)에 미리 저장되어 있던 트레이닝 데이터를 획득하거나, 외부로부터 수신할 수 있다.
처리부(1220)는 객체 인식 네트워크 구조를 트레이닝시키기 위한 동작을 수행할 수 있다. 예를 들어, 처리부(1220)는 객체 인식 네트워크 구조가 트레이닝 입력으로부터 트레이닝 출력을 출력하도록 트레이닝시킬 수 있다.
저장부(1230)는 트레이닝이 완료된 객체 인식 네트워크 구조를 저장할 수 있다. 또한, 저장부(1230)는 트레이닝이 진행 중인 객체 인식 네트워크 구조도 저장할 수 있다.
일 실시예에 따른 객체 인식 장치는 단일 네트워크를 이용하므로, 소요되는 메모리 크기가 작고, 연산 부하도 작으며, 연산 속도도 빠를 수 있다. 또한, 객체 인식 장치에서 사용되는 객체 인식 네트워크 구조는, 속성 레이어 및 분류 레이어를 독립적으로 트레이닝시킴으로써, 나이 인식률이 개선될 수 있다. 예를 들어, 객체 인식 장치는 성별에 따라 특화된 파라미터를 속성 레이어 및 분류 레이어에 대해 트레이닝시킬 수 있다.
일 실시예에 따른 객체 인식 장치는 스마트폰에도 적용될 수 있으며, 스마트폰에서 얼굴 인식에 기반한 언락(Unlock based on face recognition), ID 인증 및 표정, 성별, 나이 인식 등을 동시에 수행할 경우, 주어진 짧은 시간 안에 좋은 인식률을 나타낼 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 입력 이미지
110: 객체 모델
111: 입력 레이어
112: 히든 레이어
120: 제1 속성 레이어
130: 제2 속성 레이어
140: 분류 레이어
109: 객체 나이 정보

Claims (20)

  1. 객체 인식 방법에 있어서,
    객체 모델(object model)을 이용하여, 객체(object)를 포함하는 입력 데이터(input data)로부터 특징 데이터(feature data)를 추출(extract)하는 단계;
    분류 레이어(classification layer)를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 대한 속성 분류 정보(attribute classification information)를 산출(calculate)하는 단계;
    속성 레이어(attribute layer)를 이용하여, 상기 특징 데이터로부터 속성과 연관된 속성 나이 정보(attribute age information)를 산출하는 단계; 및
    상기 속성 분류 정보 및 속성 나이 정보에 기초하여 상기 객체의 객체 나이 정보(object age information)를 추정(estimate)하는 단계
    를 포함하는 객체 인식 방법.
  2. 제1항에 있어서,
    상기 속성 분류 정보를 산출하는 단계는,
    복수의 속성들의 각각에 대해, 상기 입력 데이터에 포함된 객체가 해당 속성일 확률을 산출하는 단계
    를 포함하는 객체 인식 방법.
  3. 제1항에 있어서,
    상기 속성 나이 정보를 산출하는 단계는,
    복수의 나이들(ages)의 각각에 대해, 상기 속성을 가지는 객체가 해당 나이에 속하는 확률을 산출하는 단계
    를 포함하는 객체 인식 방법.
  4. 제1항에 있어서,
    상기 객체 나이 정보를 추정하는 단계는,
    복수의 속성들의 각각에 대해 산출된, 상기 객체가 해당 속성일 확률 및 해당 속성을 가지는 객체가 각각의 나이에 속하는 확률에 기초하여 상기 객체 나이 정보를 추정하는 단계
    를 포함하는 객체 인식 방법.
  5. 제1항에 있어서,
    상기 속성 나이 정보를 산출하는 단계는,
    복수의 속성 레이어들의 각각에 지정된 속성과 연관된 속성 나이 정보를, 상기 특징 데이터로부터 해당 속성 레이어를 이용하여 산출하는 단계
    를 포함하는 객체 인식 방법.
  6. 제1항에 있어서,
    사용자 로그인 시도에 응답하여, 상기 속성 분류 정보 및 상기 객체 나이 정보 중 적어도 하나 및 사용자 인증 관련 정보에 기초하여, 상기 객체가 등록된 사용자에 매칭하는지 여부를 판단하는 단계
    를 더 포함하는 객체 인식 방법.
  7. 제1항에 있어서,
    상기 속성 분류 정보 및 상기 객체 나이 정보에 기초하여, 상기 객체에 대응하는 사용자에게 제공되는 상품 추천 정보를 결정하는 단계; 및
    상기 결정된 상품 추천 정보를 사용자 단말의 디스플레이 상에 시각화하는 단계
    를 더 포함하는 객체 인식 방법.
  8. 제1항에 있어서,
    상기 속성 분류 정보를 산출하는 단계는,
    상기 분류 레이어를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 포함된 객체가 속하는 성별에 대한 확률을 산출하는 단계
    를 포함하고,
    상기 속성 나이 정보를 산출하는 단계는,
    상기 속성 레이어를 이용하여, 성별의 각각에 대해, 상기 특징 데이터로부터 해당 성별을 가지는 객체가 나이에 속할 확률을 산출하는 단계
    를 포함하며,
    상기 객체 나이 정보를 추정하는 단계는,
    상기 객체가 속하는 성별에 대한 확률, 및 성별의 각각에 대해 상기 객체가 나이에 속할 확률에 기초하여 상기 객체 나이 정보를 추정하는 단계
    를 포함하는 객체 인식 방법.
  9. 제1항에 있어서,
    상기 속성 분류 정보를 산출하는 단계는,
    상기 분류 레이어를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 포함된 객체가 속하는 인종에 대한 확률을 산출하는 단계
    를 포함하고,
    상기 속성 나이 정보를 산출하는 단계는,
    상기 속성 레이어를 이용하여, 인종의 각각에 대해, 상기 특징 데이터로부터 해당 인종을 가지는 객체가 나이에 속할 확률을 산출하는 단계
    를 포함하며,
    상기 객체 나이 정보를 추정하는 단계는,
    상기 객체가 속하는 인종에 대한 확률, 및 인종의 각각에 대해 상기 객체가 나이에 속할 확률에 기초하여 상기 객체 나이 정보를 추정하는 단계
    를 포함하는 객체 인식 방법.
  10. 제1항에 있어서,
    상기 객체 모델은,
    복수의 레이어를 포함하는 뉴럴 네트워크를 포함하고,
    상기 복수의 레이어의 각각은 복수의 노드를 포함하는,
    객체 인식 방법.
  11. 객체 인식용 뉴럴 네트워크 트레이닝 방법에 있어서,
    객체 모델 및 상기 객체 모델과 연결된 분류 레이어를 이용하여, 트레이닝 데이터로부터 속성 분류 손실을 산출하는 단계;
    상기 객체 모델, 상기 분류 레이어, 및 상기 객체 모델과 연결된 속성 레이어를 이용하여, 상기 트레이닝 데이터로부터 객체 나이 손실을 산출하는 단계; 및
    상기 속성 분류 손실 및 상기 객체 나이 손실에 기초하여 상기 객체 모델, 상기 속성 레이어, 및 상기 분류 레이어를 트레이닝하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  12. 제11항에 있어서,
    상기 속성 분류 손실을 산출하는 단계는,
    객체 모델 및 분류 레이어를 이용하여, 상기 트레이닝 데이터의 트레이닝 입력으로부터 상기 속성 분류 정보를 산출하는 단계; 및
    상기 속성 분류 정보 및 트레이닝 분류에 기초하여 상기 속성 분류 손실을 산출하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  13. 제11항에 있어서,
    객체 모델 및 속성 레이어를 이용하여, 트레이닝 데이터로부터 속성 나이 손실(attribute age loss)을 산출하는 단계
    를 더 포함하고,
    상기 트레이닝하는 단계는,
    상기 속성 나이 손실에 더 기초하여 상기 객체 모델 및 상기 속성 레이어 중 적어도 하나를 트레이닝하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  14. 제13항에 있어서,
    상기 속성 나이 손실을 산출하는 단계는,
    상기 객체 모델 및 상기 속성 레이어를 이용하여, 상기 트레이닝 데이터의 트레이닝 입력으로부터 속성 나이 정보를 산출하는 단계; 및
    상기 속성 나이 정보 및 상기 트레이닝 데이터의 트레이닝 속성 나이에 기초하여 상기 속성 나이 손실을 산출하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  15. 제13항에 있어서,
    상기 속성 나이 손실에 더 기초하여 상기 객체 모델 및 상기 속성 레이어 중 적어도 하나를 트레이닝하는 단계는,
    상기 속성 나이 손실을 상기 속성 레이어로부터 상기 객체 모델의 입력 레이어로 역전파 하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  16. 제11항에 있어서,
    상기 객체 나이 손실을 산출하는 단계는,
    상기 분류 레이어를 이용하여 산출된 속성 분류 정보 및 상기 속성 레이어를 이용하여 산출된 속성 나이 정보에 기초하여 상기 객체 나이 손실을 산출하는 단계
    를 포함하고,
    상기 트레이닝하는 단계는,
    상기 객체 나이 손실을 상기 속성 레이어 및 상기 분류 레이어 중 적어도 하나로부터 상기 객체 모델의 입력 레이어로 역전파 하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  17. 제11항에 있어서,
    상기 트레이닝하는 단계는,
    상기 속성 분류 손실을 상기 분류 레이어로부터 상기 객체 모델의 입력 레이어로 역전파 하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  18. 제11항에 있어서,
    상기 트레이닝하는 단계는,
    상기 객체 모델을 구성하는 복수의 레이어들의 각각의 노드를 연결하는 연결 가중치를 업데이트하는 단계
    를 포함하는 객체 인식의 트레이닝 방법.
  19. 제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
  20. 객체 인식 장치에 있어서,
    객체 모델을 이용하여, 객체를 포함하는 입력 데이터로부터 특징 데이터를 추출하고, 분류 레이어를 이용하여, 상기 특징 데이터로부터 상기 입력 데이터에 대한 속성 분류 정보를 산출하며, 속성 레이어를 이용하여, 상기 특징 데이터로부터 속성과 연관된 속성 나이 정보를 산출하고, 상기 속성 분류 정보 및 속성 나이 정보에 기초하여 상기 객체의 객체 나이 정보를 추정하는 처리부
    를 포함하는 객체 인식 장치.
KR1020160145151A 2016-11-02 2016-11-02 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치 KR102308871B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160145151A KR102308871B1 (ko) 2016-11-02 2016-11-02 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치
US15/595,997 US10558912B2 (en) 2016-11-02 2017-05-16 Method and apparatus to recognize object based on attribute of object and train

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160145151A KR102308871B1 (ko) 2016-11-02 2016-11-02 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180048058A true KR20180048058A (ko) 2018-05-10
KR102308871B1 KR102308871B1 (ko) 2021-10-05

Family

ID=62022437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160145151A KR102308871B1 (ko) 2016-11-02 2016-11-02 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치

Country Status (2)

Country Link
US (1) US10558912B2 (ko)
KR (1) KR102308871B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200022739A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
WO2022145787A1 (ko) * 2021-01-04 2022-07-07 오드컨셉 주식회사 마스크를 기반으로 하는 다중 레이블 분류 방법 및 장치
KR102480557B1 (ko) * 2022-03-15 2022-12-23 주식회사 플라츠 사용자 입력 키워드 및 인공지능에 기반한 모델링 이미지 추천 모델 생성 장치
KR20230000390A (ko) * 2021-06-24 2023-01-02 수퍼빈 주식회사 객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407914A (zh) * 2017-08-18 2019-03-01 阿里巴巴集团控股有限公司 用户特征识别方法、装置、设备、介质和操作系统
CN109598176A (zh) * 2017-09-30 2019-04-09 佳能株式会社 识别装置和识别方法
CN107742107B (zh) * 2017-10-20 2019-03-01 北京达佳互联信息技术有限公司 人脸图像分类方法、装置及服务器
CN108734127B (zh) * 2018-05-21 2021-01-05 深圳市梦网科技发展有限公司 年龄识别值调整方法、装置、设备及存储介质
CN110580489B (zh) * 2018-06-11 2023-08-04 阿里巴巴集团控股有限公司 一种数据对象的分类系统、方法以及设备
CN109086680A (zh) * 2018-07-10 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
KR102695522B1 (ko) * 2018-10-17 2024-08-14 삼성전자주식회사 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법
CN110163238B (zh) * 2018-12-13 2023-04-07 腾讯科技（深圳）有限公司 一种信息预测的方法、模型训练的方法以及服务器
CN111832354A (zh) * 2019-04-19 2020-10-27 北京字节跳动网络技术有限公司 目标对象年龄识别方法、装置及电子设备
EP3779799A1 (en) * 2019-08-14 2021-02-17 Robert Bosch GmbH Method and system for reliable classification using a neural network
CN112446257A (zh) 2019-09-02 2021-03-05 株式会社Ntt都科摩 基于神经网络的属性识别装置、方法和存储介质
US11443187B2 (en) 2019-10-07 2022-09-13 Wipro Limited Method and system for improving classifications performed by an artificial neural network (ANN) model
US11651621B2 (en) 2019-10-23 2023-05-16 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device
US11584377B2 (en) * 2019-11-21 2023-02-21 Gm Cruise Holdings Llc Lidar based detection of road surface features
CN111178128B (zh) * 2019-11-22 2024-03-19 北京迈格威科技有限公司 图像识别方法、装置、计算机设备和存储介质
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111428671A (zh) * 2020-03-31 2020-07-17 杭州博雅鸿图视频技术有限公司 人脸结构化信息识别方法、系统、装置及存储介质
WO2022038736A1 (ja) * 2020-08-20 2022-02-24 日本電信電話株式会社 年齢推定モデル学習装置、年齢推定モデル学習方法、プログラム
CN115545088B (zh) * 2022-02-22 2023-10-24 北京百度网讯科技有限公司 模型构建方法、分类方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130223694A1 (en) * 2011-09-27 2013-08-29 Karl Ricanek, JR. Demographic Analysis of Facial Landmarks
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
KR20160027576A (ko) * 2014-09-01 2016-03-10 유형근 얼굴인식형 인터랙티브 디지털 사이니지장치
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257585A (ja) 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2010020666A (ja) 2008-07-14 2010-01-28 Seiko Epson Corp 広告効果計測システム、広告効果計測装置、広告効果計測装置の制御方法およびそのプログラム
JP5827225B2 (ja) 2010-06-21 2015-12-02 ポーラ化成工業株式会社 年齢の推定方法
KR101216155B1 (ko) 2010-12-22 2012-12-28 경기대학교 산학협력단 소셜 검색 시스템 및 방법
JP5923723B2 (ja) 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
KR101216123B1 (ko) 2011-07-08 2012-12-27 김호 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
US9311564B2 (en) 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
KR20160072621A (ko) 2014-12-15 2016-06-23 엘지전자 주식회사 학습과 추론이 가능한 로봇 서비스 시스템
US11188823B2 (en) * 2016-05-31 2021-11-30 Microsoft Technology Licensing, Llc Training a neural network using another neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130223694A1 (en) * 2011-09-27 2013-08-29 Karl Ricanek, JR. Demographic Analysis of Facial Landmarks
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
KR20160027576A (ko) * 2014-09-01 2016-03-10 유형근 얼굴인식형 인터랙티브 디지털 사이니지장치
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200022739A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
WO2022145787A1 (ko) * 2021-01-04 2022-07-07 오드컨셉 주식회사 마스크를 기반으로 하는 다중 레이블 분류 방법 및 장치
KR20230000390A (ko) * 2021-06-24 2023-01-02 수퍼빈 주식회사 객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102480557B1 (ko) * 2022-03-15 2022-12-23 주식회사 플라츠 사용자 입력 키워드 및 인공지능에 기반한 모델링 이미지 추천 모델 생성 장치

Also Published As

Publication number Publication date
US20180121748A1 (en) 2018-05-03
US10558912B2 (en) 2020-02-11
KR102308871B1 (ko) 2021-10-05

Similar Documents

Publication Publication Date Title
KR102308871B1 (ko) 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치
KR102564857B1 (ko) 데이터 인식 및 트레이닝 장치 및 방법
US11715011B2 (en) Neural network based recognition apparatus and method of training neural network
KR102564855B1 (ko) 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법
US11544535B2 (en) Graph convolutional networks with motif-based attention
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
KR20230021043A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
CN111695415A (zh) 图像识别模型的构建方法、识别方法及相关设备
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
US20130177235A1 (en) Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations
KR20160061856A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20180045635A (ko) 뉴럴 네트워크 간소화 방법 및 장치
US20180157892A1 (en) Eye detection method and apparatus
CN112200266B (zh) 基于图结构数据的网络训练方法、装置以及节点分类方法
KR20190072314A (ko) 객체를 인식하는 장치 및 방법
US20200410709A1 (en) Location determination apparatus, location determination method and computer program
KR102539679B1 (ko) 사용자의 경로를 이용하여 사용자 맞춤형 장소 추천 방법, 장치 및 시스템
CN113505924A (zh) 一种基于级联时空特征的信息传播预测方法及系统
JP2019204505A (ja) オブジェクト検出装置及び方法及び記憶媒体
EP3832542A1 (en) Device and method with sensor-specific image recognition
KR20170057118A (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
Zhou et al. A dendritic neuron model for exchange rate prediction
Botzheim et al. Extraction of daily life log measured by smart phone sensors using neural computing
Laskar et al. Artificial Neural Networks and Gene Expression Programing based age estimation using facial features
CN115759284A (zh) 智能体的训练方法、计算机设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant