KR20240023905A - 편집된 인공 신경망을 이용한 데이터 처리 방법 - Google Patents

편집된 인공 신경망을 이용한 데이터 처리 방법 Download PDF

Info

Publication number
KR20240023905A
KR20240023905A KR1020220102185A KR20220102185A KR20240023905A KR 20240023905 A KR20240023905 A KR 20240023905A KR 1020220102185 A KR1020220102185 A KR 1020220102185A KR 20220102185 A KR20220102185 A KR 20220102185A KR 20240023905 A KR20240023905 A KR 20240023905A
Authority
KR
South Korea
Prior art keywords
neural network
artificial neural
layer
edited
data
Prior art date
Application number
KR1020220102185A
Other languages
English (en)
Inventor
최홍섭
정인성
조면철
Original Assignee
주식회사 맨드언맨드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맨드언맨드 filed Critical 주식회사 맨드언맨드
Priority to KR1020220102185A priority Critical patent/KR20240023905A/ko
Priority to PCT/KR2023/008939 priority patent/WO2024039048A1/ko
Publication of KR20240023905A publication Critical patent/KR20240023905A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사전 학습된 적어도 하나의 인공 신경망의 적어도 일부 레이어로 구성되는 편집된 인공 신경망을 이용한 데이터 처리 방법에 관한 것이다. 또한 본 발명은 편집된 인공 신경망을 학습시키는 방법에 관한 것이다.

Description

편집된 인공 신경망을 이용한 데이터 처리 방법{Data processing method using edited artificial neural network}
본 발명은 사전 학습된 적어도 하나의 인공 신경망의 적어도 일부 레이어로 구성되는 편집된 인공 신경망을 이용한 데이터 처리 방법에 관한 것이다. 또한 본 발명은 편집된 인공 신경망을 학습시키는 방법에 관한 것이다.
정보통신 기술의 발달로 많은 분야에 인공지능의 도입이 이루어지고 있다. 가령 영상에서 객체를 인식하거나, 영상을 설명하는 과정에 있어서 인공지능이 사용되고 있다.
한편 인공지능 기술의 도입을 위해서는 개별 목적 별로 인공 신경망의 학습이 필요하다. 가령 영상에서 객체를 인식하는 과정에 인공 신경망을 사용하기 위해서는 인식하고자 하는 객체를 포함하는 영상과 해당 영상에서의 객체의 위치 객체의 클래스 정보 등이 포함된 학습 데이터를 이용하여 인공 신경망을 학습 한다.
이와 같은 과정을 통하여 학습된 인공 신경망은 그 출력의 유사성이 있음에도 불구하고 해당 학습 목적을 위해서만 사용될 수 있을 뿐이고, 다른 목적을 위해 사용되거나 전용되기는 어려운 한계가 있었다. 가령 영상에서 객체를 인식하기 위해 학습된 인공 신경망은 영상에서 객체를 인식할 때만 사용될 수 있을 뿐 영상 내 객체의 행동을 묘사하는 등의 다른 목적을 위해 사용되기는 어려운 측면이 있었다.
따라서 인공 신경망의 개발에 있어서 사전 학습된 유사 인공 신경망의 학습 결과를 사용할 수 있도록 하는 방안의 필요성이 대두되고 있다.
본 발명은 신규 인공 신경망의 개발에 있어서 사전 학습된 유사 인공 신경망의 학습 결과를 사용할 수 있도록 하고자 한다.
특히 본 발명은 사전 학습된 인공 신경망의 목적과 차이가 크지 않은 목적의 인공 신경망의 개발에 있어서 사전 학습된 인공 신경망의 일부 구성요소를 사용할 수 있도록 하고자 한다.
또한 본 발명은 사전 학습된 복수의 인공 신경망을 이용하여 복수의 프레임으로 구성되는 영상에 대한 시맨틱 로그를 생성하는 편집된 인공 신경망을 구성하고, 이를 이용하여 시맨틱 로그를 생성하고자 한다.
본 발명의 일 실시예에 따른 사전 학습된 적어도 하나의 인공 신경망의 적어도 일부 레이어로 구성되는 편집된 인공 신경망을 이용한 데이터 처리 방법은, 입력 데이터를 획득하는 단계; 및 편집된 인공 신경망에 상기 입력 데이터를 입력하여 출력 데이터를 생성하는 단계;를 포함할 수 있다. 이때 상기 편집된 인공 신경망은 사전 학습된 적어도 하나의 인공 신경망을 구성하는 적어도 하나의 레이어를 이용한 것으로, 상기 입력 데이터를 해석하는 적어도 하나의 제1 레이어; 및 상기 적어도 하나의 제1 레이어의 상기 입력 데이터의 해석 결과로부터 상기 편집된 인공 신경망의 목적에 따른 결론을 도출하는 적어도 하나의 제3 레이어;를 포함하고, 상기 사전 학습된 적어도 하나의 인공 신경망 각각은 입력 데이터를 해석하는 적어도 하나의 해석 레이어와 상기 해석 레이어의 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어를 포함하고, 상기 적어도 하나의 제1 레이어는 상기 사전 학습된 적어도 하나의 인공 신경망 각각의 적어도 하나의 해석 레이어를 포함할 수 있다.
상기 편집된 인공 신경망은 상기 사전 학습된 적어도 하나의 인공 신경망 각각의 상기 입력 데이터의 해석 결과를 병합하고, 병합된 해석 결과 중 집중이 필요한 요소를 선별하여 상기 적어도 하나의 제3 레이어에 전달하는 적어도 하나의 제2 레이어;를 더 포함할 수 있다.
상기 인공 신경망을 이용한 데이터 처리 방법은 상기 출력 데이터를 획득하는 단계 이전에, 학습 데이터를 이용하여 상기 편집된 인공 신경망을 학습시키는 단계;를 더 포함할 수 있다. 이때 상기 학습시키는 단계는 상기 편집된 인공 신경망에 상기 학습 데이터에 포함되는 학습용 입력 데이터가 입력됨에 따라 출력되는 출력 데이터가 상기 학습 데이터에 포함되는 학습용 출력 데이터에 근접하도록 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터를 갱신하는 단계;를 포함할 수 있다.
상기 갱신하는 단계는 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터를 갱신하는 과정에 있어서 상기 적어도 하나의 제1 레이어를 구성하는 적어도 하나의 파라미터 및 상기 적어도 하나의 제3 레이어를 구성하는 적어도 하나의 파라미터를 갱신하지 않을 수 있다.
상기 학습시키는 단계는 상기 갱신하는 단계 이후에, 상기 학습 데이터를 이용하여 상기 적어도 하나의 제1 레이어를 구성하는 적어도 하나의 파라미터, 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터 및 상기 적어도 하나의 제3 레이어를 구성하는 적어도 하나의 파라미터를 갱신하는 단계;를 더 포함할 수 있다.
상기 편집된 인공 신경망은 연속하는 복수의 프레임을 병합한 병합 프레임과 상기 병합 프레임 내에서의 관심 영역이 상기 입력 데이터로써 입력됨에 따라 상기 병합 프레임의 생성에 사용된 둘 이상의 병합 대상 프레임의 상기 관심 영역에 상응하는 영역을 묘사하는 텍스트를 상기 출력 데이터로써 생성하는 신경망일 수 있다. 이때 상기 사전 학습된 적어도 하나의 인공 신경망은 입력 이미지 내의 적어도 하나의 객체를 인식하고 인식된 적어도 하나의 객체의 인식 정보를 출력하는 제1 신경망, 상기 입력 이미지와 상기 입력 이미지 내의 관심 영역이 입력 됨에 따라 상기 입력 이미지 내의 상기 관심 영역을 묘사하는 텍스트를 출력하는 제2 신경망 및 상기 입력 이미지가 입력 됨에 따라 상기 입력 이미지에 상응하는 깊이 이미지를 출력하는 제3 신경망을 포함할 수 있다.
본 발명의 일 실시예에 따른 사전 학습된 적어도 하나의 인공 신경망의 적어도 일부 레이어로 구성되는 편집된 인공 신경망을 이용한 데이터 처리 장치는, 입력 데이터를 획득하고, 편집된 인공 신경망에 상기 입력 데이터를 입력하여 출력 데이터를 생성할 수 있다.
상기 편집된 인공 신경망은 사전 학습된 적어도 하나의 인공 신경망을 구성하는 적어도 하나의 레이어를 이용한 것으로, 상기 입력 데이터를 해석하는 적어도 하나의 제1 레이어; 및 상기 적어도 하나의 제1 레이어의 상기 입력 데이터의 해석 결과로부터 상기 편집된 인공 신경망의 목적에 따른 결론을 도출하는 적어도 하나의 제3 레이어;를 포함할 수 있다.
상기 사전 학습된 적어도 하나의 인공 신경망 각각은 입력 데이터를 해석하는 적어도 하나의 해석 레이어와 상기 해석 레이어의 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어를 포함하고, 상기 적어도 하나의 제1 레이어는 상기 사전 학습된 적어도 하나의 인공 신경망 각각의 적어도 하나의 해석 레이어를 포함할 수 있다.
상기 편집된 인공 신경망은 상기 사전 학습된 적어도 하나의 인공 신경망 각각의 상기 입력 데이터의 해석 결과를 병합하고, 병합된 해석 결과 중 집중이 필요한 요소를 선별하여 상기 적어도 하나의 제3 레이어에 전달하는 적어도 하나의 제2 레이어;를 더 포함할 수 있다.
상기 장치는 학습 데이터를 이용하여 상기 편집된 인공 신경망을 학습시키되, 기 편집된 인공 신경망에 상기 학습 데이터에 포함되는 학습용 입력 데이터가 입력됨에 따라 출력되는 출력 데이터가 상기 학습 데이터에 포함되는 학습용 출력 데이터에 근접하도록 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터를 갱신할 수 있다.
상기 장치는 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터를 갱신하는 과정에 있어서 상기 적어도 하나의 제1 레이어를 구성하는 적어도 하나의 파라미터 및 상기 적어도 하나의 제3 레이어를 구성하는 적어도 하나의 파라미터를 갱신하지 않을 수 있다.
상기 장치는 상기 학습 데이터를 이용하여 상기 적어도 하나의 제1 레이어를 구성하는 적어도 하나의 파라미터, 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터 및 상기 적어도 하나의 제3 레이어를 구성하는 적어도 하나의 파라미터를 갱신할 수 있다.
상기 편집된 인공 신경망은 연속하는 복수의 프레임을 병합한 병합 프레임과 상기 병합 프레임 내에서의 관심 영역이 상기 입력 데이터로써 입력됨에 따라 상기 병합 프레임의 생성에 사용된 둘 이상의 병합 대상 프레임의 상기 관심 영역에 상응하는 영역을 묘사하는 텍스트를 상기 출력 데이터로써 생성하는 신경망일 수 있다.
상기 사전 학습된 적어도 하나의 인공 신경망은 입력 이미지 내의 적어도 하나의 객체를 인식하고 인식된 적어도 하나의 객체의 인식 정보를 출력하는 제1 신경망, 상기 입력 이미지와 상기 입력 이미지 내의 관심 영역이 입력 됨에 따라 상기 입력 이미지 내의 상기 관심 영역을 묘사하는 텍스트를 출력하는 제2 신경망 및 상기 입력 이미지가 입력 됨에 따라 상기 입력 이미지에 상응하는 깊이 이미지를 출력하는 제3 신경망을 포함할 수 있다.
본 발명에 따르면 신규 인공 신경망의 개발에 있어서 사전 학습된 유사 인공 신경망의 학습 결과를 사용할 수 있다.
특히 본 발명은 사전 학습된 인공 신경망의 목적과 차이가 크지 않은 목적의 인공 신경망의 개발에 있어서 사전 학습된 인공 신경망의 일부 구성요소를 사용할 수 있다.
또한 본 발명은 사전 학습된 복수의 인공 신경망을 이용하여 복수의 프레임으로 구성되는 영상에 대한 시맨틱 로그를 생성하는 편집된 인공 신경망을 구성하고, 이를 이용하여 시맨틱 로그를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 로깅 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버(100)의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 편집된 인공 신경망(600)의 일반적 구성을 설명하기 위한 도면이다.
도 4는 사전 학습된 제1 인공 신경망(600A)의 구성을 도시한 도면이다.
도 5는 사전 학습된 제2 인공 신경망(600B)의 구성을 도시한 도면이다.
도 6은 사전 학습된 제3 인공 신경망(600C)의 구성을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 편집된 인공 신경망(800)의 구성을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 서버(100)가 복수의 학습 데이터(750)를 이용하여 인공 신경망(800)을 학습하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 서버(100)가 학습된 편집된 인공 신경망(800)을 이용하여 출력 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 인공 신경망을 이용한 데이터 처리 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타났었음으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 로깅 시스템의 구성을 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 영상 로깅 시스템은 사전 학습된 적어도 하나의 인공 신경망의 적어도 일부 레이어로 구성되는 편집된 인공 신경망을 이용하여 영상에 대한 시맨틱 로그를 생성할 수 있다. 가령 본 발명의 일 실시예에 따른 영상 로깅 시스템은 입력 이미지 내의 적어도 하나의 객체를 인식하고 인식된 적어도 하나의 객체의 인식 정보를 출력하는 제1 신경망의 적어도 일부 레이어, 입력 이미지와 입력 이미지 내의 관심 영역이 입력 됨에 따라 입력 이미지 내의 관심 영역을 묘사하는 텍스트를 출력하는 제2 신경망의 적어도 일부 레이어 및 입력 이미지가 입력 됨에 따라 입력 이미지에 상응하는 깊이 이미지를 출력하는 제3 신경망의 적어도 일부 레이어로 구성되는 편집된 인공 신경망을 이용하여 영상에 대한 시맨틱 로그를 생성할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 영상 로깅 시스템은 복수의 프레임으로 구성되는 영상에 대한 시맨틱 로그를 생성할 수 있다. 가령 본 발명의 일 실시예에 따른 영상 로깅 시스템은 복수의 프레임을 병합하여 병합 프레임을 생성하고, 학습된 인공 신경망을 이용하여 병합 프레임을 생성하는데 사용된 복수의 프레임을 묘사하는 텍스트를 생성할 수 있다.
본 발명에서 '영상'은 복수의 프레임으로 구성되는 이미지 콘텐츠를 의미할 수 있다. 이때 '프레임'은 개별 장면을 묘사하는 정지된 영상을 의미할 수 있다. 가령 영상은 25fps의 프레임 레이트를 갖는 영상일 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 영상에 대한 '시맨틱 로그'는 해당 영상의 의미 및/또는 내용을 설명하거나 묘사하는 객체를 의미할 수 있다. 가령 시맨틱 로그는 영상의 내용을 설명하는 텍스트를 의미할 수도 있고, 영상 내의 상황을 묘사하는 텍스트를 의미할 수도 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 본 명세서에서 시맨틱 로그는 때때로 '병합 대상 프레임을 묘사하는 텍스트'로도 설명될 수 있다.
본 발명에서 '인공 신경망'은 소프트웨어적으로 인간의 뉴런 구조를 본떠 만든 기계학습 모델로써, 적어도 하나의 레이어로 구성될 수 있다. 한편 본 발명에서 인공 신경망은 입력된 데이터를 해석하는 적어도 하나의 해석 레이어와 해석 레이어의 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어를 포함할 수 있다. 물론 인공 신경망은 적어도 하나의 해석 레이어의 해석 결과를 적어도 하나의 결론 레이어 사이에서 해석 결과를 전달하는 적어도 하나의 레이어를 더 포함할 수도 있다.
본 발명에서 '사전 학습된 적어도 하나의 인공 신경망'은 인공 신경망이 소정의 목적에 따라 동작하도록 학습 데이터 및/또는 학습 과정에 기반하여 인공 신경망을 구성하는 가중치 및/또는 전달 함수의 계수가 미리 설정된 것을 의미할 수 있다. 가령 입력 이미지 내의 적어도 하나의 객체를 인식하고 인식된 적어도 하나의 객체의 인식 정보를 출력하는 신경망이 '사전 학습되었음'은 인공 신경망을 구성하는 가중치 및/또는 전달 함수의 계수가 이미지가 입력됨에 따라 해당 이미지 내에서 인식된 객체의 위치 좌표 및 종류(클래스)를 출력하도록 미리 설정된 것을 의미할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 한정되는 것은 아니다.
본 발명에서 '편집된 인공 신경망'은 인공 신경망을 구성하는 적어도 일부 레이어가 다른 인공 신경망을 구성하는 레이어로부터 유래된 신경망을 의미할 수 있다. 가령 편집된 인공 신경망은 사전 학습된 적어도 하나의 인공 신경망의 입력 데이터를 해석하는 적어도 하나의 레이어로부터 유래된 적어도 하나의 레이어를 포함할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 명세서에서는 예시적으로 편집된 인공 신경망이 영상에 대한 시맨틱 로그를 생성하는데 사용되는 실시예를 중심으로 설명하지만, 본 발명의 사상이 이에 한정되는 것은 아니다. 따라서 편집된 인공 신경망을 이용하여 입력 데이터로부터 출력 데이터를 생성하는 다양한 과정이 본 발명에 해당할 수 있다.
본 발명의 일 실시예에 따른 영상 로깅 시스템은 도 1에 도시된 바와 같이 서버(100), 영상 획득 장치(200), 영상 저장 장치(300) 및 네트워크(400)를 포함할 수 있다.
본 발명의 일 실시예에 따른 서버(100)는 영상 획득 장치(200) 및/또는 영상 저장 장치(300)로부터 복수의 프레임으로 구성되는 영상을 수신하고, 수신된 영상에 대한 시맨틱 로그를 생성할 수 있다. 가령 본 발명의 일 실시예에 따른 서버(100)는 영상 획득 장치(200)가 획득하여 영상 저장 장치(300)에 저장된 영상을 영상 저장 장치(300)로부터 수신하고, 수신된 영상에 대한 시맨틱 로그를 생성하여 영상 저장 장치(300)에 전송할 수 있다. 이때 서버(100)는 편집된 인공 신경망을 이용하여 영상에 대한 시맨틱 로그를 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 서버(100)의 구성을 개략적으로 도시한 도면이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신부(110), 제1 프로세서(120), 메모리(130) 및 제2 프로세서(140)를 포함할 수 있다. 또한 도면에는 도시 되지 않았으나, 본 발명의 일 실시예에 따른 서버(100)는 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다.
통신부(110)는 서버(100)가 영상 획득 장치(200) 및/또는 영상 저장 장치(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
제1 프로세서(120)는 영상 획득 장치(200) 및/또는 영상 저장 장치(300)로부터 수신된 영상으로부터 시맨틱 로그를 생성하는 일련의 과정을 제어하는 장치일 수 있다.
이때 프로세서(Processor)는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(130)는 서버(100)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 가령 메모리(130)는 영상 획득 장치(200) 및/또는 영상 저장 장치(300)로부터 수신된 영상을 일시적 및/또는 영구적으로 저장할 수 있다.
제2 프로세서(140)는 전술한 제1 프로세서(120)의 제어에 따라 연산을 수행하는 장치를 의미할 수 있다. 이때 제2 프로세서(140)는 전술한 제1 프로세서(120)보다 높은 연산 능력을 갖는 장치일 수 있다. 가령 제2 프로세서(140)는 GPU(Graphics Processing Unit)로 구성될 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 본 발명의 일 실시예에서, 제2 프로세서(140)는 복수일 수도 있고, 단수일 수도 있다.
본 발명의 일 실시예에서 제2 프로세서(140)는 서버(100)에 의해 구현되는 편집된 인공 신경망이 연산에 사용하는 리소스를 제공할 수 있다. 가령 제2 프로세서(140)는 병합 프레임으로부터 병합 대상 프레임을 묘사하는 텍스트, 즉 시맨틱 로그를 생성하는 편집된 인공 신경망이 연산에 사용하는 리소스를 제공할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 인공 신경망에 대한 상세한 설명은 후술한다.
본 발명의 일 실시예에 따른 영상 획득 장치(200)는 주변 환경에 대한 영상을 획득하고 이를 다른 장치(예를 들어 영상 저장 장치(300) 및/또는 서버(100))에 전송하는 장치일 수 있다.
도 1에 도시된 바와 같이 영상 획득 장치(200)는 팬, 틸트 및 줌이 가능한 타입일 수도 있고, 화각이 고정된 타입일 수도 있다. 다만 이는 예시적인것으로, 환경에 대한 영상을 획득하고 이를 전송하는 장치라면 본 발명에서 설명하는 영상 획득 장치(200)에 해당할 수 있다.
본 발명의 일 실시예에 따른 영상 저장 장치(300)는 다양한 장치로부터 수신된 영상을 저장하고, 사용자 단말(미도시)의 요청에 따라 저장된 영상을 제공하는 장치일 수 있다.
본 발명의 일 실시예에 따른 영상 저장 장치(300)는 서버(100)로부터 수신된 시맨틱 로그를 해당 시맨틱 로그의 대상이 되는 영상과 대응시켜 저장할 수 있다. 또한 서버(100)는 사용자 단말(미도시)의 요청에 따라 영상과 해당 영상의 시맨틱 로그를 함께 제공할 수 있다.
본 발명의 일 실시예에서 영상 저장 장치(300)는 저장된 시맨틱 로그에 대한 검색 기능을 제공할 수 있다. 가령 영상 저장 장치(300)는 사용자 단말(미도시)로부터 키워드를 포함하는 영상 검색 요청을 수신하고, 그에 따라 저장된 시맨틱 로그에서 키워드를 검색한 뒤 해당 키워드에 상응하는 영상 및/또는 영상의 일부분을 사용자 단말(미도시)에 제공할 수 있다.
본 발명의 일 실시예에 따른 네트워크(400)는 영상 로깅 시스템의 각 구성 간의 데이터 송수신을 매개하는 통신망을 의미할 수 있다. 가령 네트워크(400)는 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이하에서는 편집된 인공 신경망의 구성에 대해 먼저 설명하고, 편집된 인공 신경망을 이용한 데이터 처리 과정에 대해서는 나중에 설명한다.
도 3은 본 발명의 일 실시예에 따른 편집된 인공 신경망(600)의 일반적 구성을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 편집된 인공 신경망(600)은 입력 데이터(500)가 입력 됨에 따라 그에 상응하는 출력 데이터(700)를 출력 할 수 있다.
이와 같은 편집된 인공 신경망(600)은 입력 데이터를 해석하는 적어도 하나의 제1 레이어(610) 및 적어도 하나의 제1 레이어(610)의 입력 데이터(500)의 해석 결과로부터 결론을 도출하는 적어도 하나의 제3 레이어(620)를 포함할 수 있다.
본 발명의 일 실시예에서, 적어도 하나의 제1 레이어(610)는 사전 학습된 적어도 하나의 인공 신경망을 구성하는 적어도 하나의 레이어를 이용한 레이어로 구성될 수 있다.
가령 사전 학습된 적어도 하나의 인공 신경망 각각이 입력 데이터를 해석하는 적어도 하나의 해석 레이어와 해석 레이어의 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어를 포함하는 경우를 가정해보자. 이와 같은 경우 적어도 하나의 제1 레이어(610)는 사전 학습된 적어도 하나의 인공 신경망 각각의 적어도 하나의 해석 레이어를 포함하도록 구성될 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
한편 도 3에는 도시 되지 않았지만 적어도 하나의 제1 레이어가 사전 학습된 적어도 하나의 인공 신경망을 구성하는 적어도 하나의 레이어를 이용하는 경우, 편집된 인공 신경망(600)은 사전 학습된 적어도 하나의 인공 신경망 각각의 입력 데이터(500)의 해석 결과를 병합하고, 병합된 해석 결과 중 집중이 필요한 요소를 선별하여 적어도 하나의 제3 레이어(620)에 전달하는 적어도 하나의 제2 레이어(미도시)를 더 포함할 수 있다.
도 4는 사전 학습된 제1 인공 신경망(600A)의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 제1 인공 신경망(600A)은 입력 이미지(500A) 내의 적어도 하나의 객체를 인식하고 인식된 적어도 하나의 객체의 인식 정보(700A)를 출력하는 신경망 일 수 있다. 이때 입력 이미지(500A)는 적어도 하나의 객체를 포함하는 이미지이고, 출력되는 인식 정보는 인식된 객체의 입력 이미지(500A) 내에서의 위치(영역)와 해당 객체의 식별정보(클래스)를 포함할 수 있다.
본 발명의 일 실시예에 따른 제1 인공 신경망(600A)은 입력 이미지(500A)를 해석하는 적어도 하나의 해석 레이어(610A)와 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어(620A)를 포함할 수 있다. 이때 적어도 하나의 해석 레이어(610A)의 해석 결과(611A)는 입력 이미지(500A) 전체의 특징을 모두 포함하는 벡터로써, 최종 출력 결과인 인식 정보(700A)보다 포함하는 정보의 양이 많을 수 있다.
후술하는 과정에서 적어도 하나의 해석 레이어(610A)가 편집된 인공 신경망의 구성에 사용될 수 있으며, 이에 대한 상세한 설명은 후술한다.
도 5는 사전 학습된 제2 인공 신경망(600B)의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 제2 인공 신경망(600B)은 입력 이미지 및 입력 이미지 내의 관심 영역(500B)이 입력 됨에 따라 입력 이미지 내의 관심 영역을 묘사하는 텍스트(700B)를 출력하는 신경망 일 수 있다. 이때 입력 이미지는 적어도 하나의 관심 객체를 포함하는 이미지이고, 관심 영역은 입력 이미지 내에서 관심 객체에 해당하는 영역일 수 있다.
본 발명의 일 실시예에 따른 제2 인공 신경망(600B)은 입력 이미지 및 입력 이미지 내의 관심 영역을 해석하는 적어도 하나의 해석 레이어(610B)와 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어(620B)를 포함할 수 있다.
후술하는 과정에서 적어도 하나의 해석 레이어(610B)가 편집된 인공 신경망의 구성에 사용될 수 있으며, 이에 대한 상세한 설명은 후술한다.
도 6은 사전 학습된 제3 인공 신경망(600C)의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 제3 인공 신경망(600C)은 입력 이미지(500C)가 입력 됨에 따라 입력 이미지(500C)에 상응하는 깊이 이미지(700C)를 출력하는 신경망 일 수 있다. 이때 깊이 이미지(700C)는 이미지 내의 적어도 하나의 지점까지의 거리 정보를 포함하는 이미지 일 수 있다.
본 발명의 일 실시예에 따른 제3 인공 신경망(600C)은 입력 이미지(500C)를 해석하는 적어도 하나의 해석 레이어(610C)와 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어(620C)를 포함할 수 있다. 이때 적어도 하나의 해석 레이어(610C)의 해석 결과(611C)는 입력 이미지(500C) 전체의 특징을 모두 포함하는 벡터로써, 최종 출력 결과인 깊이 이미지(700C) 보다 포함하는 정보의 양이 많을 수 있다.
후술하는 과정에서 적어도 하나의 해석 레이어(610C)가 편집된 인공 신경망의 구성에 사용될 수 있으며, 이에 대한 상세한 설명은 후술한다.
도 7은 본 발명의 일 실시예에 따른 편집된 인공 신경망(800)의 구성을 도시한 도면이다.
본 발명의 일 실시예에서 편집된 인공 신경망(800)은 연속하는 복수의 프레임을 병합한 병합 프레임과 병합 프레임 내에서의 관심 영역(810)이 입력됨에 따라, 병합 프레임의 생성에 사용된 둘 이상의 병합 대상 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트(850)를 출력하는 신경망 일 수 있다.
가령 편집된 인공 신경망(800)은 25fps의 5초 동안의 영상으로부터 생성된 하나의 병합 프레임과 관심 영역이 입력됨에 따라 총 125개의 병합 대상 프레임의 관심 영역 내에서 발생된 이벤트를 묘사하는 텍스트를 출력할 수 있다.
이와 같은 편집된 인공 신경망(800)은 적어도 하나의 제1 레이어(820), 적어도 하나의 제2 레이어(830) 및 적어도 하나의 제3 레이어(840)로 구성될 수 있다.
본 발명의 일 실시예에 따른 편집된 인공 신경망(800)의 적어도 하나의 제1 레이어(820)는 병합 프레임과 병합 프레임 내에서의 관심 영역(810)의 해석 결과(821, 822, 823)를 생성할 수 있다.
본 발명의 일 실시예에서 이와 같은 적어도 하나의 제1 레이어(820)는 사전 학습된 적어도 하나의 인공 신경망 각각의 적어도 하나의 해석 레이어를 포함할 수 있다. 가령 제1 레이어(820)는 도 7에 도시된 바와 같이 사전 학습된 제1 인공 신경망(600A)의 해석 레이어(610A), 사전 학습된 제2 인공 신경망(600B)의 해석 레이어(610B) 및 사전 학습된 제3 인공 신경망(600C)의 해석 레이어(610C)를 병렬적으로 포함할 수 있다.
이때 각각의 해석 레이어(610A, 610B, 610C)는 병합 프레임과 병합 프레임 내에서의 관심 영역(810)의 해석에 따른 해석 결과(821, 822, 823)를 출력할 수 있다.
본 발명의 일 실시예에 따른 편집된 인공 신경망(800)의 적어도 하나의 제2 레이어(830)는 사전 학습된 적어도 하나의 인공 신경망 각각의 입력 데이터의 해석 결과를 병합할 수 있다. 또한 적어도 하나의 제2 레이어(830)는 병합된 해석 결과 중 집중이 필요한 요소를 선별하여 적어도 하나의 제3 레이어(840)에 전달할 수 있다.
가령 적어도 하나의 제2 레이어(830)는 각각의 해석 레이어(610A, 610B, 610C)가 생성한 해석 결과(821, 822, 823)를 병합할 수 있다. 예를 들어 적어도 하나의 제2 레이어(820)는 벡터 형태인 해석 결과(821, 822, 823)를 하나의 벡터로 이어 붙일 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 또한 적어도 하나의 제2 레이어(830)는 병합된 하나의 벡터에서 집중이 필요한 적어도 하나의 요소를 선별할 수 있다. 가령 제2 레이어(830)는 집중이 필요한 적어도 하나의 요소를 영상 내 객체 단위로, 또는 벡터의 성분 단위로 선별할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 적어도 하나의 제3 레이어(840)는 적어도 하나의 제1 레이어(820)의 해석 결과(821, 822, 823) 또는 적어도 하나의 제2 레이어(830)의 출력으로부터 편집된 인공 신경망(800)의 목적에 따른 결론을 도출할 수 있다.
이와 같이 본 발명은 소정의 목적을 갖는 편집된 인공 신경망의 생성에 있어서 사전 학습된 인공 신경망의 일부 구성 요소를 사용함으로써 학습에 소요되는 리소스를 최소화 함과 동시에 인공 신경망의 정확도를 향상시킬 수 있다. 특히 본 발명은 영상에 대한 시맨틱 로그를 생성하는 인공 신경망을 생성함에 있어서 객체 인식을 위해 사전 학습된 신경망의 일부 레이어, 깊이 이미지를 생성하기 위해 사전 학습된 신경망의 일부 레이어, 이미지를 묘사하기 위해 사전 학습된 신경망의 일부 레이어를 사용함으로써 인공 신경망의 학습에 사용되는 리소스를 최소화 하는 반면 로그의 생성 정확도를 향상시킬 수 있다.
이하에서는 서버(100)가 편집된 인공 신경망(800)을 학습시키고 이를 이용하여 출력 데이터를 생성하는 과정을 설명한다.
도 8은 본 발명의 일 실시예에 따른 서버(100)가 복수의 학습 데이터(750)를 이용하여 인공 신경망(800)을 학습하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 편집된 인공 신경망(800)은 복수의 학습 데이터(750) 각각에 포함되는 입력 데이터와 출력 데이터 간의 상관관계를 학습한(또는 학습하는) 신경망을 의미할 수 있다.
이 때 복수의 학습 데이터(750)각각은 복수의 학습 프레임을 병합하여 생성된 학습 병합 프레임, 병합 프레임 내에서의 관심 영역 및 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트를 포함할 수 있다. 가령 첫 번째 학습 데이터(751)의 경우, 주황색 가방을 맨 여성이 상점 내에서 물건을 계산하는 과정과 다수의 고객이 상점 내에서 물건을 구경하는 과정을 묘사하는 복수의 프레임을 병합하여 생성된 학습 병합 프레임(751A), 학습 병합 프레임(751A) 내에서의 관심 영역(751C) 및 관심 영역(751C)을 묘사하는 텍스트(751B)인 "주황색 가방을 맨 여자가 물건을 계산하고 있다."를 포함할 수 있다. 이와 유사하게 두 번째 학습 데이터(752) 및 세 번째 학습 데이터(753)도 각각 상술한 항목들을 포함할 수 있다.
본 발명의 일 실시예에 따른 서버(100)는 제1 프로세서(120) 및/또는 제2 프로세서(140)를 이용하여 편집된 인공 신경망(800)을 학습시킬 수 있다. 보다 구체적으로 서버(100)는 편집된 인공 신경망(800)이 학습 데이터(750)에 포함되는 학습용 입력 데이터가 입력됨에 따라 출력하는 출력 데이터가 학습 데이터(750)에 포함되는 학습용 출력 데이터에 근접하도록 편집된 인공 신경망(800)을 구성하는 적어도 하나의 파라미터를 갱신할 수 있다.
가령 서버(100)는 편집된 인공 신경망(800)에 학습 병합 프레임(751A) 및 관심 영역(751C)을 입력하고, 그때 출력되는 텍스트가 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트(751B)에 근접하도록 편집된 인공 신경망(800)을 구성하는 적어도 하나의 계수 및/또는 가중치를 갱신할 수 있다.
본 발명의 일 실시예에서 서버(100)는 적어도 하나의 제2 레이어(830)를 구성하는 적어도 하나의 파라미터만 먼저 갱신하는 제1 학습 과정과, 제1 학습 과정 이후 적어도 하나의 제1 레이어(820)를 구성하는 적어도 하나의 파라미터, 적어도 하나의 제2 레이어(830)를 구성하는 적어도 하나의 파라미터 및 적어도 하나의 제3 레이어(840)를 구성하는 적어도 하나의 파라미터 모두를 갱신하는 제2 학습 과정에 따라 편집된 인공 신경망(800)을 학습시킬 수 있다.
상술한 제1 학습 과정에서, 적어도 하나의 제2 레이어(830)를 구성하는 적어도 하나의 파라미터만 갱신되고, 적어도 하나의 제1 레이어(820)를 구성하는 적어도 하나의 파라미터와 적어도 하나의 제3 레이어(840)를 구성하는 적어도 하나의 파라미터는 고정되어 갱신되지 않을 수 있다. 이와 같은 제1 학습 과정에서 제2 레이어(830)에 의해 병합된 해석 결과 중 집중이 필요한 요소를 선별하는 정확도가 주로 향상될 수 있다.
서버(100)는 복수의 학습 데이터(750)를 이용하여 상술한 과정을 반복하여 오차율이 감속하는 방향으로 학습을 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 서버(100)가 학습된 편집된 인공 신경망(800)을 이용하여 출력 데이터를 생성하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 편집된 인공 신경망(800)은 상술한 복수의 학습 데이터(750)에 기반하여, 복수의 프레임을 병합하여 생성된 병합 프레임, 병합 프레임 내에서의 관심 영역 및 해당 병합 프레임의 생성에 사용된 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트 간의 상관관계를 학습한 신경망일 수 있다.
따라서 편집된 인공 신경망(800)은 복수의 프레임을 병합하여 생성된 병합 프레임 및 병합 프레임 내에서의 관심 영역(810)이 입력 됨에 따라, 해당 병합 프레임의 생성에 사용된 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트(850)를 출력할 수 있다.
바꾸어 말하면, 본 발명의 일 실시예에 따른 서버(100)는 복수의 프레임을 병합하여 생성된 병합 프레임 및 병합 프레임 내에서의 관심 영역(810)을 편집된 인공 신경망(800)에 입력하고, 그 출력으로써 해당 병합 프레임의 생성에 사용된 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트(850)를 획득할 수 있다.
이하에서는 편집된 인공 신경망(800)을 이용하여 출력 데이터를 생성하는 과정을 설명한다.
도 10은 본 발명의 일 실시예에 따른 인공 신경망을 이용한 데이터 처리 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 다른 서버(100)는 편집된 인공 신경망(800)을 학습시킬 수 있다.(S1010)
도 8은 본 발명의 일 실시예에 따른 서버(100)가 복수의 학습 데이터(750)를 이용하여 인공 신경망(800)을 학습하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 편집된 인공 신경망(800)은 복수의 학습 데이터(750) 각각에 포함되는 입력 데이터와 출력 데이터 간의 상관관계를 학습한(또는 학습하는) 신경망을 의미할 수 있다.
이 때 복수의 학습 데이터(750)각각은 복수의 학습 프레임을 병합하여 생성된 학습 병합 프레임, 병합 프레임 내에서의 관심 영역 및 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트를 포함할 수 있다. 가령 첫 번째 학습 데이터(751)의 경우, 주황색 가방을 맨 여성이 상점 내에서 물건을 계산하는 과정과 다수의 고객이 상점 내에서 물건을 구경하는 과정을 묘사하는 복수의 프레임을 병합하여 생성된 학습 병합 프레임(751A), 학습 병합 프레임(751A) 내에서의 관심 영역(751C) 및 관심 영역(751C)을 묘사하는 텍스트(751B)인 "주황색 가방을 맨 여자가 물건을 계산하고 있다."를 포함할 수 있다. 이와 유사하게 두 번째 학습 데이터(752) 및 세 번째 학습 데이터(753)도 각각 상술한 항목들을 포함할 수 있다.
본 발명의 일 실시예에 따른 서버(100)는 제1 프로세서(120) 및/또는 제2 프로세서(140)를 이용하여 편집된 인공 신경망(800)을 학습시킬 수 있다. 보다 구체적으로 서버(100)는 편집된 인공 신경망(800)이 학습 데이터(750)에 포함되는 학습용 입력 데이터가 입력됨에 따라 출력하는 출력 데이터가 학습 데이터(750)에 포함되는 학습용 출력 데이터에 근접하도록 편집된 인공 신경망(800)을 구성하는 적어도 하나의 파라미터를 갱신할 수 있다.
가령 서버(100)는 편집된 인공 신경망(800)에 학습 병합 프레임(751A) 및 관심 영역(751C)을 입력하고, 그때 출력되는 텍스트가 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트(751B)에 근접하도록 편집된 인공 신경망(800)을 구성하는 적어도 하나의 계수 및/또는 가중치를 갱신할 수 있다.
본 발명의 일 실시예에서 서버(100)는 적어도 하나의 제2 레이어(830)를 구성하는 적어도 하나의 파라미터만 먼저 갱신하는 제1 학습 과정과, 제1 학습 과정 이후 적어도 하나의 제1 레이어(820)를 구성하는 적어도 하나의 파라미터, 적어도 하나의 제2 레이어(830)를 구성하는 적어도 하나의 파라미터 및 적어도 하나의 제3 레이어(840)를 구성하는 적어도 하나의 파라미터 모두를 갱신하는 제2 학습 과정에 따라 편집된 인공 신경망(800)을 학습시킬 수 있다.
상술한 제1 학습 과정에서, 적어도 하나의 제2 레이어(830)를 구성하는 적어도 하나의 파라미터만 갱신되고, 적어도 하나의 제1 레이어(820)를 구성하는 적어도 하나의 파라미터와 적어도 하나의 제3 레이어(840)를 구성하는 적어도 하나의 파라미터는 고정되어 갱신되지 않을 수 있다.
서버(100)는 복수의 학습 데이터(750)를 이용하여 상술한 과정을 반복하여 오차율이 감속하는 방향으로 학습을 수행할 수 있다.
본 발명의 일 실시예에 따른 서버(100)는 입력 데이터를 획득할 수 있다.(S1020) 가령 서버(100)는 영상 획득 장치(200) 및/또는 영상 저장 장치(300)로부터 입력 영상을 획득할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 서버(100)는 편집된 인공 신경망(800)에 단계 S1020에서 획득한 입력 데이터를 입력하여 출력 데이터를 생성할 수 있다.(S1030)
도 9는 본 발명의 일 실시예에 따른 서버(100)가 학습된 편집된 인공 신경망(800)을 이용하여 출력 데이터를 생성하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 편집된 인공 신경망(800)은 상술한 복수의 학습 데이터(750)에 기반하여, 복수의 프레임을 병합하여 생성된 병합 프레임, 병합 프레임 내에서의 관심 영역 및 해당 병합 프레임의 생성에 사용된 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트 간의 상관관계를 학습한 신경망일 수 있다.
따라서 편집된 인공 신경망(800)은 복수의 프레임을 병합하여 생성된 병합 프레임 및 병합 프레임 내에서의 관심 영역(810)이 입력 됨에 따라, 해당 병합 프레임의 생성에 사용된 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트(850)를 출력할 수 있다.
바꾸어 말하면, 본 발명의 일 실시예에 따른 서버(100)는 복수의 프레임을 병합하여 생성된 병합 프레임 및 병합 프레임 내에서의 관심 영역(810)을 편집된 인공 신경망(800)에 입력하고, 그 출력으로써 해당 병합 프레임의 생성에 사용된 복수의 학습 프레임의 관심 영역에 상응하는 영역을 묘사하는 텍스트(850)를 획득할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리, 클라우드 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 서버
110: 통신부
120: 제1 프로세서
130: 메모리
140: 제2 프로세서
200: 영상 획득 장치
300: 영상 저장 장치
400: 네트워크

Claims (6)

  1. 사전 학습된 적어도 하나의 인공 신경망의 적어도 일부 레이어로 구성되는 편집된 인공 신경망을 이용한 데이터 처리 방법에 있어서,
    입력 데이터를 획득하는 단계; 및
    편집된 인공 신경망에 상기 입력 데이터를 입력하여 출력 데이터를 생성하는 단계;를 포함하고,
    상기 편집된 인공 신경망은
    사전 학습된 적어도 하나의 인공 신경망을 구성하는 적어도 하나의 레이어를 이용한 것으로, 상기 입력 데이터를 해석하는 적어도 하나의 제1 레이어; 및
    상기 적어도 하나의 제1 레이어의 상기 입력 데이터의 해석 결과로부터 상기 편집된 인공 신경망의 목적에 따른 결론을 도출하는 적어도 하나의 제3 레이어;를 포함하고,
    상기 사전 학습된 적어도 하나의 인공 신경망 각각은 입력 데이터를 해석하는 적어도 하나의 해석 레이어와 상기 해석 레이어의 해석 결과로부터 결론을 도출하는 적어도 하나의 결론 레이어를 포함하고,
    상기 적어도 하나의 제1 레이어는 상기 사전 학습된 적어도 하나의 인공 신경망 각각의 적어도 하나의 해석 레이어를 포함하는, 편집된 인공 신경망을 이용한 데이터 처리 방법.
  2. 청구항 1에 있어서
    상기 편집된 인공 신경망은
    상기 사전 학습된 적어도 하나의 인공 신경망 각각의 상기 입력 데이터의 해석 결과를 병합하고, 병합된 해석 결과 중 집중이 필요한 요소를 선별하여 상기 적어도 하나의 제3 레이어에 전달하는 적어도 하나의 제2 레이어;를 더 포함하는, 편집된 인공 신경망을 이용한 데이터 처리 방법.
  3. 청구항 2에 있어서
    상기 인공 신경망을 이용한 데이터 처리 방법은
    상기 출력 데이터를 획득하는 단계 이전에,
    학습 데이터를 이용하여 상기 편집된 인공 신경망을 학습시키는 단계;를 더 포함하고,
    상기 학습시키는 단계는
    상기 편집된 인공 신경망에 상기 학습 데이터에 포함되는 학습용 입력 데이터가 입력됨에 따라 출력되는 출력 데이터가 상기 학습 데이터에 포함되는 학습용 출력 데이터에 근접하도록 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터를 갱신하는 단계;를 포함하는, 편집된 인공 신경망을 이용한 데이터 처리 방법.
  4. 청구항 3에 있어서
    상기 갱신하는 단계는
    상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터를 갱신하는 과정에 있어서 상기 적어도 하나의 제1 레이어를 구성하는 적어도 하나의 파라미터 및 상기 적어도 하나의 제3 레이어를 구성하는 적어도 하나의 파라미터를 갱신하지 않는, 편집된 인공 신경망을 이용한 데이터 처리 방법.
  5. 청구항 3에 있어서
    상기 학습시키는 단계는
    상기 갱신하는 단계 이후에,
    상기 학습 데이터를 이용하여 상기 적어도 하나의 제1 레이어를 구성하는 적어도 하나의 파라미터, 상기 적어도 하나의 제2 레이어를 구성하는 적어도 하나의 파라미터 및 상기 적어도 하나의 제3 레이어를 구성하는 적어도 하나의 파라미터를 갱신하는 단계;를 더 포함하는, 편집된 인공 신경망을 이용한 데이터 처리 방법.
  6. 청구항 1에 있어서
    상기 편집된 인공 신경망은 연속하는 복수의 프레임을 병합한 병합 프레임과 상기 병합 프레임 내에서의 관심 영역이 상기 입력 데이터로써 입력됨에 따라 상기 병합 프레임의 생성에 사용된 둘 이상의 병합 대상 프레임의 상기 관심 영역에 상응하는 영역을 묘사하는 텍스트를 상기 출력 데이터로써 생성하는 신경망이고,
    상기 사전 학습된 적어도 하나의 인공 신경망은
    입력 이미지 내의 적어도 하나의 객체를 인식하고 인식된 적어도 하나의 객체의 인식 정보를 출력하는 제1 신경망,
    상기 입력 이미지와 상기 입력 이미지 내의 관심 영역이 입력 됨에 따라 상기 입력 이미지 내의 상기 관심 영역을 묘사하는 텍스트를 출력하는 제2 신경망 및
    상기 입력 이미지가 입력 됨에 따라 상기 입력 이미지에 상응하는 깊이 이미지를 출력하는 제3 신경망을 포함하는, 편집된 인공 신경망을 이용한 데이터 처리 방법.
KR1020220102185A 2022-08-16 2022-08-16 편집된 인공 신경망을 이용한 데이터 처리 방법 KR20240023905A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220102185A KR20240023905A (ko) 2022-08-16 2022-08-16 편집된 인공 신경망을 이용한 데이터 처리 방법
PCT/KR2023/008939 WO2024039048A1 (ko) 2022-08-16 2023-06-27 편집된 인공 신경망을 이용한 데이터 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220102185A KR20240023905A (ko) 2022-08-16 2022-08-16 편집된 인공 신경망을 이용한 데이터 처리 방법

Publications (1)

Publication Number Publication Date
KR20240023905A true KR20240023905A (ko) 2024-02-23

Family

ID=89942032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220102185A KR20240023905A (ko) 2022-08-16 2022-08-16 편집된 인공 신경망을 이용한 데이터 처리 방법

Country Status (2)

Country Link
KR (1) KR20240023905A (ko)
WO (1) WO2024039048A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061935B1 (ko) * 2017-02-21 2020-01-02 한국과학기술원 딥 신경망을 이용한 정보 이전 방법 및 그 장치
US10706336B2 (en) * 2017-03-17 2020-07-07 Nec Corporation Recognition in unlabeled videos with domain adversarial learning and knowledge distillation
KR102425578B1 (ko) * 2017-08-08 2022-07-26 삼성전자주식회사 객체를 인식하는 방법 및 장치
KR102411301B1 (ko) * 2020-04-23 2022-06-22 한국과학기술원 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치 및 방법
KR102574434B1 (ko) * 2020-11-18 2023-09-04 인하대학교 산학협력단 사용자가 요청하는 전문화된 경량 신경망 모델을 실시간으로 생성하는 방법 및 장치

Also Published As

Publication number Publication date
WO2024039048A1 (ko) 2024-02-22

Similar Documents

Publication Publication Date Title
KR102400017B1 (ko) 객체를 식별하는 방법 및 디바이스
US20210390700A1 (en) Referring image segmentation
Sun et al. Reciprocal learning networks for human trajectory prediction
KR102486699B1 (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
KR102133728B1 (ko) 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
US20200234144A1 (en) Generating training datasets for training neural networks
KR20160091786A (ko) 사용자 관리 방법 및 사용자 관리 장치
KR102190103B1 (ko) 인공 신경망의 상용화 서비스 제공 방법
Tammvee et al. Human activity recognition-based path planning for autonomous vehicles
KR102592551B1 (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
KR20180094664A (ko) 텍스트 데이터로부터 정보를 추출하기 위한 정보 추출 방법 및 장치
CN111428805B (zh) 显著性物体的检测方法、模型、存储介质及电子设备
CN112733043B (zh) 评论推荐方法及装置
KR102166016B1 (ko) 이미지 대 이미지의 변환을 위한 도메인 인식 기반의 변환 기법
Jin et al. Alphablock: Embodied finetuning for vision-language reasoning in robot manipulation
KR20210060563A (ko) 검색 방법 및 장치, 저장 매체
CN106598856B (zh) 一种路径检测方法及装置
KR20240023905A (ko) 편집된 인공 신경망을 이용한 데이터 처리 방법
CN109447095A (zh) 视觉属性识别方法、装置及存储介质
JP6433876B2 (ja) パラメータ推定装置、予測装置、方法、及びプログラム
CN114930317A (zh) 用于视频接地的图形卷积网络
KR102574434B1 (ko) 사용자가 요청하는 전문화된 경량 신경망 모델을 실시간으로 생성하는 방법 및 장치
KR102507892B1 (ko) 객체 상태 인식 방법, 장치 및 컴퓨터 프로그램
JP7331947B2 (ja) 物体識別装置、物体識別方法、学習装置、学習方法、及び、プログラム
JP2014228993A (ja) 情報抽出方法、情報抽出装置及び情報抽出プログラム