KR20220089602A - 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치 - Google Patents

무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치 Download PDF

Info

Publication number
KR20220089602A
KR20220089602A KR1020210051135A KR20210051135A KR20220089602A KR 20220089602 A KR20220089602 A KR 20220089602A KR 1020210051135 A KR1020210051135 A KR 1020210051135A KR 20210051135 A KR20210051135 A KR 20210051135A KR 20220089602 A KR20220089602 A KR 20220089602A
Authority
KR
South Korea
Prior art keywords
wide
uncorrected
neural network
angle image
convolutional neural
Prior art date
Application number
KR1020210051135A
Other languages
English (en)
Inventor
이인호
강명균
백상엽
변근호
Original Assignee
주식회사 인피닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피닉스 filed Critical 주식회사 인피닉스
Publication of KR20220089602A publication Critical patent/KR20220089602A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치는, 무보정 광각 이미지를 기반으로 가변 합성곱 신경망(convolutional neural network, CNN)을 학습함으로써, 어안 렌즈 등의 광각의 렌즈로 촬영되어 왜곡된 이미지에서도 이미지 손실 없이 객체를 감지할 수 있다.

Description

무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치{Method and apparatus for learning variable CNN based on non-correcting wide-angle image}
본 발명은 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치에 관한 것으로서, 더욱 상세하게는 이미지에서 객체를 인식하는 합성곱 신경망(convolutional neural network, CNN)을 학습하는, 방법 및 장치에 관한 것이다.
현관문 주변에 장착되어 범죄 및 위험 인식을 하기 위해서는 시야각이 충분히 큰 카메라를 활용해야 한다. 즉, High FOV(Field Of View) 렌즈를 활용해 주변 대상을 충분히 인식할 수 있어야 한다. 하지만, High FOV 렌즈를 활용해 촬영한 영상의 경우 왜곡이 심하게 발생한다.
현재 개발된 인공지능 및 합성곱 신경망(convolutional neural network, CNN) 기반 딥러닝 기법은 그리드(grid) 방식으로 이동하며 왜곡이 없는 영상을 처리하는 것에 초점이 되어 있다. 이러한 이유로 종래의 그리드(grid) 기반으로 개발된 인공지능 및 딥러닝 기법은 왜곡이 심한 영상에서 좋은 성능을 보이지 못하는 문제가 있다.
이에, 왜곡을 보정 후 딥러닝 모델의 입력으로 사용하는 경우가 있으나, 에지(edge) 기기에서는 보정을 함에 있어 충분한 연산(computation)을 제공할 수 없기에, 보정을 못하는 경우가 많이 있다.
따라서, 왜곡된 이미지를 잘 처리할 수 있는 기법이 필요하다.
본 발명이 이루고자 하는 목적은, 무보정 광각 이미지를 기반으로 가변 합성곱 신경망(convolutional neural network, CNN)을 학습하는, 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치를 제공하는 데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법은, 무보정 광각 이미지에 대응되는 왜곡 정보를 획득하는 단계; 및 가변 합성곱 신경망(convolutional neural network, CNN)의 합성곱 레이어(convolutional layer)의 필터(filter)에 대한 방향성을 상기 왜곡 정보를 기반으로 설정하고, 상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습하는 단계;를 포함한다.
여기서, 상기 왜곡 정보는, 이미지의 왜곡 계수 및 이미지 상의 모든 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 포함할 수 있다.
여기서, 상기 왜곡 정보 획득 단계는, 상기 무보정 광각 이미지에 대응되는 광각 렌즈로부터 획득한 체스 패턴 이미지를 기반으로 상기 왜곡 정보를 획득하는 것으로 이루어질 수 있다.
여기서, 상기 왜곡 정보 획득 단계는, 상기 체스 패턴 이미지 상의 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 상기 왜곡 정보를 획득하는 것으로 이루어질 수 있다.
여기서, 상기 왜곡 정보 획득 단계는, 상기 체스 패턴 이미지 상의 적어도 3개의 픽셀 각각에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 상기 왜곡 계수를 획득하고, 상기 체스 패턴 이미지 상의 격자점에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 격자점 각각에 대해 획득하며, 격자점에 대한 길이값을 기반으로 보간법을 통해 격자점 사이의 픽셀에 대한 길이값을 획득하여, 상기 왜곡 계수 및 상기 체스 패턴 이미지 상의 모든 픽셀에 대한 길이값을 포함하는 상기 왜곡 정보를 획득하는 것으로 이루어질 수 있다.
여기서, 상기 가변 합성곱 신경망 학습 단계는, 상기 합성곱 레이어에서 상기 무보정 광각 이미지로부터 가져오고자 하는 대상 픽셀의 값을 가져올 때, 상기 왜곡 계수 및 상기 대상 픽셀에 대응되는 길이값을 기반으로 상기 대상 픽셀의 변경 좌표를 획득하고, 획득한 상기 변경 좌표의 값을 상기 대상 픽셀의 값으로 가져오는 것을 통해, 상기 필터에 대한 방향성을 상기 왜곡 정보를 기반으로 설정하는 것으로 이루어질 수 있다.
여기서, 상기 가변 합성곱 신경망 학습 단계는, 상기 왜곡 정보를 기반으로 방향성이 설정된 상기 필터를 기반으로 상기 합성곱 레이어에서 상기 무보정 광각 이미지로부터 특징 맵(feature map)을 획득하는 것으로 이루어질 수 있다.
여기서, 상기 왜곡 정보 획득 단계는, 상기 무보정 광각 이미지에 대응되는 광각 렌즈의 관측 시야(field of view, FOV) 값을 기반으로 상기 왜곡 정보를 획득하는 것으로 이루어질 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장되어 상기한 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 중 어느 하나를 컴퓨터에서 실행시킨다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치는, 무보정 광각 이미지를 기반으로 가변 합성곱 신경망(convolutional neural network, CNN)을 학습하는 학습 장치로서, 상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습하기 위한 동작을 수행하는 하나 이상의 프로세서;를 포함하고, 상기 프로세서는, 무보정 광각 이미지에 대응되는 왜곡 정보를 획득하고, 가변 합성곱 신경망(convolutional neural network, CNN)의 합성곱 레이어(convolutional layer)의 필터(filter)에 대한 방향성을 상기 왜곡 정보를 기반으로 설정하고, 상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습한다.
여기서, 상기 왜곡 정보는, 이미지의 왜곡 계수 및 이미지 상의 모든 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 포함할 수 있다.
여기서, 상기 프로세서는, 상기 무보정 광각 이미지에 대응되는 광각 렌즈로부터 획득한 체스 패턴 이미지를 기반으로 상기 왜곡 정보를 획득할 수 있다.
여기서, 상기 프로세서는, 상기 합성곱 레이어에서 상기 무보정 광각 이미지로부터 가져오고자 하는 대상 픽셀의 값을 가져올 때, 상기 왜곡 계수 및 상기 대상 픽셀에 대응되는 길이값을 기반으로 상기 대상 픽셀의 변경 좌표를 획득하고, 획득한 상기 변경 좌표의 값을 상기 대상 픽셀의 값으로 가져오는 것을 통해, 상기 필터에 대한 방향성을 상기 왜곡 정보를 기반으로 설정할 수 있다.
본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치에 의하면, 무보정 광각 이미지를 기반으로 가변 합성곱 신경망(convolutional neural network, CNN)을 학습함으로써, 어안 렌즈 등의 광각의 렌즈로 촬영되어 왜곡된 이미지에서도 이미지 손실 없이 객체를 감지할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법을 설명하기 흐름도이다.
도 3은 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지의 일례를 설명하기 위한 도면으로, 도 3의 (a)는 관측 시야에 따른 왜곡률과 왜곡 방향의 일례를 나타내고, 도 3의 (b)는 광각 렌즈를 통해 획득한 무보정 광각 이미지의 일례를 나타낸다.
도 4는 본 발명의 바람직한 실시예에 따른 왜곡 정보 중 하나인 왜곡 계수의 획득 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 왜곡 정보 중 하나인 픽셀에 대한 길이값의 획득 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 가변 합성곱 신경망의 일례를 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 합성곱 레이어의 필터에 대한 방향성 설정 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망의 성능을 설명하기 위한 도면으로, 도 8의 (a)는 기존 합성곱 신경망을 나타내고, 도 8의 (b)는 본 발명에 따른 가변 합성곱 신경망을 나타낸다.
도 9는 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망을 이용한 무보정 광각 이미지 기반 객체 인식 과정의 일례를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성 요소를 다른 구성 요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예컨대, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예컨대, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다" 등의 표현은 해당 특징(예컨대, 수치, 기능, 동작, 또는 부품 등의 구성 요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치의 바람직한 실시예에 대해 상세하게 설명한다.
먼저, 도 1을 참조하여 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치에 대하여 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치(이하 '학습 장치'라 한다)(100)는 무보정 광각 이미지를 기반으로 가변 합성곱 신경망(convolutional neural network, CNN)을 학습한다.
여기서, 본 발명에 따른 가변 합성곱 신경망은 합성곱 레이어(convolutional layer)의 필터(filter)에 대한 방향성이 무보정 광각 이미지에 대응되는 왜곡 정보를 기반으로 설정되고, 무보정 광각 이미지를 기반으로 학습될 수 있다.
이를 위해, 학습 장치(100)는 하나 이상의 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130) 및 통신 버스(150)를 포함할 수 있다.
프로세서(110)는 학습 장치(100)가 동작하도록 제어할 수 있다. 예컨대, 프로세서(110)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램(131)을 실행할 수 있다. 하나 이상의 프로그램(131)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(110)에 의해 실행되는 경우 학습 장치(100)로 하여금 무보정 광각 이미지를 기반으로 가변 합성곱 신경망을 학습하기 위한 동작을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 무보정 광각 이미지를 기반으로 가변 합성곱 신경망을 학습하기 위한 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(131)은 프로세서(110)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능한 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 학습 장치(100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(150)는 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 학습 장치(100)의 다른 다양한 컴포넌트들을 상호 연결한다.
학습 장치(100)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(170) 및 하나 이상의 통신 인터페이스(190)를 포함할 수 있다. 입출력 인터페이스(170) 및 통신 인터페이스(190)는 통신 버스(150)에 연결된다. 입출력 장치(도시하지 않음)는 입출력 인터페이스(170)를 통해 학습 장치(100)의 다른 컴포넌트들에 연결될 수 있다.
그러면, 도 2 내지 도 7을 참조하여 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법에 대하여 설명한다.
도 2는 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법을 설명하기 흐름도이고, 도 3은 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지의 일례를 설명하기 위한 도면으로, 도 3의 (a)는 관측 시야에 따른 왜곡률과 왜곡 방향의 일례를 나타내고, 도 3의 (b)는 광각 렌즈를 통해 획득한 무보정 광각 이미지의 일례를 나타내며, 도 4는 본 발명의 바람직한 실시예에 따른 왜곡 정보 중 하나인 왜곡 계수의 획득 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 바람직한 실시예에 따른 왜곡 정보 중 하나인 픽셀에 대한 길이값의 획득 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 바람직한 실시예에 따른 가변 합성곱 신경망의 일례를 설명하기 위한 도면이고, 도 7은 본 발명의 바람직한 실시예에 따른 합성곱 레이어의 필터에 대한 방향성 설정 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 학습 장치(100)의 프로세서(110)는 무보정 광각 이미지에 대응되는 왜곡 정보를 획득할 수 있다(S110).
예컨대, 도 3의 (a)에 도시된 바와 같이, 광각 렌즈의 관측 시야(field of view, FOV)에 따라 왜곡률이 달라지게 되고 중앙을 기준으로 왜곡되는 방향성도 달라지게 된다. 이에 따라, 광각 렌즈를 통해 획득한 무보정 광각 이미지는 도 3의 (b)에 도시된 바와 같이 중앙에서 가장자리 쪽으로 갈수록 왜곡이 심해지게 된다.
여기서, 왜곡 정보는 이미지의 왜곡 계수 및 이미지 상의 모든 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 포함할 수 있다.
즉, 프로세서(110)는 무보정 광각 이미지에 대응되는 광각 렌즈로부터 획득한 체스 패턴 이미지를 기반으로 왜곡 정보를 획득할 수 있다.
예컨대, 프로세서(110)는 체스 패턴 이미지 상의 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 왜곡 정보를 획득할 수 있다.
보다 자세히 설명하면, 프로세서(110)는 체스 패턴 이미지 상의 적어도 3개의 픽셀 각각에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 왜곡 계수를 획득할 수 있다. 여기서, 적어도 3개의 픽셀은 체스 패턴 이미지 상의 격자점들 중에서 선택될 수 있다.
예컨대, 도 4를 참조하면, 정상 위치 좌표 (x1, y1)은 왜곡되어 왜곡 위치 좌표 (a1, b1)가 되고, 정상 위치 좌표 (x2, y2)은 왜곡되어 왜곡 위치 좌표 (a2, b2)가 되며, 정상 위치 좌표 (x3, y3)은 왜곡되어 왜곡 위치 좌표 (a3, b3)가 된다.
그리고, 정상 위치 좌표로부터 왜곡 위치 좌표를 구하기 위한 수식은 아래의 [수학식 1]과 같다.
Figure pat00001
Figure pat00002
Figure pat00003
여기서, (xn, yn)는 n번째 픽셀의 정상 위치 좌표를 나타낸다. (an, bn)는 n번째 픽셀의 왜곡 위치 좌표를 나타낸다. rn은 정상 위치 좌표 (xn, yn)와 왜곡 위치 좌표 (an, bn) 사이의 길이값을 나타낸다. k1, k2 및 k3는 왜곡 계수를 나타내며, 광각 렌즈에 따라 그 값이 변경될 수 있다.
프로세서(110)는 체스 패턴 이미지 상의 적어도 3개의 픽셀 각각에 대한 정상 위치 좌표와 왜곡 위치 좌표, 예컨대 "(x1, y1) -> (a1, b1), (x2, y2) -> (a2, b2), (x3, y3) -> (a3, b3)"를 위의 [수학식 1]에 대입하여, 왜곡 계수(k1, k2 및 k3)를 획득할 수 있다.
그리고, 프로세서(110)는 체스 패턴 이미지 상의 격자점에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 격자점 각각에 대해 획득할 수 있다. 그리고, 프로세서(110)는 격자점에 대한 길이값을 기반으로 보간법을 통해 격자점 사이의 픽셀에 대한 길이값을 획득할 수 있다.
예컨대, 도 5를 참조하면, 격자점에 대한 길이값 r은 격자점에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 위의 [수학식 1]을 통해 획득할 수 있다. 격자점에 대한 길이값 r을 획득한 상태이기 ‹š문에, 격자점에 대한 길이값 r을 기반으로 보간법을 통해 격자점 사이에 위치하는 픽셀들에 대한 길이값 r을 획득할 수 있다. 이와 같은 과정을 통해 모든 픽셀에 대한 길이값 r을 획득할 수 있다.
이에 따라, 프로세서(110)는 왜곡 계수(k1, k2 및 k3) 및 체스 패턴 이미지 상의 모든 픽셀에 대한 길이값(r)을 포함하는 왜곡 정보를 획득할 수 있다.
물론, 프로세서(110)는 무보정 광각 이미지에 대응되는 광각 렌즈의 관측 시야 값을 기반으로 왜곡 정보를 획득할 수도 있다. 예컨대, 광각 렌즈의 스펙(specification) 데이터를 기반으로 왜곡 정보를 획득할 수 있다. 스펙 데이터는 초점 거리(focal length), 주점(principal point), 비대칭 계수(skew coefficient) 등을 포함할 수 있다.
그런 다음, 프로세서(110)는 가변 합성곱 신경망의 합성곱 레이어의 필터에 대한 방향성을 왜곡 정보를 기반으로 설정하고, 무보정 광각 이미지를 기반으로 가변 합성곱 신경망을 학습할 수 있다(S130).
예컨대, 도 6을 참조하면, 가변 합성곱 신경망은 입력된 무보정 광각 이미지로부터 특징 맵(feature map)을 획득하는 합성곱 레이어, 특징 맵을 기반으로 객체 후보를 검출하는 레이어, 특징 맵과 객체 후보를 기반으로 최종 인식 객체를 검출하는 레이어 등을 포함할 수 있다.
여기서, 모든 합성곱 레이어에는 방향성을 가지는 필터가 존재하는 데, 본 발명에 따른 합성곱 레이어는 왜곡 정보를 기반으로 방향성이 설정된 필터를 기반으로 무보정 광각 이미지로부터 특징 맵(feature map)을 획득할 수 있다.
즉, 프로세서(110)는 합성곱 레이어에서 무보정 광각 이미지로부터 가져오고자 하는 대상 픽셀의 값을 가져올 때, 왜곡 계수 및 대상 픽셀에 대응되는 길이값을 기반으로 대상 픽셀의 변경 좌표를 획득하고, 획득한 변경 좌표의 값을 대상 픽셀의 값으로 가져오는 것을 통해, 필터에 대한 방향성을 왜곡 정보를 기반으로 설정할 수 있다.
예컨대, 대상 픽셀의 변경 좌표는 아래의 [수학식 2]를 통해 획득할 수 있다.
Figure pat00004
Figure pat00005
여기서, (a, b)는 대상 픽셀의 기존 좌표를 나타낸다. (x, y)는 대상 픽셀의 변경 좌표를 나타낸다. r은 사전에 획득한 대상 픽셀의 길이값을 나타낸다. k1, k2 및 k3는 사전에 획득한 왜곡 계수를 나타낸다.
도 7을 참조하면, 합성곱 레이어에서 무보정 광각 이미지로부터 대상 픽셀의 값을 가져올 때, 대상 픽셀의 기존 좌표에 해당하는 값을 가져 오는 것이 아니라, 대상 픽셀의 변경 좌표에 해당하는 값을 가져올 수 있다.
그러면, 도 8 및 도 9를 참조하여 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망의 성능과 적용 일례에 대하여 설명한다.
도 8은 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망의 성능을 설명하기 위한 도면으로, 도 8의 (a)는 기존 합성곱 신경망을 나타내고, 도 8의 (b)는 본 발명에 따른 가변 합성곱 신경망을 나타내며, 도 9는 본 발명의 바람직한 실시예에 따른 무보정 광각 이미지 기반 가변 합성곱 신경망을 이용한 무보정 광각 이미지 기반 객체 인식 과정의 일례를 설명하기 위한 도면이다.
도 8의 (a)에 도시된 바와 같은 기존 합성곱 신경망은 이미지가 왜곡된 것을 전혀 고려하지 않은 상태에서, 합성곱 레이어에서 필터가 해당 이미지를 스트라이드(stride)하여 지나가면서 특징을 추출하게 된다. 이로 인해, 일반적인 이미지에서의 객체 인식 성능은 좋은 편이나, 왜곡되어 있는 광각 이미지에서의 객체 인식 성능을 좋지 않게 된다.
그러나, 본 발명에 따른 가변 합성곱 신경망은 도 8의 (b)에 도시된 바와 같이 왜곡 정보를 기반으로 방향성이 설정된 필터를 기반으로 합성곱 레이어에서 특징을 추출하게 된다. 이로 인해, 본 발명은 왜곡되어 있는 광각 이미지에서의 객체 인식 성능을 향상시킬 수 있다.
도 9를 참조하면, 현관문 주변에 장착되어 있는 광각 카메라는 촬영한 무보정 광각 이미지를 디바이스에 전송할 수 있다. 그러면, 디바이스는 광각 카메라로부터 수신한 무보정 광각 이미지를 본 발명에 따라 미리 학습된 가변 합성곱 신경망 모델에 입력할 수 있다. 그러면, 본 발명에 따른 가변 합성곱 신경망 모델은 입력된 무보정 광각 이미지에서 객체를 인식하고, 객체 인식 결과를 제공할 수 있다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다. 컴퓨터 판독 가능한 저장 매체는 실행을 위해 프로세서에 명령어를 제공하는데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예컨대, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 학습 장치,
110 : 프로세서,
130 : 컴퓨터 판독 가능한 저장 매체,
131 : 프로그램,
150 : 통신 버스,
170 : 입출력 인터페이스,
190 : 통신 인터페이스

Claims (13)

  1. 무보정 광각 이미지에 대응되는 왜곡 정보를 획득하는 단계; 및
    가변 합성곱 신경망(convolutional neural network, CNN)의 합성곱 레이어(convolutional layer)의 필터(filter)에 대한 방향성을 상기 왜곡 정보를 기반으로 설정하고, 상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습하는 단계;
    를 포함하는 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  2. 제1항에서,
    상기 왜곡 정보는,
    이미지의 왜곡 계수 및 이미지 상의 모든 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 포함하는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  3. 제2항에서,
    상기 왜곡 정보 획득 단계는,
    상기 무보정 광각 이미지에 대응되는 광각 렌즈로부터 획득한 체스 패턴 이미지를 기반으로 상기 왜곡 정보를 획득하는 것으로 이루어지는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  4. 제3항에서,
    상기 왜곡 정보 획득 단계는,
    상기 체스 패턴 이미지 상의 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 상기 왜곡 정보를 획득하는 것으로 이루어지는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  5. 제4항에서,
    상기 왜곡 정보 획득 단계는,
    상기 체스 패턴 이미지 상의 적어도 3개의 픽셀 각각에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 상기 왜곡 계수를 획득하고, 상기 체스 패턴 이미지 상의 격자점에 대한 정상 위치 좌표와 왜곡 위치 좌표를 기반으로 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 격자점 각각에 대해 획득하며, 격자점에 대한 길이값을 기반으로 보간법을 통해 격자점 사이의 픽셀에 대한 길이값을 획득하여, 상기 왜곡 계수 및 상기 체스 패턴 이미지 상의 모든 픽셀에 대한 길이값을 포함하는 상기 왜곡 정보를 획득하는 것으로 이루어지는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  6. 제2항에서,
    상기 가변 합성곱 신경망 학습 단계는,
    상기 합성곱 레이어에서 상기 무보정 광각 이미지로부터 가져오고자 하는 대상 픽셀의 값을 가져올 때, 상기 왜곡 계수 및 상기 대상 픽셀에 대응되는 길이값을 기반으로 상기 대상 픽셀의 변경 좌표를 획득하고, 획득한 상기 변경 좌표의 값을 상기 대상 픽셀의 값으로 가져오는 것을 통해, 상기 필터에 대한 방향성을 상기 왜곡 정보를 기반으로 설정하는 것으로 이루어지는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  7. 제6항에서,
    상기 가변 합성곱 신경망 학습 단계는,
    상기 왜곡 정보를 기반으로 방향성이 설정된 상기 필터를 기반으로 상기 합성곱 레이어에서 상기 무보정 광각 이미지로부터 특징 맵(feature map)을 획득하는 것으로 이루어지는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  8. 제2항에서,
    상기 왜곡 정보 획득 단계는,
    상기 무보정 광각 이미지에 대응되는 광각 렌즈의 관측 시야(field of view, FOV) 값을 기반으로 상기 왜곡 정보를 획득하는 것으로 이루어지는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 기재된 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
  10. 무보정 광각 이미지를 기반으로 가변 합성곱 신경망(convolutional neural network, CNN)을 학습하는 학습 장치로서,
    상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습하기 위한 동작을 수행하는 하나 이상의 프로세서;
    를 포함하고,
    상기 프로세서는,
    무보정 광각 이미지에 대응되는 왜곡 정보를 획득하고,
    가변 합성곱 신경망(convolutional neural network, CNN)의 합성곱 레이어(convolutional layer)의 필터(filter)에 대한 방향성을 상기 왜곡 정보를 기반으로 설정하고, 상기 무보정 광각 이미지를 기반으로 상기 가변 합성곱 신경망을 학습하는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치.
  11. 제10항에서,
    상기 왜곡 정보는,
    이미지의 왜곡 계수 및 이미지 상의 모든 픽셀에 대한 정상 위치 좌표와 왜곡 위치 좌표 사이의 길이값을 포함하는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치.
  12. 제11항에서,
    상기 프로세서는,
    상기 무보정 광각 이미지에 대응되는 광각 렌즈로부터 획득한 체스 패턴 이미지를 기반으로 상기 왜곡 정보를 획득하는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치.
  13. 제11항에서,
    상기 프로세서는,
    상기 합성곱 레이어에서 상기 무보정 광각 이미지로부터 가져오고자 하는 대상 픽셀의 값을 가져올 때, 상기 왜곡 계수 및 상기 대상 픽셀에 대응되는 길이값을 기반으로 상기 대상 픽셀의 변경 좌표를 획득하고, 획득한 상기 변경 좌표의 값을 상기 대상 픽셀의 값으로 가져오는 것을 통해, 상기 필터에 대한 방향성을 상기 왜곡 정보를 기반으로 설정하는,
    무보정 광각 이미지 기반 가변 합성곱 신경망 학습 장치.
KR1020210051135A 2020-12-21 2021-04-20 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치 KR20220089602A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200179891 2020-12-21
KR20200179891 2020-12-21

Publications (1)

Publication Number Publication Date
KR20220089602A true KR20220089602A (ko) 2022-06-28

Family

ID=82268087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051135A KR20220089602A (ko) 2020-12-21 2021-04-20 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220089602A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246209A (zh) * 2023-03-09 2023-06-09 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法
KR102647934B1 (ko) * 2023-11-29 2024-03-15 한국전자기술연구원 Xr 기기 가시화 품질 향상을 위한 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246209A (zh) * 2023-03-09 2023-06-09 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法
CN116246209B (zh) * 2023-03-09 2024-02-13 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法
KR102647934B1 (ko) * 2023-11-29 2024-03-15 한국전자기술연구원 Xr 기기 가시화 품질 향상을 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
US20230230206A1 (en) Image denoising method and apparatus, electronic device, and storage medium
CN110493527B (zh) 主体对焦方法、装置、电子设备和存储介质
US10257502B2 (en) Methods and apparatus for controlling light field capture
US11321966B2 (en) Method and apparatus for human behavior recognition, and storage medium
EP3687152B1 (en) Learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
CN107832700A (zh) 一种人脸识别方法与系统
CA3026684A1 (en) System and method for automatically improving gathering of data using a data gathering device
KR20220089602A (ko) 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치
US20210383166A1 (en) Method and apparatus for context-embedding and region-based object detection
CN110991287A (zh) 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN109948439B (zh) 一种活体检测方法、系统及终端设备
CN111753590B (zh) 一种行为识别方法、装置及电子设备
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
JP2020198556A5 (ko)
CN112862695A (zh) 图像恢复方法和设备
JP4878283B2 (ja) 特徴検出方法及び装置、プログラム、記憶媒体
KR102161166B1 (ko) 영상 융합 방법 및 기록 매체
JP2010154287A (ja) 撮像装置及びその追尾方法
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
CN115022549B (zh) 拍摄构图方法、装置、计算机设备和存储介质
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
US11212444B1 (en) Image processing device
KR102440041B1 (ko) 맞춤형 객체 검출 모델을 가진 객체 검출 장치
KR102101481B1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
KR102224218B1 (ko) 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right