KR102061408B1 - 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 - Google Patents

가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 Download PDF

Info

Publication number
KR102061408B1
KR102061408B1 KR1020180033533A KR20180033533A KR102061408B1 KR 102061408 B1 KR102061408 B1 KR 102061408B1 KR 1020180033533 A KR1020180033533 A KR 1020180033533A KR 20180033533 A KR20180033533 A KR 20180033533A KR 102061408 B1 KR102061408 B1 KR 102061408B1
Authority
KR
South Korea
Prior art keywords
dimensional
data
image
neural network
image data
Prior art date
Application number
KR1020180033533A
Other languages
English (en)
Other versions
KR20180108501A (ko
Inventor
김동민
백종환
이명재
손지수
강신욱
김원태
김동억
Original Assignee
(주)제이엘케이인스펙션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이인스펙션 filed Critical (주)제이엘케이인스펙션
Publication of KR20180108501A publication Critical patent/KR20180108501A/ko
Application granted granted Critical
Publication of KR102061408B1 publication Critical patent/KR102061408B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
    • G06T3/0037—Reshaping or unfolding a 3D tree structure onto a 2D plane
    • G06T3/067—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법이 개시된다. 영상 분석 장치는, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 영상 획득부, 영상 획득부로부터의 쌓은 형태의 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 3차원 영상 생성부, 및 3차원 영상 생성부로부터의 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 딥러닝 알고리즘 분석부를 포함한다.

Description

가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법{APPARATUS AND METHOD FOR ANALYZING IMAGES USING SEMI 3D DEEP NEURAL NETWORK}
본 발명의 실시예는 영상 재구성을 이용한 영상 분석 기술에 관한 것으로, 보다 상세하게는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법에 관한 것이다.
인공 신경망(artificial neural network, ANN)은 기계 학습(machine learning)을 구현하는 기법들 중 하나이다.
일반적으로 인공 신경망은 입력 계층(input layer), 은닉 계층(hidden layer) 및 출력 계층(output layer)으로 이뤄져 있다. 각 계층들은 뉴런(neuron)으로 구성되어 있으며, 각 계층의 뉴런들은 이전 계층의 뉴런들의 출력과 연결되어 있다. 이전 계층의 뉴런들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 값을 일반적으로 비선형(non-linear)인 활성화 함수(activation function)에 넣고 그 출력값을 다음 단계 계층의 뉴런들에게 전달한다.
기존의 기계 학습 기법들은 입력 데이터에서 사람이 설계한 특징 추출(feature extraction) 과정을 통해 얻은 정보에서 분류기(classifier)를 학습하는 반면, 인공 신경망은 특징 추출과 분류기를 처음부터 끝까지 학습(end-to-end learning)하는 것이 특징이다.
합성곱 신경망(convolutional neural network, CNN)은 영상 인식 분야에서 기존의 기계 학습 기법들의 성능을 압도하며 크게 주목받고 있다. 합성곱 신경망의 구조는 일반적인 인공 신경망의 구조와 거의 동일한데, 추가적인 구성요소로는 합성곱 계층(convolutional layer)와 통합 계층(pooling layer)이 있다.
일반적인 합성곱 신경망의 구조는 합성곱 계층과 통합 계층이 번갈아가면서 진행되고, 두세 개 정도의 완전 연결 계층(fully-connected layer)을 거쳐 마지막에 출력 계층이 오는 것이다. 합성곱 계층의 뉴런들은, 이전 계층의 모든 뉴런들과 완전 연결(fully-connected)되는 인공 신경망과 달리, 이전 계층의 작은 지역에만 연결(local connectivity)되어 있다.
또한, 특징 지도(feature map)와 같은 슬라이스(slice)에 속하는 뉴런들은 동일한 값(parameter sharing)의 가중치와 바이어스를 갖는다. 이렇게 진행되는 연산이 합성곱이며, 적용되는 가중치들의 집합을 필터(filter) 또는 커널(kernel)이라고 부른다. 합성곱 신경망은 영상에서의 특징을 효과적으로 추출할 수 있고, 파라미터 수를 줄여서 과적합(overfitting)을 방지하고 일반화(generalization) 성능을 향상시킬 수 있다.
통합 계층은 합성곱 계층들 사이에 위치하며, 특징 지도(feature map)의 공간적(spatial) 크기를 줄여주는 역할을 한다. 이러한 과정도 파라미터 수를 줄여서 과적합을 방지하는 역할을 한다. 가장 많이 쓰이는 형태는 2×2 필터들을 2의 간격으로 적용시키는 맥스 풀링(max-pooling) 방법이다. 이 과정은 특징 지도의 크기를 너비, 높이 방향에 대해 각각 절반씩 줄이게 된다.
한편, 종래기술로는 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법에 관한 대한민국 공개특허공보 제10-2016-0122452호(2016.10.24 공개)가 있다. 그러나 상기 기술은 기본적인 딥러닝 모델을 적용하는 프레임워크를 제공하는 것으로, 특정한 구조의 모델을 구성하는 것과는 다소 거리가 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은, 2차원 영상을 3차원 공간에서 3차원 데이터로 재구성하고 재구성한 3차원 데이터를 회전시켜 다른 3차원 데이터를 생성하고, 생성된 복수의 3차원 데이터 각각에 2차원 합성곱 신경망을 적용하여 합침으로써 심층 신경망에서 용이하게 3차원 영상 데이터를 분석할 수 있는 영상 분석 장치 및 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치는, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 영상 획득부; 상기 영상 획득부로부터의 쌓은 형태의 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 3차원 영상 생성부; 및 상기 3차원 영상 생성부로부터의 복수의 3차원 데이터에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 딥러닝 알고리즘 분석부를 포함한다.
일실시예에서, 상기 3차원 영상 생성부는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행할 수 있다.
일실시예에서, 상기 서로 다른 형태들의 복수의 정보는 상기 쌓은 2차원 영상 데이터의 시간 또는 위치에 따른 움직임이나 모양의 변화에 대응하는 패턴을 인식한 것을 포함할 수 있다.
일실시예에서, 상기 딥러닝 알고리즘 분석부는 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합칠 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법은, 영상 획득부에서, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 단계; 3차원 영상 생성부에서, 쌓은 형태의 상기 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 단계; 및 딥러닝 알고리즘 분석부에서, 상기 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 단계를 포함한다.
일실시예에서, 상기 생성하는 단계는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행할 수 있다.
일실시예에서, 상기 합치는 단계는, 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합칠 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치는, 2차원 영상들을 촬영 위치 또는 시간 순서대로 쌓는 영상 획득부; 상기 영상 획득부에서 전달받은 2차원 영상들로 제1의 3차원 영상 데이터를 생성하고, 상기 제1의 3차원 영상 데이터에서 상기 촬영 위치 또는 시간을 나타내는 축이 나머지 두 축들 중 어느 하나에 일치하도록 회전시킨 제2의 3차원 영상 데이터를 생성하는 3차원 영상 생성부; 및 상기 3차원 영상 생성부에서 전달받은 복수개의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 각 3차원 데이터에 대한 적용 결과를 합치는 딥러닝 알고리즘 분석부를 포함한다.
일실시예에서, 상기 3차원 영상 생성부는, 상기 2차원 영상들의 프레임들 사이의 차이 또는 광학 흐름을 통해 얻은 상기 2차원 영상들을 회전시켜 얻은 다른 2차원 영상들에 기초하여 추가적인 3차원 데이터를 생성할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면의 가상 3차원 심층 신경망을 이용하는 영상 분석 방법, 영상 획득부에서 2차원 영상들을 촬영 위치 또는 시간 순서대로 쌓는 단계; 3차원 영상 생성부에서 상기 영상 획득부로부터 받은 2차원 영상들로 제1의 3차원 영상 데이터를 생성하고, 상기 제1의 3차원 영상 데이터에서 상기 촬영 위치 또는 시간을 나타내는 축이 나머지 두 축들 중 어느 하나에 일치하도록 회전시킨 제2의 3차원 영상 데이터를 생성하는 단계; 및 딥러닝 알고리즘 분석부에서 상기 3차원 영상 생성부로부터 받는 복수개의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 각 3차원 데이터에 대한 적용 결과를 합치는 단계를 포함한다.
일실시예에서, 상기 생성하는 단계는, 상기 2차원 영상들의 프레임들 사이의 차이 또는 광학 흐름을 통해 얻은 상기 2차원 영상들을 회전시켜 얻은 다른 2차원 영상들에 기초하여 추가적인 3차원 데이터를 생성할 수 있다.
본 발명에 의하면, 일반적인 3차원 합성곱 신경망 방법에 비해 더 적은 파라미터를 가지는 2차원 합성곱 신경망을 이용하여 3차원 데이터를 더욱 효율적으로 학습하고 영상 분석할 수 있는 장점이 있다.
또한, 본 발명에 의하면, 파라미터 수가 매우 많기 때문에 메모리를 많이 차지하며 학습할 때 오랜 시간이 걸리고 학습된 모델을 사용할 때 계산 시간이 긴 3차원 합성곱 신경망 모델의 문제점을 해결할 수 있으면서, 3차원 영상 데이터에 대하여 효율적인 학습과 영상 분석을 수행할 수 있는 새로운 영상 분석 모델을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치의 블록도이다.
도 2는 도 1의 영상 분석 장치의 작동 원리를 도식적으로 나타낸 예시도이다.
도 3은 도 1의 영상 분석 장치에 채용할 수 있는 2차원 합성곱 신경망의 기존적인 작동 원리를 설명하기 위한 예시도이다.
도 4는 비교예에 따른 3차원 합성곱 신경망의 작동 원리를 설명하기 위한 예시도이다.
도 5는 본 발명의 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법의 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치의 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치의 블록도이다.
도 1을 참조하면, 본 실시예에 따른 영상 분석 장치(100)는 영상 획득부(110), 3차원 영상 생성부(120) 및 딥러닝 알고리즘 분석부(130)를 포함한다.
영상 획득부(110)는 2차원 영상들의 촬영 각도나 시간에 따라 순서대로 쌓은 2차원 영상들을 준비한다. 영상 획득부(110)는 카메라, 제어부, 통신부 등에 연결될 수 있다.
3차원 영상 생성부(120)는 영상 획득부(110)로부터 받은 2차원 영상들로 복수의 3차원 데이터를 생성한다. 간단한 예로써, 3차원 영상 생성부(120)는 2차원 영상들을 적층하여 제1의 3차원 데이터로 변환하고, 변환된 제1의 3차원 데이터를 3차원 공간에서 임의의 각도로, 바람직하게는 3차원 공간상에서의 3축들(x, y, z) 중 어느 하나의 축이 다른 하나의 축의 위치로 회전하여 제2의 3차원 데이터를 생성하도록 3차원 데이터를 복수개로 재구성할 수 있다.
이것은 미리 설정된 기준에 따라 예컨대, 시간 축을 따라 적층되는 복수의 2차원 영상 데이터를 상기 복수의 2차원 영상 데이터에 대한 상대적인 시간이나 위치 변화에 따라 서로 다른 형태의 복수의 3차원 데이터를 얻을 수 있음을 나타낸다. 즉, 본 실시예에서는 2차원 영상 데이터들을 쌓고, 쌓은 2차원 영상 데이터들에 대한 시간이나 위치 변화에 기초하여 복수의 연산을 각각 수행하여 복수의 3차원 데이터를 획득할 수 있다. 3차원 데이터는 3차원 영상 데이터를 포함할 수 있다.
또한, 일례로, 세포 영상과 같이 움직이는 동영상에 대한 정보를 포함하는 2차원 영상 데이터들은 2차원 영상 데이터들 각각에서 모폴로지가 변할 수 있고 위치가 변할 수 있는 형태 즉, 트래킹을 할 수 있는 상태를 가진다. 여기서, 영상 인식 장치는, 외곽선을 고려하는 경우, 위치 또는 시간에 따른 2차원 영상 데이터들에서 외곽선이 변해 있거나 위치가 좀 바뀌어 있거나 하는 차이들을 추출하고, 2차원 영상 데이터들을 3차원 데이터화하는 경우에 있어서, 추출된 정보에 기초하여 움직임의 변화 또는 모양의 변화에 대응하는 패턴을 인식할 수 있다. 영상 인식 장치는 볼륨메트리 등을 이용하여 패턴 인식을 수행할 수 있다.
다시 말하면, 2차원 영상 데이터들을 X-Y 평면 상에 시간 축(Z) 방향으로 쌓는다고 할 때, 쌓은 2차원 영상 데이터들은 3차원 데이터 형태를 가지며, 여기서 쌓은 2차원 영상 데이터들을 위에서 볼 때와 옆에서 볼 때 차이가 발생하며, 예컨대 2차원 영상 데이터들을 위에서 보는 경우, 그 차이는 모폴로지의 차이가 주된 차이로 인식될 수 있고, 2차원 영상 데이터들을 옆에서 보는 경우, 그 차이는 시간적인 차이에 따라서 그 위치에 대한 변화로 인식될 수 있다. 이와 같이, 본 실시예에서는 쌓은 2차원 영상 데이터들에 대한 다른 형태로 인식되는 복수의 데이터 즉 복수의 가상 3차원 데이터를 획득하여 이용한다.
딥러닝 알고리즘 분석부(130)는 재구성된 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망(2D Convolutional Neural Network, CNN)을 적용하고 각 3차원 데이터에 대한 적용 결과를 합쳐 3차원 영상을 분석한다.
이와 같이, 본 실시예에서는 2차원 영상 데이터를 쌓은 후 쌓은 2차원 영상 데이터에 대한 다른 형태의 정보를 2차원 합성곱 신경망으로 학습하여 3차원 영상 분석을 수행하는 것을 주된 기술적 특징으로 한다.
전술한 구성요소들(110 내지 130)은 하드웨어적으로 구성될 수 있으나, 이에 한정되지 않는다. 영상 분석 장치(100)의 구성요소들은 소프트웨어 모듈 형태로 메모리 등의 저장장치에 저장되고, 저장장치에 연결되는 프로세서가 소프트웨어 모듈을 실행하여 가상 3차원 심층 신경망을 기반으로 3차원 영상 데이터를 효과적으로 학습하고 분석하도록 구현될 수 있다.
이하, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치에 대해 자세히 설명하기로 한다.
도 2는 도 1의 영상 분석 장치의 작동 원리를 도식적으로 나타낸 예시도이다.
도 2를 참조하면, 영상 획득부는 외부로부터 수신되거나 획득한 2차원 영상들 혹은 영상 분석 장치 외부나 내부의 메모리 등에 저장되어 있는 것을 독출한 2차원 영상들을 촬영 위치나 촬영 시간에 따라 쌓을 수 있다.
3차원 영상 생성부는 영상 획득부로부터 전달받은 2차원 영상들을 이용하여 복수 개의 3차원 데이터를 생성한다. 3차원 데이터는 3차원 영상 데이터를 포함할 수 있다.
3차원 영상 생성부는 복수 개의 2차원 영상들을 촬영 위치 또는 시간 순서대로 적층시켜 3차원 영상 데이터를 생성할 수 있다. 3차원 영상 생성부는 생성된 3차원 영상 데이터를 미리 설정된 각도로 회전시켜 추가적인 3차원 영상 데이터를 생성할 수 있다.
예를 들어, 3차원 영상 데이터에 대해 서로 직교하는 3가지 방향에 대해서 분석을 진행하는 경우에는, 다음의 과정에 의해 복수 개의 3차원 영상 데이터를 생성할 수 있다. 즉, 2차원 영상의 두 축을 x, y라 하고 2차원 영상들의 촬영 위치 또는 시간을 나타내는 축을 z라고 한다면, z축 순서 그대로 2차원 영상들을 적층시켜 만든 3차원 데이터 Dxyz(제1의 3차원 데이터)와, Dxyz를 다른 두 개의 축 방향으로 각각 회전시켜 만든 3차원 데이터 Dyzx와 3차원 데이터 Dzxy를 사용할 수 있다.
물론, 최종 모델의 메모리 크기나 계산 속도 또는 목표하는 성능에 따라 세 방향 중 두 방향에 대해서만 진행할 수 있다.
또한, 3차원 영상 생성부는 위에서 기술한 복수 개의 3차원 데이터에 더하여 또 다른 3차원 데이터를 추가로 생성하여 사용할 수 있다. 즉, 3차원 영상 생성부는 본래의 2차원 영상들에서 미리 준비된 계산을 통해 얻은 또 다른 영상들에 대해 위에 기술한 방법을 적용하여 복수개의 3차원 영상을 생성할 수 있다. 예컨대, 각 2차원 영상들에 대해 제로 평균(zero-mean)과 단위 변화(unit-variance)를 갖게끔 정규화(normalization)를 거친 후에 위에서 말한 방법을 통해 복수개의 3차원 데이터를 생성할 수 있다.
또 다른 구현에서, 3차원 영상 생성부는, 비디오의 경우, 프레임들 간의 차이 또는 광학 흐름(optical flow) 등의 계산을 통해 얻은 영상들과 그 영상들을 회전시켜 추가적인 3차원 영상을 생성할 수 있다.
딥러닝 알고리즘 분석부는 필요에 따라 3차원 영상 생성부에서 받은 복수 개의 3차원 데이터들에 대해 각각 임의의 간격으로 분할하고 투영함으로써 복수의 2차원 데이터 셋을 생성할 수 있다. 복수의 2차원 데이터 셋을 3차원 데이터에 포함될 수 있다.
딥러닝 알고리즘 분석부는 3차원 영상 생성부로부터 받은 복수 개의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고, 이들을 합치는 과정을 통해 영상 분석 결과를 얻어낼 수 있다.
딥러닝 알고리즘 분석부에서, 각 2차원 합성곱 신경망이 합쳐지는 곳은 합성곱 레이어(convolutional layer)이거나 전결합 레이어(fully-connected layer) 또는 출력 레이어(output layer) 또는 마지막 결과들의 평균을 내는 결정 수준 융합(decision level fusion)이 될 수 있다.
도 3은 도 1의 영상 분석 장치에 채용할 수 있는 2차원 합성곱 신경망의 작동 원리를 설명하기 위한 예시도이다. 도 4는 비교예에 따른 3차원 합성곱 신경망의 작동 원리를 설명하기 위한 예시도이다.
먼저, 도 3을 참조하면, 2차원 합성곱 신경망의 합성곱(convolution) 계산 구조가 나타나 있다. 2차원 합성곱 신경망의 합성곱 계산 구조는 다음의 수학식 1과 같이 표현될 수 있다.
Figure 112018029020174-pat00001
Figure 112018029020174-pat00002
는 i번째 layer의 j번째 feature map에서 (x,y) 위치의 값을 나타낸다.
Figure 112018029020174-pat00003
는 activation function,
Figure 112018029020174-pat00004
는 해당되는 feature map에 대한 bias, m은 (i-1)번째 layer의 feature map의 인덱스,
Figure 112018029020174-pat00005
는 m번째 feature map에 적용된 kernel(filter)의 (p,q) 위치의 값, 그리고
Figure 112018029020174-pat00006
와
Figure 112018029020174-pat00007
는 각각 kernel의 세로와 가로 크기를 나타낸다.
전술한 2차원 합성곱 신경망은 영상 인식에서 뛰어난 성능을 보이고 있다. 하지만, 수행되는 합성곱(convolution)이 2차원 공간(spatial) 특징만을 계산하기 때문에 2차원 합성곱 신경망만을 이용하는 경우에는 여러 개의 2차원 영상들이 모인 3차원 영상에서의 깊이 또는 시간 방향으로의 정보를 학습할 수 없다.
위에서 기술된 문제를 극복하기 위해 3차원 합성곱 신경망 모델을 대체하여 사용할지라도, 일반적인 3차원 합성곱 신경망은 3차원 영상을 분석하기 위해 3차원 필터들을 학습하므로, 파라미터 수가 많아 메모리를 많이 차지하고 학습에 오랜 시간이 걸린다(수학식 2 참조). 이에 본 실시예에서는 2차원 합성곱 신경망을 이용하는 합성곱 계산 구조와 3차원 합성곱 신경망을 이용하는 합성곱 계산 구조를 새로운 방식으로 조합하여 사용한다.
2차원 합성곱 신경망의 합성곱 계산 구조에 결합하는 3차원 합성곱 신경망의 합성곱 계산 구조는 도 4에 도시한 바와 같이 도시될 수 있고, 다음의 수학식 2와 같이 표현될 수 있다.
Figure 112018029020174-pat00008
Figure 112018029020174-pat00009
는 i번째 layer의 j번째 feature map에서 (x,y,z) 위치의 값을 나타낸다.
Figure 112018029020174-pat00010
는 activation function,
Figure 112018029020174-pat00011
는 해당되는 feature map에 대한 bias, m은 (i-1)번째 layer의 feature map의 인덱스,
Figure 112018029020174-pat00012
는 m번째 feature map에 적용된 kernel(filter)의 (p,q,r) 위치의 값, 그리고
Figure 112018029020174-pat00013
,
Figure 112018029020174-pat00014
,
Figure 112018029020174-pat00015
는 각각 kernel의 세로와 가로, 그리고 깊이(또는 시간) 방향으로의 크기를 나타낸다.
이와 같이, 전술한 3차원 합성곱 신경망 모델만을 이용하는 기존 기술은 기본적으로 파라미터 수가 매우 많기 때문에 메모리를 많이 차지하며, 학습시킬 때 오랜 시간이 걸리고, 더욱이 학습된 모델을 사용할 때도 계산 시간이 길다. 따라서 본 실시예에서는 3차원 합성곱 신경망보다 더 적은 수의 파라미터를 가지는 2차원 합성곱 신경망을 이용하여 3차원 영상 데이터에 대해서 효율적인 학습을 하고 영상을 분석할 수 있다.
즉, 딥러닝 알고리즘 분석부는 3원 영상 생성부로부터 전달받은 복수 개의 2차원 데이터 셋(복수의 3차원 데이터) 각각에 대해 2차원 합성곱 신경망을 적용하고, 그 적용 결과를 합치는 과정을 포함하는 ‘가상 3차원 심층 신경망’에 의한 영상 분석 결과를 도출할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법의 흐름도이다.
도 5를 참조하면, 본 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법은, 먼저 영상 분석 장치 내 영상 획득부에서 특정 그룹의 2차원 영상들을 촬영 위치 또는 시간에 따라 쌓는 단계(S51), 2차원 영상들을 이용하여 3차원 영상(제1의 3차원 데이터)를 생성하고, 제1의 3차원 데이터를 회전한 제2의 3차원 데이터를 생성하는 단계(S52), 그리고 복수의 3차원 영상들(제1 및 제2의 3차원 데이터) 각각에 대해 2차원 합성곱 신경망을 적용하고 각 3차원 영상에 대한 적용 결과를 합치는 단계(S53)를 포함한다.
본 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법은 일반적인 3차원 합성곱 신경망 방법에 비해 더 적은 파라미터를 가지는 2차원 합성곱 신경망을 이용하여 3차원 데이터를 더욱 효율적으로 학습하고 영상 분석에 적용할 수 있다. 이러한 방법은 ‘가상 3차원 심층 신경망’에 의한 방법이라고 명명될 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치에 대한 블록도이다.
도 6은 참조하면, 본 실시예에 따른 영상 분석 장치(100)는 통신부(160), 제어부(170) 및 메모리(180)를 포함할 수 있다. 영상 분석 장치(100)는 컨트롤러 또는 컴퓨팅 장치를 포함하여 구현될 수 있다. 영상 분석 장치(100)는 사용자, 관리자, 제어단말 등으로부터 입력에 따라 데이터 또는 신호를 처리한 후 그 결과를 출력하기 위한 입출력장치(190)에 연결될 수 있다. 또한, 영상 분석 장치(100)는 데이터베이스를 구비하는 데이터베이스 시스템(200)과 연결될 수 있다. 데이터베이스는 분석하고자 하는 영상을 제공하는 장치의 식별정보, 접속정보, 인증정보 중 적어도 어느 하나를 포함할 수 있다.
본 실시예에서 입출력장치(190) 및 데이터베이스 시스템(200)은 영상 분석 장치(100)에 포함되지 않는 형태로 도시되어 있으나, 본 발명은 그러한 구성으로 한정되지 않고, 구현에 따라서 입출력장치(190) 및 데이터베이스 시스템(200) 중 적어도 어느 하나 이상을 더 포함하도록 구현될 수 있다.
통신부(160)는 영상 분석 장치(100)를 통신 네트워크에 연결한다. 통신부(160)는 네트워크를 통해 접근하는 사용자 단말, 서버, 관리자 단말 등으로부터 영상이나 영상 분석에 관련된 정보 혹은 신호를 수신할 수 있다.
통신부(160)는 하나 이상의 통신 프로토콜을 지원하는 하나 이상의 유선 및/또는 무선 통신 서브시스템을 포함할 수 있다. 유선 통신 서브시스템은 PSTN(public switched telephone network), ADSL(Asymmetric Digital Subscriber Line) 또는 VDSL(Very high-data rate Digital Subscriber Line) 네트워크, PES(PSTN Emulation Service)를 위한 서브시스템, IP(internet protocol) 멀티미디어 서브시스템(IMS) 등을 포함할 수 있다. 무선 통신 서브시스템은 무선 주파수(radio frequency, RF) 수신기, RF 송신기, RF 송수신기, 광(예컨대, 적외선) 수신기, 광 송신기, 광 송수신기 또는 이들의 조합을 포함할 수 있다.
무선 네트워크는 기본적으로 Wi-Fi를 지칭하나, 이에 한정되지 않는다. 본 실시예에서 통신부(160)는 다양한 무선 네트워크 예를 들어, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), LET-A(LET-Advanced), OFDMA(Orthogonal Frequency Division Multiple Access), WiMax, Wi-Fi(Wireless Fidelity), Bluetooth 등에서 선택되는 적어도 하나 이상을 지원하도록 구현될 수 있다.
제어부(170)는 내장 메모리 혹은 메모리(180)에 저장되는 소프트웨어 모듈이나 프로그램을 수행하여 영상 분석 방법을 구현할 수 있다. 제어부(170)는 예를 들어 프로세서로 지칭될 수 있고, 도 5에 도시한 일련의 절차들을 수행할 수 있다.
제어부(170)는 적어도 하나 이상의 중앙 처리 장치(CPU) 또는 코어를 포함하는 프로세서나 마이크로프로세서로 구현될 수 있다. 중앙처리장치 또는 코어는 처리할 명령어를 저장하는 레지스터(register)와, 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU)와, 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어유닛(control unit)과, 이들을 연결하는 내부 버스 등을 구비할 수 있다. 중앙처리장치 혹은 코어는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다.
또한, 제어부(170)는 하나 이상의 데이터 프로세서, 이미지 프로세서 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 제어부(170)는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있다. 주변장치 인터페이스는 제어부(170)와 입출력장치(190) 등의 입출력 시스템이나 다른 주변 장치를 연결하고, 메모리 인터페이스는 제어부(170)와 메모리(180)를 연결할 수 있다.
메모리(180)는 가상 3차원 심층 신경망을 이용하여 영상을 분석하기 위한 소프트웨어 모듈을 저장할 수 있다. 소프트웨어 모듈은, 도 5의 단계들(S51 내지 S53)을 각각 수행하는 제1 모듈 내지 제3 모듈을 포함할 수 있다.
전술한 메모리(180)는 비휘발성 랜덤 액세스 메모리(non-volatile RAM, NVRAM), 대표적 휘발성 메모리인 DRAM(dynamic random access memory) 등의 반도체 메모리, 하드디스크 드라이브(hard disk drive, HDD), 광 저장 장치, 플래시 메모리 등으로 구현될 수 있다. 그리고 메모리(180)는 가상 3차원 심층 신경망을 이용하여 영상을 분석하기 위한 소프트웨어 모듈들 외에 운영체제, 프로그램, 명령어 집합 등을 저장할 수 있다.
한편, 본 실시예에 따른 영상 분석 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 실시예에서는 3차원 영상 데이터를 분석하기 위한 심층 신경망의 구조를 구성하는 방법을 제공한다. 본 실시예에 따른 가상 3차원 심층 신경망 구조는 입력된 의료 영상에서 질병 진단을 내리거나 또는 병변의 위치를 찾아내거나 또는 비디오에서 사람의 행동을 인식하는 등의 3차원 영상 데이터 분석에 활용될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 영상 획득부;
    상기 영상 획득부로부터의 쌓은 형태의 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 3차원 영상 생성부; 및
    상기 3차원 영상 생성부로부터의 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 딥러닝 알고리즘 분석부를 포함하며,
    상기 3차원 영상 생성부는 상기 2차원 영상 데이터들을 X-Y 평면 상에 시간 축(Z) 방향으로 쌓고, 쌓은 2차원 영상 데이터들을 위에서 볼 때와 옆에서 볼 때 다른 형태로 인식되는 복수의 가상 3차원 데이터를 획득하는,
    가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  2. 청구항 1에 있어서,
    상기 3차원 영상 생성부는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행하는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  3. 청구항 1에 있어서,
    상기 서로 다른 형태들의 복수의 정보는 상기 쌓은 2차원 영상 데이터의 시간 또는 위치에 따른 움직임이나 모양의 변화에 대응하는 패턴을 인식한 것을 포함하는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  4. 청구항 1에 있어서,
    상기 딥러닝 알고리즘 분석부는 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합치는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  5. 영상 획득부에서, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 단계;
    3차원 영상 생성부에서, 쌓은 형태의 상기 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 단계; 및
    딥러닝 알고리즘 분석부에서, 상기 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 단계;
    를 포함하며,
    상기 복수의 3차원 데이터를 생성하는 단계는, 상기 2차원 영상 데이터들을 X-Y 평면 상에 시간 축(Z) 방향으로 쌓고, 쌓은 2차원 영상 데이터들을 위에서 볼 때와 옆에서 볼 때 다른 형태로 인식되는 복수의 가상 3차원 데이터를 획득하는 가상 3차원 심층 신경망을 이용하는 영상 분석 방법.
  6. 청구항 5에 있어서,
    상기 생성하는 단계는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행하는, 가상 3차원 심층 신경망을 이용하는 영상 분석 방법.
  7. 청구항 5에 있어서,
    상기 합치는 단계는, 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합치는, 가상 3차원 심층 신경망을 이용하는 영상 분석 방법.
KR1020180033533A 2017-03-24 2018-03-22 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 KR102061408B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170037958 2017-03-24
KR20170037958 2017-03-24

Publications (2)

Publication Number Publication Date
KR20180108501A KR20180108501A (ko) 2018-10-04
KR102061408B1 true KR102061408B1 (ko) 2019-12-31

Family

ID=63585872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180033533A KR102061408B1 (ko) 2017-03-24 2018-03-22 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법

Country Status (6)

Country Link
US (1) US10970520B1 (ko)
EP (1) EP3605472A4 (ko)
JP (1) JP6979664B2 (ko)
KR (1) KR102061408B1 (ko)
CN (1) CN110574077B (ko)
WO (1) WO2018174623A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220043957A (ko) * 2020-09-28 2022-04-06 (주)제이엘케이 경량 3차원 볼륨 데이터 획득 시스템 및 방법
KR20230027948A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 이미지 초고해상도를 위한 컨볼루션 신경망 시스템
KR20230027949A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 초고해상도 컨볼루션 신경망 시스템의 연산량 감소 장치 및 방법
US11830227B2 (en) 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190944B2 (en) 2017-05-05 2021-11-30 Ball Aerospace & Technologies Corp. Spectral sensing and allocation using deep machine learning
WO2019219968A1 (en) * 2018-05-18 2019-11-21 Deepmind Technologies Limited Visual speech recognition by phoneme prediction
KR102107182B1 (ko) * 2018-10-23 2020-05-06 전남대학교 산학협력단 손 제스처 인식 시스템 및 방법
KR102250163B1 (ko) * 2018-11-23 2021-05-10 네이버웹툰 유한회사 딥러닝 기술을 이용하여 비디오 영상을 3d 비디오 영상으로 변환하는 방법 및 장치
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method
KR102263005B1 (ko) * 2019-01-15 2021-06-08 포항공과대학교 산학협력단 동적으로 3d cnn을 이용하는 고속 영상 인식 방법 및 장치
KR102263017B1 (ko) * 2019-01-15 2021-06-08 포항공과대학교 산학협력단 3d cnn을 이용한 고속 영상 인식 방법 및 장치
US11851217B1 (en) * 2019-01-23 2023-12-26 Ball Aerospace & Technologies Corp. Star tracker using vector-based deep learning for enhanced performance
US11412124B1 (en) 2019-03-01 2022-08-09 Ball Aerospace & Technologies Corp. Microsequencer for reconfigurable focal plane control
CN111988666B (zh) * 2019-05-23 2022-04-26 阿里巴巴集团控股有限公司 视频检测、3d卷积与映射方法、设备及存储介质
US11488024B1 (en) 2019-05-29 2022-11-01 Ball Aerospace & Technologies Corp. Methods and systems for implementing deep reinforcement module networks for autonomous systems control
US11303348B1 (en) 2019-05-29 2022-04-12 Ball Aerospace & Technologies Corp. Systems and methods for enhancing communication network performance using vector based deep learning
KR102081854B1 (ko) 2019-08-01 2020-02-26 전자부품연구원 3d edm을 이용한 수어 또는 제스처 인식 방법 및 장치
US11828598B1 (en) 2019-08-28 2023-11-28 Ball Aerospace & Technologies Corp. Systems and methods for the efficient detection and tracking of objects from a moving platform
KR102219364B1 (ko) * 2019-09-19 2021-02-25 주식회사 싸인텔레콤 영상감지장치 기반의 버스정류장 조명제어 시스템
TWI730452B (zh) * 2019-10-16 2021-06-11 逢甲大學 立體類神經網路系統
KR102166835B1 (ko) 2019-10-28 2020-10-16 주식회사 루닛 신경망 학습 방법 및 그 장치
KR102581941B1 (ko) * 2019-12-27 2023-09-22 권세기 딥러닝을 이용한 반려견의 입마개 착용 여부 감시 시스템 및 방법
US11276249B2 (en) 2020-05-14 2022-03-15 International Business Machines Corporation Method and system for video action classification by mixing 2D and 3D features
CN111612689B (zh) * 2020-05-28 2024-04-05 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
US20210398338A1 (en) * 2020-06-22 2021-12-23 Nvidia Corporation Image generation using one or more neural networks
KR102453834B1 (ko) * 2020-07-15 2022-10-11 한국로봇융합연구원 다수의 열화상 및 영상 카메라의 출력 정보를 심층신경망 모델의 입력데이터로 구조화하기 위한 방법
CN111985618B (zh) * 2020-08-14 2024-03-05 杭州海康威视数字技术股份有限公司 3d卷积神经网络在神经网络处理器上的处理方法和装置
KR102575224B1 (ko) * 2021-01-07 2023-09-08 충북대학교 산학협력단 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105838A (ja) 1998-09-29 2000-04-11 Toshiba Corp 画像表示方法及び画像処理装置
JP2000293704A (ja) 1999-04-02 2000-10-20 Kazuo Yamada ３次元データ表示装置及び３次元データ表示方法並びに情報記録媒体
JP2010051691A (ja) 2008-08-29 2010-03-11 Shimadzu Corp 超音波診断装置
JP2010072910A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラム
US20160162782A1 (en) 2014-12-09 2016-06-09 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof
WO2017029488A2 (en) 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
US11164394B2 (en) * 2012-02-24 2021-11-02 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
MX358833B (es) 2013-12-19 2018-09-05 Avigilon Fortress Corp Sistema y metodo para identificar caras en medios no restringidos.
US9898804B2 (en) * 2014-07-16 2018-02-20 Samsung Electronics Co., Ltd. Display driver apparatus and method of driving display
CN110110843B (zh) * 2014-08-29 2020-09-25 谷歌有限责任公司 用于处理图像的方法和系统
US9928410B2 (en) 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
KR20160061856A (ko) 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR101719278B1 (ko) 2015-04-14 2017-04-04 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법
US11425866B2 (en) * 2015-11-03 2022-08-30 Keith Charles Burden Automated pruning or harvesting system for complex morphology foliage
CN105787439B (zh) * 2016-02-04 2019-04-05 广州新节奏智能科技股份有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
US11055063B2 (en) * 2016-05-02 2021-07-06 Marvell Asia Pte, Ltd. Systems and methods for deep learning processor
CN106407903A (zh) * 2016-08-31 2017-02-15 四川瞳知科技有限公司 基于多尺度卷积神经网络的实时人体异常行为识别方法
US10282918B2 (en) * 2016-09-20 2019-05-07 Siemens Healthcare Gmbh Two-dimensional cinematic medical imaging in color based on deep learning
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
HK1224513A (zh) * 2016-10-14 2017-08-18 萬維數碼有限公司 通過機器學習技術改進 的自動轉換質量的方法
JP2018067154A (ja) * 2016-10-19 2018-04-26 ソニーセミコンダクタソリューションズ株式会社 演算処理回路および認識システム
US10176551B2 (en) * 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
US11195280B2 (en) * 2017-06-08 2021-12-07 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Progressive and multi-path holistically nested networks for segmentation
CN107730503B (zh) * 2017-09-12 2020-05-26 北京航空航天大学 三维特征嵌入的图像对象部件级语义分割方法与装置
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
EP3474192A1 (en) * 2017-10-19 2019-04-24 Koninklijke Philips N.V. Classifying data
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
US11636668B2 (en) * 2017-11-10 2023-04-25 Nvidia Corp. Bilateral convolution layer network for processing point clouds
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US10552664B2 (en) * 2017-11-24 2020-02-04 International Business Machines Corporation Image feature classification and localization using discriminative representations for robotic surgical control
US11132797B2 (en) * 2017-12-28 2021-09-28 Topcon Corporation Automatically identifying regions of interest of an object from horizontal images using a machine learning guided imaging system
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
KR102106694B1 (ko) * 2018-05-17 2020-05-04 한국과학기술원 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
US10297070B1 (en) * 2018-10-16 2019-05-21 Inception Institute of Artificial Intelligence, Ltd 3D scene synthesis techniques using neural network architectures
US11436743B2 (en) * 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105838A (ja) 1998-09-29 2000-04-11 Toshiba Corp 画像表示方法及び画像処理装置
JP2000293704A (ja) 1999-04-02 2000-10-20 Kazuo Yamada ３次元データ表示装置及び３次元データ表示方法並びに情報記録媒体
JP2010051691A (ja) 2008-08-29 2010-03-11 Shimadzu Corp 超音波診断装置
JP2010072910A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラム
US20160162782A1 (en) 2014-12-09 2016-06-09 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof
WO2017029488A2 (en) 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Balint, et al., "Deep Learning and SVM Classification for Plant Recognition in Content-Based Large Scale Image Retrieval." CLEF, Working Notes(2016)*
이범진 외 2인, "컨볼루션-순환 딥러닝을 이용한 컬러-깊이-열화상 얼굴 이미지 인식 방법." 한국정보과학회 2014 동계학술발표회 논문집(2014)*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830227B2 (en) 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image
KR20220043957A (ko) * 2020-09-28 2022-04-06 (주)제이엘케이 경량 3차원 볼륨 데이터 획득 시스템 및 방법
KR102505994B1 (ko) * 2020-09-28 2023-03-07 (주)제이엘케이 경량 3차원 볼륨 데이터 획득 시스템 및 방법
KR20230027948A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 이미지 초고해상도를 위한 컨볼루션 신경망 시스템
KR20230027949A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 초고해상도 컨볼루션 신경망 시스템의 연산량 감소 장치 및 방법

Also Published As

Publication number Publication date
CN110574077A (zh) 2019-12-13
US20210103716A1 (en) 2021-04-08
US10970520B1 (en) 2021-04-06
EP3605472A4 (en) 2020-12-23
KR20180108501A (ko) 2018-10-04
EP3605472A1 (en) 2020-02-05
CN110574077B (zh) 2023-08-01
JP2020513124A (ja) 2020-04-30
JP6979664B2 (ja) 2021-12-15
WO2018174623A1 (ko) 2018-09-27

Similar Documents

Publication Publication Date Title
KR102061408B1 (ko) 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
US11508146B2 (en) Convolutional neural network processing method and apparatus
US10796452B2 (en) Optimizations for structure mapping and up-sampling
US11861816B2 (en) System and method for detecting image forgery through convolutional neural network and method for providing non-manipulation detection service using the same
CN112308200B (zh) 神经网络的搜索方法及装置
CN110188239B (zh) 一种基于跨模态注意力机制的双流视频分类方法和装置
US11151361B2 (en) Dynamic emotion recognition in unconstrained scenarios
US20200302265A1 (en) Convolutional Neural Network-Based Image Processing Method And Image Processing Apparatus
US20220215227A1 (en) Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium
CN111402143A (zh) 图像处理方法、装置、设备及计算机可读存储介质
Hattori et al. Synthesizing a scene-specific pedestrian detector and pose estimator for static video surveillance: Can we learn pedestrian detectors and pose estimators without real data?
CN110023989A (zh) 一种素描图像的生成方法及装置
EP4235506A1 (en) Neural network model training method, image processing method, and apparatus
JP2021096850A (ja) 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN110222718A (zh) 图像处理的方法及装置
EP4196917A1 (en) Processing images using self-attention based neural networks
CN113112518A (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
Tang et al. An object fine-grained change detection method based on frequency decoupling interaction for high-resolution remote sensing images
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
US20220384035A1 (en) Automatic condition diagnosis using an attention-guided framework
KR102634186B1 (ko) 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image)
González et al. Data-driven multiresolution camera using the foveal adaptive pyramid
CN109492755B (zh) 图像处理方法、图像处理装置和计算机可读存储介质
US20230215176A1 (en) Method and a system for spatio-temporal polarization video analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant