KR20190030151A

KR20190030151A - 영상 분석 방법, 장치 및 컴퓨터 프로그램

Info

Publication number: KR20190030151A
Application number: KR1020180057547A
Authority: KR
Inventors: 이재준
Original assignee: 이재준
Priority date: 2017-09-13
Filing date: 2018-05-21
Publication date: 2019-03-21
Also published as: JP6993027B2; EP3696727A4; US11551433B2; JP2020536301A; KR101977174B1; US20210279495A1; WO2019054638A1; US11017255B2; EP3696727A1; US20210034905A1

Abstract

본 발명은 영상 분석 방법, 장치 및 컴퓨터 프로그램에 관한 것이다. 본 발명은 영상 분석 방법에 있어서 질의 영상을 수신하는 단계, 상기 질의 영상에서 하나 이상의 관심 영역을 추출하는 단계, 상기 관심 영역 각각의 특징을 추출하기 위하여 독립적으로 학습된 하나 이상의 관심 영역 특징 추출 모델에 상기 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 제1 특징을 산출하는 단계, 상기 관심 영역별 제1 특징을 기 학습된 통합 분석 모델에 적용하여, 상기 질의 영상의 분석값을 산출하는 단계를 포함하는 것을 일 특징으로 한다. 본 발명에 의하면 전체 영상의 지도 학습을 위해 생성된 훈련 데이터가 가질 수 있는 오류가 분석 모델에 미치는 영향을 줄일 수 있으며, 심층 신경망의 학습 정확도와 객관성을 높일 수 있다.

Description

영상 분석 방법, 장치 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR ANALYZING IMAGE}

본 발명은 영상 분석 방법, 장치 및 컴퓨터 프로그램에 관한 것으로, 보다 자세하게는 기계 학습을 이용하여 영상을 분석하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

영상 분석 기술은 다양한 분야에 광범위하게 사용되고 있으며, 특히 기계 학습(machine learning) 알고리즘을 이용해 객체 식별의 정확도가 높아지면서 그 활용이 더욱 활발하게 이루어지고 있다.

영상 분석에 있어서 질의 영상이 수신되면, 컴퓨터는 기계 학습을 기반으로 학습된 모델을 통해 질의 영상의 특징(또는 질의 영상에 포함된 객체의 특징)을 분류한다. 사용자는 질의 영상에 대한 분석 결과를 통해 질의 영상에 어떤 객체가 포함되어 있는지 - 예를 들어, 영상에 포함된 상품이 어떤 상품인지- 또는 각 객체가 어떤 특성을 갖는지 - 예를 들어 상품이 어떤 색상, 패턴을 갖는지, 영상에 포함된 사람 얼굴이 누구인지 - 등을 손쉽게 확인할 수 있으며, 이를 활용하여 사용자는 수많은 영상 데이터들을 빠르게 분류하고 이해할 수 있다.

객체를 식별하기 위해서는 식별하고자 하는 객체의 특성을 학습하는 것이 필요한데, 기식별된 다량의 데이터를 기계학습 모델에 학습시키는 지도학습기법이 사용된다.

종래에 기계학습기법을 이용하여 분석 모델을 생성하고, 학습된 분석 모델을 통해 질의 영상을 분석하는 방법을 크게 두 가지로 분류해 볼 수 있다.

첫째로는 전체 영상을 학습 대상으로 하여 분석 모델을 생성하고, 영상을 분석하는 방식이다. 전체 영상을 기계학습 모델에 입력하여 학습시키면, 분석 모델은 영상 내의 특징들을 자체적으로 학습하며 분류에 활용한다.

둘째로는 영상 내에서 관심 영역(ROI, Region of Interest)들을 추출해 관심 영역을 학습 대상으로 분석 모델을 훈련하고, 관심 영역을 중심으로 영상을 분석하는 방식이다. 이때 관심 영역은 해당 분야의 전문가가 특정하는 것이 일반적이다, 해당 분야의 전문가들의 누적된 경험과 지식을 활용하여 주요 관심 영역을 추출하고 관심 영역을 중심으로 영상을 분석하면 영상 분류 및 분석의 정밀도를 높일 수 있다.

그러나 위 두 가지 방식 모두 각각 한계점을 갖고 있다. 전체 영상을 학습 대상으로 분석함에 있어서 영상 내의 복잡도가 크거나 특징적인 부분이 영상 내에 다수 존재할 경우 동일한 질의 영상(분석 대상)에 대한 분류 결과가 달라질 수 있다. 이는 지도 학습 데이터를 생성하는 주체에 따라 특징이 된다고 생각하는 부분이 달라 식별값이 달라질 수 있기 때문이다. 전체 영상 기반 분류 방식은 분석 모델을 생성하는데 사용되는 학습 데이터의 정확성과 객관성이 담보되지 않으면, 분류 결과의 신뢰성이 크게 저하되는 문제가 있으며, 전체 영상에 대한 직관적인 판단에 의존하게 될 수 있다.

뿐만 아니라 전체 영상 기반의 분류 방식은 영상 분류 시 중요한 의미를 갖지 않는 부분까지 함께 분석되기 때문에 질의 영상 식별과 무관한 노이즈가 해당 영상의 자동 분석 결과에 부정적인 영향을 줄 수 있다.

한편, 관심 영역별로 특징을 분석하는 방식은 전체 영상에서 관심 영역을 제외한 나머지 영역의 특징이 반영되지 않거나, 선택한 관심 영역의 중요도가 크지 않을 수도 있다는 점에서 한계가 있다.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 영상 분석의 정확도를 높일 수 있는 영상 분석 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 일 목적으로 한다.

또한, 본 발명은 전체 영상의 지도 학습을 위해 생성된 훈련 데이터가 가질 수 있는 오류가 분석 모델에 미치는 영향을 감소시키고, 심층 신경망의 학습 정확도와 객관성을 높일 수 있는 영상 분석 방법을 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은 판단 오류를 유발할 가능성이 높은 잡음 요소들이 영상에 포함되어 있는 경우, 영상 내의 주요 관심 영역에서 특징을 별도로 검출한 후 이를 최종 영상 분류에 반영함으로써 영상 분류의 객관성과 정확성을 높이는 것을 다른 목적으로 한다.

또한, 본 발명은 해당 질의 영상을 식별하는 데 있어 관심 영역별로 중요한 특징을 추출하고 식별값을 출력함으로써, 블랙박스로 일컬어지는 심층신경망의 영상 분류 결과에 대해 판단 근거와 해석을 제공하는 것을 다른 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 영상 분석 방법에 있어서 질의 영상을 수신하는 단계, 상기 질의 영상에서 하나 이상의 관심 영역을 추출하는 단계, 상기 관심 영역 각각의 특징을 추출하기 위하여 독립적으로 학습된 하나 이상의 관심 영역 특징 추출 모델에 상기 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 제1 특징을 산출하는 단계, 상기 관심 영역별 제1 특징을 기 학습된 통합 분석 모델에 적용하여, 상기 질의 영상의 분석값을 산출하는 단계를 포함하는 것을 일 특징으로 한다.

또한 본 발명은 영상 분석 장치에 있어서, 질의 영상을 수신하는 입력부, 상기 질의 영상에서 하나 이상의 관심 영역을 추출하는 검출부, 상기 관심 영역 각각의 특징을 추출하기 위하여 독립적으로 학습된 하나 이상의 관심 영역 특징 추출 모델에 상기 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 제1 특징을 산출하는 관심 영상 분석부, 상기 제1 특징을 기 학습된 통합 분석 모델에 적용하여, 상기 질의 영상의 분석값을 산출하는 통합 분석부, 상기 분석값을 이용하여 상기 질의 영상에 대한 분석 결과를 출력하는 출력부를 포함하는 것을 다른 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 종래 방식 대비 영상 분석의 정확도를 높일 수 있다.

또한, 본 발명에 의하면 전체 영상의 지도 학습을 위해 생성된 훈련 데이터가 가질 수 있는 오류가 분석 모델에 미치는 영향을 줄일 수 있으며, 심층 신경망의 학습 정확도와 객관성을 높일 수 있다.

또한, 본 발명에 의하면 판단 오류를 유발할 가능성이 높은 잡음 요소들이 영상에 포함되어 있는 경우, 영상 내의 주요 관심 영역에서 특징을 별도로 검출한 후 이를 최종 영상 분류에 반영함으로써 영상 분류의 객관성과 정확성을 높일 수 있다.

또한, 본 발명에 의하면 블랙박스로 일컬어지는 심층신경망의 영상 분류 결과에 대해 판단 근거와 해석을 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 분석 장치를 설명하기 위한 블록도,
도 2는 본 발명의 일 실시 예에 따른 특징 추출 모델을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 관심 영역 추출을 설명하기 위한 수골 영상,
도 4는 본 발명의 일 실시 예에 따른 영상 분석 방법을 설명하기 위한 순서도,
도 5는 본 발명의 다른 실시 예에 따른 영상 분석 방법을 설명하기 위한 순서도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

본 발명은 다양한 분야에 적용 가능하나, 특히 골연령 판단을 위한 수골 영상 분석에 효과적으로 사용될 수 있다. 골연령은 아동 청소년의 신체적 성장의 진행 정도와 성장이 멈출 시기를 추정하는 데 중요한 역할을 한다. 따라서, 성장 잠재 가능성의 정도를 파악하는 데 사용된다. 골연령은 골단판(성장판)이 골화가 진행됨에 따라 골단과 골간단이 융합되어 가는 상태를 해당 뼈들의 존재와 형상의 변화를 통해 파악한다.

골연령 분석에는 수골영상을 주로 활용하며, 일반적으로 아틀라스 기반의GP방식 또는 TW방식으로 뼈의 성숙도를 보고 골연령을 판단한다.

GP 방식은 골연령 판독에 사용하는 손뼈의 전체 영상을 직관적으로 보고 판별하는 방식이며, TW 방식은 수골 영상에서 주요 세부 관절 부위별로 관심 영역들을 분리한 후, 관심 영역별로 각각 성숙 등급을 판단하고 이를 종합하여 골연령을 산출해내는 방식이다.

GP 방식을 사용할 때 전문의는 골연령별 대표 영상과 질의 영상을 비교하여 질의 영상과 가장 유사한 대표 영상의 골연령을 질의 영상의 골연령으로 판단한다. 그러나 GP 방식은 판독하는 사람에 따라 편차가 클 수 있고, 동일 판독자가 판단을 내리더라도 시간에 따라 다른 평가를 내일 가능성이 높다는 연구 결과들이 다수 보고되고 있다.

TW 방식은 GP 방식에 비해 판독자별 또는 동일 판독자 간의 시간차 분류 결과의 편차가 적다는 연구 결과들이 있으며, 더 정확하고 오차 가능성이 적다고 평가되고 있다. 그러나 TW 방식도 각 관심 영역별로 성숙 등급을 분류하는 데 있어서 GP 방식보다는 작지만 오차가 발생할 수 있다. 또한 평가 대상으로 검출한 관심 영역 이외의 부분은 골연령 분석에 포함되지 않는 한계가 있다.

이러한 문제점은 GP 방식과 TW 방식을 기계학습을 이용해 구현하는 경우에도 동일하게 나타나는데, 본 발명에 의하면 상술한 문제점을 극복할 수 있으며, 수골 영상 분석의 정확도를 크게 향상시킬 수 있다.

이하에서는 도 1 내지 도 2를 참조하여 본 발명의 일 실시 예에 의한 영상 분석 장치를 살펴본다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 분석 장치(100)는 입력부(110), 검출부(130), 관심 영상 분석부(150), 통합분석부(170)를 포함하며, 전체 영상 분석부(160)을 더 포함할 수 있다.

입력부(110)는 사용자로부터 질의 영상을 입력받는 입력 모듈일 수 있으며, 다른 전자 장치(미도시)로부터 유무선 통신망을 통해 질의 영상을 수신하는 통신 모듈일 수 있다. 다른 실시 예로 입력부(110)는 객체의 영상을 획득하는 촬상 모듈일 수 있다. 질의 영상은 2차원의 컬러 또는 흑백 영상일 수 있으며 카메라, 방사선 촬영 장치, 컴퓨터 단층 촬영 장치 등의 촬상 장치를 통해 획득된 것이거나 전자 장치의 캡처 기능을 통해 획득된 것일 수 있다. 입력부(110)는 수신한 질의 영상을 전체 영상 분석부(160) 및/또는 검출부(130)로 전달할 수 있다.

검출부(130)는 질의 영상에서 하나 이상의 관심 영역을 추출한다. 여기서 관심 영역이란, 질의 영상을 분석하는 데 있어서 중요도를 지닌 특정 영역을 의미한다. 기계 학습 분석에 있어서 특정 영역의 중요도는 해당 영상이 속한 도메인 지식에 기반하는 경우가 많다. 즉, 관심 영역을 중심으로 분석하는 것은 분석에 있어 오류를 야기할 가능성이 있는 주요 관심 영역 이외의 영역에서의 노이즈를 제거하여 정확도를 높이기 위한 것이다. 예를 들어, 도 3에 도시된 바와 같은 수골 영상을 질의 영상으로 수신한 경우, 영상 분석 장치(100)는 수골 영상을 분석하여 골연령을 측정할 수 있다. 검출부(130)는 골연령 측정에 주요하게 고려되는 영역(R1 내지 R5) 등을 관심 영역으로 추출할 수 있다.

검출부(130)는 수동 검출부(135)와 자동 검출부(137)를 포함하며, 관심 영역은 수동 또는 자동으로 추출될 수 있다. 수동 검출부(135)는 사용자에 의해 설정된 위치 정보에 대응되는 영역을 관심 영역으로 추출할 수 있다. 즉, 도 3의 예시에서 사용자는 수골 영상에서 관심 영역이 되는 일 영역(R1 내지 R5)을 직접 설정할 수 있으며, 수동 검출부(135)는 사용자에 의해 지정된 영역을 관심 영역으로 추출하여 관심 영상 특징 추출부(160)로 전달할 수 있다.

자동 검출부(137)는 질의 영상에 특정 영역에 대해 학습된 자동 검출 모델을 적용하여 특정 영역에 대응되는 영역을 관심 영역으로 추출할 수 있다. 여기서 특정 영역이란, 전술한 예시에서 골연령 측정에 주요하게 고려되는 영역을 의미한다. 자동 검출부(137)는 전체 영상에서 특정 영상의 추출하기 위하여 복수의 특정 영역 영상을 이용하여 학습된(훈련 및 평가된) 심층 신경망인 자동 검출 모델을 포함할 수 있다. 자동 검출 모델로는 심층 신경망 기반의 Faster-RCNN, Yolo 검출 기법 등이 사용될 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 자동 검출부(137)는 복수의 요골영상을 이용하여 자동 검출 모델을 훈련시킬 수 있으며, 이 경우 임의의 수골 영상(손뼈 전체 영상)을 입력하면 자동 검출부(137)는 요골에 해당하는 R1을 관심 영역으로 추출할 수 있다.

검출부(130)는 질의 영상에서 하나 이상의 관심 영역(관심 영역 1, 2, … , N)을 추출하여, 추출된 관심 영상을 관심 영상 분석부(150)로 전달할 수 있다.

학습부(140)는 관심 영역 학습부(143), 전체 영역 학습부(145), 통합 학습부(147)를 포함할 수 있다.

관심 영역 학습부(143)는 하나 이상의 관심 영역 특징 추출 모델을 독립적으로 학습시켜 관심 영상 분석부(150)에 제공할 수 있다. 각각의 관심 영역 특징 추출 모델은 기계 학습 모델로, 하나 이상의 계층으로 구성된 심층 신경망 또는 회귀 분석 모델일 수 있다.

관심 영역 학습부(143)는 각 관심 영역에 대해 기 식별된, 즉 기 설정된 식별값에 따라 분류된 다수의 관심 영역 영상을 훈련 데이터로 사용하여 관심 영역 특징 추출 모델을 훈련시킬 수 있다. 여기서 식별값은 질의 영상의 분석값과 동일한 종류의 값이거나, 상기 질의 영상의 분석값과 상관관계가 있는 다른 종류의 값일수있다.

예를 들어, 최종적으로 질의 영상의 골 연령을 판단하고자 하는 경우, 관심 영역 학습부(143)는 제1관심 영역(요골)특징 추출 모델을 학습시키기 위하여, 골 연령별 요골 영상을 훈련 데이터로 사용할 수도 있고, 골 연령과 상관 관계가 있는 골 성숙등급(A에서 I 사이) 별 요골 영상을 훈련데이터로 사용할 수도 있다. 즉,도 4에 도시된 수골 영상에서 요골(R1)의 골성숙등급은 전체 수골 영상의 골 연령을 판단하는 데 영향을 미치는 바, 골 성숙등급별로 그룹화된 요골 영상 복수 개를 이용하여 제1관심 영역 특징 추출 모델을 학습시킬 수 있다.

따라서, 이렇게 학습된 관심 영역 특징 추출 모델에,특정 관심 영역을 적용하면 관심 영역의 분석값을 획득할 수 있다. 즉 상기 예시에서 제1관심 영역 특징 추출 모델에 요골 영상을 입력하면, 입력한 요골 영상의 골 연령 또는 골 성숙등급을 관심 영역의 분석값으로 획득할 수 있다.

전체 영역 학습부(145)는 관심 영역 학습부(143)와 마찬가지로 전체 영역 특징 추출 모델을 훈련시켜 전체 영상 분석부(160)에 제공하기 위한 것이다. 전체 영역 특징 추출 모델은 기계 학습 모델로, 하나 이상의 계층으로 구성된 심층 신경망 또는 회귀 분석 모델일 수 있다.

전체 영역 학습부(145)는 전체 영상에 대해 기 식별된, 즉 기 설정된 식별값에 따라 분류된 다수의 전체 영역 영상을 훈련 데이터로 사용하여 전체영역 특징 추출 모델을 훈련시킬 수 있다. 여기서 식별값은 질의 영상의 분석값과 동일한 종류의 값일 수 있다. 예를 들어, 전술한 바와 같이 수골 영상의 골 연령을 판단하고자 하는 경우, 특정한 골 연령으로 판단된 전체 수골 영상을 훈련 데이터로 사용할 수 있다.

통합 학습부(147)는 관심 영역별 학습을 통해 추출된 특징(또는 특징값)및/또는 전체 영역 학습부에서 추출한 전체 영역 특징값을 이용하여 통합 분석 모델을 훈련시킬 수 있다. 통합 학습부(147)에 대해서는 통합 분석부(170)에 대한 설명에서 보다 자세하게 설명하기로 한다.

관심 영상 분석부(150)는 관심 영역 각각의 특징을 추출하기 위하여 독립적으로 학습된 하나 이상의 관심 영역 특징 추출 모델에 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 제1 특징을 산출할 수 있다. 그리고 관심 영역 특징 추출 모델을 통해 산출된 관심 영역별 제1 특징은 통합 분석부(170)의 입력으로 사용된다.

예를 들어, 수골 영상에서 R1 영역(요골 영역)을 관심 영역 1, 복수의 요골 영상으로 학습된 관심 영역 특징 추출 모델을 제1 관심 영역 특징 추출 모델(155)이라고 하면, 관심 영상 분석부(150)는 검출부(130)에서 검출된 관심 영역 1을 제1 관심 영역 특징 추출 모델에 입력하여, 관심 영역 1의 제1 특징을 산출할 수 있다.

관심 영역 특징 추출 모델을 이용하여 관심 영역의 특징을 산출하는 방법의 일 실시 예를 도 2를 참조하여 보다 자세하게 살펴보면 다음과 같다.

관심 영역 특징 추출 모델은 하나 이상의 계층으로 구성된 심층 신경망으로, 관심 영역의 특징들에 대한 특징 지도(feature map)을 만들어내는 다수의 합성곱 계층(convolution layer)과 다수의 합성곱 계층 사이에 서브 샘플링을 수행하는 통합 계층(pooling layer)을 포함하는 합성곱 신경망(convolutional Neural Network, CNN)일 수 있다. 합성곱 신경망은 입력 영상에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 특징을 추출할 수 있다. 특징(feature) 또는 특징값은 영상을 분류 또는 식별하는 데 있어 중요한 핵심 특징들을 나타내는 벡터 값을 의미한다. 본 발명의 일 실시 예에 의하면 통합 분석부(170)로 입력되는 제1 특징은 심층 신경망을 구성하는 하나 이상의 계층 중 일 계층에서 출력되는 값 또는 일 계층으로 입력되는 값일 수 있다.

합성곱 신경망은 여러 개의 합성곱 계층(convolution layer), 여러 개의 서브샘플링 계층(subsampling layer, Max-Pooling layer, Pooling layer)를 포함하며, GAP 계층(Global Average Pooling layer), 완전 연결 계층(Fully-Connected layer), 소프트맥스 계층(Softmax layer) 등을 포함할 수 있다. 합성곱 계층은 입력 영상에 대해 합성곱을 수행하는 계층이며, 서브샘플링 계층은 입력 영상에 대해 지역적으로 최대값 또는 평균값을 추출하여 2차원 영상에 매핑하는 계층으로 국소적인 영역을 더 크게 하고 서브샘플링을 수행할 수 있다.

합성곱 계층에서는 커널의 크기, 사용할 커널의 개수(생성할 맵의 개수), 합성곱 연산 시 적용할 가중치 테이블 등의 정보가 필요하다. 서브 샘플링 계층에서는 서브 샘플링할 커널의 크기 정보, 커널 영역 내의 값들 중 최대값을 선택할 것인지 최소값을 선택할 것인지 등에 대한 정보가 필요하다.

합성곱 신경망(CNN)의 일 예를 도시한 도 2에서 합성곱 신경망은 합성곱 계층(layer 1, layer 3) 사이에 서브 샘플링이 이루어지는 통합 계층(layer 2)을 포함하고, 말단에 GAP 계층, 완전 연결 계층, 소프트맥스 계층을 포함할 수 있다. 이는 설명의 편의를 위한 것으로, 본 예시에 적용된 것과는 다른 특성을 갖는 계층을 보다 다양하게 조합하여 합성곱 신경망을 구성할 수 있으며, 본 발명은 심층신경망의 구성 및 구조에 의해 제한되지 아니한다.

전술한 바와 같이 관심 영상 분석부(150)에서 산출하는 제1 특징은 심층 신경망을 구성하는 하나 이상의 계층 중 일 계층에서 출력되는 값 또는 일 계층으로 입력되는 값일 수 있는 바, GAP에서 출력되는 값을 제1 특징으로 사용하는 경우의 일 실시 예는 다음과 같다.

도 2에 도시된 바와 같이 관심 영역 특징 추출 모델의 GAP 계층에서 각 특징맵의 평균값을 구하고, 이를 완전 연결 계층을 통해 소프트맥스 계층에 전달하는 경우, 관심 영상 분석부(150)는 GAP를 통해 산출된 각 특징맵의 평균값 벡터를 해당 관심 영역의 특징으로 설정할 수 있다. 이 경우, GAP를 통해 산출된 K개의 채널 특징맵의 평균값(A¹, A², …, A^K)이 관심 영역 n의 특징값으로 통합 분석부(170)에 입력된다.

채널 k의 특징맵에서 (i, j) 위치의 특징값을

라 하면, 채널 k의 특징맵의 평균값인

는 다음과 같이 나타낼 수 있다.

[수학식 1]

즉, 관심 영역 n의 특징값

(K= 채널의 총 개수)이 되며, 통합분석부(170)로는 관심 영역별 특징값

(N: 관심 영역의 총 개수)이 입력될 수 있다.

또 다른 실시 예로, 관심 영상 분석부(150)는 심층 신경망을 구성하는 다양한 계층 중 일 계층으로 입력되는 값을 제1 특징으로 사용할 수 있다. 예를 들어, 도 2의 실시 예에서 관심 영상 분석부(150)가 소프트맥스 계층으로 입력되는 값을 제1 특징(

)으로 사용한다고 가정하자. 관심 영상 분석부(150)는 최종 클래스 분류를 위한 각 클래스의 스코어 또는 정규화된 확률값을 관심 영역의 특징값으로 산출하기 위하여 소프트맥스의 입력인 각 클래스 스코어 값을 통합분석부 입력에 넣을 수 있다. 물론 소프트맥스 결과로 나온 정규화된 확률값을 해당 관심 영역의 특징값으로 설정하여 통합분석부 입력에 넣을 수도 있다.

이 예시에서, 클래스 C의 스코어를

라고 하면,

는 다음과 같이 나타낼 수 있다.

[수학식 2]

위 식에서, K는 채널의 총 개수이며,

는 i채널 특징맵의 평균값,

는 클래스 c에 대한

의 가중치이다.

이 경우 관심 영역 n의 특징값

(M= 클래스의 총 개수)이 되며, 통합분석부(170)로는 관심 영역별 특징값

이 입력될 수 있다.

관심 영역분석부(150)는 상술한 관심 영역별 특징값을 산출하는 것과는 별개로, 관심 영역별 분석값(

)을 산출할 수 있다. 이는 통합분석부(170)에 특징값을 입력하는 것과는 별개로, 관심 영역 그 자체의 분석결과를 사용자에게 제공하기 위함이다. 관심 영역분석부(150)에서 산출된 관심 영역별 분석값은 출력부(190)로 전달될 수 있다.

전체 영상 분석부(160)은 본 발명의 일 실시 예에 의한 영상 분석 장치(100)에 포함될 수도 있고 포함되지 않을 수도 있는데, 질의 영상을 복수의 영상으로 학습된 전체 영역 특징 추출 모델에 적용하여 질의 영상의 제2 특징을 산출한다. 즉, 전체 영역 특징 추출 모델은 전체 영상의 특징 추출을 위해 전체 영상을 기반으로 학습된 기계학습 프레임워크로, 수골 영상 분석의 실시 예에 따르면 골 연령별로 손뼈의 전체 이미지를 학습 및 평가하는 것에 의해 손뼈 전체 이미지에 포함된 특징값 분포에 따라 골 연령을 판단할 수 있도록 학습된 심층 신경망이다.

전체 영상 분석부(160)에서 사용하는 전체 영역 특징 추출 모델은 입력 영상이 질의 영상의 일부가 아닌 전체 영상이라는 점, 전체 영상을 기반으로 학습된 신경망이라는 점에서 관심 영역 특징 추출 모델과 차이가 있으나 그 구성 및 학습 방법은 관심 영역 특징 추출 모델과 동일할 수 있다.

전체 영상 분석부(160)에는 질의 영상 그 자체가 입력된다. 예를 들어, 질의 영상이 수골 영상인 경우에는 손뼈 영상, 질의 영상이 얼굴 영상인 경우에는 얼굴 전체의 형상이 포함된 영상이 전체 영상 분석부(160)로 입력될 수 있다. 관심 영상 분석부(150)는 검출부(130)를 통해 추출된 관심 영역만이 입력되므로, 질의 영상이 수골 영상인 경우 요골 영상, 세 번째 손가락뼈의 세 번째 관절 영상 등 일부 영역만이 입력되며, 질의 영상이 얼굴 영상인 경우에는 눈 영역, 코 영역, 입 영역 과 같이 세분화된 일 영역의 영상이 관심 영상 분석부(150)로 입력될 것이다.

상술한 바와 같이 전체 영역 특징 추출 모델 역시 도 2에 도시된 바와 같은 하나 이상의 계층으로 구성된 심층 신경망으로, 합성곱 신경망인 경우 입력되는 질의 영상 위에 커널을 배치한 후 합성곱을 수행하여 특징 맵을 생성하거나 서브 샘플링을 통해 커널 영역 내의 값들을 샘플링하는 과정을 반복 수행할 수 있다. 이러한 과정을 통해 전체 영상 분석부(160)는 질의 영상의 특징을 추출할 수 있다(제2 특징).

제2 특징 역시 관심 영상 분석부(150)에서 통합 분석부(170)로 입력되는 제1 특징과 마찬가지로 심층 신경망을 구성하는 하나 이상의 계층 중 특정 계층에 입력되는 입력값 또는 특정 계층의 출력값일 수 있다. 물론 심층신경망 전체를 통과한 결과 값일 수도 있다. 제2 특징의 산출 방법은 관심 영상 분석부(150)에서 설명한 바와 동일하므로 중복되는 설명은 생략한다.

일반적으로는 기계 학습 모델을 이용하여 특징값을 산출하면, 특징값의 확률 분포를 참조하여 영상을 분류한다. 그러나 본 발명은 영상의 학습 및 분류만을 수행하는 것이 아니라, 영상 분류를 위해 특정 관심 영역별로 학습된 각 심층 신경망에서 산출한 특징값을 학습하는 단계 및 구성을 통해 영상 분석의 정확도를 높인다는 점에서 종래 기술과 상이한 기술적 특징을 갖는다.

통합 분석부(170)는 제1 특징을 기 학습된 통합 분석 모델에 적용하여, 질의 영상의 분석값을 산출한다. 만약 전체 영상 분석부(160)과 관심 영상 분석부(150)가 영상 분석에 모두 사용되는 경우, 통합 분석부(170)는 제1 특징과 제2 특징을 기 학습된 통합 분석 모델에 적용하여, 질의 영상의 분석값을 산출할 수 있다.

여기서 통합 분석 모델은 통합 학습부(147)에서 생성된 것으로, 영상에서 추출한 하나 이상의 관심 영역을 하나 이상의 관심 영역 특징 추출 모델에 각각 적용하여 산출된 하나 이상의 특징으로 학습된 심층 신경망 또는 회귀 모델 등의 기계학습 모델일 수 있다. 다른 실시 예로 통합 분석 모델은 영상을 전체 영상 특징 추출 모델에 적용하여 산출한 특징과, 영상에서 추출한 하나 이상의 관심 영역을 하나 이상의 관심 영역 특징 추출 모델에 각각 적용하여 산출된 하나 이상의 특징으로 학습된 신경망, 심층 신경망 또는 회귀 모델일 수 있다.

다시 말해서, 통합 분석 모델은 특징값으로 학습된 기계학습 모델로, 복수의 학습영상에서 추출한 관심 영역을 관심 영역 특징 추출 모델에 적용하여 산출된 특징(제1 특징)을 학습 데이터로 하거나, 학습 영상을 전체 영상 특징 추출 모델에 적용하여 산출한 특징(제2 특징)과 제1 특징을 학습 데이터로 하여 훈련된 것일 수 있다. 따라서 통합 분석부(170)의 입력 벡터

는

로 나타낼 수 있으며, 여기서 H는 관심 영역의 개수(전체 영상 포함)이며

는 관심 영역 h의 특징값을 의미한다.

예를 들어, 수골 영상 분석에서 요골 영역을 관심 영역 1이라고 할 때, 통합 학습부(147)는 골 연령별 또는 골 성숙 등급 별로 그룹화된 요골 영상 복수개를 제1 관심 영역 특징 추출 모델에 적용하여 산출된 요골 영상의 특징값들로 통합 분석 모델을 학습시킬 수 있다. 즉, 통합 분석 모델은 지도학습을 통해 골 연령별 요골 영상의 특징값의 특징을 학습할 수 있다.

따라서 이 후 질의 영상이 입력되었을 때, 검출부(130)가 질의 영상에서 요골 영상을 추출하면, 관심 영상 분석부(150)는 요골 영상을 제1 관심 영역 특징 추출 모델에 적용하여

을 질의 영상의 관심 영역 1의 특징 벡터로 산출하며,

을 입력받은 통합 분석부(170)는

의 특징을 산출하여

의 특징에 대응되는 골 연령을 식별할 수 있다. 이와 같은 방식으로, 통합 분석부(170)는 각 관심 영역별 특징(

) 및/또는 전체 영상의 특징(

)를 학습 대상으로 하여 골연령별 영상 특징을 학습할 수 있다.

정리하면, 본 발명의 통합 분석부(170)가 특징 분류에 사용하는 통합 분석 모델은 관심 영역의 특징만을 학습할 수도 있고, 관심 영역의 특징과 전체 영상의 특징의 조합을 학습할 수 있다. 이 후 질의 영상을 분석함에 있어서도 통합분석부(170)는 영상을 입력값으로 받는 것이 아니라 질의 영상의 특징값을 입력값으로 받아 분류를 수행할 수 있다. 본 명세서에서 통합 분석부(170)의 출력을 질의 영상의 분석값으로 명명하며, 이는 실제로는 질의 영상을 분석한 분류 결과, 즉 질의 영상의 기계 학습 모델(전체 영역 특징 추출 모델 및/또는 관심 영역 특징 추출 모델)의 결과값 또는 출력값의 특징 벡터인 것으로 이해될 수 있다.

통합 분석부(170)는 분석값을 이용하여 질의 영상을 식별한다. 분석값은 질의 영상이 속하는 카테고리를 나타내거나 카테고리별 확률을 나타내는 벡터값 또는 회귀분석 모델의 결과값일 수 있다.

예를 들어, 수골 영상을 분석하는 경우 분석값은 골 연령별 확률을 나타내는 벡터값일 수 있으며, 분석값에서 가장 높은 확률값에 대응되는 골 연령이 질의 영상의 골 연령으로 식별될 수 있고 또는 회귀분석모델에 대응되는 골연령값일 수 있다. 따라서, 만약 질의 영상의 분석 결과 연령이 10세로 산출되었다면, 도 1에 도시된 바와 같이 통합 분석부에서 출력되는 분석값

는 일종의 카테고리에 해당하는 "10세"로 산출될 수도 있고, 회귀분석모델이 사용된 경우에는 "10.253"과 같이 골 연령으로 특정한 값이 산출될 수도 있다.

출력부(190)는 통합 분석부(170)에서 산출된 질의 영상의 분석값 및 관심 영상 분석부(150)에서 산출된 관심 영역별 분석값을 사용자에게 제공할 수 있다. 예를 들어, 도 1의 195에 도시된 바와 같이, 사용자에게 제공되는 분석 결과는 질의 영상의 분석값

뿐 아니라, 제1관심 영역의 분석값

, 제2관심 영역의 분석값

, 제3관심 영역의 분석값

, 제4관심 영역의 분석값

을 모두 포함할 수 있다. 도 1의 195는 질의 영상의 골 연령에 대한 분석 결과로, 제1관심 영역의 골 연령은 11세, 제2관심 영역의 골 연령은 9세, 제3 관심 영역의 골 연령은 12세로 분석된 경우의 일 예이다.

관심 영역의 분석값은 질의 영상의 분석값에 영향을 미칠 수 있는,즉 질의 영상의 분석값과 상관 관계가 있는 다른 종류의 값일 수 있는 바, 만일 학습부(140)에서 관심 영역 특징 추출 모델을 생성할 때 골 연령이 아닌 골 성숙등급을 식별값으로 하여 관심 영역을 학습시킨 경우, 관심 영역 특징 추출 모델에 관심 영역을 적용하여 도출되는 분석값은 골 성숙등급일 수 있다. 이 경우, 사용자에게는 관심 영역의 분석값으로 관심 영역별 골 성숙등급이 제공될 수 있다. 예를 들어, 제1관심 영역의 골 성숙등급은 C, 제2관심 영역의 골 성숙등급은 D, 제3관심 영역의 골 성숙등급은 C 와 같이 분석될 수 있다. 따라서 본 발명의 영상 분석 장치(100)는 질의 영상의 골 연령과 함께 각 관심 영역의 골 연령 또는 골 성숙등급을 제공함으로써 영상 분석 결과에 대한 판단 근거와 해석을 함께 제공해줄 수 있다는 점에서 효과적이다.

도 4 및 도 5는 본 발명의 일 실시 예에 따른 영상 분석 방법을 도시한 순서도이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치는 질의 영상을 수신하고(S100), 질의 영상에서 하나 이상의 관심 영역을 추출할 수 있다(S200).

단계 200에서 전자 장치는 사용자에 의해 기 설정된 위치 정보에 대응되는 영역을 관심 영역으로 추출할 수 있으며, 질의 영상에 특정 영역에 대해 학습된 자동 검출 모델을 적용하여 특정 영역에 대응되는 영역을 관심 영역으로 추출할 수도 있다.

전자 장치는 다음으로 전자 장치는 관심 영역 각각의 특징을 추출하기 위하여 독립적으로 학습된 하나 이상의 관심 영역 특징 추출 모델에 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 제1 특징을 산출할 수 있다(S300). 관심 영역 특징 추출 모델은 하나 이상의 계층으로 구성된 심층 신경망이며, 제1 특징은 하나 이상의 계층 중 어느 하나의 계층에서 출력되는 값 또는 어느 하나의 계층으로 입력되는 값일 수 있다.

전자 장치는 관심 영역별 제1 특징을 기 학습된 통합 분석 모델에 적용하여, 질의 영상을 식별하기 위한 분석값을 산출할 수 있다(S400). 즉, 질의 영상이 어떤 카테고리에 속하는지, 어떤 확률 값을 갖는지, 어떤 값에 대응되는지 등을 나타내는 분석값을 산출할 수 있다. 여기서 통합 분석 모델은 복수의 학습영상에서 추출한 하나 이상의 관심 영역을 하나 이상의 관심 영역 특징 추출 모델에 각각 적용하여 산출된 하나 이상의 특징으로 학습된 기계학습 모델로, 분석값은 제1 특징들을 통합한 것의 특징 벡터이거나, 카테고리 값을 의미하는 것으로 이해될 수 있다.

한편, 단계 450에서 전자장치는 관심 영역별 분석값을 산출할 수 있다. 단계 450에서 산출되는 분석값은 질의 영상의 분석값과 동일한 종류의 값일 수 있으며, 질의 영상의 분석값과 상관 관계가 있는 다른 종류의 값일 수 있다. 예를 들어 질의 영상의 골 연령이 분석값으로 도출되는 경우, 단계 450에서 산출되는 관심 영역의 분석값은 관심 영역의 골 연령일 수도 있고, 골 연령 측정과 상관 관계를 갖는 골 성숙등급일 수도 있다. 이는 각 관심 영역 특징 추출 모델이 학습될 때 어떤 값이 식별값으로 사용되었는지 여부에 따라 달라질 수 있다.

전자 장치는 단계 500에서 관심 영역별 분석값 및 질의 영상의 분석값을 사용자에게 제공할 수 있다. 예를 들어, 전자 장치에 포함된 디스플레이를 통해 분석값이 표시되거나, 전자 장치에 부착된 스피커 등을 통해 분석값이 출력될 수 도 있다.

도 5의 실시 예에 의하면, 전자 장치는 관심 영역을 추출하여 관심 영역별 제1 특징을 산출함과 동시에, 질의 영상을 복수의 학습영상으로 학습된 전체 영역 특징 추출 모델에 적용하여 질의 영상의 제2 특징을 산출할 수 있다(S350). 이 경우 단계400에서 전자 장치는 제1 특징 및 제2 특징을 통합 분석 모델에 적용하여 질의 영상의 분석값을 산출할 수 있다. 이때 통합 분석 모델은 학습영상을 전체 영상 특징 추출 모델에 적용하여 산출한 특징과, 학습영상에서 추출한 하나 이상의 관심 영역을 하나 이상의 관심 영역 특징 추출 모델에 각각 적용하여 산출된 하나 이상의 특징으로 학습된 신경망 또는 심층 신경망이며, 단계 400에서 산출되는 분석값은 제1 특징 및 제2 특징을 통합한 것의 특징값인 것으로 이해될 수 있다.

본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100: 영상 분석 장치
110: 입력부
130: 검출부
140: 학습부
150: 관심 영상 분석부
160: 전체 영상 분석부
170: 통합 분석부

Claims

질의 영상을 수신하는 단계;
상기 질의 영상에서 하나 이상의 관심 영역을 추출하는 단계;
상기 관심 영역 각각의 특징을 추출하기 위하여 독립적으로 학습된 하나 이상의 관심 영역 특징 추출 모델에 상기 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 제1 특징을 산출하는 단계;
상기 관심 영역별 제1 특징을 기 학습된 통합 분석 모델에 적용하여, 상기 질의 영상을 식별하기 위한 상기 질의 영상의 분석값을 산출하는 단계를 포함하는 영상 분석 방법.
제1항에 있어서,
상기 질의 영상을 복수의 학습영상으로 학습된 전체 영역 특징 추출 모델에 적용하여 상기 질의 영상의 제2 특징을 산출하는 단계를 더 포함하며,
상기 분석값을 산출하는 단계는
상기 제1 특징 및 상기 제2 특징을 상기 통합 분석 모델에 적용하여 상기 질의 영상의 분석값을 산출하는 단계를 포함하는 영상 분석 방법.
제1항에 있어서,
상기 통합 분석 모델은
복수의 학습영상에서 추출한 하나 이상의 관심 영역을 상기 하나 이상의 관심 영역 특징 추출 모델에 각각 적용하여 산출된 하나 이상의 특징으로 학습된 신경망 또는 회귀 모델인 영상 분석 방법.
제2항에 있어서,
상기 통합 분석 모델은
상기 학습영상을 상기 전체 영상 특징 추출 모델에 적용하여 산출한 특징과, 상기 학습영상에서 추출한 하나 이상의 관심 영역을 상기 하나 이상의 관심 영역 특징 추출 모델에 각각 적용하여 산출된 하나 이상의 특징으로 학습된 신경망 또는 회귀 모델인 영상 분석 방법.
제1항에 있어서,
상기 관심 영역 특징 추출 모델은 하나 이상의 계층으로 구성된 심층 신경망이며,
상기 제1 특징은 상기 하나 이상의 계층 중 어느 하나의 계층에서 출력되는 값 또는 상기 어느 하나의 계층으로 입력되는 값인 영상 분석 방법.
제2항에 있어서,
상기 관심 영역 특징 추출 모델 및 상기 전체 영역 특징 추출 모델은 하나 이상의 계층으로 구성된 심층 신경망이며,
상기 제1 특징 및 상기 제2 특징은 상기 하나 이상의 계층 중 어느 하나의 계층에서 출력되는 값 또는 상기 어느 하나의 계층으로 입력되는 값인 영상 분석 방법.
제1항에 있어서,
상기 관심 영역 특징 추출 모델은 기 설정된 식별값에 따라 분류된 하나 이상의관심 영역을 훈련 데이터로 사용하여 학습되며,
상기 식별값은 상기 질의 영상의 분석값과 동일한 종류의 값이거나, 상기 질의 영상의 분석값과 상관관계가 있는 다른 종류의 값인 것을 특징으로 하는 영상 분석 방법.
제1항에 있어서,
상기 하나 이상의 관심 영역 특징 추출 모델에 상기 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 분석값을 산출하는 단계;
상기 질의 영상의 분석값 및 상기 관심 영역별 분석값을 사용자에게 제공하는 단계를 포함하는 영상 분석 방법.
제1항에 있어서,
상기 관심 영역을 추출하는 단계는
상기 질의 영상에 특정 영역에 대해 학습된 자동 검출 모델을 적용하여 상기 특정 영역에 대응되는 영역을 관심 영역으로 추출하는 단계를 포함하는 영상 분석 방법.
질의 영상을 수신하는 입력부;
상기 질의 영상에서 하나 이상의 관심 영역을 추출하는 검출부;
상기 관심 영역 각각의 특징을 추출하기 위하여 독립적으로 학습된 하나 이상의 관심 영역 특징 추출 모델에 상기 하나 이상의 관심 영역을 각각 적용하여 관심 영역별 제1 특징을 산출하는 관심 영상 분석부;
상기 제1 특징을 기 학습된 통합 분석 모델에 적용하여, 상기 질의 영상의 분석값을 산출하고, 상기 분석값을 이용하여 상기 질의 영상을 식별하는 통합 분석부를 포함하는 영상 분석 장치.
제10항에 있어서,
상기 질의 영상을 복수의 영상으로 학습된 전체 영역 특징 추출 모델에 적용하여 상기 질의 영상의 제2 특징을 산출하는 전체 영상 분석부를 더 포함하며,
상기 통합 분석부는
상기 제1 특징과 상기 제2 특징을 기 학습된 통합 분석 모델에 적용하여, 상기 질의 영상의 분석값을 산출하는 영상 분석 장치.
제1항 내지 제9항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 영상 분석 프로그램.