KR101981284B1 - 이미지 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 이미지 처리 장치에 관한 것으로서, 특히 입력된 이미지의 특징점을 추출하고 상기 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계의 색공간 성분값들로 변환하여 이미지의 구도를 자동으로 분석하는 이미지 처리 장치를 개시한다. 본 발명의 이미지 처리 장치는 입력 이미지로부터 픽셀 별 화소값들을 고려하여 특징점들을 추출하는 특징점 추출부; 상기 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 추출된 특징점에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출하는 특징 정보 산출부; 및 상기 산출된 특징 정보를 이용하여 상기 입력된 이미지의 구도를 분석하는 구도 분석부; 를 포함한다.

Description

이미지 처리 장치 및 방법 {Apparatus Processing Image and Method thereof}

본 발명은 이미지를 처리하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 입력된 이미지의 구도를 분석하는 이미지 처리 장치 및 방법에 관한 것이다.

최근 디지털 카메라의 기술이 발전함에 따라, 누구나 손쉽게 카메라 기능이 포함된 휴대 기기를 이용하여 사진 촬영이 가능하게 되었으며, 사진 촬영을 위하여 별도로 카메라가 필요하였던 과거와 달리, 카메라 기능이 탑재된 휴대기기가 보편화되어 사진을 촬영 인구는 급격하게 증가하고 있다.

하지만, 사진 촬영 기법을 숙달하기는 어렵기 때문에 비전문가인 일반인들도 전문가의 도움이 없이도, 고품질의 사진을 얻을 수 있도록 다양한 기술이 개발되고 있다. 고품질의 사진을 위한 일 요소로서 사진의 구도는 매우 중요하나, 그 중요성에 비해 일반인들의 사진의 구도에 대한 배경지식은 부족한 경우가 많다. 특히, 사진의 구도 중에서도 황금비에 따른 구도에 대한 연구는 많이 진행되지 않고 있다.

황금 비는 자연 속에서도 쉽게 찾아 볼 수 있으며, 일반인들은 황금비의 구조를 가지는 건축물 또는 자연물을 보았을 때 가장 조화로움을 느낀다는 사실은 과학적으로 증명 되어 있다. 또한 사진 촬영에 있어서도, 황금비의 구도를 가지는 사진은 보기에 가장 조화로움을 느끼게 한다.

하지만, 황금비의 구도를 잡는 것은 전문가가 아닌 일반 사용자에게는 어려운 일이며, 다양한 피사체들이 포함되는 사진에서 일반 사용자가 황금비에 따른 구도를 일일이 잡아서 촬영하기는 용이하지 않다.

따라서, 일반 사용자들이 전문가들의 도움이 없이도, 좋은 품질의 사진을 손쉽게 찍기 위한 기술 개발이 요구되고 있다.

한국 공개 특허 제 10-2015-0090456 (2015. 08. 06공개)

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 입력된 이미지의 구도를 자동으로 분석하는 이미지 처리 장치를 개시한다. 특히 입력된 이미지의 특징점을 추출하고 상기 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계의 색공간 성분값들로 변환하여 이미지의 구도를 자동으로 분석하는 이미지 처리 장치를 개시한다. 또한, 이미지의 구도를 분석하는 이미지 처리 방법을 개시한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 본 발명의 이미지 처리 장치는 입력 이미지로부터 픽셀 별 화소값들을 고려하여 특징점들을 추출하는 특징점 추출부; 상기 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 추출된 특징점에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출하는 특징 정보 산출부; 및 상기 산출된 특징 정보를 이용하여 상기 입력된 이미지의 구도를 분석하는 구도 분석부; 를 포함한다.

본 발명에서 이미지 처리 장치는 상기 특징점들이 추출된 입력 이미지를 미리 결정된 분할 영역으로 반복 분할하여 분할 이미지들을 생성하는 이미지 분할부; 를 더 포함하고, 상기 특징 정보 산출부는 상기 분할 영역별 특징점들에 기반하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 특징점 추출부는 상기 입력된 이미지에서 임의의 픽셀을 지정하고, 상기 지정된 픽셀에 인접하는 픽셀들의 화소값 변화량을 고려하여 상기 지정된 픽셀을 특징점으로 추출할 수 있다.

상기 특징 정보 산출부는 상기 분할 이미지들 내부에 형성되고, 상기 분할 이미지들 적어도 하나의 대각선 방향의 양측 모서리를 지나며, 적어도 하나의 분할 이미지에서 수렴하는 나선(Spiral)을 생성하는 나선 생성부; 를 더 포함하고, 상기 생성된 나선이 수렴하는 픽셀의 좌표를 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 특징 정보 산출부는 상기 분할 영역별 특징점들이 상기 입력 이미지에서 추출된 전체 특징점들에서 차지하는 정도를 고려하여 제1 특성값을 계산하는 제1 특성값 계산부; 를 더 포함하고, 상기 계산된 제1 특성값을 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 특징 정보 산출부는 상기 분할 영역별 특징점들의 평균 좌표, 상기 나선이 수렴하는 픽셀의 좌표 및 상기 입력 이미지의 모서리 좌표를 고려하여 제2 특성값을 계산하는 제2 특성값 계산부; 를 더 포함하며, 상기 계산된 제2 특성값을 이용하여 상기 특징 정보를 산출할 수 있다.

상기 특징점 산출부는 상기 색공간 성분값들 중 기 설정된 임계치 이상의 성분값들을 가지는 픽셀들의 평균 좌표 및 상기 나선이 수렴하는 픽셀의 좌표를 고려하여 제3 특성값을 계산하는 제3 특성값 계산부; 를 더 포함하고, 상기 계산된 제3 특성값을 이용하여 상기 특징 정보를 산출할 수 있다.

상기 미리 결정된 분할 영역으로 반복 분할하는 것은 상기 입력 이미지의 가로 또는 세로 길이를 계산하고, 상기 계산된 길이가 더 긴 부분을 황금비에 따라 초기 분할하며, 상기 분할된 입력 이미지 중에서 좁은 영역으로 분할된 이미지를 상기 초기 분할과 동일 방식으로 재분할하여 상기 분할 영역을 결정하고, 상기 결정된 분할 영역으로 반복 분할 하도록 마련될 수 있다.

상기 생성된 나선은 상기 입력 이미지의 적어도 하나의 모서리에서 시작하고, 상기 모서리의 위치 및 상기 나선이 수렴하는 픽셀의 좌표에 따라 서로 다른 나선 방향을 가지도록 마련될 수 있다.

상기 구도 분석부는 상기 산출된 특징 정보를 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 방향에 대한 방향 예측 모델을 생성하는 방향 예측 모델 생성부; 를 더 포함하고, 상기 생성된 방향 예측 모델을 이용하여 상기 이미지의 구도를 분석할 수 있다.

상기 구도 분석부는 상기 산출된 특징 정보를 상기 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 점수에 대한 점수 예측 모델을 생성하는 점수 예측 모델 생성부; 를 더 포함하고, 상기 생성된 점수 예측 모델을 이용하여 상기 이미지의 구도를 분석할 수 있다.

또한, 상기한 목적을 달성하기 위하여 본 발명의 이미지 처리 방법은 입력 이미지로부터 픽셀 별 화소값들을 고려하여 특징점들을 추출하는 단계; 상기 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 추출된 특징점에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출하는 단계; 및 상기 산출된 특징 정보를 이용하여 상기 입력된 이미지의 구도를 분석하는 단계; 를 포함한다.

본 발명에서 이미지 처리 방법은 상기 추출하는 단계에 이어 상기 특징점들이 추출된 입력 이미지를 미리 결정된 분할 영역으로 반복 분할하는 단계; 를 더 포함하고, 상기 분할 영역별 특징점들에 기반하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 추출하는 단계는 상기 입력된 이미지에서 임의의 픽셀을 지정하고, 상기 지정된 픽셀에 인접하는 픽셀들의 화소값 변화량을 고려하여 상기 지정된 픽셀을 특징점으로 추출할 수 있다.

본 발명에서 상기 산출하는 단계는 상기 분할 이미지들 내부에 형성되고, 상기 분할 이미지들 적어도 하나의 대각선 방향의 양측 모서리를 지나며, 적어도 하나의 분할 이미지에서 수렴하는 나선(Spiral)을 생성하는 단계; 를 더 포함하고, 상기 생성된 나선이 수렴하는 픽셀의 좌표를 이용하여 상기 특징 정보를 산출할 수 있다.

상기 산출하는 단계는 상기 분할 영역별 특징점들이 상기 입력 이미지에서 추출된 전체 특징점들에서 차지하는 정도를 고려하여 제1 특성값을 계산하는 단계; 를 더 포함하고, 상기 계산된 제1 특성값을 이용하여 상기 특징 정보를 산출할 수 있다.

상기 산출하는 단계는 상기 분할 영역별 특징점들의 평균 좌표, 상기 나선이 수렴하는 픽셀의 좌표 및 상기 입력 이미지의 모서리 좌표를 고려하여 제2 특성값을 계산하는 단계; 를 더 포함하고, 상기 계산된 제2 특성값을 이용하여 상기 특징 정보를 산출할 수 있다.

상기 산출하는 단계는 상기 색공간 성분값들 중 기 설정된 임계치 이상의 성분값들을 가지는 픽셀들의 평균 좌표 및 상기 나선이 수렴하는 픽셀의 좌표를 고려하여 제3 특성값을 계산하는 단계; 를 더 포함하고, 상기 계산된 제3 특성값을 이용하여 상기 특징 정보를 산출할 수 있다.

상기 미리 결정된 분할 영역으로 반복 분할하는 것은 상기 입력 이미지의 가로 또는 세로 길이를 계산하고, 상기 계산된 길이가 더 긴 부분을 황금비에 따라 초기 분할하며, 상기 분할된 입력 이미지 중에서 좁은 영역으로 분할된 이미지를 상기 초기 분할과 동일 방식으로 재분할하여 상기 분할 영역을 결정하고, 상기 결정된 분할 영역으로 반복 분할 하도록 마련될 수 있다.

상기 분석하는 단계는 상기 산출된 특징 정보를 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 방향에 대한 방향 예측 모델을 생성하는 단계; 를 더 포함하고, 상기 생성된 방향 예측 모델을 이용하여 상기 이미지의 구도를 분석할 수 있다.

본 발명에서 상기 분석하는 단계는 상기 산출된 특징 정보를 상기 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 점수에 대한 점수 예측 모델을 생성하는 단계; 를 더 포함하고, 상기 생성된 점수 예측 모델을 이용하여 상기 이미지의 구도를 분석할 수 있다.

또한 본 발명은 컴퓨터에서 상기한 이미지 처리 방법을 실행시키기 위한 컴퓨터에서 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 개시한다.

본 발명에 따르면, 입력된 이미지의 구도를 자동을 분석할 수 있는 잇점이 있다.

특히, 황금비 구도의 방향과 점수를 자동으로 분석할 수 있는 잇점이 있다.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 특징점이 추출된 입력 이미지의 예시도 이다.
도 3은 일 실시 예에 따른 분할된 입력 이미지상에 생성된 나선의 예시도이다.
도 4는 나선이 시작하는 입력 이미지의 모서리의 위치 및 상기 나선이 수렴하는 픽셀의 좌표에 따라 서로 다른 4가지 나선 방향의 예시도이다.
도 5는 도 1의 실시 예에서 특징 정보 산출부의 확대 블록도이다.
도 6은 특징 정보를 산출하기 위한 제1 특성값 및 제2 특성값을 계산하는 과정을 나타내는 예시도이다.
도 7은 특징 정보 산출부에서 입력 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환한 결과를 나타낸다.
도 8은 특징 정보를 산출하기 위한 제3 특성값을 계산하는 과정을 나타내는 예시도이다.
도 9는 도 1의 실시 예에서 구도 분석부의 확대 블록도이다.
도 10은 구도 분석부에서 분석한 이미지의 구도 방향 및 구도 점수를 나타낸다.
도 11은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 흐름도이다.
도 12는 도 11의 실시 예에서 산출하는 단계의 확대 흐름도이다.
도 13은 도 11의 실시 예에서 분석하는 단계의 확대 흐름도이다.

이하, 본 발명의 일 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다.

첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 용어를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하에서 설명하는 각 단계는 하나 또는 여러 개의 소프트웨어 모듈로도 구비가 되거나 또는 각 기능을 담당하는 하드웨어로도 구현이 가능하며, 소프트웨어와 하드웨어가 복합된 형태로도 가능하다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 각 용어의 구체적인 의미와 예시는 각 도면의 순서에 따라 이하 설명 한다. 이하에서는 본 발명의 실시예에 따른 이미지 처리 장치의 구성을 관련된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치(10)의 블록도이다.

이미지 처리 장치(10)는 특징점 추출부(100), 이미지 분할부(200), 특징 정보 산출부(300) 및 구도 분석부(400)를 포함한다.

이미지 처리 장치(10)는 이미지를 입력 받아 자동으로 이미지의 구도를 분석할 수 있다. 본 발명에서 이미지의 구도는 구도의 방향 및 구도 점수에 대한 정보를 포함한다. 또한, 본 발명에서 이미지의 구도는 이미지에 포함된 피사체들의 배치 구성에 대한 정보를 의미하고, 원 구도, 삼각 구도, 대각선 구도, 항금 분할 구도, 방사선 구도, S자 구도, 평행선 구도, 삼등분 구도, 바둑판 구도, 수직 및 수평 구도 및 사용자가 설정한 기타 구도 등을 포함할 수 있다.

이미지 처리 장치(10)는 이미지를 입력 받고, 특징점을 추출하며, 상기 특징점이 추출된 상기 입력된 이미지를 미리 결정된 분할 영역으로 반복 분할하여 분할 이미지들을 생성하고, 상기 분할 이미지들을 이용하여 특징 정보를 산출하여 이미지를 분석한다. 이미지 처리 장치(10)는 휴대용 기기 등에 구현되어 입력 이미지의 구도를 분석할 수도 있지만, 특징 정보 산출부(300) 또는 구도 분석부(400) 중 적어도 하나의 장치가 별도의 서버 등에서 구현되어, 이미지를 처리하는 시스템의 형태로도 구현될 수 있다.

특징점 추출부(100)는 입력 이미지로부터 픽셀 별 화소값들을 고려하여 특징점들을 추출한다. 도 2를 참조하여 설명한다.

예를 들어, 특징점 추출부(100)는 입력된 이미지에서 임의의 픽셀을 지정하고, 상기 지정된 픽셀에 인접하는 픽셀들의 화소값 변화량을 고려하여 상기 지정된 픽셀을 특징점으로 추출할 수 있다. 본 발명에서, 특징점 추출부(100)가 특징점을 추출함에 있어 FAST 특징점(keypoint) 디텍터와 Visual Descriptor BRIEF(Binary Robust Independent Elementary Feature)에 기반한 ORB(Oriented Fast and Rotated BRIEF) Detector를 사용할 수 있다. 특징점 추출부(100)는 입력된 이미지 상에서 픽셀 별 화소값들을 고려하여 특징점을 추출할 수 있고, 도 2 는 입력 이미지상에서 피사체의 경계영역에 집중되어 추출된 특징점을 나타낸다.

구체적으로, 특징점 추출부(100)는 입력된 이미지 상의 어떤 임의의 픽셀 p가 특징점에 해당하는지를 판단하기 위하여, 임의의 픽셀 p를 중심으로 하는 반지름 3인 원 상의 16개 픽셀들의 화소값을 이용하여 상기 임의의 픽셀이 특징점인지 여부를 판단할 수 있다. 특징점 추출부(100)는 임의의 픽셀 p의 화소값보다 밝은 화소값들이 n개 이상 연속되거나, 임의의 픽셀 p의 화소값보다 어두운 화소값들이 n개 이상 연속 되는 경우 특징점으로 판단한다. 상기 FAST 알고리즘에서 n값은 이미지 처리 장치(10)의 요구 성능 사항에 따라 다르게 설정될 수 있다.

이미지 분할부(200)는 특징점들이 추출된 입력 이미지를 미리 결정된 분할 영역으로 반복 분할하여 분할 이미지들을 생성한다. 도 3을 참조하여 설명한다.

예를 들어, 이미지 분할부(200)가 미리 결정된 분할 영역으로 반복 분할하는 것은 입력 이미지의 가로 또는 세로 길이를 계산하고, 상기 계산된 길이가 더 긴 부분을 황금비에 따라 초기 분할하며, 상기 초기 분할된 입력 이미지 중에서 좁은 영역으로 분할된 이미지를 상기 초기 분할과 동일한 방식으로 재분할 하는 것을 의미한다.

예를 들어, 이미지 분할부(200)는 도 3에 도시된 바와 같이, 가로 길이가 더 긴 입력 이미지의 가로축을 1.618:1비로 초기 분할하여 P1 및 Q1로 표기되는(P1 및 Q1의 분할 영역을 가지는) 분할 이미지들을 생성한다. 상기 생성된 분할 이미지들 중에서 분할 이미지(Q1)는 분할 이미지(P1)보다 좁은 영역으로 분할된 분할 이미지를 의미한다. 이미지 분할부(200)는 세로의 길이가 더 긴 분할 이미지(Q1)의 세로축을 1.618:1의 비로 재분할하여 P2 및 Q2로 표기되는(P2 및 Q2의 분할 영역을 가지는) 분할 이미지를 생성할 수 있다. 상기 생성된 분할 이미지들 중에서 분할 이미지(Q2)는 분할 이미지(P2)보다 좁은 영역으로 분할된 분할 이미지를 의미한다.

본 발명에서, 기 설정된 분할 영역들에 포함된 가로 또는 세로의 길이 중 적어도 하나는 서로 다른 분할 영역들 중에서 적어도 하나의 가로 또는 세로의 길이와 황금비를 이룬다. 따라서, 이미지 분할부(200)는 입력된 이미지를 황금 분할하여 분할 이미지들을 생성할 수 있다. 이미지 분할부(200)가 미리 결정된 분할 영역으로 입력된 이미지를 반복 분할하는 경우, 상기 분할 이미지는 무한소로 근접하고, 이는 점으로 표현될 수 있으며, 이는 나선의 중심에 대응될 수 있다.

또 다른 실시 예로, 이미지 분할부(200)가 분할한 분할 이미지들 적어도 하나의 대각선 방향의 양측 모서리를 지나고, 적어도 하나의 분할 이미지상에서 수렴하는 나선이 형성될 수 있는데, 상기 분할 이미지들은 서로 황금 분할 관계에 있는 경우, 상기 나선을 황금 나선으로 정의할 수 있다. 상기 황금 나선이 수렴하는 상기 분할 이미지상의 픽셀을 나선의 중심으로 정의할 수 있고, 이미지 처리 장치(10)는 황금 나선의 중심에 피사체가 위치하는 입력된 이미지의 구도 점수를 높게 측정할 수 있다. 도 4를 참조하여 설명한다.

예를 들어, 상기 생성된 나선은 상기 입력 이미지의 적어도 하나의 모서리에서 시작하고, 상기 모서리의 위치 및 상기 나선이 수렴하는 픽셀의 좌표에 따라 서로 다른 4가지의 나선 방향을 가질 수 있다. 상기 나선이 입력 이미지의 모서리 중에서 좌측 상단의 모서리에서 시작하고, 상기 나선이 수렴하는 픽셀의 좌표가 상기 입력 이미지의 우측 상단에 위치하는 분할 이미지에 위치하는 경우, 해당 나선의 방향은 나선방향 1로 표기할 수 있다.

또 다른 실시 예로, 상기 나선이 입력 이미지의 모서리 중에서 좌측 하단의 모서리에서 시작하고, 상기 나선이 수렴하는 픽셀의 좌표가 상기 입력 이미지의 우측 하단에 위치하는 경우 해당 나선의 방향은 나선방향 4로 표기될 수 있다. 후술하는 바와 같이, 구도 분석부(400)는 입력 이미지의 구도를 분석할 수 있고, 이미지의 구도 분석은 나선의 방향을 예측하는 것을 포함한다. 황금 나선에 관한 사항은 특징 정보 산출부(300)에서 후술한다.

특징 정보 산출부(300)는 나선 생성부(320), 제1 특성값 계산부(340), 제2 특성값 계산부(360) 및 제3 특성값 계산부(380)를 포함한다. 도 5 내지 8을 참조하여 설명한다.

특징 정보 산출부(300)는 입력된 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 추출된 특징점에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출한다.

예를 들어, 이미지 처리 장치(10)에 입력된 이미지의 픽셀 별 화소값은 RGB 값으로 표현될 수 있다. 또한 상기 RGB 표색계와는 다른 표색계는 광도의 정보만을 전달하는 표색계로서, 상기 화소값을 하나의 단일 샘플로 표현하는 그레이 스케일(Gray Scale)을 의미할 수 있고, 본 발명에서 다른 표색계에 따른 색공간 성분값들로 변환하는 것은 다른 표색계인 그레이 스케일을 1차원 색공간에 나열하고, 상기 1차원 색공간에 나열된 0~255개의 색공간 성분값 들 중에서 하나의 색공간 성분값으로 변환하는 것을 의미한다. 본 발명에서 색공간은 색을 표현하는 체계인 표색계를 공간상에 이미지화 한 것을 의미한다.

예를 들어, RGB 표색계를 공간상에 이미지화하는 경우 3차원 RGB 색공간에 이미지화 할 수 있고, 그레이 스케일을 공간상에 이미지화 하는 경우 1차원 색공간에 이미지화 할 수 있다. 또한, 입력된 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하는 것은, RGB 화소값으로 표현된 입력된 이미지를 샐리언시 맵(Saliency Map, 중요도 지도)으로 변환하는 과정으로 표현할 수 있다.

본 발명에서, 특징 정보 산출부(300)는 샐리언시 맵을 형성함에 있어 영상의 색상, 휘도, 움직임, 조화 또는 방향 중 적어도 어느 하나의 특성을 이용할 수 있다.

예를 들어, 특징 정보 산출부(300)는 영상의 색상을 이용하여 RGB화소값으로 표현된 입력 이미지의 픽셀 별 화소값을 0~255 개의 광도를 가지는 회색으로 표현하여 샐리언시 맵을 형성할 수 있다. 특징 정보 산출부(300)는 입력된 이미지로부터 딥 러닝 기반의 SALICON(Saliency in Context)알고리즘을 이용하거나, 빠른 처리를 위한 BMS(A Boolean Map Approach)알고리즘을 이용하여 샐리언시 맵상에서 색상에 관한 임계치를 획득할 수 있고, 이를 이용하여 특징 정보를 산출할 수 있다.

또 다른 실시 예로, 특징 정보 산출부(300)는 입력 이미지의 픽셀 별 RGB 화소값을 그레이 스케일에 따른 0~255 사이의 레벨을 가지는 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 특징점에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출할 수 있다.

나선 생성부(320)는 분할 이미지들 내부에 형성되고, 상기 분할 이미지들 적어도 하나의 대각선 방향의 양측 모서리를 지나며, 적어도 하나의 분할 이미지에서 수렴하는 나선(Spiral)을 생성한다. 바람직하게는, 상기 나선은 황금 나선을 의미하고, 나선의 종류와 나선의 생성 방법은 전술한 바와 같다.

제1 특성값 계산부(340)는 분할 영역별 특징점들이 상기 입력 이미지에서 추출된 전체 특징점들에서 차지하는 정도를 고려하여 제1 특성값을 계산한다. 제1 특성값은 하기의 수학식 1에 의하여 구할 수 있다.

여기에서 f1은 제1 특성값, p1 은 입력 이미지를 초기 분할하는 경우 생성되는 분할 이미지 중에서 영역이 넓은 분할 이미지에 존재하는 특징점(122)의 개수, q1은 입력 이미지를 초기 분할하는 경우 생성되는 분할 이미지 중에서 영역이 좁은 분할 이미지상에 존재하는 특징점의 개수, i는 1에서 4까지의 정수 및 qi는 i번째 분할에서 생성되는 분할 이미지 중에서 좁은 영역으로 분할된 분할 이미지상에 존재하는 특징점의 개수를 의미한다.

예를 들어, 도 6에 f1으로 도시된 차트에서 수학식 1을 적용하면, p1은 3, q1은 5로 설정될 수 있다. 상기 수학식 1에 의하여 제1 특성값 f1은 전체 영역에서 특징점의 개수와 분할 영역에서의 특징점 개수의 비율로 정의될 수 있고, 특징 정보 산출부(300)는 상기 계산된 제1 특성값을 이용하여 상기 특징 정보를 산출한다.

제2 특성값 계산부(360)는 분할 영역별 특징점들의 평균 좌표, 상기 나선이 수렴하는 픽셀의 좌표 및 상기 입력 이미지의 모서리 좌표를 고려하여 제2 특성값을 계산한다. 제2 특성값은 하기의 수학식 2에 의하여 구할 수 있다.

여기에서 f2는 제2 특성값, i는 1에서 4까지의 정수, distance_pqi는 i번째 분할 영역별 특징점들의 평균 좌표(362)와 나선이 수렴하는 픽셀의 좌표(나선의 중심, 322)간의 거리의 평균, max_distance는 입력된 이미지의 모서리와 나선이 수렴하는 픽셀의 좌표(나선의 중심, 322)간의 최대 거리를 의미한다.

예를 들어, 도 6의 f2로 도시된 차트에서 수학식 2를 적용하면, 제2 특성값 계산부(360)는 세모로 마킹된 나선의 중심(322)과 각 분할 영역별 특징점들의 평균 좌표(362)간의 거리의 평균을 이용하여 제2 특성값을 계산할 수 있고, 특징 정보 산출부(300)는 상기 계산된 제2 특성값을 이용하여 상기 특징 정보를 산출할 수 있다.

제3 특성값 계산부(380)는 색공간 성분값들 중에서 기 설정된 임계치 이상의 성분값들을 가지는 픽셀들의 평균 좌표 및 상기 나선이 수렴하는 픽셀의 좌표를 고려하여 제3 특성값을 계산한다. 제3 특성값은 하기의 수학식 3에 의하여 구할 수 있다.

여기에서, f3은 제3 특성값, distance_s는 샐리언시 맵상에서 색상값이 임계치(threshold)를 초과하는 픽셀들의 평균 좌표(382)와 나선이 수렴하는 픽셀의 좌표(나선의 중심, 322)간의 거리 및 max_distance는 입력 이미지의 모서리와 나선이 수렴하는 픽셀의 좌표와의 최대 거리를 의미한다.

예를 들어, 제3 특성값 계산부(380)는 SALICON 알고리즘을 이용하는 경우 임계치(threshold)가 70보다 큰 픽셀들의 평균 좌표를 이용하고, BMS 알고리즘을 이용하는 경우 임계치(threshold)가 210보다 큰 픽셀들의 평균 좌표를 이용하여 제3 특성값을 계산할 수 있다. 도 9 및 도10를 참조하여 설명한다.

구도 분석부(400)는 방향 예측 모델 생성부(420) 및 점수 예측 모델 생성부(400)를 포함한다.

예를 들어 구도 분석부(400)는 특징 정부 산출부(300)에서 산출된 특징 정보를 이용하여 상기 입력된 이미지의 구도를 분석할 수 있다. 상기 이미지의 구도는 구도의 방향과 구도에 일치하는지 여부에 관한 정보를 포함한다. 구도 분석부(400)는 도 9에 도시된 바와 같이 이미지를 입력 받아서, 상기 입력된 이미지상에서 황금 나선의 방향과 얼마나 황금 분할 구도에 일치하는지 여부를 점수로 환산하여 분석한다.

예를 들어 구도 분석부(400)는 머신러닝(Machine Learning)기법으로 특징 정보 산출부(300)에서 산출된 특징 정보를 학습하여 학습 모델을 생성하고, 생성된 학습 모델을 이용하여 입력된 이미지의 구도를 분석할 수 있다. 본 발명에서 구도 분석부(400)는 로지스틱 판별 분석(Logistic Classification), 서포트 벡터 머신(SVM), 랜덤 포레스트(RF) 등의 알고리즘을 이용하여 학습 모델을 생성할 수 있다.

방향 예측 모델 생성부(420)는 상기 산출된 특징 정보를 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 방향에 대한 방향 예측 모델을 생성한다.

표1은 방향 예측 모델의 정확성을 나타낸다. 구도 분석부(400)가 방향 예측 모델을 이용하여 예측한 나선의 방향이 기 실시된 설문 조사의 결과와 일치하는 정도를 방향 예측 모델의 정확성으로 표현할 수 있다. 상기 표1에서 f1+f2+f3(by SALICON)은 살리콘 알고리즘에 따른 방향 예측 모델의 정확성, f1+f2+f3(by BMS)는 BMS 알고리즘에 따른 방향 예측 모델의 정확성을 나타낸다. 본 발명에서, 예측 모델은 5-fold 교차 검증을 통해 성능이 평가 될 수 있고, 살리콘 알고리즘에 따른 방향 예측 모델의 정확성이 85.9%로 더 높은 것을 볼 수 있다.

보다 상세하게는, 방향 예측 모델 생성부(420)는 방향 예측 모델을 생성하기 위하여 임의의 데이터베이스로부터 207장의 사진을 다운받아, 예측 모델을 생성하고, 상기 생성된 예측 모델의 정확성을 평가하기 위하여 207장의 사진에 대하여 사전 설문 조사를 실시하여 나선의 방향에 관한 설문 조사 결과를 미리 획득하며, 이를 예측 모델의 결과와 비교하여 정확성을 평가할 수 있다.

점수 예측 모델 생성부(400) 특징 정보 산출부(300)에서 산출된 특징 정보를 머신러닝 기법으로 학습하여 상기 구도의 점수에 대한 점수 예측 모델을 생성한다. 예를 들어, 점수 예측 모델 생성부(400)는 산출된 특징 정보를 선형 회귀 모델(Linear Regression)알고리즘을 이용하여 학습하고 점수 예측 모델을 생성할 수 있다. 점수 예측 모델 생성부(400)는 점수 예측 모델을 이용하여 예측한 구도 점수와 207장의 사진에 대하여 실시된 사전 설문 조사 결과로 얻은 구도 점수의 오차가 최소가 되는 방향으로 학습하여 점수 예측 모델을 생성할 수 있다.

표2는 총 4개의 나선 방향에 대해서 점수 예측 모델에 의한 점수와 설문조사에 의한 점수의 평균 오차를 나타낸다. 상기 표2에서, f1+f2+f3(by SALICON)은 살리콘 알고리즘에 따른 점수 예측 모델의 오차, f1+f2+f3(by BMS)는 BMS 알고리즘에 따른 점수 예측 모델의 오차를 나타낸다. 살리콘 알고리즘에 기반한 점수 예측 모델이 더 우수한 예측 결과를 나타냄을 알 수 있다.

도 2는 본 발명의 일 실시 예에 따른 특징점이 추출된 입력 이미지의 예시도 이다.

특징점 추출부(100)는 입력된 이미지에서 임의의 픽셀을 지정하고, 상기 지정된 픽셀에 인접하는 픽셀들의 화소값 변화량을 고려하여 상기 지정된 픽셀을 특징점으로 추출할 수 있다. 특징점 추축부(100)가 추출하는 특징점의 개수에는 제한이 없고, 특징점인지 여부를 판단하기 위한 임의의 픽셀에 인접하는 픽셀들의 개수는 이미지 처리 장치(10)의 요구 사항에 따라 달라질 수 있다.

도 3은 일 실시 예에 따른 분할된 입력 이미지상에 생성된 나선의 예시도이다.

이미지 분할부(200)는 특징점들이 추출된 입력 이미지를 미리 결정된 분할 영역으로 반복 분할하여 분할 이미지들을 생성한다. 이미지 분할부(200)는 입력된 이미지를 황금비에 따라 반복하여 분할할 수 있고, 가로 또는 세로축에서 길이가 긴 축을 우선 분할한다.

예를 들어, 이미지 분할부(200)는 도3에 도시된 입력 이미지의 가로축이 더 길기 때문에, 이를 1.618:1의 길이비로 분할할 수 있고, 이때 분할할 수 있는 방법은 우측 분할 이미지를 넓게 분할하는 방법 및 좌측 이미지를 넓게 분할 하는 방법을 포함한다. 이미지 분할부(200)는 초기 분할 후에 생성된 분할 이미지 중에서 좁은 영역으로 분할된 분할 이미지를 분할한다. 초기 분할 이후 두번째 분할 과정은 다음과 같다.

이미지 분할부(200)는 좁은 영역으로 분할된 분할 이미지인 우측 분할 이미지의 세로축의 길이가 더 길기 때문에, 세로축을 1.618:1의 길이비로 분할할 수 있고, 이때 분할 방법은 상단 분할 이미지를 넓게 분할 하는 방법(1.618:1)과 하단 분할 이미지를 넓게 분할 하는 방법(1:1.618)을 포함한다. 이미지 분할부(200)가 입력된 이미지를 반복 분할하여 생성하는 분할 이미지들은 무한횟수로 분할시에 특정 점으로 수렴할 수 있다.

또 다른 실시 예로, 이미지 분할부(200)가 분할한 분할 이미지들 적어도 하나의 대각선 방향의 양측 모서리를 지나고, 입력 이미지의 적어도 하나의 모서리에서 시작하는 나선이 형성될 수 있는데, 상기 분할 이미지들이 서로 황금 분할 관계에 있는 경우 상기 나선은 황금 나선으로 정의할 수 있다. 본 발명에서 황금 나선은 입력 이미지에서 시작하는 모서리의 위치 및 황금 나선이 수렴하는 픽셀의 좌표에 따라 4가지의 황금 나선 방향을 가질 수 있다.

이미지 처리 장치(10)는 입력된 이미지상의 피사체가 황금 나선의 방향을 따라 배치되는 경우, 입력 이미지의 구도점수를 높게 평가할 수 있다. 황금 나선과 황금 분할에 대한 사항은 전술한 바와 같으므로 생략한다.

도 4는 나선이 시작하는 입력 이미지의 모서리의 위치 및 상기 나선이 수렴하는 픽셀의 좌표에 따라 서로 다른 4가지 나선 방향의 예시도이다.

나선 생성부(320)에서 생성된 나선은 전술한 바와 입력 이미지상에서 시작하는 모서리의 위치 및 나선이 수렴하는 픽셀의 좌표에 따라서 4가지 나선 방향으로 구분될 수 있다. 예를 들어, 나선이 입력 이미지의 좌측 상단의 모서리에서 시작하고, 나선이 수렴하는 픽셀의 좌표가 입력 이미지의 우측 상단에 존재하는 경우 나선 방향 1로 정의 할 수 있다.

도 5는 도 1의 실시 예에서 특징 정보 산출부의 확대 블록도이다.

특징 정보 산출부(300)는 나선 생성부(320), 제1 특성값 계산부(340), 제2 특성값 계산부(360) 및 제3 특성값 계산부(380)를 포함한다. 특징 정보 산출부(300)와 관련된 전술한 사항은 생략한다.

예를 들어, 특징 정보 산출부(300)는 입력된 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 추출된 특징점에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출한다. 본 발명에서 입력 이미지의 화소값들은 RGB 표색계에서 RGB값으로 표현이 되고, 상기 RGB 표색계와 다른 표색계는 색상의 광도 정보만을 포함하는 그레이 스케일로 마련될 수 있다.

특징 정보 산출부(300)는 입력 이미지를 그레이 스케일에 따른 샐리언시 맵으로 변환하고, 상기 변환된 샐리언시 맵에서 기 설정된 임계치(Threshold) 이상에 해당하는 픽셀의 좌표를 이용하여 제3 특성값을 계산하고, 이를 이용하여 특징 정보를 산출한다.

도 6은 특징 정보를 산출하기 위한 제1 특성값 및 제2 특성값을 계산하는 과정을 나타내는 예시도이다.

제1 특성값 계산부(340)는 분할 영역별 특징점들이 상기 입력 이미지에서 추출된 전체 특징점들에서 차지하는 정도를 고려하여 제1 특성값을 계산한다.

제1 특성값을 계산하는 과정은 전술한 바와 같으므로 생략한다. 본 발명에서 분할 영역별 특징점들이 추출된 전체 특징점들에서 차지하는 정도는 전체 특징점의 개수에서 분할 영역별 특징점이 차지하는 개수의 비를 의미할 수 있다.

제2 특성값 계산부(360)는 분할 영역별 특징점들의 평균 좌표, 상기 나선이 수렴하는 픽셀 좌표 및 상기 입력 이미지의 모서리 좌표를 고려하여 제2 특성값을 계산한다. 제2 특성값을 계산하는 과정은 전술한 바와 같으므로 생략한다.

도 7은 특징 정보 산출부에서 입력 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환한 결과를 나타낸다.

본 발명에서 입력 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하는 것은 샐리언시 맵을 형성하는 것으로 표현될 수 있다. 예를 들어, 특징 정보 산출부(300)는 영상의 색, 휘도, 움직임, 조화, 또는 방향 중 어느 하나의 특성을 이용하여 샐리언시 맵(중요도 지도)을 형성할 수 있다.

구체적으로, 샐리언시 맵을 형성하는 과정은 상기 하나의 특성을 이용하여 저준위 특성 지도(Low-Level Feature Map)를 생성하는 단계, 상기 저준위 특성 지도를 이용하여 관심영역 지도를 계산하는 단계 및 다중 스케일 대비, Center-Surround Histogram(CSH), 또는 색채의 공간 분포 중 어느 하나의 정보를 이용하여 조건부 임의 필드(Conditional Random Field, CRF)를 설정하는 과정을 포함할 수 있다. 상기 계산으로부터 핵심적인 영역인 관심 영역을 설정하는 단계를 포함할 수 있다.

도 8특징 정보를 산출하기 위한 제3 특성값을 계산하는 과정을 나타내는 예시도이다.

제3 특성값 계산부(380)는 색공간 성분값들 중 기 설정된 임계치 이상의 성분값들을 갖는 픽셀들의 평균 좌표 및 상기 나선이 수렴하는 픽셀의 좌표를 고려하여 제3 특성값을 계산한다. 수학식 3에 의하여 제3 특성값을 계산하는 방법은 전술한 바와 같다.

도 9는 도 1의 실시 예에서 구도 분석부의 확대 블록도이다.

구도 분석부(400)는 방향 예측 모델 생성부(420) 및 점수 예측 모델 생성부(400)를 포함한다. 예를 들어 구도 분석부(400)는 특징 정부 산출부(300)에서 산출된 특징 정보를 이용하여 상기 입력된 이미지의 구도를 분석할 수 있다. 구도 분석부(400)에서 이미지의 구도를 분석하는 구체적인 방법은 전술한 바와 같으므로 생략한다.

도 10은 구도 분석부에서 분석한 이미지의 구도 방향 및 구도 점수를 나타낸다.

이미지 처리 장치(10)는 이미지를 입력 받고, 입력된 이미지의 구도를 분석한다. 이미지 처리 장치(10)가 이미지의 구도를 분석하는 것은 황금 나선 방향의 예측 및 구도 점수의 예측을 포함한다. 구도 분석부(400)가 이미지를 분석하는 구체적인 방법은 전술한 바와 같으므로 생략한다.

도 11은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 흐름도이다.

이미지 처리 방법은 이미지 처리 장치(10)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.

S100에서, 특징점 추출부(100)는 입력 이미지로부터 픽셀 별 화소값들을 고려하여 특징점들을 추출한다. 특징점 추출부(100)는 입력된 이미지에서 임의의 픽셀을 지정하고, 상기 지정된 픽셀에 인접하는 픽셀들의 화소값 변화량을 고려하여 지정된 픽셀을 특징점으로 추출할 수 있다. 특징점 추출부(100)가 특징점을 추출하는 구체적인 방법은 전술한 바와 같으므로 생략한다.

S200에서, 이미지 분할부(200)는 특징점들이 추출된 입력 이미지를 미리 결정된 분할 영역으로 반복 분할하여 분할 이미지들을 생성한다. 이미지 분할부(200)가 입력된 이미지를 분할하는 방법은 전술한 바와 같으므로 생략한다.

S300에서, 특징 정보 산출부(300)는 입력된 이미지의 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 추출된 특징점에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출한다. 특징 정보 산출부(300)가 제1 특성값, 제2 특성값 및 제3 특성값을 계산하고, 계산된 특성값들을 이용하여 특징 정보를 산출하는 구체적인 방법은 전술한 바와 같으므로 생략한다.

S400에서, 구도 분석부(400)는 머신러닝(Machine Learning)기법으로 특징 정보 산출부(300)에서 산출된 특징 정보를 학습하여 학습 모델을 생성하고, 생성된 학습 모델을 이용하여 입력된 이미지의 구도를 분석할 수 있다. 구도 분석부가 이용하는 머신러닝 알고리즘에 대한 사항은 전술한 바와 같으므로 생략한다.

도 12는 도 11의 실시 예에서 산출하는 단계의 확대 흐름도이다.

산출하는 단계는 특징 정보 산출부(300)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.

S320에서, 나선 생성부(320)는 분할 이미지들 내부에 형성되고, 상기 분할 이미지들 적어도 하나의 대각선 방향의 양측 모서리를 지나며, 적어도 하나의 분할 이미지에서 수렴하는 나선(Spiral)을 생성한다. 나선 생성부(320)에서 생성된 나선과 황금 나선에 대한 사항은 전술한 바와 같으므로 생략한다.

S340에서, 제1 특성값 계산부(340)는 분할 영역별 특징점들이 상기 입력 이미지에서 추출된 전체 특징점들에서 차지하는 정도를 고려하여 제1 특성값을 계산한다. 제1 특성값을 계산하는 과정은 수학식 1에서 전술한 바와 같으므로 생략한다.

S360에서, 제2 특성값 계산부(360)는 분할 영역별 특징점들의 평균 좌표, 상기 나선이 수렴하는 픽셀의 좌표 및 상기 입력 이미지의 모서리 좌표를 고려하여 제2 특성값을 계산한다. 제2 특성값을 계산하는 과정은 수학식 2에서 전술한 바와 같으므로 생략한다.

S380에서, 제3 특성값 계산부(380)는 색공간 성분값들 중에서 기 설정된 임계치 이상의 성분값들을 가지는 픽셀들의 평균 좌표 및 상기 나선이 수렴하는 픽셀의 좌표를 고려하여 제3 특성값을 계산한다. 제3 특성값을 계산하는 과정은 수학식 3에서 전술한 바와 같으므로 생략한다.

도 13은 도 11의 실시 예에서 분석하는 단계의 확대 흐름도이다.

분석하는 단계는 구도 분석부(400)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.

S420에서, 방향 예측 모델 생성부(420)는 산출된 특징 정보를 머신 학습하여 상기 구도의 방향에 대한 방향 예측 모델을 생성한다. 방향 예측 모델 생성부(420)가 사용하는 머신러닝 알고리즘과 황금 나선의 방향에 대한 사항은 전술한 바와 같으므로 생략한다.

S440에서, 점수 예측 모델 생성부(440)는 산출된 특징 정보를 머신 학습하여 상기 구도의 점수에 대한 예측 모델을 생성한다. 점수 예측 모델 생성부(400)가 사용하는 머신러닝 알고리즘과 구도 점수에 대한 사항은 전술한 바와 같으므로 생략한다.

상기 설명된 본 발명의 일 실시예의 방법의 전체 또는 일부는, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 기록 매체의 형태(또는 컴퓨터 프로그램 제품)로 구현될 수 있다. 여기에서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)를 포함할 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다.

또한, 본 발명의 일 실시예에 따르는 방법의 전체 또는 일부는 컴퓨터에 의해 실행 가능한 명령어를 포함하며, 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다.

본 명세서에서의 부(means) 또는 모듈(Module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다. 다시 말해, 부(means) 또는 모듈(Module)은 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.

따라서 본 발명의 일 실시예에 따르는 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

1. 입력 이미지로부터 픽셀 별 화소값들을 고려하여 특징점들을 추출하는 단계;
   상기 특징점들이 추출된 입력 이미지의 가로 또는 세로 길이를 계산하고, 상기 계산된 길이가 더 긴 부분을 황금비에 따라 초기 분할하여 초기 분할 이미지를 생성하고, 상기 생성된 초기 분할 이미지 중에서 좁은 영역으로 분할된 이미지를 상기 초기 분할 이미지를 생성하는 방식과 동일한 방식으로 재분할하여 분할 영역을 결정하고, 상기 결정된 분할 영역으로 반복 분할하는 단계;
   상기 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 분할 영역별 상기 추출된 특징점들에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출하는 단계; 및
   상기 산출된 특징 정보를 이용하여 상기 입력 이미지의 구도를 분석하는 단계; 를 포함하고,
   상기 특징 정보를 산출하는 단계는,
   상기 입력 이미지가 반복 분할된 분할 이미지들 내부에 각각 형성되고, 상기 입력 이미지가 반복 분할된 분할 이미지들 각각에서 적어도 하나의 대각선 방향의 양측 모서리를 지나며, 적어도 하나의 분할 이미지에서 수렴하는 나선(Spiral)을 생성하는 단계; 상기 입력 이미지를 반복 분할하면서 생성되는 복수 개의 분할 이미지들 중에서 분할 영역별 각각 좁은 영역으로 분할된 분할 이미지 상에 존재하는 특징점의 개수가 상기 입력 이미지에서 추출된 전체 특징점들에서 차지하는 정도를 고려하여 제1 특성값을 계산하는 단계; 상기 분할 영역별 특징점들의 평균 좌표와 상기 나선이 수렴하는 픽셀의 좌표 간의 거리의 평균 및 상기 입력된 이미지의 모서리와 상기 나선이 수렴하는 픽셀의 좌표 간의 최대 거리를 고려하여 제2 특성값을 계산하는 단계; 및 상기 색공간 성분값들 중 기 설정된 임계치 이상의 성분값들을 가지는 픽셀들의 평균 좌표와 상기 나선이 수렴하는 픽셀의 좌표 간의 거리 및 상기 입력 이미지의 모서리와 상기 나선이 수렴하는 픽셀의 좌표와의 최대 거리를 고려하여 제3 특성값을 계산하는 단계;를 포함하고, 상기 계산된 제1 내지 제3 특성값을 이용하여 상기 특징 정보를 산출하는 이미지 처리 방법.
2. 삭제
3. 제1항에 있어서, 상기 추출하는 단계는
   상기 입력 이미지에서 임의의 픽셀을 지정하고, 상기 지정된 픽셀에 인접하는 픽셀들의 화소값 변화량을 고려하여 상기 지정된 픽셀을 특징점으로 추출하는 것을 특징으로 하는 이미지 처리 방법.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 제1항에 있어서, 상기 생성된 나선은
   상기 입력 이미지의 적어도 하나의 모서리에서 시작하고, 상기 모서리의 위치 및 상기 나선이 수렴하는 픽셀의 좌표에 따라 서로 다른 나선 방향을 가지는 것을 특징으로 하는 이미지 처리 방법.
10. 제1항에 있어서, 상기 분석하는 단계는
    상기 산출된 특징 정보를 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 방향에 대한 방향 예측 모델을 생성하는 단계; 를 더 포함하고,
    상기 생성된 방향 예측 모델을 이용하여 상기 이미지의 구도를 분석하는 것을 특징으로 하는 이미지 처리 방법.
11. 제10항에 있어서, 상기 분석하는 단계는
    상기 산출된 특징 정보를 상기 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 점수에 대한 점수 예측 모델을 생성하는 단계; 를 더 포함하고,
    상기 생성된 점수 예측 모델을 이용하여 상기 이미지의 구도를 분석하는 것을 특징으로 하는 이미지 처리 방법.
12. 프로세서에 의해 실행되는 것을 통하여 제1항, 제3항, 제9항, 제10항 및 제11항 중 어느 한 항에 기재된 이미지 처리 방법을 실현하는 컴퓨터에서 판독 가능한 기록매체에 저장된 프로그램.
13. 입력 이미지로부터 픽셀 별 화소값들을 고려하여 특징점들을 추출하는 특징점 추출부;
    상기 특징점들이 추출된 입력 이미지의 가로 또는 세로 길이를 계산하고, 상기 계산된 길이가 더 긴 부분을 황금비에 따라 초기 분할하여 초기 분할 이미지를 생성하고, 상기 생성된 초기 분할 이미지 중에서 좁은 영역으로 분할된 이미지를 상기 초기 분할 이미지를 생성하는 방식과 동일한 방식으로 재분할하여 분할 영역을 결정하고, 상기 결정된 분할 영역으로 반복 분할하는 이미지 분할부;
    상기 화소값들을 상기 화소값들을 나타내는 표색계와는 다른 표색계에 따른 색공간 성분값들로 변환하고, 상기 변환된 색공간 성분값들 및 상기 분할 영역별 상기 추출된 특징점들에 기반하여 상기 입력 이미지의 구도에 관한 특징 정보를 산출하는 특징 정보 산출부; 및
    상기 산출된 특징 정보를 이용하여 상기 입력 이미지의 구도를 분석하는 구도 분석부; 를 포함하고,
    상기 특징 정보 산출부는,
    상기 입력 이미지가 반복 분할된 분할 이미지들 내부에 각각 형성되고, 상기 입력 이미지가 반복 분할된 분할 이미지들 각각에서 적어도 하나의 대각선 방향의 양측 모서리를 지나며, 적어도 하나의 분할 이미지에서 수렴하는 나선(Spiral)을 생성하는 나선 생성부; 상기 입력 이미지를 반복 분할하면서 생성되는 복수 개의 분할 이미지들 중에서 분할 영역별 각각 좁은 영역으로 분할된 분할 이미지 상에 존재하는 특징점의 개수가 상기 입력 이미지에서 추출된 전체 특징점들에서 차지하는 정도를 고려하여 제1 특성값을 계산하는 제1 특성값 계산부; 상기 분할 영역별 특징점들의 평균 좌표와 상기 나선이 수렴하는 픽셀의 좌표 간의 거리의 평균 및 상기 입력된 이미지의 모서리와 상기 나선이 수렴하는 픽셀의 좌표 간의 최대 거리를 고려하여 제2 특성값을 계산하는 제2 특성값 계산부; 및 상기 색공간 성분값들 중 기 설정된 임계치 이상의 성분값들을 가지는 픽셀들의 평균 좌표와 상기 나선이 수렴하는 픽셀의 좌표 간의 거리 및 상기 입력 이미지의 모서리와 상기 나선이 수렴하는 픽셀의 좌표와의 최대 거리를 고려하여 제3 특성값을 계산하는 제3 특성값 계산부;를 포함하고, 상기 계산된 제1 내지 제3 특성값을 이용하여 상기 특징 정보를 산출하는 이미지 처리 장치.
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 제13항에 있어서, 상기 생성된 나선은
    상기 입력 이미지의 적어도 하나의 모서리에서 시작하고, 상기 모서리의 위치 및 상기 나선이 수렴하는 픽셀의 좌표에 따라 서로 다른 나선 방향을 가지는 것을 특징으로 하는 이미지 처리 장치.
20. 제13항에 있어서, 상기 구도 분석부는
    상기 산출된 특징 정보를 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 방향에 대한 방향 예측 모델을 생성하는 방향 예측 모델 생성부; 및
    상기 산출된 특징 정보를 상기 머신러닝(Machine Learning)기법으로 학습하여 상기 구도의 점수에 대한 점수 예측 모델을 생성하는 점수 예측 모델 생성부; 를 더 포함하고,
    상기 생성된 방향 예측 모델 및 점수 예측 모델을 이용하여 상기 이미지의 구도를 분석하는 것을 특징으로 하는 이미지 처리 장치.

Images