WO2021251652A1 - 영상 분석 장치 및 방법 - Google Patents

Abstract

영상 분석 장치 및 방법이 개시된다. 본 발명에 따른 영상 분석 방법은 소스 이미지를 입력받는 단계, 소스 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제1 오브젝트에 대한 베이스 이미지에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성하여 저장하는 단계, 외부로부터 영상 이미지를 입력받는 단계, 영상 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 획득하는 단계 및 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출하는 단계를 포함한다.

Description

영상 분석 장치 및 방법

본 발명은 영상 분석 장치 및 방법에 관한 것으로써, 보다 상세하게는 영상 내 포함된 오브젝트와 유사한 이미지를 검출하기 위한 영상 분석 장치 및 방법에 관한 것이다.

종래의 영상 분석 장치는 입력된 소스 이미지 데이터에 포함된 적어도 하나의 오브젝트(이하 소스 오브젝트라 함) 중 사용자에 의해 선택된 선택 영역 내 포함된 소스 오브젝트에 대한 특징 정보를 학습한다.

이후, 카메라를 통해 영상 데이터가 입력되고, 입력된 영상 데이터에 포함된 적어도 하나의 오브젝트(이하 타겟 오브젝트라 함)에 대한 선택 명령이 입력되면, 영상 분석 장치는 기학습된 복수의 소스 오브젝트에 대한 특징 정보를 참조하여 타겟 오브젝트와 매칭되는 소스 오브젝트가 존재하는지 여부를 판단한다.

그러나, 종래의 영상 분석 장치는 타겟 오브젝트의 각도, 영상 데이터를 촬영하는 카메라의 높이 등에 따라 타겟 오브젝트와 동일한 소스 오브젝트가 저장되어 있음에도 불구하고 이를 검출하지 못하는 문제가 발생한다.

이 같은 문제를 개선하기 위해서, 종래의 영상 분석 장치는 상이한 각도로 회전한 복수의 소스 오브젝트를 저장하고, 기저장된 복수의 소스 오브젝트 각각과 타겟 오브젝트 간의 비교를 통해 매칭 여부를 판단한다.

그러나, 이 같은 종래의 방식은 상이한 각도로 회전한 복수의 소스 오브젝트를 모두 저장해야 하며, 기저장된 모든 소스 오브젝트와 타겟 오브젝트 간의 비교 매칭을 수행해야 하므로 처리 속도가 현저히 떨어지는 문제가 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로서, 본 발명의 목적은 기저장된 소스 오브젝트와 입력된 영상 데이터에 포함된 오브젝트 간의 매칭 여부를 보다 신속히 판단하기 위함을 목적으로 한다.

나아가, 본 발명은 영상 분석 장치에서 메모리의 사용을 최소화하여 복수의 소스 오브젝트를 저장하도록 함을 목적으로 한다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 분석 방법은 소스 이미지를 입력받는 단계, 상기 소스 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제1 오브젝트에 대한 베이스 이미지에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성하여 저장하는 단계, 외부로부터 영상 이미지를 입력받는 단계, 상기 영상 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 획득하는 단계 및 상기 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 상기 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 단계를 포함한다.

그리고, 상기 검출하는 단계는, 상기 복수의 피라미드 이미지 중 기설정된 제1 각도 단위에 해당하는 제1 및 제2 피라미드 이미지를 획득하는 단계, 상기 제1 및 제2 피라미드 이미지 각각의 픽셀 정보와, 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하는 단계, 상기 산출된 유사도가 상기 임계값 이상인지 여부를 판단하는 단계 및 상기 제1 및 제2 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 단계를 포함할 수 있다.

또한, 상기 유사도를 산출하는 단계는, 상기 임계값 이상의 유사도가 산출되지 않으면, 상기 제1 및 제2 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제2 각도 단위에 해당하며 상기 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제2 각도 단위에 해당하며 상기 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출할 수 있다.

그리고, 상기 유사도를 산출하는 단계는, 상기 임계값 이상의 유사도가 산출되지 않으면, 상기 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 및 상기 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제3 각도 단위에 해당하며, 상기 회전 각도 보다 작은 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제3 각도 단위에 해당하며 상기 회전 각도보다 큰 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출할 수 있다.

또한, 상기 m 개의 피라미드 이미지는 상기 n 개의 피라미드 이미지 개수 보다 적을 수 있다.

그리고, 상기 유사도는 아래 수식에 의해 결정될 수 있다.

여기서, R(x,y)는 유사도 값이며, T는 피라미드 이미지의 픽셀값, I는 타겟 이미지의 픽셀값이 될 수 있다.

또한, 상기 제1 오브젝트에 대한 베이스 이미지 및 상기 제2 오브젝트에 대한 타겟 이미지는, 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제1 및 제2 오브젝트 각각의 에지 정보를 검출한 후, 상기 검출된 에지 정보에 기초하여 리사이징된 바이너리 이미지일 수 있다.

그리고, 상기 복수의 피라미드 이미지는, 상기 제1 오브젝트에 대한 베이스 이미지를 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 이미지이며, 상기 저장하는 단계는, 상기 복수의 피라미드 이미지 각각에 대한 에지 정보, 각도 정보, 상기 베이스 이미지에 대한 ROI 정보 및 무게 중심값 중 적어도 하나를 더 저장할 수 있다.

한편, 본 발명의 또다른 실시 예에 따르면, 영상 분석 장치는 저장부, 소스 이미지를 입력받는 입력부, 상기 소스 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제1 오브젝트에 대한 베이스 이미지에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성하여 상기 저장부에 저장하는 이미지 처리부 및 상기 입력부를 통해 영상 이미지가 입력되면, 상기 영상 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 생성하도록 상기 이미지 처리부를 제어하며, 상기 이미지 처리부를 통해 상기 타겟 이미지가 생성되면, 상기 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 상기 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 제어부를 포함한다.

그리고, 상기 제어부는, 상기 복수의 피라미드 이미지 중 기설정된 제1 각도 단위에 해당하는 제1 및 제2 피라미드 이미지를 획득하는 피라미드 이미지 획득부, 상기 제1 및 제2 피라미드 이미지 각각의 픽셀 정보와, 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하는 유사도 산출부, 상기 산출된 유사도가 상기 임계값 이상인지 여부를 판단하는 유사도 판단부 및 상기 제1 및 제2 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 검출부를 포함할 수 있다.

또한, 상기 유사도 산출부는, 상기 임계값 이상의 유사도가 산출되지 않으면, 상기 제1 및 제2 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제2 각도 단위에 해당하며 상기 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제2 각도 단위에 해당하며 상기 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출할 수 있다.

그리고, 상기 유사도 산출부는, 상기 임계값 이상의 유사도가 산출되지 않으면, 상기 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 및 상기 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제3 각도 단위에 해당하며, 상기 회전 각도보다 작은 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제3 각도 단위에 해당하며 상기 회전 각도보다 큰 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출할 수 있다.

또한, 상기 m 개의 피라미드 이미지는 상기 n 개의 피라미드 이미지 개수 보다 적을 수 있다.

그리고, 상기 유사도는 아래 수식에 의해 결정될 수 있다.

여기서, R(x,y)는 유사도 값이며, T는 피라미드 이미지의 픽셀값, I는 타겟 이미지의 픽셀값일 수 있다.

또한, 상기 제1 오브젝트에 대한 베이스 이미지 및 상기 제2 오브젝트에 대한 타겟 이미지는, 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제1 및 제2 오브젝트 각각의 에지 정보를 검출한 후, 상기 검출된 에지 정보에 기초하여 리사이징된 바이너리 이미지일 수 있다.

그리고, 상기 복수의 피라미드 이미지는, 상기 제1 오브젝트에 대한 베이스 이미지를 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 이미지이며, 상기 저장부는, 상기 복수의 피라미드 이미지 각각에 대한 에지 정보, 각도 정보, 상기 베이스 이미지에 대한 ROI 정보 및 무게 중심값 중 적어도 하나를 더 저장할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 본 발명은 기저장된 소스 오브젝트와 입력된 영상 데이터에 포함된 오브젝트 간의 매칭 여부를 보다 신속히 판단할 수 있다. 나아가, 본 발명은 영상 분석 장치에서 메모리의 사용을 최소화하면서 입력된 영상 데이터에 포함된 오브젝트에 대한 동일 여부를 검출하기 위해 사용되는 복수의 소스 오브젝트를 저장할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 분석 장치의 블록도,

도 2는 본 발명의 일 실시예에 따른 영상 분석 장치의 이미지 처리부에서 복수의 피라미드 이미지를 생성하는 예시도,

도 4는 본 발명의 일 실시예에 따른 영상 분석 장치에 대한 세부 블록도,

도 5는 본 발명의 일 실시예에 따른 영상 분석 방법의 흐름도,

도 6 및 도 7은 본 발명의 일 실시예에 따른 영상 분석 장치에서 오브젝트와 유사한 피라미드 이미지를 검출하는 방법의 흐름도이다.

이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.

본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 분석 장치의 블록도이다.

영상 분석 장치(100)는 입력 혹은 외부로부터 수신된 영상 데이터를 분석하여 영상 데이터 내에 포함된 복수의 오브젝트에 대한 정보를 학습하고, 학습된 정보에 기초하여 영상 데이터 내에 포함된 복수의 오브젝트를 판단 및 검출한다.

이 같은 영상 분석 장치(100)는 인공 지능 로봇, 자율 주행이 가능한 차량 등에 탑재될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 주변 환경을 분석 및 파악하고, 그에 따른 처리 결과에 기초하여 동작을 수행하는 모든 기기에 탑재될 수 있다.

이 같은 영상 분석 장치(100)는 도 1에 도시된 바와 같이, 입력부(110), 이미지 처리부(120), 저장부(130) 및 제어부(140)를 포함한다.

입력부(110)는 소스 이미지를 입력받는다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 분석 장치(100)는 후술할 통신부(150)를 통해 외부로부터 소스 이미지를 수신할 수 있다.

이미지 처리부(120)는 입력부(110)를 통해 입력된 소스 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제1 오브젝트에 대한 베이스 이미지에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성하고, 생성된 복수의 피라미드 이미지를 저장부(130)에 저장한다.

여기서, 제1 오브젝트에 대한 베이스 이미지는 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 이미지이다.

저장부(130)는 이미지 처리부(120)에서 생성된 복수의 피라미드 이미지를 저장한다. 뿐만 아니라, 저장부(130)는 복수의 피라미드 이미지 각각에 대한 에지 정보, 각도 정보, 베이스 이미지에 대한 ROI 정보 및 무게 중심값 중 적어도 하나를 더 저장할 수 있다.

제어부(140)는 영상 분석 장치(100)를 구성하는 각 구성에 대한 전반적인 동작을 제어한다. 특히, 제어부(140)는 입력부(110)를 통해 영상 이미지가 입력되면, 영상 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 생성하도록 이미지 처리부(120)를 제어한다.

이후, 제어부(140)는 이미지 처리부(120)를 통해 타겟 이미지가 생성되면, 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출한다.

여기서, 제1 오브젝트에 대한 베이스 이미지 및 제2 오브젝트에 대한 타겟 이미지는 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 제1 및 제2 오브젝트 각각의 에지 정보를 검출한 후, 검출된 에지 정보에 기초하여 리사이징된 바이너리 이미지가 될 수 있다.

실시예에 따라, 이미지 처리부(120)는 가우시안 필터를 제1 오브젝트에 마스킹 방식으로 적용하여 노이즈를 제거하고, 수평 및 수직 방향의 미분값을 계산하여 기설정된 임계값 이상의 값을 가지는 부분을 에지 영역을 판단한다. 이후, 이미지 처리부(120)는 에지 영역 각각에 대한 세기 및 방향을 분석하여 기설정된 값 이상을 갖는 부분을 제1 오브젝트에 대한 에지로 검출할 수 있다.

이 같은 제1 오브젝트에 대한 에지 검출 방법은 공지된 기술이므로 상세한 설명은 생략하도록 한다.

제1 오브젝트에 대한 에지 정보가 검출되면, 이미지 처리부(120)는 검출된 에지 정보에 기초하여 제1 오브젝트의 에지 이미지를 생성한다. 이후, 이미지 처리부(120)는 형태 연산(Morphology Operation) 알고리즘을 이용하여 모폴로지(Morphology) 이미지를 생성한다.

구체적으로, 이미지 처리부(120)는 형태 연산 중 중 하나인 닫힘 연산(Closing Operation) 알고리즘을 이용하여 밝은 영역에 생긴 홀 영역을 주변 영역과 같이 채워 제1 오므젝트에 대한 모폴로지 이미지를 생성할 수 있다.

이 같은 모폴로지 이미지가 생성되면, 이미지 처리부(120)는 연결 요소(Connected Component) 알고리즘을 이용하여 기생성된 모폴로지 이미지의 에지 영역이 연결된 윤곽(Contour) 이미지를 생성한다.

이후, 이미지 처리부(120)는 모폴로지 이미지의 에지 영역과 같은 형태의 구조인 윤곽(Contour)으로 모폴로지 이미지의 내부를 채워 바이너리 이미지인 제1 오브젝트에 대한 베이스 이미지를 생성할 수 있다.

이 같은 이미지 처리부(120)는 전술한 실시예를 통해 제2 오브젝트에 대한 타겟 이미지를 생성할 수 있다.

한편, 이미지 처리부(120)는 제1 오브젝트에 대한 베이스 이미지가 생성되면, 베이스 이미제에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 분석 장치의 이미지 처리부에서 복수의 피라미드 이미지를 생성하는 예시도이다.

도 2의 (a)에 도시된 바와 같이, 영상 분석 장치(100)의 이미지 처리부(120)는 입력부(110)를 통해 입력된 소스 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제1 오브젝트에 대한 베이스 이미지(210)를 생성한다.

전술한 바와 같이, 이미지 처리부(120)는 케니 에지 디텍션 알고리즘을 이용하여 제1 오브젝트에 대한 에지 정보를 검출한 후, 검출된 에지 정보에 기초하여 베이스 이미지(이하 제1 베이스 이미지라 함)(210)를 생성할 수 있다.

제1 오브젝트에 대한 베이스 이미지(210)가 생성되면, 이미지 처리부(120)는 도 2의 (b)에 도시된 바와 같이, 기설정된 ROI 영역과 관련하여 리사이징된 베이스 이미지(이하 제2 베이스 이미지라 함)(220)를 생성한다.

이후, 이미지 처리부(120)는 리사이징된 제2 베이스 이미지(220)를 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 복수의 피라미드 이미지(230)를 생성한다.

이 같이, 이미지 처리부(120)를 통해 생성된 피라미드 이미지의 전체 개수는 아래 수학식 1을 통해 도출될 수 있다.

여기서, PI(Pyramid Image)는 A도(각도)로 회전한 이미지이며, SPI(n)은 저장된 피라미드 이미지의 전체 개수이다.

예를 들어, 기설정된 각도가 1도이면, 이미지 처리부(120)는 제2 베이스 이미지(220)를 1도 단위만큼 회전시킨 360개의 피라미드 이미지를 생성할 수 있으며, 기설정된 각도가 2도이면, 이미지 처리부(120)는 제2 베이스 이미지를 2도 단위만큼 회전시킨 180개의 피라미드 이미지를 생성할 수 있다.

또한, 기설정된 각도가 0.1도이면, 이미지 처리부(120)는 제2 베이스 이미지를 01도 단위만큼 회전시킨 3600개의 피라미드 이미지를 생성할 수 있다.

이 같은 제1 오브젝트에 대한 베이스 이미지에 기초하여 복수의 피라미드 이미지가 생성되면, 이미지 처리부(120)는 복수의 피라미드 이미지를 저장부(130)한다.

한편, 제어부(140)는 입력부(110)를 통해 영상 이미지가 입력되고, 입력된 영상 이미지에 포함된 적어도 하나의 오브젝트를 선택하는 사용자 명령이 입력되면, 입력된 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 획득하도록 이미지 처리부(120)를 제어할 수 있다.

이 같은 제어 명령에 따라, 이미지 처리부(120)는 영상 이미지에 포함된 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 생성한다.

구체적으로, 이미지 처리부(120)는 전술한 바와 같이, 케니 에지 디텍션 알고리즘을 이용하여 제2 오브젝트에 대한 에지 정보를 검출한 후, 검출된 에지 정보에 기초하여 베이스 이미지를 생성한다.

이후, 이미지 처리부(120)는 제2 오브젝트에 대한 베이스 이미지를 기설정된 사이즈로 리사이징하여 제2 오브젝트에 대한 타겟 이미지를 생성할 수 있다. 실시예에 따라, 이미지 처리부(120)는 가장 작은 사이즈로 제2 오브젝트에 대한 베이스 이미지를 리사이징할 수 있다.

이 같은 제2 오브젝트에 대한 타겟 이미지가 생성되면, 제어부(140)는 기저장된 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출한다.

이하에서는, 제어부(140)가 오브젝트를 검출하는 동작에 대해서 상세히 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 영상 분석 장치의 제어부의 세부 블록도이다.

도 3에 도시된 바와 같이, 제어부(140)는 피라미드 이미지 획득부(141), 유사도 산출부(142), 유사도 판단부(143) 및 검출부(144)를 포함할 수 있다.

피라미드 이미지 획득부(141)는 복수의 피라미드 이미지 중 기설정된 제1 각도 단위에 해당하는 제1 및 제2 피라미드 이미지를 획득한다.

유사도 산출부(142)는 제1 및 제2 피라미드 이미지 각각의 픽셀 정보와, 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출한다,

유사도는 아래 수학식 2에 기초하여 산출될 수 있다.

여기서, R(x,y)는 유사도 값이며, T는 피라미드 이미지의 픽셀값, I는 타겟 이미지의 픽셀값이 될 수 있다.

유사도 판단부(143)는 산출된 유사도가 기설정된 임계값 이상인지 여부를 판단한다.

그리고, 검출부(144)는 제1 및 제2 피라미드 이미지 중 하나가 기설정된 임계값 이상의 유사도를 갖는 것으로 판단되면, 임계값 이상의 유사도를 갖는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출한다.

한편, 제1 및 제2 피라미드 이미지 각각에 대한 유사도가 기설정된 임계값 미만이면, 유사도 산출부(142)는 제1 및 제2 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제2 각도 단위에 해당하며 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보, 제2 각도 단위에 해당하며 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보 및 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출할 수 있다.

한편, n 개의 피라미드 이미지 각각에 대한 유사도가 기설정된 임계값 미만이면, 유사도 산출부(142)는 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 및 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제3 각도 단위에 해당하며, 해당 회전 각도 보다 작은 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보, 제3 각도 단위에 해당하며 해당 회전 각도보다 큰 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보 및 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출할 수 있다.

여기서, m 개의 피라미드 이미지는 n 개의 피라미드 이미지 개수 보다 적은 개수인 것인 바람직하다.

예를 들어, 기설정된 제1 각도 단위가 10이고, 기저장된 복수의 피라미드 이미지가 1도 단위로 회전될 수 있다. 이 경우, 피라미드 이미지 획득부(141)는 기저장된 360개의 피라미드 이미지들 중 10도 단위에 해당하는 피라미드 이미지를 획득할 수 있다. 즉, 피라미드 이미지 획득부(141)는 0도, 10도, 20도 ... 360도로 회전된 피라미드 이미지(PI(0),PI(10),PI(20) ... PI(360))를 획득할 수 있다.

이 같은 10도 단위의 피라미드 이미지들이 획득되면, 유사도 산출부(142)는 전술한 수학식 2에 기초하여 기획득한 10도 단위의 피라미드 이미지 각각에 대한 픽셀 정보와 타겟 이미지에 대한 픽셀 정보에 기초하여 10도 단위의 피라미드 이미지 각각과 타겟 이미지 간의 유사도를 산출한다.

즉, 유사도 산출부(142)는 위 수학식 2에 기초하여 10도 단위의 피라미드 이미지 각각과 타겟 이미지 간의 유사도를 산출할 수 있다.

10도 단위의 피라미드 이미지 각각과 타겟 이미지 간의 유사도가 산출되면, 유사도 판단부(143)는 산출된 각각의 유사도가 기설정된 임계값 이상인지 여부를 판단한다.

예를 들어, 산출된 각각의 유사도 중 30도 회전한 피라미드 이미지(PI(30))와 타겟 이미지 간의 유사도가 기설정된 임계값 이상이면, 검출부(144)는 PI(30)에 해당하는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출할 수 있다.

한편, 각각의 유사도가 기설정된 임계값 미만이면, 유사도 산출부(142)는 산출된 유사도 중 가장 높은 유사도가 산출된 피라미드 이미지를 기준으로 n개의 주변 피라미드 이미지와 타겟 이미지 간의 유사도를 산출한다.

전술한 예와 같이, 0도, 10도, 20도 ... 360도로 회전된 피라미드 이미지(PI(0),PI(10),PI(20) ... PI(360)) 중 30도 회전한 피라미드 이미지(PI(30))와 타겟 이미지 간의 유사도가 가장 높은 값인 경우, 유사도 산출부(142)는 PI(30)를 기준으로 제2 각도 단위에 해당하며 상기 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보, 제2 각도 단위에 해당하며 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보 및 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출한다.

예를 들어, 제2 각도 단위는 2도이고, n은 5가 될 수 있다.

이 경우, 유사도 산출부(142)는 PI(30)를 기준으로 PI(30) 보다 작은 회전 각도를 갖는 피라미드 이미지 중 20도,22도,24도,26도,28도의 회전 각도를 갖는 피라미드 이미지를 획득할 수 있다. 또한, 유사도 산출부(142)는 PI(30)를 기준으로 PI(30) 보다 큰 회전 각도를 갖는 피라미드 이미지 중 32도,34도,36도,38도,40도의 회전 각도를 갖는 피라미드 이미지를 획득할 수 있다.

이 같이, PI(30)를 기준으로 전 후 10개의 피라미드 이미지가 획득되면, 유사도 산출부(142)는 전술한 수학식 2에 기초하여 기획득한 10개의 피라미드 이미지 각각과 타겟 이미지 간의 유사도를 산출한다.

이후, 유사도 판단부(143)는 산출된 각각의 유사도가 기설정된 임계값 이상인지 여부를 판단한다. 판단 결과, 산출된 각각의 유사도 중 기설정된 임계값 이상의 유사도가 있는 것으로 판단되면, 검출부(144)는 기설정된 임계값 이상의 유사도가 산출된 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출할 수 있다.

한편, 산출된 각각의 유사도가 기설정된 임계값 미만이면, 유사도 산출부(142)는 산출된 유사도 중 가장 높은 유사도가 산출된 피라미드 이미지를 기준으로 m개의 주변 피라미드 이미지와 타겟 이미지 간의 유사도를 산출한다.

즉, 유사도 산출부(142)는 가장 높은 유사도가 산출된 피라미드 이미지의 회전 각도(이하 기준 각도라 함)를 기준으로 제3 각도 단위에 해당하며, 해당 기준 각도 보다 작은 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보, 제3 각도 단위에 해당하며 해당 기준 각도보다 큰 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보 및 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출할 수 있다.

예를 들어, 기획득한 10개의 피리미드 이미지 중 36도로 회전한 피라미드 이미지(PI(36))가 가장 높은 유사도가 산출된 이미지가 될 수 있다. 그리고, 제3 각도 단위는 1도이며, m은 2가 될 수 있다.

이 경우, 유사도 산출부(142)는 PI(36)를 기준으로 PI(36) 보다 작은 회전 각도를 갖는 피라미드 이미지 중 34도,35도의 회전 각도를 갖는 피라미드 이미지를 획득할 수 있다. 또한, 유사도 산출부(142)는 PI(36)를 기준으로 PI(36) 보다 큰 회전 각도를 갖는 피라미드 이미지 중 37도,38도의 회전 각도를 갖는 피라미드 이미지를 획득할 수 있다.

이 같이, PI(36)를 기준으로 전 후 4개의 피라미드 이미지가 획득되면, 유사도 산출부(142)는 전술한 수학식 2에 기초하여 기획득한 4개의 피라미드 이미지 각각과 타겟 이미지 간의 유사도를 산출한다.

이 같은 1도 단위의 피라미드 이미지들이 획득되면, 유사도 산출부(142)는 전술한 수학식 2에 기초하여 기획득한 1도 단위의 피라미드 이미지 각각에 대한 픽셀 정보와 타겟 이미지에 대한 픽셀 정보에 기초하여 1도 단위의 피라미드 이미지 각각과 타겟 이미지 간의 유사도를 산출한다.

즉, 유사도 산출부(142)는 위 수학식 2에 기초하여 1도 단위의 피라미드 이미지 각각과 타겟 이미지 간의 유사도를 산출할 수 있다.

1도 단위의 피라미드 이미지 각각과 타겟 이미지 간의 유사도가 산출되면, 유사도 판단부(143)는 산출된 각각의 유사도가 기설정된 임계값 이상인지 여부를 판단한다.

예를 들어, 산출된 각각의 유사도 중 35도 회전한 피라미드 이미지(PI(35))와 타겟 이미지 간의 유사도가 기설정된 임계값 이상이면, 검출부(144)는 PI(35)에 해당하는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출할 수 있다.

한편, 기산출된 유사도가 기설정된 임계값 미만이면, 검출부(144)는 기저장된 복수의 피라미드 이미지 중 제2 오브젝트와 동일한 이미지가 없는 것으로 판단할 수 있다.

이와 같이, 본 발명에 따른 영상 분석 장치(100)는 기저장된 모든 피라미드 이미지들 각각과 타겟 이미지 간의 유사도를 판단하지 않고, 표본 검사를 통해 선별적 각도를 줄여가면서 타겟 이미지와의 유사도를 판단함에 따라 유사도 판단 속도를 향상시킬 수 있다.

이하에서는, 전술한 영상 분석 장치(100)에 대한 세부 구성에 대해서 상세히 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 영상 분석 장치에 대한 세부 블록도이다.

영상 분석 장치(100)는 전술한 입력부(110), 이미지 처리부(120), 저장부(130) 및 제어부(140) 구성 외에도 도 4에 도시된 바와 같이, 통신부(150), 촬영부(160) 및 출력부(170)를 더 포함할 수 있다.

통신부(150)는 외부로부터 영상 데이터를 수신할 뿐만 아니라, 스마트 폰, 태블릿 PC 등의 주변 기기(미도시), 외부 서버(미도시)와 데이터를 송수신하기 위한 중계 단말 장치(미도시) 등과 데이터 통신을 수행할 수 있다.

이 같은 통신부(150)는 근거리 통신 모듈(151), 무선 통신 모듈(152) 및 HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터(153)를 포함할 수 있다.

근거리 통신 모듈(151)은 영상 분석 장치(100)와 근거리에 위치한 주변 기기, 인공지능 서버 등과 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(151)은 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.

또한, 무선 통신 모듈(152)은 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.

이처럼 통신부(150)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.

한편, 커넥터(153)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(153)는 제어부(140)의 제어 명령에 따라 커넥터(153)에 연결된 유선 케이블을 통해 외부 서버로부터 영상 데이터를 수신하거나, 기저장된 영상 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(153)는 커넥터(153)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.

촬영부(160)는 주변 환경을 촬영하는 카메라로 구현되어 촬영된 소스이미지를 상기 입력부(110)로 전달할 수 있다. 이 경우, 촬영부(160)는 영상이 투과되는 렌즈(미도시) 및 렌즈를 통해 투과된 영상을 감지하는 이미지 센서(미도시)를 포함할 수 있다. 이미지 센서(이미지)는 CCD이미지 센서 또는 CMOS 이미지 센서로 구현될 수 있다. 촬영부(280)를 통해 획득된 영상 데이터는 영상 처리부(미도시)에서 처리될 수 있다.

출력부(170)는 전술한 바와 같은 디스플레이부(미도시) 및 오디오 출력부(미도시)를 통해 컨텐츠의 영상 및 오디오 데이터를 출력할 수 있다.

한편, 전술한 입력부(110)는 소스 이미지를 입력받는 수단으로 사용될 수 있으며, 추가적으로, 다양한 사용자 명령을 입력받아 제어부(140)로 전달하기 위한 입력 수단이 될 수 있다. 이 같은 사용자 명령을 입력받을 경우에 사용자 음성 명령을 입력받는 마이크(미도시), 키보드나 마우스와 같은 주변기기를 이용해 이미지상에 포함된 오브젝트를 선택하는 수단, 원격 제어 장치와 같은 적어도 하나의 주변 기기(미도시)로부터 영상 분석 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받는 사용자 입력부(미도시) 등을 포함할 수 있다.

저장부(130)는 통신부(150)를 통해 수신된 영상 데이터 및 영상 데이터에 포함된 적어도 하나의 오브젝트에 대한 회전 대칭 관련 정보를 저장할 수 있다. 뿐만 아니라, 저장부(130)는 외부로 수신된 다양한 컨텐츠 혹은 촬영부(160)를 통해 촬영된 영상 데이터를 저장할 수 있다.

추가적으로, 저장부(130)는 영상 분석 장치(100)의 동작을 제어하기 위한 운영 프로그램을 더 저장할 수 있다.

여기서, 운용 프로그램은 영상 분석 장치(100)가 턴 온(Turn On)되는 경우, 저장부(170)에서 읽혀지고, 컴파일되어 영상 분석 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다. 이 같은 저장부(130)는 후술할 롬(ROM)(143), 램(RAM)(144) 또는 영상 분석 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.

한편, 전술한 제어부(140)는 영상 분석 장치(100)의 동작을 전반적으로 제어하거나, 혹은 영상 분석 장치(100)의 전반적인 동작을 제어할 수 있도록 하는 처리 장치가 될 수 있다.

이 같은 제어부(140)는 CPU(146), ROM(147), RAM(148) 및 GPU(149)를 포함할 수 있으며, CPU(146), ROM(147), RAM(148) 및 GPU(149)는 버스(미도시)를 통해 서로 연결될 수 있다.

CPU(146)는 저장부(130)를 액세스하여, 저장부(130)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(146)는 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

ROM(147)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU(146)는 ROM(147)에 저장된 명령어에 따라 저장부(130)에 저장된 OS를 RAM(147)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(146)는 저장부(130)에 저장된 각종 프로그램을 RAM(148)에 복사하고, RAM(148)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.

GPU(149)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(149)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.

이 같은 제어부(140)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.

지금까지, 본 발명에 따른 영상 분석 장치(100)에 대해서 상세히 설명하였다. 이하에서는 본 발명에 따른 영상 분석 장치(100)에서 영상을 분석하는 방법에 대해서 상세히 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 영상 분석 방법의 흐름도이다.

도 5에 도시된 바와 같이, 영상 분석 장치(100)는 적어도 하나의 오브젝트를 포함하는 소스 이미지를 입력받는다(S510). 소스 이미지가 입력된 상태에서 사용자 명령이 입력되면, 영상 분석 장치(100)는 소스 이미지에 포함된 적어도 하나의 오브젝트 중 입력된 사용자 명령에 대응하는 선택 명령에 포함된 제1 오브젝트에 대한 베이스 이미지에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성한 후 저장한다(S520).

여기서, 제1 오브젝트에 대한 베이스 이미지는 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 이미지이다.

한편, 영상 분석 장치(100)는 제1 오브젝트에 대한 베이스 이미지에 기초하여 생성된 복수의 피라이드 이미지 뿐만 아니라, 복수의 피라미드 이미지 각각에 대한 에지 정보, 각도 정보, 베이스 이미지에 대한 ROI 정보 및 무게 중심값 중 적어도 하나를 더 저장할 수 있다.

이 같은 복수의 베이스 이미지 및 관련 정보가 저장된 상태에서 외부로부터 영상 이미지가 입력되면, 영상 분석 장치(100)는 영상 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 획득한다(S530,S540).

여기서, 제1 오브젝트에 대한 베이스 이미지 및 제2 오브젝트에 대한 타겟 이미지는 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 제1 및 제2 오브젝트 각각의 에지 정보를 검출한 후, 검출된 에지 정보에 기초하여 리사이징된 바이너리 이미지가 될 수 있다.

이후, 영상 분석 장치(100)는 기저장된 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출한다(S550).

이하에서는, 영상 분석 장치(100)에서 복수의 피라미드 이미지 중 제2 오브젝트와 동일한 이미지를 검출하는 방법에 대해서 보다 상세히 설명하도록 한다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 영상 분석 장치에서 오브젝트와 유사한 피라미드 이미지를 검출하는 방법의 흐름도이다.

도 6에 도시된 바와 같이, 영상 분석 장치(100)는 기저장된 복수의 피라미드 이미지 중 기설정된 제1 각도 단위에 해당하는 제1 및 제2 피라미드 이미지를 획득한다(S610).

이후, 영상 분석 장치(100)는 획득한 제1 및 제2 피라미드 이미지 각각의 픽셀 정보와, 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출한다(S620). 구체적으로, 영상 분석 장치(100)는 전술한 수학식 2에 기초하여 제1 피라미드와 타겟 이미지 간의 유사도(이하 제1 유사도라 함), 제2 피라미드와 타겟 이미지 간의 유사도(이하 제2 유사도라 함)를 각각 산출할 수 있다.

제1 및 제2 유사도가 산출되면, 영상 분석 장치(100)는 산출된 제1 및 제2 유사도 각각이 기설정된 임계값 이상인지 여부를 판단한다(S630).

판단 결과, 제1 및 제2 유사도 중 하나가 기설정된 임계값 이상이면, 영상 분석 장치(100)는 제1 및 제2 피라미드 이미지 중 기설정된 임계값 이상의 유사도가 산출된 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출한다(S640).

한편, 제1 및 제2 유사도 각각이 기설정된 임계값 미만이면, 영상 분석 장치(100)는 제1 및 제2 피라미드 이미지 중 높은 유사도가 산출된 피라미드 이미지를 기준으로 주변의 피라미드 이미지를 이용하여 제2 오브젝트와 동일한 이미지를 검출할 수 있다.

구체적으로, 도 7에 도시된 바와 같이, 영상 분석 장치(100)는 임계값 이상의 유사도가 산출되지 않으면, 제1 및 제2 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도(이하 기준 각도라 함)를 획득한다(S710).

이후, 영상 분석 장치(100)는 기준 각도를 기준으로 제2 각도 단위에 해당하며 기준 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지를 획득한다(S720), 이후, 영상 분섟 장치(100)는 기준 각도를 기준으로 제2 각도 단위에 해당하며 해당 회전 각도보가 큰 회전 각도를 갖는 n 개의 피라미드 이미지를 획득한다(S730).

이후, 영상 분석 장치(100)는 기준 각도를 기준으로 제2 각도 단위에 해당하며 기준 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지의 픽셀 정보, 제2 각도 단위에 해당하며 기준 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지의 픽셀 정보 및 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출한다(S740).

이 같은 유사도 산출은 전술한 수학식 2에 기초하여 산출될 수 있다.

이후, 영상 분석 장치(100)는 기산출된 각각의 유사도와 기설정된 임계값을 비교하여 기산출된 각각의 유사도 중 임계값 이상의 유사도가 있는지 여부를 판단한다(S750).

판단 결과, 임계값 이상의 유사도가 있는 것으로 판단되면, 영상 분석 장치(100)는 기준 각도를 중심으로 전후 n 개의 피라미드 이미지 중 임계값 이상의 유사도를 갖는 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 판단한다(S760).

한편, 기준 각도를 중심으로 전후 n 개의 피라미드 이미지 각각에 대한 유사도가 기설정된 임계값 미만인 것으로 판단되면, 영상 분석 장치(100)는 기준 각도를 중심으로 전후 n 개의 피라미드 이미지 중 유사도가 가장 높은 피라미드 이미지의 회전 각도(이하 기준 각도라 함)를 획득한다(S770).

이후, 영상 분석 장치(100)는 기준 각도를 중심으로 제3 각도 단위에 해당하며, 기준 각도 보다 작은 회전 각도를 갖는 m 개의 피라미드 이미지를 획득한다. 또한, 영상 분석 장치(100)는 제3 각도 단위에 해당하며 해당 회전 각도보다 큰 회전 각도를 갖는 m 개의 피라미드 이미지를 획득한다(S780).

이후, 영상 분석 장치(100)는 기획득한 m 개의 피라미드 이미지 각각의 픽셀 정보 및 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하고, 산출된 각각의 유사도와 임계값을 비교하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지가 존재하는지 여부를 판단한다(790,S795).

여기서, m 개의 피라미드 이미지는 n 개의 피라미드 이미지 개수 보다 적은 개수인 것인 바람직하다.

판단 결과, 기산출된 m 개의 피라미드 이미지 중 하나가 기설정된 임계값 이상이면, 영상 분석 장치(100)는 m 개의 피라미드 이미지 중 기설정된 임계값 이상의 유사도가 산출된 피라미드 이미지를 제2 오브젝트와 동일한 이미지로 검출한다(S790).

한편, 제1 및 제2 유사도 각각이 기설정된 임계값 미만이면, 영상 분석 장치(100)는 기저장된 복수의 피라미드 이미지 중 제2 오브젝트와 동일한 이미지가 없는 것으로 판단할 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

Claims (16)

1. 영상 분석 방법에 있어서,

   소스 이미지를 입력받는 단계;

   상기 소스 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제1 오브젝트에 대한 베이스 이미지에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성하여 저장하는 단계;

   외부로부터 영상 이미지를 입력받는 단계;

   상기 영상 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 획득하는 단계; 및

   상기 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 상기 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 단계;

   를 포함하는 영상 분석 방법.
2. 제 1 항에 있어서,

   상기 제2 오브젝트와 동일한 이미지로 검출하는 단계는,

   상기 복수의 피라미드 이미지 중 기설정된 제1 각도 단위에 해당하는 제1 및 제2 피라미드 이미지를 획득하는 단계;

   상기 제1 및 제2 피라미드 이미지 각각의 픽셀 정보와, 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하는 단계;

   상기 산출된 유사도가 상기 임계값 이상인지 여부를 판단하는 단계; 및

   상기 제1 및 제2 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하고,

   상기 제1 및 제2 피라미드 이미지가 상기 임계값 미만의 유사도를 갖는 것으로 판단되면, 상기 제1 및 제2 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 상기 제1 각도 단위와 상이한 각도 단위를 갖는 복수의 피라미드 이미지 중 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 단계;

   를 포함하는 영상 분석 방법.
3. 제 1 항에 있어서,

   상기 유사도를 산출하는 단계는,

   상기 임계값 이상의 유사도가 산출되지 않으면, 상기 제1 및 제2 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제2 각도 단위에 해당하며 상기 유사도가 가장 높은 피라미드 이미지의 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제2 각도 단위에 해당하며 상기 유사도가 가장 높은 피라미드 이미지의 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하며,

   상기 검출하는 단계는,

   상기 n 개의 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 것을 특징으로 하는 영상 분석 방법.
4. 제 3 항에 있어서,

   상기 유사도를 산출하는 단계는,

   상기 n 개의 피라미드 이미지와 상기 타겟 이미지 간의 유사도가 상기 임계값 미만이면, 상기 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 및 상기 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제3 각도 단위에 해당하며, 상기 n 개의 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도 보다 작은 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제3 각도 단위에 해당하며 상기 n 개의 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도보다 큰 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하며,

   상기 검출하는 단계는,

   상기 m 개의 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 것을 특징으로 하는 영상 분석 방법.
5. 제 4 항에 있어서,

   상기 m 개의 피라미드 이미지는 상기 n 개의 피라미드 이미지 개수 보다 적은 것을 특징으로 하는 영상 분석 방법.
6. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 유사도는 아래 수식에 의해 결정되는 것을 특징으로 하는 영상 분석 방법.

   

   여기서, R(x,y)는 유사도 값이며, T는 피라미드 이미지의 픽셀값, I는 타겟 이미지의 픽셀값임.
7. 제 1 항에 있어서,

   상기 제1 오브젝트에 대한 베이스 이미지 및 상기 제2 오브젝트에 대한 타겟 이미지는,

   케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제1 및 제2 오브젝트 각각의 에지 정보를 검출한 후, 상기 검출된 에지 정보에 기초하여 리사이징된 바이너리 이미지인 것을 특징으로 하는 영상 분석 방법.
8. 제 1 항에 있어서,

   상기 복수의 피라미드 이미지는,

   상기 제1 오브젝트에 대한 베이스 이미지를 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 이미지이며,

   상기 저장하는 단계는,

   상기 복수의 피라미드 이미지 각각에 대한 에지 정보, 각도 정보, 상기 베이스 이미지에 대한 ROI 정보 및 무게 중심값 중 적어도 하나를 더 저장하는 것을 특징으로 하는 영상 분석 방법.
9. 영상 분석 장치에 있어서,

   저장부;

   소스 이미지를 입력받는 입력부;

   상기 소스 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제1 오브젝트에 대한 베이스 이미지에 기초하여 상이한 각도로 회전된 복수의 피라미드 이미지를 생성하여 상기 저장부에 저장하는 이미지 처리부; 및

   상기 입력부를 통해 영상 이미지가 입력되면, 상기 영상 이미지에 포함된 적어도 하나의 오브젝트 중 사용자 명령에 대응하는 선택 영역에 포함된 제2 오브젝트에 대한 타겟 이미지를 생성하도록 상기 이미지 처리부를 제어하며,

   상기 이미지 처리부를 통해 상기 타겟 이미지가 생성되면, 상기 복수의 피라미드 이미지 중 기설정된 각도에 대응하는 적어도 하나의 피라미드 이미지와 상기 타겟 이미지 간의 유사도를 산출하여 기설정된 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 제어부;

   를 포함하는 영상 분석 장치.
10. 제 9 항에 있어서,

    상기 제어부는,

    상기 복수의 피라미드 이미지 중 기설정된 제1 각도 단위에 해당하는 제1 및 제2 피라미드 이미지를 획득하는 피라미드 이미지 획득부;

    상기 제1 및 제2 피라미드 이미지 각각의 픽셀 정보와, 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하는 유사도 산출부;

    상기 산출된 유사도가 상기 임계값 이상인지 여부를 판단하는 유사도 판단부; 및

    상기 제1 및 제2 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하고,

    상기 제1 및 제2 피라미드 이미지가 상기 임계값 미만의 유사도를 갖는 것으로 판단되면, 상기 제1 및 제2 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 상기 제1 각도 단위와 상이한 각도 단위를 갖는 복수의 피라미드 이미지 중 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 검출부;

    를 포함하는 영상 분석 장치.
11. 제 9 항에 있어서,

    상기 유사도 산출부는,

    상기 임계값 이상의 유사도가 산출되지 않으면, 상기 제1 및 제2 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제2 각도 단위에 해당하며 상기 유사도가 가장 높은 피라미드 이미지의 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제2 각도 단위에 해당하며 상기 유사도가 가장 높은 피라미드 이미지의 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하며,

    상기 검출부는,

    상기 n 개의 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 것을 특징으로 하는 영상 분석 장치.
12. 제 11 항에 있어서,

    상기 유사도 산출부는,

    상기 n 개의 피라미드 이미지와 상기 타겟 이미지 간의 유사도가 상기 임계값 미만이면, 상기 회전 각도보다 작은 회전 각도를 갖는 n 개의 피라미드 이미지 및 상기 회전 각도보다 큰 회전 각도를 갖는 n 개의 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도를 기준으로 제3 각도 단위에 해당하며, 상기 n 개의 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도보다 작은 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보, 상기 제3 각도 단위에 해당하며 상기 n 개의 피라미드 이미지 중 상기 타겟 이미지와 유사도가 가장 높은 피라미드 이미지의 회전 각도보다 큰 회전 각도를 갖는 m 개의 피라미드 이미지 각각의 픽셀 정보 및 상기 타겟 이미지에 대한 픽셀 정보에 기초하여 유사도를 산출하며,

    상기 검출부는,

    상기 m 개의 피라미드 이미지 중 하나가 상기 임계값 이상의 유사도를 갖는 것으로 판단되면, 상기 임계값 이상의 유사도를 갖는 피라미드 이미지를 상기 제2 오브젝트와 동일한 이미지로 검출하는 것을 특징으로 하는 영상 분석 장치.
13. 제 12 항에 있어서,

    상기 m 개의 피라미드 이미지는 상기 n 개의 피라미드 이미지 개수 보다 적은 것을 특징으로 하는 영상 분석 장치.
14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,

    상기 유사도는 아래 수식에 의해 결정되는 것을 특징으로 하는 영상 분석 장치.

    

    여기서, R(x,y)는 유사도 값이며, T는 피라미드 이미지의 픽셀값, I는 타겟 이미지의 픽셀값임.
15. 제 9 항에 있어서,

    상기 제1 오브젝트에 대한 베이스 이미지 및 상기 제2 오브젝트에 대한 타겟 이미지는,

    케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제1 및 제2 오브젝트 각각의 에지 정보를 검출한 후, 상기 검출된 에지 정보에 기초하여 리사이징된 바이너리 이미지인 것을 특징으로 하는 영상 분석 장치.
16. 제 9 항에 있어서,

    상기 복수의 피라미드 이미지는,

    상기 제1 오브젝트에 대한 베이스 이미지를 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 이미지이며,

    상기 저장부는,

    상기 복수의 피라미드 이미지 각각에 대한 에지 정보, 각도 정보, 상기 베이스 이미지에 대한 ROI 정보 및 무게 중심값 중 적어도 하나를 더 저장하는 것을 특징으로 하는 영상 분석 장치.

Images