KR101982203B1

KR101982203B1 - 개인정보 보호가 가능한, 영상 인식을 위한 단말 장치, 서버 장치 및 시스템

Info

Publication number: KR101982203B1
Application number: KR1020170108619A
Authority: KR
Inventors: 조영관; 김봉모; 임재균
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2019-05-24
Also published as: KR20190029800A

Abstract

본 발명의 일 실시예에 따른 영상 인식 시스템은, 인식의 대상이 되는 대상 영상을 획득하고, 임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중 전처리 과정을 상기 대상 영상에 대하여 수행한 결과인 중간 데이터를 생성하는 단말 장치 및 상기 단말 장치로부터 통신망을 통해 상기 중간 데이터를 수신하고 상기 전처리 과정 이후의 나머지 과정을 후처리 과정으로서 상기 순서에 따라 수행하여, 상기 대상 영상의 인식을 위한 특징 정보를 추출하고, 상기 특징 정보에 기초하여 상기 대상 영상에 대한 인식 결과를 생성하는 서버 장치를 포함할 수 있다.

Description

개인정보 보호가 가능한, 영상 인식을 위한 단말 장치, 서버 장치 및 시스템 {TERMINAL DEVICE, SERVER AND SYSTEM FOR IMAGE RECOGNITION CAPABLE OF PROTECTING PERSONAL INFORMATION}

본 발명은 영상 인식 과정에서 발생할 수 있는 개인정보 유출의 문제를 방지하기 위한 단말 장치, 서버 장치 및 시스템에 관한 것이다.

영상(映像)에 포함된 정보를 자동으로 인식하기 위한 영상 인식 기술은, 높은 수요와 그에 따른 지속적인 연구에 힘입어 지금까지 발전을 거듭해 왔다. 이러한 영상 인식 기술은, 인식 대상이 되는 영상을 종류별로 분류하는 영상 분류(image classification), 입력 영상에 포함된 객체의 종류를 판별하는 객체 검출(object detection), 입력 영상을 설명하는 문장을 생성하는 영상 설명(image captioning) 등에 이용될 수 있으며, 얼굴 인식을 이용한 보안 시스템, 사용자의 제스처를 인지하는 입력 인터페이스 등 다양한 장치 혹은 방법에 적용될 수 있다.

특히 최근에는 딥 러닝(deep learning)과 같은 기계 학습(machine learning) 기법이 영상 인식 기술에 접목됨으로써, 더욱 신뢰도 높은 영상 인식이 가능하게 되었다. 이에 따르면, 인공 신경망(artificial neural network), 보다 구체적으로는 딥 러닝에 의해 생성된 심층 신경망(deep neural network, DNN)을 이용하여 인식 대상 영상으로부터 해당 영상의 특징 정보를 추출하게 되며, 상기 추출된 특징 정보에 기초하여 인식 대상 영상에 대한 인식을 수행할 수 있다.

전술한 바와 같은 딥 러닝을 이용한 영상 인식은 매우 복잡한 과정을 거쳐 수행되므로, 고성능의 시스템을 필요로 한다. 개인적 용도로 사용되는 일반적인 사용자 단말 장치는 딥 러닝을 이용한 영상 인식이 원활하게 수행될 정도로 높은 성능을 갖지 못한 경우가 대부분이기 때문에, 사용자 단말 장치는 인식하고자 하는 대상 영상을 통신망을 통하여 보다 높은 성능을 갖는 별도의 서버(server) 장치로 전송하며 대상 영상에 대한 영상 인식을 요청하는 방법을 이용할 수 있다.

하지만 상기 방법에 의하면, 통신망을 통하여 대상 영상이 전송되는 과정에서 해킹 등으로 인해 대상 영상이 유출될 수 있다. 일반적으로 영상 인식의 대상이 되는 영상은 개인정보를 포함하는 경우가 많기 때문에, 상기 방법을 사용하는 사용자의 사생활이 침해당할 우려가 있다.

한국공개특허공보, 제 10-2016-0122452 호 (2016.10.24. 공개)

본 발명이 해결하고자 하는 과제는, 대상 영상에 대한 영상 인식을 서버 장치에 요청하는 사용자 단말 사용자의 개인정보를 보호할 수 있는 영상 인식 시스템을 제공하는 것이다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 영상 인식을 위한 단말 장치는, 인식의 대상이 되는 대상 영상을 획득하는 입력부, 임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중, 일부 전처리 과정을 상기 대상 영상에 대해 수행한 결과인 중간 데이터를 생성하는 제어부 및 상기 중간 데이터를 외부 장치로 전송하는 통신부를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 인식을 위한 서버 장치는, 임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중, 단말 장치에 의해 대상 영상에 대하여 수행된 전처리 과정을 통해 산출된 중간 데이터를 상기 단말 장치로부터 수신하는 서버 통신부 및 상기 중간 데이터에 대해, 상기 전처리 과정 이후의 나머지 과정을 후처리 과정으로서 상기 순서에 따라 수행하여, 상기 대상 영상의 인식을 위한 특징 정보를 추출하고, 상기 특징 정보에 기초하여 상기 대상 영상에 대한 인식 결과를 생성하는 서버 제어부를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 심층 신경망 등으로 구현된 인식 모델을 이용한 순차적인 영상 인식 과정을 사용자 단말 장치와 서버 장치가 나누어 수행할 수 있다. 이에 따르면 단말 장치가 서버 장치로 인식의 대상이 되는 대상 영상을 원본 그대로 전송하지 않게 되므로, 단말 장치의 사용자의 개인정보가 효과적으로 보호될 수 있다. 또한, 단말 장치는 영상 인식 과정의 전체가 아닌, 앞부분에 해당하는 일부 과정만을 수행하므로, 서버 장치에 비해 상대적으로 낮은 성능을 갖는 단말 장치에 지나친 부하가 걸리는 것을 방지할 수도 있다.

도 1은 본 발명의 일 실시예에 따른 영상 인식 시스템의 기본적인 개념에 대해 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 인식 시스템의 구성 및 동작에 대해 설명하기 위한 도면이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 영상 인식 시스템에 포함된 단말 장치와 서버 장치의 구성을 각각 도시한 도면이다.
도 4 및 5는 본 발명의 일 실시예에 따른 영상 인식 시스템에 의해 수행되는 영상 인식 방법의 각 단계를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 영상 인식 시스템의 기본적인 개념에 대해 설명하기 위한 도면이다. 도 1의 인식 모델(20)은 영상 인식의 대상이 되는 대상 영상(10)의 인식, 즉 대상 영상(10)에 포함된 특징 정보의 획득을 위해 기 정해진 순서에 따라 순차적으로 수행되는 일련의 과정의 집합으로 정의될 수 있다. 대상 영상(10)에 포함된 특징 정보의 대표적인 예로는 대상 영상(10)에 묘사된 객체의 종류(도 1의 예에 의하면 고양이)를 들 수 있으며, 그 밖에도 객체의 위치, 객체의 수, 객체의 동작이나 자세 등을 들 수 있다. 또한, 상기 특징 정보의 종류에 따라 인식 모델(20) 역시 달리 정의될 수 있다. 이와 같은 인식 모델(20)은 다양한 기계 학습 기법을 통해 구현될 수 있지만, 이하에서는 심층 신경망(DNN)으로 구현되었음을 가정하고 설명하도록 한다.

인식 모델(20)은 복수의 레이어(layer)를 포함할 수 있으며, 이와 같은 복수의 레이어 각각은 전술한 일련의 과정 각각에 대응될 수 있다. 대상 영상(10)에 대해 상기 과정 각각이 순차적으로 수행될 때마다, 대상 영상(10)에 대한 특징 맵(feature map)이 생성된다. 대상 영상(10)에 상기 과정이 모두 수행됨으로써 생성되는 최종적인 특징 맵에 기초하여, 인식 모델(20)은 대상 영상(10)에 대한 인식 결과(14)를 출력하게 된다.

도 1에서 볼 수 있는 바와 같이, 인식 모델(20)에 의해 정의된 각 과정을 거칠 때마다 생성되는 각 특징 맵 역시 대상 영상(10)처럼 시각화된 이미지의 형태로 표현될 수 있다. 이 때, 상기 과정 중 순서가 빠른, 즉 앞부분에 해당하는 과정의 수행에 따라 생성되는 특징 맵의 이미지는 대상 영상(10)과 상대적으로 유사하고, 이와 반대로 순서가 느린, 즉 뒷부분에 해당하는 과정의 수행에 따라 생성되는 특징 맵의 이미지는 대상 영상(10)과의 유사도가 낮은 경향을 보인다. 즉, 상기 과정이 진행될수록 생성되는 특징 맵과 대상 영상(10) 간의 유사도는 낮아지게 된다.

도 1을 살펴보면, 세 개의 특징 맵(11, 12, 13)이 도시되어 있음을 볼 수 있다. 이들 중 제 1 특징 맵(11)은 다른 두 특징 맵(12, 13)에 비해 상대적으로 적은 수의 과정의 수행에 의해 생성된 것이다. 제 1 특징 맵(11)의 이미지에 묘사된 고양이는 대상 영상(10)에 묘사된 고양이와 동일한 고양이임을 비교적 쉽게 알 수 있다. 이와 달리, 제 1 특징 맵(11)에 비해 보다 많은 수의 과정의 수행에 의해 생성된 제 2 특징 맵(12)의 이미지를 보면, 고양이가 묘사되어 있다는 것은 알 수 있으나, 묘사된 고양이가 대상 영상(10)의 고양이와 동일한 고양이인지 여부는 쉽게 판단하기 어렵다. 한편, 세 개의 특징 맵(11, 12, 13) 중 가장 많은 수의 과정을 거쳐 생성된 제 3 특징 맵(13)의 이미지를 보면, 묘사된 형상으로부터 고양이를 떠올리는 것조차 불가능할 정도임을 알 수 있다.

즉, 제 1 특징 맵(11)의 경우에는 이미지에 묘사된 객체와 대상 영상(10)에 묘사된 객체 간의 동일성이 쉽게 인식될 수 있지만, 제 2 특징 맵(12)과 제 3 특징 맵(13)의 경우에는 그렇지 않다. 상기 고양이를 사람으로 치환하여 생각하면, 대상 영상(10)이나 제 1 특징 맵(11)이 유출될 경우 개인정보 노출로 인한 피해가 발생할 수 있지만, 제 2 특징 맵(12)이나 제 3 특징 맵(13)이 유출될 경우에는 그와 같은 피해가 발생하기 어렵다고 생각할 수 있다.

이에 본 발명의 일 실시예에서는, 대상 영상에 대한 영상 인식을 서버 장치에 요청하고자 하는 단말 장치가, 대상 영상(10)을 원본 그대로 서버 장치에 전송하는 대신, 인식 모델(20)에 포함된 복수의 과정 중 앞부분의 일부 과정을 대상 영상(10)에 수행함으로써 생성된 데이터를 전송하도록 할 수 있다. 이를 위해, 인식 모델(20)을 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)의 두 부분으로 나누고, 제 1 부분 인식 모델(21)에 포함된 과정은 단말 장치에서, 제 2 부분 인식 모델(22)에 포함된 과정은 서버 장치에서 각각 수행되도록 할 수 있다.

이와 같은 본 발명의 일 실시예에 의하면, 단말 장치로부터 서버 장치로 전송되는 데이터가 해킹 등을 통해 유출된다 해도, 상기 유출된 데이터로부터는 대상영상(10)과의 동일성을 쉽게 인식할 수 있을 만한 이미지를 얻을 수 없기 때문에, 개인정보가 보호의 효과를 달성할 수 있다. 물론 이와 같은 효과의 달성을 위해서는, 제 1 부분 인식 모델(21)에 포함된 과정만을 수행해도 대상 영상(10)과의 동일성을 쉽게 인식할 수 없는 이미지를 갖는 특징 맵이 생성될 수 있도록, 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)의 경계를 적절하게 정할 필요가 있다.

도 2는 본 발명의 일 실시예에 따른 영상 인식 시스템의 구성 및 동작에 대해 설명하기 위한 도면이다. 도 2의 영상 인식 시스템(100)은 단말 장치(200) 및 서버 장치(300)를 포함할 수 있으며, 서버 장치(300)와 단말 장치(200)는 통신망(400)을 통해 서로 연결될 수 있다. 또한, 영상 인식 시스템(100)은 단말 장치(200) 외에도 하나 이상의 다른 단말 장치(201)를 더 포함할 수 있으며, 이러한 다른 단말 장치(201) 역시 통신망(400)을 통해 서버 장치(300)와 연결될 수 있다. 다만, 도 2에 도시된 바는 본 발명의 일 실시예에 불과하므로, 도 2에 의해 본 발명의 사상이 한정 해석되는 것은 아니다.

단말 장치(200)는 제 1 부분 인식 모델(21)의 각 과정(이하 "전처리 과정"이라 함)을 대상 영상(10)에 대해 기 정해진 순서에 따라 순차적으로 수행함으로써 중간 데이터(15)를 생성할 수 있다. 예컨대, 중간 데이터(15)는 도 1을 참조하여 설명한 제 2 특징 맵(12)이 될 수 있다.

중간 데이터(15)는 통신망(400)을 통해 단말 장치(200)로부터 서버 장치(300)로 전달될 수 있다. 중간 데이터(15)를 전달받은 서버 장치(300)는 중간 데이터(15)에 대해 제 2 부분 인식 모델(22)의 각 과정(이하 "후처리 과정"이라 함)을 기 정해진 순서에 따라 순차적으로 수행하여 대상 영상(10)의 인식을 위한 특징을 추출함으로써 대상 영상(10)의 인식 결과(14)를 생성할 수 있다. 상기 전처리 과정과 후처리 과정은 통칭하여 "특징 정보 추출 프로세스"라 할 수 있으며, 따라서 특징 정보 추출 프로세스는 인식 모델(20)에 포함된 일련의 과정을 대상 영상(10)에 수행하는 과정이라 할 수 있다.

상기한 바와 같은 단말 장치(200)와 서버 장치(300)의 동작을 위해서는, 인식 모델(20) 중 제 1 부분 인식 모델(21), 즉 전처리 과정에 대한 정보가 단말 장치(200)에, 제 2 부분 인식 모델(22), 즉 후처리 과정에 대한 정보가 서버 장치(300)에 각각 미리 저장되어 있을 필요가 있다. 이를 위해, 미리 생성되어 있는 인식 모델(20)을 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)로 나누어 단말 장치(200)와 서버 장치(300)에 각각 저장할 수도 있으나, 서버 장치(300)가 직접 복수의 학습 영상과 상기 복수의 학습 영상의 인식을 위한 특징 간의 관계를 학습함으로써 인식 모델(20)을 생성하고, 생성된 인식 모델(20)을 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)로 분할한 후 제 1 부분 인식 모델(21)만을 단말 장치(200)에 전송할 수도 있다. 한편, 상기 분할의 기준에 대해서는 후술한다.

도 3a 및 3b는 본 발명의 일 실시예에 따른 영상 인식 시스템에 포함된 단말 장치와 서버 장치의 구성을 각각 도시한 도면이다. 도 3a를 참조하면, 단말 장치(200)는 입력부(210), 제어부(220), 통신부(230) 및 저장부(240)를 포함할 수 있다. 다른 단말 장치(201) 역시 도 3a에 도시된 단말 장치(200)의 구성과 유사한 구성을 포함할 수 있다. 또한 도 3b를 참조하면, 서버 장치(300)는 서버 입력부(310), 서버 제어부(320), 서버 통신부(330) 및 서버 저장부(340)를 포함할 수 있다.

도 4 및 5는 본 발명의 일 실시예에 따른 영상 인식 시스템에 의해 수행되는 영상 인식 방법의 각 단계를 도시한 도면이다. 도 4의 방법은 단말 장치(200)를 기준으로, 도 5의 방법은 서버 장치(300)를 기준으로 각각 기술된다.

우선 이하에서는 도 4의 영상 인식 방법에 대해 단말 장치(200)를 기준으로 설명하도록 한다. 먼저 단말 장치(200)의 통신부(230)는 도 1을 통해 설명한 바와 같은 인식 모델(20) 중 전처리 과정에 해당하는 제 1 부분 인식 모델(21)을 획득할 수 있다(S110). 상기 제 1 부분 인식 모델(21)은 서버 장치(300)로부터 수신할 수도 있겠으나, 서버 장치(300)가 아닌 다른 외부 장치로부터 수신할 수도 있다. 통신부(230)는 유선 혹은 무선 통신에 의한 데이터의 송신 및 수신을 위한 하드웨어 장치를 포함하도록 구현될 수 있으며, 이는 서버 장치(300)의 서버 통신부(330)에 있어서도 같다.

수신된 인식 모델(20)은 저장부(240)에 저장될 수 있다. 저장부(240)는 컴퓨터 판독 기록 매체로서 구현될 수 있으며, 이는 서버 장치(300)의 서버 저장부(340)에 있어서도 같다. 상기 컴퓨터 판독 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 들 수 있다.

다음으로, 입력부(210)는 대상 영상(10)을 획득할 수 있다(S120). 입력부(210)는 키보드(keyboard), 마우스(mouse) 등의 입력 장치, 데이터의 수신을 위한 데이터 버스, 혹은 유/무선 통신 모듈 등을 포함할 수 있으며, 이는 서버 장치(300)의 서버 입력부(310)에 있어서도 같다. 그러면 제어부(220)는 제 1 부분 인식 모델(21)에 기초하여, 전처리 과정을 정해진 순서에 따라 순차적으로 대상 영상(10)에 대해 수행한 결과인 중간 데이터(15)를 생성할 수 있다(S130). 상기 제어부(220)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 서버 장치(300)의 제어부(320)에 있어서도 같다.

중간 데이터(15)의 크기가 크거나, 통신망(400)의 대역폭(bandwidth)이 작을 경우, 제어부(220)는 중간 데이터(15)를 압축함으로써 서버 장치(300)로 전송될 데이터의 크기를 줄일 수도 있다. 중간 데이터(15)의 작은 변화도 최종적인 인식 결과(14)에 큰 영향을 미칠 수 있기 때문에, 제어부(220)는 압축 방법으로서 손실이 없는 비손실 압축(lossless compression) 방법을 선택할 수 있다. 이러한 비손실 압축 방법의 예로서는 호프만(Hoffman) 부호화, 샤논(Shannon) 부호화, 골룸(Golomb) 부호화, LZW(Lempel-Ziv-Welch) 부호화, 바이트 페어(Byte Pair) 부호화 등을 들 수 있으나, 반드시 이에 한정되는 것은 아니다. 각 비손실 압축 방법은 압축 속도, 압축률 등이 서로 다르므로, 단말 장치(200)의 성능과 통신망(400)의 대역폭 등의 인자를 고려하여 적절한 압축 방식을 선택할 수 있다.

통신부(230)는 중간 데이터(15), 혹은 압축된 중간 데이터(15)를 서버 장치(300)로 전송함으로써, 서버 장치(300)가 중간 데이터(15)에 대해 전처리 과정 이후의 과정인 후처리 과정을 수행하여 대상 영상(10)의 인식을 위한 특징을 추출하고 이를 통해 인식 결과(14)를 생성하도록 할 수 있다(S140).

중간 데이터(15)의 전송 방식으로는 통신망(400)에 적용되는 통신 규약 등에 따라 다양한 방식이 존재할 수 있으며, 통신망(400)에 맞는 방식이 선택될 수 있다. 예컨대 통신망(400)이 인터넷(internet)일 경우 TCP/IP 프로토콜(protocol)을 이용할 수 있다. 이 때, 중간 데이터(15) 혹은 압축된 중간 데이터(15)는 패킷(packet) 단위로 분할되어 TCP/IP 프로토콜에 따라 전송될 수 있다. 물론, 중간 데이터(15)가 압축되어 있을 경우에는 서버 장치(300)의 서버 제어부(320)는 서버 통신부(330)를 통해 수신된 압축된 중간 데이터(15)를 압축 해제(decompression)할 수 있다. 이를 위해, 단말 장치(200)의 제어부(220)는 압축된 중간 데이터(15)의 압축 방법에 대한 정보를, 통신부(230)를 통해 서버 장치(300)로 압축된 중간 데이터(15)와 함께 전달할 수 있을 것이다.

이하에서는 도 5의 영상 인식 방법에 대해 서버 장치(300)를 기준으로 설명하도록 하며, 도 4를 참조하여 설명한 바와 중복되는 부분에 대해서는 설명을 생략할 수도 있음을 밝혀둔다.

서버 장치(300)는 인식 모델(20)을 획득할 수 있다(S210). 예컨대, 서버 제어부(320)는 학습 영상을 이용하여 인식 모델(20)을 생성할 수 있다. 상기 생성된 인식 모델(20)은 서버 저장부(340)에 저장될 수 있다. 혹은 서버 제어부(320)는 인식 모델(20)을 직접 생성하지 않고, 이미 생성된 인식 모델(20)을 서버 장치(300) 외부로부터 서버 통신부(330)를 통해 획득할 수도 있다. 이 때에는, 서버 제어부(320)는 인식 모델(20)의 전부가 아닌, 후처리 과정에 해당하는 제 2 부분 인식 모델(22)만을 획득할 수도 있으며, 전처리 과정에 해당하는 제 1 부분 인식 모델(21)은 단말 장치(200)에 의해 획득될 수 있다. 서버 입력부(310)는 상기 서버 정치(300)의 관리자로부터 상기 인식 모델(20) 획득에 필요한 입력을 수신할 수 있다.

필요한 경우, 서버 제어부(320)는 전처리 과정에 해당하는 제 1 부분 인식 모델(21)에 관한 정보를 단말 장치(200)에 전송할 수 있다. 특히 인식 모델(20)의 분할이 서버 제어부(320)에 의해 수행되는 경우라면 상기 전송 과정이 필수적인 과정이 될 것이며, 이 때 서버 제어부(320)는 인식 모델(20)에 정의된 특징 정보 추출 프로세스의 총 제 1 개수의 과정 중, 앞부분의 제 2 개수의 일부 과정을 전처리 과정으로 정의할 수 있다(S220). 이 때, 제 2 개수는 제 1 개수보다 작을 것이다.

이하에서는 전처리 과정과 후처리 과정을 나누는 예시적인 방법들에 대해 설명하도록 한다. 우선, 전처리 과정의 개수인 제 2 개수의 값(경우에 따라서는, 제 2 개수의 값 대신 제 1 개수에 대한 제 2 개수의 비율)은, 단말 장치(200)의 정보 처리 속도 등 단말 장치(200)의 성능에 비례하도록 결정될 수 있다. 예컨대, 단말 장치(200)가 성능이 우수한 CPU(central processing unit)를 가졌다면, 단말 장치(200)가 보다 더 많은 수의 과정을 처리해도 단말 장치(200)에 과한 부하가 걸리지 않을 가능성이 높으므로, 고성능의 단말 장치(200)일수록 더 많은 수의 과정을 포함하는 전처리 과정을 수행하도록 하는 것이 바람직하다. 편의를 위해, 시중에 나와 있는 단말 장치(200)에 의해 채용된 CPU의 종류와, 상기 CPU의 종류에 따른 바람직한 전처리 과정의 개수를 정의해 둔 테이블(table)과 같은 자료가 제 2 개수의 값의 결정에 이용될 수 있을 것이다.

한편, 중간 데이터(15)에 포함된 과정의 수가 적을수록 단말 장치(200)에서 처리해야 할 연산량은 작아지지만, 통신망(400)을 통해 서버 장치(300)로 전송해야 할 데이터의 크기가 커지고 암호화 수준 역시 낮아지게 된다. 즉, 연산량은 전송할 데이터 크기 및 암호화 수준과 서로 상보적(trade-off)인 관계에 있으므로, 영상 인식을 이용할 응용 프로그램에서 요구되는 암호화 수준, 단말 장치(200)의 성능, 통신망(400)의 조건, 사업성 등 여러 가지 요건이 상기 제 2 값의 개수의 결정에 참고될 수 있다.

전처리 과정과 후처리 과정을 나누는 또 다른 방법으로, 영상의 유사도를 이용하는 방법을 들 수 있다. 즉, 서버 제어부(320)는 복수의 학습 영상의 전부 혹은 일부를 선택하고, 상기 선택된 학습 영상에 대해 상기 특징 정보 추출 프로세스를 순차적으로 수행하되, 상기 특징 정보 추출 프로세스의 각 과정의 수행이 완료될 때마다 상기 완료의 결과로서 생성된 데이터를 시각화한 영상과 선택된 학습 영상 간의 유사도를 산출하고, 상기 유사도 산출의 결과에 기초하여 전처리 과정을 정의할 수 있다. 영상 간의 유사도를 산출하기 위한 구체적인 방법은 통상의 기술자에게 용이한 것이므로 이에 대한 자세한 설명은 생략한다. 만일 각 과정의 수행의 완료에 따라 생성되는 영상이 복수 개라면, 서버 제어부(320)는 상기 복수 개의 영상 각각에 대해 선택된 학습 영상과의 유사도를 구할 수 있다.

서버 제어부(320)는 상기 유사도의 값에 기초하여 상기 제 1 개수보다 적은 수인 제 2 개수의 전처리 과정을 정의할 수 있다. 구체적인 예로서, 상기 과정 중 특정 과정의 수행의 완료에 의해 생성된 데이터에 대해 산출된 유사도가 소정의 임계 유사도 미만일 경우, 서버 제어부(320)는 맨 앞의 과정부터 상기 특정 과정까지의 과정을 전처리 과정으로 정의할 수 있다. 만일 각 과정의 수행의 완료에 따라 생성되는 영상이 복수 개라면, 상기 복수 개의 영상 각각에 대해 구한 유사도 중 하나라도 임계 유사도 미만일 경우, 서버 제어부(320)는 해당 시점까지 수행된 과정까지의 과정을 전처리 과정으로 정의할 수 있다. 이와 같은 영상 유사도를 이용한 전처리 과정의 정의 방법은 서버 장치(300)에 의해서도 수행될 수 있지만, 영상 인식 시스템(100) 외부의 다른 외부 장치에 의해서 미리 수행되어 있을 수도 있다.

전처리 과정의 정의가 완료되면, 서버 제어부(320)는 전처리 과정에 해당하는 제 1 부분 인식 모델(21)을 단말 장치(200)로 전송할 수 있으며, 이와 함께 전처리 과정의 개수에 관한 정보인 제 2 개수의 값도 단말 장치(200)로 전송할 수 있다(S230). 물론 전술한 바와 같이, 미리 정의된 제 1 부분 인식 모델(21)을 단말 장치(200)가 서버 장치(300)를 거치지 않고 획득하는 경우에는 상기 단계 S220 및 S230은 생략될 수 있을 것이다.

서버 통신부(230)는, 입력받은 대상 영상(10)에 대해 전처리 과정을 수행한 단말 장치(200)로부터 대상 영상(10)에 대한 중간 데이터(15)를 수신할 수 있다(S240). 그러면 서버 제어부(220)는 상기 중간 데이터(15)에 대해 전처리 과정을 제외한 나머지 과정인 후처리 과정을 수행함으로써 대상 영상(10)의 특징 정보를 추출할 수 있으며, 추출된 특징 정보에 기초하여 대상 영상(10)에 대한 인식 결과(14)를 생성할 수 있다(S250). 상기 인식 결과(14)는 서버 통신부(230)를 통해 단말 장치(200)로 전송될 수 있다. 혹은, 서버 제어부(220)는 서버 통신부(230)를 제어하여, 인식 결과(14) 자체를 제공하는 대신 상기 인식 결과(14)에 따라 기 정해진 서비스를 단말 장치(200)에 제공할 수 있다.

지금까지 설명한 본 발명의 일 실시예에 따르면, 단말 장치(200)가 서버 장치(300)로 대상 영상(10)을 원본 그대로 전송하지 않게 되므로, 단말 장치(200)의 사용자의 개인정보가 효과적으로 보호될 수 있다. 또한, 단말 장치(200)는 특징 정보 추출 프로세스의 각 과정 중 전처리 과정만을 수행하므로, 성능이 낮은 단말 장치(200)에 지나친 부하가 걸리는 것도 막을 수 있다.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 일 실시예에 따르면, 영상 인식 과정에서 발생할 수 있는 개인정보 유출이 방지될 수 있으며, 서버 장치에 비해 상대적으로 낮은 성능을 갖는 단말 장치에 지나친 부하가 걸리는 것 역시 방지될 수 있다.

100: 영상 인식 시스템
200: 단말 장치
210: 입력부
220: 제어부
230: 통신부
240: 저장부
300: 서버 장치
310: 서버 입력부
320: 서버 제어부
330: 서버 통신부
340: 서버 저장부
400: 통신망

Claims

인식의 대상이 되는 대상 영상을 획득하는 입력부;
임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중, 일부 전처리 과정을 상기 대상 영상에 대해 수행한 결과인 중간 데이터를 생성하는 제어부; 및
상기 중간 데이터를 외부 장치로 전송하는 통신부를 포함하고,
상기 특징 정보 추출 프로세스 중 상기 일부 전처리 과정을 제외한 후처리 과정은 상기 외부 장치에서 수행되고,
상기 특징 정보 추출 프로세스를 구성하는 복수의 과정 각각이 순차적으로 완료될수록, 상기 완료의 결과로서 순차적으로 생성되는 데이터는 상기 대상 영상과의 유사도가 낮아지는
영상 인식을 위한 단말 장치.
제 1 항에 있어서,
상기 제어부는, 비손실 압축 방법을 이용하여 상기 중간 데이터를 압축하며,
상기 통신부는, 상기 압축된 중간 데이터를 상기 외부 장치로 전송하는
영상 인식을 위한 단말 장치.
제 1 항에 있어서,
상기 통신부는, 상기 전처리 과정에 관한 정보를 상기 외부 장치로부터 수신하는
영상 인식을 위한 단말 장치.
임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중, 단말 장치에 의해 대상 영상에 대하여 수행된 전처리 과정을 통해 산출된 중간 데이터를 상기 단말 장치로부터 수신하는 서버 통신부; 및
상기 중간 데이터에 대해, 상기 전처리 과정 이후의 나머지 과정을 후처리 과정으로서 상기 순서에 따라 수행하여, 상기 대상 영상의 인식을 위한 특징 정보를 추출하고, 상기 특징 정보에 기초하여 상기 대상 영상에 대한 인식 결과를 생성하는 서버 제어부를 포함하고,
상기 서버 제어부는,
복수의 학습 영상과 상기 복수의 학습 영상의 인식을 위한 특징 정보 간의 관계를 학습함으로써, 상기 특징 정보 추출 프로세스에 관한 정보를 포함하는 인식 모델을 생성하되,
상기 특징 정보 추출 프로세스의 각 과정의 수행이 완료될 때마다 상기 완료의 결과로서 생성된 데이터를 시각화한 영상과 상기 복수의 학습 영상 간의 유사도를 기초로 상기 전처리 과정을 결정하는
영상 인식을 위한 서버 장치.
삭제
제 4 항에 있어서,
상기 서버 제어부는, 상기 복수의 학습 영상 각각에 대해 상기 특징 정보 추출 프로세스의 각 과정을 수행하되, 상기 각 과정의 수행이 완료될 때마다 상기 완료의 결과로서 생성된 데이터를 시각화한 영상과 상기 복수의 학습 영상 간의 유사도를 산출하고, 상기 유사도에 기초하여 상기 전처리 과정을 결정하는
영상 인식을 위한 서버 장치.
제 6 항에 있어서,
상기 서버 제어부는, 상기 특징 정보 추출 프로세스의 과정 중 상기 유사도가 소정 임계값 미만이 될 때까지 수행된 과정의 개수를 상기 전처리 과정으로 결정하는
영상 인식을 위한 서버 장치.
제 4 항에 있어서,
상기 전처리 과정은 상기 단말 장치의 정보 처리 속도에 비례하도록 결정되는
영상 인식을 위한 서버 장치.
제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 서버 통신부는, 상기 전처리 과정에 관한 정보를 상기 단말 장치로 전송하는
영상 인식을 위한 서버 장치.
제 4 항에 있어서,
상기 서버 통신부는, 상기 인식 결과를 상기 단말 장치로 전송하거나, 상기 인식 결과에 기초하여 기 정해진 서비스를 상기 서버 제어부의 제어 하에 상기 단말 장치에 제공하는
영상 인식을 위한 서버 장치.
인식의 대상이 되는 대상 영상을 획득하고, 임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중 전처리 과정을 상기 대상 영상에 대하여 수행한 결과인 중간 데이터를 생성하는 단말 장치; 및
상기 단말 장치로부터 통신망을 통해 상기 중간 데이터를 수신하고 상기 전처리 과정 이후의 나머지 과정을 후처리 과정으로서 상기 순서에 따라 수행하여, 상기 대상 영상의 인식을 위한 특징 정보를 추출하고, 상기 특징 정보에 기초하여 상기 대상 영상에 대한 인식 결과를 생성하는 서버 장치를 포함하고,
상기 특징 정보 추출 프로세스를 구성하는 복수의 과정 각각이 순차적으로 완료될수록, 상기 완료의 결과로서 순차적으로 생성되는 데이터는 상기 대상 영상과의 유사도가 낮아지는
영상 인식 시스템.