KR102565225B1 - 얼굴 인식 기능을 이용한 촬영 모드 추천 및 선택 시스템, 및 이를 이용한 촬영 장치 - Google Patents

Abstract

본 발명은 얼굴 인식 기능을 이용하여 최적의 촬영 모드를 추천 또는 선택할 수 있는 시스템 및 이를 이용한 촬영 장치에 관한 것이다. 보다 구체적으로는, 사용자의 얼굴을 인식하고 AI 및 딥러닝 기술을 적용하여 사용자에게 최적의 촬영 모드를 추천하거나 사용자로 하여금 선택할 수 있도록 하는 촬영 기법 및 장치에 관한 것이다.
본 발명에 따르면, 사용자가 자신의 외모에 최적화된 촬영 모드를 추천 받고 선택할 수 있어, 보다 간편하게 고화질이면서도 색감이 우수하여 훨씬 만족스러운 촬영 이미지를 얻을 수 있다. 또한, 경우에 따라서는 일상적인 촬영 이미지에서 벗어난 재미있는 사진이나 필요한 용동 최적화된 사진을 얻는 것도 가능하게 된다.

Description

얼굴 인식 기능을 이용한 촬영 모드 추천 및 선택 시스템, 및 이를 이용한 촬영 장치{System for the mode recommendation and selection based on face recognition, and Imaging apparatus using the same}

본 발명은 얼굴 인식 기능을 이용하여 최적의 촬영 모드를 추천 또는 선택할 수 있는 시스템 및 이를 이용한 촬영 장치에 관한 것이다. 보다 구체적으로는, 사용자가 보다 간편하게 우수한 촬영결과를 얻을 수 있도록 AI 및 딥러닝 기술을 적용하여 사용자의 얼굴을 인식하고 위치와 크기를 자동으로 조정하는 것을 포함하여 최적의 촬영 모드를 추천하는 등, 사용자로 하여금 번거로운 작업을 하지 않도록 하는 촬영 기법 및 장치에 관한 것이다.

촬영 렌즈 및 촬영 기술의 발달에 힘입어 소형이면서 고성능의 촬영 장치가 일반 대중에게도 많이 보급되게 되었고, 이에 따라 일반인들도 매우 고화질의 촬영 이미지를 쉽게 접할 수 있게 되었다. 최근에는 2천만 화소급의 카메라를 탑재한 모바일 기기도 보급되고 있어, 이제는 고화질의 선명한 이미지의 촬영이 더이상 전문가 영역에 머물지 않게 되었다.

그러나 이러한 촬영 기술의 비약적인 향상에 따라 촬영 이미지에 대한 사용자들의 기대치 또한 비례적으로 상승되고 있어, 촬영 이미지의 선명함 만으로는 기대치를 충분히 만족시키지 못하는 경우가 많아지고 있다.

이에 따라, 촬영 이미지의 선명함과는 별개로, 사용자가 자신의 최적의 이미지를 얻고자 하는 요구가 증대되고 있는 실정이다.

본 발명은 상기한 바와 같은 사용자의 욕구를 충족할 수 있는 촬영 시스템 및 촬영 장치를 제공하고자 하는 것을 발명의 목적으로 하고 있다.

보다 구체적으로는, 피사체의 얼굴을 자동으로 인식하고, 얼굴의 크기와 위치를 최적의 조건으로 조정하며, 해당 얼굴에 가장 잘 어울리는 배경이나 소품, 필터 등을 추천하거나 선택할 수 있도록 하여, 사용자로 하여금 최적의 이미지를 얻을 수 있게 해주는 촬영 시스템 및 촬영 장치를 제공하고자 하는 것이다.

상기한 과제를 해결하기 위하여, 본 발명의 촬영 시스템은 피사체의 얼굴을 인식하는 단계, 상기 인식된 얼굴의 형태 및 색조를 분석하는 이미지 분석 단계, 상기 분석된 이미지에 근거하여 얼굴의 크기와 위치를 자동으로 선택하고 배치하는 단계, 상기 분석된 이미지에 근거하여 분석 결과를 향후의 판별에 활용하도록 하기 위하여 원격 또는 해당 기계에서 누적 집계하고 저장하며 요구에 따라 제공하는 단계, 상기 분석된 이미지에 근거하여 기 설정된 최적의 촬영 모드를 검색 및 선별하는 단계, 상기 검색 및 선별된 결과를 사용자에게 표시하는 표시 단계, 사용자로 하여금 상기 제시된 결과물 중 적어도 한 가지를 선택하도록 하는 입력 단계, 상기 단계에서 입력된 결과에 근거하여 촬영을 행하는 촬영 단계, 촬영된 이미지를 저장하는 저장 단계, 상기 촬영된 이미지를 출력하는 출력 단계, 및 각 단계마다 AI의 자동화 알고리즘에 따라 처리하여 음성으로 안내함으로써 사용자의 개입을 최소화하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에서는, 최적의 촬영 모드를 검색 및 선별하는 단계는 사전에 입력된 컬러 대비 데이터에 근거하여 행해지는 것을 특징으로 한다.

본 발명의 일 실시예에서는, 상기 검색 및 선별된 결과를 저장하고, 상기 저장된 결과 데이터를 그래픽 처리장치(Graphic Processing Unit; GPU)를 이용하여 학습하는 단계를 추가로 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에서는, 상기 촬영 모드는 배경, 필터, 및 사진의 종류 중 선택되는 것을 특징으로 한다.

본 발명의 일 실시예에서는, 상기 사진의 종류는 일반사진, 여권사진, 명함사진 및 증명사진 중 선택되는 것을 특징으로 한다.

본 발명의 일 실시예에서는, 상기 촬영 단계에서 렌티큘러 렌즈를 이용한 3D 입체 촬영을 행하는 것을 특징으로 한다.

본 발명의 일 실시예에서는, 상기 저장된 촬영 이미지를 사용자가 원하는 저장매체로 복사 또는 전송하는 단계를 추가로 포함하는 것을 특징으로 한다.

한편, 본 발명은 상기한 촬영 시스템에 사용될 수 있는 촬영 장치로서, 피사체의 얼굴 인식 모듈, 상기 인식된 얼굴의 크기 및 위치를 조정하는 조정 모듈, 상기 인식된 얼굴의 형태 및 색조를 분석하는 이미지 분석 모듈, 상기 이미지 분석 결과를 수집하여 누적 집계한 정보를 저장하는 정보저장 모듈, 상기 분석된 이미지와 누적 집계한 정보에 근거하여 기 설정된 최적의 촬영 모드를 검색 및 선별하는 제어 모듈, 상기 제어 모듈에서 검색 및 선별된 결과를 사용자에게 표시하는 표시 모듈, 사용자로 하여금 상기 출력 모듈을 통해 제시된 결과물 중 적어도 한 가지를 선택할 수 있게 하는 입력 모듈, 입력된 결과에 근거하여 촬영을 행하는 촬영 모듈, 촬영된 이미지를 저장하는 저장 모듈, 및 상기 촬영된 이미지를 출력하는 출력 모듈을 구비하는 것을 특징으로하는 촬영 장치도 제공한다.

본 발명의 일 실시예에서는, 상기 제어 모듈은 검색 및 선별된 결과를 저장 및 자가 학습하는 딥 뉴럴 네트워크(Deep Neural Network) 기반 단일객체 이미지 인식 학습 모듈을 추가로 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에서는, 상기 저장된 촬영 이미지를 사용자가 원하는 저장매체로 복사 또는 전송하는 트랜스포팅 모듈을 추가로 포함하는 것을 특징으로 한다.

본 발명에 따르면, 사용자가 자신의 외모를 개선할 수 있도록 최적화된 촬영 모드를 추천 받고 선택할 수 있어, 고화질이면서도 색감이 우수하며 구도 면에서도 훨씬 만족스러운 촬영 이미지를 얻을 수 있다. 또한, 경우에 따라서는 일상적인 촬영 이미지에서 벗어난 재미있는 사진이나 필요한 용동 최적화된 사진을 얻는 것도 가능하게 된다.

도 1은 본 발명의 시스템 흐름을 나타내는 알고리즘이다.
도 2는 본 발명의 촬영 장치의 개략적인 모식도이다.

본 발명의 촬영 시스템 및 촬영 장치는 기본적으로 얼굴 인식 기능을 이용한다. 얼굴 인식을 위해서는 촬상 이미지로부터 얼굴을 검출해내는 과정이 선행되어야 한다. 얼굴 검출을 위한 알고리즘은 여러 필요성에 의해 꾸준히 발전해오고 있다. 얼굴 검출 연구 초기에 시도한 다양한 방법들 중에서 피부색을 이용한 방법과 영상패턴인식 기법인 주성분분석(Principal Comp onent Analysis) 및 신경망(Neural Network)을 이용한 방법들이 비교적 우수한 얼굴 검출 성능을 보이는 것으로 평가되고 있다.

먼저 피부색을 이용한 얼굴 검출 기법의 경우, 얼굴영상 데이터베이스를 구축하고 모든 얼굴들의 색상을 추출해서 3개의 컬러 공간 즉, RGB, YCbCr 그리고 HSV 공간상에 매핑시켜 얼굴 색상 군집을 이루는 영역을 판단하는 규칙을 찾아낸다. 이 규칙을 이용하여 임의의 영상에서 얼굴과 같은 부류의 색상들로 이루어진 화소 군집을 찾아내고 얼굴인지 여부를 판단하는 기술이다.

주성분분석 기법은, 차원 데이터를 자신의 고유한 특징을 잘 유지한 채로 낮은 차원의 데이터로 변환함으로써 데이터 분석을 보다 쉽게 할 수 있는 패턴인식 기법으로서, 먼저 다양한 형태의 얼굴 데이터베이스를 구축하고 일정한 크기의 평균 얼굴을 구한 다음 그에 대한 고유벡터를 미리 계산해 둔다. 그리고 입력된 영상의 각 영역을 스캐닝함으로써 원본 이미지로부터 얼굴에 해당하는 벡터 값을 찾아내어 얼굴인지 여부를 검출하는 기법이다.

한편, 신경망은 일반화 능력이 뛰어난 패턴 분류기의 일종으로 얼굴 검출에도 성공적으로 활용되었다. 신경망을 이용해서 얼굴을 검출하는 기본 원리는 얼굴 영상들(positive samp les)과 비얼굴 영상들(negative samples)을 분류할 수 있도록 신경망을 학습시키고 이를 이용해서 임의의 입력 영상에 대해서 얼굴인지의 여부를 판단하도록 한 것이다.

본 발명에서는 상기한 기법을 활용하여 일단 얼굴이 인식되면, 해당 이미지를 따로 추출하여 정렬한 뒤, 그 형태 및 색조를 분석하는 과정을 거친다. 그리고 이처럼 분석된 형태 및 색조에 가장 어울리는 퍼스널 컬러를 미리 입력된 데이터베이스로부터 찾아 매칭시킨다.

퍼스널 컬러는 피부톤의 웜쿨(worm-cool), 명도 및 채도를 통해 선정이 가능하다. 피부색, 머리카락 색, 입술색 등은 개인마다 모두 다르므로, 퍼스널 컬러를 선정하는 것에는 일괄적인 기준이 없으나, 일반적으로 피부톤의 대비감이 큰 경우에는 주변에도 대비감이 큰 색조를 둘러야 자연스러운 색감을 나타낼 수 있으며, 반대로 대비감이 작은 사람은 역시 대비감이 작은 색조를 둘러야 자연스러운 색감을 보일 수 있다. 여기서 대비감이란 두가지 이상의 색상이 배열되었을때 얼마나 또렷한 색조합인지를 나타내는 용어이다.

본 발명에서는 인식된 얼굴의 피부톤을 분석한 뒤, 상기 일반적인 대비감 원리를 적용하여 해당 인물의 피부톤에 가장 어울리는 색조합을 미리 입력된 데이터 베이스로부터 찾아내어 해당 사용자의 퍼스널 컬러로서 표시해준다. 상기 표시되는 퍼스널 컬러는 하나 이상이 될 수 있다. 본 발명의 촬영 시스템 및 촬영 장치에서는 상기와 같은 분석에 의해 찾아낸 어울리는 적어도 하나의 퍼스널 컬러를 경우에 따라서는 우선순위를 매겨 사용자에게 나열하여 표시할 수 있다. 사용자는 나열된 퍼스널 컬러로부터 가장 선호하는 컬러를 선택하여 촬영의 배경 이미지 등으로 반영할 수 있다. 또한 사용자는 상기 퍼스널 컬러를 이용하여 촬영 이미지의 보정 방향을 설정할 수도 있다. 본 발명의 촬영 시스템에서는 사용자에 의해 선택된 퍼스널 커러에 근거하여 가장 어울리는 자연스러운 색감으로 이미지의 최종 보정을 행할 수 있다.

한편, 본 발명의 촬영 시스템은 상기와 같은 얼굴 인식, 및 이를 분석하여 찾아낸 퍼스널 컬러에 관한 데이터를 저장하고, 이로부터 학습을 반복할 수 있다. 이러한 자가 학습은 딥 뉴럴 네트워크(Deep Neural Network) 기반 단일객체 이미지 인식 학습 모듈에 의해 이루어진다.

'딥'이라는 용어는 뉴럴 네트워크를 구성하는 숨겨진 레이어의 수를 가리킨다. 기존의 뉴럴 네트워크는 숨겨진 레이어가 2~3개에 불과하지만 딥 네트워크는 최대 150개에 이른다. 가장 많이 쓰이는 딥 뉴럴 네트워크 유형은 합성곱신경망(Convolutional Neural Network, CNN)으로, 입력 데이터에 대해 합성곱을 취함으로써 특징을 추출한다. 이미지를 예로 들면, 잘 학습된 딥러닝 모델은 전에 그와 동일한 이미지를 본적이 없다 하더라도 이미지에서 객체를 자동으로 식별할 수 있다.

합성곱신경망(CNN)은 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.

기계학습은 데이터로부터 지식을 추출해내는 직접 학습을 진행할 수도 있지만, 보통 중간 단계인 특징 추출을 거쳐 "데이터 - 특징 - 지식"의 단계로 학습하는 것이 보통이다. 예를 들어 사진 속에서 사물을 인식하기 위해 픽셀값에서 먼저 특징적인 선이나 특징적인 색 분포 등을 먼저 추출한 후, 이를 기반으로 대상 물체가 무엇인지 판단하는 것이다. 이러한 중간 표현단계를 특징지도(feature map)라고 하는데, 기계학습의 성능은 얼마만큼 좋은 특징들을 뽑아내느냐에 따라 그 성능이 크게 좌우된다. 특히, 다단계로 특징을 추출해 학습하는 합성곱신경망이 이미지 인식에 유용하다.

본 발명에서는 이미지를 분석하고, 그 결과를 저장 및 누적 집계하여 자가학습을 통해 더욱 향상된 분석 결과를 제공할 수 있으며, 상기 분석 결과는 외부에서 제공될 수도 있다. 본 발명의 촬영 장치는 분석 결과 및/또는 자가 학습 결과를 사용자에게 음성으로 안내하여 촬영 모드 선택시 사용자에게 보다 편리하고 정확한 선택을 하게끔 도울 수 있다.

한편, 본 발명의 촬영 시스템에 의하면, 사용자는 촬영 이미지의 종류를 선택할 수도 있다. 일반적인 사진 이미지는 물론, 여권사진용 이미지, 명함용 이미지 등 용도에 따라 이미지의 종류를 선택할 수 있으며, 또한 재미를 위한 이미지를 선택할 수도 있고, 경우에 따라서는 입체 3D 이미지를 선택할 수도 있다.

입체 3D 이미지를 출력하기 위해서는, 3D 이미지 촬영을 위한 별도의 촬영 장치 및 인쇄 장치가 필요하다. 입체 3D 이미지의 원리는 양안시차를 이용하는 것이다. 즉, 시각적으로 입체감을 느끼는 가장 중요한 요인은 사람의 눈이 가로방향으로 약 65mm 떨어져서 존재하기 때문에 나타나게 되는 양안시차에 의해 나타나는 것으로서, 일반적으로 이러한 양안시차 효과를 나타내기 위해서는 좌안용 이미지와 우안용 이미지를 동시에 촬영하여, 이를 하나의 이미지에 겹쳐서 배열하고, 렌티큘러 렌즈 또는 시트를 이용하여 좌안과 우안에 다른 이미지를 보여줌으로써 입체감을 느낄 수 있게 해준다.

추가로, 본 발명의 촬영 시스템은 촬영된 최적의 이미지를 출력하는 수단 뿐만 아니라, 이를 저장 장소에 저장한 후 사용자가 원하는 저장매체로 전송하는 단계를 포함할 수도 있다. 사용자가 원하는 저장매체는 휴대용 단말기 또는 PC일 수 있다. 사용자는 휴대용 단말기의 전화번호 입력 또는 자신의 이메일 주소나 SNS 주소를 입력함으로써 간단히 해당 이미지를 전송받아 이미지 파일로 보관할 수 있다.

Claims (10)

1. 피사체의 얼굴을 인식하는 얼굴 인식 단계;
   상기 인식된 얼굴의 형태 및 색조를 분석하는 이미지 분석 단계;
   상기 인식한 결과에 근거하여 얼굴의 크기나 위치를 자동으로 선택하고 배치하는 단계;
   상기 분석한 결과에 근거하여 기 설정된 퍼스널 컬러를 미리 입력된 데이터베이스로부터 찾아 매칭하여 적어도 하나 이상의 촬영 모드를 검색 및 선별하는 제어 단계;
   상기 검색 및 선별한 결과를 표시하는 표시 단계; 및
   상기 표시한 결과 중 선택된 적어도 하나에 근거하여 이미지를 촬영하는 촬영 단계;를 포함하며,
   상기 제어 단계에서, 상기 촬영 모드를 검색 및 선별하는 것은, 사전에 저장된 컬러 대비 데이터에 근거하여 행해지도록 하며,
   상기 촬영 모드는, 배경, 필터, 또는 사진의 종류 중 적어도 하나 이상을 포함하며,
   상기 촬영한 이미지를 저장하거나, 상기 촬영한 이미지를 출력하는 것을 더 포함하는 것을 특징으로 하는 촬영 방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 촬영 방법은,
   상기 검색 및 선별된 촬영 모드를 저장하고, 상기 저장된 촬영 모드에 대한 데이터를 그래픽 처리장치(Graphic Processing Unit; GPU)를 이용하여 학습하는 단계;를 더 포함하며,
   각 상기 단계마다 AI의 자동화 알고리즘에 따라 처리하여 음성으로 안내함으로써 사용자의 개입을 최소화하도록 하는 것을 특징으로 하는 촬영 방법.
4. 삭제
5. 청구항 1에 있어서,
   상기 사진의 종류는, 일반사진, 여권사진, 명함사진, 또는 증명사진 중 어느 하나를 포함하는 것을 특징으로 하는 촬영 방법.
6. 청구항 1에 있어서,
   상기 촬영 방법은,
   상기 분석한 형태 및 색조를 향후의 판별에 활용하기 위하여 누적 집계하고 저장하며 요구에 따라 제공하는 단계; 및
   상기 촬영한 이미지를 사용자가 원하는 저장매체로 복사 또는 전송하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 방법.
7. 사용자의 얼굴을 포함한 이미지를 촬영하는 단계;
   상기 얼굴의 피부톤에 어울리는 색조합을 미리 입력된 데이터베이스로부터 찾아내어 상기 사용자의 적어도 하나 이상의 퍼스널 컬러로서 표시해주는 단계;
   상기 표시해준 적어도 하나 이상의 퍼스널 컬러로부터 선호하는 컬러를 선택하여 촬영의 배경 이미지로 반영하는 단계; 및
   상기 선택한 선호하는 컬러를 이용하여 상기 촬영한 이미지의 보정을 수행하는 보정 단계;를 포함하여 구성되는 것을 특징으로 하는 촬영 시스템.
8. 피사체의 얼굴을 인식하는 얼굴 인식 모듈;
   상기 인식된 얼굴의 형태 및 색조를 분석하는 이미지 분석 모듈;
   상기 인식된 얼굴의 크기, 위치 또는 이들의 조합을 조정하는 조정 모듈;
   상기 분석한 결과에 근거하여 기 설정된 퍼스널 컬러를 미리 입력된 데이터베이스로부터 찾아 매칭하여 적어도 하나 이상의 촬영 모드를 검색 및 선별하는 제어 모듈;
   상기 제어 모듈에서 검색 및 선별한 결과를 사용자에게 표시하는 표시 모듈;
   사용자로 하여금 상기 표시 모듈을 통해 표시된 결과 중 적어도 하나를 선택하여 입력할 수 있게 하는 입력 모듈; 및
   상기 입력된 선택 결과에 근거하여 이미지를 촬영하는 촬영 모듈;을 포함하며,
   상기 제어 모듈에서, 상기 촬영 모드를 검색 및 선별하는 것은, 사전에 저장된 컬러 대비 데이터에 근거하여 행해지도록 하며,
   상기 촬영 모드는, 배경, 필터, 또는 사진의 종류 중 적어도 하나 이상을 포함하며,
   상기 촬영한 이미지를 저장하거나, 상기 촬영한 이미지를 출력하는 것을 포함하는 것을 특징으로 하는 촬영 장치.
9. 청구항 8에 있어서,
   상기 제어 모듈은,
   상기 검색 및 선별한 결과를 저장하고, 상기 결과를 이용하여 자가 학습하는 딥 뉴럴 네트워크(Deep Neural Network) 기반 단일객체 이미지 인식 학습 모듈; 및
   상기 검색 및 선별된 결과에 근거하여 사용자에게 선택사항을 음성으로 안내하는 음성 안내 모듈;을 더 포함하는 것을 특징으로 하는 촬영 장치.
10. 청구항 8에 있어서,
    상기 촬영 장치는,
    상기 분석한 결과를 수집하여 누적 집계한 정보를 저장하는 정보저장 모듈; 및
    상기 촬영한 이미지를 사용자가 원하는 저장매체로 복사 또는 전송하는 트랜스포팅 모듈;을 더 포함하는 것을 특징으로 하는 촬영 장치.