KR20190064926A - 객체 인식, 시선 인식, 거리 조정 기능을 포함한, 눈 크기를 인식하여 사진촬영하는 장치 - Google Patents

Abstract

본 발명은 사진 촬영시 사람만 식별하여, 모든 사람이 눈을 뜬 채로 렌즈를 응시한 채 적당한 거리에서 사진을 찍게 도와주는 것으로, 더욱 상세하게는 객체를 인식하여 사람/사물/동물을 구별하고, 그 촬영 대상에 대하여 인식이 용이한 적당한 거리에서 눈을 뜬 채로 렌즈가 응시되었을 때에 사진을 찍을 수 있게 하는 시스템이다. 이를 위하여 본 발명은 카메라에 여러 시스템을 접목시키는 것으로, 눈 크기 인식부에 모듈형 객체 인식부를 추가하는 단계, 촬영부에 모듈형 시선 인식부를 추가하는 단계, 디스플레이부와 눈 크기 인식부에 모듈형 거리 인식부를 추가하는 단계, 그 후론 추가된 장치를 기반으로 하여, 객체를 구별하는 단계, 눈 크기를 인식하는 단계, 시선을 인식하는 단계, 거리를 인식하는 단계, 적절한 거리일 때 알림을 띄우는 단계를 거치고, 사람의 눈이 떠져있을 때 시선을 인식하고 렌즈를 응시할 때 사진 촬영을 허용하는 단계로 이루어진 것에 특징이 있다.

Description

객체 인식, 시선 인식, 거리 조정 기능을 포함한, 눈 크기를 인식하여 사진촬영하는 장치{Apparatus for takes pictures with eye recognition}

본 발명은 사진 촬영 시 눈이 떠져 있어야만 사진이 찍히는 기능이 포함된 사진촬영장치에 관한 것으로, 더욱 상세하게는 눈의 크기를 통하여 개폐여부를 인식하는 기술에 객체를 인식하는 기술, 시선을 인식하는 기술, 거리인식을 이용하여 적당한 거리를 찾도록 도와주는 기술을 추가한, 눈이 떠져 있어야만 사진이 찍히는 사진촬영장치에 관한 것이다.

일반적으로 어떠한 풍경 또는 사물을 기억하고 싶거나 기념할 목적으로 사진촬영을 한다.

사진을 찍는 과정을 살펴보면 디지털 카메라로 촬영할 경우에는 피사체 상의 빛이 렌즈를 통해서 들어온 빛을 이미지센서(CCD, CMOS, 촬상소자, 필름역활)가 피사체 상의 빛을, 전자 신호로 바꿔서 메모리카드에 피사체 상이 기록이 된다.

그러나 이러한 과정만으로 인해 찍히는 사진은 사진을 찍은 사람들 중에 한 사람이라도 눈을 뜨지 않았다면 사진을 다시 찍어야 한다는 문제점이 발생한다.

한국특허출원 1020070034567 (2007.04.09) - 휴대용 단말기 및 이에 있어서 눈동자 코드를 이용하여 사진 촬영하는 방법 한국특허출원 1020130018394 (2013.02.21) - 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 한국특허출원 1020130169407 (2013.12.31) - 렌즈 특성 기반의 촬영 모드 제시 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 촬영 장치.

상기 문제점을 해소하기 위한 본 발명의 사진촬영장치는,

눈 크기를 인식하여 눈이 떠져 있을 때만 사진이 찍히는 기술에서 발생한 불편사항 (인식에 적당한 거리를 찾기 어려움, 동물의 눈도 같이 인식됨, 눈이 열려있어도 다른 곳을 보면 사진을 다시 찍어야 함)을 개선하기 위하여 추가 장치를 장착하고, 그에 따라 문제를 개선하는 것에 그 목적이 있다.

상기 과제를 달성하기 위한 본 발명의 사진촬영장치는,

키버튼부, 제어부, 눈 크기 인식부, 촬영부, 카메라부, 저장부, 디스플레이부 등으로 이루어진 눈 크기 인식 촬영 방법에 있어서, 촬영부에 시선 인식 모듈을 장착하는 단계, 디스플레이부와 눈 크기 인식부에 거리 인식 모듈을 장착하는 단계, 눈 크기 인식부에 객체 인식 모듈을 장착하는 단계를 거치고 그에 따라 추가된 각 기능이 서로 상호작용하여 완성도 높은 사진을 촬영할 수 있도록 보조하는 것에 특징이 있다.

본 발명에 따른 사진촬영장치는,

촬영부에 시선 인식부를 추가함으로써 촬영 대상이 렌즈를 응시할 때만 찍히게 하므로 사진의 완성도가 올라감은 물론, 기반이 되는 눈 크기 인식 시스템과 같이 사용할 시 상승효과를 얻을 수 있다. 그리고 디스플레이부와 눈 크기 인식부에 거리 인식부를 추가함으로써 적당한 거리에 왔을 때 디스플레이부에 표시하도록 하므로 눈 크기가 잘 인식되는 거리를 쉽게 찾을 수 있도록 한다. 또한 눈 크기 인식부에 객체 인식부를 추가함으로써 사람의 눈만 인식하게 함으로, 의도하지 않은 동물/사물 인식에 의한 오작동을 줄일 수 있다. 또한 모든 추가 장치를 탈착식 모듈형으로 구성함으로써, 해당 기능을 사용하지 않을 때는 기본 카메라처럼 사용할 수 있다.

도 1은 만들고자 하는 발명의 구성요소 간 상호작용 과정을 나타내는 기능 분석도.

시선 인식부 (1) 로부터, 촬영 대상의 렌즈 응시 여부를 촬영부 (4) 가 전달받아 촬영 여부를 결정한다.

거리 인식부 (3) 로부터, 촬영자로부터 촬영 대상까지의 거리를 얻고, 눈 크기 인식부 (5) 로부터 눈의 직경을 얻어 이전에 촬영을 성공한 기록에서 얻은 눈의 직경과 객체와의 거리의 비율을 촬영 당시 눈 크기 인식부 (5) 에서 얻은 눈의 직경과 거리 인식부 (3) 에서 얻은 객체와의 거리의 비율과 비교하여 설정된 오차범위 내에 있을 때에 디스플레이부 (6) 에 알림을 표시한다.

객체 인식부 (2) 로부터, 사람/동물/사물 구별 결과를 눈 인식을 담당하는 눈 크기 인식부 (5) 가 전달받아 눈 인식 여부를 결정한다. 이후, 눈 크기 인식부 (5) 로부터 사람의 눈 개폐 여부를 전달받은 촬영부 (4) 가 촬영 여부를 결정한다.

1 : 시선인식부
2,4 : 촬영부
3 : 거리인식부
5 : 눈크기 인식부
6 : 객체 인식부

Claims (15)

1. 눈 크기 인식을 이용하여 사진 촬영하는 장치에 있어서 보조를 필요로 하는 각 시스템 구성 요소에 탈착식으로 구성된 객체 인식부, 시선 인식부 및 거리 인식부를 장착하여, 눈 크기 인식 과정을 보조함으로써 완성도가 높은 사진을 찍을 수 있는 것을 특징으로 하는 사진 촬영하는 장치.
2. 제1항에 있어서,
   적어도 하나의 카메라를 가지는 카메라부, 실시간 프리뷰 이미지를 통하여 촬영 대상자의 눈의 직경을 검출하고, 촬영 명령에 응답하여 상기 촬영 대상자의 최대 눈 크기, 최소 눈 크기, 현재 눈 크기를 검출하는 눈 크기 인식부, 최대 눈 크기와 최소 눈 크기의 값을 기준으로 현재 눈 크기를 통하여 눈 열림 정도를 확인하고, 상기 비교 결과에 따라 눈 열림 정도가 95% 이상일 때 상기 카메라가 상기 촬영 대상자를 촬영하도록 상기 카메라부를 제어하는 촬영부를 포함하는 것을 특징으로 하는 눈 크기 인식을 이용하여 사진을 촬영하는 것을 특징으로 하는 사진 촬영하는 장치.
3. 제2항에 있어서,
   상기 눈 크기 인식부가 객체 인식부로부터 객체의 구분 정보를 받아 사람의 눈만 인식하는 과정을 특징으로 하는 객체를 구분하여 눈 개폐 여부를 인식하는 것을 특징으로 하는 사진 촬영하는 장치.
4. 제3항에 있어서,
   상기 촬영부가 시선 인식부로부터 정보를 받아 시선이 카메라 쪽을 향할 때만 촬영을 허용하는 과정을 특징으로 하는 시선을 인식하여 객체가 렌즈를 응시하고 있을 때만 촬영하도록 하는 것을 특징으로 하는 사진 촬영하는 장치.
5. 제4항에 있어서,
   이전에 촬영을 성공한 기록에서 얻은 눈의 직경과 객체와의 거리의 비율을 촬영 당시 눈 크기 인식부에서 얻은 눈의 직경과 거리 인식부에서 얻은 객체와의 거리의 비율과 비교하여 설정된 오차범위 내에 있을 때에 디스플레이부에 알림을 띄우는 과정을 특징으로 하는 객체와의 거리와 눈 직경의 길이를 비교하여 적당한 거리를 알려주는 것을 특징으로 하는 사진 촬영하는 장치.
6. 제5항에 있어서,
   상기 객체 인식부, 시선 인식부 및 거리 인식부는 탈착이 가능한 모듈 형태인 것을 특징으로 하는 사진 촬영하는 장치.
7. 제3항에 있어서,
   상기 객체 인식부는,
   객체의 열적외선을 감지하여 체온값을 얻은 뒤, 얻은 체온값과 입력되어있는 체온값의 차이가 특정 오차범위 내 일 때만 촬영을 허용하고;
   사람이나 동물의 열 적외선을 집광하는 집광렌즈, 집광된 열 적외선의 파장을 걸러주는 필터, 적외선 에너지에 의해 신호를 발생하는 적외선 센서를 이용하여, 물체의 열 적외선을 감지하여 온도값을 얻고 입력되어있는 사람의 평균 체온과 비교한 후, 그 오차가 5% 미만일 때 사람이라고 판별하여 출력 신호를 발생하는 것을 특징으로 하는 사진 촬영하는 장치.
8. 제4항에 있어서,
   상기 시선 인식부는,
   피부에 부착되는 복수의 센서 전극으로 구성된 안구 근육 인식센서를 통하여 시선 인식부에서 상태 정보를 받아 실시간으로 안구 근육의 상태를 확인한 후, 설정된 상태 (시선이 렌즈 쪽으로 향했을 때의 근육 상태) 와 일치할 때 촬영을 허용하는 과정을 특징으로 하는 상기 사용자의 어느 하나의 안구에 대응되는 안구 근육으로부터 획득되는 정보를 참조로 하는 것을 특징으로 하는 사진 촬영하는 장치.
9. 제4항에 있어서,
   상기 시선 인식부는,
   사용자의 머리에 착용되는 액세서리에 탈착 가능한 하나 이상의 음파 발신기로부터 출력되는 음파 신호를 감지하는 감지 단계와, 상기 음파 신호들을 시선 인식부에서 정보를 받아 분석하는 분석 단계와, 상기 음파 신호들에 대한 분석결과를 통해 상기 음파 발신기의 상대적 변위를 감지하여 상기 사용자의 시선 변화를 인식하는 시선 인식 단계를 포함하는 이루어지는 것을 특징으로 하는 사진 촬영하는 장치.
10. 제5항에 있어서,
    상기 거리 인식부는,
    물체의 3차원 영상을 촬영하는 스테레오 카메라를 이용하여 촬영된 3차원 영상을 좌측 영상과 우측 영상으로 분리하는 단계, 상기 좌측 영상의 차영상과 상기 우측 영상의 차영상의 오브젝트 영역을 탐색하여 매칭 영역 중 좌측 영역과 우측 영역에 각각 대응하는 좌측 매칭 영역과 우측 매칭 영역을 구하는 단계, 좌측 혹은 우측 카메라로 촬영되는 영상에서 전체 사진에서 매칭되는 사진이 구성하고 있는 비율을 구하는 단계, 그 비율을 기반으로 미리 설정된 값에 따라 두 카메라와 물체가 이루는 각을 구하는 단계, 두 카메라 사이의 거리와 상기 각을 이용하여 물체와 카메라 사이의 거리를 구하는 단계를 포함하는 것을 특징으로 하는 사진 촬영하는 장치.
11. 제5항에 있어서,
    상기 거리 인식부는,
    초음파를 발신하는 초음파 발신부, 물체로부터 반사된 초음파를 수신하는 초음파 수신부를 이용하여 초음파 발신부의 발신 시간과 수신부의 수신 시간의 차이와 음파의 속도를 이용하여 물체와의 거리를 산출하는 것을 특징으로 하는 사진 촬영하는 장치.
12. 제1항에 있어서,
    상기 눈 크기를 인식은,
    화질이 부족하여 인식이 어려울 때 눈 크기를 인식하기 쉽도록 동영상의 명암비를 부각시키고;
    동영상 전체에 대한 명암값을 산출하는 단계, 상기 명암값에 대한 비율을 얻는 단계, 비율값에서 큰 쪽과 작은 쪽을 비교하는 단계, 큰 쪽의 비율값은 30% 올리고, 작은 쪽의 비율값은 30% 내리는 단계, 수정 후의 비율값을 이용해 다시 눈을 인식하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 촬영하는 장치.
13. 제6항에 있어서,
    시선인식 모듈을 사용할 수 없을 때, 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 단계, 관심 영역을 안면의 눈 부분으로 한정하는 단계, 관심 영역 내의 이미지에서 눈동자를 중심으로 상, 하, 좌, 우 방향의 눈의 겉부분과 눈동자와의 거리를 계산하는 단계, 상과 하의 측정치와, 좌와 우의 측정치의 차이가 특정 오차범위 내에 있을 때에 눈동자가 안구 중앙에 위치할 때 촬영을 허용하는 단계를 포함하는 시선 인식을 이용한 사용자 인터페이스 방법으로 이루어지는 것을 특징으로 하는 사진 촬영하는 장치.
14. 제6항에 있어서,
    객체인식 모듈을 사용할 수 없을 때, 학습 데이터를 입력 받아 그 데이터를 바탕으로 객체를 인식하고;
    각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터를 생성하는 단계, 상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터를 생성하는 단계, 상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계, 목표 이미지를 제공받고, 상기 목표 이미지 상에 복수의 블록을 포함하는 영역을 형성하는 단계, 상기 학습 모델을 이용하여 상기 영역을 탐색하는 단계, 상기 영역에 하나 이상의 상기 블록을 포함하는 관심 영역을 정의하는 단계, 상기 학습 모델을 이용하여 상기 관심 영역을 탐색하는 단계를 포함하는 이미지 상의 객체 검출 방법으로 이루어지는 것을 특징으로 하는 사진 촬영하는 장치.
15. 제6항에 있어서,
    객체인식 모듈을 사용할 수 없을 때, 이미지의 형상을 검출하여 객체를 구분하고;
    이미지에서 이미지 오브젝트를 자르는 단계 - 상기 이미지 오브젝트는 적어도 한 개체의 머리에 대한 형상을 포함함, 상기 이미지 오브젝트로부터 하나 또는 복수 개의 특징들을 추출하는 단계, 및 상기 하나 또는 복수 개의 특징들 및 미리 정의된 모델을 이용하여 상기 이미지 오브젝트에서 적어도 한 개체에 대한 머리의 포지션을 결정하는 단계를 포함하며, 옆모습 등 의도적으로 다른 각도로 촬영하는 것에 대비해 각도별 촬영 모드를 지원하고;
    검출된 머리의 포지션에 대하여, 기존 인식 데이터를 바탕으로 눈의 위치를 추정하여 눈 크기 인식부로 데이터를 전달하는 방법으로 이루어지는 것을 특징으로 하는 사진 촬영하는 장치.
    
    

Images