KR20200000104A - 자율 촬영 장치 - Google Patents

Abstract

본 발명은 자율 촬영 장치에 관한 것으로, 카메라에 의해 촬영되는 영상을 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영함으로써 사용자 개입 없이 마치 영화를 제작하는 것과 같은 느낌을 가지는 영상을 촬영할 수 있도록 한 것이다.

Description

자율 촬영 장치{Autonomous photographing apparatus}

본 발명은 촬영 관련 기술로, 특히 카메라에 의해 촬영되는 영상을 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영하는 자율 촬영 장치에 관한 것이다.

액션캠, 스마트폰 등과 같은 동영상 녹화 기능을 가지는 카메라가 보편화 되어 있으며, 이러한 동영상 녹화 기능을 가지는 카메라에서 녹화 도중 손떨림에 따른 영상의 흔들림을 보정하는 기능이 역시 보편화되어 있다.

그러나, 여전히 움직이는 피사체를 따라서 카메라를 움직이면서 촬영할 때 피사체를 화면의 중앙 위치에 유지시킨다는 것은 어려운 일이다. 이를 돕기 위해 고가의 짐벌(Gimbal) 혹은 스태빌라이저(stabilizer)를 사용하기도 한다.

짐벌은 자이로 센서를 내장하여 카메라를 조작하고 있는 사용자의 움직임을 감지하여 3축에 있는 모터들을 능동적으로 회전시켜 카메라가 피사체를 지속적으로 추적하는 것을 가능하게 한다.

그러나, 짐벌은 3개의 모터와 회로 부품을 포함하여 상당한 무게가 나가기 때문에 어린이나 여성이 이를 이용하여 오랫동안 촬영하는 것은 상당한 고통이 수반된다.

2013.10.02.자 등록된 대한민국 등록특허 제10-1316851호는 카메라가 장착된 소형 짐벌을 개시하고 있다. 무인 비행체에 장착될 의도로 설계된 이 카메라는 짐벌을 소형화하고 카메라와 일체화시켜 경량화시키는 것을 목적으로 하고 있다.

이 소형 짐벌은 카메라에 복수의 풀리를 통해 구동모터의 구동력을 전달하는 메커니즘을 통해 팬/틸트를 구동하고 있다. 그러나, 카메라가 상당한 무게를 가지고 있기 때문에 모터로 직접 구동할 경우 상대적으로 토크가 크고 무거운 모터를 사용해야 하며, 모터를 소형으로 할 경우 토크가 작아 기어박스나 풀리와 같은 변속 구조의 채용을 피할 수 없다.

카메라를 소형 경량화하기 위해 촬상 모듈은 화소수의 증가 및 부피의 소형화가 요구되고 있는 추세이다. 이러한 화소수 증가의 요구를 충족시키기 위해 이미지 센서 픽셀의 크기를 감소시킴으로써 제한된 면적의 이미지 센서 내에서 고화소화를 구현하고 있다.

이러한 추세에 따라 이미지 센서의 픽셀 크기가 작아지면서 스틸 영상의 촬영시 셔터 조작에 따른 촬상 모듈의 작은 움직임에도 스틸 영상의 선명도가 급격히 저하되는 상황이 빈번히 발생한다.

또한, 동영상 녹화시에는 센서의 픽셀 크기가 작지 않더라도 피사체를 녹화하는 과정에서 사용자의 이동이나 장시간 녹화로 인해 촬상 모듈의 흔들림이나 움직임이 녹화 도중 지속적으로 발생하게 된다.

이러한 촬상 모듈의 움직임을 발생시키지 않는 촬영 기술은 전문가 수준의 사용자만이 가능할 수 있으며, 일반 사용자는 동영상 녹화시 녹화 영상에서 프레임간 영상의 부자연스러운 흔들림을 경험하게 된다.

특히 근래에는 HD TV의 급속한 보급으로 HD급 고선명 동영상을 녹화하는 것이 보다 일반화되는 추세이며, 고선명 HD급 동영상을 녹화하는 경우 영상의 화소수가 SD급보다 증가하므로, 동영상 촬영시 발생하는 사용자의 손떨림이나 움직임 등으로 인해 촬영된 동영상에서 부자연스러운 흔들림이 더욱 적나라하게 나타나, 완성도가 낮은 저품질의 동영상을 촬영할 수 밖에 없는 문제점이 있었다.

카메라가 이동하면서 움직임 객체를 촬영할 경우, 카메라 자체의 떨림 보상과 움직임 객체를 화면 중앙에 일정한 크기로 유지시키는 것은 완성도가 높은 고품질의 영상 제작에 있어서 매우 중요한 이슈가 될 수 밖에 없다.

따라서, 본 발명자는 카메라 자체의 움직임 보상과 움직임 객체를 화면 중앙에 일정한 크기로 유지시켜 보다 완성도가 높은 고품질의 영상을 획득할 수 있도록 하되, 카메라에 의해 촬영되는 영상을 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영하는 자율 촬영 기술에 대한 연구를 하였다.

대한민국 등록특허 제10-1316851호(2013.10.02)

본 발명은 카메라에 의해 촬영되는 영상을 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영하는 자율 촬영 장치를 제공함을 그 목적으로 한다.

본 발명의 또 다른 목적은 카메라 자체의 움직임 보상과 움직임 객체를 화면 중앙에 일정한 크기로 유지시켜 보다 완성도가 높은 고품질의 자율 촬영 영상을 획득할 수 있는 자율 촬영 장치를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 자율 촬영 장치가 카메라에 의해 실시간 촬영되는 영상의 실시간 녹화를 제어하는 영상 녹화 제어부와; 영상 녹화 제어부에 의해 실시간 녹화 제어되는 영상을 실시간 분석해 객체들을 실시간 추출하는 객체 추출부를 포함하는 영상 분석부와; 영상 분석부에 의해 실시간 추출되는 객체들 중에서 어느 하나의 객체를 메인 객체로 결정하되, 메인 객체를 실시간 변경하면서 선택하는 메인 객체 결정부와; 메인 객체 결정부에 의해 실시간 변경되면서 선택되는 메인 객체를 중심으로 촬영 모드를 변경하는 촬영 모드 변경부와; 메인 객체를 실시간 추적하면서 메인 객체가 화면 중앙에 유지되도록 카메라 안정화(Stabilizer) 구동을 실시간 제어하는 안정화 제어부와, 촬영 모드 변경부에 의해 변경되는 촬영 모드에 따라 카메라 줌을 실시간 제어하는 카메라 줌 제어부를 포함한다.

본 발명의 부가적인 양상에 따르면, 메인 객체 결정부가 촬영 모드 변경 이벤트가 발생될 경우, 촬영 모드 변경 이벤트 발생 시점에 추출된 객체들 중에서 어느 하나의 객체를 메인 객체로 결정한다.

본 발명의 부가적인 양상에 따르면, 영상 분석부가 추출된 객체들에 의해 촬영 모드 변경 이벤트가 발생되는지 검출하는 이벤트 검출부를 더 포함한다.

본 발명의 부가적인 양상에 따르면, 촬영 모드 변경 이벤트가 객체의 화면 점유율, 객체의 제스쳐, 객체의 소리, 미리 기억된 특정 객체 출현을 포함할 수 있다.

본 발명의 부가적인 양상에 따르면, 메인 객체 결정부가 객체의 화면 점유율이 상승되는 객체 또는 특정 제스쳐가 발생된 객체 또는 소리가 발생된 객체 또는 미리 기억된 특정 객체를 메인 객체로 결정하도록 구현될 수 있다.

본 발명의 부가적인 양상에 따르면, 메인 객체 결정부가 동시에 복수의 촬영 모드 변경 이벤트가 발생할 경우, 메인 객체 결정 우선 순위에 따라 메인 객체를 결정하도록 구현될 수 있다.

본 발명의 부가적인 양상에 따르면, 메인 객체 결정부가 특정 시간 동안 촬영 모드 변경 이벤트가 발생되지 않을 경우, 영상 분석부에 의해 실시간 추출되는 객체들 중에서 어느 하나의 객체를 랜덤하게 선택하여 메인 객체로 결정하도록 구현될 수 있다.

본 발명의 부가적인 양상에 따르면, 메인 객체 결정부가 기존 촬영된 유사 그룹 영상들의 촬영 모드 변경 순서가 학습되어 저장된 학습 DB를 검색해, 검색된 유사 그룹 영상들의 촬영 모드 변경 순서에 따라 촬영 모드를 변경하도록 구현될 수 있다.

본 발명의 부가적인 양상에 따르면, 자율 촬영 장치가 촬영 모드가 자동 변경되며 녹화되는 자율 촬영 영상에 BGM(Background Music)을 삽입하는 BGM 삽입부를 더 포함할 수 있다.

본 발명의 부가적인 양상에 따르면, 촬영 모드가 메인 객체의 전체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제1모드와; 메인 객체의 일부만 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제2모드와; 메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제3모드와; 메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기 보다 작은 제2크기로 일정하게 유지되는 배경 위주의 제4모드를 포함할 수 있다.

본 발명은 카메라에 의해 촬영되는 영상을 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영함으로써 사용자 개입 없이 마치 영화를 제작하는 것과 같은 느낌을 가지는 영상을 촬영할 수 있는 효과가 있다.

또한, 본 발명은 카메라 자체의 움직임 보상과 움직임 객체를 화면 중앙에 일정한 크기로 유지시켜 보다 완성도가 높은 고품질의 자율 촬영 영상을 획득할 수 있는 효과가 있다.

도 1 은 본 발명의 일 실시예에 따른 자율 촬영 기능을 구비한 카메라의 사시도이다.
도 2 는 도 1에 도시된 자율 촬영 기능을 구비한 카메라를 A-A’선을 따라 절단한 단면도이다.
도 3 은 도 1에 도시된 자율 촬영 기능을 구비한 카메라의 평면도이다.
도 4 는 도 1에 도시된 몸체부로부터 배터리가 분리된 상태를 나타낸 분리 사시도이다.
도 5 는 도 1에 도시된 자율 촬영 기능을 구비한 카메라의 동작도이다.
도 6 은 인쇄회로기판에 실장된 회로의 일 실시예에 따른 구성을 도시한 블록도이다.
도 7 은 본 발명에 따른 자율 촬영 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 8 은 본 발명에 따른 자율 촬영 장치에 의해 변경되는 촬영 모드의 일 예를 도시한 도면이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시예들을 특정한 형태로 한정하려는 것은 아니다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 자율 촬영 기능을 구비한 카메라의 사시도이고, 도 2는 도 1에 도시된 자율 촬영 기능을 구비한 카메라를 A-A’선을 따라 절단한 단면도이다.

도 1을 참조하면, 일 양상에 따른 자율 촬영 기능을 구비한 카메라(100)는 피사체를 지속적으로 추적하도록 카메라부(110)를 회전시키는 짐벌부(120)가 일체로 구성된다. 본 발명의 일 실시예에 따른 자율 촬영 기능을 구비한 카메라(100)는 카메라부(110)와, 짐벌부(120)와, 몸체부(130)를 포함한다.

일 실시예에 있어서, 카메라부(110)는 내부에 상용화된 고성능의 카메라 모듈이 내장된다. 카메라 모듈은 영상을 촬영하는 CMOS 이미지 센서와, 복수의 렌즈를 포함하는 광학계, 주밍(zooming)과 자동 초점 조절(auto focusing)을 위해 광학계의 렌즈를 구동하는 액츄에이터(actuator)와 손떨림을 보정하는 OIS(optical image stabilization) 액츄에이터를 제어하는 제어 회로를 포함하는 상용화된 부품이다. 카메라 모듈은 기본적인 신호처리회로를 내장하며 디지털로 변환된 영상 신호를 출력한다.

카메라부(110)를 덮어서 보호하는 하우징의 전면부에는 하우징의 일부를 구성하는 렌즈(112)가 구비된다. 카메라부의 기구적인 구성들은 경량화를 고려하여 가벼운 재질로 형성된다. 일 양상에 따르면, 카메라부(110)에는 카메라부의 움직임을 감지하는 각속도 센서가 내장된다. 일 실시예에 있어서, 각속도 센서는 3축 방향의 가속도를 측정하는 MEMS 자이로(gyro) 센서가 사용된다.

짐벌부(120)는 카메라부(110)에 연결되어 카메라부(110)를 피치(pitch), 롤(roll), 요(yaw) 방향으로 회전 구동한다. 일 실시예에서, 짐벌부(120)는 피치 모터(122)와, 롤-피치 연결간(121)과, 롤 모터(123)와, 요-롤 연결간(125)과, 요 모터(124)를 포함한다. 롤-피치 연결간(121)은 그 일단이 피치 모터(122)를 통해, 타단은 힌지축(128)을 통해 카메라부(110)에 회동 가능하게 결합되며, 후방으로는 롤 모터(123)와 회동 가능하게 결합된다.

도 2에 도시된 바와 같이, 피치 모터(122)는 그 일부가 카메라부에 침투하여 설치된다. 즉, 피치 모터(122)의 스테이터(stator)(122-1)는 롤-피치 연결간(121)에 고정 설치되되, 롤-피치 연결간(121)의 영역을 넘어서 카메라부(110)의 내부를 침투하여 연장된다.

피치 모터(122)의 샤프트(122-2)는 스테이터(122-1)와 두 개의 베어링을 통해 회동 가능하게 결합되며, 그 일단이 카메라부(110) 내부의 플랜지 형태 기구물에 고정된다. 카메라부(110)의 경량화로 인해 피치 모터(122)는 이미 소형이지만 카메라부(110)와 짐벌부(120)에 걸쳐서 설치되어 짐벌부(120)의 롤-피치 연결간(121)의 피치 연결 부분의 하우징이 바깥 부분이 더 슬림해질 수 있다.

힌지축(128)은 내부에 축방향으로 관통공을 구비하며, 이 관통공을 통해 카메라부(110)와 몸체부(130)의 인쇄회로기판을 전기적으로 연결하는 케이블이 지나간다.

롤 모터(123)는 롤-피치 연결간(121)의 후방에 있는 하우징 내부에 장착되고 그 샤프트의 끝은 요-롤 연결간(125)의 일단에 고정된다. 요-롤 연결간(125)의 타단에는 요 모터(124)의 샤프트가 고정된다. 요 모터(124)는 몸체부(130)의 상방에 있는 하우징 일단에 장착된다.

일 양상에 따르면, 카메라부(110)와 짐벌부(120)는 그 외면이 각각 적어도 일부에 있어서 구의 표면의 일부의 형상을 포함하고, 이들이 서로간에 동심원상으로 배치되도록 결합된다. 도시된 실시예에서 카메라부(110)의 외형은 전방의 렌즈부와 양측에 롤-피치 연결간(121)과 결합되는 면을 제외하고 전체적으로 구형이다.

도 2를 참조하면, 짐벌부(120)에서 카메라부(110)와 결합되는 롤-피치 연결간(121)은 기구적인 지지구조를 가진 롤-피치 연결간 하우징(126)과, 이 연결간의 외면을 매끄럽게 덮는 롤-피치 연결간 커버(127)를 포함한다. 도 1에 도시된 바와 같이, 롤-피치 연결간 커버(127)에서 카메라부(110)와 결합하는 부분 주변은 카메라부(110)의 외형을 따라 구의 표면의 일부를 따르는 형상을 가진다. 이에 따라 전체적으로 볼륨을 더 줄여 컴팩트하고 일체화된 느낌을 주는 디자인을 달성한다.

또다른 양상에 따르면, 짐벌부의 모터들은 모두 다이렉트 드라이브 모터(direct drive motor)이다. 감속구조를 포함하지 않음에 따라, 카메라는 더 경량화되고, 어린이라도 동영상을 촬영하기 위해 오래 들고 있는 동안 불편하지 않을 수 있다.

몸체부(130)는 짐벌부(120)의 하단에 고정되어 사용자의 파지에 적합한 외형으로 형성된다. 또다른 양상에 따르면, 몸체부(130)는 전면 상부에 표시부(133)와, 표시부 아래에, 파지시 엄지 손가락 위치에 적어도 하나의 조작버튼을 포함하는 조작부(131)를 포함한다. 조작부의 하부에는 한 몸으로 이어지는 파지부를 포함한다. 파지부는 그립감을 개선하기 위해 후면에 파여진 곡면을 구비한다.

또다른 양상에 따르면, 몸체부(130)는 하측이 개구되고 일단에 결합홈(130a)이 형성된 배터리 수용부(130b)와, 배터리 수용부(130b)에 삽입되며 결합홈(130a)에 대응되는 위치에 결합 돌기(132a)가 형성된 배터리(132)를 포함한다. 몸체부(130)의 파지 공간을 활용하여 대용량의 배터리를 내장할 수 있다.

추가적인 양상에 따르면, 카메라부(110)와 몸체부(130)의 인쇄회로기판은 마이크로 동축 케이블(micro coaxial cable)에 의해 연결될 수 있다. 카메라부(110)에 회로가 최소로 포함되면서 카메라 모듈에서 출력되는 영상 신호는 압축되지 않은 상태 그대로 몸체부(130)로 전송되어야 한다. 유연기판(flexible PCB)의 형태로는 이러한 속도로 전송이 어렵다. 마이크로 동축케이블은 압축되지 않은 고해상도 영상 데이터를 손실 없이 전송할 수 있다. 마이크로 동축 케이블은 힌지축(128)의 관통공을 통해 카메라부(110)에서 몸체부(130)로 빠져 나간다.

몸체부(130)에는 회로가 실장되는 인쇄회로기판이 내장된다. 도 6은 인쇄회로기판에 실장된 회로의 일 실시예에 따른 구성을 도시한 블록도이다. 도시된 바와 같이, 인쇄회로기판(600)에는 장치를 전반적으로 제어하는 총괄 제어부(610)와, 구동 제어부(670) 및 신호 처리부(630)의 회로가 실장된다.

총괄 제어부(610)는 메모리(613)에 저장된 펌웨어에 따라 장치 전반을 제어한다. 조작부(131)의 입력에 따라, 총괄 제어부(610)는 짐벌의 동작 모드를 제어한다. 또한, 총괄 제어부(610)는 조작부(131)의 입력에 따라, 신호 처리부(630)를 제어한다. 총괄 제어부(610)는 표시부(133)에 현재 동작에 대한 정보를 표시한다.

구동 제어부(670)는 각속도 센서(671)의 신호로부터 카메라부의 3축 움직임을 검출하고 각 축의 검출된 움직임 정도를 반영하여 총괄 제어부(610)에서 설정된 동작 모드에 따라 짐벌의 대응하는 모터를 구동한다. 짐벌은 카메라를 현재 방향으로 유지할 수도 있고, 일정한 거리의 피사체를 추적하도록 작동될 수도 있다.

일 양상에 따라, 모터 구동부(673)는 피사체를 추적하기 위해 짐벌과 연동하여 카메라 모듈(650)의 주밍과 포커싱을 제어한다. 이에 따라 화면에서 피사체가 항상 일정한 크기를 가지도록 촬영하는 것이 가능하다.

도 5에 도시된 바와 같이, 피사체 P를 화면에서 일정한 크기로 일정한 위치에 유지하면서 추적하려면, 짐벌 외에 카메라 모듈의 주밍과 포커싱이 연동되어야 한다. 또한 움직임이 심한 자율 촬영 기능을 구비한 카메라에서 OIS 기능은 수반되는 것이 유리하다.

구동 제어부(670)는 4채널 출력을 이용하여 3축 모터와 주밍의 4가지 제어 변수를 독립적으로 동시에 제어할 수 있다. 모터 구동부(673)는 3개의 채널을 가지며, H-브리지 회로를 통해 구동 전원 공급부(675)로부터 공급되는 구동 전력을 스위칭하여 3개의 모터(122,123,124)의 변위를 제어한다.

일 양상에 따르면, 신호 처리부(630)는 카메라 모듈(650)에서 출력되는 영상을 압축하여 메모리(613)에 저장하는 녹화부(631)를 포함할 수 있다. 일 실시예에서, 메모리(133)는 플래쉬 메모리로 구성되며, 장치의 작동을 제어하는 펌웨어와 동영상 및 메타 데이터를 포함하는 컨텐츠 데이터가 저장된다.

추가적인 양상에 따르면, 신호 처리부(630)는 메모리(613)에 저장된 영상을 디코딩한 영상이나, 카메라 모듈(650)에서 출력되는 영상을 표시부(133)에 표시하는 재생부(633)를 더 포함할 수 있다. 표시부(133)는 현재 촬영되는 영상을 실시간으로 재생하거나, 녹화된 영상을 재생할 수 있다. 도시된 실시예에서 표시부(133)는 액정 디스플레이이나, OLED 디스플레이나 전자 종이 디스플레이로 구성될 수도 있다.

또다른 양상에 따라, 인쇄회로기판의 회로는 무선 통신부(690)를 더 포함할 수 있다. 무선 통신부(690)는 실시간으로 촬영되는 영상이나 저장된 녹화 영상을 외부의 단말기, 예를 들면 손목에 착용한 디스플레이로 전송하거나 액세스 포인트를 통해 원격지의 클라우드 서버로 전송할 수 있다.

신호 처리부(630)는 디지털 신호 처리기와 코덱을 포함하며, 총괄 제어부(610) 및 무선 통신부(690)와 함께 시스템-온-칩(SOC : System-On-Chip)으로 구현된다. 인쇄회로기판(600)에는 도시되지 않았지만 표시부(133)를 구동하는 표시 제어 회로가 SOC의 일부로 포함되어 있다.

구동 제어부(670)는 피치(pitch), 롤(roll), 요(yaw) 3축의 움직임을 감지하여 그에 대응하는 신호를 생성하는 각속도센서(671)의 신호를 받아 짐벌부(120)에 구비된 복수의 회전수단인 피치 모터(122), 롤 모터(123), 요 모터(124)의 구동을 제어하여 안정화(Stabilizing) 기능을 수행한다.

구동 제어부(670)는 각속도 센서(671)에서 감지된 카메라부(110)의 회전 움직임을 보상하기 위해 카메라부(110)를 움직여야 할 제어 값을 계산하고, 모터 구동부(673)를 제어하여 회전수단인 피치 모터(122), 롤 모터(123), 요 모터(124)가 회전되도록 한다.

구동 제어부(670)는 손 떨림 혹은 카메라부(110)의 흔들림을 보상하기 위해 손 떨림 혹은 카메라부(110)의 흔들림을 각속도 센서(671)에 의해 감지된 방향과 반대 방향으로 피치 모터(122), 롤 모터(123), 요 모터(124)를 회전시킬 수 있다.

총괄 제어부(610)는 촬영 대상을 식별하고 식별된 촬영 대상을 포커싱하여 추적하면서 촬영할 수 있도록 한다. 즉, 식별된 촬영 대상이 움직이는 경우, 회전 수단인 피치 모터(122), 롤 모터(123), 요 모터(124)를 구동 제어하도록 구동 제어부(670)에 명령한다.

이에 따라, 구동 제어부(670)는 모터 구동부(673)를 제어하여 카메라부(110)를 피치, 롤 및 요축 방향으로 회전시킴으로써 카메라부(110)의 초점을 움직이는 촬영 대상(움직임 객체)에 고정시키면서 촬영할 수 있다.

아울러, 총괄 제어부(610)는 카메라의 촬영 모드 제어를 포함하는 장치 전반을 제어한다. 예컨대, 총괄 제어부(610)가 카메라부(110)에 의해 촬영되는 영상을 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영하도록 함으로써 사용자 개입 없이 마치 영화를 제작하는 것과 같은 느낌을 가지는 영상을 촬영하도록 구현될 수 있다.

도 7 은 본 발명에 따른 자동 촬영 장치의 일 실시예의 구성을 도시한 블럭도이다. 본 발명에 따른 자동 촬영 장치(1000)는 자율 촬영 기능을 구비한 카메라(100)의 메모리(613)에 저장되고, 총괄 제어부(610)에 의해 호출되어 실행되는 소프트웨어 형태로 구현될 수 있으나, 이에 한정되지는 않는다.

도 7 에 도시한 바와 같이, 이 실시예에 따른 자동 촬영 장치(1000)는 영상 녹화 제어부(1100)와, 영상 분석부(1200)와, 메인 객체 결정부(1300)와, 촬영 모드 변경부(1400)와, 안정화 제어부(1500)와, 카메라 줌 제어부(1600)를 포함한다.

영상 녹화 제어부(1100)는 카메라에 의해 실시간 촬영되는 영상의 실시간 녹화를 제어한다. 이 때, 카메라는 자율 촬영 기능을 구비한 카메라(100)의 카메라부(110)일 수 있다. 한편, 영상 녹화 제어부(1100)에 의해 실시간 녹화 제어되는 영상은 자율 촬영 기능을 구비한 카메라(100)의 메모리(613)에 저장되거나, 무선 통신부(690)를 통해 외부로 무선 송신될 수 있다.

영상 분석부(1200)는 영상 녹화 제어부(1100)에 의해 실시간 녹화 제어되는 영상을 실시간 분석해 객체들을 실시간 추출하는 객체 추출부(1210)를 포함할 수 있다. 예컨대, 객체 추출부(1210)가 이 출원 이전에 이미 공지된 특징점 분석 기반으로 일련의 영상 프레임들에서 객체들을 인식하도록 구현될 수 있다.

메인 객체 결정부(1300)는 영상 분석부(1200)에 의해 실시간 추출되는 객체들 중에서 어느 하나의 객체를 메인 객체로 결정하되, 메인 객체를 실시간 변경하면서 선택한다.

이 때, 메인 객체 결정부(1300)가 촬영 모드 변경 이벤트가 발생될 경우, 촬영 모드 변경 이벤트 발생 시점에 추출된 객체들 중에서 어느 하나의 객체를 메인 객체로 결정하도록 구현될 수 있다. 예컨대, 촬영 모드 변경 이벤트가 객체의 화면 점유율, 객체의 제스쳐, 객체의 소리, 미리 기억된 특정 객체 출현을 포함할 수 있다.

이 경우, 메인 객체 결정부(1300)가 객체의 화면 점유율이 상승되는 객체 또는 특정 제스쳐가 발생된 객체 또는 소리가 발생된 객체 또는 미리 기억된 특정 객체를 메인 객체로 결정하도록 구현될 수 있다.

한편, 메인 객체 결정부(1300)가 동시에 복수의 촬영 모드 변경 이벤트가 발생할 경우, 메인 객체 결정 우선 순위에 따라 메인 객체를 결정하도록 구현될 수 있다.

예컨대, 메인 객체 결정 우선 순위가 미리 기억된 특정 객체, 소리가 발생된 객체, 특정 제스쳐가 발생된 객체, 객체의 화면 점유율이 상승되는 객체 순으로 설정될 수 있으나, 이에 한정되지는 않는다.

카메라에 의해 실시간 촬영되는 영상은 객체 위치나 크기가 실시간 변경되어 객체의 화면 점유율이 변하거나, 특정 순간에 객체가 특정 제스쳐를 하거나, 특정 순간에 객체가 소리를 내거나, 미리 기억된 특정 객체가 출현한다거나 하는 등의 여러 상황이 발생하고, 이러한 상황들을 촬영 모드 변경 이벤트로 정의하여 메인 객체 결정에 이용할 수 있다.

한편, 메인 객체 결정부(1300)가 특정 시간 동안 촬영 모드 변경 이벤트가 발생되지 않을 경우, 영상 분석부(1200)에 의해 실시간 추출되는 객체들 중에서 어느 하나의 객체를 랜덤하게 선택하여 메인 객체로 결정하도록 구현될 수 있다.

특정 시간 동안 카메라에 의해 실시간 촬영되는 영상내의 객체 위치나 크기가 거의 변경되지 않아 객체의 화면 점유율이 거의 변하지 않거나, 객체의 제스쳐나 소리가 발생되지 않아 촬영 모드 변경 이벤트가 발생되지 않으면, 촬영 모드 변경 없이 계속 같은 촬영 모드로 영상이 녹화되게 된다.

이러한 문제를 해결하기 위해 특정 시간 동안 촬영 모드 변경 이벤트가 발생되지 않으면, 메인 객체 결정부(1300)가 객체들 중에서 어느 하나의 객체를 랜덤하게 선택하여 메인 객체로 결정하여, 랜덤하게 선택된 메인 객체를 중심으로 촬영 모드가 변경되도록 한다.

이와는 달리, 메인 객체 결정부(1300)가 기존 촬영된 유사 그룹 영상들의 촬영 모드 변경 순서가 학습되어 저장된 학습 DB(도면 도시 생략)를 검색해, 검색된 유사 그룹 영상들의 촬영 모드 변경 순서에 따라 촬영 모드를 변경하도록 구현될 수도 있다.

이 실시예는 인공지능(AI) 기술을 이용해 기존 촬영된 유사 그룹 영상들의 촬영 모드 변경 순서 데이터를 학습하여 저장하고, 이 학습된 데이터를 이용해 카메라에 의해 촬영되어 녹화되는 영상의 촬영 모드를 변경하도록 한 것이다. 인공지능(AI) 기술을 이용한 데이터 학습은 이 출원전에 이미 다양하게 공지된 통상의 사항이므로, 이에 대한 구체적인 설명은 생략한다.

촬영 모드 변경부(1400)는 메인 객체 결정부(1300)에 의해 실시간 변경되면서 선택되는 메인 객체를 중심으로 촬영 모드를 변경한다. 예컨대, 촬영 모드가 메인 객체의 전체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제1모드, 메인 객체의 일부만 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제2모드일 수 있다.

한편, 촬영 모드가 메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제3모드, 메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기 보다 작은 제2크기로 일정하게 유지되는 배경 위주의 제4모드일 수도 있다.

도 8 은 본 발명에 따른 자율 촬영 장치에 의해 변경되는 촬영 모드의 일 예를 도시한 도면이다. 도 8 의 (a)는 메인 객체의 전체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제1모드 화면이고, 도 8 의 (b)는 메인 객체의 일부만 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제2모드 화면이다.

도 8 의 (c)는 메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제3모드 화면이고, 도 8 의 (d)는 메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기 보다 작은 제2크기로 일정하게 유지되는 배경 위주의 제4모드 화면이다.

촬영 모드 변경부(1400)에 의해 촬영 모드가 변경되면, 총괄 제어부(610)는 카메라부(110)에 의해 실시간 촬영되는 영상으로부터 인식되는 메인 객체를 실시간 추적하여 변경된 촬영 모드 화면의 중앙에 메인 객체가 일정한 크기로 실시간 유지되도록 제어한다.

이를 위해, 총괄 제어부(610)는 카메라부(110)에 의해 실시간 촬영되는 영상에 포함되는 메인 객체를 안정화 제어부(1500)를 통해 화면의 중앙에 위치하도록 조정하고, 카메라 줌 제어부(1600)를 통해 변경된 촬영 모드 화면의 중앙에 움직임 객체가 일정한 크기로 실시간 유지되도록 카메라부(110)의 줌을 제어한다.

안정화 제어부(1500)는 메인 객체를 실시간 추적하면서 메인 객체가 화면 중앙에 유지되도록 카메라 안정화(Stabilizer) 구동을 실시간 제어한다. 촬영 모드 변경부(1400)에 의해 촬영 모드가 변경되면, 안정화 제어부(1500)는 메인 객체를 화면 중앙에 위치시킨 후, 메인 객체가 화면 중앙에 계속 유지되도록 짐벌부(120)에 구비된 복수의 회전수단인 피치 모터(122), 롤 모터(123), 요 모터(124)에 대한 실시간 구동을 제어한다.

예컨대, 안정화 제어부(1500)가 일련의 영상 프레임들을 실시간 분석하여 메인 객체가 화면 중앙을 이탈하는지 추적하고, 메인 객체가 화면 중앙을 이탈할 경우, 메인 객체가 이탈된 반대 방향으로 이탈된 거리만큼 회전수단인 피치 모터(122), 롤 모터(123), 요 모터(124)를 반대 방향으로 회전시켜 메인 객체가 화면 중앙에 유지되도록 제어할 수 있다.

그러면, 총괄 제어부(610)는 카메라 자체의 움직임에 대한 안정화(Stabilizing) 보상을 수행하는 동시에, 메인 객체가 화면 중앙에 계속 유지되도록 추가적인 보정을 수행하도록 구동 제어부(670)에 명령하고, 이 명령에 따라 구동 제어부(670)는 모터 구동부(673)를 구동하여 짐벌부(120)에 구비된 복수의 회전수단인 피치 모터(122), 롤 모터(123), 요 모터(124)를 실시간 회전 구동한다.

카메라 줌 제어부(1600)는 촬영 모드 변경부(1400)에 의해 변경되는 촬영 모드에 따라 카메라 줌을 실시간 제어한다. 카메라 줌 제어부(1600)는 안정화 제어부(1500)에 의해 화면 중앙에 위치되는 메인 객체가 촬영 모드에 대응하는 일정한 크기로 실시간 유지되도록 카메라부(110)에 대한 실시간 줌을 제어한다.

카메라 줌 제어부(1600)는 먼저 메인 객체의 크기를 검출한다. 그 다음 메인 객체가 촬영 모드에 설정된 크기 미만일 경우에는 신호 처리부(630)에 줌인 명령을 전송하여 카메라부(110)에 의해 실시간 촬영되고, 안정화 제어부(1500)에 의해 화면 중앙에 메인 객체가 실시간 유지되는 영상을 줌인시켜 메인 객체가 촬영 모드에 설정된 크기가 되도록 확대한다.

반대로, 화면 중앙에 위치되는 메인 객체가 촬영 모드에 설정된 크기를 초과할 경우에는 카메라 줌 제어부(1600)가 신호 처리부(630)에 줌아웃 명령을 전송하여 카메라부(110)에 의해 실시간 촬영되고, 안정화 제어부(1500)에 의해 화면 중앙에 메인 객체가 실시간 유지되는 영상을 줌아웃시켜 메인 객체가 촬영 모드에 설정된 크기가 되도록 축소한다.

이와 같이 구현함에 의해 본 발명은 카메라에 의해 촬영되는 영상을 실시간 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영함으로써 사용자 개입 없이 마치 영화를 제작하는 것과 같은 느낌을 가지는 영상을 촬영할 수 있다. 또한, 카메라 자체의 움직임 보상과 움직임 객체를 화면 중앙에 일정한 크기로 유지시켜 보다 완성도가 높은 고품질의 자율 촬영 영상을 획득할 수 있다.

한편, 발명의 부가적인 양상에 따르면, 영상 분석부(1200)가 이벤트 검출부(1220)를 더 포함할 수 있다. 이벤트 검출부(1220)는 추출된 객체들에 의해 촬영 모드 변경 이벤트가 발생되는지 검출한다. 예컨대, 촬영 모드 변경 이벤트가 객체의 화면 점유율, 객체의 제스쳐, 객체의 소리를 포함할 수 있다.

이벤트 검출부(1220)에 의해 촬영 모드 변경 이벤트가 발생될 때마다 메인 객체 결정부(1300)가 객체의 화면 점유율이 상승되는 객체 또는 특정 제스쳐가 발생된 객체 또는 소리가 발생된 객체를 메인 객체로 결정함으로써 메인 객체가 실시간으로 변경되면서 선택된다.

그러면, 촬영 모드 변경부(1400)가 메인 객체 결정부(1300)에 의해 실시간 변경되면서 선택되는 메인 객체를 중심으로 촬영 모드를 변경하고, 안정화 제어부(1500)는 메인 객체를 실시간 추적하면서 메인 객체가 화면 중앙에 유지되도록 카메라 안정화(Stabilizer) 구동을 실시간 제어하고, 동시에 카메라 줌 제어부(1600)가 촬영 모드에 따라 카메라 줌을 실시간 제어한다.

이와 같이 구현함에 의해 본 발명은 카메라에 의해 촬영되는 영상을 실시간 분석하여 촬영 모드 변경 이벤트가 발생될 때마다 촬영 모드를 실시간으로 자동 변경하면서 촬영함으로써 사용자 개입 없이 마치 영화를 제작하는 것과 같은 느낌을 가지는 영상을 촬영할 수 있다. 또한, 카메라 자체의 움직임 보상과 움직임 객체를 화면 중앙에 일정한 크기로 유지시켜 보다 완성도가 높은 고품질의 자율 촬영 영상을 획득할 수 있다.

한편, 발명의 부가적인 양상에 따르면, 자율 촬영 장치(1000)가 BGM 삽입부(1700)를 더 포함할 수 있다. BGM 삽입부(1700)는 촬영 모드가 자동 변경되며 녹화되는 자율 촬영 영상에 BGM(Background Music)을 삽입한다.

이 때, BGM 삽입부(1700)가 DB에 저장된 BGM들을 검색하고, 삽입할 BGM들을 차례로 선택해 촬영 모드가 자동 변경되며 녹화되는 자율 촬영 영상에 선택된 BGM들을 차례로 삽입하도록 구현될 수 있다.

한편, BGM 삽입부(1700)가 촬영 모드가 자동 변경되며 녹화되는 자율 촬영 영상에 삽입되는 BGM의 볼륨을 자율 촬영 영상에 포함되는 메인 객체의 소리 수준으로 자동 조정하여 삽입하도록 구현될 수도 있다.

예컨대, BGM 삽입부(1700)가 기존 촬영된 유사 그룹 영상들에 포함되는 BGM들이 학습되어 저장된 학습 DB를 검색해, 검색된 유사 그룹 영상들에 포함되는 BGM들을 선택하여 촬영 모드가 자동 변경되며 녹화되는 자율 촬영 영상에 삽입하도록 구현될 수 있다.

이와 같이 구현함에 의해 본 발명은 촬영 모드가 자동 변경되며 녹화되는 자율 촬영 영상에 BGM을 삽입함으로써 BGM이 포함된 자율 촬영 영상을 녹화할 수 있는 효과가 있다.

한편, 발명의 부가적인 양상에 따르면, 자율 촬영 장치(1000)가 영상 편집부(1800)를 더 포함할 수 있다. 영상 편집부(1800)는 영상 녹화 제어부(1100)에 의해 녹화된 자율 촬영 영상을 편집하여 설정된 컨텐츠 크기로 축소한다.

예컨대, 영상 편집부(1800)가 영상 녹화 제어부(1100)에 의해 녹화된 자율 촬영 영상 중 촬영 모드 변경이 빈번한 일부 구간 영상들만 선택하여 조립함으로써 자율 촬영 영상을 설정된 컨텐츠 크기로 축소하도록 구현될 수 있다.

이와 같이 구현함에 의해 본 발명은 녹화된 자율 촬영 영상에서 촬영 모드 변경이 빈번한 일부 구간 영상들만 선택하여 영상 크기를 축소함으로써 자율 촬영 영상에서 영상 변화가 거의 없는 지루한 반복 부분을 제거할 수 있다.

한편, 발명의 부가적인 양상에 따르면, 자율 촬영 장치(1000)가 텍스트 처리부(1900)를 더 포함할 수 있다. 텍스트 처리부(1900)는 영상 녹화 제어부(1100)에 의해 녹화된 자율 촬영 영상에 포함되는 메인 객체 음성을 추출하고, 이를 텍스트로 변환하여 저장한다.

이와 같이 구현함에 의해 본 발명은 자율 촬영 영상에 포함되는 메인 객체 음성을 텍스트로 변환하여 저장할 수 있고, 이렇게 저장된 텍스트는 청각 장애인을 위한 자막 등에 이용될 수 있다.

이상에서 설명한 바와 같이, 본 발명은 카메라에 의해 촬영되는 영상을 실시간 분석하여 촬영 모드를 실시간으로 자동 변경하면서 촬영함으로써 사용자 개입 없이 마치 영화를 제작하는 것과 같은 느낌을 가지는 영상을 촬영할 수 있고, 카메라 자체의 움직임 보상과 움직임 객체를 화면 중앙에 일정한 크기로 유지시켜 보다 완성도가 높은 고품질의 자율 촬영 영상을 획득할 수 있으므로, 상기에서 제시한 목적을 달성할 수 있다.

본 명세서 및 도면에 개시된 다양한 실시예들은 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 다양한 실시예들의 범위를 한정하고자 하는 것은 아니다.

따라서, 본 발명의 다양한 실시예들의 범위는 여기에서 설명된 실시예들 이외에도 본 발명의 다양한 실시예들의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예들의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 촬영 관련 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.

100: 자율 촬영 기능을 구비한 카메라
110: 카메라부
111: 카메라 하우징
112: 렌즈
120: 짐벌부
121 : 롤-피치 연결간
122 : 피치 모터
123 : 롤 모터
124 : 요 모터
125 : 요-롤 연결간
126 : 롤-피치 연결간 하우징
127 : 롤-피치 연결간 커버
128 : 힌지축
130: 몸체부
131: 조작부
132 : 배터리
133 : 표시부
1000 : 자동 촬영 장치
1100 : 영상 녹화 제어부
1200 : 영상 분석부
1210 : 객체 추출부
1220 : 이벤트 검출부
1300 : 메인 객체 결정부
1400 : 촬영 모드 변경부
1500 : 안정화 제어부
1600 : 카메라 줌 제어부
1700 : BGM 삽입부
1800 : 영상 편집부
1900 : 텍스트 처리부

Claims (10)

1. 카메라에 의해 실시간 촬영되는 영상의 실시간 녹화를 제어하는 영상 녹화 제어부와;
   영상 녹화 제어부에 의해 실시간 녹화 제어되는 영상을 실시간 분석해 객체들을 실시간 추출하는 객체 추출부를 포함하는 영상 분석부와;
   영상 분석부에 의해 실시간 추출되는 객체들 중에서 어느 하나의 객체를 메인 객체로 결정하되, 메인 객체를 실시간 변경하면서 선택하는 메인 객체 결정부와;
   메인 객체 결정부에 의해 실시간 변경되면서 선택되는 메인 객체를 중심으로 촬영 모드를 변경하는 촬영 모드 변경부와;
   메인 객체를 실시간 추적하면서 메인 객체가 화면 중앙에 유지되도록 카메라 안정화(Stabilizer) 구동을 실시간 제어하는 안정화 제어부와;
   촬영 모드 변경부에 의해 변경되는 촬영 모드에 따라 카메라 줌을 실시간 제어하는 카메라 줌 제어부를;
   포함하는 자율 촬영 장치.
2. 제 1 항에 있어서,
   메인 객체 결정부가:
   촬영 모드 변경 이벤트가 발생될 경우, 촬영 모드 변경 이벤트 발생 시점에 추출된 객체들 중에서 어느 하나의 객체를 메인 객체로 결정하는 자율 촬영 장치.
3. 제 2 항에 있어서,
   영상 분석부가:
   추출된 객체들에 의해 촬영 모드 변경 이벤트가 발생되는지 검출하는 이벤트 검출부를;
   다 포함하는 자율 촬영 장치.
4. 제 3 항에 있어서,
   촬영 모드 변경 이벤트가:
   객체의 화면 점유율, 객체의 제스쳐, 객체의 소리, 미리 기억된 특정 객체 출현을 포함하는 자율 촬영 장치.
5. 제 4 항에 있어서,
   메인 객체 결정부가:
   객체의 화면 점유율이 상승되는 객체 또는 특정 제스쳐가 발생된 객체 또는 소리가 발생된 객체 또는 미리 기억된 특정 객체를 메인 객체로 결정하는 자율 촬영 장치.
6. 제 4 항에 있어서,
   메인 객체 결정부가:
   동시에 복수의 촬영 모드 변경 이벤트가 발생할 경우, 메인 객체 결정 우선 순위에 따라 메인 객체를 결정하는 자율 촬영 장치.
7. 제 2 항에 있어서,
   메인 객체 결정부가:
   특정 시간 동안 촬영 모드 변경 이벤트가 발생되지 않을 경우, 영상 분석부에 의해 실시간 추출되는 객체들 중에서 어느 하나의 객체를 랜덤하게 선택하여 메인 객체로 결정하는 자율 촬영 장치.
8. 제 1 항에 있어서,
   메인 객체 결정부가:
   기존 촬영된 유사 그룹 영상들의 촬영 모드 변경 순서가 학습되어 저장된 학습 DB를 검색해, 검색된 유사 그룹 영상들의 촬영 모드 변경 순서에 따라 촬영 모드를 변경하는 자율 촬영 장치.
9. 제 1 항에 있어서,
   자율 촬영 장치가:
   촬영 모드가 자동 변경되며 녹화되는 자율 촬영 영상에 BGM(Background Music)을 삽입하는 BGM 삽입부를;
   더 포함하는 자율 촬영 장치.
10. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서,
    촬영 모드가:
    메인 객체의 전체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제1모드와;
    메인 객체의 일부만 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제2모드와;
    메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기로 일정하게 유지되는 전경 위주의 제3모드와;
    메인 객체를 포함하는 모든 객체가 화면 중앙에 제1크기 보다 작은 제2크기로 일정하게 유지되는 배경 위주의 제4모드를;
    포함하는 자율 촬영 장치.

Images