KR101763307B1 - System for Controlling Camera Using Mobile Device - Google Patents
System for Controlling Camera Using Mobile Device Download PDFInfo
- Publication number
- KR101763307B1 KR101763307B1 KR1020160038776A KR20160038776A KR101763307B1 KR 101763307 B1 KR101763307 B1 KR 101763307B1 KR 1020160038776 A KR1020160038776 A KR 1020160038776A KR 20160038776 A KR20160038776 A KR 20160038776A KR 101763307 B1 KR101763307 B1 KR 101763307B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- camera
- sensing
- sensing information
- cameras
- Prior art date
Links
Images
Classifications
-
- H04N5/23219—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H04N5/23206—
-
- H04N5/23216—
Abstract
Description
본 실시예는 피사체의 위치를 추정하여 카메라를 제어하는 방법 및 장치에 관한 것이다.The present embodiment relates to a method and an apparatus for controlling a camera by estimating the position of a subject.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.
일반적으로 온라인 강의를 촬영한 후 단말기로 스트리밍하고자 하는 경우, 삼각대를 설치하여 강의자를 촬영하게 되는데, 강의자가 움직이는 경우 촬영자가 일일이 촬영 각도를 조절해야 하는 번거로움이 있다.Generally, if an online lecture is shot and then streamed to a terminal, a tripod is installed to photograph a lecturer. When the lecturer moves, the photographer has to adjust the photographing angle individually.
따라서, 강의자를 움직임에 따라 동영상을 촬영하기 위해서는 타인이 동영상촬영 각도를 수동으로 조절해야 한다. 또한, 타인이 강의자의 움직임에 따라 동영상을 촬영 각도를 조절하더라도, 촬영시 영상에 흔들림이 발생하므로 촬영을 위한 보조 기구가 반드시 필요하다.Therefore, in order to take a moving picture according to the movement of the lecturer, a person should manually adjust the moving angle of the moving picture. Also, even if a person adjusts the shooting angle of the moving picture according to the movement of the lecturer, an image is shaken at the time of shooting, so an auxiliary mechanism for shooting is necessarily required.
본 실시예는 강의자가 소지한 단말기로부터 센싱 정보(GPS, 가속도, 자이로 등)를 수신하고, 센싱 정보의 변화량에 따라 강의자를 촬영하는 카메라가 초기 설정 정보를 기준으로 촬영 각도를 조절하도록 제어하는 카메라 제어 방법 및 장치를 제공하는 데 목적이 있다.The present embodiment is a camera which receives sensing information (GPS, acceleration, gyro, etc.) from a terminal held by a lecturer and controls a camera that photographs a lecturer according to a change amount of sensing information to adjust a photographing angle based on initial setting information And a control method and apparatus.
본 실시예의 일 측면에 의하면, 단말기로부터 센싱 정보를 수집하고, 복수 개의 카메라로부터 동일한 피사체를 촬영한 비디오 영상을 수집하며, 상기 복수 개의 카메라로부터 카메라 정보를 수집하는 수집부; 상기 센싱 정보의 변화량을 확인하고, 상기 변화량에 근거하여 상기 비디오 영상 내의 상기 피사체가 움직이는지의 여부를 추정한 위치 추정 정보를 생성하는 위치 추정부; 상기 카메라 정보 및 상기 위치 추정 정보를 기반으로 상기 피사체가 화면 중앙에 위치하도록 상기 복수 개의 카메라가 이동하도록 하는 위치 경로를 각각 추정한 이동 경로 추정 정보를 생성하는 이동경로 추정부; 및 상기 이동 경로 추정 정보를 기반으로 상기 복수 개의 카메라 각각을 제어하도록 제어 명령을 생성하는 카메라 제어부를 포함하는 것을 특징으로 하는 카메라 제어 장치를 제공한다.According to an aspect of the present invention, there is provided an information processing apparatus including: a collecting unit collecting sensing information from a terminal, collecting video images obtained by photographing the same subject from a plurality of cameras, and collecting camera information from the plurality of cameras; A position estimating unit which confirms the amount of change of the sensing information and generates position estimation information that estimates whether the subject in the video image moves based on the amount of change; A movement path estimator for generating movement path estimation information each of which estimates a position path for allowing the plurality of cameras to move so that the subject is located at the center of the screen based on the camera information and the position estimation information; And a camera controller for generating a control command to control each of the plurality of cameras based on the movement route estimation information.
또한, 본 실시에의 다른 측면에 의하면, 카메라 제어 장치가 카메라를 제어하는 방법에 있어서, 단말기로부터 센싱 정보를 수집하고, 복수 개의 카메라로부터 동일한 피사체를 촬영한 비디오 영상을 수집하며, 상기 복수 개의 카메라로부터 카메라 정보를 수집하는 과정; 상기 센싱 정보의 변화량을 확인하고, 상기 변화량에 근거하여 상기 비디오 영상 내의 상기 피사체가 움직이는지의 여부를 추정한 위치 추정 정보를 생성하는 과정; 상기 카메라 정보 및 상기 위치 추정 정보를 기반으로 상기 피사체가 화면 중앙에 위치하도록 상기 복수 개의 카메라가 이동하도록 하는 위치 경로를 각각 추정한 이동 경로 추정 정보를 생성하는 과정; 및 상기 이동 경로 추정 정보를 기반으로 상기 복수 개의 카메라 각각을 제어하도록 제어 명령을 생성하는 과정을 포함하는 것을 특징으로 하는 카메라 제어 방법을 제공한다.According to another aspect of the present invention, there is provided a method of controlling a camera by a camera control device, comprising the steps of collecting sensing information from a terminal, collecting video images obtained by photographing the same subject from a plurality of cameras, Collecting camera information from the camera information; Determining a change amount of the sensing information, and generating position estimation information that estimates whether the subject in the video image moves based on the change amount; Generating movement path estimation information that respectively estimates a position path for allowing the plurality of cameras to move so that the subject is located at the center of the screen based on the camera information and the position estimation information; And generating a control command to control each of the plurality of cameras based on the movement path estimation information.
이상에서 설명한 바와 같이 본 실시예에 의하면, 강의자가 소지한 단말기로부터 센싱 정보(GPS, 가속도, 자이로 등)를 수신하고, 센싱 정보의 변화량에 따라 강의자를 촬영하는 카메라가 초기 설정 정보를 기준으로 촬영 각도를 조절하도록 제어하는 효과가 있다.As described above, according to the present embodiment, when a camera that receives sensing information (GPS, acceleration, gyro, etc.) from a terminal held by a lecturer and records a lecture according to the amount of change in sensing information, There is an effect of controlling to adjust the angle.
도 1은 본 실시예에 따른 카메라 제어 장치를 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 위치를 추정하여 카메라를 제어하는 방법을 설명하기 위한 순서도이다.
도 3은 본 실시예에 따른 카메라 제어 시스템 전반을 설명하기 위한 도면이다.
도 4는 본 실시예에 따른 카메라를 설명하기 위한 예시도이다.1 is a block diagram schematically showing a camera control apparatus according to the present embodiment.
2 is a flowchart illustrating a method of controlling a camera by estimating a position according to the present embodiment.
3 is a diagram for explaining the overall camera control system according to the present embodiment.
4 is an exemplary view for explaining a camera according to the present embodiment.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.
도 1은 본 실시예에 따른 카메라 제어 장치를 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically showing a camera control apparatus according to the present embodiment.
본 실시예에 따른 카메라 제어 장치(130)는 수집부(140), 위치 추정부(150), 이동경로 추정부(160) 및 카메라 제어부(170)를 포함한다. 카메라 제어 장치(130)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The
카메라 제어 장치(130)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the
도 1에 도시된 카메라 제어 장치(130)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the
수집부(140)는 네트워크를 경유하여 단말기(110)와 연동하는 기능을 수행하는 통신 수단으로서, 각종 데이터를 송수신하는 기능을 수행한다. 수집부(140)는 단말기(110) 및 카메라(120)로부터 센싱 정보를 수집한다. 다시 말해, 수집부(140)는 단말기(110)에 구비되는 각종 센서(GPS 센서, 가속도 센서, 자이로 센서)로부터 센싱 정보를 수집한다. 수집부(140)는 복수 개의 카메라(120)로부터 동일한 피사체를 촬영한 비디오 영상을 수집한다.The
수집부(140)는 복수 개의 카메라(120)로부터 카메라 정보를 수집한다. 카메라 정보는 카메라 정보로부터 피사체를 촬영하는 시점에 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보를 포함한다. 촬영정보는 화각정보, 초점거리 정보, 확대정보 및 축소정보 중 하나 이상의 정보를 포함한다. 방향정보는 카메라의 요각(Yaw Angle) 정보를 포함한다. 자세정보는 카메라의 롤각(Roll Angle) 정보와 피치각(Pitch Angle) 정보를 포함한다.The
수집부(140)는 센서정보 수집부(142), 영상 수집부(144) 및 카메라 정보 수집부(146)를 포함한다. 센서정보 수집부(142)는 단말기(110)에 구비되는 각종 센서(GPS 센서, 가속도 센서, 자이로 센서)로부터 센싱 정보를 수집한다. 영상 수집부(144)는 복수 개의 카메라(120)로부터 동일한 피사체를 촬영한 비디오 영상을 수집한다. 카메라 정보 수집부(146)는 복수 개의 카메라(120)로부터 카메라 정보를 수집한다.The
위치 추정부(150)는 센서정보 수집부(142)로부터 센싱 정보를 수신한다. 위치 추정부(150)는 영상 수집부(144)로부터 복수 개의 카메라(120)가 동일한 피사체를 촬영한 비디오 영상을 수신한다. 위치 추정부(150)는 카메라 정부 수집부(140)로부터 복수 개의 카메라(120)에 대한 카메라 정보를 수신한다.The
위치 추정부(150)는 센싱 정보의 변화량을 확인한다. 위치 추정부(150)는 확인된 변화량에 근거하여 비디오 영상 내의 피사체가 움직이는지의 여부를 추정한 위치 추정 정보를 생성한다.The
위치 추정부(150)는 센싱 정보 중 기 설정된 초기값을 기준 센싱 정보로 설정한다. 위치 추정부(150)는 비디오 영상 중 기준이 되는 프레임을 기준 프레임으로 설정한다. 위치 추정부(150)는 카메라 정보 중 기준이 되는 정보를 기준 카메라 정보로 설정한다. 위치 추정부(150)는 기준 센싱 정보, 기준 프레임 및 기준 카메라 정보를 매칭하여 초기 설정을 수행한다.The
위치 추정부(150)는 카메라 정보로부터 피사체를 촬영하는 시점에 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보를 획득한다. 위치 추정부(150)는 위치정보, 방향정보, 자세정보 및 촬영정보를 이용하여 비디오 영상에 대한 3차원 공간좌표를 계산한다.The
위치 추정부(150)는 센싱 정보로부터 GPS 센싱 정보, 가속도 센싱 정보 및 자이로 센싱 정보 중 적어도 하나 이상의 센싱 정보를 획득한다. 위치 추정부(150)는 GPS 센싱 정보, 가속도 센싱 정보 및 자이로 센싱 정보 중 적어도 하나의 정보가 기 설정된 임계치를 초과하는 경우, 피사체가 움직인 것으로 확인한다.The
이동경로 추정부(160)는 카메라 정보 및 위치 추정 정보를 기반으로 피사체가 화면 중앙에 위치하도록 복수 개의 카메라가 이동하도록 하는 위치 경로를 각각 추정한 이동 경로 추정 정보를 생성한다.The movement
이동경로 추정부(160)는 비디오 영상에 포함된 각 프레임을 전경과 배경으로 분리한 후 전경의 특징점을 추출한다. 이동경로 추정부(160)는 각 프레임 별로 3차원 공간좌표 중 특정 좌표를 특징점과 매칭시킨다. 이동경로 추정부(160)는 위치 추정 정보에 근거하여 3차원 공간좌표 상에 특징점과 매칭된 피사체가 화면 중앙에 위치하도록 카메라 정보를 변경한 이동 경로 추정 정보를 생성한다.The motion
이동경로 추정부(160)는 GPS 센싱 정보, 가속도 센싱 정보 및 자이로 센싱 정보 중 적어도 하나의 정보에 대응하도록, 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보 중 적어도 하나 이상의 정보가 변경되도록 하는 이동 경로 추정 정보를 생성한다.At least one or more pieces of information such as position information, direction information, orientation information, and photographing information of the camera are changed so as to correspond to at least one of the GPS sensing information, the acceleration sensing information, and the gyro sensing information And generates movement path estimation information.
카메라 제어부(170)는 이동 경로 추정 정보를 기반으로 복수 개의 카메라(120) 각각을 제어하도록 제어 명령을 생성한다. 카메라 제어부(170)는 복수 개의 카메라(120)와 근거리 무선통신(예컨대, 블루투스)으로 제어 명령을 전송할 수 있다. 또한, 카메라 제어부(170)는 복수 개의 카메라(120) 각각을 제어하도록 제어 명령을 단말기(110)로 전송하며, 단말기(110)에 카메라(120)로 복수 개의 카메라(120) 각각을 제어하도록 제어 명령을 전송할 수 있다.The
도 2는 본 실시예에 따른 위치를 추정하여 카메라를 제어하는 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a method of controlling a camera by estimating a position according to the present embodiment.
카메라 제어 장치(130)는 단말기(110) 및 카메라(120)로부터 비디오 영상, 센싱 정보를 수집한다(S210). 단계 S210에서, 카메라 제어 장치(130)는 단말기(110)와 통신하여 단말기(110)에 구비되는 각종 센서(GPS 센서, 가속도 센서, 자이로 센서)로부터 센싱 정보를 수집한다. 카메라 제어 장치(130)와 단말기(110)는 기지국 기반(또는 무선랜 기반)으로 통신하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 블루투스와 같은 근거리 통신도 가능하다. The
카메라 제어 장치(130)는 복수 개의 카메라(120)로부터 동일한 피사체를 촬영한 비디오 영상을 수집한다. 카메라 제어 장치(130)는 복수 개의 카메라(120)로부터 카메라 정보를 수집한다. 카메라 제어 장치(130)와 카메라(120)는 블루투스와 같은 근거리 통신으로 통신하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.The
카메라 정보는 카메라 정보로부터 피사체를 촬영하는 시점에 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보를 포함한다. 촬영정보는 화각정보, 초점거리 정보, 확대정보 및 축소정보 중 하나 이상의 정보를 포함한다. 방향정보는 카메라의 요각 정보를 포함한다. 자세정보는 카메라의 롤각 정보와 피치각 정보를 포함한다.The camera information includes position information, direction information, attitude information, and photographing information of the camera at the time of photographing the subject from the camera information. The photographing information includes at least one of the angle of view information, the focal length information, the magnification information, and the reduction information. The direction information includes yaw angle information of the camera. The attitude information includes roll angle information and pitch angle information of the camera.
카메라 제어 장치(130)는 센싱 정보 중 기 설정된 초기값을 기준 센싱 정보로 설정한다. 카메라 제어 장치(130)는 비디오 영상 중 기준이 되는 프레임을 기준 프레임으로 설정한다. 카메라 제어 장치(130)는 카메라 정보 중 기준이 되는 정보를 기준 카메라 정보로 설정한다. 카메라 제어 장치(130)는 기준 센싱 정보, 기준 프레임 및 기준 카메라 정보를 매칭하여 초기 설정을 수행한다(S220).The
카메라 제어 장치(130)는 수집된 센싱 정보의 변화량을 확인한다. 카메라 제어 장치(130)는 확인된 변화량에 근거하여 비디오 영상 내의 피사체가 움직이는지의 여부를 추정한 위치 추정 정보를 생성한다(S230). 단계 S230에서 카메라 제어 장치(130)는 카메라 정보로부터 피사체를 촬영하는 시점에 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보를 획득한다. 카메라 제어 장치(130)는 위치정보, 방향정보, 자세정보 및 촬영정보를 이용하여 비디오 영상에 대한 3차원 공간좌표를 계산한다.The
카메라 제어 장치(130)는 센싱 정보로부터 GPS 센싱 정보, 가속도 센싱 정보 및 자이로 센싱 정보 중 적어도 하나 이상의 센싱 정보를 획득한다. 카메라 제어 장치(130)는 GPS 센싱 정보, 가속도 센싱 정보 및 자이로 센싱 정보 중 적어도 하나의 정보가 기 설정된 임계치를 초과하는 경우, 피사체가 움직인 것으로 확인한다.The
카메라 제어 장치(130)는 카메라 정보 및 위치 추정 정보를 기반으로 피사체가 화면 중앙에 위치하도록 복수 개의 카메라가 이동하도록 하는 위치 경로를 각각 추정한 이동 경로 추정 정보를 생성한다(S240).The
단계 S240에서 카메라 제어 장치(130)는 비디오 영상에 포함된 각 프레임을 전경과 배경으로 분리한 후 전경의 특징점을 추출한다. 카메라 제어 장치(130)는 각 프레임 별로 3차원 공간좌표 중 특정 좌표를 특징점과 매칭시킨다. 카메라 제어 장치(130)는 위치 추정 정보에 근거하여 3차원 공간좌표 상에 특징점과 매칭된 피사체가 화면 중앙에 위치하도록 카메라 정보를 변경한 이동 경로 추정 정보를 생성한다.In step S240, the
카메라 제어 장치(130)는 GPS 센싱 정보, 가속도 센싱 정보 및 자이로 센싱 정보 중 적어도 하나의 정보에 대응하도록, 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보 중 적어도 하나 이상의 정보가 변경되도록 하는 이동 경로 추정 정보를 생성한다.The
카메라 제어 장치(130)는 이동 경로 추정 정보를 기반으로 복수 개의 카메라(120) 각각을 제어하도록 제어 명령을 생성한다(S250). 단계 S250에서 카메라 제어 장치(130)는 복수 개의 카메라(120)와 근거리 무선통신(예컨대, 블루투스)으로 제어 명령을 전송할 수 있다. 또한, 카메라 제어 장치(130)는 복수 개의 카메라(120) 각각을 제어하도록 제어 명령을 단말기(110)로 전송하며, 단말기(110)에 카메라(120)로 복수 개의 카메라(120) 각각을 제어하도록 제어 명령을 전송할 수 있다.The
도 2에서는 단계 S210 내지 단계 S250을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 2에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.Although it is described in Fig. 2 that steps S210 to S250 are sequentially executed, the present invention is not limited thereto. In other words, Fig. 2 is not limited to the time-series order, as it would be applicable to changing and executing the steps described in Fig. 2 or executing one or more steps in parallel.
전술한 바와 같이 도 2에 기재된 본 실시예에 따른 위치를 추정하여 카메라를 제어하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 위치를 추정하여 카메라를 제어하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the method of estimating the position and controlling the camera according to the embodiment described in FIG. 2 can be implemented by a program and recorded on a computer-readable recording medium. A program for implementing a method of controlling a camera by estimating a position according to the present embodiment is recorded, and a computer-readable recording medium includes all kinds of recording devices for storing data that can be read by a computer system.
도 3은 본 실시예에 따른 카메라 제어 시스템 전반을 설명하기 위한 도면이다.3 is a diagram for explaining the overall camera control system according to the present embodiment.
본 실시예에 따른 단말기(110)는 강의자가 소지한 단말기를 의미한다. 단말기(110)는 사용자의 키 조작에 따라 네트워크()를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. The terminal 110 according to the present embodiment means a terminal carried by a lecturer. The terminal 110 refers to an electronic device that performs voice or data communication via the network in accordance with a key operation of a user.
단말기(110)는 네트워크 또는 공유기를 경유하여 카메라 제어 장치(130)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다. The terminal 110 includes a memory for storing a program or a protocol for communicating with the
단말기(110)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), TV, 미디어 플레이어 등과 같은 전자 기기일 수 있다. The terminal 110 may be a smart phone, a tablet, a laptop, a personal computer (PC), a personal digital assistant (PDA), a game console, a portable multimedia player A portable multimedia player (PSP), a PlayStation Portable (PSP), a wireless communication terminal, a TV, a media player, and the like.
본 실시예에 따른 단말기(110)는 센서부(GPS 센서, 가속도 센서, 자이로 센서 등)를 구비한다. 단말기(110)는 강의자의 움직임에 따른 변화량을 센서부(GPS 센서, 가속도 센서, 자이로 센서 등)를 이용하여 센싱한 센싱 정보를 카메라 제어 장치(130)로 전송한다. 본 실시예에 따른 단말기(110)는 네트워크 기반 또는 무선랜 기반으로 카메라 제어 장치(130)와 통신한다.The terminal 110 according to the present embodiment includes a sensor unit (GPS sensor, acceleration sensor, gyro sensor, etc.). The terminal 110 transmits the sensed information sensed by the sensor unit (GPS sensor, acceleration sensor, gyro sensor, etc.) to the
본 실시예에 따른 카메라(120)는 강의자를 촬영한 비디오 영상을 생성하여 단말기(110) 또는 카메라 제어 장치(130)로 전송한다. 예컨대, 카메라(120)는 단말기(110)와 블루투스로 페어링 되어, 카메라(120)의 모든 정보를 단말기로 전송하면, 단말기(110)가 카메라 제어 장치(130)로 모든 데이터를 전송할 수 있다.The
카메라(120)는 영상을 촬영하기 위한 카메라 모듈, 카메라 정보를 저장하는 저장부, 단말기(110) 또는 카메라 제어 장치(130)와 통신하기 위한 통신 모듈, 카메라 제어 장치(130)로부터 제어 명령에 따라 카메라 자세를 제어하기 위한 모터 등을 구비한다.The
카메라(120)에 저장되는 카메라 정보는 카메라 정보로부터 피사체를 촬영하는 시점에 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보를 포함한다. 촬영정보는 화각정보, 초점거리 정보, 확대정보 및 축소정보 중 하나 이상의 정보를 포함한다. 방향정보는 카메라의 요각 정보를 포함한다. 자세정보는 카메라의 롤각 정보와 피치각 정보를 포함한다.The camera information stored in the
카메라(120)는 카메라 제어 장치(130)로부터 수신된 제어 명령에 따라 요각, 롤각 및 피치각 중 적어도 하나 이상의 각도를 조절하여 이동 경로 추정 정보를 기반으로 피사체를 화면의 중앙으로 오도록 카메라의 자세를 제어한다.The
본 실시예에 따른 카메라 제어 장치(130)는 단말기(110)로부터 센싱 정보를 수집하고, 복수 개의 카메라(120)로부터 동일한 피사체를 촬영한 비디오 영상을 수집하며, 복수 개의 카메라(120)로부터 카메라 정보를 수집한다. 카메라 제어 장치(130)는 수집된 센싱 정보의 변화량을 확인하고, 변화량에 근거하여 비디오 영상 내의 피사체가 움직이는지의 여부를 추정한 위치 추정 정보를 생성한다. 카메라 제어 장치(130)는 카메라 정보 및 위치 추정 정보를 기반으로 피사체가 화면 중앙에 위치하도록 복수 개의 카메라가 이동하도록 하는 위치 경로를 각각 추정한 이동 경로 추정 정보를 생성한다. 카메라 제어 장치(130)는 이동 경로 추정 정보를 기반으로 복수 개의 카메라 각각을 제어하도록 제어 명령을 생성한다.The
도 4는 본 실시예에 따른 카메라를 설명하기 위한 예시도이다.4 is an exemplary view for explaining a camera according to the present embodiment.
도 4에 도시된 바와 같이, 카메라(120)는 요각, 롤각 및 피치각 중 적어도 하나 이상의 각도를 조절한다.As shown in FIG. 4, the
카메라(120)는 카메라 제어 장치(130)로부터 수신된 신호에 근거하여 요각을 제어하는 모터, 롤각을 제어하는 모터, 피치각을 제어하는 모터 중 적어도 하나 이상의 모터를 구동하여 촬영 각도를 조절한다. The
이하, 카메라(120)의 동작 과정에 대해 설명한다. 카메라(120)는 카메라 제어 장치(130)로부터 수신된 신호에 근거하여 ‘요각을 제어하는 모터’를 우측 방향으로 동작시키거나 요각을 제어하는 모터’ 좌측 방향으로 동작시킨다. 또한, 카메라(120)는 카메라 제어 장치(130)로부터 수신된 신호에 근거하여 ‘피치각을 제어하는 모터’를 하측 방향으로 동작시키거나, ‘피치각을 제어하는 모터’를 상측 방향으로 동작시킨다. Hereinafter, the operation of the
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
110: 단말기 120: 카메라
130: 카메라 제어 장치 140: 수집부
150: 위치 추정부 160: 이동경로 추정부
170: 카메라 제어부110: terminal 120: camera
130: camera control device 140:
150: Position estimation unit 160:
170: camera control unit
Claims (8)
동일한 피사체를 촬영한 비디오 영상을 수집하는 복수 개의 카메라
를 포함하고,
상기 복수 개의 카메라로부터 카메라 정보를 수집하는 수집부;
상기 센싱 정보의 변화량을 확인하고, 상기 변화량에 근거하여 상기 비디오 영상 내의 상기 피사체가 움직이는지의 여부를 추정한 위치 추정 정보를 생성하는 위치 추정부;
상기 카메라 정보 및 상기 위치 추정 정보를 기반으로 상기 피사체가 화면 중앙에 위치하도록 상기 복수 개의 카메라가 이동하도록 하는 위치 경로를 각각 추정한 이동 경로 추정 정보를 생성하는 이동경로 추정부; 및
상기 이동 경로 추정 정보를 기반으로 상기 복수 개의 카메라 각각을 제어하도록 제어 명령을 생성하는 카메라 제어부를 포함하는 카메라 제어 장치; 및
상기 단말기, 상기 복수 개의 카메라 및 상기 카메라 제어 장치를 근거리통신으로 연결하는 공유기
를 포함하되,
상기 단말기가 상기 공유기를 통해 상기 카메라 제어 장치에 접속하여 상기 복수 개의 카메라를 각각 제어할 수 있으며,
상기 위치 추정부는 상기 카메라 정보로부터 상기 피사체를 촬영하는 시점에 상기 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보를 획득하며, 상기 위치정보, 상기 방향정보, 상기 자세정보 및 상기 촬영정보를 이용하여 상기 비디오 영상에 대한 3차원 공간좌표를 계산하고,
상기 이동경로 추정부는 상기 비디오 영상에 포함된 각 프레임을 전경과 배경으로 분리한 후 상기 전경의 특징점을 추출하며, 각 프레임 별로 상기 3차원 공간좌표 중 특정 좌표를 상기 특징점과 매칭시키며, 상기 위치 추정 정보에 근거하여 상기 3차원 공간좌표 상에 상기 특징점과 매칭된 상기 피사체가 화면 중앙에 위치하도록 상기 카메라 정보를 변경한 상기 이동 경로 추정 정보를 생성하는 것
을 특징으로 하는 카메라 제어 시스템.A sensing unit for sensing at least one of sensing information including GPS sensing information, acceleration sensing information, and gyro sensing information;
A plurality of cameras for collecting video images of the same subject
Lt; / RTI >
A collecting unit for collecting camera information from the plurality of cameras;
A position estimating unit which confirms the amount of change of the sensing information and generates position estimation information that estimates whether the subject in the video image moves based on the amount of change;
A movement path estimator for generating movement path estimation information each of which estimates a position path for allowing the plurality of cameras to move so that the subject is located at the center of the screen based on the camera information and the position estimation information; And
A camera controller for generating a control command to control each of the plurality of cameras based on the movement path estimation information; And
A router for connecting the terminal, the plurality of cameras, and the camera control device by short-
, ≪ / RTI &
The terminal can access the camera control device through the router to control the plurality of cameras,
The position estimating unit obtains position information, direction information, attitude information, and photographing information of the camera at the time of photographing the subject from the camera information, and uses the position information, the direction information, the attitude information, Dimensional space coordinates of the video image,
Wherein the moving path estimation unit extracts feature points of the foreground after separating each frame included in the video image into foreground and background, and matches specific coordinates of the three-dimensional space coordinates with each of the feature points, And generating the moving route estimation information in which the camera information is changed so that the subject matched with the minutiae on the three-dimensional space coordinate is located at the center of the screen
The camera control system comprising:
상기 위치 추정부는,
상기 센싱 정보 중 기 설정된 초기값을 기준 센싱 정보로 설정하고, 상기 비디오 영상 중 기준이 되는 프레임을 기준 프레임으로 설정하고, 상기 카메라 정보 중 기준이 되는 정보를 기준 카메라 정보로 설정한 후 상기 기준 센싱 정보, 상기 기준 프레임 및 상기 기준 카메라 정보를 매칭하여 초기 설정을 수행하는 것을 특징으로 하는 카메라 제어 시스템.The method according to claim 1,
The position estimating unit may calculate,
Setting a preset initial value of the sensing information as reference sensing information, setting a reference frame as a reference frame among the video images, setting information as a reference among the camera information as reference camera information, The reference frame, and the reference camera information to perform initial setting.
상기 촬영정보는 화각정보, 초점거리 정보, 확대정보 및 축소정보 중 하나 이상의 정보를 포함하며,
상기 방향정보는 상기 카메라의 요각(Yaw Angle) 정보를 포함하며,
상기 자세정보는 상기 카메라의 롤각(Roll Angle) 정보와 피치각(Pitch Angle) 정보를 포함하는 것을 특징으로 하는 카메라 제어 시스템.The method according to claim 1,
Wherein the photographing information includes at least one of image angle information, focal length information, enlargement information, and reduction information,
The direction information includes yaw angle information of the camera,
Wherein the attitude information includes roll angle information and pitch angle information of the camera.
상기 위치 추정부는,
상기 센싱 정보로부터 GPS 센싱 정보, 가속도 센싱 정보 및 자이로 센싱 정보 중 적어도 하나 이상의 센싱 정보를 획득하며, 상기 GPS 센싱 정보, 상기 가속도 센싱 정보 및 상기 자이로 센싱 정보 중 적어도 하나의 정보가 기 설정된 임계치를 초과하는 경우,
상기 GPS 센싱 정보, 상기 가속도 센싱 정보 및 상기 자이로 센싱 정보 중 적어도 하나의 정보에 대응하도록, 상기 카메라의 위치 정보, 방향 정보, 자세 정보 및 촬영 정보 중 적어도 하나 이상의 정보가 변경되도록 하는 상기 이동 경로 추정 정보를 생성하는 것을 특징으로 하는 카메라 제어 시스템.
The method according to claim 1,
The position estimating unit may calculate,
Wherein at least one of the GPS sensing information, the acceleration sensing information, and the gyro sensing information is acquired from the sensing information, and at least one of the GPS sensing information, the acceleration sensing information, and the gyro sensing information exceeds a preset threshold value If so,
Wherein at least one of the position information, direction information, attitude information, and photographing information of the camera is changed so as to correspond to at least one of the GPS sensing information, the acceleration sensing information, and the gyro sensing information, Wherein the camera control system generates the information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160038776A KR101763307B1 (en) | 2016-03-30 | 2016-03-30 | System for Controlling Camera Using Mobile Device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160038776A KR101763307B1 (en) | 2016-03-30 | 2016-03-30 | System for Controlling Camera Using Mobile Device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101763307B1 true KR101763307B1 (en) | 2017-08-04 |
Family
ID=59654586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160038776A KR101763307B1 (en) | 2016-03-30 | 2016-03-30 | System for Controlling Camera Using Mobile Device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101763307B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000083246A (en) * | 1998-09-04 | 2000-03-21 | Canon Inc | Camera control system, camera control method, and recording medium stored with program to execute processing thereof |
JP2014095553A (en) * | 2012-11-07 | 2014-05-22 | Nippon Telegr & Teleph Corp <Ntt> | Camera pause estimation device and camera pause estimation program |
JP2015109641A (en) * | 2013-11-29 | 2015-06-11 | アクシス アーベー | System for following object marked by tag device with camera |
-
2016
- 2016-03-30 KR KR1020160038776A patent/KR101763307B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000083246A (en) * | 1998-09-04 | 2000-03-21 | Canon Inc | Camera control system, camera control method, and recording medium stored with program to execute processing thereof |
JP2014095553A (en) * | 2012-11-07 | 2014-05-22 | Nippon Telegr & Teleph Corp <Ntt> | Camera pause estimation device and camera pause estimation program |
JP2015109641A (en) * | 2013-11-29 | 2015-06-11 | アクシス アーベー | System for following object marked by tag device with camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106598071B (en) | Flight control method and device, the unmanned plane of trailing type | |
JP5659305B2 (en) | Image generating apparatus and image generating method | |
JP5659304B2 (en) | Image generating apparatus and image generating method | |
US11210796B2 (en) | Imaging method and imaging control apparatus | |
JP5769813B2 (en) | Image generating apparatus and image generating method | |
CN107770452B (en) | Photographing method, terminal and related medium product | |
JP5865388B2 (en) | Image generating apparatus and image generating method | |
CN110785993A (en) | Control method and device of shooting equipment, equipment and storage medium | |
CN111355884B (en) | Monitoring method, device, system, electronic equipment and storage medium | |
WO2020020134A1 (en) | Photographing method and mobile terminal | |
TW201011696A (en) | Information registering device for detection, target sensing device, electronic equipment, control method of information registering device for detection, control method of target sensing device, information registering device for detection control progr | |
CN105141942B (en) | 3D rendering synthetic method and device | |
WO2019227333A1 (en) | Group photograph photographing method and apparatus | |
CN112119627A (en) | Target following method and device based on holder, holder and computer storage medium | |
WO2015154359A1 (en) | Method and device for implementing photographing | |
CN109922253A (en) | Camera lens anti-fluttering method and device, mobile device | |
CN112188105A (en) | Tracking shooting method and device, intelligent device and computer readable storage medium | |
CN111213365A (en) | Shooting control method and controller | |
CN111416935A (en) | Shooting method and electronic equipment | |
WO2018121794A1 (en) | Control method, electronic device and storage medium | |
CN110036411B (en) | Apparatus and method for generating electronic three-dimensional roaming environment | |
US8665317B2 (en) | Imaging apparatus, imaging method and recording medium | |
KR101677699B1 (en) | Camera module and mobile phone comprising it | |
KR101763307B1 (en) | System for Controlling Camera Using Mobile Device | |
JP2013149034A (en) | Image display apparatus, image display method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |