KR102013423B1 - 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템 - Google Patents

오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템 Download PDF

Info

Publication number
KR102013423B1
KR102013423B1 KR1020180060240A KR20180060240A KR102013423B1 KR 102013423 B1 KR102013423 B1 KR 102013423B1 KR 1020180060240 A KR1020180060240 A KR 1020180060240A KR 20180060240 A KR20180060240 A KR 20180060240A KR 102013423 B1 KR102013423 B1 KR 102013423B1
Authority
KR
South Korea
Prior art keywords
image
drone
zoom camera
camera
controller
Prior art date
Application number
KR1020180060240A
Other languages
English (en)
Inventor
정창수
이운하
Original Assignee
옵토로직스주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옵토로직스주식회사 filed Critical 옵토로직스주식회사
Priority to KR1020180060240A priority Critical patent/KR102013423B1/ko
Application granted granted Critical
Publication of KR102013423B1 publication Critical patent/KR102013423B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H04N5/23267—
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 오토 포커스(AF : Auto Focus) 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템에 관한 것으로, 그 구성은 드론조종기로부터 전송되는 무선 방향성 데이터를 카메라 내부에 알고리즘으로 탑재하여 드론의 일측에 연결되거나 드론 내부에 실장 또는 장착되는 줌 카메라를 통해 직접 수신하여 3축 자이로센서를 통해 초기 비행시 캘리브레이션 절차를 진행하고 카메라가 향하는 방향을 기준으로 초기 드론의 방향위치가 동작되도록 결정하여 수신된 데이터를 입력받아 오토 포커싱을 통해 촬상된 영상에 이미지를 안정화시키도록 동작하는 것을 특징으로 한다.
이에 따라, 본 발명은 드론을 이용하여 영상 촬영시 드론 내 실장된 줌 카메라에 이미지 안정기 기능을 카메라 내부에 알고리즘으로 탑재하여 짐벌장치 없이 드론의 움직임만 가지고 직접 영상을 촬영하고 영상에 이미지를 안정화시킬 수 있어 짐벌 동작을 위한 부가적인 조종기가 필요없어 장치 구비에 따른 비용을 절감할 수 있는 효과를 제공한다.

Description

오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템{A Drone system contained zoom camera using data extracted method for auto focus}
본 발명은 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템에 관한 것으로, 보다 구체적으로는, 드론을 이용하여 영상 촬영시 드론 내 실장된 줌 카메라에 이미지 안정기 기능을 카메라 내부에 알고리즘으로 탑재하여 짐벌없이 드론의 움직임만 가지고 직접 영상을 촬영하고 영상에 이미지를 안정화시킬 수 있는 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템에 관한 것이다.
또한, 본 발명은 드론조종기로부터 전송되는 무선 방향성 데이터를 드론 내 줌 카메라에 직접 수신되도록 하여 줌 카메라 자체에 구비된 3축 자이로센서를 통해 초기 비행시 캘리브레이션 절차를 커친 후 드론은 카메라가 향하는 방향을 기준으로 초기 방향위치를 결정하고 동작시켜 데이터를 입력받아 줌 카메라만 가지로 촬상되는 영상에 이미지를 안정화시킬 수 있는 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템에 관한 것이다.
드론은 조종사가 탑승하지 않고 무선전파 유도에 의해 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 무인비행기(UAV : Unmanned aerial vehicle)의 총칭으로, 2010년대를 전후하여 군사적 용도 외 다양한 민간 분야에 활용되고 있다.
드론은 앞뒤 프로펠러의 회전을 반대로 하여 프로펠러 회전에 의해 발생하는 반작용을 상쇄시키는 것을 기본 원리로서 작은 복수 개의 프로펠러를 이용하여 양력을 얻고, 각각의 프로펠러로부터 발생하는 양력을 조절하여 전진 및 후진과 방향 전환을 한다. 이러한 드론에는 카메라 센서를 설치하여 주변의 영상정보를 다양한 무선통신망(이동통신망 포함)을 통해 지상에서 모바일 디바이스(스마트폰 포함) 혹은 디스플레이를 부착한 원격조종장치로 확인하도록 되어 있다.
드론은 크기별, 고도별, 운용목적별로 분류 가능하다. 드론의 크기에 따라서 무게 25g의 초소형 드론에서부터 무게 1만 2천Kg에 40시간 이상의 체공성능을 지닌 드론까지 다양하다. 고도에 따른 구분으로는 고고도, 중고도, 저고도로 구분되고, 고고도는 10Km 이상, 중고도는 3~10Km, 저고도는 3Km 이하로 구분된다. 또한, 운용목적에 따른 구분으로는 정찰용, 전투용, 전자전용, 통신중계용 등으로 구분된다.
드론은 군사용무인기 개발 시작되었으며, 가격하락, 소형화, 이동성 강화 등으로 상업적 사용이 확대되고 있으며, 기존의 교통수단과 차별화되면서 수요 증가되고 있는 추세이고, 의학분야에서는 응급환자 탐지 및 수송용 등으로 활용되고 있으며, 기상분야에서는 기상관측 및 태풍 등 기상변화 실시간 감시를 위해 활용되고 있으며, 과학분야에서는 멸종동물의 지역적 분포 및 이동경로 확인, 지리적 특성 파악 및 정밀한 지도제작에 활용되고 있으며, 예술분야에서는 영화 및 방송 등의 다양한 촬영 활용되고 있으며, 정유분야에서는 송유관 파손 점검, 해상석유시설관리에 활용되는 등 다양한 분야에서 드론 도입이 확대되고있는 실정이다.
한편, 고성능 드론은 첨부된 도 1에 도시된 바와 같이 카메라의 방향을 원격 제어하는 짐벌(Gimbal) 기구를 설치하여 비행에 따른 카메라 떨림 방지 및 원하는 방향으로 카메라를 회전시켜 영상 촬영이 되지만, 3축 짐벌(Image stablizer)이 카메라 방향을 제어하기 위해 각 모터 축(x,y,z)별, radious(회전각도) 값을 3축 짐벌 controller, 각 짐벌 모터 쪽으로 입력시켜서 조정하기 위하여 별도의 짐벌 조종기가 필요한 것이 현실이다.
즉, 고성능 드론의 경우 드론을 조정하기 위한 드론 조종기, 드론에 장착된 짐벌(Gimbal)을 조정하기 위한 짐벌 조종기를 별도로 구비하여야 하며, 이를 조종을 위해 두명의 조종자가 필요하며 해당 드론을 구동하고 있다.
따라서, 본 출원인은 종래의 드론에서 사용하는 기계적인 Image stabilezer인 3축 짐벌 시스템과 달리 짐벌 없이 드론의 움직임만 가지고 줌 카메라(zoom camera)가 내장되어 영상에 이미지(image)를 안정화시키고 드론의 움직임만으로 영상 촬영 및 드론을 동작하는 방식을 제시하고자 한다.
1. 단일 카메라가 장착된 드론을 이용한 추적 객체 위치 판별 방법(Distance measurement of objects from droned with a monocular camera and GPS location data)(특허등록번호 제10-1614654호) 2. 드론을 이용한 가상현실 촬영용 카메라 짐벌(Virtual reality shooting camera gimbal with drones)(특허출원번호 제10-2016-0023044호) 3. 스테레오 비전을 이용한 탐색장치를 포함하는 유도 비행체 및 이의 표적 추적 방법(GUIDED FLIGHT OBJECT HAVING DETECTION APPARATUS USING STEREO VISION)(특허등록번호 제10-1494395호)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 드론을 이용하여 영상 촬영시 드론 내 실장된 줌 카메라에 이미지 안정기 기능을 카메라 내부에 알고리즘으로 탑재하여 짐벌없이 드론의 움직임만 가지고 직접 영상을 촬영하고 영상에 이미지를 안정화시킬 수 있는 오토 포커스(AF : Auto Focus) 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템을 제공하기 위한 것이다.
또한, 본 발명은 드론조종기로부터 전송되는 무선 방향성 데이터를 드론 내 줌 카메라에 직접 수신되도록 하여 줌 카메라 자체에 구비된 3축 자이로센서를 통해 초기 비행시 캘리브레이션 절차를 커친 후 드론은 카메라가 향하는 방향을 기준으로 초기 방향위치를 결정하고 동작시켜 데이터를 입력받아 줌 카메라만 가지로 촬상되는 영상에 이미지를 안정화시킬 수 있는 오토 포커스(AF : Auto Focus) 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템은 드론조종기로부터 전송되는 무선 방향성 데이터를 카메라 내부에 알고리즘으로 탑재하여 드론의 일측에 연결되거나 드론 내부에 실장 또는 장착되는 줌 카메라를 통해 직접 수신하여 3축 자이로센서를 통해 초기 비행시 캘리브레이션 절차를 진행하고 카메라가 향하는 방향을 기준으로 초기 드론의 방향위치가 동작되도록 결정하여 수신된 데이터를 입력받아 오토 포커싱을 통해 촬상된 영상에 이미지를 안정화시키도록 동작하는 것을 특징으로 한다.
이때, 본 발명의 부가적인 특징에 따르면, 상기 줌 카메라는 드론조종기로부터 발신되는 방향성 데이터를 수신하여 데이터를 연산 또는 환산하여 look up table화 한 후, DIS(Digital Image Stablizer) 기능을 수행하고, 드론이 정지 상태에서 영상을 촬영할 때 줌 카메라의 영상을 center base에서 영상이 처리되도록 하고, 정지상태에서 다시 움직일때 속도에 대해 영상 이미지 안정 기능을 동적으로 전환시키고 영상 안정화 모드를 속도에 대해 look up table화 되도록 동작되는 것을 특징으로 한다.
이때, 본 발명의 부가적인 특징에 따르면, 상기 줌 카메라는 드론의 이미지 안정기(image stablizer) 기능 수행을 위해 저장부에 저장된 알고리즘을 통해 드론조종기로부터 전송되는 무선 방향성 데이터를 수신부를 통해 직접 수신하여 자이로센서부를 통해 초기 비행시 캘리브레이션 절차를 커친 후 카메라가 향하는 방향을 기준으로 초기 드론의 방향위치를 결정하고 드론의 움직임만 가지고 직접 영상을 촬영하고 방향성 데이터를 연산하여 오토 포커싱에 따라 촬상된 영상에 이미지를 안정화가 되도록 줌 카메라의 구동에 따른 신호를 제어하는 제어부, 수신부를 통해 전송되는 방향성 데이터를 기초로 초기 비행시 캘리브레션 공정을 거친후 드론의 줌 카메라가 향하는 방향으로 초기 방향 위치를 결정하고 드론조종기로부터 전송되는 방향성 데이터를 근거로 동적으로 정지상태에서 촬상 또는 정지후 이동시 동작에 따른 기능을 수행하는 자이로센서부, 수신부를 통해 수신되는 방향성 데이터를 수신하여 공간영상인 x축값과 Y축 값은 현재 이동방향에 대한 데이터를 확률값을 구하고, 현재 이동중일 때 최적의 영상을 연산하고 look up table화 한후, Digital Image Stablezier(DIS) 기능으로 사용되도록 하는 연산부, 줌 카메라의 이미지 안정기(image stablizer) 기능 수행을 위해 알고리즘으로 탑재하여 동작하며, 드론의 진행의 진행 방향과 속도에 따라 줌모드와 Focus모드를 동적으로 연결 동작, 드론의 구동에 따라 zoom 모드 동작, 호버링 상태에서 줌모드 동작 또는 드론의 움직임 방향에 따라 zoom 렌즈의 이동, Focus Lens의 이동으로 세분화하여 동작되도록 해당 구동 알고리즘이 저장되는 저장부 및 드론조종기로부터 전송되는 데이터를 기초로 저장부에 저장된 세분화된 동작을 기초로 자이로센서부를 통해 초기 비행전에 calibration 공정을 통해서 확보된 기준점에 대해 드론조종기로부터 들어오는 방향성 데이터를 근거로 동적기능을 수행하는 구동부를 더 포함하여 구성되는 것을 특징으로 한다.
이때, 본 발명의 부가적인 특징에 따르면, 상기 구동부는 드론이 (호버링)정지 상태에서 영상을 촬영할 때 이미지 영상을 center base에서 영상을 실시간 처리하고, 드론이 정지한 상태에서 다시 움직일때 속도에 의해서 영상 image stablizer 기능을 동적으로 전환시키고, 영상 안정화 모드를 속도에 의해서 세밀하게 look up table화 하여 상기 저장부에 저장되도록 하고, 짐벌없이 줌 카메라만 가지고도 영상에 image를 안정화시키도록 촬상된 영상을 처리하는데, 이는 줌 카메라의 포커스 렌즈를 통해 입사한 피사체의 영상 정보를 필터 함수와 컨볼루션하여 얻은 출력값을 AF(Auto Focus) 평가값으로 정하고, 이들 AF 평가값을 비교하여 이 중 가장 큰 값을 갖는 경사값을 포커스 렌즈 모터의 스텝 위치별 최적의 AF Gain 이라 정하고, 이를 오토 포커싱을 위한 최적의 위치로 선택하여 포커스 렌즈 모터를 제어하여 동작되는 신호처리부를 더 포함하여 구성되는 것을 특징으로 한다.
본 발명의 실시예에 따른 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템은, 드론을 이용하여 영상 촬영시 드론 내 실장된 줌 카메라에 이미지 안정기 기능을 카메라 내부에 알고리즘으로 탑재하여 짐벌장치 없이 드론의 움직임만 가지고 직접 영상을 촬영하고 영상에 이미지를 안정화시킬 수 있어 짐벌 동작을 위한 부가적인 조종기가 필요없어 장치 구비에 따른 비용을 절감할 수 있다.
또한, 본 발명에 따른 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템은 드론조종기로부터 전송되는 무선 방향성 데이터를 드론 내 줌 카메라에 직접 수신되도록 하여 줌 카메라 자체에 구비된 3축 자이로센서를 통해 초기 비행시 캘리브레이션 절차를 커친 후 드론은 카메라가 향하는 방향을 기준으로 초기 방향위치를 결정하고 동작시켜 데이터를 입력받아 줌 카메라만 가지로 영상을 촬상할 수 있어 장치 구동에 따른 편의성을 제공한다.
도 1은 종래의 짐벌 및 짐벌이 장착된 드론의 상태도
도 2는 본 발명에 따른 줌 카메라가 구비된 드론 시스템 구성도
도 3은 도 2에 따른 줌 카메라가 구비된 드론 시스템의 단면도
도 4는 도 2에 따른 줌 카메라가 구비된 드론 시스템의 내부 구성을 도시한 블록도
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 2는 본 발명에 따른 줌 카메라가 구비된 드론 시스템 구성도이고, 도 3은 도 2에 따른 줌 카메라가 구비된 드론 시스템의 단면도를 나타내는데, 본 발명에 따른 줌 카메라가 구비된 드론 시스템은 다양한 타입의 드론(drone)에 적용가능하며, 통상적인 경우와 마찬가지로 드론 몸체 및 드론 날개(100)를 구비하고, 드론 몸체 일측에 드론조종기(C)에서 전송되는 무선 신호를 수신하여 영상을 촬영할 수 있는 줌 카메라(200)가 구비된다.
상기 줌 카메라(200)는 드론의 일측에 연결되거나 드론 내부에 실장 장착되어 이미지 안정기(image stablizer) 기능을 카메라 내부에 알고리즘으로 탑재하여 드론의 움직임만 가지고 직접 영상을 촬영하고 오토 포커싱에 따라 촬상된 영상에 이미지를 안정화시킬 수 있도록 동작한다.
또한, 상기 줌 카메라(200)는 드론조종기로부터 전송되는 무선 방향성 데이터를 카메라의 수신부를 통해 직접 수신하여 3축 자이로센서부를 통해 초기 비행시 캘리브레이션 절차를 커친 후 카메라가 향하는 방향을 기준으로 초기 드론의 방향위치를 결정하고 동작시켜 수신된 데이터를 입력받아 촬상한 영상에 신호처리부를 통해 이미지를 안정화시키도록 구동한다.
또한, 상기 줌 카메라(200)는 드론조종기로부터 발신되는 방향성 데이터를 수신하여 데이터를 연산 또는 환산하여 look up table화 한 후, DIS(Digital Image Stablizer) 기능을 수행하는데, 드론이 정지 상태에서 영상을 촬영할 때 영상을 center base에서 영상이 처리되도록 하고, 정지상태에서 다시 움직일때 속도에 대해 영상 이미지 안정 기능을 동적으로 전환시키고 영상 안정화 모드를 속도에 대해 look up table화 되도록 한다.
도 4는 도 2에 따른 오토 포커스 기능을 하는 드론 시스템의 줌 카메라의 내부 구성을 도시한 블록도로서, 줌 카메라(200)는 크게 제어부(210), 수신부(220), 자이로센서부(230), 연산부(240), 저장부(250), 신호처리부(260) 및 구동부(270)를 포함하여 구성된다. 이하, 첨부된 도 2 내지 4를 참조하여 본 발명에 따른 오토 포커스 기능을 구비한 줌 카메라의 세부구성 및 동작을 살펴보면, 먼저, 상기 제어부(210)는 드론조종기로부터 전송되는 무선 방향성 데이터를 카메라의 수신부(220)를 통해 수신되도록 하여 3축 자이로센서부(230)를 통해 초기 비행시 캘리브레이션 절차를 커친 후 카메라가 향하는 방향을 기준으로 초기 드론의 방향위치를 결정하고 동작이 되도록 수신된 데이터를 입력받아 촬상한 영상에 신호처리부를 통해 이미지를 안정화시키도록 줌 카메라(200)의 제반적인 동작을 제어한다.
또한, 상기 제어부(210)는 드론의 이미지 안정기(image stablizer) 기능 수행을 위해 저장부(250)에 저장된 알고리즘을 통해 드론조종기로부터 전송되는 무선 방향성 데이터를 수신부(220)를 통해 직접 수신하여 드론의 움직임만 가지고 직접 영상을 촬영하고 방향성 데이터를 연산하여 오토 포커싱에 따라 촬상된 영상에 이미지를 안정화가 되도록 줌 카메라(200)의 구동에 따른 신호를 제어한다.
상기 수신부(220)는 상기 제어부(210)의 제어신호에 반응하여 카메라 방향을 제어하기 위하여 상기 드론조종기로부터 전송되는 줌 카메라의 방향성 데이터를 직접 수신한다. 한편 상기 방향성 데이터는 줌 카메라(200)의 방향을 제어하기 위해 각 축(x,y,z)별 raidus값을 영상 안정화, Focus 및 Auto Focus 동작의 전체 프로세스 공정으로 사용하기 위한 입력데이타로서, 초점을 유지하고, 초점을 잡으며, 왜란(distorsion)에 대한 영상 이미지 떨림 안정화를 위한 통합시켜서 사용하는 데이터이다.
상기 자이로센서부(230)는 상기 제어부(210)의 제어신호에 따라 상기 수신부(220)을 통해 전송되는 방향성 데이터를 기초로 초기 비행시 캘리브레션(calibraion) 공정을 거친후 드론의 줌 카메라가 향하는 방향으로 초기 방향 위치를 결정하고 구동시켜 추가적인 데이터를 수신부(220)를 통해 수신되도록 한다.
즉, 상기 자이로센서부(230)는 카메라 내부에 구비된 센서로서 초기 비행전에 캘리브레이션(calibration) 공정을 통해 기준점을 확보하는데, 이는 드론조종기로부터 전송되는 방향성 데이터를 근거로 동적으로 정지상태에서 촬상 또는 정지후 이동시 동작에 따른 기능을 수행할 수 있도록 한다.
상기 연산부(240)는 상기 제어부(210)의 제어신호에 따라 수신부(220)를 통해 수신되는 방향성 데이터를 수신하여 연산 또는 환산하고 look up table화 한후, Digital Image Stablezier(DIS) 기능으로 사용되도록 한다.
즉, 상기 연산부(240)는 공간영상인 x축값과 Y축 값은 현재 이동방향에 대한 데이터를 확률값을 구하고, 현재 이동중일 때 최적의 자연스러운 영상을 연산하는데, 이는 입력 방향 데이터를 수치해석하고, Digital Image Stablizer 기능을 동적으로 전환시키는데, 방향 데이터, 개수, 변화량 기타, 필요한 모든 변수를 추출해 내서 threshold값을 계속 전환시켜서 사용한다.
상기 저장부(250)는 줌 카메라(200)의 이미지 안정기(image stablizer) 기능 수행을 위해 알고리즘으로 탑재하여 동작하며, 드론의 진행의 진행 방향과 속도에 따라 줌모드와 Focus모드를 동적으로 연결 동작, 드론의 구동에 따라 zoom 모드를 동작, 호버링 상태에서 줌모드 동작 또는 드론의 움직임 방향에 따라 zoom 렌즈의 이동, Focus Lens의 이동을 세분화하여 동작되도록 해당 구동 알고리즘이 저장된다.
상기 구동부(270)는 상기 제어부(210)의 제어신호에 반응하여 드론조종기로부터 전송되는 데이터를 기초로 상기 저장부(260)에 저장된 세분화된 동작을 구동하는 것으로서, 먼저, 상기 자이로센서부(230)를 통해 초기 비행전에 calibration 공정을 통해서 확보된 기준점에 대해 드론조종기로부터 들어오는 방향성 데이터를 근거로 동적기능을 수행한다.
즉, 상기 구동부(270)는 드론이 (호버링)정지 상태에서 영상을 촬영할 때 이미지 영상을 center base에서 영상을 실시간 처리하고, 드론이 정지한 상태에서 다시 움직일때 속도에 의해서 영상 image stablizer 기능을 동적으로 전환시키고, 영상 안정화 모드를 속도에 의해서 세밀하게 look up table화 하여 상기 저장부(260)에 저장한다.
보다 세부적으로 상기 구동부(270)는 드론에서는 일반적인 줌카메라의 거리별 Object에 대한 Focus 렌즈 이동 데이타를 Infinite로 고정하고, 지근 거리가 무한대(Infinite)로 고정한 상태에서 줌 렌즈 이동별 Infinite 형태로 Foscus Lens를 이동시키고, Infinite 상태에서 영상 포커스를 잡을 경우에 Focus Lens를 이동시키기 위한 micro step 모터 이동거리가 줄어들게 된다. 즉, 영상 포커스를 잡기 위한 시간이 줌거리 별에 따라 object가 존재하는 거리별에 따라 팩토리얼 값으로 줄어들게 된다. 따라서, 사용자는 Auto Focus를 진행 여부를 인지하지 못할 정도로 카메라가 Focus를 잡는 일련의 Process가 짧아지게 된다.
상기 신호처리부(260)는 상기 제어부(210)의 제어신호에 짐벌없이 줌 카메라(200)만 가지고도 영상에 image를 안정화시키도록 촬상된 영상을 처리하는데, 이는 줌 카메라(200)의 포커스 렌즈를 통해 입사한 피사체의 영상 정보를 필터 함수와 컨볼루션하여 얻은 출력값을 AF(Auto Focus) 평가값으로 정하고, 이들 AF 평가값을 비교하여 이 중 가장 큰 값을 갖는 경사값을 포커스 렌즈 모터의 스텝 위치별 최적의 AF Gain 이라 정하고, 이를 오토 포커싱을 위한 최적의 위치로 선택하여 포커스 렌즈 모터를 제어한다.
보다 세부적으로 상기 신호처리부(260)는 포커스 평가값은 다음과 같은 컨볼루션 알고리즘을 응용하여 구현될 수 있다.
[수학식 1]
여기서, x[n]은 유한 임펄스 응답(FIR) 필터에 입력되는 입력값이며, y[n]은 출력값이다.
[수학식 1]은 임의의 디지털 신호 x[n]이 선형 시불변 시스템인 FIR 필터에 입력되어 원하는 출력 y[n]을 만드는 과정인 일반적인 컨볼루션 입출력 알고리즘을 나타낸다.
여기에서 y[n] 값이 일정한 순서대로 들어오는 x[n]에 대한 출력 y[n]이 실제 오토 포커스 데이터로 가정했을 때 가장 빠르게 모터를 이동시키며 최대 오토포커스 게인(Gain) 즉 출력 y[n] 값을 가질 수 있는 컨볼루션 알고리즘을 적용할 수 있다.
[수학식 2]
여기서, x[n]은 입력값, y[n]은 출력값, h[k]는 FIR 필터의 함수값이며, n은 입력값의 스텝별 위치값이고, M은 FIR 필터의 스텝별 길이(포커스 모터 스텝의 위치별 AF Gain)이다.
[수학식 1]의 일반적인 컨볼루션 입출력 알고리즘에 FIR 필터 함수 h[n]과의 관계에서 출력값 y[n]은 [수학식 2]와 같이 정의될 수 있다.
[수학식 2]에서 선형시 불변 시스템에 입력되는 신호가 어떤 신호를 출력하는지 결정해주고, 이를 반대로 해석하면 현재 시스템에서 출력되는 신호를 결정하기 위해서는 제안하는 필터 제어 알고리즘을 적용하여 원하는 신호를 얻을 수 있다.
상기 신호처리부(260)는 입력값 x[n]에 컨볼루션 함수 h[n]를 컨볼루션하여 출력값 y[n]를 생성하며, 출력값 y[n]은 각 스텝별 입력값의 기울기(Gradient) 값을 의미하고, 각 스텝별로 출력된 y[n]의 절대값은 비교되어 전체 스텝에서 기울기의 최대값을 나타내는 스텝 위치를 산정하고, 이를 전달하여 모터를 구동한다.
여기서, [수학식 2]에 의해 생성된 y[n]은 [수학식 3]를 만족하여야 한다.
[수학식 3]
y[n] = a
여기서, a는 최소값 양의정수 5 내지 최대값 양의정수 30이며, 경사값(gradient differential offset)을 의미한다.
즉, 필터 알고리즘인 [수학식 2]를 적용하여 컨볼루션 알고리즘에 의해 추출된 데이터가 기울기 경사값인 5 보다는 크고 30 보다는 작아야 오토 포커싱의 위치로서 최적 위치로 선정될 수 있다.
한편, 본 발명의 영상의 이미지를 촬영하고 해당 영상 이미지를 안정화시키는 오토 포커스 데이터 추출방법에 대한 알고리즘을 시각장애인의 실생활 또는 업무 환경에 적용한 video magnifier에 적용할 수 있다.
즉, 거리별 Object에 대한 Focus 데이터를 Infinite로 고정하고, 지근 거리가 무한대(Infinite)로 고정한 상태에서 이동 별 Infinite 형태로 이동하고, Infinite 상태에서 영상 포커스를 잡을 경우에 영상 포커스를 잡기 위한 거리별에 따라 object가 존재하는 팩토리얼 값으로 줄이고, 이 영상 이미지를 안정화시키기 위해 입사한 피사체의 영상 정보를 필터 함수와 컨볼루션하여 얻은 출력값을 AF(Auto Focus) 평가값으로 정하고, 이들 AF 평가값을 비교하여 이 중 가장 큰 값을 갖는 경사값을 최적의 AF Gain 이라 정하고, 이를 오토 포커싱을 위한 최적의 위치로 선택하여 포커스를 제어할 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
D : 드론
100 : 드론 날개
200 : 줌 카메라
210 : 제어부 220 : 수신부
230 : 자이로센서부 240 : 연산부
250 : 저장부 260 : 신호처리부
270 : 구동부

Claims (4)

  1. 드론조종기로부터 전송되는 무선 방향성 데이터를 카메라 내부에 알고리즘으로 탑재하여 드론의 일측에 연결되거나 드론 내부에 실장 또는 장착되는 줌 카메라(200)를 통해 직접 수신하여 3축 자이로센서를 통해 초기 비행시 캘리브레이션 절차를 진행하고 카메라가 향하는 방향을 기준으로 초기 드론의 방향위치가 동작되도록 결정하여 수신된 데이터를 입력받아 오토 포커싱을 통해 촬상된 영상에 이미지를 안정화시키도록 동작하는 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템에 있어서,
    상기 줌 카메라(200)는 드론조종기로부터 발신되는 방향성 데이터를 수신하여 데이터를 연산 또는 환산하여 look up table화 한 후, DIS(Digital Image Stablizer) 기능을 수행하고, 드론이 정지 상태에서 영상을 촬영할 때 줌 카메라의 영상을 center base에서 영상이 처리되도록 하고, 정지상태에서 다시 움직일때 속도에 대해 영상 이미지 안정 기능을 동적으로 전환시키고 영상 안정화 모드를 속도에 대해 look up table화 되도록 동작되는 것을 특징으로 하는 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 줌 카메라(200)는
    드론의 이미지 안정기(image stablizer) 기능 수행을 위해 저장부(250)에 저장된 알고리즘을 통해 드론조종기로부터 전송되는 무선 방향성 데이터를 수신부(220)를 통해 직접 수신하여 자이로센서부(230)를 통해 초기 비행시 캘리브레이션 절차를 커친 후 카메라가 향하는 방향을 기준으로 초기 드론의 방향위치를 결정하고 드론의 움직임만 가지고 직접 영상을 촬영하고 방향성 데이터를 연산하여 오토 포커싱에 따라 촬상된 영상에 이미지를 안정화가 되도록 줌 카메라(200)의 구동에 따른 신호를 제어하는 제어부(210),
    상기 제어부(210)의 제어신호에 따라 수신부(220)를 통해 전송되는 방향성 데이터를 기초로 초기 비행시 캘리브레션(calibraion) 공정을 거친후 드론의 줌 카메라가 향하는 방향으로 초기 방향 위치를 결정하고 드론조종기로부터 전송되는 방향성 데이터를 근거로 동적으로 정지상태에서 촬상 또는 정지후 이동시 동작에 따른 기능을 수행하는 자이로센서부(230),
    상기 제어부(210)의 제어신호에 따라 수신부(220)를 통해 수신되는 방향성 데이터를 수신하여 공간영상인 x축값과 Y축 값은 현재 이동방향에 대한 데이터를 확률값을 구하고, 현재 이동중일 때 최적의 영상을 연산하고 look up table화 한후, Digital Image Stablezier(DIS) 기능으로 사용되도록 하는 연산부(240),
    줌 카메라(200)의 이미지 안정기(image stablizer) 기능 수행을 위해 알고리즘으로 탑재하여 동작하며, 드론의 진행의 진행 방향과 속도에 따라 줌모드와 Focus모드를 동적으로 연결 동작, 드론의 구동에 따라 zoom 모드 동작, 호버링 상태에서 줌모드 동작 또는 드론의 움직임 방향에 따라 zoom 렌즈의 이동, Focus Lens의 이동으로 세분화하여 동작되도록 해당 구동 알고리즘이 저장되는 저장부(250) 및
    상기 제어부(210)의 제어신호에 반응하여 드론조종기로부터 전송되는 데이터를 기초로 저장부(250)에 저장된 세분화된 동작을 기초로 자이로센서부(230)를 통해 초기 비행전에 calibration 공정을 통해서 확보된 기준점에 대해 드론조종기로부터 들어오는 방향성 데이터를 근거로 동적기능을 수행하는 구동부(270)를 더 포함하여 구성되는 것을 특징으로 하는 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템.
  4. 제 3 항에 있어서,
    상기 구동부(270)는 드론이 (호버링)정지 상태에서 영상을 촬영할 때 이미지 영상을 center base에서 영상을 실시간 처리하고, 드론이 정지한 상태에서 다시 움직일때 속도에 의해서 영상 image stablizer 기능을 동적으로 전환시키고, 영상 안정화 모드를 속도에 의해서 세밀하게 look up table화 하여 상기 저장부(250)에 저장되도록 하고,
    상기 제어부(210)의 제어신호에 반응하여 짐벌없이 줌 카메라(200)만 가지고도 영상에 image를 안정화시키도록 촬상된 영상을 처리하는데, 이는 줌 카메라(200)의 포커스 렌즈를 통해 입사한 피사체의 영상 정보를 필터 함수와 컨볼루션하여 얻은 출력값을 AF(Auto Focus) 평가값으로 정하고, 이들 AF 평가값을 비교하여 이 중 가장 큰 값을 갖는 경사값을 포커스 렌즈 모터의 스텝 위치별 최적의 AF Gain 이라 정하고, 이를 오토 포커싱을 위한 최적의 위치로 선택하여 포커스 렌즈 모터를 제어하여 동작되는 신호처리부(260)를 더 포함하여 구성되는 것을 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템.
KR1020180060240A 2018-05-28 2018-05-28 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템 KR102013423B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180060240A KR102013423B1 (ko) 2018-05-28 2018-05-28 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180060240A KR102013423B1 (ko) 2018-05-28 2018-05-28 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템

Publications (1)

Publication Number Publication Date
KR102013423B1 true KR102013423B1 (ko) 2019-08-22

Family

ID=67767104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180060240A KR102013423B1 (ko) 2018-05-28 2018-05-28 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템

Country Status (1)

Country Link
KR (1) KR102013423B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113335543A (zh) * 2021-07-19 2021-09-03 上海莱拓新能源科技有限公司 一种基于无人机飞行中的在线监测电站设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017024305A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images
KR20170029747A (ko) * 2015-09-08 2017-03-16 한국항공우주연구원 카메라 지향부재가 탑재된 셀카기능을 갖는 쿼드롭터 및 이를 이용한 자동 셀카촬영방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017024305A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images
KR20170029747A (ko) * 2015-09-08 2017-03-16 한국항공우주연구원 카메라 지향부재가 탑재된 셀카기능을 갖는 쿼드롭터 및 이를 이용한 자동 셀카촬영방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1. 단일 카메라가 장착된 드론을 이용한 추적 객체 위치 판별 방법(Distance measurement of objects from droned with a monocular camera and GPS location data)(특허등록번호 제10-1614654호)
2. 드론을 이용한 가상현실 촬영용 카메라 짐벌(Virtual reality shooting camera gimbal with drones)(특허출원번호 제10-2016-0023044호)
3. 스테레오 비전을 이용한 탐색장치를 포함하는 유도 비행체 및 이의 표적 추적 방법(GUIDED FLIGHT OBJECT HAVING DETECTION APPARATUS USING STEREO VISION)(특허등록번호 제10-1494395호)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113335543A (zh) * 2021-07-19 2021-09-03 上海莱拓新能源科技有限公司 一种基于无人机飞行中的在线监测电站设备

Similar Documents

Publication Publication Date Title
CN108351574B (zh) 用于设置相机参数的系统、方法和装置
US11283986B2 (en) Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US11019255B2 (en) Depth imaging system and method of rendering a processed image to include in-focus and out-of-focus regions of one or more objects based on user selection of an object
EP3687156B1 (en) Dual lens system having a light splitter
CN108235815B (zh) 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
CN111226154B (zh) 自动对焦相机和系统
US10798286B2 (en) Contrast detection autofocus using adaptive step
CN108780262B (zh) 一种相对于成像装置内的图像传感器移动光学器件的方法和装置
JP2019511044A (ja) 飛行デバイスの動き制御のための方法およびシステム
US20180227469A1 (en) Photographing device, moving body for photographing, and photographing control apparatus for moving body
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
WO2020233682A1 (zh) 一种自主环绕拍摄方法、装置以及无人机
US10557718B2 (en) Auxiliary control method and system for unmanned aerial vehicle
KR102013423B1 (ko) 오토 포커스 데이터 추출 방법을 이용한 줌 카메라가 구비된 드론 시스템
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US10942331B2 (en) Control apparatus, lens apparatus, photographic apparatus, flying body, and control method
JP7468523B2 (ja) 移動体、位置推定方法、およびプログラム
JP2020050261A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN111357271B (zh) 控制装置、移动体、控制方法
CN112166374A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
KR20190063548A (ko) 초광학 조리개와 광학적 영상의 흔들림 방지 기능을 갖춘 무인항공기 탑재용 줌 렌즈 모듈.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant