KR20180065439A - 드론용 초소형 영상 카메라 모듈 - Google Patents

드론용 초소형 영상 카메라 모듈 Download PDF

Info

Publication number
KR20180065439A
KR20180065439A KR1020160166297A KR20160166297A KR20180065439A KR 20180065439 A KR20180065439 A KR 20180065439A KR 1020160166297 A KR1020160166297 A KR 1020160166297A KR 20160166297 A KR20160166297 A KR 20160166297A KR 20180065439 A KR20180065439 A KR 20180065439A
Authority
KR
South Korea
Prior art keywords
image
image sensor
drone
acquiring
camera module
Prior art date
Application number
KR1020160166297A
Other languages
English (en)
Inventor
송태훈
Original Assignee
주식회사 휴인스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴인스 filed Critical 주식회사 휴인스
Priority to KR1020160166297A priority Critical patent/KR20180065439A/ko
Publication of KR20180065439A publication Critical patent/KR20180065439A/ko

Links

Images

Classifications

    • H04N5/2257
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/217
    • H04N5/2254
    • H04N5/2258
    • H04N5/23296
    • B64C2201/127
    • B64C2201/146
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

드론용 초소형 영상 카메라 모듈로서, 정지영상 획득용 이미지 센서 및 동영상 획득용 이미지 센서; 상기 이미지 센서들로부터 획득된 영상을 저장하는 영상 저장부; 상기 이미지 센서들로부터 획득된 영상을 실시간으로 외부 관제 시스템으로 무선 전송하기 위한 무선 영상 전송 인터페이스 모듈; 및 상기 이미지 센서들로부터 획득된 영상 중 저도도 영상에 관한 저조도 영상 개선을 실행하는 영상 처리 모듈을 포함하는, 드론용 초소형 영상 카메라 모듈이 제공된다.

Description

드론용 초소형 영상 카메라 모듈{SUBMINIATURE IMAGE CAMERA MODULE FOR DRONE}
본 발명은 드론용 초소형 영상 카메라 모듈에 관한 것이다.
초소형 카메라는 드론에서 영상 촬영에 핵심 모듈이며, 감시 정찰, 좌표 추적 등에 사용된다. 무인기(드론)에 적용될 초소형 카메라를 구현하기 위하여 H/W 및 S/W 처리기술이 필요하며, HDMI 인터페이스 기술이 필요하다.
또한, 넓은 시야각을 확보하기 위하여 150도 이상의 렌즈를 사용하며, 1600만 화소로 정지영상 촬영, 2백만화소(1080p 모드)의 동영상 촬영 기능 구현이 필요하다. 그럼에도 불구하고, 렌즈 사용시 영상의 왜곡으로 인하여 소프트웨어적인 개발이 어려움이 있는 실정이다.
본 발명은 드론용 영상 카메라로서 최적화된 기능을 갖는 초소형의 드론용 영상 카메라 모듈을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 드론용 초소형 영상 카메라 모듈로서, 정지영상 획득용 이미지 센서 및 동영상 획득용 이미지 센서; 상기 이미지 센서들로부터 획득된 영상을 저장하는 영상 저장부; 상기 이미지 센서들로부터 획득된 영상을 실시간으로 외부 관제 시스템으로 무선 전송하기 위한 무선 영상 전송 인터페이스 모듈; 및 상기 이미지 센서들로부터 획득된 영상 중 저도도 영상에 관한 저조도 영상 개선을 실행하는 영상 처리 모듈을 포함하는, 드론용 초소형 영상 카메라 모듈이 제공된다.
일 실시예에서, 상기 정지영상 획득용 이미지 센서는 1600만 화소급 이상의 이미지 센서이고, 상기 동영상 획득용 이미지 센서는 200만 화소급 이상의 이미지 센서일 수 있다.
일 실시예에서, 상기 정지영상 획득용 이미지 센서 및 상기 동영상 획득용 이미지 센서의 팬/틸트(pan/tilt) 구현을 위한 팬/틸트 구동부를 더 포함할 수 있다.
일 실시예에서, 상기 정지영상 획득용 이미지 센서 및 상기 동영상 획득용 이미지 센서 중 적어도 하나에 적용된 렌즈는 시야각 150도 이상의 광각 렌즈일 수 있다.
일 실시예에서, 상기 영상 처리 모듈은, 상기 정지영상 획득용 이미지 센서 및 상기 동영상 획득용 이미지 센서 중 적어도 하나로부터 획득되는 영상에 관한 실시간 영상 왜곡 보정을 실행할 수 있다.
본 발명의 다른 측면에 따르면, 상술한 드론용 초소형 영상 카메라 모듈과, 상기 드론용 초소형 영상 카메라 모듈로부터 실시간 영상이 무선 수신되며 상기 드론용 초소형 영상 카메라 모듈 또는 상기 드론용 초소형 영상 카메라 모듈이 탑재된 드론을 원격 제어하는 관제 장치를 포함하는 항공 촬영 시스템이 제공된다.
본 발명의 실시예에 의하면, 본 발명은 드론용 영상 카메라로서 최적화된 기능을 갖는 초소형의 드론용 영상 카메라 모듈을 제공할 수 있는 이점이 있다.
또한 본 발명의 실시예에 의하면, 비행제어 및 자세 알고리즘의 순수 자체 개발을 통한 기술 자립화 및 무인 항공기 산업의 핵심 기술 축적 및 대외 기술 격차 완화할 수 있다. 또한 무인항공기 기초기술의 실용화를 통한 부가가치가 높은 무인항공기산업으로 확대하여 창조경제 산업으로 육성하여 일자리 창출 등 항공산업 발전에 기여할 수 있다. 또한 군사용, 과학용(환경, 기상연구, 탐사 등), 국토ㅇ해양감시, 항공촬영, 산불감시ㅇ진화, 응급환자수송, 비상·재난, 물류운송 등 다양한 분야에서 활용할 수 있다.
도 1은 본 발명의 실시예에 따른 드론용 카메라 시스템을 전반적으로 도시한 도면.
도 2 및 도 3은 본 발명의 실시예에 따라 요구되는 드론용 영상 카메라 모듈 및 제조 과정을 전반적으로 설명하기 위한 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 드론용 카메라 시스템을 전반적으로 도시한 도면이고, 도 2 및 도 3은 본 발명의 실시예에 따라 요구되는 드론용 영상 카메라 모듈 및 제조 과정을 전반적으로 설명하기 위한 도면이다. 이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
본 발명의 실시예에 따른 드론용 영상 카메라 시스템은 도 1에 도시된다. 도 1을 참조하면, 정지영상 16M pixel 이상, 동영상 2M pixel 이상의 영상 획득 시스템이 적용되며, 카메라 모듈 H/W로서 Cortex A12 CPU, USB2.0, HDMI output, 카메라 모듈 핵심 부품으로서 렌즈, 액츄에이터가 개발된다. 또한, 카메라 모듈 임베디드 소프트웨어로서, Linux Kernel, USB2.0, HDMI output device driver 기술이 적용된다. 또한 임베디드 영상 최적화 기술이 적용된다. 이하, 본 발명의 실시예에 따른 드론용 영상 카메라 시스템의 각 주요구성에 관하여 차례로 설명하면 아래와 같다.
드론용 초소형 고화질 영상 카메라 모듈
드론용 초소형 고화질 영상 카메라 모듈은, 정지영상 16M pixel 이상의 영상 취득, 동영상 2M pixel 이상의 영상 저장, 카메라 영상을 보면서 제어 가능 하도록 VGA급 이상의 실시간 무선 영상 전송 기술, 저조도 영상 개선등 영상 최적화 기술이 적용된다.
이때, 동영상 해상도는 아래의 표 1과 같이 구현될 수 있다.
Figure pat00001
그리고 동영상 형식은 H.264 Codec, mp4 파일 형식을 가질 수 있다.
또한 자동 저조도 모드가 적용되는데, 자동 저조도 모드는 저조도 성능 향상을 위해 조명 상태에 따라 프레임 속도를 자동으로 조정하며, 프레임 속도는 중간 및 저조도 조건에서 조정될 수 잇고, 선택한 해상도 및 프레임 속도로 재생된다.
본 발명의 실시예에 따른 카메라 모듈은, 소형화, Slim해지고 고객은 고해상도, 다기능을 요구하기 때문에 높은 수준의 기술을 필요하며, 광학, 전자/전기 기구 설계 기술이 적용된다(도 2 및 도 3 참조).
렌즈
카메라 모듈의 핵심 부품으로서 렌즈는, Digital Pan/Tilt를 구현하기 위해선 광각 렌즈를 사용할수록 유리하다. 이에 따라 본 발명의 실시예에서는 150도 이상의 광각 렌즈를 사용하였다. 다만, 렌즈 사용시 영상이 심하게 왜곡되므로 실시간 영상왜곡 보정기술이 필요하며, 본 발명의 실시예에서는 이 부분 구현을 위해 GPU를 사용한 왜곡보정 알고리즘이 적용되었다.
이미지 센서
또한 카메라 모듈의 핵심 부품으로서 이미지 센서는, 3D-DIS 및 digital pan/tilt 구현을 위해선 저장하고자 하는 영상보다 입력영상의 크기가 클수록 움직임에 대한 여유도 확보가 용이하다. 이를 위해 16M급 이상의 image sensor와 고속의 영상전송을 위해 LVDS 인터페이스를 적용하여 시스템을 구현하였다.
영상 저장부(메모리)
16M급 이미지센서를 사용하고 대량의 영상 데이터를 처리하기 위해선 고속처리가 가능한 DDR3급 메모리가 필수로 필요하다.
또한, 왜곡보정 알고리즘의 기본 라이브러리 활용을 용이하게 하기 위해선 Linux상에서 시스템이 개발 되어야 하며, 이를 위해서 용량제한에 부담이 없는 NAND 메모리를 사용하여 시스템을 구현하였다.
이때, 정지영상은 12M급 JPEG으로 저장하고, 동영상은 Full-HD급 화질로 저장한다. 그리고 사용성 증대와 편의성을 위해 T-Flash를 사용하여 시스템을 구현하였고, 또한 고화질의 장시간 녹화를 위해 SDXC지원과 128GB급 용량까지 지원한다. 영상 저장시 용량이 저장 매체의 공간이 부족할 경우에도 가장 오래된 영상부터 지우며 계속적인 영상 저장이 가능하도록 구현하였다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (6)

  1. 드론용 초소형 영상 카메라 모듈로서,
    정지영상 획득용 이미지 센서 및 동영상 획득용 이미지 센서;
    상기 이미지 센서들로부터 획득된 영상을 저장하는 영상 저장부;
    상기 이미지 센서들로부터 획득된 영상을 실시간으로 외부 관제 시스템으로 무선 전송하기 위한 무선 영상 전송 인터페이스 모듈; 및
    상기 이미지 센서들로부터 획득된 영상 중 저도도 영상에 관한 저조도 영상 개선을 실행하는 영상 처리 모듈을 포함하는, 드론용 초소형 영상 카메라 모듈.
  2. 제1항에 있어서,
    상기 정지영상 획득용 이미지 센서는 1600만 화소급 이상의 이미지 센서이고,
    상기 동영상 획득용 이미지 센서는 200만 화소급 이상의 이미지 센서인 것을 특징으로 하는, 드론용 초소형 영상 카메라 모듈.
  3. 제2항에 있어서,
    상기 정지영상 획득용 이미지 센서 및 상기 동영상 획득용 이미지 센서의 팬/틸트(pan/tilt) 구현을 위한 팬/틸트 구동부를 더 포함하는, 드론용 초소형 영상 카메라 모듈.
  4. 제3항에 있어서,
    상기 정지영상 획득용 이미지 센서 및 상기 동영상 획득용 이미지 센서 중 적어도 하나에 적용된 렌즈는 시야각 150도 이상의 광각 렌즈인 것을 특징으로 하는, 드론용 초소형 영상 카메라 모듈.
  5. 제4항에 있어서,
    상기 영상 처리 모듈은, 상기 정지영상 획득용 이미지 센서 및 상기 동영상 획득용 이미지 센서 중 적어도 하나로부터 획득되는 영상에 관한 실시간 영상 왜곡 보정을 실행하는 것을 특징으로 하는, 드론용 초소형 영상 카메라 모듈.
  6. 상기 제1항 내지 제5항 중 어느 한 항에 따른 드론용 초소형 영상 카메라 모듈과, 상기 드론용 초소형 영상 카메라 모듈로부터 실시간 영상이 무선 수신되며 상기 드론용 초소형 영상 카메라 모듈 또는 상기 드론용 초소형 영상 카메라 모듈이 탑재된 드론을 원격 제어하는 관제 장치를 포함하는 항공 촬영 시스템.
KR1020160166297A 2016-12-08 2016-12-08 드론용 초소형 영상 카메라 모듈 KR20180065439A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166297A KR20180065439A (ko) 2016-12-08 2016-12-08 드론용 초소형 영상 카메라 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166297A KR20180065439A (ko) 2016-12-08 2016-12-08 드론용 초소형 영상 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20180065439A true KR20180065439A (ko) 2018-06-18

Family

ID=62768024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166297A KR20180065439A (ko) 2016-12-08 2016-12-08 드론용 초소형 영상 카메라 모듈

Country Status (1)

Country Link
KR (1) KR20180065439A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122131A (ko) 2021-02-26 2022-09-02 조선이공대학교산학협력단 드론용 카메라 렌즈액튜에이터
KR20230018237A (ko) * 2021-07-29 2023-02-07 주식회사 아이팝 Gps 신호 수신 불가 시 드론의 회귀 방법
CN116026604A (zh) * 2023-02-28 2023-04-28 中国航发沈阳发动机研究所 一种航空发动机进气畸变试验方法及装置
KR20230078044A (ko) * 2021-11-26 2023-06-02 고려대학교 산학협력단 무인 이동체의 사고 데이터를 기록하는 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122131A (ko) 2021-02-26 2022-09-02 조선이공대학교산학협력단 드론용 카메라 렌즈액튜에이터
KR20230018237A (ko) * 2021-07-29 2023-02-07 주식회사 아이팝 Gps 신호 수신 불가 시 드론의 회귀 방법
KR20230078044A (ko) * 2021-11-26 2023-06-02 고려대학교 산학협력단 무인 이동체의 사고 데이터를 기록하는 방법
CN116026604A (zh) * 2023-02-28 2023-04-28 中国航发沈阳发动机研究所 一种航空发动机进气畸变试验方法及装置

Similar Documents

Publication Publication Date Title
KR102598109B1 (ko) 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
US10484621B2 (en) Systems and methods for compressing video content
US11457157B2 (en) High dynamic range processing based on angular rate measurements
US11800238B2 (en) Local tone mapping
US11412136B2 (en) Apparatus and method for operating multiple cameras for digital photography
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
US20220247898A1 (en) Replaceable gimbal camera, aircraft, aircraft system, and gimbal replacement method for aircraft
US20180276800A1 (en) Apparatus and methods for source dynamic range processing of panoramic content
KR20180065439A (ko) 드론용 초소형 영상 카메라 모듈
KR102495763B1 (ko) 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
US20200007794A1 (en) Image transmission method, apparatus, and device
US20190058836A1 (en) Apparatus for composing objects using depth map and method for the same
US20140204083A1 (en) Systems and methods for real-time distortion processing
WO2020014953A1 (zh) 一种图像处理方法及设备
US20230018560A1 (en) Virtual Reality Systems and Methods
KR102512839B1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
US11025809B2 (en) Dual imaging module cameras
TWI551138B (zh) 擷取多重子影像以產生影像的相機
CN114766030A (zh) 用于改进的对象检测的方法和设备
WO2020010544A1 (zh) 照明设备控制方法、设备、飞行器及系统
CN1780359A (zh) 无人机遥感平台中的cmos成像与信息处理系统
US11792511B2 (en) Camera system utilizing auxiliary image sensors
KR20190074490A (ko) 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
US11636708B2 (en) Face detection in spherical images

Legal Events

Date Code Title Description
N231 Notification of change of applicant