KR20130086192A - 스마트안경을 이용한 무인항공기 제어와 조종시스템 - Google Patents

Abstract

본 발명은 무인항공기 조종자가 스마트안경을 착용하여, 상공을 운항 중인 무인항공기와 실시간으로 송수신하여 무인항공기에 대해서 촬영과 조정을 동시에 진행할 수 있으며, 스마트안경을 이용하여 무인항공기에 대한 제어와 조종시스템을 제공함으로써, 특히 무인항공기에 의해 촬영된 영상을 실시간으로 전송받아 스마트안경 화면상에서 디스플레이할 수 있는 장치를 제공하고, 상기 스마트안경의 이동 방향에 따라 자동으로 조정 및 촬영 방향을 조절할 수 있는 무인항공기의 조정 및 제어와 카메라 조절 시스템을 제공하는 효과가 있다.

Description

스마트안경을 이용한 무인항공기 제어와 조종시스템{Unmanned Aerial Vehicle System operated by smart eyeglass}

최근 들어, 운송수단 및 각종 전자기기 등의 조정 및 제어 등에 스마트안경이 사용되기 시작했다. 대표적인 예로 구글은 자사의 스마트안경인 구글안경을 선보였다. 미디어잇 2013년 6월 6일자 보도를 보면, 구글안경 즉 구글 글래스에 대해 잘 설명하고 있다. 수년간 소문이 무성했던 구글 글래스는 전례 없는 완전히 새로운 제품이다. 단순히 정보들을 고글 형태로 투사하는 것에서 벗어나, 네트워크와 항시 연결돼 증강현실과 SNS로 끊임없이 교류할 수 있다. 글래스 익스플로러 프로그램을 통해 테스터로 뽑힌 8000명은 1500달러를 지불하고 구글 글래스의 초기 버전을 사용하게 됐다. 1500달러의 가격은 상용 버전의 가격이 아니며 정식 출시될 때는 이보다 큰 폭으로 가격이 낮아질 것으로 예상된다. 구글 글래스 테스트 버전의 스펙은 최신 스마트폰에 조금 못 미친다. 500만 화소의 카메라 모듈이 장착됐고 720p 동영상 촬영까지 가능하다. 16GB의 내장 메모리 중 12GB를 사용자가 쓸 수 있고 구글의 클라우드 서비스인 구글 드라이브와 동기화된다. 손톱보다 작은 디스플레이는 막상 장착하면 25인치 고화질 화면을 약 2.5m 거리에서 떨어져 보는 것과 같다고 한다. 음성은 골진도 진동자를 채용해 고막에 직접 연결하지 않아도 소리를 들을 수 있도록 했다. 지원 네트워크는 Wi-Fi(IEEE 802.11b/g)와 블루투스이며, 테스터에 의하면 내장 배터리는 완충 시 3~5시간가량 연속으로 사용할 수 있다고 한다. 충전은 마이크로 USB 케이블을 사용한다. 구글 글래스로 할 수 있는 일들은 다음과 같다. 화상채팅, 지금도 화상채팅을 할 수 있지만 양손의 자유를 포기해야 한다는 단점이 있다. 하지만 구글 글래스를 사용하면 이동 중에도 지인의 얼굴을 보며 일상을 공유할 수 있게 된다. 그뿐만 아니라 사용자가 보는 풍경도 공유할 수 있다. 비디오 촬영, 지금까지는 동영상을 촬영하려면 카메라를 들고 흔들리지 않게 팔을 고정해야만 했다. 하지만 구글 글래스를 사용하면 눈으로 보는 영상을 그대로 흔들림 없이 간편하게 녹화할 수 있다. 내비게이션, 구글 글래스 데모 영상에서 가장 인상적이었던 부분이 이 내비게이션이었다. 자동차에 사용되고 있는 HUD(Head Up Display)처럼 길을 걷거나 자전거를 탈 때, 혹은 차량으로 이동 중일 때에도 눈앞에 보이는 실제 화면 앞에 내비게이션이 겹쳐져 완벽한 길잡이 노릇을 할 수 있다. 음성 메시지, 삼성전자의 S보이스, LG전자의 Q보이스, 그리고 애플의 시리(Siri) 같은 프로그램으로도 음성 메시지를 보낼 수 있지만 구글 글래스는 좀 더 세련되고 폼 나게 메시지를 보낼 수 있다. 증강현실, 이 기능이 구글 글래스의 핵심 기능일 것이다. 구글 글래스를 착용한 채 미술관에 가면 명화를 감상할 때 작품에 맞춰 추가 설명을 화면에 띄우거나 도슨트(Docent) 앱을 통해 음성 해설을 들을 수 있다. 근처의 맛집을 보여달라고 하면 눈앞에 맛집 위치와 상호가 펼쳐지고 전단의 상품을 보는 즉시 온라인으로 주문할 수도 있다. 모르는 외국어를 봐도 자동으로 번역해 뜻을 알려주거나, 사용자의 음성을 현지 언어로 전환해 들려줄 수도 있다.

한편 민간부문에서 무인항공기는 지상에 대한 촬영과 감시위한 용도로 현재 세계 각국에서 사용되고 있다. 한 예로 중국의 경우, 세계일보 2012년 8월 29일자 보도를 보면, 중국이 무인항공기를 동원해 대대적인 해양감시에 나섰는데, 국가해양국은 최근 연해지역 11개 성에 기지를 설립하고 기지마다 최소 무인항공기 1개 이상을 배치해 해당 성의 관할 해역을 감시할 계획이라고 공산당 기관지 인민일보 해외판이 29일 보도했다. 해양국은 날로 연해개발이 증대되는 상황에서 정밀한 해양감시와 검측이 필요하다면서 현재 주요 해양감시수단으로 사용되는 위성 혹은 항공 원격탐지나 현지감시 및 검측은 정밀도와 편의성 등 여러 측면에서 부족하다고 설명했다. 해양국의 위칭쑹(于靑松) 해역관리국장은 무인항공기는 새로운 원격감시도구로 예정된 궤도로 비행하며 촬영이 가능하다며 이를 통해 실시간으로 해상도가 뛰어난 사진과 동영상을 확보하게 돼 해역동향파악과 환경감시, 자원보호 등에 큰 도움이 될 것이라고 말했다. 이번 조치에는 그러나 동중국해와 남중국해에서 갈수록 치열해지는 영유권분쟁에 대비하려는 의도가 깔려 있다는 분석이다. 중국 당국은 최근 6개월 사이 무인항공기 원격탐지 실험을 시행해 만족할 만한 성과를 낸 것으로 전해졌다(주춘렬 특파원).

다음으로 군사용도를 보면, 무인항공기는 비행고도에 의해 초저고도(5,000ft이하), 저고도(5,000~20,000ft), 중고도(20,000~45,000ft) 및 고고도(45,000ft이상)로 분류하는데, 2007년 말 기준 미군이 운용중인 무인항공기는 전술 및 전략급의 중대형 무인항공기가 15종 528대이고, 소형 무인항공기가 6종 3,437대이나 이 중에서 대표적인 무인항공기인 MQ-1프레데터(Predator)는 General Atomics사가 제작한 무인항공기로 동체길이 8.1m, 날개 폭 14.8m의 정찰기로 920킬로미터의 작전반경을 가지고, 8,000m이하의 중고도에서 최대 200킬로그램의 탑재체를 싣고, 24시간 이상 비행이 가능하고 전자광학(EO), 적외선감지기(IR) 및 SAR(Synthetic Aperture Radar)를 이용하여 정찰 및 표적획득 임무를 수행한다.

따라서 본 발명은 이상과 같은, 스마트안경 및 지상 혹은 특정지역에 대한 촬영 및 감시, 공격을 하는 무인항공기에 대한 것으로, 보다 상세하게는 무인항공기 조종자가 스마트안경을 착용하여, 상공을 운항 중인 무인항공기와 실시간으로 송수신하여 무인항공기에 대해서 촬영과 조정을 동시에 진행할 수 있도록 하는 스마트안경을 이용한 무인항공기 제어와 조종시스템에 대한 것이다.

지디넷코리아(ZDNet Korea) 2013년 6월 8일자 보도에는 구글안경과 같은 스마트안경의 배경기술에 대한 상세한 내용을 소개하고 있다. 내용을 보면, 구글글래스를 계기로 몸에 착용하는 기기의 시대가 열릴 것이라는 전망이다. IT 기기는 방 안의 PC에서 손 안의 스마트폰으로, 다시 내 몸에 착용할 수 있는 제품으로 빠르게 세대 이동을 한다. 6월 7일(현지시간) 씨넷은 구글글래스의 조상격인 안경 모양의 스마트 기기의 역사를 사진과 함께 보도했다. 구글글래스의 조상인 안경형 기기의 역사는 40년이 넘었다. 지난 1968년 유타대학 연구원이던 이반 서덜랜드의 안경 이후 올해 구글글래스까지 다양한 안경형 디지털 기기의 역사를 만날 수 있다. 가장 먼저, 45년 전인 1968년 이반 서덜랜드는 다모클레스 칼을 개발했다. 다모클레스의 칼은 안경형 기기 역사의 시작을 열었다. 다모클레스의 칼은 디스플레이를 머리에 착용하는 형태다. 이반 서덜랜드는 유타대학 연구원으로 이 기기는 그의 제자 밥 스프로울과 함께 개발했다. 다음 스티브 만의 웨어콤프1에 대해, 1980년 스티브 만이 개발한 웨어콤프1이다. 스티브 만은 토론토대학 컴퓨터전기공학과 교수, IEEE 선임 회원 등으로 있으며 초기 증강현실 분야를 연구한 권위자다. 웨어콤프1은 시각적인 경험을 만들어내기 위해 몸 구석구석에 다양한 기기를 부착해야 했다. 무선 신호를 포착하기 위해서는 안테나가 달렸다. 기기를 통해서는 동영상도 볼 수 있다. 다음으로 증강현실, 안경형 디지털 기기의 선구자 스티브 만 파인버그의 스마트안경, 콜롬비아대학 컴퓨터학과 스티브 만 파인버그 교수는 지난 1996년 처음으로 투명 디스플레이를 이용해 증강현실 기능의 모바일 기기를 만들었다. 토론토 대학 스티브 만 교수는 디지털 안경 개발에 35년 이상 열정을 쏟았다. 스티브 만의 `웨어콤프4`에 대해, 애플의 매킨토시가 출시되던 1984년 웨어콤프4가 출시됐다. 스티브 만이 개발한 웨어콤프4는 신호처리 기기를 옷처럼 입어야 했다. 왼쪽 눈에 달린 디스플레이를 통해서는 다양한 이미지를 볼 수 있었다. 웨어콤프1처럼 음성, 동영상 등을 무선으로 전송하기 위한 안테나가 달렸다. 웨어콤프4가 나온 1984년은 윌리엄 깁슨이 공상과학소설 뉴로맨서에서 증강현실을 다뤄 화제가 되기도 한 해였다. 1989년 리플렉션테크놀로지의 더프라이빗아이에 대해, 1989년에는 진동 거울, 수직으로 LED를 배열한 디스플레이를 탑재한 더프라이빗아이가 나왔다. 더프라이빗아이는 1.25인치, 흑백화면을 탑재했다. 다음 1998년 증강현실 고글 `아이탭`에 대해, 스티브 만의 디지털안경에 대한 관심은 유년기 할아버지에게 용접을 배운 뒤부터 시작됐다. 그는 용접하는 동안 앞을 잘 볼 수 있도록 하기 위해 비디오 카메라, 디스플레이, 컴퓨터 등을 사용했다. 계속해서 디지털안경 아이텝에 대해, 디지털안경의 아버지로 불리는 스티브 만이 1999년 나온 아이탭을 착용했다. 만이 착용한 아이탭은 시각 이미지를 기록하고 디지털 이미지를 겹쳐서 볼 수 있었다. 눈과 카메라를 동시에 이용할 수 있었다. 대신 몸에는 작은 컴퓨터를 부착해야 했다. 다음으로 2000년 마이크로옵티컬의 `태스크9`에 대해, 마이크로옵티컬은 마크 스피처가 지난 1995년 설립했다. 마이크로옵티컬은 지난 2010년 문을 닫았지만 특허 기술은 구글이 인수했다. 마크 스피처는 현재 구글 X랩 이사로 재직중이다. 다음 2005년 마이크로비전의 노마드디지털디스플레이에 대해, 마이크로비전은 자동차용 헤드업 디스플레이를 공급하는 업체다. 다음 2005년 부직 V920에 대해, 부직은 지난 2005년 비디오 안경인 V920을 개발했다. 이 회사는 15년 동안 비디오 안경에 매진했다. 다음 2008년 마이뷰의 개인용 미디어뷰어 크리스탈 에디션에 대해, 마이뷰의 개인용 미디어 뷰어는 외부에서 동영상을 받아다가 시청을 할 수 있는 기기다. 동영상을 공급하는 기기는 아이팟 등을 이용하면 된다. 미디어뷰어는 작은 화면으로 큰 화면의 영상을 보는 듯한 효과를 줬다. 다음 2009년 부직 랩시쓰루 프로토에 대해, 부직은 지난 2005년 비디오 안경인 V920에 이어 2009년 랩시쓰루를 개발했다. 다음 2010년 비지콤에 대해, 마이뷰는 지난 2010년 디지털안경 신제품을 출시했다. 마이뷰는 1995년 마이크로옵티컬의 창립자이기도 한 마크 스피처가 설립했다. 2011년에는 부직 랩AR920이 개발되었다. 다음 2013년 메타의 개발자용 시제품에 대해, 메타의 안경은 3D 공간에 들어간 것 같은 착각을 불러일으킨다. 손을 이용해 가상세계와도 상호작용할 수 있다. 메타시스템은 영화 아이언맨, 아바타 등의 영화에서 볼 수 있는 3D 입체 안경, 동작 제어 시스템 등을 개발했다. 메타는 오는 2014년에는 세련된 형태의 안경을 출시할 계획이다(송주영 기자).

한편 무인항공기(UAV:Unmanned Aeriel Vehicle) 또는 무인항공기시스템(UAS : Unmanned Aircraft System)이란 일반적으로 조종사가 탑승하지 않은 상태에서 지상에서의 원격조정에 의해 또는 사전에 입력된 프로그램에 따라 또는 비행체 스스로 주위환경을 인식하고 판단하여 자율적으로 비행하는 비행체, 또는 이러한 기능의 일부나 전부를 가진 비행체계를 말한다. 한국은 국방과학연구소가 1980년대 제트추진형 기만용 무인기인 솔개를 시작으로 1988년 한국항공우주산업과 서울대가 공동으로 도요새를 개발하였으며, 2000년 국방과학연구소가 군단 무인항공기 탐색 개발을 시작하였다. 이후 한국항공우주산업과 육군 군단에서 운용 중인 송골매의 개발을 완료함으로써 한국은 현재 독자개발 무인기를 운용한 세계 10개국의 반열에 오르게 되었다.

무인항공기의 활용분야는 세부적으로 보면 군수분야에서는 실시간 정찰(지역, 선, 점표적의 정찰), 포병 화력유도, 전투 피해 평가, 해상 및 해안 감시, 지뢰 탐지, 전자전 수행(기만, 공격, 방어), 적 레이더 교란 및 파괴, 무인 공중 전투, 무인 폭격, 해안 상륙 작전 지원, 항공기동로 개척 등이 활용되고 있다. 또한 민수분야에서는 국경순찰, 지형 및 시설물 공중촬영, 산불 및 산림 감시, 해안 및 선박 감시, 범죄 색출 및 추적, 방제 및 방역, 기상 자료 수집, 재해예방, 통신 중계, 환경 감시, 재난 구조 등에 활용되고 있다. 이처럼 무인항공기는 최소의 비용으로 인명피해 없이 소기의 목적을 달성할 수 있다는 장점으로 민과 군 및 관의 다양한 분야에서 활용되고 있다.

현재 상기한 바와 같이, 무인항공기는 군사용이나 관측용 등으로 많이 사용되고 있기 때문에, 그 운용을 위해 무인항공기 관련하여 여러 장치를 함께 사용하고 있다. 그러나, 이러한 무인항공기에 있어, 그 제어 및 조종에는 아직까지는 상기한 바와 같은 다양한 기능과 장점을 가진 스마트안경이 사용되지 못하고 있는 실정인데, 이는 무인항공기의 가용성과 활용성을 떨어뜨리고 있다. 따라서 본 발명은 무인항공기 조종자가 스마트안경을 착용하여, 상공을 운항 중인 무인항공기와 실시간으로 송수신하여 무인항공기에 대해서 촬영과 조정을 동시에 진행할 수 있도록 하는 스마트안경을 이용한 무인항공기 제어와 조종시스템을 제공하고자 하는 목적에서, 특히 무인항공기에 의해 촬영된 영상을 실시간으로 전송받아 스마트안경 화면상에서 디스플레이할 수 있는 장치와 상기 스마트안경의 이동 방향에 따라 자동으로 무인항공기의 이동 및 촬영 방향을 조절할 수 있는 무인항공기의 이동 및 카메라 조절 시스템을 개발하기에 이른 것이다.

관련 선행기술로는 무인 비행기 조종 시스템 및 그 방법(한국 등록특허번호 10-0999556)과 공중에 떠다니는 무인 정보 수집과 송신하는 방법 및 그 시스템(한국 등록특허 10-1103846)이 있다.

본 발명의 목적은 무인항공기의 가용성과 활용성이 최대가 되도록 무인항공기 조종자가 스마트안경을 착용하여, 무인항공기에 대해서 촬영과 조정을 동시에 진행할 수 있도록 하는 스마트안경을 이용한 무인항공기 제어와 조종시스템을 제공하고자 하며, 무인항공기에 의해 촬영된 영상을 실시간으로 전송받아 스마트안경 화면상에서 디스플레이할 수 있는 장치와 상기 스마트안경의 방향전환에 따라 자동으로 이동 및 촬영 방향을 조절할 수 있는 무인항공기의 이동 및 카메라 조절 시스템을 제공하고자 한다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 무인항공기에 부착된 카메라에 의해 촬영된 영상을 실시간으로 전송받아 스마트안경을 착용한 무인항공기 조종자에게 보여줄 수 있는 디스플레이 장치를 제공하는데 목적이 있다. 본 발명의 다른 목적은 스마트안경을 착용한 무인항공기 조종자에 의해 스마트안경의 방향이 제어될 때마다 스마트안경의 전환 방향에 따라 자동으로 무인항공기의 이동방향이 제어되고, 촬영 방향을 조절할 수 있는 무인항공기의 카메라 조절 장치를 제공한다. 본 발명의 또 다른 목적은 무인항공기에 의해 촬영된 영상을 스마트안경을 착용한 무인항공기 조종자에게 실시간으로 보여줌으로써, 지상의 조종자에게 항공기를 탑승한 것과 같은 효과를 부여할 수 있는 디스플레이 장치를 제공한다.

다음으로, 상기한 목적을 달성하기 위한 본 발명에 따른 스마트안경을 이용한 항공사진 촬영을 위한 무인항공기 제어방법은, 상기 무인항공기가 감시 및 촬영지역의 상공에 진입하고 자동조종되는 단계; 상기 무인항공기에 탑재된 제어부에 의해 동영상카메라 촬영명령이 발생되어 구동부가 무인항공기에 탑재된 동영상카메라를 작동시키는 단계; 상기 동영상카메라에 의해 획득된 영상이, 동영상카메라와 연결된 영상 송신기에 의해 지상에 위치한 영상 수신기로 전송되어 영상 수신기와 연결된 스마트안경에 실시간 디스플레이 됨과 동시에, 상기 동영상카메라와 연결된 무인항공기 내부의 제어부로 실시간 전송되는 단계; 상기 동영상 카메라에 의해 실시간 전송된 영상을 제어부가 판독하여 영상 상의 표시물이 감시 및 촬영 대상물인지를 판단하는 단계; 상기 제어부에 의해 표시물이 감시 및 촬영 대상물과 일치한다고 판단되면, 상기 무인항공기의 제어부에 의해 스틸 영상카메라 작동신호가 발생되어 구동부가 스틸 영상카메라를 작동시켜 감시 및 촬영 대상물의 항공사진을 촬영하는 단계; 및 상기 무인항공기의 제어부에 의해 스틸 영상카메라 작동신호가 발생되어 구동부가 스틸 영상카메라를 작동시켜 감시 및 촬영 대상물의 항공사진을 촬영하면, 이를 지상의 무인항공기 조종자의 스마트안경에 디스플레이 하면서, 이때 상기 제어부에 의해 목표물이 감시 및 촬영 대상물이 아니라고 판단되면, 상기 제어부에 의해 작동신호가 발생되어 구동부가 다시 무인항공기를 작동시키는 단계;를 포함하여 구성된다.

상기 무인항공기의 이륙 및 착륙과 상공에서의 이동 등의 무인항공기에 대한 작동명령은 무인항공기 조종자가 수동으로 무인항공기를 이륙시키면, 이후 감시 및 촬영지역의 상공으로 진입되도록 하고, 촬영 및 감시지역에 도착한 후에는 무인항공기 조종자가 자동조종명령을 주면 감시 및 촬영지역을 순회하도록 하는 것이 바람직하다. 또한 무인항공기가 자동으로 감시 및 촬영지역을 순회 중 감시 및 촬영대상물이 발견되면, 이때 카메라 촬영방향은 스마트안경의 방향전환을 통해 조정되도록 하는 것이 바람직하다. 또한 상기 무인항공기시스템에서 통신은 무선 혹은 GPS위성 및 통신용 위성의 인공위성통신망을 사용하는 것이 바람직하다.

이상에서 설명한 바와 같이 본 발명은, 스마트안경을 착용한 무인항공기 조종자에 의해 스마트안경의 방향이 바뀔 때마다 스마트안경의 전환방향에 따라 자동으로 무인항공기에 장착된 카메라의 촬영 방향을 조절하고 이 카메라에 의해 촬영되는 영상을 스마트안경을 착용한 무인항공기 조종자에게 실시간으로 보여줌으로써, 지상의 조종자에게 항공기에 탑승한 것과 같은 효과를 부여한다. 따라서 다양한 기능과 장점을 가진 스마트안경을 착용하여 실제 항공기에 탑승한 것과 같이, 무인항공기를 제어 및 조정하여 무인항공기의 가용성 및 활용성을 높일 수 있는데, 본 발명은 무인항공기 조종자가 스마트안경을 착용하여, 상공을 운항 중인 무인항공기와 실시간으로 송수신하여 무인항공기에 대해서 촬영과 조정을 동시에 진행할 수 있으며, 스마트안경을 이용하여 무인항공기에 대한 제어와 조종시스템을 제공함으로써, 특히 무인항공기에 의해 촬영된 영상을 실시간으로 전송받아 스마트안경 화면상에서 디스플레이할 수 있는 장치를 제공하고, 상기 스마트안경의 전환 방향에 따라 자동으로 이동 및 촬영 방향을 조절할 수 있는 무인항공기의 조정 및 제어와 카메라 조절 시스템을 제공하는 효과가 있다.

도 1은 본 발명에 따른 일실시예에 의한 스마트안경을 착용한 무인항공기 조종자와 무인항공기사이의 송수신 시스템 개요도
도 2는 본 발명에 따른 일실시예에 의한 감시 및 항공사진 촬영을 위한 무인항공기 제어 시스템의 개략도.
도 3은 본 발명에 따른 일실시예에 의한 감시 및 항공사진 촬영을 위한 무인항공기 제어방법을 나타내는 순서도

이하 첨부한 도면을 참조하여 본 발명에 따른 스마트안경을 이용한 무인항공기시스템을 상세하게 설명한다.

상기 목적을 달성하기 위한 본 발명은, 무인항공기로부터 촬영되는 영상을 무선으로 수신하여 디스플레이하기 위한 디스플레이 장치에 있어서, 영상신호를 디스플레이하기 위한 디스플레이부; 상기 스마트안경에 장착되며, 상기 무인항공기로부터 전송된 무선주파수신호를 기저대역신호로 변환시키는 무선주파수 송수신부; 상기 스마트안경에 장착되며, 상기 무인항공기로부터 실시간으로 전송되어, 상기 무선주파수 송수신부를 통하여 수신된 영상신호를 상기 디스플레이부에 출력시키는 제어부; 상기 스마트안경에 장착되며, 상기 제어부에 의해 전달되는 소리신호를 전기적인 신호로 변환시켜 상기 스마트안경에 장착된 스피커에 출력하는 오디오 처리부; 상기 스마트안경에 장착되며, 상기 제어부에 의해 전달되는 영상신호를 상기 디스플레이부에 적합한 신호로 변환시켜 상기 디스플레이부로 출력하는 비디오 처리부; 및 상기 스마트안경에 장착되며, 상기 스마트안경의 이동 방향을 감지하기 위한 방향감지 센서를 구비하는 것을 특징으로 한다. 상기 디스플레이부는 상기 스마트안경을 착용한 착용자의 전면 혹은 일측에 위치되도록 상기 스마트안경에 부착된다. 상기 제어부는 상기 무인항공기로부터 전송된 복합영상신호에 포함된 영상신호와 소리신호를 각각 상기 비디오 처리부와 상기 오디오 처리부에 출력하고, 상기 방향감지 센서에 의해 감지된 방향신호를 상기 무선주파수송수신부를 통해 실시간으로 상기 무인항공기에게 전송한다. 상기 무선주파수 송수신부는 상기 제어부로부터 전달되는 방향신호를 무선주파수신호로 변환시켜 상기 무인항공기로 전송한다.

다음으로 본 발명은 주변의 영상을 촬영하여 촬영한 영상신호를 스마트안경과 같은 외부기기로 전송하는 무인항공기에 있어서, 주변의 소리를 입력받기 위한 마이크; 주변의 영상을 촬영하기 위한 스틸용영상 및 동영상카메라; 상기 스틸용영상 및 동영상 카메라의 촬영 방향을 전환시키기 위한 구동부; 상기 마이크로부터 입력되는 소리신호와 상기 스틸용영상 및 동영상 카메라에 의해 촬영된 영상신호를 포함한 복합영상신호를 출력하고, 방향신호에 따라 상기 스틸용영상 및 동영상카메라의 방향을 전환시키도록 상기 구동부를 제어하는 제어부; 및 상기 제어부로부터 전달되는 복합영상신호를 무선주파수신호로 변환시켜 상기 외부기기에 실시간 전송하고, 상기 외부기기로부터 무선주파수신호로 전송된 상기 방향신호를 기저대역신호로 변환시켜 상기 제어부로 전달하는 무선주파수 송수신부를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명이 적용되는 스마트안경을 착용한 무인항공기 조종자와 무인항공기사이의 송수신 시스템 개요도로서, 무인항공기의 조종자(300)가 착용하는 무선주파수신호로 제공되는 영상신호를 실시간으로 디스플레이하는 스마트안경(100)과, 탑재된 카메라를 통해 지상의 영상을 촬영하고 촬영한 영상을 무선주파수신호로 스마트안경(100)에게 전송하는 무인항공기(200)로 구성된다. 스마트안경(100)은 스마트안경(100)에 영상신호의 디스플레이 기능과 소리신호의 출력 기능을 부여하여 무인항공기(200)의 카메라에 의해 공중에서 촬영되는 영상을 실시간으로 스마트안경(100) 상에 디스플레이하여 주고, 또한 무인항공기(200)의 주변에서 발생되는 음향 등의 소리신호를 스마트안경(100)을 통해 제공함으로써, 스마트안경(100)의 착용자가 지상에서도 비행기에 탑승한 것과 같은 기분을 갖도록 하고, 착용자인 무인항공기 조종자(300)가 스마트안경(100)을 착용하여, 상공을 운항 중인 무인항공기(200)와 실시간으로 송수신하여 무인항공기(200)에 대해서 촬영과 조정을 동시에 진행할 수 있도록 하며, 무인항공기(200)에 대한 제어와 조종기능의 역할을 하여, 상기 스마트안경(100)의 이동 방향에 따라 자동으로 무인항공기(200)의 카메라촬영 방향을 조절할 수 있도록 한 것이다. 무인항공기(200)는 탑재된 카메라를 통해 공중에서 지상의 영상을 촬영하고 탑재된 마이크를 통해 주변에서 발생되는 소리를 입력받은 후, 촬영한 영상신호와 입력된 소리신호를 포함하는 복합영상신호를 무선주파수신호로 변환시켜 스마트안경(100)에게 전송한다.

여기서, 무인항공기(200)는 별도로 법적인 허가없이 사용할 수 있는 2.4GHz의 ISM(Industrial Scientific Medical)대의 주파수를 이용하여 복합영상신호를 스마트안경(100)에게 전송하되, 어드레스를 이용하지 않고 일방적으로 복합영상신호를 무선주파수신호로 변환시켜 전송한다. 그리고, 스마트안경(100)이 착용자에 의해 방향이 이동될 때마다 이동 방향을 감지하여 감지한 방향신호를 무선주파수신호로 변환시켜 무인항공기(200)로 실시간 전송하면, 무인항공기(200)는 스마트안경(100)으로부터 전송된 방향신호에 따라 탑재된 카메라의 촬영 방향을 스마트안경(100)이 이동된 방향으로 변경시킨다.

이와 같은 기능을 수행하는 스마트안경(100)과 무인항공기(200)에 적용되는 본 발명에 대하여 살펴보면 다음과 같다. 도 2는 본 발명에 따른 일실시예에 의한 감시 및 항공사진 촬영을 위한 무인항공기 제어 시스템의 개략도이다.

도 2를 참조하면, 본 발명의 디스플레이 장치는, 영상신호를 디스플레이하기 위한 디스플레이부(110)와, 소리신호를 출력하기 위한 스피커(120)와, 스마트안경(100)의 이동 방향을 감지하기 위한 방향감지 센서(130)와, 무인항공기(200)로부터 전송된 복합영상신호에 포함된 영상신호와 소리신호를 각각 디스플레이부(110)와 스피커(120)로 출력시키고, 방향감지 센서(130)에 의해 감지된 방향신호를 무인항공기(200)로 전송하는 제어부(140)와, 무인항공기(200)로부터 전송된 무선주파수신호를 기저대역신호로 변환시켜 제어부(140)로 전달하고 제어부(140)로부터 전달되는 방향신호를 무선주파수신호로 변환시켜 무인항공기(200)로 전송하는 무선주파수 송수신부(150)와, 제어부(140)에 의해 전달되는 영상신호를 디스플레이부(110)에 적합한 신호로 변환시켜 디스플레이부(110)로 출력하는 비디오 처리부(160)와, 제어부(140)에 의해 전달되는 소리신호를 스피커(120)에 적합한 전기적 신호로 변환시켜 스피커(120)로 출력하는 오디오 처리부(170)를 구비한다.

이와 같은 구성을 갖는 본 발명의 디스플레이 장치는 스마트안경(100) 상에 배치되고 배터리나 건전지에 의해 구동된다. 디스플레이부(110)는 무인항공기(200)에서 실시간으로 제공되는 영상신호를 제어부(140)에 의해 전달받아 디스플레이함으로써, 무인항공기의 조종자(300)인 스마트안경(100)의 착용자가 실제로 비행기에 탑승하여 무인항공기를 직접 제어 및 조정하는 효과를 부여한다. 이에 따라, 무인항공기의 조종자(300)인 착용자가 스마트안경(100)을 착용하는 경우, 디스플레이부(110)는 착용자 눈의 전면 혹은 일측에 위치되도록 구현하며, 스마트안경(100)의 디스플레이부(110)는 상하방향으로 이동할 수 있도록 구현하는 것이 바람직할 것이다. 즉, 무인항공기(200)로부터 제공되는 영상신호를 무인항공기(200)의 카메라로 촬영할 때에는 디스플레이부(110)가 착용자 눈의 전면에 위치되도록 하고, 디스플레이할 때에는 디스플레이부(110)가 스마트안경(100)의 일측에 위치될 수 있도록 한다. 그리고, 디스플레이부(110)는 액정화면(LCD : Liquid Crystal Display)으로 구현될 수 있다.

스피커(120)는 무인항공기(200)의 주변에서 발생되는 소리신호를 실시간으로 수신하여 출력함으로써, 무인항공기의 조종자(300)인 스마트안경(100)의 착용자가 무인항공기(200)에 의해 촬영되는 영상신호를 보면서 동시에 그의 주변에서 발생되는 소리신호를 들을 수 있도록 하여 보다 높은 현장감을 부여한다. 이러한 스피커(120)는 스마트안경(100) 상에 부착되되, 착용자가 스마트안경(100)을 착용하고 있을 때 착용자의 양측 귀 근처에 위치되도록 한 쌍으로 구현되는 것이 바람직할 것이다.

방향감지 센서(130)는 무인항공기의 조종자(300)인 머리에 스마트안경(100)을 착용하고 있는 착용자가 머리를 움직일 경우 움직인 머리의 방향을 감지하여 감지한 방향신호를 제어부(140)로 전달하여 감지한 방향신호가 무인항공기(200)로 실시간 전송되도록 한다. 이는 무인항공기의 조종자(300)인 스마트안경(100)의 착용자가 자신의 머리를 움직여 무인항공기(200)에 탑재된 카메라의 촬영 위치를 이동시킬 수 있도록 하기 위한 것으로, 이에 따라 무인항공기의 조종자(300)인 착용자는 자신의 머리를 움직여 자신이 보고 싶은 방향의 영상을 실시간으로 볼 수 있는 것이다.

제어부(140)는 무인항공기(200)로부터 전송된 복합영상신호가 무선주파수 송수신부(150)를 통해 수신되면, 수신된 복합영상신호에 포함된 영상신호와 소리신호를 각각 비디오 처리부(160)와 오디오 처리부(170)로 출력시킨다. 이때, 비디오처리부(160)는 제어부(140)에 의해 전달되는 영상신호를 디스플레이부(110)에 적합한 신호로 변환시켜 디스플레이부(110)로 출력하고, 또한 오디오 처리부(170)는 제어부(140)에 의해 전달되는 소리신호를 스피커(120)에 적합한 전기적 신호로 변환시켜 스피커(120)로 출력한다. 그리고, 제어부(140)는 방향감지 센서(130)에 의해 감지된 방향신호를 실시간으로 무선주파수 송수신부(150)을 통해 무인항공기(150)로 전송한다. 무선주파수 송수신부(150)는 무인항공기(200)로부터 전송된 2.4GHz의 ISM 대의 무선주파수신호를 기저대역신호로 변환시켜 제어부(140)로 전달하고, 또한 제어부(140)로부터 전달되는 방향신호를 2.4GHz의 ISM 대의 무선주파수신호로 변환시켜 무인항공기(200)로 전송한다.

계속해서 도 2를 참조하면, 본 발명의 무인항공기(200)는, 주변의 소리를 입력받기 위한 마이크(210)와, 주변의 영상을 촬영하기 위한 카메라인 스틸영상카메라(7) 및 동영상카메라(9)와, 마이크(210)로부터 입력되는 소리신호와 스틸영상카메라(7) 및 동영상카메라(9)에 의해 촬영된 영상신호를 포함한 복합영상신호를 스마트안경(100)으로 전송하고, 스마트안경(100)으로부터 전송된 방향신호에 따라 스틸영상카메라(7) 및 동영상카메라(9)의 촬영 방향의 이동을 제어하기 위한 제어부(5)와, 스마트안경(100)으로부터 전송된 무선주파수신호를 기저대역신호로 변환시켜 제어부(5)로 전달하고 제어부(5)로부터 전달되는 복합영상신호를 무선주파수신호로 변환시켜 스마트안경(100)으로 전송하는 무선주파수 송수신부(240)와, 제어부(5)의 제어에 따라 스틸영상카메라(7) 및 동영상카메라(9)의 위치를 이동시키기 위한 구동부(6)를 구비한다. 마이크(210)는 무인항공기(200)의 주변에서 발생되는 소리를 입력받아 제어부(5)에 적합한 전기적 소리신호를 제어부(5)로 출력한다. 스틸영상카메라(7) 및 동영상카메라(9)는 제어부(5)의 촬영 지시에 따라 비행중인 무인항공기(200)의 영상을 촬영하여 제어부(5)로 실시간 전달하며, 또한 구동부(6)에 의해 촬영 방향이 이동된다. 따라서 제어부(5)에는 스틸영상카메라(7) 및 동영상카메라(9)가 촬영하여 실시간 전송한 영상을 판독하는 기능을 구비하는 것이 바람직하다. 또한 제어부(5)는 마이크(210)로부터 입력되는 소리신호와 스틸영상카메라(7) 및 동영상카메라(9)에 의해 촬영된 영상신호를 포함한 복합영상신호를 무선주파수 송수신부(240)를 통해 스마트안경(100)으로 실시간 전송하고, 또한 스마트안경(100)으로부터 전송된 방향신호에 따라 스틸영상카메라(7) 및 동영상카메라(9)의 촬영 방향의 이동을 제어한다. 무선주파수 송수신부(240)는 스마트안경(100)으로부터 전송된 2.4GHz의 ISM 대의 무선주파수신호를 기저대역신호로 변환시켜 제어부(5)로 전달하고, 또한 제어부(5)로부터 전달되는 복합영상신호를 2.4GHz의 ISM 대의 무선주파수신호로 변환시켜 스마트안경(100)으로 전송한다. 구동부(6)는 제어부(5)가 지시하는 방향으로 스틸영상카메라(7) 및 동영상카메라(9)의 촬영 방향을 이동시킨다.

상기 무인항공기(200)는 무인항공기의 조종자(300)의 제어 및 조정 명령에 따라 촬영 및 감시 등의 작업을 수행할 수 있도록 무인항공기 시스템으로 구축되는 것이 바람직하다. 따라서 도 1과 도2 및 도 3을 참조하여, 이하 보다 상세히 설명한다.

본 발명에 따른 스마트안경(100)을 이용한 감시 및 항공사진 촬영을 위한 무인항공기(200)의 제어 및 조정방법은, 조종자(300)가 수동으로 상기 무인항공기(200)를 이륙시켜 무인항공기(200)를 감시 및 촬영지역의 상공에 진입시키고 자동조종명령을 주면(S10), 무인항공기(200)가 지피에스(GPS) 신호를 수신하여 현재 항공기의 위치를 계산하고 무인항공기(200)에 입력되어 있는 감시 및 촬영지역의 경도, 위도와 촬영고도를 계산하여, 감시 및 촬영지역까지 자동으로 이동하여, 미리 입력된 프로그램에 따라 감시 및 촬영지역을 순회한다. 상기와 같이 무인항공기(200)가 이륙된 후에는 상기 무인항공기(200)에 탑재된 제어부(5)에 의해 동영상 카메라(9) 촬영명령이 발생되어 구동부(6)가 무인항공기(200)에 탑재된 동영상 카메라(9)를 작동시킨다(S20).

상기와 같이 동영상 카메라(9) 작동에 의해 획득된 영상은, 동영상 카메라(9)와 연결된 영상 송신기(8)에 의해 지상에 위치한 영상 수신기(2)로 전송되어 상기 영상 수신기(2)와 연결된 스마트안경(100)의 디스플레이부(110)에 실시간으로 디스플레이 됨과 동시에, 상기 동영상 카메라(9)와 연결된 제어부(5)로 실시간 전송된다(S30). 이때 제어부(5)는 동영상 카메라(9)에 의해 획득된 영상 속에서의 각종 표시물에 대해, 미리 입력된 값인 감시 및 촬영 대상물과의 비교를 통해, 실시간으로 그 여부를 확인할 수 있다.

따라서 상기와 같이 동영상 카메라(9)에 의해 획득된 감시 및 촬영되는 영상이 스마트안경(100)의 디스플레이부(110) 상에 디스플레이 되면, 동시에 상기 제어부(5)는 상기 동영상 카메라(9)에 의해 실시간 전송된 영상을 판독하여, 무인항공기의 조종자(300)에 의해서 미리 입력된 값과 비교하여, 항공스틸사진으로 촬영할 감시 및 촬영대상물인지 그 판단을 하게 된다(S40). 이때, 무인항공기의 조종자(300)는 인터넷에 연결된 자신이 착용한 스마트안경(100)에 대해, 실시간으로 촬영할 감시 및 촬영대상물의 입력된 값을 변경할 수 있다. 또한 스마트안경(100)에서 촬영할 감시 및 촬영대상물의 입력된 값이 변경되면, 실시간으로 제어부(5)에 전송될 수 있다.

상기 제어부(5)에 의해 표시물이 감시 및 촬영 대상물과 일치한다고 판단되면, 상기 무인항공기의 제어부(5)에 의해 스틸 영상카메라(7) 작동신호가 발생되어 구동부(6)가 스틸 영상카메라(7)를 작동시켜 감시 및 촬영 대상물의 항공사진을 촬영한다(S50). 이때, 상기 무인항공기의 제어부(5)에 의해 스틸 영상카메라(7) 작동신호가 발생되어 구동부(6)가 스틸 영상카메라(7)를 작동시켜 감시 및 촬영 대상물의 항공사진을 촬영하면, 이를 지상의 무인항공기 조종자(300)의 스마트안경(100)에 실시간으로 전송하여 디스플레이될 수 있다(S60). 이때 스마트안경(100)에 실시간으로 감시 및 촬영 대상물의 항공사진이 전송되어 디스플레이되면, 동시에 스마트안경(100)에는 감시 및 촬영지역에 대한 자동모드에 대한 계속 여부가 디스플레이되어, 무인항공기 조종자(300)에게 자동모드 가부(可否)를 묻고, 이때 부(否)의 경우, 이전 단계인 감시단계(S20)로 돌아가서 계속해서 감시 및 촬영임무를 수행하고, 가(可)의 경우, 수동조종명령단계로 진행한다. 바람직하게는, 상기 확인단계(S40)에서, 상기 제어부(5)에 의해 표시물이 감시 및 촬영 대상물이 아니라고 판단되면(S40), 무인항공기(200)는 미리 입력된 프로그램에 따라 감시 및 촬영지역을 계속해서 순회한다(S20).

상기 무인항공기(200)의 이륙 및 착륙과 상공에서의 이동 등의 무인항공기에 대한 작동명령은 무인항공기 조종자가 수동으로 무인항공기를 이륙시키면, 이후 감시 및 촬영지역의 상공으로 진입되도록 하고, 촬영 및 감시지역에 도착한 후에는 무인항공기 조종자가 자동조종명령을 주면 감시 및 촬영지역을 순회하도록 하는 것이 바람직하다. 또한 무인항공기가 자동으로 감시 및 촬영지역을 순회 중 감시 및 촬영대상물이 발견되면, 이때 카메라 촬영방향은 스마트안경의 방향전환을 통해 조정되도록 하는 것이 바람직하다. 또한 상기 무인항공기시스템에서 통신은 무선 혹은 GPS위성 및 통신용 위성의 인공위성통신망을 사용하는 것이 바람직하다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 고안이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100: 스마트안경
110: 디스플레이부
120: 스피커
130: 방향감지 센서
140, 5: 제어부
150, 240: 무선주파수 송수신부
160: 비디오 처리부
170: 오디오 처리부
200: 무인항공기
300: 무인항공기 조종자
1: 마이크
2: 영상수신기
3: 명령송신기
4: 명령수신기
6: 구동부
7: 스틸영상카메라
8: 영상송신기
9: 동영상카메라

Claims (1)

1. 스마트안경에 장착되며, 영상신호를 디스플레이하기 위한 디스플레이부; 상기 스마트안경에 장착되며, 상기 무인항공기로부터 전송된 무선주파수신호를 기저대역신호로 변환시키는 무선주파수 송수신부; 상기 스마트안경에 장착되며, 상기 무인항공기로부터 실시간으로 전송되어, 상기 무선주파수 송수신부를 통하여 수신된 영상신호를 상기 디스플레이부에 출력시키는 제어부; 상기 스마트안경에 장착되며, 상기 제어부에 의해 전달되는 소리신호를 전기적인 신호로 변환시켜 상기 스마트안경에 장착된 스피커에 출력하는 오디오 처리부; 상기 스마트안경에 장착되며, 상기 제어부에 의해 전달되는 영상신호를 상기 디스플레이부에 적합한 신호로 변환시켜 상기 디스플레이부로 출력하는 비디오 처리부; 및 상기 스마트안경에 장착되며, 상기 스마트안경의 이동 방향을 감지하기 위한 방향감지 센서를 구비하되, 상기 디스플레이부는 상기 스마트안경을 착용한 착용자의 전면에 위치되거나 상기 스마트안경에 임의의 일측에 부착되고, 상기 제어부는 상기 무인항공기로부터 전송된 복합영상신호에 포함된 영상신호와 소리신호를 각각 상기 비디오 처리부와 상기 오디오 처리부에 출력하고, 상기 방향감지 센서에 의해 감지된 방향신호를 상기 무선주파수송수신부를 통해 실시간으로 상기 무인항공기에게 전송하고, 상기 무선주파수 송수신부는 상기 제어부로부터 전달되는 방향신호를 무선주파수신호로 변환시켜 상기 무인항공기로 전송하는 것을 특징으로 하는 스마트안경을 이용한 무인항공기 디스플레이 장치에 있어서, 상기 무인항공기가 감시 및 촬영지역의 상공에 진입하고 자동 조종되는 단계; 상기 무인항공기에 탑재된 제어부에 의해 동영상카메라 촬영명령이 발생되어 구동부가 무인항공기에 탑재된 동영상카메라를 작동시키는 단계; 상기 동영상카메라에 의해 획득된 영상이, 동영상카메라와 연결된 영상 송신기에 의해 지상에 위치한 영상 수신기로 전송되어 영상 수신기와 연결된 스마트안경에 실시간 디스플레이 됨과 동시에, 상기 동영상카메라와 연결된 무인항공기 내부의 제어부로 실시간 전송되는 단계; 상기 동영상 카메라에 의해 실시간 전송된 영상을 제어부가 판독하여 영상 상의 표시물이 감시 및 촬영 대상물인지를 판단하는 단계; 상기 제어부에 의해 표시물이 감시 및 촬영 대상물과 일치한다고 판단되면, 상기 무인항공기의 제어부에 의해 스틸 영상카메라 작동신호가 발생되어 구동부가 스틸 영상카메라를 작동시켜 감시 및 촬영 대상물의 항공사진을 촬영하는 단계; 및 상기 무인항공기의 제어부에 의해 스틸 영상카메라 작동신호가 발생되어 구동부가 스틸 영상카메라를 작동시켜 감시 및 촬영 대상물의 항공사진을 촬영하면, 이를 지상의 무인항공기 조종자의 스마트안경에 디스플레이 하면서, 이때 상기 제어부에 의해 목표물이 감시 및 촬영 대상물이 아니라고 판단되면, 상기 제어부에 의해 작동신호가 발생되어 구동부가 다시 무인항공기를 작동시키는 단계;를 포함하는 것을 특징으로 하는 스마트안경을 이용한 무인항공기 제어와 조종시스템

Images