KR101888310B1 - 스테레오 카메라를 이용한 탐지 장치 및 방법 - Google Patents

스테레오 카메라를 이용한 탐지 장치 및 방법 Download PDF

Info

Publication number
KR101888310B1
KR101888310B1 KR1020170102926A KR20170102926A KR101888310B1 KR 101888310 B1 KR101888310 B1 KR 101888310B1 KR 1020170102926 A KR1020170102926 A KR 1020170102926A KR 20170102926 A KR20170102926 A KR 20170102926A KR 101888310 B1 KR101888310 B1 KR 101888310B1
Authority
KR
South Korea
Prior art keywords
cameras
baseline
obstacle
stereo camera
adjusting
Prior art date
Application number
KR1020170102926A
Other languages
English (en)
Inventor
장재원
김태식
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020170102926A priority Critical patent/KR101888310B1/ko
Application granted granted Critical
Publication of KR101888310B1 publication Critical patent/KR101888310B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

스테레오 카메라를 이용한 탐지 장치 및 방법이 개시된다. 스테레오 카메라를 이용한 탐지 장치는 비행체에 배열되는 리니어 모션 가이드에, 위치하는 n개(n은, 2 이상의 자연수)의 카메라와, 상기 n개의 카메라를 상기 리니어 모션 가이드 상에서 이동시켜, 상기 n개의 카메라 간 베이스라인을 조정하고, 조정된 베이스라인에서의, 상기 n개의 카메라를 통해 획득한 영상을 이용하여, 장애물을 탐지하는 프로세서를 포함할 수 있다.

Description

스테레오 카메라를 이용한 탐지 장치 및 방법{DETECTION APPARATUS AND METHOD FOR USING STEREO CAMERA}
본 발명의 실시예들은 카메라 간 베이스라인의 길이를 가변하고, 가변된 베이스라인에서의 카메라를 통해 획득한 영상에 기초하여, 장애물을 탐지하는 스테레오 카메라를 이용한 탐지 장치 및 방법에 관한 것이다.
장애물 탐지를 위해서 주로 사용하는 시스템은 라이다, 초음파 및 영상을 기반으로 하는 스테레오 카메라 등을 이용할 수 있다.
여기서, 스테레오 카메라를 이용한 시스템은 예컨대, 두 개의 카메라를 통해, 획득한 영상 정보를 이용하여, 장애물까지의 거리를 측정할 수 있다.
이때, 기존의 스테레오 카메라의 경우, 베이스라인(base line)의 길이가 고정형이라, 스테레오 카메라를 이용한 시스템은 고정된 측정 범위에서의 장애물만을 탐지할 수 있다.
따라서, 운용 환경이 변경될 경우, 장애물을 탐지하는 측정 범위를 유연하게 가변시키기 어려워, 장애물 탐지가 용이하지 않다.
본 발명은 비행체에 배열되는 리니어 모션 가이드에, 위치한 카메라 간 베이스라인의 길이를 조정하고, 조정된 베이스라인에서의 카메라를 통해 획득한 영상에 기초하여, 장애물을 탐지 함으로써, 탐지 거리(측정 범위)를 유연하게 가변시킴에 따라, 운용 환경 변경(예컨대, 비행체가 실내와 실외 간을 이동하여 비행함)에 무관하게, 장애물을 용이하게 탐지할 수 있게 하는 것을 목적으로 한다.
상기의 목적을 이루기 위한, 스테레오 카메라를 이용한 탐지 장치는 비행체에 배열되는 리니어 모션 가이드에, 위치하는 n개(n은, 2 이상의 자연수)의 카메라와, 상기 n개의 카메라를 상기 리니어 모션 가이드 상에서 이동시켜, 상기 n개의 카메라 간 베이스라인을 조정하고, 조정된 베이스라인에서의, 상기 n개의 카메라를 통해 획득한 영상을 이용하여, 장애물을 탐지하는 프로세서를 포함할 수 있다.
상기의 목적을 이루기 위한, 스테레오 카메라를 이용한 탐지 방법은 비행체에 배열되는 리니어 모션 가이드에, n개(n은, 2 이상의 자연수)의 카메라를 위치시키는 단계와, 상기 n개의 카메라를 상기 리니어 모션 가이드 상에서 이동시켜, 상기 n개의 카메라 간 베이스라인을 조정하는 단계와, 조정된 베이스라인에서의, 상기 n개의 카메라를 통해 획득한 영상을 이용하여, 장애물을 탐지하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 비행체에 배열되는 리니어 모션 가이드에, 위치한 카메라 간 베이스라인의 길이를 조정하고, 조정된 베이스라인에서의 카메라를 통해 획득한 영상에 기초하여, 장애물을 탐지 함으로써, 탐지 거리를 유연하게 가변시킴에 따라, 운용 환경 변경(예컨대, 비행체가 실내와 실외 간을 이동하여 비행함)에 무관하게, 장애물을 용이하게 탐지할 수 있게 한다.
도 1은 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치를 포함하는 네트워크의 일례를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치의 구성 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치에서의 비행체 제어 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 방법을 나타내는 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치를 포함하는 네트워크의 일례를 도시하는 도면이다.
도 1을 참조하면, 네트워크(100)는 스테레오 카메라를 이용한 탐지 장치(101) 및 관리자 단말(103)을 포함할 수 있다.
스테레오 카메라를 이용한 탐지 장치(101)는 예컨대, 비행체에 탑재될 수 있으며, 비행체에 배열되는 리니어 모션 가이드에, 위치한 카메라 간 베이스라인의 길이를 조정하고, 조정된 베이스라인에서의 카메라를 통해 획득한 영상에 기초하여, 장애물을 탐지할 수 있다. 이에 따라, 스테레오 카메라를 이용한 탐지 장치(101)는 탐지 거리를 유연하게 가변시킴으로써, 운용 환경 변경(예컨대, 비행체가 실내와 실외 간을 이동하여 비행함)에 무관하게, 장애물을 용이하게 탐지할 수 있게 한다.
또한, 스테레오 카메라를 이용한 탐지 장치(101)는 상기 영상으로부터 장애물이 탐지되면, 상기 장애물이 탐지된 위치에 관한 정보(예컨대, 위치에 대한 방향, 거리, 또는 좌표)를 검출하고, 상기 검출된 정보를 스피커 또는 디스플레이를 통해 출력하거나, 또는 설정된 관리 단말(103)로 전송할 수 있다.
관리자 단말(103)은 비행체(또는, 스테레오 카메라를 이용한 탐지 장치)와 설정된 거리 내에 위치하여, 비행체(또는, 스테레오 카메라를 이용한 탐지 장치)를 제어하는 리모콘일 수 있으나, 이에 한정되지 않고, 원격에 위치하는 원격 단말일 수 있다.
관리자 단말(103)은 스테레오 카메라를 이용한 탐지 장치(101)에서 장애물이 탐지되면, 스테레오 카메라를 이용한 탐지 장치(101)로부터 장애물이 탐지된 위치에 관한 정보를 수신하여 출력 함으로써, 관리자로 하여금, 비행체(또는, 스테레오 카메라를 이용한 탐지 장치)를 제어할 수 있는 환경을 마련할 수 있다.
도 2는 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치(200)는 n개(n은, 2 이상의 자연수)의 카메라(201), 센서(203), 프로세서(205) 및 데이터베이스(207)를 포함할 수 있다.
n개의 카메라(201)는 예컨대, 2개의 카메라일 수 있으며, 비행체(예컨대, 드론)에 배열되는 리니어 모션 가이드(Linear Motion Guide)에, 위치할 수 있다. n개의 카메라(201)는 프로세서(205)의 제어에 따라, 상기 리니어 모션 가이드 상에서 이동할 수 있다. 여기서, 리니어 모션 가이드는 예컨대, 직선 형태일 수 있으며, 프로세서(205)의 제어에 따른, 카메라의 이동을 가이드 하는 가이드 라인을 포함할 수 있다.
센서(203)는 비행체의 가속도를 설정된 주기 마다 감지할 수 있다.
프로세서(205)는 n개의 카메라(201)를 상기 리니어 모션 가이드 상에서 이동시켜, n개의 카메라(201) 간 베이스라인을 조정하고, 조정된 베이스라인에서의, n개의 카메라(201)를 통해 획득한 영상을 이용하여, 장애물(오브젝트)을 탐지할 수 있다.
이때, 프로세서(205)는 상기 비행체가 실내와 실외 간을 비행 함에 따라, n개의 카메라(201)를 좌우로 이동시켜, n개의 카메라(201) 간 베이스라인의 길이를 조정할 수 있다. 여기서, 프로세서(205)는 예컨대, 플렉시블 케이블(flexible cable)로 n개의 카메라(201)와 각각 연결될 수 있으며, 플렉시블 케이블의 길이 조절을 통해, 각 카메라를 좌 또는 우로 이동시킬 수 있다.
구체적으로, 프로세서(205)는 상기 비행체가 실내에서 실외로 비행하는 경우, n개의 카메라(201)를 상호 간의 거리가 작아지도록 이동시켜, n개의 카메라(201) 간 베이스라인의 길이를 설정된 제1 간격 이하(또는, 최대 및 최소를 갖는 제1 범위)로 조정 함으로써, 상대적으로 탐지 거리를 확장할 수 있다. 또한, 프로세서(205)는 상기 비행체가 실외에서 실내로 비행하는 경우, n개의 카메라(201)를 상호 간의 거리가 커지도록 이동시켜, n개의 카메라(201) 간 베이스라인의 길이를 설정된 제2 간격 이상(또는, 최대 및 최소를 갖는 제2 범위)으로 조정할 수 있다.
즉, 프로세서(205)는 n개의 카메라(201) 간 베이스라인의 길이를 조정 함으로써, 탐지 거리를 유연하게 가변시킴에 따라, 운용 환경 변경(예컨대, 비행체가 실내와 실외 간을 이동하여 비행함)에 무관하게, 장애물을 용이하게 탐지할 수 있는 환경을 마련한다.
n개의 카메라(201) 간 베이스라인이 조정되면, 프로세서(205)는 데이터베이스(207) 내 룩업 테이블로부터 상기 조정된 베이스라인에 대응하는 파라미터를 검출하고, 상기 검출된 파라미터에 기초하여, 상기 영상으로부터 장애물을 탐지 함으로써, n개의 카메라(201) 간 베이스라인이 조정되더라도, 이에 적합한 정보를 용이하게 획득하여, 영상으로부터 장애물을 신속하게 탐지할 수 있다.
상기 파라미터는 카메라 내부 파라미터(Intrinsic parmeters)와 카메라 외부 파라미터(Extrinsic parameters)를 포함할 수 있다. 여기서, 카메라 내부 파라미터는 초점거리(focal length), 주점(Principal point) 및 비대칭계수(Skew coefficient)에 관한 파라미터를 포함할 수 있다. 또한, 카메라 외부 파라미터는 3차원 위치 및 자세(예컨대, 팬(pan), 틸트(tilt), 피치(Pitch), 롤(roll), 요(yaw))에 관한 파라미터를 포함할 수 있다.
상기 장애물 탐지시, 프로세서(205)는 상기 검출된 파라미터를 이용하여, n개의 카메라(201)를 통해 획득한 각 영상을 처리할 수 있다. 이때, 프로세서(205)는 영상 처리 과정에서 보간법(interpolation)(예컨대, 스플라인 보간법)을 적용할 수 있다.
프로세서(205)는 상기 장애물이 탐지되면, 상기 장애물이 탐지된 위치에 관한 정보(예컨대, 위치에 대한 방향, 거리, 또는 좌표)를 검출(상기 위치에 관한 정보 검출시, 상기 파라미터를 이용할 수 있음)하고, 상기 검출된 정보를 스피커 또는 디스플레이를 통해 출력하거나, 또는 설정된 관리 단말로 전송할 수 있다.
이때, 프로세서(205)는 상기 검출된 정보에 기초하여, 움직임 제어명령을 생성하고, 상기 생성된 움직임 제어명령을 상기 비행체에 제공하여, 상기 비행체가 상기 장애물을 회피하도록 한다. 여기서, 움직임 제어명령은 이동할 위치에 대한 방향, 거리, 또는 좌표를 포함할 수 있다.
또한, 프로세서(205)는 상기 관리 단말로부터 움직임 제어명령을 수신할 수 있으며, 관리 단말로부터 움직임 제어명령을 수신한 경우, 상기 생성된 움직임 제어명령을 폐기하고, 우선순위가 높은 움직임 제어명령 즉, 상기 관리 단말로부터 수신한 움직임 제어명령을 상기 비행체에 제공할 수 있다.
다른 일례로서, 프로세서(205)는 상기 생성한 움직임 제어명령에 따른 제1 이동과 상기 관리 단말로부터 수신한 움직임 제어명령에 따른 제2 이동 간의 차이가, 설정치(예컨대, 설정된 방향 또는 거리)를 초과할 경우, 제1 이동 및 제2 이동의 평균으로 이동하도록 새로운 움직임 제어명령을 생성하여, 상기 비행체에 제공할 수 있다. 이때, 프로세서(205)는 제1 이동 및 제2 이동 간의 차이가 설정치를 초과하지 않을 경우, 상기 관리 단말로부터 수신한 움직임 제어명령을 상기 비행체에 제공할 수 있다.
카메라 간 베이스라인의 길이를 조정하는 다른 일례로서, 프로세서(205)는 센서(203)에 의해, 감지된 가속도가 증가한 경우, 상기 증가에 비례하여, n개의 카메라(201) 간 베이스라인의 길이가 감소하도록 n개의 카메라(201)를 이동시킬 수 있다.
한편, 프로세서(205)는 상기 장애물이 탐지되지 않는 경우, 설정된 범위 내에서, n개의 카메라(201) 간 베이스라인의 길이를 조정하거나, 또는 n개의 카메라(201)에서의 촬영 각을 조정할 수 있다.
데이터베이스(207)는 각 베이스라인에 대응하는 파라미터를 유지하는 룩업 테이블을 저장할 수 있다.
도 3은 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치의 구성 일례를 도시한 도면이다.
도 3을 참조하면, 스테레오 카메라를 이용한 탐지 장치(300)는 2개의 카메라(301) 및 프로세서(303)를 포함할 수 있다.
2개의 카메라(301)는 제1 카메라(301-1) 및 제2 카메라(301-2)일 수 있으며, 비행체에 배열되는 리니어 모션 가이드(305)에 위치하고, 플렉시블 케이블(307)를 통해, 프로세서(303)와 연결될 수 있다.
2개의 카메라(301)는 프로세서(303)의 제어에 따라, 리니어 모션 가이드(305) 상에서 좌 또는 우로 이동할 수 있다.
프로세서(303)는 플렉시블 케이블의 길이 조절을 통해, 제1 카메라(301-1) 및 제2 카메라(301-2)를 리니어 모션 가이드(305) 상에서 이동시켜, 제1 카메라(301-1) 및 제2 카메라(301-2) 간 베이스라인을 조정하고, 조정된 베이스라인에서의, 제1,2 카메라(301-1, 301-2)를 통해 획득한 영상을 이용하여, 장애물을 탐지할 수 있다.
예컨대, 프로세서(303)는 비행체가 실내에서 실외로 비행하는 경우, 제1,2 카메라(301-1, 301-2) 간의 거리가 작아지도록 중심을 기준으로, 제1 카메라(301-1)를 우로 이동시키고, 제2 카메라(301-2)를 좌로 이동시켜, 제1 카메라(301-1) 및 제2 카메라(301-2) 간 베이스라인의 길이를 설정된 제1 간격(예컨대, 10㎝) 이하로 조정 함으로써, 상대적으로 탐지 거리를 확장할 수 있다.
또한, 프로세서(303)는 상기 비행체가 실외에서 실내로 비행하는 경우, 제1,2 카메라(301-1, 301-2) 간의 거리가 커지도록 중심을 기준으로, 제1 카메라(301-1)를 좌로 이동시키고, 제2 카메라(301-2)를 우로 이동시켜, 제1 카메라(301-1) 및 제2 카메라(301-2) 간 베이스라인의 길이를 설정된 제2 간격(예컨대, 30㎝) 이상으로 조정할 수 있다.
즉, 프로세서(303)는 제1,2 카메라(301-1, 301-2) 간 베이스라인의 길이를 조정 함으로써, 탐지 거리를 유연하게 가변시킴에 따라, 비행체의 실내와 실외 간 이동에 무관하게, 장애물을 용이하게 탐지할 수 있는 환경을 마련한다.
도 4는 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 장치에서의 비행체 제어 일례를 설명하기 위한 도면이다.
도 4를 참조하면, 스테레오 카메라를 이용한 탐지 장치(400)는 장애물이 탐지되면, 상기 장애물이 탐지된 위치에 관한 정보를 검출하여, 스피커(또는, 디스플레이)를 통해 출력하고, 관리 단말(401)로 전송할 수 있다.
스테레오 카메라를 이용한 탐지 장치(400)는 상기 검출된 정보에 기초하여, 제1 움직임 제어명령을 생성하고, 상기 제1 움직임 제어명령을, 스테레오 카메라를 이용한 탐지 장치(400)가 탑재된 비행체(예컨대, 드론)(403)에 제공하여, 비행체(403)가 상기 장애물을 회피하도록 할 수 있으나, 관리 단말(401)로부터 관리자의 요청에 따른, 제2 움직임 제어명령을 수신한 경우, 상기 제1 움직임 제어명령을 폐기하고, 우선순위가 높은 움직임 제어명령 즉, 관리 단말(401)로부터 수신한 제2 움직임 제어명령을 비행체(403)에 제공할 수 있다.
다른 일례로서, 스테레오 카메라를 이용한 탐지 장치(400)는 상기 제1 움직임 제어명령에 따른 제1 이동(예컨대, +y축 기준으로 5도 방향, 20㎝ 거리 이동) 및 상기 제2 움직임 제어명령에 따른 제2 이동(예컨대, +y축 기준으로 15도 방향, 30㎝ 거리 이동) 간의 차이가, 설정치(예컨대, 5도, 8㎝)를 초과할 경우, 제1 이동 및 제2 이동의 평균(+y축 기준으로 10도 방향, 25㎝ 거리 이동)으로 이동하도록 새로운 움직임 제어명령을 생성하여, 비행체(403)에 제공할 수 있다. 즉, 스테레오 카메라를 이용한 탐지 장치(400)는 상기 제2 움직임 제어명령에 따른 제2 이동을, 상기 제1 움직임 제어명령에 따른 제1 이동으로 보완 함으로써, 관리자의 비행체 운용이, 장애물 회피에 적합하지 않는 경우, 이를 제어할 수 있게 한다.
도 5는 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 탐지 방법을 나타내는 흐름도이다.
도 5를 참조하면, 단계(501)에서, 스테레오 카메라를 이용한 탐지 장치는 비행체에 배열되는 리니어 모션 가이드에, n개(n은, 2 이상의 자연수)의 카메라를 위치시킬 수 있다.
단계(503)에서, 스테레오 카메라를 이용한 탐지 장치는 상기 n개의 카메라를 상기 리니어 모션 가이드 상에서 이동시켜, 상기 n개의 카메라 간 베이스라인을 조정할 수 있다. 이때, 스테레오 카메라를 이용한 탐지 장치는 상기 비행체가 실내와 실외 간을 비행 함에 따라, 상기 n개의 카메라를 좌우로 이동시켜, 상기 n개의 카메라 간 베이스라인의 길이를 조정할 수 있다.
구체적으로, 스테레오 카메라를 이용한 탐지 장치는 상기 비행체가 실내에서 실외로 비행하는 경우, 상기 n개의 카메라를 상호 간의 거리가 작아지도록 이동시켜, 상기 n개의 카메라 간 베이스라인의 길이를 설정된 제1 간격 이하로 조정 함으로써, 상대적으로 탐지 거리를 확장할 수 있다. 또한, 스테레오 카메라를 이용한 탐지 장치는 상기 비행체가 실외에서 실내로 비행하는 경우, 상기 n개의 카메라를 상호 간의 거리가 커지도록 이동시켜, 상기 n개의 카메라 간 베이스라인의 길이를 설정된 제2 간격 이상으로 조정할 수 있다.
다른 일례로서, 스테레오 카메라를 이용한 탐지 장치는 센서에 의해, 감지된 가속도가 증가한 경우, 상기 증가에 비례하여, 상기 n개의 카메라 간 베이스라인의 길이가 감소하도록 n개의 카메라를 이동시킬 수 있다.
단계(505)에서, 스테레오 카메라를 이용한 탐지 장치는 조정된 베이스라인에서의, 상기 n개의 카메라를 통해 획득한 영상을 이용하여, 장애물을 탐지할 수 있다. 이때, 스테레오 카메라를 이용한 탐지 장치는 n개의 카메라 간 베이스라인이 조정되면, 룩업 테이블로부터 상기 조정된 베이스라인에 대응하는 파라미터를 검출하고, 상기 검출된 파라미터에 기초하여, 상기 영상으로부터 장애물을 탐지 함으로써, n개의 카메라 간 베이스라인이 조정되더라도, 이에 적합한 정보를 용이하게 획득하여, 영상으로부터 장애물을 신속하게 탐지할 수 있다.
단계(507)에서, 스테레오 카메라를 이용한 탐지 장치는 상기 장애물이 탐지되면, 상기 장애물이 탐지된 위치에 관한 정보(예컨대, 위치에 대한 방향, 거리, 또는 좌표)를 검출하고, 상기 검출된 정보를 스피커 또는 디스플레이를 통해 출력하거나, 또는 설정된 관리 단말로 전송할 수 있다.
이후, 스테레오 카메라를 이용한 탐지 장치는 상기 검출된 정보에 기초하여, 움직임 제어명령을 생성하고, 상기 생성된 움직임 제어명령을 상기 비행체에 제공하여, 상기 비행체가 상기 장애물을 회피하도록 한다.
또한, 스테레오 카메라를 이용한 탐지 장치는 상기 관리 단말로부터 움직임 제어명령을 수신할 수 있으며, 관리 단말로부터 움직임 제어명령을 수신한 경우, 상기 생성된 움직임 제어명령을 폐기하고, 우선순위가 높은 움직임 제어명령 즉, 상기 관리 단말로부터 수신한 움직임 제어명령을 상기 비행체에 제공할 수 있다.
스테레오 카메라를 이용한 탐지 장치는 상기 생성한 움직임 제어명령에 따른 제1 이동과 상기 관리 단말로부터 수신한 움직임 제어명령에 따른 제2 이동 간의 차이가, 설정치를 초과할 경우, 제1 이동 및 제2 이동의 평균으로 이동하도록 새로운 움직임 제어명령을 생성하여, 상기 비행체에 제공할 수 있다. 이때, 스테레오 카메라를 이용한 탐지 장치는 제1 이동 및 제2 이동 간의 차이가 설정치를 초과하지 않을 경우, 상기 관리 단말로부터 수신한 움직임 제어명령을 상기 비행체에 제공할 수 있다.
한편, 스테레오 카메라를 이용한 탐지 장치는 상기 장애물이 탐지되지 않는 경우, 설정된 범위 내에서, 상기 n개의 카메라 간 베이스라인의 길이를 조정하거나, 또는 상기 n개의 카메라에서의 촬영 각을 조정할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 저장될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 저장되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광저장 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
200: 스테레오 카메라를 이용한 탐지 장치
201: n개의 카메라 203: 센서
205: 프로세서 207: 데이터베이스

Claims (16)

  1. 비행체에 배열되는 리니어 모션 가이드에, 위치하는 n개(n은, 2 이상의 자연수)의 카메라;
    상기 비행체의 가속도를 감지하는 센서; 및
    상기 n개의 카메라를 상기 리니어 모션 가이드 상에서 이동시켜, 상기 n개의 카메라 간 베이스라인을 조정하고, 조정된 베이스라인에서의, 상기 n개의 카메라를 통해 획득한 영상을 이용하여, 장애물을 탐지하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 비행체가 실내에서 실외로 비행하는 경우, 상기 센서에 의해, 감지된 가속도의 증가에 따라, 상기 베이스라인의 길이가 작아지도록 조정하여 탐지 거리를 확장하고,
    상기 비행체가 실외에서 실내로 비행하는 경우, 상기 베이스라인의 길이가 커지도록 조정하는
    스테레오 카메라를 이용한 탐지 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 비행체가 실내에서 실외로 비행하는 경우,
    상기 가속도의 증가에 따라, 상기 n개의 카메라를 상호 간의 거리가 작아지도록 이동시켜, 상기 n개의 카메라 간 베이스라인의 길이를 설정된 제1 간격 이하로 조정하고,
    상기 비행체가 실외에서 실내로 비행하는 경우,
    상기 n개의 카메라를 상호 간의 거리가 커지도록 이동시켜, 상기 n개의 카메라 간 베이스라인의 길이를 설정된 제2 간격 이상으로 조정하는
    스테레오 카메라를 이용한 탐지 장치.
  4. 제1항에 있어서,
    각 베이스라인에 대응하는 파라미터를 유지하는 룩업 테이블(Look up Table)
    을 더 포함하고,
    상기 프로세서는,
    조정된 상기 베이스라인에 대응하는 파라미터를 상기 룩업 테이블로부터 검출하고, 상기 검출된 파라미터에 기초하여, 상기 영상으로부터 장애물을 탐지하는
    스테레오 카메라를 이용한 탐지 장치.
  5. 제1항에 있어서,
    상기 장애물이 탐지되지 않는 경우,
    상기 프로세서는,
    설정된 범위 내에서, 상기 n개의 카메라 간 베이스라인의 길이를 조정하거나, 또는 상기 n개의 카메라에서의 촬영 각을 조정하는
    스테레오 카메라를 이용한 탐지 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 장애물이 탐지되면,
    상기 프로세서는,
    상기 장애물이 탐지된 위치에 관한 정보를 검출하고, 상기 검출된 정보를 스피커 또는 디스플레이를 통해 출력하거나, 또는 설정된 관리 단말로 전송하는
    스테레오 카메라를 이용한 탐지 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 검출된 정보에 기초하여, 움직임 제어명령을 생성하고, 상기 생성된 움직임 제어명령을 상기 비행체에 제공하여, 상기 비행체가 상기 장애물을 회피하도록 하는
    스테레오 카메라를 이용한 탐지 장치.
  9. 비행체에 배열되는 리니어 모션 가이드에, n개(n은, 2 이상의 자연수)의 카메라를 위치시키는 단계;
    상기 n개의 카메라를 상기 리니어 모션 가이드 상에서 이동시켜, 상기 n개의 카메라 간 베이스라인을 조정하는 단계; 및
    조정된 베이스라인에서의, 상기 n개의 카메라를 통해 획득한 영상을 이용하여, 장애물을 탐지하는 단계
    를 포함하고,
    상기 n개의 카메라 간 베이스라인을 조정하는 단계는,
    상기 비행체가 실내에서 실외로 비행하는 경우, 상기 비행체의 가속도 증가에 따라, 상기 베이스라인의 길이가 작아지도록 조정하여 탐지 거리를 확장하는 단계; 및
    상기 비행체가 실외에서 실내로 비행하는 경우, 상기 베이스라인의 길이가 커지도록 조정하는 단계
    를 포함하는 스테레오 카메라를 이용한 탐지 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 n개의 카메라 간 베이스라인의 길이를 조정하는 단계는,
    상기 비행체가 실내에서 실외로 비행하는 경우, 상기 가속도의 증가에 따라, 상기 n개의 카메라를 상호 간의 거리가 작아지도록 이동시켜, 상기 n개의 카메라 간 베이스라인의 길이를 설정된 제1 간격 이하로 조정하는 단계; 및
    상기 비행체가 실외에서 실내로 비행하는 경우, 상기 n개의 카메라를 상호 간의 거리가 커지도록 이동시켜, 상기 n개의 카메라 간 베이스라인의 길이를 설정된 제2 간격 이상으로 조정하는 단계
    를 더 포함하는 스테레오 카메라를 이용한 탐지 방법.
  12. 제9항에 있어서,
    상기 장애물을 탐지하는 단계는,
    조정된 상기 베이스라인에 대응하는 파라미터를, 각 베이스라인에 대응하는 파라미터를 유지하는 룩업 테이블로부터 검출하는 단계; 및
    상기 검출된 파라미터에 기초하여, 상기 영상으로부터 장애물을 탐지하는 단계
    를 포함하는 스테레오 카메라를 이용한 탐지 방법.
  13. 제9항에 있어서,
    상기 스테레오 카메라를 이용한 탐지 방법은,
    상기 장애물이 탐지되지 않는 경우,
    설정된 범위 내에서, 상기 n개의 카메라 간 베이스라인의 길이를 조정하거나, 또는 상기 n개의 카메라에서의 촬영 각을 조정하는 단계
    를 더 포함하는 스테레오 카메라를 이용한 탐지 방법.
  14. 삭제
  15. 제9항에 있어서,
    상기 스테레오 카메라를 이용한 탐지 방법은,
    상기 장애물이 탐지되면, 상기 장애물이 탐지된 위치에 관한 정보를 검출하고, 상기 검출된 정보를 스피커 또는 디스플레이를 통해 출력하거나, 또는 설정된 관리 단말로 전송하는 단계
    를 더 포함하는 스테레오 카메라를 이용한 탐지 방법.
  16. 제15항에 있어서,
    상기 스테레오 카메라를 이용한 탐지 방법은,
    상기 검출된 정보에 기초하여, 움직임 제어명령을 생성하고, 상기 생성된 움직임 제어명령을 상기 비행체에 제공하여, 상기 비행체가 상기 장애물을 회피하도록 하는 단계
    를 더 포함하는 스테레오 카메라를 이용한 탐지 방법.
KR1020170102926A 2017-08-14 2017-08-14 스테레오 카메라를 이용한 탐지 장치 및 방법 KR101888310B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170102926A KR101888310B1 (ko) 2017-08-14 2017-08-14 스테레오 카메라를 이용한 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170102926A KR101888310B1 (ko) 2017-08-14 2017-08-14 스테레오 카메라를 이용한 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101888310B1 true KR101888310B1 (ko) 2018-08-13

Family

ID=63250769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170102926A KR101888310B1 (ko) 2017-08-14 2017-08-14 스테레오 카메라를 이용한 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101888310B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101954619B1 (ko) * 2017-11-28 2019-03-06 쌍용자동차 주식회사 차량 속도에 따른 스테레오카메라 제어장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061089A (ko) * 2012-11-13 2014-05-21 재단법인대구경북과학기술원 스테레오 카메라 제어 장치 및 그 방법
KR101692709B1 (ko) * 2016-08-22 2017-01-05 주식회사 일도엔지니어링 드론을 이용한 수치지도 제작 영상시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061089A (ko) * 2012-11-13 2014-05-21 재단법인대구경북과학기술원 스테레오 카메라 제어 장치 및 그 방법
KR101692709B1 (ko) * 2016-08-22 2017-01-05 주식회사 일도엔지니어링 드론을 이용한 수치지도 제작 영상시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101954619B1 (ko) * 2017-11-28 2019-03-06 쌍용자동차 주식회사 차량 속도에 따른 스테레오카메라 제어장치

Similar Documents

Publication Publication Date Title
CN112567201B (zh) 距离测量方法以及设备
US10754354B2 (en) Hover control
EP3397554B1 (en) System and method for utilization of multiple-camera network to capture static and/or motion scenes
US9645581B1 (en) Method and apparatus for navigating unmanned aerial vehicle
WO2019113966A1 (zh) 一种避障方法、装置和无人机
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
WO2021052403A1 (zh) 一种移动机器人感知障碍信息的方法、装置
KR20210022016A (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR101600862B1 (ko) 복수의 uav를 이용한 스테레오 비전 시스템
KR102387797B1 (ko) 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
CN109716255A (zh) 用于操作可移动物体以规避障碍物的方法和系统
JP7513070B2 (ja) 情報処理装置、制御方法、及びプログラム
KR101888310B1 (ko) 스테레오 카메라를 이용한 탐지 장치 및 방법
EP3175312A2 (en) Video-assisted landing guidance system and method
JP2016181178A (ja) 自律移動ロボット
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
US20150187087A1 (en) Electronic device and method for using the same
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
KR102002231B1 (ko) 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템
KR20170006210A (ko) 감시 방법
EP3770809A1 (en) Method and apparatus for estimating user's pose by using three-dimensional virtual space model
JP6488946B2 (ja) 制御方法、プログラム及び制御装置
KR102171228B1 (ko) 광각카메라를 이용한 핑거프린팅 방식 혼잡시내 측위 방법 및 장치
KR102555269B1 (ko) 전방향 영상센서 및 관성측정센서의 자세추정 융합 방법 및 시스템
KR20170082839A (ko) 무인 멀티콥터에 구비된 카메라를 이용한 객체 위치 산출 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant