KR102015099B1 - 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법 - Google Patents

거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법 Download PDF

Info

Publication number
KR102015099B1
KR102015099B1 KR1020180009300A KR20180009300A KR102015099B1 KR 102015099 B1 KR102015099 B1 KR 102015099B1 KR 1020180009300 A KR1020180009300 A KR 1020180009300A KR 20180009300 A KR20180009300 A KR 20180009300A KR 102015099 B1 KR102015099 B1 KR 102015099B1
Authority
KR
South Korea
Prior art keywords
image
points
model
distance information
wrap around
Prior art date
Application number
KR1020180009300A
Other languages
English (en)
Other versions
KR20190090515A (ko
Inventor
김승훈
황정훈
정찬성
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180009300A priority Critical patent/KR102015099B1/ko
Priority to PCT/KR2018/015370 priority patent/WO2019146903A1/ko
Publication of KR20190090515A publication Critical patent/KR20190090515A/ko
Application granted granted Critical
Publication of KR102015099B1 publication Critical patent/KR102015099B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법이 개시된다. 본 발명의 랩어라운드뷰 영상제공장치는 전방향에 대한 영상을 촬영하는 카메라부, 전방향에 대한 거리정보를 측정하는 센서부 및 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 생성된 3차원 모델에 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부를 포함한다.

Description

거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법{Apparatus and method for providing wrap around view monitoring using dis information}
본 발명은 영상제공장치에 관한 것으로, 더욱 상세하게는 랩어라운드뷰에 거리정보를 반영하여 영상의 왜곡을 최소화하는 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법에 관한 것이다.
로봇(robot)은 자동 조절에 의해 조작이나 이동 등의 일을 수행할 수 있는 기계 장치로써, 인간을 대신하여 여러 작업에 이용되고 있다. 그 동안 로봇 산업은 급속도로 발전해왔으며, 산업용/특수 작업용 로봇에 대한 연구에서 가정용, 교육용 로봇과 같이 인간의 작업을 돕고 인가의 생활에 즐거움을 주는 목적으로 만들어지는 로봇에 대한 연구로 확대되고 있다. 이러한 로봇들은 인간 생활환경 안에서 작업을 수행하기 때문에, 주로 작은 크기의 이동 로봇(mobile robot)들이 대부분이다.
이러한 이동 로봇의 주행에 관한 연구는 로봇 분야에서 매우 중요한 연구 분야 중 하나이다. 종래에는 이동 로봇에 대한 연구가 특정 영역에서 고정되는 형태 또는 미리 정형화된 경로로 이동하는 형태의 로봇에 대해 주로 행해졌다. 하지만 사용자의 제어를 통해 로봇을 이동시키는 기술에 대한 연구가 점차 활성화되고 있다.
종래의 로봇을 원격제어하는 경우, 한정된 시야각을 통한 원격제어만 가능하였다. 이를 극복하려고 많은 연구가 시도되었으며, 전체의 시각을 볼 수 있는 전방향 카메라 또는 어안렌즈를 사용하는 광각 카메라 등이 연구되었다.
그러나 이러한 시도들은 각각 왜곡된 영상을 제공하여 훈련이나 경험을 통해서만 숙련된 조작법을 익힐 수 있어 조작에 어려움이 있다. 특히, 종래의 로봇을 원격 제어할 경우, 제공되는 영상을 통해 장애물을 인식하기에는 많은 수의 센서가 필요하고, 사용자의 시각으로 장애물을 인식하는 경우에는 제공되는 화면의 해상도에 따라 정확한 인식이 어려운 실정이다.
한국공개특허공보 제10-2017-0022508호(2017.03.02.)
본 발명이 이루고자 하는 기술적 과제는 랩어라운드뷰(wrap around view)의 영상 왜곡을 최소화하는 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해, 본 발명에 따른 거리정보를 이용한 랩어라운드뷰 영상제공장치는 전방향에 대한 영상을 촬영하는 카메라부, 전방향에 대한 거리정보를 측정하는 센서부 및 상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부를 포함한다.
또한 상기 제어부는, 상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 포인트 매칭부 및 상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부를 포함하는 것을 특징으로 한다.
또한 상기 3차원 모델링부는, 상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 한다.
또한 상기 3차원 모델링부는, 상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 한다.
또한 상기 포인트 매칭부는, 상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 이동체 모니터링 시스템은 이동 및 기 설정된 작업을 수행하는 이동체, 상기 이동체에 설치되고, 상기 이동체의 랩어라운드뷰를 생성하는 랩어라운드뷰 영상제공장치 및 상기 랩어라운드뷰 영상제공장치로부터 생성된 랩어라운드뷰를 출력하여 상기 이동체를 모니터링하는 사용자단말을 포함하되, 상기 랩어라운드뷰 영상제공장치는, 전방향에 대한 영상을 촬영하는 카메라부, 전방향에 대한 거리정보를 측정하는 센서부 및 상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부를 포함하는 것을 특징으로 한다.
또한 상기 사용자단말은, 상기 이동체의 이동 및 작업을 제어하는 제어신호를 생성하고, 상기 생성된 제어신호를 상기 이동체에 전송하여 상기 이동체를 원격제어하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 포인트 매칭부 및 상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부를 포함하는 것을 특징으로 한다.
또한 상기 3차원 모델링부는, 상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 한다.
또한 상기 3차원 모델링부는, 상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 한다.
또한 상기 포인트 매칭부는, 상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 거리정보를 이용한 랩어라운드뷰 영상제공방법은 랩어라운드뷰 영상제공장치가 전방향에 대한 영상을 촬영하고, 거리정보를 측정하여 정보를 수집하는 단계, 상기 랩어라운드뷰 영상제공장치가 상기 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하는 단계 및 상기 랩어라운드뷰 영상제공장치가 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 단계를 포함한다.
또한 상기 3차원 모델을 생성하는 단계 및 상기 랩어라운드뷰를 생성하는 단계 사이에, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 정보를 수집하는 단계 및 상기 랩어라운드뷰를 생성하는 단계 사이에, 상기 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르고 변환하여 필요한 영상을 추출하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법은 거리정보를 이용하여 3차원 공간을 모델링하고, 모델링된 3차원 공간에 영상을 투영하여 랩어라운드뷰를 생성할 수 있다.
이를 통해, 랩어라운드뷰에 공간적 정보가 반영되어 입체감을 극대화하는 한편 영상의 왜곡을 최소화할 수 있다.
도 1은 본 발명의 실시예에 따른 이동체 모니터링 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 랩어라운드뷰 영상제공장치를 설명하기 위한 블록도이다.
도 3은 도 2의 제어부를 설명하기 위한 블록도이다.
도 4는 도 3의 3차원 모델링부를 설명하기 위한 도면이다.
도 5는 도 3의 포인트 매칭부를 설명하기 위한 도면이다.
도 6은 도 3의 이미지 매핑부를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 랩어라운드뷰를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 랩어라운드뷰 영상제공방법을 설명하기 위한 도면이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 이동체 모니터링 시스템을 설명하기 위한 구성도이다.
도 1을 참조하면, 이동체 모니터링 시스템(400)은 사용자가 사용자단말(300)을 통해 원격으로 이동체(200)를 제어할 수 있도록 한다. 이를 위해, 이동체 모니터링 시스템(400)은 이동체(200)의 랩어라운드뷰를 사용자단말(300)에 제공한다. 이동체 모니터링 시스템(400)은 랩어라운드뷰 영상제공장치(100)(이하, “영상제공장치”라 함), 이동체(200) 및 사용자단말(300)을 포함한다.
이동체(200)는 이동 및 기 설정된 작업을 수행한다. 이동체(200)는 기 설정된 알고리즘에 따라 이동 및 작업을 자율적으로 수행하거나, 외부의 제어신호에 따라 원격제어가 될 수 있다. 여기서, 이동체(200)는 이동 로봇일 수 있으나, 이에 한정하지 않으며 산업용/특수 작업용 로봇이거나 자동차, 특장차 등과 같은 차량일 수 있다.
영상제공장치(100)는 이동체(200)에 설치되고, 이동체(200)의 랩어라운드뷰를 실시간 생성한다. 바람직하게는, 영상제공장치(100)는 이동체(200)의 상부에 설치될 수 있다. 영상제공장치(100)는 랩어라운드뷰를 생성하는 과정에서 공간적 정보가 반영되어 기존의 랩어라운드뷰에서 발생되는 영상 왜곡을 최소화한다. 이를 통해, 영상제공장치(100)는 생성된 랩어라운드뷰가 실제 영상과 높은 싱크율을 가질 수 있도록 한다.
사용자단말(300)은 영상제공장치(100)로부터 생성된 랩어라운드뷰의 데이터를 수신하고, 수신된 랩어라운드뷰를 출력하여 이동체(200)를 모니터링한다. 이를 위해, 사용자단말(300)은 영상을 출력할 수 있는 디스플레이를 포함한다. 사용자단말(300)은 이동체(200)를 제어하는 제어신호를 생성하고, 생성된 제어신호를 이동체(200)에 전송하여 이동체(200)를 원격제어한다. 즉, 사용자는 사용자단말(300)로 출력되는 랩어라운드뷰를 확인한 후, 현재 이동체(200)의 상황에 맞는 동작을 할 수 있도록 사용자단말(300)에 사용자입력을 입력시켜 제어신호를 생성할 수 있다. 이를 통해, 이동체(200)는 사용자가 원하는 이동 및 동작을 수행할 수 있다. 여기서, 사용자단말(300)은 스마트폰(smartphone), 태블릿PC(tabletPC), 핸드헬드(handheld) 컴퓨터, 랩톱(laptop), 데스크톱(desktop) 등일 수 있다.
이동체 모니터링 시스템(400)은 영상제공장치(100), 이동체(200) 및 사용자단말(300) 사이에 통신망(450)을 구축하여 서로 간에 통신을 수행할 수 있다. 통신망(450)은 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), COAP(Constrained Application Protocol), MQTT(Multi-Client Publish/Subscribe Messaging), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G 및 차세대 통신망인 5G일 수 있다. 일부 실시예로, 통신망(450)은 인터넷망일 수 있고, 이동 통신망일 수 있다.
도 2는 본 발명의 실시예에 따른 랩어라운드뷰 영상제공장치를 설명하기 위한 블록도이다.
도 1 및 도 2를 참조하면, 영상제공장치(100)는 카메라부(10), 센서부(30) 및 제어부(50)를 포함하고, 통신부(70) 및 저장부(90)를 더 포함한다.
카메라부(10)는 전방향에 대한 영상을 촬영한다. 카메라부(10)는 기 설정된 반경에 대한 영상을 촬영한다. 이 때, 카메라부(10)는 이동체(200을 중심으로 서로 다른 방향의 영상을 촬영하는 복수의 카메라를 포함한다. 따라서, 카메라부(10)는 복수의 영상을 수집할 수 있다. 카메라는 렌즈 및 광학 센서를 포함할 수 있다. 광학 센서는 렌즈를 통해 영상을 촬영하고, 촬영된 영상인 광학적 화상 신호를 전기적 화상 신호로 변환한다. 광학 센서는 CCD(charge coupled device) 센서일 수 있다.
센서부(30)는 전방향에 대한 거리정보를 측정한다. 센서부(30)는 기설정된 반경에 대한 거리정보를 측정한다. 이 때, 센서부(30)는 이동체(200을 중심으로 서로 다른 방향의 거리정보를 측정하는 복수의 센서를 포함한다. 센서는 거리정보를 측정하는 센서일 수 있으며, 바람직하게는 적외선 센서, 초음파 센서 등을 포함할 수 있다.
제어부(50)는 센서부(30)로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성한다. 제어부(50)는 생성된 3차원 모델에 카메라부(10)로부터 촬영된 영상을 이미지 매핑하여 랩어라운드뷰를 생성한다. 이를 통해, 제어부(50)는 기존의 랩어라운드뷰와 같이 단순히 영상 정합을 통한 랩어라운드뷰를 생성한 것이 아니라, 공간적 정보가 반영되어 영상 정합에서 발생되는 영상의 왜곡을 최소화시킨다.
또한, 제어부(50)는 카메라부(10)부터 촬영된 영상이 복수개이므로, 복수의 영상을 하나의 영상으로 정합하는 영상처리를 한다. 제어부(50)는 복수의 영상을 하나의 영상으로 정합하기 전, 복수의 영상 각각에 포함된 왜곡을 제거하고, 불필요한 부분에 대한 영상을 자르거나, 변환하여 필요한 영상만을 추출할 수 있다.
통신부(70)는 사용자단말(300)과의 통신을 수행한다. 통신부(70)는 사용자단말(300)로 랩어라운드뷰의 데이터를 전송한다. 통신부(70)는 사용자단말(300)로부터 랩어라운드뷰의 생성을 제어하는 제어신호를 수신할 수 있다. 예를 들면, 통신부(70)는 사용자단말(300)로부터 랩어라운드뷰를 생성하라는 명령이 포함된 제어신호를 수신받거나, 랩어라운드뷰를 생성하지 말라는 명령이 포함된 제어신호를 수신받을 수 있다. 만약 통신부(70)가 사용자단말(300)로부터 제어신호를 수신하면, 제어부(50)는 제어신호에 따라 랩어라운드뷰의 생성을 제어할 수 있다. 한편, 제어부(50)는 기본적으로 이동체(200)가 동작되면 랩어라운드뷰를 생성할 수 있다.
저장부(90)는 카메라부(10)로부터 촬영된 복수의 영상이 저장된다. 저장부(90)는 센서부(30)로부터 측정된 거리정보가 저장된다. 저장부(90)는 랩어라운드뷰가 저장된다. 저장부(90)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 3은 도 2의 제어부를 설명하기 위한 블록도이고, 도 4는 도 3의 3차원 모델링부를 설명하기 위한 도면이며, 도 5는 도 3의 포인트 매칭부를 설명하기 위한 도면이고, 도 6은 도 3의 이미지 매핑부를 설명하기 위한 도면이다.
도 2 내지 도 6을 참조하면, 제어부(50)는 3차원 모델링부(51), 포인트 매칭부(53) 및 이미지 매핑부(55)를 포함하고, 영상처리부(57)을 더 포함한다.
3차원 모델링부(51)는 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성한다. 여기서, 2차원 모델은 3차원 모델을 생성하는데 기초가 되는 바닥면일 수 있다. 3차원 모델링부(51)는 생성된 2차원 모델에 존재하는 포인트들 중 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성한다. 여기서, 3차원 모델링부(51)는 에지 포인트들이 위치하는 곳이 센서가 지원하는 반경보다 짧게 측정됨에 따라 해당 위치에 벽면이 있다고 판단할 수 있다.
상세하게는, 3차원 모델링부(51)는 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 2차원 모델을 생성한다. 즉, 3차원 모델링부(51)는 0°에 가장 가까운 포인트를 기초로 2차원 모델을 생성함으로써, 2차원 모델은 지면과 평행한 평면일 수 있다. 3차원 모델링부(51)는 생성된 2차원 모델 상에 존재하는 에지 포인트들 중 이웃하는 두 개의 에지 포인트(P0, P1)를 기준으로 수직방향에 일정한 높이 위 및 아래에 존재하는 4개의 포인트(P0_top, P0_bottom, P1_top, P1_bottom)를 연결하여 벽면을 만든다(도 4). 3차원 모델링부(51)는 2차원 모델 상에 존재하는 에지 포인트들에서 벽면을 반복적으로 만들어 3차원 모델을 생성한다.
포인트 매칭부(53)는 3차원 모델링부(51)로부터 생성된 3차원 모델 상에 포함된 포인트들과 카메라부(10)로부터 촬영된 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하여 공간적 정보가 3차원 모델에 반영되도록 한다(도 5(a), 도 5(b)). 여기서, 투영정보는 영상이 투영되는 위치값을 의미한다. 이러한 포인트 매칭은 영상을 3차원 모델에 매핑하기 전에 수행되는 사전 캘리브레이션일 수 있다. 이 때, 포인트 매칭부(53)는 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하여 전체적인 공간적 정보가 먼저 반영된 후, 나머지 공간적 정보가 반영되도록 하여 빠르게 포인트 매칭이 이루어지도록 할 수 있다.
상세하게는, 포인트 매칭부(53)는 투영정보(M0)를 3차원 모델(Mr)에 반영한다(도 6(a), 도 6(b)). 즉, 포인트 매칭부(53)는 3차원 모델에 3차원 모델과 다른 형태를 가지는 투영정보를 기준점(O)을 기준으로 대응되게 매칭함으로써, 추후 영상을 투영하였을 때 발생될 수 있는 투영 오차를 미연에 방지할 수 있다. 예를 들면, 포인트 매칭부(53)는 투영정보의 P0포인트를 3차원 모델의 포인터들 중 이에 대응되는 P0’포인트에 매칭하고, P1포인트를 P1’포인트에 매칭하며, P2포인트를 P2’포인트에 매칭할 수 있다.
이미지 매핑부(55)는 포인트 매칭부(53)로부터 포인트 매칭된 3차원 모델 상에 존재하는 포인트들과 대응되는 영상을 투영하여 이미지 매핑을 한다. 이미지 매핑부(55)는 포인트 매칭 과정에서 얻은 포인트 쌍들을 이용하여 영상의 이미지 매핑을 할 수 있다. 즉, 이미지 매핑부(55)는 포인트 매칭을 통해 3차원 모델 중 어느 영역이 바닥 영역이고, 벽면 영역인지를 판단하여 해당 영상을 투영할 수 있다. 예를 들면, 이미지 매핑부(55)는 영상(M0)의 P0포인트에 해당하는 영상을 3차원 모델의 포인터들 중 이에 대응되는 P0’포인트에 투영하고, P1포인트에 해당하는 영상을 P1’포인트에 투영할 수 있다.
영상처리부(57)는 카메라부(10)로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리를 한다. 여기서, 영상은 복수의 카메라로부터 수집됨에 따라 복수의 영상일 수 있다. 영상처리부(57)는 영상처리된 복수의 영상을 하나의 영상으로 정합한다.
도 7은 본 발명의 일 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이고, 도 8은 본 발명의 다른 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이며, 도 9는 본 발명의 또 다른 실시예에 따른 랩어라운드뷰를 설명하기 위한 도면이다. 여기서, 도 7(a)은 공간정보가 적용되지 않은 종래의 랩어라운드뷰를 도시한 도면이고, 도 7(b)은 공간정보가 적용된 본 발명의 랩어라운드뷰를 도시한 도면이며, 도 8(a)은 공간정보가 적용되지 않은 종래의 랩어라운드뷰를 다양한 방향으로 도시한 도면이고, 도 8(b)은 공간정보가 적용된 본 발명의 랩어라운드뷰를 다양한 방향으로 도시한 도면이다.
도 2, 도 7 내지 도 9를 참조하면, 영상제공장치(100)는 공간정보를 포함하는 랩어라운드뷰를 생성한다. 즉, 영상제공장치(100)는 3차원 모델에 영상을 투영함으로써, 종래의 반원구 모델에 영상을 투영하면서 발생되던 영상 왜곡을 최소화할 수 있다. 이하, 본 발명의 랩어라운드뷰와 종래의 랩어라운드뷰를 비교 분석한다.
본 발명의 랩어라운드뷰는 바닥면과 벽면이 구분되게 만들어진 3차원 모델에 영상을 투영하여 바닥면과 벽면이 명확하게 구분된다. 이를 통해, 본 발명의 랩어라운드뷰는 실제 구조와 동일한 구조를 기초로 영상을 투영하여 영상 왜곡을 최소화하고, 영상의 입체감을 극대화할 수 있다.
이에 반해, 종래의 랩어라운드뷰는 반원구 모델에 영상을 투영하여 바닥면과 벽면이 모호하게 구분된다. 즉, 종래의 랩어라운드뷰는 실제 구조와 다른 반원구 구조를 기초로 영상을 투영함으로써, 영상 왜곡이 발생하고, 영상의 입체감이 낮아진다.
도 10은 본 발명의 실시예에 따른 랩어라운드뷰 영상제공방법을 설명하기 위한 도면이다.
도 1 및 도 10을 참조하면, 랩어라운드뷰 영상제공방법은 랩어라운드뷰에 공간정보를 적용시켜 입체감을 극대화하는 한편 영상의 왜곡을 최소화할 수 있다.
S110단계에서, 영상제공장치(100)는 전방향에 대한 영상을 촬영하고, 전방향에 대한 거리정보를 측정한다. 영상제공장치(100)는 기 설정된 반경에 대한 영상 및 거리정보를 수집한다. 이 때, 영상제공장치(100)는 이동체(200을 중심으로 서로 다른 방향의 영상 및 거리정보를 수집할 수 있다.
S130단계에서, 영상제공장치(100)는 S110단계에서 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성한다. 영상제공장치(100)는 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 2차원 모델을 생성한다. 영상제공장치(100)는 생성된 2차원 모델 상에 존재하는 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 일정한 높이 위 및 아래에 존재하는 4개의 포인트를 연결하여 벽면을 만든다. 영상제공장치(100)는 2차원 모델 상에 존재하는 에지 포인트들에서 벽면을 반복적으로 만들어 3차원 모델을 생성한다.
S150단계에서, 영상제공장치(100)는 S130단계에서 생성된 3차원 모델에 영상을 투영하여 랩어라운드뷰를 생성한다. 영상제공장치(100)는 3차원 모델 상에 존재하는 포인트들과 대응되는 영상을 투영하여 이미지 매핑을 한다.
한편, 영상제공장치(100)는 S110단계 및 S150단계 사이에, S110단계에서 촬영된 영상을 영상처리할 수 있다. 영상제공장치(100)는 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리를 한다. 또한 영상제공장치(100)는 영상처리된 복수의 영상을 하나의 영상으로 정합한다. 이를 통해, 영상제공장치(100)는 3차원 모델에 투영되는 영상을 전처리할 수 있으며, 이를 통해 최종적으로 생성하는 랩어라운드뷰의 품질을 향상시킬 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 카메라부
30: 센서부
50: 제어부
51: 3차원 모델링부
53: 포인트 매칭부
55: 이미지 매핑부
57: 영상처리부
70: 통신부
90: 저장부
100: 랩어라운드뷰 영상제공장치
200: 이동체
300: 사용자단말
400: 이동체 모니터링 시스템
450: 통신망

Claims (16)

  1. 전방향에 대한 영상을 촬영하는 카메라부;
    전방향에 대한 거리정보를 측정하는 센서부; 및
    상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하며, 상기 포인트들이 매칭된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부;
    를 포함하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부;
    상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하여 공간적인 정보를 상기 3차원 모델에 반영하는 포인트 매칭부; 및
    상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부;
    를 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.
  3. 제 2항에 있어서,
    상기 3차원 모델링부는,
    상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.
  4. 제 2항에 있어서,
    상기 3차원 모델링부는,
    상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.
  5. 제 2항에 있어서,
    상기 포인트 매칭부는,
    상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.
  6. 제 2항에 있어서,
    상기 제어부는,
    상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부;
    를 더 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.
  7. 이동 및 기 설정된 작업을 수행하는 이동체;
    상기 이동체에 설치되고, 상기 이동체의 랩어라운드뷰를 생성하는 랩어라운드뷰 영상제공장치; 및
    상기 랩어라운드뷰 영상제공장치로부터 생성된 랩어라운드뷰를 출력하여 상기 이동체를 모니터링하는 사용자단말;을 포함하되,
    상기 랩어라운드뷰 영상제공장치는,
    전방향에 대한 영상을 촬영하는 카메라부;
    전방향에 대한 거리정보를 측정하는 센서부; 및
    상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하며, 상기 포인트들이 매칭된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부;
    를 포함하는 것을 특징으로 하는 이동체 모니터링 시스템.
  8. 제 7항에 있어서,
    상기 사용자단말은,
    상기 이동체의 이동 및 작업을 제어하는 제어신호를 생성하고, 상기 생성된 제어신호를 상기 이동체에 전송하여 상기 이동체를 원격제어하는 것을 특징으로 하는 이동체 모니터링 시스템.
  9. 제 7항에 있어서,
    상기 제어부는,
    상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부;
    상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하여 공간적인 정보를 상기 3차원 모델에 반영하는 포인트 매칭부; 및
    상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부;
    를 포함하는 것을 특징으로 하는 이동체 모니터링 시스템.
  10. 제 9항에 있어서,
    상기 3차원 모델링부는,
    상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 하는 이동체 모니터링 시스템.
  11. 제 9항에 있어서,
    상기 3차원 모델링부는,
    상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 하는 이동체 모니터링 시스템.
  12. 제 9항에 있어서,
    상기 포인트 매칭부는,
    상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 하는 이동체 모니터링 시스템.
  13. 제 9항에 있어서,
    상기 제어부는,
    상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부;
    를 더 포함하는 것을 특징으로 하는 이동체 모니터링 시스템.
  14. 랩어라운드뷰 영상제공장치가 전방향에 대한 영상을 촬영하고, 거리정보를 측정하여 정보를 수집하는 단계;
    상기 랩어라운드뷰 영상제공장치가 상기 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하는 단계;
    상기 랩어라운드뷰 영상제공장치가 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 단계; 및
    상기 랩어라운드뷰 영상제공장치가 상기 포인트들이 매칭된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 단계;
    를 포함하는 거리정보를 이용한 랩어라운드뷰 영상제공방법.
  15. 삭제
  16. 제 14항에 있어서,
    상기 정보를 수집하는 단계 및 상기 랩어라운드뷰를 생성하는 단계 사이에,
    상기 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르고 변환하여 필요한 영상을 추출하는 단계;
    를 더 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공방법.
KR1020180009300A 2018-01-25 2018-01-25 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법 KR102015099B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180009300A KR102015099B1 (ko) 2018-01-25 2018-01-25 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
PCT/KR2018/015370 WO2019146903A1 (ko) 2018-01-25 2018-12-06 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180009300A KR102015099B1 (ko) 2018-01-25 2018-01-25 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190090515A KR20190090515A (ko) 2019-08-02
KR102015099B1 true KR102015099B1 (ko) 2019-10-21

Family

ID=67394980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180009300A KR102015099B1 (ko) 2018-01-25 2018-01-25 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Country Status (2)

Country Link
KR (1) KR102015099B1 (ko)
WO (1) WO2019146903A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766808B (zh) * 2019-11-05 2020-03-27 北京智拓视界科技有限责任公司 人脸数据的处理方法、设备和计算机可读存储介质
KR102404867B1 (ko) * 2020-12-16 2022-06-07 한국전자기술연구원 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
CN112837419B (zh) * 2021-03-04 2022-06-24 浙江商汤科技开发有限公司 点云模型构建方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478908B1 (ko) * 2013-05-14 2015-01-02 고려대학교 산학협력단 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템
KR101975556B1 (ko) * 2015-01-30 2019-08-28 전자부품연구원 로봇의 관측 시점 제어 장치
KR20160144645A (ko) * 2015-06-09 2016-12-19 엘지전자 주식회사 어라운드 뷰 제공장치 및 이를 구비한 차량
RU2642167C2 (ru) * 2015-08-14 2018-01-24 Самсунг Электроникс Ко., Лтд. Устройство, способ и система для реконструкции 3d-модели объекта
KR101860610B1 (ko) 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR101853652B1 (ko) * 2015-12-29 2018-05-03 전자부품연구원 어라운드뷰 생성 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
WO2019146903A1 (ko) 2019-08-01
KR20190090515A (ko) 2019-08-02

Similar Documents

Publication Publication Date Title
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
EP3485635B1 (en) Light field capture
US10085005B2 (en) Capturing light-field volume image and video data using tiled light-field cameras
KR102015099B1 (ko) 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
KR102404867B1 (ko) 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
US20150379766A1 (en) Generation of 3d models of an environment
CN108781267B (zh) 图像处理设备和方法
CN112950785A (zh) 点云标注方法、装置及系统
EP3144880A1 (en) A method and an apparatus for generating data representative of a light field
CN103109537A (zh) 图像处理设备、成像设备、图像处理方法和程序
US20170019659A1 (en) 3D scanning control apparatus based on FPGA and control method and system thereof
CN110751735A (zh) 一种基于增强现实的远程指导的方法与设备
TW201401220A (zh) 影像處理裝置，資訊處理裝置，及影像處理方法
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
JP6895853B2 (ja) マルチエージェント制御システムおよび方法
WO2021119982A1 (zh) 图像传输系统及方法、控制装置、可移动平台
JP6200604B1 (ja) 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
JP6584093B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN108364340A (zh) 同步空间扫描的方法及系统
US11491658B2 (en) Methods and systems for automatically annotating items by robots
Yun et al. Motion recognition-based robot arm control system using head mounted display
JP2021150942A (ja) 撮像装置および撮像処理方法
JP6127399B2 (ja) ステレオカメラ装置及びプログラム
CN111625001A (zh) 机器人的控制方法及装置、工业机器人

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant