KR20170078005A - 어라운드뷰 생성 방법 및 이를 수행하는 장치 - Google Patents

어라운드뷰 생성 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR20170078005A
KR20170078005A KR1020150188078A KR20150188078A KR20170078005A KR 20170078005 A KR20170078005 A KR 20170078005A KR 1020150188078 A KR1020150188078 A KR 1020150188078A KR 20150188078 A KR20150188078 A KR 20150188078A KR 20170078005 A KR20170078005 A KR 20170078005A
Authority
KR
South Korea
Prior art keywords
view
distance
surrounding
distance information
projection model
Prior art date
Application number
KR1020150188078A
Other languages
English (en)
Other versions
KR101853652B1 (ko
Inventor
황정훈
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020150188078A priority Critical patent/KR101853652B1/ko
Publication of KR20170078005A publication Critical patent/KR20170078005A/ko
Application granted granted Critical
Publication of KR101853652B1 publication Critical patent/KR101853652B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

어라운드뷰 생성 장치는 복수의 카메라 센서들을 통해 주변환경뷰를 생성하는 주변환경뷰 처리부, 상기 거리측정센서를 통해 상기 주변환경뷰에 있는 적어도 하나의 주요 피사체에 관한 거리정보를 수신하는 거리정보 처리부 및 기 정의된 주변환경뷰 투사모델에 상기 주변환경뷰 및 상기 거리정보를 융합하여 어라운드뷰를 생성하는 어라운드뷰 처리부를 포함한다. 따라서, 어라운드뷰 생성 장치는 복수의 카메라 센서들과 거리측정센서를 통해 어라운드뷰에 대한 보다 정확한 정보를 제공하여 사용자로 하여금 주변환경을 정확하게 인식할 수 있다.

Description

어라운드뷰 생성 방법 및 이를 수행하는 장치{AROUND VIEW GENEGATION METHOD AND APPARATUS PERFORMING THE SAME}
본 발명은 어라운드뷰 생성 기술에 관한 것으로, 보다 상세하게는, 예를 들어, 자동차 또는 로봇과 같은 장치에서 사용될 수 있는, 이종 센서를 이용하여 얻어진 정보들을 융합하여 어라운드뷰를 생성하는 방법 및 이를 수행하는 장치에 관한 것이다.
스마트카 또는 로봇은 최종적으로 사람의 해당 기기에 탑승하지 않고 자율적으로 목적지를 찾아가거나 또는 원격지에서 사용자에 의해 제어될 수 있다. 이러한 것을 위해, 스마트카 또는 로봇은 카메라와 같은 영상센서를 장착하여 주변의 장애물 또는 목표물에 관한 정보를 인지할 수 있다.
종래의 기술은 4개의 광각 카메라로부터 확보된 주변영상인 2D 정보를 입체감이 있는 차량주변의 영상뷰로 합성하는 과정에서 차량주변의 환경, 예를 들어, 주변의 기둥이나 벽 등에 대한 정보를 제대로 반영하지 못해 사용자에게 시각적 공간감을 제대로 전달하지 못하는 단점이 있다.
한국등록특허 제10-1579100호는 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량에 관한 것으로, 차량용 어라운드뷰 제공장치는 차량에 장착되는 제1 내지 제4 카메라와, 제1 내지 제4 카메라의 각각에 대한 기준 이미지를 저장하는 메모리와, 메모리로부터의 제1 내지 제4 카메라 각각에 대응하는 기준 이미지와, 제1 내지 제4 카메라로부터의 각 촬영 이미지와의 차이에 기초하여, 제1 내지 제4 카메라 중 적어도 일부에 대한, 오프셋 정보를 연산하고, 오프셋 정보를 이용하여 제1 내지 제4 카메라로부터의 각각의 이미지를 합성하여 어라운드 뷰 이미지를 생성하는 프로세서를 포함한다. 이에 의해, 캘리브레이션된 이미지에 기초하여 정확한 어라운드 뷰 이미지를 제공할 수 있게 된다.
한국등록특허 제 10-1504335호는 어라운드뷰 제공 장치, 방법 및 차량이 개시된다. 카메라부는 차량에 설치되어 영상을 촬영하는 복수의 카메라를 포함한다. 제어부는 복수의 카메라부에서 촬영된 영상을 이용하여 어라운드뷰를 생성하기 위한 캘리브레이션을 수행한다. 본 발명에 의하면, 허프변환을 이용하여 영상 상의 직선을 검출하고, 호모그라피 행렬을 통해 영상을 정합함으로써 어라운드뷰를 제공할 수 있는 효과가 있다.
한국등록특허 제 10-1566964호는 이동 물체를 추척할 수 있는 어라운드뷰 모니터링 방법, 이를 수행하는 어라운드뷰 모니터링 장치 및 이를 저장하는 기록매체를 개시한다. 어라운드 뷰 모니터링 장치는 작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성하는 복수의 카메라들, 사용자의 요청에 따라 상기 복수의 이미지들 중 적어도 하나 또는 상기 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공하는 작업환경 뷰 제공부 및 상기 작업환경 뷰에서 적어도 상기 작업 차량의 작업 환경으로 인해 움직이는 개체를 인식하고 상기 인식된 개체의 추적 필요성을 결정하는 개체 인식부를 포함한다. 따라서 어라운드 뷰 모니터링 장치는 작업 차량의 작업 환경에 따른 개체의 인식 속도 또는 인식 정밀도를 증가시켜 안전 사고를 예방할 수 있다.
한국등록특허 제10-1579100호(2015. 12. 15 등록) 한국등록특허 제10-1249274호(2015. 03. 13 등록) 한국등록특허 제10-1566964호(2015. 11. 13 등록)
본 발명의 일 실시예는 예를 들어, 자동차 또는 로봇과 같은 장치에서 사용될 수 있는, 이종 센서를 이용하여 얻어진 정보들을 융합하여 어라운드뷰를 생성하고자 한다. 예를 들어, 이종 센서는 복수의 카메라 센서들과 레이더, 라이다 또는 초음파 센서와 같은 거리측정센서를 포함할 수 있다.
본 발명의 일 실시예는 복수의 카메라 센서들과 거리측정센서를 통해 어라운드뷰에 대한 보다 정확한 정보를 제공하여 사용자로 하여금 주변환경을 정확하게 인식하고자 한다.
실시예들 중에서, 어라운드뷰 생성 방법은 복수의 카메라 센서들을 통해 주변환경뷰를 생성하는 단계, 상기 거리측정센서를 통해 상기 주변환경뷰에 있는 적어도 하나의 주요 피사체에 관한 거리정보를 수신하는 단계 및 기 정의된 주변환경뷰 투사모델에 상기 주변환경뷰 및 상기 거리정보를 융합하여 어라운드뷰를 생성하는 단계를 포함한다.
상기 (c) 단계는 상기 주변환경뷰를 분석하여 상기 어라운드뷰 생성 장치를 장착한 이동체로부터 위치된 주요 피사체의 방향을 측정하고 상기 거리정보로부터 상기 측정된 주요 피사체의 절대적 거리를 측정하는 단계를 포함할 수 있다.
상기 (c) 단계는 절대적 거리가 가장 긴 피사체의 거리를 측정하여 상기 피사체의 거리를 기초로 주변환경뷰 투사모델의 투사범위를 결정하는 단계를 포함할 수 있다.
상기 (c) 단계는 상기 결정된 투사범위를 기초로 상기 적어도 하나의 주요 피사체의 위치 및 방향을 반영하여 상대적인 거리에 따라 각각의 피사체를 상기 주변환경뷰 투사모델에 오버레이하는 단계를 포함할 수 있다.
상기 (c) 단계는 상기 주변환경뷰의 주변형상을 기초로 상기 주변환경뷰 투사모델을 왜곡시키고, 상기 왜곡된 주변환경뷰 투사모델에 상기 거리정보를 반영하는 단계를 포함할 수 있다.
실시예들 중에서, 어라운드뷰 생성 장치는 상기 복수의 카메라 센서들을 통해 주변환경뷰를 생성하는 주변환경뷰 처리부, 상기 거리측정센서를 통해 상기 주변환경뷰에 있는 적어도 하나의 주요 피사체에 관한 거리정보를 수신하는 거리정보 처리부 및 기 정의된 주변환경뷰 투사모델에 상기 주변환경뷰 및 상기 거리정보를 융합하여 어라운드뷰를 생성하는 어라운드뷰 처리부를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 어라운드뷰 생성 방법은 예를 들어, 자동차 또는 로봇과 같은 장치에서 사용될 수 있는, 이종 센서를 이용하여 얻어진 정보들을 융합하여 어라운드뷰를 생성할 수 있다. 예를 들어, 이종 센서는 복수의 카메라 센서들과 레이더, 라이다 또는 초음파 센서와 같은 거리측정센서를 포함할 수 있다.
본 발명의 일 실시예에 따른 어라운드뷰 생성 방법은 복수의 카메라 센서들과 거리측정센서를 통해 어라운드뷰에 대한 보다 정확한 정보를 제공하여 사용자로 하여금 주변환경을 정확하게 인식할 수 있다.
도 1은 본 발명의 일 실시예에 따른 어라운드뷰 생성 장치를 가지는 이동체를 설명하는 도면이다.
도 2는 도 1에 있는 어라운드뷰 생성 장치를 설명하는 블록도이다.
도 3은 도 1에 있는 어라운드뷰 생성 장치에서 수행되는 어라운드뷰 생성 과정에 대한 순서도이다.
도 4는 도 1에 있는 투사모델 데이터베이스에 있는 주변환경뷰 투사모델을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 어라운드뷰 생성 장치를 가지는 이동체를 설명하는 도면이다.
도 1을 참조하면, 이동체(1)는 복수의 카메라 센서들(110)과 거리측정센서(120)과 연결된 어라운드뷰 생성 장치(100)를 포함한다. 여기에서, 이동체(1)는 자동차 또는 로봇으로 구현될 수 있고, 어라운드뷰 생성 장치(100)는 이동체(1)에 설치될 수 있다.
도 1a는 이동체(1)가 일반 도로를 이동하는 상황을 가정하였고, 도 1b는 이동체(1)가 양 옆에 벽이 있는 골목길을 이동하는 상황을 가정하였다. 이와 관련된 설명은 도 2를 참조하여 후술한다.
복수의 카메라 센서들(110)은 이동체(1)의 전후좌우에 각각 배치될 수 있고, 각각은 해당 영역을 촬상하여 해당 영상을 생성한다. 여기에서, 복수의 카메라 센서들(110)의 개수 및 위치는 반드시 이에 한정되지 않고 실시예에 따라 변경될 수 있다. 또한, 복수의 카메라 센서들(110)은 차선이탈을 방지하거나 교통표시판을 인식하는 등의 기능을 수행하기 위해 이동체(1)의 전방 카메라 또는 후방 카메라로 장착될 수 있다.
거리측정센서(120)는 이동체(1)의 전후좌우에 배치될 수 있고, 주변환경에 있는 적어도 하나의 주요 피사체에 관한 거리정보를 센싱할 수 있다. 여기에서, 거리측정센서(120)는 초음파 센서, 라이다 센서, 레이더 센서로서 구현될 수 있다.
어라운드뷰 생성 장치(100)는 복수의 카메라 센서들(110) 및 거리측정센서(120)와 연결될 수 있고, 이러한 센서들로부터 수신된 피사체 영상정보 및 해당 거리정보를 융합하여 어라운드뷰를 생성한다. 여기에서, 어라운드뷰는 이동체(1)로부터 떨어진 피사체의 거리를 시각적으로 반영한 깊이 영상을 포함할 수 있다.
도 2는 도 1에 있는 어라운드뷰 생성 장치를 설명하는 블록도이다.
도 2를 참조하면, 어라운드뷰 생성 장치(100)는 복수의 카메라 센서들(110)과 거리측정센서(120)에 각각 연결되고, 주변환경뷰 처리부(210), 거리정보 처리부(220), 어라운드뷰 처리부(230), 투사모델 데이터베이스(240) 및 제어부(250)를 포함한다.
주변환경뷰 처리부(210)는 복수의 카메라 센서들(110)을 통해 수신된 피사체 영상정보를 합성하여 주변환경뷰를 생성할 수 있다. 보다 구체적으로, 주변환경뷰 처리부(210)는 복수의 카메라 센서들(110) 각각으로부터 해당 영역을 촬상한 영상(피사체 영상정보에 포함)을 수신할 수 있고, 각 영상에 있는 피사체 또는 배경의 중첩을 고려하여 합성할 수 있다. 여기에서, 주요 피사체는 사용자에 의하여 미리 설정된 목표물 또는 장애물에 해당할 수 있고, 예를 들어, 이동체(1) 주변의 보행자, 차량, 싸이클리스트를 포함할 수 있다.
거리정보 처리부(220)는 거리측정센서(120)를 통해 거리정보를 수신할 수 있다. 여기에서, 거리정보는 이동체(1)를 기준으로 적어도 하나의 주요 피사체에 대한 절대적 거리에 해당할 수 있다. 예를 들어, 거리측정센서(120)는 라이다 센서로 구현될 수 있고, 라이다 센서는 레이저 펄스신호를 방사시켜 측정 범위 내의 물체로부터 수신기에 반사되는 시간을 측정함으로써 절대적 거리를 측정할 수 있다. 여기에서, 라이다 센서는 레이더 센서 또는 초음파 센서로 대체될 수 있다.
일 실시예에서, 거리정보 처리부(220)는 주변환경뷰 처리부(210)와 독립적으로 동작될 수 있고, 어라운드뷰 처리부(230)는 피사체 영상정보와 거리정보를 융합할 수 있다. 다른 일 실시예에서, 거리정보 처리부(220)는 주변환경뷰 처리부(210)로부터 주요 피사체에 관한 방향을 미리 수신할 수 있고, 해당 방향에 있는 주요 피사체의 절대적 거리를 측정하여 어라운드뷰 처리부(230)에 전달할 수 있다.
어라운드뷰 처리부(230)는 주변환경뷰 처리부(210)로부터 수신된 주변환경뷰와 거리정보 처리부(210)로부터 수신된 거리정보를 융합하여 어라운드뷰를 생성할 수 있다.
일 실시예에서, 어라운드뷰 처리부(230)는 주변환경뷰 처리부(210)에서 생성된 주변환경뷰를 분석하여 이동체(1)로부터 위치된 주요 피사체의 방향을 측정할 수 있다. 예를 들어, 방향은 이동체(1)의 전면에 해당할 수 있다. 또한, 일 실시예에서, 어라운드뷰 처리부(230)는 거리정보 처리부(220)에서 수신된 거리정보로부터 주요 피사체의 절대적 거리를 측정할 수 있다. 예를 들어, 절대적 거리는 이동체(1)로부터 5 미터에 해당할 수 있다. 최종적으로, 어라운드뷰 처리부(230)는 주변환경에 있는 각각의 피사체에 대한 방향 및 절대적 거리 정보를 융합하여 어라운드뷰를 생성할 수 있다.
투사모델 데이터베이스(240)는 사용자에 의하여 기 정의된 주변환경뷰 투사모델(20)을 저장하는 메모리 장치에 해당할 수 있다. 여기에서 정의된 주변환경뷰 투사모델(20)은 어라운드뷰 처리부(230)에 의하여 선택될 수 있고, 주변환경뷰의 형상에 따라 결정될 수 있으며 어라운드뷰 처리부(230)에 의하여 왜곡 또는 변형될 수 있다.
도 4는 도 1에 있는 투사모델 데이터베이스에 있는 주변환경뷰 투사모델을 설명하는 도면이다.
도 4에서, 주변환경뷰 투사모델(20)은 파라볼릭형 투사모델, 접시형 투사모델 또는 원통형 투사모델을 포함할 수 있다.
어라운드뷰 처리부(230)는 투사모델 데이터베이스(240)로부터 주변환경에 따라 주변환경뷰 투사모델(20)을 선택할 수 있다.
예를 들어, 도 1a에서와 같이, 어라운드뷰 처리부(230)는 이동체(1)가 일반 도로 또는 고속도로와 같이 열린 공간을 주행하고 있는 경우에는 주변환경뷰 투사모델(20)을 접시형 투사모델로 선택할 수 있다.
다른 예를 들어, 도 1b에서와 같이, 어라운드뷰 처리부(230)는 이동체(1)가 양 옆에 벽들로 구성된 골목길을 이동하는 경우에는 피사체 영상정보와 거리정보를 통해 양 옆에 있는 벽을 인식할 수 있고, 이러한 인식에 따른 벽까지의 거리를 기초로 기 선택된 주변환경뷰 투사모델(20)을 변형할 수 있다.
이하, 도 2 및 도 4를 통해, 어라운드뷰 처리부(230)에 의한 어라운드뷰 생성과정을 구체적으로 설명한다.
이동체(1)의 주변에 벽이 감지된 경우를 가정하면, 어라운드뷰 처리부(230)는 이동체(1)가 이동하는 중에 수직인 벽 또는 특정 기울기를 갖는 장애물(예를 들어, 벽)을 인식하면 주변환경뷰 투사모델(20)을 부분적으로 변형시킬 수 있다. 어라운드뷰 처리부(230)는 변형된 주변환경뷰 투사모델(20)에 주요 피사체를 반영하여 어라운드뷰를 생성할 수 있다.
이동체(1)의 주변에 복수의 주요 피사체들이 감지된 경우를 가정하면, 어라운드뷰 처리부(230)는 제1 주요 피사체(10)와의 거리를 10으로 결정하고 제2 주요 피사체(11)와의 거리를 8로 결정하였다면 제1 및 제2 주요 피사체들(10, 11) 각각의 방향 및 절대적 거리를 반영하여 주변환경뷰 투사모델(20)에 제1 및 제2 주요 피사체들(10, 11)을 투사시킬 수 있다.
일 실시예에서, 제1 주요 피사체(10)는 이동체(1)과 가장 멀리 떨어진 피사체에 해당할 수 있고, 어라운드뷰 처리부(230)는 가장 멀리 떨어진 피사체를 기준으로 투사 과정에서 필요한 상대적 거리를 결정할 수 있다. 즉, 어라운드뷰 처리부(230)는 주변환경에 있는 각각의 주요 피사체를 각각의 방향 및 절대적 거리를 반영하여 주변환경뷰 투사모델(20)에 오버레이할 수 있다.
제어부(250)는 어라운드뷰 생성 장치(100)와 각각 연결된 복수의 카메라 센서들(110)과 거리측정센서(120)의 전체적인 동작을 제어하고, 주변환경뷰 처리부(210), 거리정보 처리부(220), 어라운드뷰 처리부(230) 및 투사모델 데이터베이스(240) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 3은 도 1에 있는 어라운드뷰 생성 장치에서 수행되는 어라운드뷰 생성 과정에 대한 순서도이다.
어라운드뷰 생성 장치(100)는 복수의 카메라 센서들(110)을 통해 주변환경뷰를 생성할 수 있다(단계 S310). 복수의 카메라 센서들(110)은 각각의 해당 영역을 촬상하여 영상을 생성하고, 주변환경뷰 처리부(210)는 복수의 카메라 센서들(110)을 통해 수신된 피사체 영상정보를 합성하여 주변환경뷰를 생성할 수 있다.
어라운드뷰 생성 장치는(100)는 거리측정센서(120)를 통해 주변환경뷰에 있는 적어도 하나의 주요 피사체에 대한 거리정보를 수신할 수 있다(단계 S320). 거리측정센서(120)는 주변환경에 있는 적어도 하나의 주요 피사체에 대한 절대적 거리를 측정할 수 있다. 여기에서, 거리측정센서(120)는 초음파 센서, 라이다 센서, 레이더 센서로서 구현될 수 있고, 거리정보 처리부(220)는 거리측정센서(120)를 통해 거리정보를 수신할 수 있다.
어라운드뷰 생성 장치(100)는 기 정의된 주변환경뷰 투사모델(20)에 주변환경뷰 및 거리정보를 융합하여 어라운드뷰를 생성할 수 있다(단계 S330). 어라운드뷰 처리부(230)는 주변환경뷰 처리부(210)로부터 수신된 주변환경뷰와 거리정보 처리부(210)로부터 수신된 거리정보를 융합하여 어라운드뷰를 생성할 수 있고, 절대적 거리가 긴 피사체(10)의 거리를 기초로 주변환경뷰 투사모델(20)의 투사범위를 결정할 수 있다. 결정된 주변환경뷰 투사모델(20)의 투사범위를 기초로 어라운드뷰 처리부(230)는 적어도 하나의 주요 피사체의 방향 및 절대적 거리를 반영하여 주변환경에 있는 각각의 피사체를 상대적인 거리에 따라 주변환경뷰 투사모델(20)에 오버레이할 수 있다.
최종적으로, 어라운드뷰 생성 장치(100)는 예를 들어, 자동차 또는 로봇과 같은 장치에서 사용될 수 있는, 이종 센서를 이용하여 얻어진 정보들을 융합하여 어라운드뷰를 생성할 수 있다. 예를 들어, 이종 센서는 복수의 카메라 센서들(110)과 레이더, 라이다 또는 초음파 센서와 같은 거리측정센서(120)를 포함할 수 있다. 어라운드뷰 생성 장치(100)는 복수의 카메라 센서들(110)과 거리측정센서(120)를 통해 주변환경뷰에 대한 보다 정확한 정보를 제공하여 사용자로 하여금 주변환경을 정확하게 인식할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 어라운드뷰 생성 장치
110: 복수의 카메라 센서들
120: 거리측정센서
210: 주변환경뷰 처리부
220: 거리정보 처리부 230: 어라운드뷰 처리부
240: 투사모델 데이터베이스 250: 제어부
1: 이동체
10: 제1 주요 피사체 11: 제2 주요 피사체
20: 주변환경뷰 투사모델

Claims (6)

  1. 복수의 카메라 센서들 및 거리측정센서와 연결된 어라운드뷰 생성 장치에서 수행되는 어라운드뷰 생성 방법에 있어서,
    (a) 상기 복수의 카메라 센서들을 통해 주변환경뷰를 생성하는 단계;
    (b) 상기 거리측정센서를 통해 상기 주변환경뷰에 있는 적어도 하나의 주요 피사체에 관한 거리정보를 수신하는 단계; 및
    (c) 기 정의된 주변환경뷰 투사모델에 상기 주변환경뷰 및 상기 거리정보를 융합하여 어라운드뷰를 생성하는 단계를 포함하는 어라운드뷰 생성 방법.
  2. 제1항에 있어서, 상기 (c) 단계는
    상기 주변환경뷰를 분석하여 상기 어라운드뷰 생성 장치를 장착한 이동체로부터 위치된 주요 피사체의 방향을 측정하고 상기 거리정보로부터 상기 측정된 주요 피사체의 절대적 거리를 측정하는 단계를 포함하는 것을 특징으로 하는 어라운드뷰 생성 방법.

  3. 제1항에 있어서, 상기 (c) 단계는
    절대적 거리가 가장 긴 피사체의 거리를 측정하여 상기 피사체의 거리를 기초로 주변환경뷰 투사모델의 투사범위를 결정하는 단계를 포함하는 것을 특징으로 하는 어라운드뷰 생성 방법.
  4. 제1항에 있어서, 상기 (c) 단계는
    상기 결정된 투사범위를 기초로 상기 적어도 하나의 주요 피사체의 위치 및 방향을 반영하여 상대적인 거리에 따라 각각의 피사체를 상기 주변환경뷰 투사모델에 오버레이하는 단계를 포함하는 것을 특징으로 하는 어라운드뷰 생성 방법.
  5. 제1항에 있어서, 상기 (c) 단계는
    상기 주변환경뷰의 주변형상을 기초로 상기 주변환경뷰 투사모델을 왜곡시키고, 상기 왜곡된 주변환경뷰 투사모델에 상기 거리정보를 반영하는 단계를 포함하는 것을 특징으로 하는 어라운드뷰 생성 방법.
  6. 상기 복수의 카메라 센서들을 통해 주변환경뷰를 생성하는 주변환경뷰 처리부;
    상기 거리측정센서를 통해 상기 주변환경뷰에 있는 적어도 하나의 주요 피사체에 관한 거리정보를 수신하는 거리정보 처리부; 및
    기 정의된 주변환경뷰 투사모델에 상기 주변환경뷰 및 상기 거리정보를 융합하여 어라운드뷰를 생성하는 어라운드뷰 처리부를 포함하는 어라운드뷰 생성 장치.
KR1020150188078A 2015-12-29 2015-12-29 어라운드뷰 생성 방법 및 이를 수행하는 장치 KR101853652B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150188078A KR101853652B1 (ko) 2015-12-29 2015-12-29 어라운드뷰 생성 방법 및 이를 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150188078A KR101853652B1 (ko) 2015-12-29 2015-12-29 어라운드뷰 생성 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20170078005A true KR20170078005A (ko) 2017-07-07
KR101853652B1 KR101853652B1 (ko) 2018-05-03

Family

ID=59353898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150188078A KR101853652B1 (ko) 2015-12-29 2015-12-29 어라운드뷰 생성 방법 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (1) KR101853652B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146903A1 (ko) * 2018-01-25 2019-08-01 전자부품연구원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580653B1 (ko) 2023-05-22 2023-09-21 고려웍스(주) 차량어라운드뷰 자동전환장치 및 그의 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378337B1 (ko) 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146903A1 (ko) * 2018-01-25 2019-08-01 전자부품연구원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
KR20190090515A (ko) * 2018-01-25 2019-08-02 전자부품연구원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Also Published As

Publication number Publication date
KR101853652B1 (ko) 2018-05-03

Similar Documents

Publication Publication Date Title
JP7157054B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
US8559674B2 (en) Moving state estimating device
CN108122425B (zh) 用于识别车辆位置的装置和方法
US9151626B1 (en) Vehicle position estimation system
US9863775B2 (en) Vehicle localization system
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
JP4809019B2 (ja) 車両用障害物検出装置
US20140172296A1 (en) Systems and methods for navigation
EP2807642B1 (en) Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
US20080170122A1 (en) Image processor, driving assistance system, and out-of-position detecting method
US8885889B2 (en) Parking assist apparatus and parking assist method and parking assist system using the same
KR20200001471A (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US11145112B2 (en) Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle
US20120236287A1 (en) External environment visualization apparatus and method
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2019128350A (ja) 画像処理方法、画像処理装置、車載装置、移動体、システム
JP2004120661A (ja) 移動体周辺監視装置
US8031908B2 (en) Object recognizing apparatus including profile shape determining section
KR101868549B1 (ko) 어라운드뷰 생성방법과 이를 수행하는 장치
KR101853652B1 (ko) 어라운드뷰 생성 방법 및 이를 수행하는 장치
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
JP4742695B2 (ja) 視線認識装置、及び視線認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant