KR102030631B1 - 어라운드뷰 제공 방법 및 장치 - Google Patents

어라운드뷰 제공 방법 및 장치 Download PDF

Info

Publication number
KR102030631B1
KR102030631B1 KR1020180023406A KR20180023406A KR102030631B1 KR 102030631 B1 KR102030631 B1 KR 102030631B1 KR 1020180023406 A KR1020180023406 A KR 1020180023406A KR 20180023406 A KR20180023406 A KR 20180023406A KR 102030631 B1 KR102030631 B1 KR 102030631B1
Authority
KR
South Korea
Prior art keywords
mesh
vehicle
around view
view image
image
Prior art date
Application number
KR1020180023406A
Other languages
English (en)
Other versions
KR20190102660A (ko
Inventor
강태원
김성수
Original Assignee
(주)넥셀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥셀 filed Critical (주)넥셀
Priority to KR1020180023406A priority Critical patent/KR102030631B1/ko
Publication of KR20190102660A publication Critical patent/KR20190102660A/ko
Application granted granted Critical
Publication of KR102030631B1 publication Critical patent/KR102030631B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 어라운드뷰 제공 방법 및 장치에 관한 것이다. 본 발명에 따른 어라운드뷰 제공 방법은, 제1 메시와 제1 메시보다 원거리인 제2 메시를 포함하는 다수의 메시를 설정하는 과정, 차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는 과정, 기설정된 조건에 따라, 다수의 메시 중 적어도 하나를 랜더링에 사용할 메시로 선택하는 과정, 및 영상 데이터와 선택한 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성하는 과정을 포함한다. 본 발명에 따르면, 미리 설정된 조건에 따라 다수의 메시 중 어느 하나를 선택하여 랜더링에 사용함으로써, 왜곡이 없는 어라운드뷰 이미지를 생성할 수 있다.

Description

어라운드뷰 제공 방법 및 장치{Method and apparatus for providing around view}
본 발명은 어라운드뷰 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 차량용 어라운드뷰 이미지를 생성하여 제공할 수 있는 어라운드뷰 제공 방법 및 장치에 관한 것이다.
어라운드뷰(around view) 제공 장치는, 차량에 한 개 이상의 카메라를 설치한 뒤, 이 영상을 합성하여 마치 하늘에서 내려다보는 것과 같은 영상을 제공하는 장치이다. 어라운드뷰 제공 장치는, 어라운드뷰 모니터, 어라운드뷰 시스템, 어라운드뷰 모니터링 시스템 등으로 불리기도 하며, 통상적으로 차량의 전방과 후방, 그리고 좌우에 각각 설치하는 카메라를 이용하여 어라운드 뷰 이미지를 생성한다.
이와 같은 어라운드뷰 제공 장치를 차량에 장착함으로써, 주차가 아주 쉬워지며, 이동 물체 감지 같은 경보 시스템과 연동되어, 이상 상황을 즉시 확인시켜 줄 수 있다. 즉, 이상 상황을 단지 센서로 알려 주는 것이 아니라, 실제 영상을 보여 주기 때문에, 운전자는 사각에서 일어나는 일을 더욱 정확히 알 수 있게 되고, 이로 인해 사고의 위험성을 크게 감소시켜 줄 수 있다. 최근에는 평면적인 탑뷰 이미지 외에 3D 어라운드 뷰 이미지를 제공할 수 있는 어라운드뷰 제공 장치도 개발되고 있다.
어라운드 뷰 이미지는, 차량에 설치된 한 개 이상의 카메라로부터 입력된 영상을 폴리곤 메시에 텍스쳐 매핑하는 과정 등에 의해 랜더링하여 생성할 수 있다.
그런데, 랜더링에 사용하는 메시의 형태와 실제 차량 외부에 있는 물체의 형태에 따라 어라운드뷰 이미지의 생성시 영상 왜곡이 발생할 수 있다. 이와 같은 현상은 차량 외부 상황은 실시간으로 변하는데 반하여, 고정된 메시를 사용하여 어라운드뷰 이미지를 생성하기 때문이다.
따라서, 차량 외부 상황 등에 따라 랜더링에 사용할 메시를 변형하여, 영상 왜곡이 발생하지 않도록 어라운드뷰 이미지를 생성하는 방안을 고려해 볼 필요가 있다.
따라서, 본 발명의 목적은, 랜더링에 사용할 메시를 외부 상황 등에 따라 변형하여 영상의 왜곡이 없는 어라운드뷰 이미지를 생성할 수 있는 어라운드뷰 제공 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 어라운드뷰 제공 방법은, 제1 메시와 상기 제1 메시보다 원거리인 제2 메시를 포함하는 다수의 메시를 설정하는 단계, 차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는 단계, 기설정된 조건에 따라, 상기 다수의 메시 중 적어도 하나를 랜더링에 사용할 메시로 선택하는 단계, 및 상기 영상 데이터와 상기 선택한 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성하는 단계를 포함한다.
상기 선택하는 단계에서, 상기 차량 근처에 특정 객체가 존재하는지 여부를 검사하여, 상기 특정 객체가 존재하면, 상기 제1 메시를 상기 사용할 메시로 선택하고, 상기 특정 객체가 존재하지 않으면, 상기 제2 메시를 상기 사용할 메시로 선택할 수 있다.
또한, 상기 선택하는 단계에서, 소정 높이에서 사선으로 상기 차량을 내려보는 어라운드뷰 이미지 생성시, 상기 제1 메시를 상기 사용할 메시로 선택하고, 상기 소정 높이 보다 높은 상기 차량의 상부에서 상기 차량을 아래로 내려보는 어라운드뷰 이미지의 생성시, 상기 제2 메시를 상기 사용할 메시로 선택할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 어라운드뷰 제공 장치는, 제1 메시와 상기 제1 메시보다 원거리인 제2 메시를 포함하는 다수의 메시에 대한 설정 정보를 저장하는 메모리, 차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는 영상 입력부, 기설정된 조건에 따라, 상기 다수의 메시 중 적어도 하나를 랜더링에 사용할 메시로 선택하는 제어부, 및 상기 영상 데이터와 선택한 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성하는 이미지 처리부를 포함한다.
또한, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 어라운드뷰 제공 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체를 제공할 수 있다.
또한, 상기 어라운드뷰 제공 방법을 이용하여 어라운드뷰 이미지를 생성하여 표시하는 어라운드 뷰 모니터를 제공할 수도 있다.
그리고, 본 발명에 따르면, 상기 어라운드뷰 제공 장치를 포함하는 3D 그래픽 프로세서가 제공된다.
본 발명에 따르면, 차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터와 다수의 메시 중에서 미리 설정된 조건에 따라 선택한 메시를 이용하여 어라운드뷰 이미지를 생성할 수 있다. 이에 따라, 차량 외부 상황의 변화나 사용자가 보고자 하는 어라운드뷰 이미지의 방향이나 높이 등에 따라 랜더링에 사용할 메시를 변형함으로써, 영상 왜곡이 없는 어라운드뷰 이미지를 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 어라운드뷰 제공 장치의 구성을 설명하기 위한 블럭도,
도 2 및 도 3은 어라운드뷰 이미지 생성 과정에 대한 설명에 참조되는 도면,
도 4는 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 제공되는 흐름도,
도 5는 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 참조되는 도면, 그리고
도 6 내지 도 9는 다양한 메시 선택에 따라 생성될 수 있는 어라운드뷰 이미지의 예를 나타낸 도면이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소에 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 또는 "~에 이웃하는" 등과, 어떤 구성요소가 다른 구성요소로 신호를 "전송한다" 와 같은 표현도 마찬가지로 해석되어야 한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 어라운드뷰 제공 장치의 구성을 설명하기 위한 블럭도이다.
도 1을 참조하면, 본 어라운드뷰 제공 장치(100)는 영상 입력부(110), 이미지 처리부(120), 통신부(130), 메모리(140), 인터페이스부(150), 및 제어부(160)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
영상 입력부(110)는 차량에 설치된 카메라에서 획득한 영상 데이터를 입력받는다. 영상 입력부(110)는 카메라나 기타 영상을 획득할 수 있는 장치를 포함할 수도 있다.
이미지 처리부(120)는 미리 설정되어 있는 다수의 메시 중에서 선택된 메시와 영상 입력부(110)를 통해 입력된 영상 데이터를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성할 수 있다.
통신부(130)는 차량의 조종을 위한 조종 장치와 통신을 수행하여 데이터를 송수신할 수 있다. 차량의 조종을 위한 장치에는 운전석에 설치된 각종 조작부와 디스플레이 등을 포함할 수 있다.
메모리(140)는 제어부(160)의 처리 및 제어를 위한 프로그램이나 데이터가 저장될 수 있다. 메모리(140)에는 미리 설정된 다수의 메시 구성을 위한 데이터가 저장될 수 있다.
인터페이스부(150)는 차량에 설치된 각종 센서로부터 센서 정보를 입력받을 수 있다. 이외에도 인터페이스부(150)는 어라운드뷰 제공 장치(100)에 연결되는 모든 외부기기와의 인터페이스 역활을 수행할 수 있다.
제어부(160)는 통상적으로 상기 각부의 동작을 제어하여 어라운드뷰 제공 장치(100)의 전반적인 동작을 제어한다. 또한, 제어부(160)는 미리 설정된 조건에 따라 다수의 메시 중 어느 하나를 랜더링에 사용할 메시로 선택하여, 이미지 처리부(120)가 어라운드뷰 이미지를 생성하도록 제어할 수 있다.
이와 같은 구성에 의해, 어라운드뷰 제공 장치(100)는 영상 입력부(110)를 통해 입력된 영상 데이터와 미리 설정된 조건에 따라 선택한 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성할 수 있다.
도 2 및 도 3은 어라운드뷰 이미지 생성 과정에 대한 설명에 참조되는 도면이다.
도 2를 참조하면, 어라운드뷰 제공 장치(100)는 차량(200)에 설치된 카메라(105a, 105b, 105c, 105d)를 통해 획득한 영상 데이터를 사용하여, 차량(200)을 외부에서 관찰하는 듯한 어라운드뷰 이미지를 생성할 수 있다.
카메라(105a, 105b, 105c, 105d)는 차량(200)의 좌우 및 전후 영역(210a, 210b, 210c, 210d)을 촬영한 영상 데이터를 제공할 수 있다. 카메라(105a, 105b, 105c, 105d)의 개수는 이보다 적거나 혹은 많을 수도 있으며, 카메라(105a, 105b, 105c, 105d)의 개수와 위치에 따라 보이지 않는 음영 지역이 생길 수 있다.
도 3에 도시한 바와 같이, 카메라(105a, 105b, 105c, 105d)로부터 입력된 영상을 폴리곤 메시(300)에 텍스쳐 매핑(texture mapping)하는 과정 등을 포함하는 렌더링 작업에 의해 어라운드뷰 이미지를 생성할 수 있다.
메시(300)는 3차원 컴퓨터 그래픽스에서 다면체의 형태를 구성하는 폴리곤과 정점들의 집합을 의미하며, 간단한 랜더링이 가능하도록 주로 삼각형과 사변형 또는 볼록한 다각형으로 구성되지만, 구멍이 뚫려 있는 등 더 복잡한 도형을 이용하여 구성할 수도 있다.
텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 삼차원 물체의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법을 의미한다. 일반적으로 수식이나 2차원의 그림을 삼차원 물체의 표면에 여러 가지 방법을 통하여 적용하고, 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게 그 세부 묘사를 하는 것이다. 이는 사실적인 3D 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다. 쉽게 말하자면 지도를 제작할 때 입체인 지구표면은 평면으로 바꾸는 방법을 쓰지만 텍스처 매핑의 경우에는 그 반대로 2차원을 3차원에 적용하는 것이다.
어라운드뷰 이미지 생성을 위해, 메시(300)의 각 정점(x,y,z)에 매핑될 텍스쳐 좌표(u,v)를 구하는 파라메터화된 함수 f를 정의할 수 있다((u,v) = f(x,y,z;w)).
정의된 함수 f를 사용하여 실행시간에 텍스쳐 좌표를 계산하여 매핑할 수도 있고, 메시가 생성될 시점에 미리 테이블을 만들어 둘 수도 있다.
그런데, 메시의 형태와 실제 외부에 있는 물체의 형태에 따라 어라운드뷰 이미지에 영상 왜곡이 생길 수 있다. 문제의 핵심은 외부 상황은 실시간으로 변하는데 메시는 고정되어 있다는 것이다. 따라서, 조건에 맞추어 렌더링에 사용할 메시를 변형할 필요성이 있다.
도 4는 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 제공되는 흐름도이다.
도 4를 참조하면, 먼저, 랜더링에 사용할 다수의 메시를 설정한다(S400). 설정되는 다수의 메시에는 근거리용인 제1 메시와 제1 메시보다 원거리인 원거리용 제2 메시를 포함한다.
영상 입력부(110)는 차량(200)에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는다(S405).
제어부(160)는 인터페이스부(150)를 통해 입력되는 센서 신호에 따라 차량 (200) 근처에 특정 객체가 존재하는지 여부를 판단하여(S410), 특정 객체가 존재하면, 근거리용인 제1 메시를 랜더링에 사용할 메시로 선택하고(S415), 특정 객체가 존재하지 않으면, 원거리용 제2 메시를 랜더링에 사용할 메시로 선택한다(S420).
이미지 처리부(120)는 영상 데이터와 선택한 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성한다(S425).
이와 같이, 미리 설정된 조건에 따라, 다수의 메시 중 어느 하나를 랜더링에 사용할 메시로 선택하는데, 메시 선택 조건은 사용 환경이나 생성하는 어라운드뷰 이미지의 방향이나 높이 등에 따라 다양하게 설정할 수 있다.
또한, 하나 이상의 메시를 블렌딩하여 사용할 수도 있다. 예컨대, 제1 메시를 선택하여 사용하다가, 제2 메시로 전환이 필요한 경우가 발생하면, 제1 메시와 제2 메시를 블렌딩하여 사용할 수 있다. 이와 같은 사용에 의해, 메시 전환에 따라, 어라운드뷰 이미지가 급격하게 변화되는 것을 방지할 수 있다.
제어부(160)는 이미지 처리부(120)에서 생성한 어라운드뷰 이미지를 통신부(130)를 통해 출력한다(S435). 출력된 어라운드뷰 이미지는 차량에 설치된 디스플레이에 표시할 수 있다.
이와 같은 과정에 의해, 어라운드뷰 이미지를 생성할 수 있다.
한편, 상기한 실시예에서는 차량 근처에 특정 객체가 존재하는지 여부에 따라 랜더링에 사용할 메시를 선택하였으나, 이외에도 다양한 조건에 따라 랜더링에 사용할 메시를 선택할 수 있다.
예컨대, 소정 높이에서 사선으로 차량(200)을 내려보는 어라운드뷰 이미지 생성을 하는 경우에는, 근거리용 제1 메시를 랜더링에 사용할 메시로 선택할 수 고, 소정 높이보다 높은 차량(200)의 상부에서 차량을 아래로 내려보는 탑뷰(top view) 어라운드뷰 이미지의 생성을 하는 경우에는 원거리용 제2 메시를 랜더링에 사용할 메시로 선택하여 사용할 수 있다.
또한, 미리 설정된 방향별(4방향 또는 8방향)로 랜더링에 사용할 메시를 선택하여 사용할 수 있다. 이외에도 다양한 선택 조건에 따라 랜더링에 사용할 메시를 선택할 수 있다.
도 5는 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 참조되는 도면이다.
도 5에 도시한 바와 같이, 차량(200) 근처에 특정 객체(250)가 존재하는 경우에는 근거리용 제1 메시(300a)를 랜더링에 사용하고, 특정 객체(250)가 존재하지 않는 경우에는 원거리용 제2 메시(300b)를 랜더링에 사용하여 왜곡 없는 어라운드뷰 이미지를 생성할 수 있다.
도 6 내지 도 9는 다양한 메시 선택에 따라 생성될 수 있는 어라운드뷰 이미지의 예를 나타낸 것이다.
도 6 및 도 7은 차량 근처에 특정 객체가 존재하는 경우, 원거리용 메시와 근거리용 메시를 사용하여 어라운드뷰 이미지를 생성한 경우를 나타낸다.
도 6은 원거리용 메시를 사용하여 어라운드뷰 이미지를 생성한 경우를 나타낸 것으로, 어라운드뷰 이미지에서 차량 근처에 있는 특정 객체(A)는 누워있는 것과 같이 표현되는 영상 왜곡이 나타난다. 이와 같이, 메시의 형태와 실제 차량 외부에 있는 물체의 형태에 따라 어라운드뷰 이미지에 영상 왜곡이 생길 수 있다.
도 7은 근거리용 메시를 사용하여 어라운드뷰 이미지를 생성한 경우를 나타낸 것으로, 차량 근처의 특정 객체(A')는 어라운드뷰 이미지에서 실제 모양과 비슷하게 나타나서, 영상 왜곡이 감소됨을 알 수 있다.
도 8 및 도 9는 탑 뷰 이미지의 생성시, 근거리용 메시와 원거리용 메시를 사용하여 어라운드뷰 이미지를 생성한 경우를 나타낸다.
도 8은 근거리용 메시를 사용하여 어라운드뷰 이미지를 생성한 경우를 나타낸 것으로, 메시가 충분한 거리를 갖지 않을 경우 위에서 내려다 본 영상에 어안 왜곡이 발생함을 알 수 있다.
도 9는 원거리용 메시를 사용하여 어라운드뷰 이미지를 생성한 경우를 나타낸 것으로, 영상 왜곡을 감소됨을 알 수 있다.
이와 같이, 외부 상황 등에 따라 랜더링에 사용할 메시를 변경하여 사용함으로써 영상의 왜곡이 없는 어라운드뷰 이미지를 생성할 수 있다.
한편, 본 발명에 따른 어라운드뷰 제공 방법 및 장치는 상기한 바와 같이 설명된 실시예들의 구성에 한정되게 적용될 수 있는 것이 아니라, 상기한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
그리고, 본 발명의 내용은 하드웨어나 소프트웨어 사용에만 국한되지는 않으며, 다른 어떤 컴퓨팅 또는 처리 환경에 대해서도 적용 가능하다. 본 발명에서 설명하는 하드웨어, 소프트웨어 또는 하드웨어소프트웨어의 조합으로 구현될 수 있다. 본 발명은 회로를 사용하여 구현될 수 있다. 즉, 한 개 이상의 프로그램 가능한 논리회로, 즉 ASIC(application specific integrated circuit) 또는 논리회로(AND, OR NAND gates) 또는 프로세싱 장치(예를 들면 마이크로 프로세서, 컨트롤러)로 구현가능하다.
또한, 본 발명은 프로그램 가능한 컴퓨터상에서 컴퓨터 프로그램으로 구현 가능하다. 이러한 컴퓨터는 프로세서, 저장장치, 입력장치, 출력 장치를 포함할 수 있다. 본 발명에서 설명한 내용을 구현하기 위해 프로그램 코드는 마우스 또는 키보드 입력장치로 입력될 수 있다. 이러한 프로그램들은 고차원적인 언어나, 객체지향적인 언어로 구현될 수 있다. 또한 어셈블리나 기계어 코드로 구현된 컴퓨터 시스템으로도 구현될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110 : 영상 입력부 120 : 이미지 처리부
130 : 통신부 140 : 메모리
150 : 인터페이스부 160 : 제어부

Claims (14)

  1. 근거리용 메시와 상기 근거리용 메시보다 원거리인 원거리용 메시를 포함하는 다수의 메시를 설정하는 단계;
    차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는 단계;
    상기 차량 근처에 특정 객체가 존재하는지 여부, 소정 높이에서 사선으로 상기 차량을 내려보는 어라운드뷰 이미지를 생성하는 것인지 혹은 상기 소정 높이보다 높은 상기 차량의 상부에서 상기 차량을 아래로 내려보는 어라운드뷰 이미지를 생성하는 것인지 여부, 및 미리 설정된 방향별 선택 조건 중 적어도 하나의 조건에 따라, 상기 다수의 메시 중 어느 하나를 랜더링에 사용할 사용 메시로 선택하는 단계; 및
    상기 영상 데이터와 상기 사용 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성하는 단계;를 포함하며,
    상기 다수의 메시 중에서 제1 메시를 상기 사용 메시로 선택하여 상기 랜더링 작업에 이용하다가 상기 다수의 메시 중에서 제2 메시로 상기 사용 메시의 전환이 필요한 경우, 상기 제1 메시와 상기 제2 메시를 블렌딩한 메시를 상기 사용 메시로 설정하여 상기 랜더링 작업에 이용하는 것을 특징으로 하는 어라운드뷰 제공 방법.
  2. 제1항에 있어서,
    상기 선택하는 단계에서, 상기 특정 객체가 존재하면, 상기 근거리용 메시를 상기 사용 메시로 선택하고, 상기 특정 객체가 존재하지 않으면, 상기 원거리용 메시를 상기 사용 메시로 선택하는 것을 특징으로 하는 어라운드뷰 제공 방법.
  3. 제1항에 있어서,
    상기 선택하는 단계에서, 상기 소정 높이에서 사선으로 상기 차량을 내려보는 어라운드뷰 이미지 생성시, 상기 근거리용 메시를 상기 사용 메시로 선택하고, 상기 소정 높이 보다 높은 상기 차량의 상부에서 상기 차량을 아래로 내려보는 어라운드뷰 이미지의 생성시, 상기 원거리용 메시를 상기 사용 메시로 선택하는 것을 특징으로 하는 어라운드뷰 제공 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 생성한 어라운드뷰 이미지를 상기 차량에 설치된 디스플레이에 표시하는 단계를 더 포함하는 어라운드뷰 제공 방법.
  6. 제1항, 제2항, 제3항 또는 제5항 중 어느 한 항의 어라운드뷰 제공 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
  7. 제1항, 제2항, 제3항 또는 제5항 중 어느 한 항의 어라운드뷰 제공 방법을 이용하여 어라운드뷰 이미지를 생성하여 표시하는 어라운드 뷰 모니터.
  8. 근거리용 메시와 상기 근거리용 메시보다 원거리인 원거리용 메시를 포함하는 다수의 메시에 대한 설정 정보를 저장하는 메모리;
    차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는 영상 입력부;
    상기 차량 근처에 특정 객체가 존재하는지 여부, 소정 높이에서 사선으로 상기 차량을 내려보는 어라운드뷰 이미지를 생성하는 것인지 혹은 상기 소정 높이보다 높은 상기 차량의 상부에서 상기 차량을 아래로 내려보는 어라운드뷰 이미지를 생성하는 것인지 여부, 및 미리 설정된 방향별 선택 조건 중 적어도 하나의 조건에 따라, 상기 다수의 메시 중 어느 하나를 랜더링에 사용할 사용 메시로 선택하는 제어부; 및
    상기 영상 데이터와 상기 사용 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성하는 이미지 처리부를 포함하며,
    상기 다수의 메시 중에서 제1 메시를 상기 사용 메시로 선택하여 상기 랜더링 작업에 이용하다가 상기 다수의 메시 중에서 제2 메시로 상기 사용 메시의 전환이 필요한 경우, 상기 제1 메시와 상기 제2 메시를 블렌딩한 메시를 상기 사용 메시로 설정하여 상기 랜더링 작업에 이용하는 것을 특징으로 하는 어라운드뷰 제공 장치.
  9. 제8항에 있어서,
    상기 차량에 설치된 센서로부터 입력된 신호를 상기 제어부로 전달하는 인터페이스부; 및
    상기 차량의 조종 장치와 통신하여 데이터를 송수신하는 통신부를 더 포함하는 어라운드뷰 제공 장치.
  10. 제9항에 있어서,
    상기 제어부는, 상기 인터페이스부를 통해 입력되는 센서 신호에 따라, 상기 차량 근처에 특정 객체가 존재하는지 검사하여, 상기 특정 객체가 존재하면 상기 근거리용 메시를 상기 사용 메시로 선택하고, 상기 특정 객체가 존재하지 않으면, 상기 원거리용 메시를 상기 사용 메시로 선택하는 것을 특징으로 하는 어라운드뷰 제공 장치.
  11. 제9항에 있어서,
    상기 제어부는, 상기 조종 장치로부터 입력되는 조작 신호에 따라, 상기 소정 높이에서 사선으로 상기 차량을 내려보는 어라운드뷰 이미지 생성시, 상기 근거리용 메시를 상기 사용 메시로 선택하고, 상기 소정 높이 보다 높은 상기 차량의 상부에서 상기 차량을 아래로 내려보는 어라운드뷰 이미지의 생성시, 상기 원거리용 메시를 상기 사용 메시로 선택하는 것을 특징으로 하는 어라운드뷰 제공 장치.
  12. 삭제
  13. 제9항에 있어서,
    상기 제어부는, 상기 통신부를 통해 상기 생성한 어라운드뷰 이미지를 상기 차량에 설치된 디스플레이에 전달하여 표시되도록 하는 것을 특징으로 하는 어라운드뷰 제공 장치.
  14. 제8항 내지 제11항 및 제13항 중 어느 한 항의 어라운드뷰 제공 장치를 포함하는 3D 그래픽 프로세서.
KR1020180023406A 2018-02-27 2018-02-27 어라운드뷰 제공 방법 및 장치 KR102030631B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180023406A KR102030631B1 (ko) 2018-02-27 2018-02-27 어라운드뷰 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180023406A KR102030631B1 (ko) 2018-02-27 2018-02-27 어라운드뷰 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190102660A KR20190102660A (ko) 2019-09-04
KR102030631B1 true KR102030631B1 (ko) 2019-10-10

Family

ID=67950531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180023406A KR102030631B1 (ko) 2018-02-27 2018-02-27 어라운드뷰 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102030631B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
KR101565006B1 (ko) 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR101657673B1 (ko) 2015-04-30 2016-09-22 주식회사 와이즈오토모티브 파노라마뷰 생성 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
KR101511610B1 (ko) * 2013-07-23 2015-04-13 현대오트론 주식회사 초음파 센서를 이용한 avm 시스템 및 어라운드뷰 이미지 제공 방법
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR101606539B1 (ko) * 2014-07-29 2016-03-25 주식회사 삼우소프트 360도 원형 디스플레이의 3차원 영상 렌더링 방법
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
KR101565006B1 (ko) 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR101657673B1 (ko) 2015-04-30 2016-09-22 주식회사 와이즈오토모티브 파노라마뷰 생성 장치 및 방법

Also Published As

Publication number Publication date
KR20190102660A (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
US5694533A (en) 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism
AU2022200841B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US5684943A (en) Method and apparatus for creating virtual worlds
JP6246914B2 (ja) 未知の対象物に対する拡張現実コンテンツの生成
US7663649B2 (en) Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object
US8154544B1 (en) User specified contact deformations for computer graphics
US20150077592A1 (en) Devices, systems, and methods for generating proxy models for an enhanced scene
US20130300740A1 (en) System and Method for Displaying Data Having Spatial Coordinates
WO2016089655A1 (en) Mixed-reality visualization and method
JP3514947B2 (ja) ３次元画像処理装置及び３次元画像処理方法
JP3104638B2 (ja) ３次元画像作成装置
JP2021056679A (ja) 画像処理装置、方法及びプログラム
RU2295772C1 (ru) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
KR100489572B1 (ko) 화상 처리 방법
KR102030631B1 (ko) 어라운드뷰 제공 방법 및 장치
KR20140019199A (ko) 적외선 동작 인식 카메라를 사용한 네추럴 유저 인터페이스 기반 입체 지구본의 제조 방법
KR101227155B1 (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
JP2017084215A (ja) 情報処理システム、その制御方法、及びプログラム
KR102077494B1 (ko) 어라운드뷰 제공 방법 및 장치
JP5146054B2 (ja) 仮想空間における音源より発生される音の生成制御プログラム
JPH03211686A (ja) コンピュータ制御デイスプレイ方法および装置
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
US20010033280A1 (en) Three-dimensional model processing apparatus, method and program providing medium
JP2000137834A (ja) 合成動画像生成装置および合成動画像生成方法
US20240233259A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant