KR20110087112A - Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법 - Google Patents

Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법 Download PDF

Info

Publication number
KR20110087112A
KR20110087112A KR1020100006586A KR20100006586A KR20110087112A KR 20110087112 A KR20110087112 A KR 20110087112A KR 1020100006586 A KR1020100006586 A KR 1020100006586A KR 20100006586 A KR20100006586 A KR 20100006586A KR 20110087112 A KR20110087112 A KR 20110087112A
Authority
KR
South Korea
Prior art keywords
image
tof
camera
vehicle
distance
Prior art date
Application number
KR1020100006586A
Other languages
English (en)
Inventor
전미진
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020100006586A priority Critical patent/KR20110087112A/ko
Publication of KR20110087112A publication Critical patent/KR20110087112A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명은 TOF(Time of Flight)를 이용한 3D 영상 표시 장치에 관한 것으로, 보다 상세하게는 TOF 카메라를 이용하여 차량과 물체사이의 거리를 측정하고, 측정된 거리 정보를 일반 영상 카메라로 촬영한 2D RGB 영상에 합성한 3D 영상을 사용자에게 제공하는 TOF 원리를 이용한 3D 영상 표시 장치 및 그 방법에 관한 것이다. 또한 TOF 카메라, 일반 영상 카메라를 차량의 전면, 후면, 좌측면, 우측면에 설치하여 각 방향별 영상을 3D 영상으로 합성한 후, 각 방향별 3D 영상을 병합함으로써 차량과 차량 주위 전체 환경에 대한 3D 영상을 운전자에게 제공할 수 있다.
따라서, 본 발명에 의하면 차량 운전자에게 차량과 차량 주변부 환경에 대한 3D 영상을 제공함으로써, 주변의 상황과 여유 공간에 대한 정보를 시각적, 공간적으로 인지시켜 충돌에 따른 안전 사고와 차량 훼손을 예방할 수 있다.

Description

ＴＯＦ 원리를 이용한 3Ｄ 영상 표시 장치 및 그 방법{image display device using TOF priciple and method thereof}
본 발명은 TOF(Time of Flight) 카메라를 이용하여 차량과 물체사이의 거리를 측정하고, 측정된 거리 정보를 일반 2D RGB 영상에 합성한 후, 이를 사용자에게 제공하는 TOF를 이용한 3D 영상 표시 장치와 그 방법에 관한 것이다.
종래에는 차량의 전면 혹은 후면에 카메라를 설치하고, 촬영된 영상을 차량 내 디스플레이 장치에 나타내어 운전자에게 차량과 그 주위 환경에 대한 정보를 전달하였다. 그러나 이와 같은 정보를 2D 영상으로 운전자에게 제공함으로써 운전자가 차량과 차량 주변 물체 사이의 실제 거리에 대한 공간적인 감각을 인지하는 데 어려움이 있었다.
TOF(Time of Flight) 카메라는 카메라 모듈에서 Short Light Pluse 를 보내고, 이 빛이 물체 표면에 닿은 후 카메라까지 돌아오는데 걸리는 시간을 측정하여 카메라와 그 물체간의 거리를 측정할 수 있다.
본 발명은 TOF(Time of Flight) 원리를 이용한 3D 영상 표시 장치 및 그 방법에 관한 것으로, 본 발명이 해결하고자 하는 과제는 차량에 일반 카메라와 TOF 카메라를 설치하고, TOF 카메라를 통해 차량과 물체 사이의 거리를 측정하고, 측정된 거리 정보를 일반 카메라로 촬영된 2D 영상에 합성함으로써 운전자에게 3D 영상을 디스플레이하는 장치와 그 방법을 제공함에 있다.
본 발명이 해결하고자 하는 다른 과제는 차량의 전면, 후면, 좌측면, 우측면에 일반 카메라와 TOF 카메라를 설치하고, 각 방향별 3D 영상을 합성하고, 각 방향별 3D 영상을 병합함으로써 운전자에게 차량과 차량 주변부의 전체 환경에 대한 3D 영상을 디스플레이하는 장치와 그 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 TOF 원리를 이용한 3D 영상 표시 장치는, 차량과 물체사이의 거리를 측정하기 위한 TOF(Time of Flight) 카메라, 2D 영상을 획득하기 위한 일반 영상 카메라, 일반 영상 카메라로 촬영된 2D RGB 영상의 각 픽셀에 거리 정보를 합성하는 3D 영상 처리부, 3D 영상을 나타내는 디스플레이부, 3D 영상의 종류를 선택할 수 있는 선택부를 포함한다.
본 발명의 다른 면에 따른 TOF 원리를 이용한 3D 영상 표시 방법은, TOF 카메라에 의해 차량과 물체 사이의 거리를 측정하는 단계, 일반 영상 카메라에 의해 물체에 대한 2D RGB 영상을 획득하는 단계, 2D RGB 영상의 각 픽셀에 거리 정보를 합성하는 단계, 각 방향별 3D 영상을 병합하는 단계, 병합된 3D 영상을 수직 화각으로 표시할 수 있도록 처리하는 단계, 3D 영상 종류를 선택하는 단계 및 3D 영상을 나타내는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 운전자에게 차량과 그 주변에 관한 일반 영상에 거리 정보를 추가한 3D 영상을 제공한다. 또한 차량 전면, 후면, 좌측면, 우측면의 각 방향별 3D 영상을 하나로 병합하여 차량과 차량을 둘러싼 전체 환경에 대한 3D 영상을 제공한다. 따라서 운전자는 차량의 주변 상황 및 여유 공간을 시각적, 공간적으로 파악할 수 있어 안전 사고와 차량의 훼손을 예방할 수 있다.
도 1은 TOF 원리를 이용한 3D 영상 표시 장치를 나타내는 블록구성도이다.
도 2는 TOF 원리를 이용한 3D 영상 표시 방법을 설명하기 위한 흐름도이다.
도 3은 3D 영상 합성을 설명하기 위한 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 부여한다.
도 1 내지 3를 참조하여 본 발명의 일 실시예에 따른 TOF(Time of Flight) 원리를 이용한 3D 영상 표시 장치 및 그 방법에 관하여 설명한다.
도 1은 TOF 원리를 이용한 3D 영상 표시 장치를 나타낸 블록구성도이고, 도 2는 TOF 원리를 이용한 3D 영상 표시 방법을 설명하기 위한 흐름도이며, 도 3은 3D 영상 합성을 설명하기 위한 블록구성도이다.
도 1을 참조하면, 일 실시예에 따른 TOF 원리를 이용한 3D 영상 표시 장치는, TOF 카메라(100), 일반 영상 카메라(200), 3D 영상 처리부(300), 디스플레이부(400) 및 선택부(500)로 구성된다.
TOF 카메라(100)는 차량과 차량 주변의 물체 사이의 거리를 측정한다. 여기서 TOF(Time of Flight)는 카메라 모듈에서 Short Light Pulse를 보내고, 이 빛이물체 표면에 닿은 후 카메라까지 반사되어 돌아오는 데 걸리는 시간을 말한다. 즉, TOF는 빛이 카메라 모듈에서 방출된 시각 t1 와 상기의 빛이 물체에 반사되어 검출된 시각을 t2 의 차이 값으로 구할 수 있으며, 다음의 수학식 1과 같이 정의된다.
수학식 1
TOF = t2 - t1
그리고, 상기 TOF 카메라를 통해 측정되는 물체의 거리 d는 다음의 수학식 2와 같이 나타낼 수 있다.
수학식 2
d = ( c × TOF)/2
여기서 c는 빛의 속도를 의미한다.
일반 영상 카메라(200)는 물체를 촬영하여 그에 대한 2D RGB 영상을 얻는다.
3D 영상 처리부(300)는 일반 영상 카메라(200)로부터 2D RGB 영상을 얻고, 2D RGB 영상의 각 픽셀 명암 값에 TOF 카메라(100)로부터 도출된 거리 정보를 반영하여 3D 영상을 합성한다. 즉, 거리가 가까울 경우 픽셀의 원래 명암 값보다 일정 수치 높게 하고, 거리가 멀 경우 픽셀의 원래 명암 값보다 일정 수치 낮게 하여 색상(RGB)값과 D(Depth)값을 가지는 최종 RGBD 영상을 완성한다.
3D 영상 합성을 도 3을 참조하여 더 자세하게 설명하면, TOF 카메라(100)로부터 얻은 TOF 거리 정보(310)에 근거하여, pixel 1의 차량으로부터 거리가 c, pixel 2의 거리가 d 이고, d 값이 c 값보다 크다면, 즉 pixel 1의 거리가 pixel 2의 거리보다 가까이 있다면, 2D RGB 영상(320)에 pixel 1의 명암 값인 a를 원래 값보다 일정 수치 높게 하고, pixel 2의 명암 값인 b를 원래 값보다 일정 수치 낮게 한다. 상술한 처리를 통해 얻어진 2D RGBD 합성 영상(330)의 pixel 1의 명암 값은 e가 되고, pixel 2의 명암 값은 f가 된다. 이와 같은 2D RGBD 합성 영상(330)은 가까운 물체는 상대적으로 밝고, 멀리 있는 물체는 상대적으로 어두워지는 효과를 표현함으로써 공간과 위치를 추리할 수 있는 3D 영상이 된다.
또한 3D 영상 처리부(300)는 차량의 전면, 후면, 좌측면, 우측면에 설치된 각 방향의 일반 영상 카메라(200)로부터 촬영된 영상에 각 방향의 TOF 카메라(100)로 얻은 거리 정보를 합성하여 각각의 3D 영상을 합성하고, 각 방향의 3D 영상을 병합한다. 또한 병합된 3D 영상을 수직 화각으로 표시할 수 있도록 처리한다. 이와 같은 처리를 통해 차량과 차량을 둘러싼 360도 전체 환경에 대한 3D 영상과 수직 화각으로 Top View 영상을 표시할 경우 상공에서 내려다 보는 듯한 3D 영상을 차량 운전자에게 제공한다.
디스플레이부(400)는 차량 내에 위치한 디스플레이 장치에 상기의 3D 영상을 나타낸다.
선택부(500)는 차량 운전자가 3D 영상의 종류를 선택한다. 3D 영상에는 전면, 후면, 좌측면, 우측면 3D 영상과 각 방향의 3D 영상을 병합한 3D 영상, 수직 화각으로 상공에서 내려다 보는 듯한 Top View 3D 영상이 있을 수 있다. 선택부는 터치 스크린 방식이 될 수 있고, 버튼식이 될 수 있다.
도 2에서와 같이 TOF 원리를 이용한 3D 영상 표시 방법은, TOF 카메라(100)에 의해 차량과 물체 사이의 거리를 측정한다(S100).
다음으로 일반 영상 카메라(200)에 의해 물체에 대한 2D RGB 영상을 촬영한다(S200).
다음으로 3D 영상 처리부(300)에 의해 3D 영상을 합성한다(S300). 3D 영상 합성은 일반 영상 카메라(200)로부터 2D RGB 영상(320)을 얻고, 2D RGB 영상의 각 픽셀 명암 값에 TOF 카메라(100)로부터 도출된 거리 정보를 반영하는 방법으로 한다. 즉, 거리가 가까울 경우 픽셀의 원래 명암 값보다 일정 수치를 높게 하고, 거리가 멀 경우 픽셀의 원래 명암 값보다 일정 수치 낮게 하는 방법으로 색상(RGB)값과 D(Depth)값을 가지는 최종 RGBD 영상을 완성한다.
다음으로 3D 영상 처리부(300)에 의해 차량의 전면, 후면, 좌측면, 우측면에 설치된 각 방향의 일반 영상 카메라(200)로부터 촬영된 영상에 각 방향의 TOF 카메라(100)로 얻은 거리 정보를 합성하여 각 방향별 3D 영상을 합성하고, 각 방향별 3D 영상을 병합한다(S310).
다음으로 3D 영상 처리부(300)에 의해 차량과 차량을 둘러싼 360도 전체 환경을 Top View 영상으로 표시하기 위하여 병합된 3D 영상을 수직 화각 처리한다(S320).
다음으로 선택부(500)에 의해 3D 영상의 종류를 선택한다(S400). 3D 영상에는 전면, 후면, 좌측면, 우측면 3D 영상과 각 방향의 3D 영상을 병합한 3D 영상, 수직 화각으로 상공에서 내려다 보는 듯한 Top View 3D 영상이 있을 수 있다.
다음으로 디스플레이부(400)에 의해 차량 내에 위치한 디스플레이 장치에 3D 영상을 디스플레이한다(S500).
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 차량과 물체 사이의 거리를 측정하기 위한 TOF(Time of Flight) 카메라,
    물체의 2D RGB 영상을 획득하기 위한 일반 영상 카메라,
    상기 2D RGB 영상의 각 픽셀에 상기 TOF 카메라에 의해 측정된 거리 정보를 합성하는 3D 영상 처리부 및
    상기 3D 영상 처리부에서 합성된 3D 영상을 나타내는 디스플레이부로 이루어진 TOF 원리를 이용한 3D 영상 표시 장치.
  2. 제 1 항에 있어서,
    3D 영상의 종류를 선택할 수 있는 선택부를 더 포함하는 TOF 원리를 이용한 3D 영상 표시 장치.
  3. 제 1 또는 제 2 항에 있어서,
    상기 TOF 카메라 및 일반 영상 카메라는 자동차의 전면, 후면, 좌측면, 우측면에 설치되고,
    상기 3D 영상 처리부는 상기 각 방향별 일반 영상 카메라에 의해 획득한 2D RGB 영상의 각 픽셀에 상기 각 방향별 TOF 카메라에 의해 측정된 거리 정보를 합성하고, 합성된 각 방향별 3D 영상을 병합하는 기능을 포함한 TOF 원리를 이용한 3D 영상 표시 장치.
  4. 제 3 항에 있어서,
    상기 3D 영상 처리부는 병합된 3D 영상을 수직 화각으로 표시할 수 있는 기능을 포함하는 TOF 원리를 이용한 3D 영상 표시 장치.
  5. 차량과 물체 사이의 거리를 측정하는 단계,
    물체에 대한 2D RGB 영상을 획득하는 단계,
    상기 2D RGB 영상의 각 픽셀에 상기 측정하는 단계에서 도출된 거리 정보를 합성하는 3D 영상 합성 단계 및
    상기 3D 영상 합성 단계에서 합성된 3D 영상을 나타내는 단계를 포함하는 TOF 원리를 이용한 3D 영상 표시 방법.
  6. 제 5 항에 있어서,
    3D 영상의 종류를 선택하는 단계를 더 포함하는 TOF 원리를 이용한 3D 영상 표시 방법.
  7. 제 5 항 또는 6 항에 있어서,
    상기 3D 영상 합성 단계는, 합성된 각 방향의 3D 영상을 병합하는 단계를 더 포함하는 TOF 원리를 이용한 3D 영상 표시 방법.
  8. 제 7 항에 있어서,
    상기 3D 영상 합성 단계는, 병합된 3D 영상을 수직 화각으로 표시할 수 있도록 처리하는 단계를 포함하는 TOF 원리를 이용한 3D 영상 표시 방법.
KR1020100006586A 2010-01-25 2010-01-25 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법 KR20110087112A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100006586A KR20110087112A (ko) 2010-01-25 2010-01-25 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100006586A KR20110087112A (ko) 2010-01-25 2010-01-25 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20110087112A true KR20110087112A (ko) 2011-08-02

Family

ID=44926001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100006586A KR20110087112A (ko) 2010-01-25 2010-01-25 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20110087112A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
KR101428281B1 (ko) * 2012-12-12 2014-08-07 현대자동차주식회사 연석 검출 시스템 및 그 방법
US9384381B2 (en) 2013-10-24 2016-07-05 Samsung Electronics Co., Ltd. Image processing device for extracting foreground object and image processing method thereof
KR20190042485A (ko) * 2016-09-01 2019-04-24 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
CN112770100A (zh) * 2020-12-31 2021-05-07 南昌欧菲光电技术有限公司 一种图像获取方法、摄影装置以及计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
US10063836B2 (en) 2011-09-06 2018-08-28 Jaguar Land Rover Limited Terrain visualization for a vehicle and vehicle driver
KR101428281B1 (ko) * 2012-12-12 2014-08-07 현대자동차주식회사 연석 검출 시스템 및 그 방법
US9384381B2 (en) 2013-10-24 2016-07-05 Samsung Electronics Co., Ltd. Image processing device for extracting foreground object and image processing method thereof
KR20190042485A (ko) * 2016-09-01 2019-04-24 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
CN112770100A (zh) * 2020-12-31 2021-05-07 南昌欧菲光电技术有限公司 一种图像获取方法、摄影装置以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US9563981B2 (en) Information processing apparatus, information processing method, and program
US10237532B2 (en) Scan colorization with an uncalibrated camera
KR101672862B1 (ko) 건설기계의 주위화상 표시장치 및 주위화상 표시방법
JP5010001B2 (ja) 立体映像ディスプレイパネルの評価方法およびシステム
KR101852209B1 (ko) 자동입체 디스플레이 및 그 제조방법
JP6732522B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017220923A (ja) 画像生成装置、画像生成方法、およびプログラム
JP2017091284A (ja) 車両用画像処理装置および車両用画像処理システム
KR101663672B1 (ko) 광시각 나안 입체 영상 표시 방법 및 표시 장치
KR101888960B1 (ko) 도로 평탄도 측정 장치 및 방법
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
KR20130086066A (ko) 화상 입력 장치 및 화상 처리 장치
US20210004614A1 (en) Surround View System Having an Adapted Projection Surface
KR20220012375A (ko) 어라운드뷰 제공 장치 및 방법
JP6669053B2 (ja) ヘッドアップディスプレイシステム
TWI506601B (zh) 車輛監控系統和車輛監控方法
KR20110087112A (ko) Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법
US11967094B2 (en) Detecting device, information processing device, detecting method, and information processing program
US20180191960A1 (en) Image processing device and image processing method
JP2010287029A (ja) 周辺表示装置
US20120120068A1 (en) Display device and display method
JP4867709B2 (ja) 表示歪み測定装置及び表示歪み測定方法
WO2012131862A1 (ja) 画像処理装置、方法およびプログラム
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application