KR20230114223A - 차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치 - Google Patents

차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치 Download PDF

Info

Publication number
KR20230114223A
KR20230114223A KR1020230009328A KR20230009328A KR20230114223A KR 20230114223 A KR20230114223 A KR 20230114223A KR 1020230009328 A KR1020230009328 A KR 1020230009328A KR 20230009328 A KR20230009328 A KR 20230009328A KR 20230114223 A KR20230114223 A KR 20230114223A
Authority
KR
South Korea
Prior art keywords
digital twin
vehicle
data
generating
global
Prior art date
Application number
KR1020230009328A
Other languages
English (en)
Inventor
이자현
Original Assignee
주식회사 디지털안전기술단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디지털안전기술단 filed Critical 주식회사 디지털안전기술단
Publication of KR20230114223A publication Critical patent/KR20230114223A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B60K2370/178—
    • B60K2370/179—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 디지털트윈 생성 방법 및 장치에 관한 것으로서, 더욱 상세하게는 차량용 센서세트를 활용한 어라운드 센싱 시스템을 통하여 어라운드 가상 뷰를 생성함으로 차량의 작업환경 내에 접근하는 작업자 등의 위험을 감지하고 이를 차량의 운전자와 차량 주변에 접근하는 작업자에게 알리기 위한 차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치에 관한 것이다.

Description

차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치{Method and apparatus for generating digital twin using vehicle sensor set}
본 발명은 디지털트윈 생성 방법 및 장치에 관한 것으로서, 더욱 상세하게는 차량용 센서세트를 활용한 어라운드 센싱 시스템을 통하여 어라운드 가상 뷰를 생성함으로 차량의 작업환경 내에 접근하는 작업자 등의 위험을 감지하고 이를 차량의 운전자와 차량 주변에 접근하는 작업자에게 알리기 위한 차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치에 관한 것이다.
운전자 보조 시스템의 하나인 어라운드 뷰 모니터링(around view monitoring, AVM) 시스템은 여러 대의 카메라를 장착하여 차량 주변 상황을 운전자에게 영상으로 제공하는 것이다. 최근에는 여러 대의 카메라를 장착하여 운전자에게 하늘 위에서 보는 것 같은 조감도(Bird's Eye View)를 제공하는 시스템들이 주류를 이루고 있다. AVM 시스템은 영상 생성 장치(apparatus for producing image)를 통해 제한된 수의 카메라에서 획득되는 영상을 이용하여 물체, 예를 들면 자동차 주위를 360도의 시야각으로 표시하는 영상을 생성할 수 있어 디스플레이를 통해 차량 주변의 장애물을 실시간으로 파악할 수 있다는 장점이 있다. 하지만 자동차에 AVM 시스템이 적용된 제품마다 반응성이 달라 약간의 화면 지연이 있는 경우나 높은 차고로 인해 차량 주변에 접근하는 작업자나 장애물을 인지하지 못하는 경우가 있다. 또 어디까지나 카메라로 비치는 화면이기 때문에 실제거리와 차이가 있거나 왜곡이 있어 정확도가 떨어지는 문제가 있다. 또한 운전자가 디스플레이에 표시되는 영상을 주시하면서 각별한 주의를 기울이지 않고 어라운드 뷰 기능을 맹신했다가 불필요한 충돌에 의한 안전사고를 면치 못하는 문제가 늘어나고 있다.
KR 101939349 B1
본 발명은 이와 같은 문제점을 해결하기 위하여 창안된 것으로서, 차량용 센서세트를 활용한 어라운드 센싱 시스템을 통하여 어라운드 가상 뷰를 생성함으로 차량의 작업환경 내에 접근하는 작업자 등의 위험을 감지하여 이를 차량의 운전자와 차량 주변에 접근하는 작업자에게 알리기 위한 차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치를 제공하는 것을 그 목적으로 한다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 방법으로서, (a) 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신하는 단계; (b) 상기 단계 (a)에서 수신한 상기 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성하는 단계; 및, (c) 상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈의 생성 데이터를 상기 복수의 차량으로 각각 전송하는 단계를 포함한다.
상기 단계 (b)의 글로벌 디지털트윈의 생성은, 상기 각각의 로컬 디지털트윈 데이터를 글로벌 좌표계로 매핑하여 이루어지는 것이다.
상기 단계 (b)와 (c) 사이에, 상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈에 위험요소가 있는지를 확인하는 단계를 더 포함한다.
상기 위험요소가 있을 경우, 상기 위험요소에 따른 경고를 생성하는 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 다른 측면은 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 장치로서, 적어도 하나의 프로세서; 및, 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신하는 단계; (b) 상기 단계 (a)에서 수신한 상기 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성하는 단계; 및, (c) 상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈의 생성 데이터를 상기 복수의 차량으로 각각 전송하는 단계가 실행되도록 하는 차량용 센서세트를 활용한 디지털트윈 생성 장치.
이와 같은 목적을 달성하기 위한 또 다른 측면은 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 컴퓨터 프로그램으로서, (a) 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신하는 단계; (b) 상기 단계 (a)에서 수신한 상기 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성하는 단계; 및, (c) 상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈의 생성 데이터를 상기 복수의 차량으로 각각 전송하는 단계가 실행되도록 하는 명령을 포함하는 차량용 센서세트를 활용한 디지털트윈을 생성하는 컴퓨터 프로그램.
이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 차량용 센서세트를 활용한 로컬 디지털트윈을 생성하는 방법으로서, (a) 차량의 서로 다른 위치에 각각 구비된 센서세트로부터 각각의 센서 데이터를 입력받는 단계; (b) 상기 단계 (a)에서 입력된 상기 각각의 센서 데이터로부터 로컬 디지털트윈을 생성하는 단계; 및, (c) 상기 단계 (b)에서 생성된 상기 로컬 디지털트윈의 생성 데이터를 글로벌 디지털트윈 생성 장치에 전송하는 단계를 포함한다.
상기 단계 (b)와 (c) 사이에, 상기 단계 (b)에서 생성된 상기 로컬 디지털트윈에 위험요소가 있는지를 확인하는 단계를 더 포함한다.
상기 위험요소가 있을 경우, 상기 위험요소에 따른 경고를 생성하는 것이다.
상기 생성된 경고에 따른 경고 데이터를 통하여 상기 차량의 서로 다른 위치에 부착된 경고 장치 중 적어도 어느 하나가 동작되도록 하는 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 차량용 센서세트를 활용한 로컬 디지털트윈을 생성하는 장치로서, 적어도 하나의 프로세서; 및, 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 차량의 서로 다른 위치에 각각 구비된 센서세트로부터 각각의 센서 데이터를 입력받는 단계; (b) 상기 단계 (a)에서 입력된 상기 각각의 센서 데이터로부터 로컬 디지털트윈을 생성하는 단계; 및, (c) 상기 단계 (b)에서 생성된 상기 로컬 디지털트윈의 생성 데이터를 글로벌 디지털트윈 생성 장치에 전송하는 단계가 실행되도록 하는 차량용 센서세트를 활용한 디지털트윈 생성 장치.
이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 차량용 센서세트를 활용한 로컬 디지털트윈을 생성하는 컴퓨터 프로그램으로서, (a) 차량의 서로 다른 위치에 각각 구비된 센서세트로부터 각각의 센서 데이터를 입력받는 단계; (b) 상기 단계 (a)에서 입력된 상기 각각의 센서 데이터로부터 로컬 디지털트윈을 생성하는 단계; 및, (c) 상기 단계 (b)에서 생성된 상기 로컬 디지털트윈의 생성 데이터를 글로벌 디지털트윈 생성 장치에 전송하는 단계가 실행되도록 하는 명령을 포함하는 차량용 센서세트를 활용한 디지털트윈을 생성하는 컴퓨터 프로그램.
본 발명에 의하면, 로컬 가상화한 후 글로벌 가상화는 데이터의 전송관점에서 실시간 스트리밍과 비교하여 전송하는 데이터량을 줄이거나 통신환경이 좋지않은 환경에서도 실시간성을 확보하는 효과가 있다.
또한 사고가 발생시 원격으로 경고를 생성하여 각 작업자나 관리자에게 전달하여 2차 사고를 예방하는 효과가 있다.
도 1은 본 발명에 따른 글로벌 디지털트윈 생성 장치를 포함하는 차량용 센서세트를 활용한 디지털트윈 생성 장치의 전체적인 시스템을 나타낸 도면.
도 2는 도 1의 차량에 구비된 센서세트 및 경보 장치의 장착 위치를 보여주는 도면.
도 3은 도 1에 따른 차량을 컴퓨터 장치의 구성으로 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 차량용 센서세트를 활용한 로컬 디지털 트윈을 생성하는 방법을 나타낸 흐름도.
도 5는 도 4에 따른 로컬 디지털트윈을 가상화하는 방법을 보여주는 도면.
도 6은 도 4에 따른 로컬 디지털트윈 생성에 적용되는 여러대의 차량과 작업자의 현실 세계를 도시한 도면.
도 7은 도 6에 따른 각각의 차량이 센서세트를 활용하여 각각의 차량에 따른 가상의 로컬 디지털트윈이 생성된 모습을 도시한 도면.
도 8은 도 1에 따른 글로벌 디지털트윈 생성 장치를 컴퓨터 장치의 구성으로 나타낸 도면.
도 9는 본 발명의 일 실시예에 따른 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 방법을 나타낸 흐름도.
도 10은 도 9에 따른 글로벌 디지털트윈이 가상화를 통하여 생성된 모습을 보여주는 도면.
이하에서는, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다. 동일하거나 유사한 구성요소에 대해서는 동일 또는 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략한다. 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 등가인 것 내지 대체하는 것을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며 해당되는 구성요소들은 이러한 용어들에 의해 한정되지 않는다. 단수의 표현은, 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서 사용된 "포함한다", "구비한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 한정하려는 것으로 이해되어야 하며, 하나 이상의 다른 특징들이나 단계, 구성요소 또는 이들을 조합한 것들이 존재할 또는 부가될 가능성을 배제하려는 것은 아니다.
어떤 구성요소가 다른 구성요소에 "연결" 되어 있다거나 "접속" 되어 있다고 설명된 때에는, 그 다른 구성요소에 직접 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 또다른 구성요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결" 되어 있다거나 "직접 접속" 되어 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.
도 1은 본 발명에 따른 글로벌 디지털트윈 생성 장치를 포함하는 차량용 센서세트를 활용한 디지털트윈 생성 장치의 전체적인 시스템을 나타낸 도면이며, 도 2는 도 1의 차량에 구비된 센서세트 및 경고 장치의 장착 위치를 보여주는 도면이다.
먼저 도 1를 참조하면, 본 발명의 차량용 센서세트를 활용한 디지털트윈 생성 장치의 전체 시스템은 센서세트 및 경고 장치가 구비된 차량(10)과 이 차량(10)이 무선통신망을 통하여 글로벌 디지털트윈 생성 장치(200)와 무선통신이 이루어진다. 차량(10)에는 도 2에 도시된 바와 같이 차량(10)의 임의의 위치에 센서세트(20_1, 20_2, 20_3, 20_4) 및 경고 장치(30_1, 30_2, 30_3, 30_4)가 장착되며, 도시되지는 않았지만 컴퓨터 장치 및 디스플레이가 포함된다. 차량(10)의 컴퓨터 장치는 센서세트(20_1, 20_2, 20_3, 20_4) 및 경고 장치(30_1, 30_2, 30_3, 30_4)와 연계되어 어라운드 가상 뷰를 생성하는 모듈과, 카메라 센서로부터 획득된 영상으로부터 객체를 구별하는 AI 객체 인식 모듈, ToF 센서를 활용하여 상대 위치를 구하는 모듈, 열화상 카메라를 통하여 획득된 영상 데이터를 측정하고 매핑하는 모듈 등을 포함하며 각각의 센서에서 측정된 데이터를 정합하기 위해 사전에 칼리브레이션을 통해 픽셀과 맵핑 정보를 생성하는 모듈 등을 포함할 수 있다. 여기서 도 2에는 차량(10)의 앞/뒤 및 좌/우 위치에 센서세트(20_1, 20_2, 20_3, 20_4) 및 경고 장치(30_1, 30_2, 30_3, 30_4)가 장착되어 있지만 이로써 한정하는 것은 아니며, 각각의 서로 다른 위치에 더 많은 개수의 센서세트 및 경고 장치가 구비될 수 있다. 이때 센서세트(20_1, 20_2, 20_3, 20_4)는 일반 카메라, 열화상 카메라, 라이다, G-센서, 지자계 센서 등이 하나의 세트로 구성될 수 있으며 더 다양한 센서등이 포함 될 수도 있다. 그리고 경고 장치(30_1, 30_2, 30_3, 30_4)는 시각적 경고 장치와 청각적 경고 장치로 구성될 수 있으며, 생성된 경고에 따른 경고 데이터에 따라 특정한 경고 장치가 동작하여 해당되는 위치에 구비된 경고 장치에 의하여 작업자 등의 위험위치에서 경고를 인식할 수 있도록 한다.
도 3은 도 1에 따른 차량을 컴퓨터 장치의 구성으로 나타내고 있으며, 센서세트(20)와 경고 장치(30)가 함께 구비되고 있음을 보여주고 있다.
차량의 로컬 디지털트윈 생성 장치(100)는 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(120), 실행 중인 프로그램을 저장하는 휘발성 메모리(130), 다른 기기와 통신을 수행하기 위한 통신부(140), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만 전자장치는 배터리와 같은 전력제공부를 포함한다. 이때 차량의 로컬 디지털트윈 생성 장치(100)는 도 2의 각각의 센서세트 "20_1, 20_2, 20_3, 20_4"로 표현된 센서세트(20) 및 경고 장치 "30_1, 30_2, 30_3, 30_4"로 표현된 경고 장치(30)와 연계되며 어라운드 가상 뷰를 생성하는 모듈인 로컬 디지털트윈 생성 어플리케이션(135)을 포함한다. 차량의 로컬 디지털트윈 생성 장치(100)는, 센서세트(20) 중 카메라 센서로부터 획득된 영상으로부터 객체를 구별하는 AI 객체 인식 모듈, ToF 센서를 활용하여 상대 위치를 구하는 모듈, 열화상 카메라를 통하여 획득된 영상 데이터를 측정하고 매핑하는 모듈 등을 포함하며 각각의 센서에서 측정된 데이터를 정합하기 위해 사전에 칼리브레이션을 통해 픽셀과 맵핑 정보를 생성하는 모듈 등을 포함할 수 있다. 한편 AI 객체 인식 모듈은 CNN(convolution neural network) 또는 YOLO(You Only Look Once) 알고리즘일 수 있다. CNN은 객체 인식의 정확도가 높으며, YOLO는 CNN과 비교하여 물체 인식의 정확도는 떨어질 수 있으나, 물체에 대한 빠른 인식 속도에 강점이 있다. 이러한 특징을 감안하여 CNN 만을 이용한 심층신경망 모델을 이용할 수도 있고, YOLO 만을 이용한 심층신경망 모델을 이용할 수도 있다.
로컬 디지털트윈 생성 어플리케이션(135)은 차량의 서로 다른 위치에 각각 구비된 센서세트(20)로부터 각각의 센서 데이터를 입력받고, 입력된 각각의 센서 데이터로부터 가상의 로컬 디지털트윈을 생성하고, 생성된 로컬 디지털트윈 데이터를 글로벌 디지털트윈 생성 장치에 전송하는 역할을 수행한다. 이러한 로컬 디지털트윈 생성 어플리케이션(135)은 차량의 로컬 디지털트윈 생성 장치(100)에 설치되어 동작하는 프로그램이며, 이 로컬 디지털트윈 생성 어플리케이션(135)의 동작에 의한 차량용 센서데이터를 활용한 로컬 디지털트윈 생성 방법에 관하여는 이하 도 4 내지 도 6을 참조하여 상세히 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 차량용 센서세트를 활용한 로컬 디지털 트윈을 생성하는 방법을 나타낸 흐름도이고, 도 5는 도 4에 따른 로컬 디지털 트윈을 가상화하는 방법을 보여주는 도면이며, 도 6은 도 4에 따른 로컬 디지털트윈 생성에 적용되는 여러대의 차량과 작업자의 현실 세계를 도시한 도면이다. 그리고 도 7은 도 6에 따른 각각의 차량이 센서세트를 활용하여 각각의 차량에 따른 가상의 로컬 디지털트윈을 도시한 도면이다.
도 4는 도 3의 로컬 디지털트윈 생성 어플리케이션(135)의 동작에 의해 수행되어지는 일 실시예로서의 과정을 도시한 것이다.
먼저 차량의 서로 다른 위치에 각각 구비된 센서세트로부터 각각의 센서세트 데이터를 입력받는다(S100). 센서세트는 일반 카메라, 열화상 카메라, 라이다, G-센서, 지자계 센서 등이 하나의 세트로 구성될 수 있으며 더 다양한 센서등이 포함 될 수도 있다.
이어서, 단계 S100에서 입력받은 각각의 센서세트 데이터로부터 가상의 로컬 디지털트윈을 생성한다(S110). 도 4는 가상의 로컬 디지털트윈을 생성하는 방법을 보여주고 있는데, 도 4의 왼쪽은 현실에서의 차량(10) 주변을 서로 다른 위치에 각각 구비된 센서세트를 이용하여 센싱한 화면이고, 오른쪽은 가상화된 로컬 디지털트윈이 생성된 상태로 객체 인식은 일반 카메라와 CNN 이나 Yolo 등의 AI 알고리즘을 사용하고, 좌표는 ToF 센서 등을 사용한다. 그리도 온도는 열화상 카메라를 활용하여 측정하고 맵핑한다. 또한 각각의 센서세트에서 측정된 데이터를 정합하기 위하여 사전에 칼리브레이션을 통해 픽셀간 맵핑 정보를 생성할 수 있다.
이후, 단계 S110에서 생성된 로컬 디지털 트윈에 위험 요소가 있는지를 확인하고, 생성된 로컬 디지털트윈의 생성 데이터를 글로벌 디지털트윈 생성 장치에 전송한다(S120~S130). 여기서 단계 S120에서의 확인 결과, 위험 요소가 있을 경우 상기 위험 요소에 따른 경고를 생성하고, 생성된 경고에 따른 경고 데이터를 차량의 서로 다른 위치에 부착된 경고 장치 중 적어도 어느 하나가 동작되도록 한다. 이때 가상공간에서 차종 별로 또는 현재 작업하고 있는 공정별로 위험 영역을 변경하여 설정할 수 있으며, 차량의 작업 반경내에 작업자가 진입하는 것은 ToF 센서로 얻어진 좌표값을 통해 구할 수 있으며, 위험 상황 발생 시, 위험 상황이 발생된 위치에 장착된 경고 장치만을 동작하여 해당 영역에 있는 작업자에게 경고를 줄 수 있다.
도 8은 도 1에 따른 글로벌 디지털트윈 생성 장치를 컴퓨터 장치의 구성으로 나타내고 있다.
글로벌 디지털트윈 생성 장치(200)는 프로세서(210), 프로그램과 데이터를 저장하는 비휘발성 저장부(220), 실행 중인 프로그램을 저장하는 휘발성 메모리(230), 다른 기기와 통신을 수행하기 위한 통신부(240), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만 전자장치는 배터리와 같은 전력제공부를 포함한다.
글로벌 디지털트윈 생성 어플리케이션(235)은 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신하고, 수신한 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성하고, 이 생성된 글로벌 디지털트윈의 생성 데이터를 복수의 차량으로 각각 전송하는 역할을 수행한다. 이러한 글로벌 디지털트윈 생성 어플리케이션(235)은 글로벌 디지털트윈 생성 장치(100)에 설치되어 동작하는 프로그램이며, 이 글로벌 디지털트윈 생성 어플리케이션(235)의 동작에 의한 차량용 센서데이터를 활용한 글로벌 디지털트윈 생성 방법에 관하여는 이하 도 9 내지 도 10을 참조하여 상세히 설명하기로 한다.
도 9는 본 발명의 일 실시예에 따른 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 방법을 나타낸 흐름도이고, 도 10는 도 9에 따른 글로벌 디지털 트윈이 가상화를 통하여 생성된 모습을 보여주는 도면이다.
도 9는 도 8의 글로벌 디지털트윈 생성 어플리케이션(235)의 동작에 의해 수행되어지는 일 실시예로서의 과정을 도시한 것이다.
먼저 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신받는다(S200).
이어서, 단계 S200에서 수신받은 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성한다(S210). 도 10은 글로벌 디지털트윈이 가상화를 통하여 생성된 모습을 보여주고 있다. 글로벌 디지털트윈은 단계 S200에서 수신받은 로컬 디지털트윈 데이터 중 GPS와 지자계 센서 데이터를 활용하여 로컬 좌표계를 글로벌 좌표계로 맵핑하여 생성될 수 있으며, 제시하지 않은 또 다른 센서 데이터를 이용하여 생성될 수도 있다.
이후, 단계 S210에서 생성된 글로벌 디지털 트윈에 위험 요소가 있는지를 확인(S220)하고, 위험 요소가 있을 경우 위험 요소에 따른 경고를 생성한다.
그리고, 상기 단계 S210에서 생성된 글로벌 디지털트윈의 생성 데이터 및 단계 S220의 경고 데이터를 복수의 차량으로 각각 전송한다(S230).
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
10: 차량
20: 센서세트
30: 경고 장치
100: 차량의 로컬 디지털트윈 생성 장치
110: 프로세서
120: 저장부
130: 메모리
135: 로컬 디지털트윈 생성 어플리케이션
140: 통신부
200: 글로벌 디지털트윈 생성 장치
210: 프로세서
220: 저장부
230: 메모리
235: 글로벌 디지털트윈 생성 어플리케이션
240: 통신부

Claims (12)

  1. 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 방법으로서,
    (a) 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신하는 단계;
    (b) 상기 단계 (a)에서 수신한 상기 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성하는 단계; 및,
    (c) 상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈의 생성 데이터를 상기 복수의 차량으로 각각 전송하는 단계
    를 포함하는 차량용 센서세트를 활용한 디지털트윈 생성 방법.
  2. 청구항 1에 있어서,
    상기 단계 (b)의 글로벌 디지털트윈의 생성은,
    상기 각각의 로컬 디지털트윈 데이터를 글로벌 좌표계로 매핑하여 이루어지는 것
    을 특징으로 하는 차량용 센서세트를 활용한 글로벌 디지털트윈 생성 방법.
  3. 청구항 1에 있어서,
    상기 단계 (b)와 (c) 사이에,
    상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈에 위험요소가 있는지를 확인하는 단계
    를 더 포함하는 차량용 센서세트를 활용한 디지털트윈 생성 방법.
  4. 청구항 3에 있어서,
    상기 위험요소가 있을 경우, 상기 위험요소에 따른 경고를 생성하는 것
    을 특징으로 하는 차량용 센서세트를 활용한 디지털트윈 생성 방법.
  5. 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 장치로서,
    적어도 하나의 프로세서; 및,
    컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
    상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
    (a) 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신하는 단계;
    (b) 상기 단계 (a)에서 수신한 상기 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성하는 단계; 및,
    (c) 상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈의 생성 데이터를 상기 복수의 차량으로 각각 전송하는 단계
    가 실행되도록 하는 차량용 센서세트를 활용한 디지털트윈 생성 장치.
  6. 차량용 센서세트를 활용한 글로벌 디지털트윈을 생성하는 컴퓨터 프로그램으로서,
    (a) 복수의 차량으로부터 각각의 로컬 디지털트윈 데이터를 수신하는 단계;
    (b) 상기 단계 (a)에서 수신한 상기 각각의 로컬 디지털트윈 데이터를 병합하여 글로벌 디지털트윈을 생성하는 단계; 및,
    (c) 상기 단계 (b)에서 생성된 상기 글로벌 디지털트윈의 생성 데이터를 상기 복수의 차량으로 각각 전송하는 단계
    가 실행되도록 하는 명령을 포함하는 차량용 센서세트를 활용한 디지털트윈을 생성하는 컴퓨터 프로그램.
  7. 차량용 센서세트를 활용한 로컬 디지털트윈을 생성하는 방법으로서,
    (a) 차량의 서로 다른 위치에 각각 구비된 센서세트로부터 각각의 센서 데이터를 입력받는 단계;
    (b) 상기 단계 (a)에서 입력된 상기 각각의 센서 데이터로부터 로컬 디지털트윈을 생성하는 단계; 및,
    (c) 상기 단계 (b)에서 생성된 상기 로컬 디지털트윈의 생성 데이터를 글로벌 디지털트윈 생성 장치에 전송하는 단계
    를 포함하는 차량용 센서세트를 활용한 디지털트윈 생성 방법.
  8. 청구항 7에 있어서,
    상기 단계 (b)와 (c) 사이에,
    상기 단계 (b)에서 생성된 상기 로컬 디지털트윈에 위험요소가 있는지를 확인하는 단계
    를 더 포함하는 차량용 센서세트를 활용한 디지털트윈 생성 방법.
  9. 청구항 8에 있어서,
    상기 위험요소가 있을 경우, 상기 위험요소에 따른 경고를 생성하는 것
    을 특징으로 하는 차량용 센서세트를 활용한 디지털트윈 생성 방법.
  10. 청구항 9에 있어서,
    상기 생성된 경고에 따른 경고 데이터를 통하여 상기 차량의 서로 다른 위치에 부착된 경고 장치 중 적어도 어느 하나가 동작되도록 하는 것
    을 특징으로 하는 차량용 센서세트를 활용한 디지털트윈 생성 방법.
  11. 차량용 센서세트를 활용한 로컬 디지털트윈을 생성하는 장치로서,
    적어도 하나의 프로세서; 및,
    컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
    상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
    (a) 차량의 서로 다른 위치에 각각 구비된 센서세트로부터 각각의 센서 데이터를 입력받는 단계;
    (b) 상기 단계 (a)에서 입력된 상기 각각의 센서 데이터로부터 로컬 디지털트윈을 생성하는 단계; 및,
    (c) 상기 단계 (b)에서 생성된 상기 로컬 디지털트윈의 생성 데이터를 글로벌 디지털트윈 생성 장치에 전송하는 단계
    가 실행되도록 하는 차량용 센서세트를 활용한 디지털트윈 생성 장치.
  12. 차량용 센서세트를 활용한 로컬 디지털트윈을 생성하는 컴퓨터 프로그램으로서,
    (a) 차량의 서로 다른 위치에 각각 구비된 센서세트로부터 각각의 센서 데이터를 입력받는 단계;
    (b) 상기 단계 (a)에서 입력된 상기 각각의 센서 데이터로부터 로컬 디지털트윈을 생성하는 단계; 및,
    (c) 상기 단계 (b)에서 생성된 상기 로컬 디지털트윈의 생성 데이터를 글로벌 디지털트윈 생성 장치에 전송하는 단계
    가 실행되도록 하는 명령을 포함하는 차량용 센서세트를 활용한 디지털트윈을 생성하는 컴퓨터 프로그램.
KR1020230009328A 2022-01-24 2023-01-25 차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치 KR20230114223A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220009804 2022-01-24
KR20220009804 2022-01-24

Publications (1)

Publication Number Publication Date
KR20230114223A true KR20230114223A (ko) 2023-08-01

Family

ID=87561469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230009328A KR20230114223A (ko) 2022-01-24 2023-01-25 차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230114223A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101939349B1 (ko) 2018-07-09 2019-04-11 장현민 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101939349B1 (ko) 2018-07-09 2019-04-11 장현민 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법

Similar Documents

Publication Publication Date Title
JP6428876B2 (ja) 車載拡張現実システム向けの遮蔽調整システム
US20200249032A1 (en) Apparatus and method for updating high definition map for autonomous driving
US20220373353A1 (en) Map Updating Method and Apparatus, and Device
CN108202669B (zh) 基于车车通信的不良天气视觉增强行车辅助系统及其方法
WO2016125332A1 (ja) 車体外部移動物体検知システム
CN112738171B (zh) 车辆的控制方法、装置、系统、设备及存储介质
US10488658B2 (en) Dynamic information system capable of providing reference information according to driving scenarios in real time
CN111736604A (zh) 一种远程驾驶控制方法、装置、设备及存储介质
US10922976B2 (en) Display control device configured to control projection device, display control method for controlling projection device, and vehicle
CN111751824B (zh) 车辆周围的障碍物检测方法、装置及设备
US20180241970A1 (en) Driving assistance method and driving assistance device and program using same
CN109823340A (zh) 一种控制车辆停车的方法、控制设备
CN114373335A (zh) 一种车辆的碰撞预警方法、装置、电子设备及存储介质
CN111613092B (zh) 车辆碰撞预警方法、装置、设备及计算机可读存储介质
KR20230114223A (ko) 차량용 센서세트를 활용한 디지털트윈 생성 방법 및 장치
WO2024027112A1 (zh) 车辆控制方法、装置、自动泊车辅助控制器、终端及系统
CN116572837A (zh) 一种信息显示控制方法及装置、电子设备、存储介质
CN109506949A (zh) 无人驾驶车辆的物体识别方法、装置、设备及存储介质
CN115857169A (zh) 碰撞预警信息的显示方法、抬头显示装置、载具及介质
WO2022049880A1 (ja) 画像処理装置
CN115171384A (zh) 一种车载显示过程中关键车位置延迟补偿方法及装置
KR20180119344A (ko) 영역 감시 장치 및 이에 의한 영역 감시 방법
CN115690697A (zh) 目标距离检测装置及方法
CN112046419B (zh) 控制车辆的方法和装置
JP6083261B2 (ja) 情報処理センターおよび車載機