KR20230097790A - 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치 - Google Patents

다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치 Download PDF

Info

Publication number
KR20230097790A
KR20230097790A KR1020210187629A KR20210187629A KR20230097790A KR 20230097790 A KR20230097790 A KR 20230097790A KR 1020210187629 A KR1020210187629 A KR 1020210187629A KR 20210187629 A KR20210187629 A KR 20210187629A KR 20230097790 A KR20230097790 A KR 20230097790A
Authority
KR
South Korea
Prior art keywords
unit
information
artificial intelligence
mobile device
sensor
Prior art date
Application number
KR1020210187629A
Other languages
English (en)
Inventor
조휘택
Original Assignee
(주)엠아이웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠아이웨어 filed Critical (주)엠아이웨어
Priority to KR1020210187629A priority Critical patent/KR20230097790A/ko
Publication of KR20230097790A publication Critical patent/KR20230097790A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 이동 장치에 설치되어 센싱 정보를 수집하며, 인공 지능 연산을 하여 상기 이동 장치의 관제에 필요한 센싱 데이터를 생성하는 다중 센서 모듈 및 상기 다중 센서 모듈로부터 상기 센싱 데이터를 송수신하며, 인공 지능 이동 장치에 관제 정보를 전달하는 통신 모듈을 포함하는 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치를 개시한다.

Description

다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치{Fleet management apparatus for mobility apparatus with multiple sensor module, artificial intelligent algorithm and communication module}
본 발명은 차량을 포함하는 다양한 이동 장치의 이동을 관제하는 장치에 관한 것이다.
2025년 자율 주행 기능 레벨4를 목표로 하는 테슬라를 비롯한 글로벌 차량 제조업체들은 다중의 카메라와 라이더, 레이더등 다양한 센서를 이용하여 차량의 자율주행 기능을 개발중이며, LTE와 5G를 이용한 관제서비스를 개발중이다.
지금까지 차량을 포함하는 다양한 이동 장치의 자율 주행을 위하여 적용 가능한 기술로는 차량의 전, 후방 및 실내에 다중의 카메라를 연결하여 차량의 충돌이나 운전자 및 탑승자의 상태를 파악하는 기술, 카메라 영상의 대상물 검출기술, 하알 대조 특징을 이용한 카메라 영상의 대상물 검출 기술 및 도로상에서 선행 차량등의 대상물 거리를 측정하는 기술, 단안카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리추정 기술 등이 개발되어 있다.상기와 같은 기술은 이동 장치의 이동시에 이동 장치의 이동 속도,가속도 또는 영상에 대한 정보를 관제 센터에 보낼 수 있다.
그러나, 상기와 같은 기술들은 자율 주행에 적용될 수 있으나, 모빌리티 장치의 이동 과정에서 단편적인 정보만을 제공하고 있으며, 전체적으로 이동 과정을 관제하는데 기술의 개발이 필요하다.
본 발명은 이동 장치의 이동을 관제하는 과정에서 안전성을 향상시킬 수 있는 다중 센서 모듈과 인공지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치는 이동 장치에 설치되어 센싱 정보를 수집하며, 인공 지능 연산을 하여 상기 이동 장치의 관제에 필요한 센싱 데이터를 생성하는 다중 센서 모듈 및 상기 다중 센서 모듈로부터 상기 센싱 데이터를 송수신하며, 인공 지능 이동 장치에 관제 정보를 전달하는 통신 모듈을 포함하는 것을 특징으로 한다.
또한, 상기 다중 센싱 모듈은 상기 이동 장치에 장착되는 복수개의 카메라를 이용하여 상기 이동 장치의 주행 중에 카메라 영상을 촬영하여 영상 데이터를 생성하는 카메라 영상부와, 경도/위도 센서, 가속도 센서, 관성 정보 센서(3축, 6축, 9축 센서), 속도 감지 센서 또는 측위 센서(GPS, GNSS, Baidu등)에서 선택되는 적어도 하나의 센서를 포함하며, 상기 이동 장치에 장착되는 복수개의 센서와, 상기 복수 개의 센서들에서 전송되는 센싱 정보를 저장하는 센서 정보 저장부와, 상기 센서 정보 저장부로부터 전송되는 센싱 정보를 처리하는 센서 정보 처리부와, 인공 지능 모델을 구비하며, 상기 센싱 정보 처리부로부터 전송되는 센싱 정보와 센서 정보를 상기 인공 지능 모델에 적용하여 인공 지능 연산을 진행하는 인공 지능 연산부 및 상기 인공 지능 연산부로부터 전송되는 인공 지능 연산 결과를 상기 통신 모듈로 전송하는 무선 통신부를 포함할 수 있다.
또한, 상기 카메라 영상부는 복수 개의 카메라를 포함하는 카메라부와, 상기 카메라에 대응되는 복수 개의 디지털 컨버터를 포함하며, 상기 카메라에서 생성되어 전송되는 아날로그 영상 신호를 디지털 영상 신호로 변환하는 디지털 컨버터부와, 상기 디지털 컨버터부와 전기적으로 연결되며, 상기 디지털 컨버터부의 작동 여부를 감지하는 신호 감지부와, 복수 개의 상기 디지털 컨버터와 전기적으로 연결되며, 상기 디지털 컨버터에서 전송되는 영상 데이터를 순차적으로 또는 교차적으로 수신하여 전송하는 먹스와, 상기 먹스와 전기적으로 연결되며, 상기 먹스로부터 영상 데이터를 수신하는 영상 처리부와, 상기 영상 처리부에서 전송되는 영상 이미지를 표시하는 영상 표시부와, 상기 스피커 또는 램프를 포함하며, 상기 영상 처리부로부터 경고 신호를 수신하여 경고 신호에 대응하여 경고를 출력하는 경고 출력부 및 상기 영상 처리부로부터 수신되는 영상 데이터를 저장하는 영상 저장부를 포함할 수 있다.
또한, 상기 통신 모듈은 상기 다중 센서 모듈의 무선 통신부와 무선 통신으로 필요한 센싱 데이터와 인공 지능 연산 결과를 송수신하는 무선 통신부와, 상기 무선 통신부로부터 전송되는 센싱 데이터와 인공 지능 연산 결과를 저장하는 정보 저장부와, 상기 무선 통신부와 정보 저장부 사이에 전기적으로 연결되어 상기 다중 센싱 모듈에서 합성되어 전송되는 합성 정보를 분리하는 디먹스와, 상기 무선 통신부와 전기적으로 연결되며, 인공 지능 연산과 관련된 정보를 송수신하는 인공 지능 연산 모듈 송수신부와, 상기 정보 저장부와 전기적으로 연결되며, 인공 지능 연산 결과를 수신하여 표시하는 정보 표시부와, 상기 정보 표시부로부터 전송되는 정보와 상기 이동 장치의 정보를 수신하며, 상기 다중 센서 모듈로부터 전송되는 인공 지능 연산 결과를 사용하여 관제 정보를 판단하는 관제 정보 판단부 및 상기 관제 정보 판단부와 전기적으로 연결되고, 상기 이동 장치와 무선으로 연결되어 상기 이동 장치의 이동에 필요한 관제 정보를 전송하는 유무선 통신부를 포함할 수 있다.
본 발명은 이동 장치에 장착되는 다중 센서 모듈에서 센싱되는 영상 정보를 포함하는 다양한 데이터를 인공지능 알고리즘을 이용하여 분석하여, 앞/뒤 이동장치와의 거리, 운전자 및 탑승자의 정상 유무 상태를 분석하고 문턱치를 이용하여 특정 순간을 추출하며, 특정 순간의 영상, 측위 정보, 이동 장치의 속도, 이동장치의 가속 상태등의 취합한 데이터를 관제 센터에 전송함으로써 보다 풍부한 현실 상황을 분석할 수 있어 이동 장치의 운전 과정에서 안전성을 보다 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 센서 모듈과 인공지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치의 구성도이다.
도 2는 도 1의 다중 센서 모듈의 구체적인 구성도이다.
도 3은 도 2의 카메라 영상부의 구체적인 구성도이다.
도 4는 도 1의 통신 모듈의 구체적인 구성도이다.
이하, 첨부된 도면과 실시예를 참조하여 본 발명의 일 실시예에 따른 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치에 대하여 상세히 설명한다.
먼저, 본 발명의 일 실시예에 따른 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중 센서 모듈과 인공지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치의 구성도이다. 도 2는 도 1의 다중 센서 모듈의 구체적인 구성도이다. 도 3은 도 2의 카메라 영상부의 구체적인 구성도이다. 도 4는 도 1의 통신 모듈의 구체적인 구성도이다.
본 발명의 일 실시예에 따른 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치는 도 1 내지 도 4를 참조하면, 다중 센서 모듈(100) 및 통신 모듈(200)을 포함할 수 있다.
상기 이동 장치의 관제 장치는 차량등 이동 장치에 설치된 다중 센서 모듈에 구비되는 이미지 센서, 측위 장치(GPS), 가속도 센서 및 이동 속도 센서등을 이용하여 이동 장치의 관제에 필요한 정보를 수집할 수 있다.
또한, 상기 이동 장치의 관제 장치는 이동 장치에 설치되는 카메라 영상부를 포함하며 다중의 센서를 구비하는 다중 센서 모듈에서 생성되는 센싱 정보를 인공 지능 알고리즘에 의한 인공 지능 연산으로 센싱 데이터의 분석 결과값을 통신 모듈을 통해 이동 장치로 전송하여 이동 장치를 관제할 수 있다.
또한, 상기 이동 장치의 관제 장치는 수집된 데이터를 분석하여 이동 장치의 속도가 제한 속도를 초과하거나, 급발진-급제동으로 특정 이상의 가속도값이 발생하게 되면, 그 순간을 중심으로 전/후 몇 초간의 영상 및 측위 센서 값, 속도값등 다중의 센서 데이터를 통신 모듈로 전송할 수 있다. 상기 이동 장치의 관제 장치는 통신 모듈에서 수신된 센서 데이터를 분석하여 급발진-급제동등을 기준으로 사고 유무를 판단하여 안전 운전에 도움을 주는 조치를 취할 수 있다.
상기 다중 센서 모듈은, 도 2를 참조하면, 카메라 영상부(1)와 복수개의 센서(110)와 센서 정보 저장부(120)와 센서 정보 처리부(130)와 인공 지능 연산부(140) 및 무선 통신부(150)를 포함할 수 있다. 또한, 상기 다중 센서 모듈은 시계(160)를 더 포함할 수 있다.
상기 다중 센서 모듈은 이동 장치에 설치되어 필요한 센싱 정보를 수집하며, 이동 장치의 이동 과정에서 관제에 필요한 데이터를 획득하여 이동 장치에 제공할 수 있다.
상기 카메라 영상부(1)는 카메라부(10)와 디지털컨버터부(20)와 신호 감지부(25)와 먹스(30)와 영상 처리부(40)와 영상 표시부(50)와 경고 출력부(60) 및 영상 저장부(70)를 포함할 수 있다.
상기 카메라 영상부는 이동 장치에 장착되는 복수개의 카메라를 이용하여 이동 장치의 주행 중에 카메라 영상을 촬영하여 영상 데이터를 생성할 수 있다. 또한, 상기 카메라 영상부는 영상 데이터를 처리할 수 있다. 또한, 상기 카메라 영상부는 처리된 영상 데이터를 별도의 표시 장치에 표시하거나 별도의 저장 장치에 저장할 수 있다. 또한, 상기 카메라 영상부는 영상 처리 정보를 인공 지능 연산부로전송할 수 있다. 또한, 상기 카메라 영상부는 센서 정보 저장부로부터 센서 정보를 수신할 수 있다.
상기 카메라부(10)는 복수 개의 카메라를 포함할 수 있다. 상기 복수 개의 카메라는 이동 장치의 전측, 후측, 좌측 또는 우측등 다양한 위치에 설치되어 이동 장치의 주행 과정에서 영상 데이터의 확보가 필요한 방향에서의 카메라 영상을 촬영할 수 있다. 상기 카메라는 이동 장치의 전방, 후방 및 실내등에 장착되어 전방과 후방 영상 또는 운전자 및 탑승자를 촬영할 수 있다. 상가 카메라는 필요로 하는 해상도의 카메라 영상을 촬영할 수 있는 카메라로 형성될 수 있다.
상기 디지털 컨버터부(20)는 카메라부의 카메라에 대응되는 복수 개의 디지털 컨버터를 포함할 수 있다. 상기 디지털 컨버터부의 각 디지털 컨버터는 각각 카메라와 전기적으로 연결될 수 있다. 상기 디지털 컨버터는 카메라에서 생성되는 아날로그 영상 신호를 디지털 영상 신호로 변환할 수 있다.
상기 신호 감지부(25)는 디지털 컨버터부와 전기적으로 연결되며, 디지털 컨버터부의 작동 여부를 감지할 수 있다. 상기 신호 감지부는 디지털 컨버터부의 작동을 감지하면 작동 신호를 영상 처리부로 전송할 수 있다.
상기 먹스(30)는 복수 개의 디지털 컨버터와 전기적으로 연결되며, 각각의 디지털 컨버터에서 전송되는 영상 데이터를 영상 처리부로 전송할 수 있다. 상기 먹스는 각각의 디지털 컨버터로부터 순차적으로 또는 교차적으로 영상 데이터를 수신하여 영상 처리부로 전송할 수 있다. 상기 먹스는 디지털 컨버터에 연결되어 디지털 컨버터로부터 전송되는 영상신호를 교차하여 수신할 수 있다.
상기 영상 처리부(40)는 먹스와 전기적으로 연결되며, 먹스로부터 영상 데이터를 수신할 수 있다. 또한, 상기 영상 처리부는 수신된 영상 데이터를 처리하여 필요한 영상 이미지를 생성할 수 있다. 또한, 상기 영상 처리부는 생성되는 영상 이미지에서 이동 장치의 관제에 필요한 정보를 생성할 수 있다.
상기 영상 처리부는 생성되는 영상 이미지를 영상 표시부로 전송할 수 있다. 상기 영상 처리부는 이동 장치의 관제에 필요한 정보에서 경고를 출력할 필요가 있는 경우에 경고 신호를 경고 출력부로 전송할 수 있다. 예를 들면, 상기 이동 장치의 속도가 제한 속도를 초과하거나 급발진-급제동으로 특정 이상의 가속도값이 발생하면 경고 신호를 생성하여 경고 출력부로 전송할 수 있다. 또한, 상기 영상 처리부는 수신된 영상 데이터를 영상 저장부로 전송할 수 있다.
상기 영상 처리부는 이동 장치의 운전자 및 탑승자 상태 판단 정보, 이동 장치의 전방에 표시되는 전방 이동 장치, 보행자, 장애물등의 인식, 거리 추정 및 일정 시간후의 충동 가능성 판단 작용중에서 적어도 1개이상의 작용을 진행하고 생성되는 정보를 표출, 저장, 전송할 수 있다.
상기 영상 표시부(50)는 일반적인 디스플레이 장치를 포함할 수 있다. 상기 영상 표시부는 영상 처리부와 전기적으로 연결될 수 있다. 상기 영상 표시부는 영상 처리부에서 전송되는 영상 이미지를 표시할 수 있다.
상기 경고 출력부(60)는 스피커 또는 램프를 포함할 수 있다. 상기 경고 출력부는 영상 처리부와 전기적으로 연결될 수 있다. 상기 경고 출력부는 영상 처리부로부터 경고 신호를 수신할 수 있다. 상기 경고 출력부는 영상 처리부로부터 전송되는 경고 신호에 대응하여 경고를 출력할 수 있다. 상기 경고 출력부는 스피커 또는 램프를 착동시켜 경고 신호를 발생시킬 수 있다. 예를 들면, 상기 경고 출력부는 이동 장치의 속도가 제한 속도를 초과하거나 급발진-급제동으로 특정 이상의 가속도값이 발생하여 경고 신호가 수신되면 경고 신호를 발생시킬 수 있다.
상기 영상 저장부(70)는 데이터를 저장할 수 있는 메모리 장치를 포함할 수 있다. 상기 영상 저장부는 영상 처리부와 전기적으로 연결될 수 있다. 상기 영상 처리부는 영상 처리부로부터 수신되는 영상 데이터를 저장할 수 있다.
상기 복수개의 센서(110)는 경도/위도 센서, 가속도 센서, 관성 정보 센서(3축, 6축, 9축 센서), 속도 감지 센서 또는 측위 센서(GPS, GNSS, Baidu등)에서 선택되는 적어도 하나의 센서를 포함할 수 있다. 또한, 상기 복수 개의 센서는 이동 장치의 운전 상태등의 평가에 필요한 다양한 센서를 더 포함할 수 있다.
상기 복수 개의 센서는 이동 장치에서 센싱이 필요한 위치에 설치될 수 있다. 상기 복수 개의 센서들은 이동 장치에 각각 장착되어 필요한 정보를 센싱할 수 있다. 예를 들면, 상기 가속도 센서와 이동 속도 센서는 이동 장치의 이동 속도가 가속 또는 감속을 센싱할 수 있다. 또한, 상기 측위 센서는 이동 장치의 GPS 위치를 센싱할 수 있다. 상기 센서들은 센싱 정보를 센서 정보 저장부로 전송할 수 있다.
상기 센서 정보 저장부(120)는 데이터를 저장하는 저장 장치를 포함할 수 있다. 상기 센서 정보 저장부는 센서들과 전기적으로 연결될 수 있다. 상기 센서 정보 저장부는 복수 개의 센서들에서 전송되는 센싱 정보를 저장할 수 있다. 상기 센서 정보 저장부는 각 센서들의 종류와 센싱하는 데이터의 종류, 센싱 주기, 센싱 데이터의 종류와 같은 다양한 센서 정보를 더 포함할 수 있다.
상기 센서 정보 처리부(130)는 센서 정보 저장부와 전기적으로 연결될 수 있다. 상기 센서 정보 처리부는 센서 정보 저장부로부터 전송되는 센싱 정보를 처리할 수 있다. 또한, 상기 센서 정보 처리부는 센싱 정보를 처리할 때 센서 정보를 반영할 수 있다.
상기 인공 지능 연산부(140)는 인공 지능 모델(141)과 먹서(muxer)(142)를 포함할 수 있다. 상기 인공 지능 연산부(140)는 센싱 정보 처리부와 전기적으로 연결될 수 있다. 상기 인공 지능 연산부는 센싱 정보 처리부로부터 센싱 정보와 센서 정보를 수신할 수 있다. 상기 인공 지능 연산부는 센싱 정보와 센서 정보를 인공 지능 모델에 적용하여 인공 지능 연산을 진행할 수 있다. 상기 인공 지능 연산부는 인공 지능 연산을 통하여 이동 장치의 관제에 필요한 정보를 생성할 수 있다. 상기 인공 지능 연산부는 적어도 2개 이상의 센서 정보와 센싱 정보를 연동하여 인공 지능 연산을 진행할 수 있다.
상기 인공 지능 모델은 인공 지능 연산을 진행하는 일반적인 모델로 형성될 수 있다. 상기 인공 지능 모델은 센싱 정보와 센서 정보를 수신하여 인공 지능 연산을 진행할 수 있다. 상기 인공 지능 모델은 센싱 정보와 센서 정보를 이용하여 이동 장치의 관제에 필요한 연산을 진행할 수 있다.
상기 먹서(muxer)(142)는 카메라 영상부에서 수신되는 영상 정보를 순차적으로 인공 지능 모델로 전송할 수 있다. 상기 먹서는 인공 지능 연산 과정에서 영상 정보에 영상 처리 정보, 센서정보, 인공 지능 연산 정보를 합성(Muxing)할 수 있다.
상기 무선 통신부(150)는 인공 지능 연산부와 전기적으로 연결될 수 있다. 상기 무선 통신부는 인공 지능 연산부와 유선 또는 무선으로 연결될 수 있다. 상기 무선 통신부는 통신 모듈과 무선으로 연결될 수 있다. 상기 무선 통신부는 인공 지능 연산부로부터 전송되는 인공 지능 연산 결과를 통신 모듈로 전송할 수 있다. 상기 무선 통신부는 영상 정보, 영상 처리 정보, 센서 정보, 인공지능 연산 정보의 각각 또는 전체를 전송할 수 있을 뿐만 아니라, 영상 정보에 영상 처리 정보, 센서정보, 인공 지능 연산 정보를 합성(Muxing)하여 저장 및 무선 전송을 할 수 있다.
상기 무선 통신부는 정보를 이동 장치의 관제 장치가 작동하는 전체 시간에 걸쳐서 지속적으로 전송할 수 있을 뿐만 아니라, 특정 시각을 기준으로 전/후의 일정 시간, 예를 들어 특정 시각-n초부터 특정 시각+m초까지의 n+m초 길이의 연속 정보를 저장 또는 무선 전송할 수 있다.
상기 시계(160)는 시각 정보를 파악할 수 있는 실시간 시계(RTC; Real Time Clock) 또는 디지털 시계로 형성될 수 있다. 상기 시계는 이동 장치의 관제 장치의 구성 부분들에서 생성되는 각 정보의 생성 시간을 인덱싱할 수 있다.
상기 통신 모듈(200)은 무선 통신부(210)와 정보 저장부(220)와 디먹스(230)와 인공지능 연산모듈 송수신부(240)와 정보 표시부(250)와 관제 정보 판단부(260) 및 유무선 통신부(270)를 포함할 수 있다. 상기 통신 모듈은 다양한 이동 장치(280)와 유무선 통신으로 정보를 송수신하며, 센싱 데이터를 송수신할 수 있다. 상기 통신 모듈은 센싱 데이터를 인공 지능 연산하여 이동 장치에 관제 정보를 전달할 수 있다. 상기 이동 장치는 차량, 오토바이, 드론과 같은 이동 장치일 수 있다.
상기 무선 통신부(210)는 다중 센서 모듈과 무선 통신을 할 수 있다. 보다 구체적으로는 상기 무선 통신부는 다중 센서 모듈의 무선 통신부와 무선 통신으로 필요한 센싱 데이터를 송수신할 수 있다. 또한, 상기 무선 통신부는 다중 센서 모듈의 무선 통신부와 무선 통신으로 필요한 센서 정보를 송수신할 수 있다. 상기 무선 통신부는 다중 센서 모듈로부터 인공 지능 연산 결과를 전송받을 수 있다.
상기 정보 저장부(220)는 무선 통신부와 전기적으로 연결될 수 있다. 상기 정보 저장부는 디먹스를 통하여 무선 통신부와 연결될 수 있다. 상기 정보 저장부는 무선 통신부로부터 전송되는 센싱 데이터와 인공 지능 연산 결과를 저장할 수 있다. 또한, 상기 정보 저장부는 인공 지능 연산 결과를 정보 표시부로 전송할 수 있다. 또한, 상기 정보 저장부는 정보 표시부로부터 사용자 정보, 지도 및 궤적, 카메라 영상 또는 센서 그래프와 같은 정보를 수신할 수 있다.
상기 디먹스(230)는 무선 통신부와 정보 저장부 사이에 전기적으로 연결될 수 있다. 상기 디먹스는 다중 센싱 모듈에서 합성되어 전송되는 합성 정보를 분리할 수 있다. 상기 디먹스는 분리된 정보를 인공 지능 연산에 적용되도록 할 수 있다.
상기 인공 지능 연산 모듈 송수신부(240)는 무선 통신부와 전기적으로 연결되며, 인공 지능 연산과 관련된 정보를 송수신할 수 있다. 예를 들면, 상기 인공 지능 연산 모듈 송수신부는 인공 지능 연산 모델을 별도의 서버로부터 수신하여 업데이트할 수 있다. 상기 인공 지능 연산 모듈 송수신부는 인공 지능 연산부의 인공 지능 연산의 기초가 되는 인공 지능 모델, 즉 인퍼런스를 신규로 생성하여 입력하여 무선 통신을 통하여 전송하여 보다 개선된 인공지능 연산을 수행할 수 있는 정보를 입력할 수 있다.
상기 정보 표시부(250)는 이동 장치에 대한 정보를 표시할 수 있다. 상기 정보 표시부는 정보 저장부와 전기적으로 연결되며, 인공 지능 연산 결과를 수신하여 표시할 수 있다. 또한, 상기 정보 표시부는 이동 장치의 사용자 정보, 지도 및 궤적, 카메라 영상 또는 센서 그래프를 표시할 수 있다. 상기 정보 표시는 필요한 정보를 관제 정보 판단부로부터 수신할 수 있다. 상기 정보 표시부는 수신하는 정보에 따라 지도에 따른 이동 장치의 위도/경도가 연속되는 궤적 표시, 각 위도/경도에 따르는 카메라 영상부의 영상 표시, 또는 다중 센싱 모듈로부터 생성되거나, 인공 지능 연상 모델로부터 연산된 데이터의 2차원 또는 3차원의 그래프중 적어도 1개를 표시할 수 있다.
상기 관제 정보 판단부(260)는 정보 표시부와 전기적으로 연결될 수 있다. 상기 관제 정보 판단부는 정보 표시부로부터 전송되는 정보와 이동 장치의 정보를 수신할 수 있다. 상기 관제 정보 판단부는 다중 센서 모듈로부터 전송되는 인공 지능 연산 결과를 사용하여 관제 정보를 판단할 수 있다. 상기 관제 정보 판단부는 이동 장치의 센싱 정보를 수신하면서 이동 장치를 관제할 수 있다. 상기 관제 정보 판단부는 이동 장치에 대한 관제 여부를 판단할 수 있다.
상기 유무선 통신부(270)는 관제 정보 판단부와 전기적으로 연결될 수 있다. 상기 유무선 통신부는 이동 장치와 무선 또는 유선으로 연결될 수 있다. 상기 유무선 통신부는 이동 장치의 관제에 필요한 정보를 이동 장치로부터 수신할 수 있다. 상기 유무선 통신부는 이동 장치로부터 전송되는 이동 장치의 정보를 관제 정보 판단부로 전송할 수 있다. 또한, 상기 유무선 통신부는 관제 정보 판단부로부터 전송되는 이동장치의 이동에 필요한 관제 정보를 이동 장치로 전송할 수 있다.
이상에서 설명한 것은 본 발명에 따른 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100: 다중 센서 모듈
1: 카메라 영상부
10: 카메라부 20: 디지털 컨버터부
25: 신호 감지부 30: 먹스
40: 영상 처리부 50: 영상 표시부
60: 경고 출력부 70: 영상 저장부
110: 복수개의 센서 120: 센서 정보 저장부
130: 센서 정보 처리부 140: 인공 지능 연산부
150: 무선 통신부 160: 시계
200: 통신 모듈
210: 무선 통신부 220: 정보 저장부
230: 디먹스 240: 인공지능 연산모듈 송수신부
250: 정보 표시부 260: 관제 정보 판단부
270: 유무선 통신부 280: 이동 장치

Claims (4)

  1. 이동 장치에 설치되어 센싱 정보를 수집하며, 인공 지능 연산을 하여 상기 이동 장치의 관제에 필요한 센싱 데이터를 생성하는 다중 센서 모듈 및
    상기 다중 센서 모듈로부터 상기 센싱 데이터를 송수신하며, 인공 지능 이동 장치에 관제 정보를 전달하는 통신 모듈을 포함하는 것을 특징으로 하는 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치.
  2. 제 1 항에 있어서,
    상기 다중 센싱 모듈은
    상기 이동 장치에 장착되는 복수개의 카메라를 이용하여 상기 이동 장치의 주행 중에 카메라 영상을 촬영하여 영상 데이터를 생성하는 카메라 영상부와,
    경도/위도 센서, 가속도 센서, 관성 정보 센서(3축, 6축, 9축 센서), 속도 감지 센서 또는 측위 센서(GPS, GNSS, Baidu등)에서 선택되는 적어도 하나의 센서를 포함하며, 상기 이동 장치에 장착되는 복수개의 센서와,
    상기 복수 개의 센서들에서 전송되는 센싱 정보를 저장하는 센서 정보 저장부와,
    상기 센서 정보 저장부로부터 전송되는 센싱 정보를 처리하는 센서 정보 처리부와,
    인공 지능 모델을 구비하며, 상기 센싱 정보 처리부로부터 전송되는 센싱 정보와 센서 정보를 상기 인공 지능 모델에 적용하여 인공 지능 연산을 진행하는 인공 지능 연산부 및
    상기 인공 지능 연산부로부터 전송되는 인공 지능 연산 결과를 상기 통신 모듈로 전송하는 무선 통신부를 포함하는 것을 특징으로 하는 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치.
  3. 제 2 항에 있어서,
    상기 카메라 영상부는
    복수 개의 카메라를 포함하는 카메라부와,
    상기 카메라에 대응되는 복수 개의 디지털 컨버터를 포함하며, 상기 카메라에서 생성되어 전송되는 아날로그 영상 신호를 디지털 영상 신호로 변환하는 디지털 컨버터부와,
    상기 디지털 컨버터부와 전기적으로 연결되며, 상기 디지털 컨버터부의 작동 여부를 감지하는 신호 감지부와,
    복수 개의 상기 디지털 컨버터와 전기적으로 연결되며, 상기 디지털 컨버터에서 전송되는 영상 데이터를 순차적으로 또는 교차적으로 수신하여 전송하는 먹스와,
    상기 먹스와 전기적으로 연결되며, 상기 먹스로부터 영상 데이터를 수신하는 영상 처리부와,
    상기 영상 처리부에서 전송되는 영상 이미지를 표시하는 영상 표시부와,
    상기 스피커 또는 램프를 포함하며, 상기 영상 처리부로부터 경고 신호를 수신하여 경고 신호에 대응하여 경고를 출력하는 경고 출력부 및
    상기 영상 처리부로부터 수신되는 영상 데이터를 저장하는 영상 저장부를 포함하는 것을 특징으로 하는 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치.
  4. 제 2 항에 있어서,
    상기 통신 모듈은
    상기 다중 센서 모듈의 무선 통신부와 무선 통신으로 필요한 센싱 데이터와 인공 지능 연산 결과를 송수신하는 무선 통신부와,
    상기 무선 통신부로부터 전송되는 센싱 데이터와 인공 지능 연산 결과를 저장하는 정보 저장부와,
    상기 무선 통신부와 정보 저장부 사이에 전기적으로 연결되어 상기 다중 센싱 모듈에서 합성되어 전송되는 합성 정보를 분리하는 디먹스와,
    상기 무선 통신부와 전기적으로 연결되며, 인공 지능 연산과 관련된 정보를 송수신하는 인공 지능 연산 모듈 송수신부와,
    상기 정보 저장부와 전기적으로 연결되며, 인공 지능 연산 결과를 수신하여 표시하는 정보 표시부와,
    상기 정보 표시부로부터 전송되는 정보와 상기 이동 장치의 정보를 수신하며, 상기 다중 센서 모듈로부터 전송되는 인공 지능 연산 결과를 사용하여 관제 정보를 판단하는 관제 정보 판단부 및
    상기 관제 정보 판단부와 전기적으로 연결되고, 상기 이동 장치와 무선으로 연결되어 상기 이동 장치의 이동에 필요한 관제 정보를 전송하는 유무선 통신부를 포함하는 것을 특징으로 하는 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치.
KR1020210187629A 2021-12-24 2021-12-24 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치 KR20230097790A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210187629A KR20230097790A (ko) 2021-12-24 2021-12-24 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210187629A KR20230097790A (ko) 2021-12-24 2021-12-24 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치

Publications (1)

Publication Number Publication Date
KR20230097790A true KR20230097790A (ko) 2023-07-03

Family

ID=87157583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210187629A KR20230097790A (ko) 2021-12-24 2021-12-24 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치

Country Status (1)

Country Link
KR (1) KR20230097790A (ko)

Similar Documents

Publication Publication Date Title
EP3339999B1 (en) Information processing apparatus, information processing method, and recording medium storing programm
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
US11468574B2 (en) Image processing apparatus and image processing method
US8379924B2 (en) Real time environment model generation system
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
US11698642B2 (en) Information processing apparatus, mobile object, control system, and information processing method
EP2107504A1 (en) Method and device for generating a real time environment model for vehicles
CN111886854B (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
CN112106003A (zh) 控制器、控制方法和程序
US20220058428A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
JP7077726B2 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
CN112534487A (zh) 信息处理设备、移动体、信息处理方法和程序
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
CN114026436B (zh) 图像处理装置、图像处理方法和程序
US20220222936A1 (en) Outside environment recognition device
KR20230097790A (ko) 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
US11881065B2 (en) Information recording device, information recording method, and program for recording information
US20240161513A1 (en) Electronic Device and method for Vehicle which Enhances Parking Related Function Based on Artificial Intelligence
US20240161514A1 (en) Electronic device and method for vehicle which enhances driving environment related function
US11987271B2 (en) Information processing apparatus, information processing method, mobile-object control apparatus, and mobile object
US20240157959A1 (en) Vehicle electronic device and method for providing notification related to parking environment based on image reading
CN115115707A (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN116964591A (zh) 信息处理装置、信息处理系统、信息处理方法和记录介质
KR20210069632A (ko) 화상 처리 장치와 화상 처리 방법 및 프로그램