KR20200098349A - Image distributed processing system based on embedded board and idle mobile device for providing real time advanced driver assistance systems and method using thereof - Google Patents
Image distributed processing system based on embedded board and idle mobile device for providing real time advanced driver assistance systems and method using thereof Download PDFInfo
- Publication number
- KR20200098349A KR20200098349A KR1020190016391A KR20190016391A KR20200098349A KR 20200098349 A KR20200098349 A KR 20200098349A KR 1020190016391 A KR1020190016391 A KR 1020190016391A KR 20190016391 A KR20190016391 A KR 20190016391A KR 20200098349 A KR20200098349 A KR 20200098349A
- Authority
- KR
- South Korea
- Prior art keywords
- embedded board
- mobile device
- distributed processing
- idle mobile
- real
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반의 분산 처리 시스템 및 그 방법에 관한 것이다. The present invention relates to a distributed processing system and method based on an embedded board and an idle mobile device for real-time vehicle driving assistance.
ADAS는 Advanced Driver Assistance System의 약자로, 편리하고 안전한 주행을 도와주는 첨단 운전자 지원 시스템으로 정의된다. ADAS stands for Advanced Driver Assistance System and is defined as an advanced driver assistance system that assists in convenient and safe driving.
종래 기술에 따르면 대다수의 운전자는 차량 내 유휴 자원(예: 운전자 및 탑승자의 유휴 모바일 디바이스)이 있음에도 불구하고, 제한된 자원(임베디드 보드)만으로 차량용 운전 보조 장치를 사용하고 있으며, 임베디드 보드의 제한된 사양에 의해 부정확한 판단이 수행되는 문제점이 있다. According to the prior art, the majority of drivers use vehicle driving assistance devices with only limited resources (embedded boards), despite the presence of idle resources in the vehicle (e.g., idle mobile devices of the driver and passengers). There is a problem that incorrect judgment is performed by this.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 운전자 또는 탑승자의 유휴 자원(모바일 디바이스)과 임베디드 보드의 데이터 분산 처리를 통해, 정확한 판단 수행 및 ADAS 기능 제공이 가능한 분산 처리 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above-described problem, and provides a distributed processing system and method capable of performing accurate judgment and providing ADAS function through idle resources (mobile device) of a driver or passenger and data distributed processing of an embedded board. It has its purpose.
본 발명에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 장치는 실시간 차량용 운전 보조를 위한 분산 처리 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 임베디드 보드 및 유휴 모바일 디바이스의 분산 처리를 위해 센싱 데이터의 전송에 대한 스케줄링을 수행하고, 스케줄링 결과에 따라 센싱 데이터를 전송하는 것을 특징으로 한다. The embedded board device for real-time vehicle driving assistance according to the present invention includes a memory storing a distributed processing program for real-time vehicle driving assistance and a processor that executes the program, and the processor senses for distributed processing of the embedded board and idle mobile devices. It is characterized in that the scheduling of data transmission is performed and sensing data is transmitted according to the scheduling result.
본 발명에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템은 차량 주변 또는 차량 내부에 대한 센싱 데이터를 획득하는 센서와, 센싱 데이터를 수신하고 일부 데이터에 대한 분석을 수행하는 임베디드 보드 및 임베디드 보드로부터 분산 처리 대상인 센싱 데이터를 수신하는 유휴 모바일 디바이스를 포함하는 것을 특징으로 한다. The distributed processing system based on an embedded board and idle mobile device for real-time vehicle driving assistance according to the present invention includes a sensor that acquires sensing data around or inside a vehicle, and an embedded that receives sensing data and performs analysis on some data. It characterized in that it comprises an idle mobile device for receiving sensing data to be distributed processing target from the board and the embedded board.
본 발명에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법은 차량 주행 환경 정보 및 운전자 정보인 센싱 데이터를 수신하는 단계와, 센싱 데이터에 대한 분산 처리 스케줄링을 수행하고 분산 처리 대상이 되는 데이터를 유휴 모바일 디바이스로 전송하는 단계 및 임베디드 보드의 분석 결과와 유휴 모바일 디바이스로부터 수신한 분석 결과를 취합하고, ADAS 기능 제공을 위한 최종 판단을 수행하는 단계를 포함하는 것을 특징으로 한다. The distributed processing method based on an embedded board and idle mobile device for real-time vehicle driving assistance according to the present invention includes the steps of receiving sensing data, which is vehicle driving environment information and driver information, and performing distributed processing scheduling on the sensing data, and performing distributed processing. And transmitting the data to the idle mobile device, collecting the analysis result of the embedded board and the analysis result received from the idle mobile device, and performing a final determination for providing an ADAS function.
본 발명의 실시예에 따르면, 저가형 임베디드 보드를 사용하는 운전 보조 시스템에서 차량 내 유휴 디바이스를 사용하여 센싱 데이터에 대한 분산 처리 및 분석을 수행함으로써, 기설정 시간(예: 1초) 당 분석 데이터(예: 영상 데이터)의 수를 증가시켜, 보다 정확한 분석 및 운전 보조 서비스 제공이 가능한 효과가 있다. According to an embodiment of the present invention, by performing distributed processing and analysis on sensing data using an idle device in a vehicle in a driving assistance system using a low-cost embedded board, analysis data per preset time (eg, 1 second) ( By increasing the number of (eg, video data), more accurate analysis and driving assistance services can be provided.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 분석의 예시를 도시한다.
도 4는 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법을 나타내는 순서도이다. 1 is a block diagram showing an embedded board device for real-time vehicle driving assistance according to an embodiment of the present invention.
2 is a block diagram illustrating a distributed processing system based on an embedded board and an idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention.
3 shows an example of image analysis according to an embodiment of the present invention.
4 is a flowchart illustrating a distributed processing method based on an embedded board and an idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-described objects and other objects, advantages, and features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only the following embodiments are for the purpose of the invention to those of ordinary skill in the art, It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, actions and/or elements in which the recited component, step, operation and/or element is Or does not preclude addition.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다. Hereinafter, in order to help those skilled in the art understand, the background to which the present invention is proposed is first described, and then an embodiment of the present invention will be described.
모바일 디바이스 시장이 성장함에 따라 고사양의 모바일 디바이스가 보급되어 많은 사람들이 사용하고 있다. As the mobile device market grows, high-end mobile devices are spread and used by many people.
하지만, 고급차에 속하지 못하는 대부분의 차량에 설치된 AVN(Audio Video Navigation System)들은 단가 절감을 위해 저가형 프로세서를 사용하는 경우가 많으며, 이에 따라 보급형 모바일 디바이스와 비슷한 성능을 가지거나 그보다 낮은 성능을 가지게 된다. However, AVN (Audio Video Navigation System) installed in most vehicles that do not belong to luxury cars often use a low-cost processor to reduce unit cost, and accordingly, have similar performance to or lower than that of popular mobile devices.
그에 반하여, 많은 나라에서 운전 중 휴대전화 사용을 금지함에 따라 운전자의 모바일 디바이스 중 대다수는 멀티미디어, 네비게이션 등의 용도로만 사용되고 있으며, 그 외에는 유휴 자원으로 남게 된다.On the other hand, as many countries prohibit the use of mobile phones while driving, most of the driver's mobile devices are used only for multimedia, navigation, etc., and otherwise, they remain idle resources.
종래 기술에 따르면, 전술한 바와 같이 차량 내 유휴 자원이 있음에도 불구하고, 제한된 자원(저사양의 임베디드 보드)만으로 차량용 운전 보조 장치를 제공하는 한계점이 있다. According to the prior art, although there are idle resources in the vehicle as described above, there is a limitation in providing a driving assistance device for a vehicle with only limited resources (low specification embedded boards).
본 발명은 전술한 저가형 임베디드 보드 사용에 따른 영상 분석 지연 및 인식 부정확성의 문제점을 해결하기 위하여 제안된 것으로, 차량 내 유휴 모바일 디바이스를 이용한 분산처리를 수행하여, 운전자 안전 및 편의 시스템에서 가장 많은 프로세스를 차지하는 영상 분석을 지원하는 시스템 및 방법을 제안한다. The present invention is proposed to solve the problem of image analysis delay and recognition inaccuracy caused by the use of the above-described low-cost embedded board, and by performing distributed processing using an idle mobile device in a vehicle, the most processes in the driver safety and convenience system are performed. We propose a system and method to support occupied image analysis.
본 발명의 실시예에 따르면, 운전자 또는 탑승자의 유휴 자원(모바일 디바이스)를 활용하여, 저사양의 임베디드 보드 단독으로 처리하는 경우 프레임 수가 적음에 따라 발생되는 판단의 부정확성을 보완하는 것이 가능하다. According to an embodiment of the present invention, it is possible to compensate for inaccuracies in judgment caused by a small number of frames when processing with a low-spec embedded board alone by utilizing idle resources (mobile devices) of a driver or passenger.
도 1은 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 장치를 나타내는 블록도이다. 1 is a block diagram showing an embedded board device for real-time vehicle driving assistance according to an embodiment of the present invention.
본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 장치(200)는 실시간 차량용 운전 보조를 위한 분산 처리 프로그램이 저장된 메모리(210) 및 프로그램을 실행시키는 프로세서(220)를 포함하되, 프로세서(220)는 임베디드 보드 및 유휴 모바일 디바이스의 분산 처리를 위해 센싱 데이터의 전송에 대한 스케줄링을 수행하고, 스케줄링 결과에 따라 센싱 데이터를 유휴 모바일 디바이스로 전송한다. The embedded
프로세서(220)는 차량 주변 또는 차량 내부의 환경에 대한 정보를 획득하는 센서로부터 실시간으로 센싱 데이터를 입력 받는다. The
이 때, 센서는 차량의 전방, 후방, 사각지대에 대한 감시 등 차량 주변의 정보를 획득하고, 차량 내부의 운전자에 대한 상태 정보를 획득한다. In this case, the sensor acquires information around the vehicle, such as monitoring the front, rear, and blind spots of the vehicle, and acquires state information about the driver inside the vehicle.
본 발명의 실시예에 따른 프로세서(220)는 센싱 데이터로서, 시간 순서에 따라 입력되는 영상 데이터를 입력 받는다. The
프로세서(220)는 센싱 데이터의 수집 속도를 고려하여 최대 허용 유휴 모바일 디바이스의 수를 결정하고 접근 제어를 수행한다. The
프로세서(220)는 유휴 모바일 디바이스가 접속되는 경우, 임베디드 보드에서 분석하는 영상 사이의 미분석 영상을 유휴 모바일 디바이스로 전송하여 분산 처리 및 분석이 수행되도록 한다. When an idle mobile device is connected, the
이 때, 프로세서(220)의 전송 스케줄링은 전술한 [수학식 1]에 따라 수행된다. At this time, transmission scheduling of the
본 발명의 실시예에 따른 프로세서(220)는 영상 입력 시간과 지연 시간을 계산하고, 유휴 모바일 디바이스의 전체 수 및 해당 유휴 모바일 디바이스의 순번을 고려하여 전송 스케줄링을 수행한다. The
본 발명의 실시예에 따른 프로세서(220)는 임베디드 보드와 유휴 모바일 디바이스가 인접한 시간대의 영상을 사용하지 않도록 스케줄링한다. The
프로세서(220)는 유휴 모바일 디바이스로부터 수신한 분석 결과(제2 분석 결과) 및 자신이 수행한 분석 결과(제1 분석 결과)를 종합하여 최종 판단을 수행하고, 그 결과에 따라 ADAS 기능(예: 운전자의 졸음을 판단하고 알람을 제공하는 기능)을 제공한다. The
도 2는 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템을 나타내는 블록도이다. 2 is a block diagram illustrating a distributed processing system based on an embedded board and an idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention.
본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템은 차량 주변 또는 차량 내부에 대한 센싱 데이터를 획득하는 센서(100)와, 센서(100)로부터 센싱 데이터를 수신하고, 일부 데이터에 대한 분석을 수행하는 임베디드 보드(200) 및 임베디드 보드(200)로부터 분산 처리 대상인 센싱 데이터를 수신하는 유휴 모바일 디바이스(300)를 포함한다. The distributed processing system based on an embedded board and idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention receives sensing data from the
센서(100)는 차량의 전, 후방, 사각지대에 대한 영상 데이터와 운전자의 상태에 대한 영상 데이터를 획득하고, 이를 임베디드 보드(200)의 영상 수집부(230)로 전송한다. The
임베디드 보드(200)의 영상 수집부(230)는 영상 분석부(250) 및 송수신부(240)의 요청에 따라, 센서(100)로부터 실시간으로 영상 및 정보를 입력 받는다. The
임베디드 보드(200)의 영상 분석부(250)는 영상 수집부(230)로부터 전달받은 영상을 분석하고, 분석 완료 시 영상 수집부(230)로 다음 영상을 요청한다. The
본 발명의 실시예에 따른 임베디드 보드(200)는 차량용 운전 보조 장치, AVN, Cockpit, Cluster 등이 될 수 있다. The embedded
본 발명의 실시예에 따르면, 유선, 와이파이, 블루투스 등 유/무선 통신 장치를 탑재한 임베디드 보드를 사용하는 기존 및 신규 차량에 적용이 가능하다. According to an embodiment of the present invention, it can be applied to existing and new vehicles using embedded boards equipped with wired/wireless communication devices such as wired, Wi-Fi, and Bluetooth.
임베디드 보드(200)의 영상 수집부(230)는 센싱 데이터의 수집 속도를 고려하여 허용 가능한 유휴 모바일 디바이스(300)의 수를 결정하고 접근 제어를 수행한다. The
임베디드 보드(200)는 신규 유휴 디바이스가 접속되면 새로운 송수신부를 생성하는 것이 가능하다. The embedded
유휴 모바일 디바이스(300)는 영상 분석의 고속화 및 정확도 향상을 위하여 활용되는 유휴 자원으로서, 운전자 또는 탑승자의 유휴 디바이스가 활용된다. The idle
임베디드 보드(200)의 송수신부(240)는 유휴 모바일 디바이스(300)가 접속되는 경우, 임베디드 보드(200)의 영상 분석부(250)에서 분석하는 영상 사이의 미분석 영상을 유휴 모바일 디바이스(300)의 송수신부(320)로 전송한다. When the idle
임베디드 보드(200)는 전술한 [수학식 1]을 이용하여 센싱 데이터의 분산 처리를 위한 전송 스케줄링을 수행하고, 스케줄링 결과에 따라 분산 처리 대상에 해당하는 센싱 데이터를 전송한다. The embedded
유휴 모바일 디바이스(300)의 송수신부(320)는 임베디드 보드(200)의 송수신부(240)로부터 전달 받은 영상(미분석 영상)을 영상 분석부(310)로 전달하고, 영상 분석부(310)는 분산 처리 대상인 센싱 데이터(미분석 영상)에 대한 분석을 수행한다. The transmission/
유휴 모바일 디바이스(300)의 송수신부(320)는 영상 분석부(310)로부터 분석 결과를 수신하여, 이를 임베디드 보드(200)의 송수신부(240)로 전송한다. The transmission/
임베디드 보드(200)는 자신의 분석 결과와 유휴 모바일 디바이스(300)로부터 전송 받은 분석 결과를 종합하여 최종 판단을 수행하고, ADAS 기능을 제공한다. The embedded
도 3은 본 발명의 실시예에 따른 영상 분석의 예시를 도시한다. 3 shows an example of image analysis according to an embodiment of the present invention.
도 3의 (a)는 저가형 임베디드 보드를 사용한 초당 분석 영상 수를 도시한다. 3(a) shows the number of analyzed images per second using a low-cost embedded board.
도 3의 (a)에 도시한 바와 같이, 저가형 임베디드 보드를 사용하는 경우, 영상 분석 결과에 따라, 운전자가 지속적으로 일정 시간 이상 눈을 감고 있다고 판단하여, 운전자의 상태를 졸음으로 판단할 수 있다. As shown in (a) of FIG. 3, in the case of using a low-cost embedded board, it is determined that the driver is continuously closing his eyes for a certain period of time or longer according to the result of image analysis, and the driver's state can be determined as drowsy. .
그런데, 본 발명의 실시예에 따르면 유휴 모바일 디바이스를 활용하여, 초당 분석 영상 수를 증가시킴으로써, 도 3의 (b)에 도시한 바와 같이 운전자가 눈을 깜빡이고 있다고 판단하여, 정상 상태임을 확인하는 것이 가능하다. However, according to an embodiment of the present invention, by increasing the number of analyzed images per second using an idle mobile device, it is determined that the driver is blinking as shown in FIG. It is possible.
즉, 운전자가 실제로는 도 3의 (b)에 도시한 바와 같이 눈을 깜빡이고 있는 정상 상태인 경우에도, 종래 기술에 따르면 도 3의 (a)에 도시한 바와 같이 저사양의 한계로 인해 운전자의 졸음 상태인 것으로 잘못 판단하는 문제점이 있었다. That is, even when the driver is actually in a normal state in which his eyes are blinking as shown in (b) of FIG. 3, according to the prior art, due to the limitation of the low specification as shown in (a) of FIG. There was a problem of erroneously judging that he was drowsy.
그러나, 본 발명의 실시예와 같이 운전자 또는 탑승자의 유휴 자원(유휴 모바일 디바이스)를 활용한 분산 처리를 통해, 운전자의 상태에 대한 판단의 정확성을 높이고, 그 판단 과정에서의 처리 시간을 줄이는 것이 가능한 효과가 있다. However, through distributed processing using idle resources (idle mobile devices) of the driver or passenger as in the embodiment of the present invention, it is possible to increase the accuracy of the determination of the driver's state and reduce the processing time in the determination process. It works.
도 4는 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법을 나타내는 순서도이다. 4 is a flowchart illustrating a distributed processing method based on an embedded board and an idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention.
본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법은 차량 주행 환경 정보 및 운전자 정보를 센싱 데이터로서 수신하는 단계(S410)와, 센싱 데이터에 대한 분산 처리 스케줄링을 수행하고, 분산 처리 대상이 되는 데이터를 유휴 모바일 디바이스로 전송하는 단계(S420) 및 임베디드 보드의 분석 결과와 유휴 모바일 디바이스로부터 수신한 분석 결과를 취합하고, ADAS 기능 제공을 위한 최종 판단을 수행하는 단계(S430)를 포함한다. The distributed processing method based on an embedded board and idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention includes receiving vehicle driving environment information and driver information as sensing data (S410), and scheduling distributed processing for sensing data. And transmitting the data to be distributed processing to the idle mobile device (S420), collecting the analysis result of the embedded board and the analysis result received from the idle mobile device, and performing a final decision for providing the ADAS function. It includes step S430.
S410 단계는 차량 전/후방, 사각 지대에 대한 영상 데이터 및 운전자의 상태에 대한 영상 데이터를 센싱 데이터로 수신한다. In step S410, image data on the front/rear of the vehicle and the blind spot, and image data on the driver's state are received as sensing data.
본 발명의 실시예에 따르면, 센싱 데이터의 수집 속도를 고려하여 유휴 모바일 디바이스의 최대 허용 가능 수를 결정한다. According to an embodiment of the present invention, the maximum allowable number of idle mobile devices is determined in consideration of the collection speed of sensing data.
유휴 모바일 디바이스의 신규 접속이 발생된 경우, 임베디드 보드의 영상/결과 송수신을 위한 구성이 신규 생성될 수 있다. When a new connection of an idle mobile device occurs, a configuration for transmitting and receiving images/results of the embedded board may be newly created.
S420 단계에서의 전송 스케줄링은 아래 [수학식 1]에 따라 수행되며, 유휴 모바일 디바이스의 전체 수 및 순서를 고려하여 분산 처리 대상이 되는 데이터에 대한 스케줄링을 수행한다. Transmission scheduling in step S420 is performed according to [Equation 1] below, and scheduling of data to be distributed processing is performed in consideration of the total number and order of idle mobile devices.
S430 단계는 운전자 및 탑승자가 소지한 모바일 디바이스의 유휴 자원 중 적어도 어느 하나를 사용하여 분석된 결과를 취합한다. In step S430, the analyzed result is collected using at least one of idle resources of the mobile device possessed by the driver and the passenger.
즉, S430 단계에서는 임베디드 보드 자신이 분석한 결과와, 유휴 모바일 디바이스가 수행한 분석 결과를 종합하여, ADAS 기능 제공을 위한 판단을 수행하게 된다. That is, in step S430, the result of the analysis performed by the embedded board itself and the analysis result performed by the idle mobile device are synthesized to perform a judgment for providing the ADAS function.
한편, 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the distributed processing method based on an embedded board and an idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention may be implemented in a computer system or recorded in a recording medium. The computer system may include at least one processor, memory, user input device, data communication bus, user output device, and storage. Each of the above-described components communicates data through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 분산 처리 방법을 수행할 수 있다.Accordingly, the distributed processing method based on an embedded board and an idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention may be implemented in a computer-executable method. When a distributed processing method based on an embedded board and an idle mobile device for real-time vehicle driving assistance according to an embodiment of the present invention is performed in a computer device, instructions that can be read by a computer may perform the distributed processing method according to the present invention.
한편, 상술한 본 발명에 따른 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the distributed processing method based on an embedded board and idle mobile device for real-time vehicle driving assistance according to the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed to a computer system connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, we have looked at the center of the embodiments of the present invention. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
100: 센서
200: 임베디드 보드
210: 메모리
220: 프로세서
230: 영상 수집부
240: 송수신부
250: 영상 분석부
300: 유휴 모바일 디바이스
310: 영상 분석부
320: 송수신부100: sensor 200: embedded board
210: memory 220: processor
230: image collection unit 240: transmission and reception unit
250: image analysis unit 300: idle mobile device
310: image analysis unit 320: transmission and reception unit
Claims (15)
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 임베디드 보드 및 유휴 모바일 디바이스의 분산 처리를 위해 센싱 데이터의 전송에 대한 스케줄링을 수행하고, 스케줄링 결과에 따라 상기 센싱 데이터를 전송하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 장치.
A memory storing a distributed processing program for real-time vehicle driving assistance; And
Including a processor for executing the program,
The processor performs scheduling for transmission of sensing data for distributed processing of an embedded board and an idle mobile device, and transmits the sensing data according to the scheduling result.
Embedded board device for real-time vehicle driving assistance.
상기 프로세서는 차량 주변 또는 차량 내부의 환경에 대한 정보를 획득하는 센서로부터 실시간으로 상기 센싱 데이터를 입력 받는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 장치.
The method of claim 1,
The processor receives the sensing data in real time from a sensor that acquires information about the environment around the vehicle or inside the vehicle.
Embedded board device for real-time vehicle driving assistance.
상기 프로세서는 상기 센싱 데이터로서 시간 순서에 따른 영상 데이터를 입력 받고, 상기 임베디드 보드에서 분석하는 영상 사이의 미분석 영상을 상기 유휴 모바일 디바이스로 전송하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 장치.
The method of claim 1,
The processor receives image data according to a time sequence as the sensing data, and transmits an unanalyzed image between images analyzed by the embedded board to the idle mobile device.
Embedded board device for real-time vehicle driving assistance.
상기 프로세서는 상기 유휴 모바일 디바이스로부터 수신한 분석 결과를 취합하여 ADAS 기능을 제공하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 장치.
The method of claim 1,
The processor provides an ADAS function by collecting the analysis results received from the idle mobile device.
Embedded board device for real-time vehicle driving assistance.
상기 프로세서는 상기 센싱 데이터의 수집 속도를 고려하여 최대 허용 유휴 모바일 디바이스의 수를 결정하고 접근 제어를 수행하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 장치.
The method of claim 1,
The processor determines the maximum number of allowed idle mobile devices in consideration of the collection speed of the sensing data and performs access control.
Embedded board device for real-time vehicle driving assistance.
상기 센서로부터 센싱 데이터를 수신하고, 일부 데이터에 대한 분석을 수행하는 임베디드 보드; 및
상기 임베디드 보드로부터 분산 처리 대상인 센싱 데이터를 수신하는 유휴 모바일 디바이스
를 포함하는 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템.
A sensor for acquiring sensing data around the vehicle or inside the vehicle;
An embedded board that receives sensing data from the sensor and performs analysis on some data; And
Idle mobile device receiving sensing data to be distributed processing from the embedded board
Embedded board and idle mobile device-based distributed processing system for real-time vehicle driving assistance including a.
상기 센서는 차량의 전, 후방, 사각지대에 대한 영상 데이터와 운전자의 상태에 대한 영상 데이터를 획득하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템.
The method of claim 6,
The sensor acquires image data on the front, rear, and blind spots of the vehicle and image data on the driver's condition.
Distributed processing system based on embedded board and idle mobile device for in real-time vehicle driving assistance.
상기 임베디드 보드는 상기 센싱 데이터의 분산 처리를 위한 전송 스케줄링을 수행하고, 스케줄링 결과에 따라 상기 분산 처리 대상에 해당하는 센싱 데이터를 전송하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템.
The method of claim 6,
The embedded board performs transmission scheduling for distributed processing of the sensing data, and transmits sensing data corresponding to the distributed processing target according to a scheduling result.
Distributed processing system based on embedded board and idle mobile device for in real-time vehicle driving assistance.
상기 유휴 모바일 디바이스는 상기 분산 처리 대상인 센싱 데이터에 대한 분석 결과를 상기 임베디드 보드로 전송하고, 상기 임베디드 보드는 자신의 분석 결과와 상기 유휴 모바일 디바이스로부터 전송 받은 분석 결과를 종합하여 최종 판단을 수행하고, ADAS 기능을 제공하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템.
The method of claim 8,
The idle mobile device transmits the analysis result of the sensing data to be distributed processing to the embedded board, and the embedded board performs a final decision by synthesizing the analysis result of itself and the analysis result transmitted from the idle mobile device, Providing ADAS functionality
Distributed processing system based on embedded board and idle mobile device for in real-time vehicle driving assistance.
상기 임베디드 보드는 상기 센싱 데이터의 수집 속도를 고려하여 허용 가능한 상기 유휴 모바일 디바이스의 수를 결정하고 접근 제어를 수행하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 시스템.
The method of claim 6,
The embedded board determines the number of allowable idle mobile devices in consideration of the collection speed of the sensing data and performs access control
Distributed processing system based on embedded board and idle mobile device for in real-time vehicle driving assistance.
(b) 상기 센싱 데이터에 대한 분산 처리 스케줄링을 수행하고, 분산 처리 대상이 되는 데이터를 유휴 모바일 디바이스로 전송하는 단계; 및
(c) 임베디드 보드의 분석 결과와 상기 유휴 모바일 디바이스로부터 수신한 분석 결과를 취합하고, ADAS 기능 제공을 위한 최종 판단을 수행하는 단계
를 포함하는 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법.
(a) receiving sensing data that is vehicle driving environment information and driver information;
(b) performing distributed processing scheduling on the sensing data and transmitting data to be distributed processing to an idle mobile device; And
(c) collecting the analysis result of the embedded board and the analysis result received from the idle mobile device, and performing a final judgment for providing the ADAS function
An embedded board and idle mobile device-based distributed processing method for real-time vehicle driving assistance comprising a.
상기 (a) 단계는 차량 전/후방, 사각 지대에 대한 영상 데이터 및 운전자의 상태에 대한 영상 데이터를 상기 센싱 데이터로 수신하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법.
The method of claim 11,
In the step (a), the image data for the front/rear of the vehicle and the blind spot and the image data for the driver's state are received as the sensing data.
Distributed processing method based on embedded board and idle mobile device for in-real-time vehicle driving assistance.
상기 (a) 단계 이후 (b) 단계 이전에, 상기 센싱 데이터의 수집 속도를 고려하여 상기 유휴 모바일 디바이스의 최대 허용 가능 수를 결정하는 단계
를 더 포함하는 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법.
The method of claim 11,
After (a) and before (b), determining the maximum allowable number of idle mobile devices in consideration of the collection speed of the sensing data
An embedded board and idle mobile device-based distributed processing method for real-time vehicle driving assistance further comprising a.
상기 (b) 단계는 상기 유휴 모바일 디바이스의 접속에 따라, 유휴 모바일 디바이스의 전체 수 및 순서를 고려하여 분산 처리 대상이 되는 데이터에 대한 스케줄링을 수행하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법.
The method of claim 11,
The step (b) is to perform scheduling on data subject to distributed processing in consideration of the total number and order of idle mobile devices according to the connection of the idle mobile devices.
Distributed processing method based on embedded board and idle mobile device for in-real-time vehicle driving assistance.
상기 (c) 단계는 운전자 또는 탑승자가 소지한 모바일 디바이스의 유휴 자원을 사용하여 분석된 결과를 취합하는 것
인 실시간 차량용 운전 보조를 위한 임베디드 보드 및 유휴 모바일 디바이스 기반 분산 처리 방법. The method of claim 11,
Step (c) is to collect the analyzed results using idle resources of the mobile device possessed by the driver or passenger
Distributed processing method based on embedded board and idle mobile device for in-real-time vehicle driving assistance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190016391A KR20200098349A (en) | 2019-02-12 | 2019-02-12 | Image distributed processing system based on embedded board and idle mobile device for providing real time advanced driver assistance systems and method using thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190016391A KR20200098349A (en) | 2019-02-12 | 2019-02-12 | Image distributed processing system based on embedded board and idle mobile device for providing real time advanced driver assistance systems and method using thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200098349A true KR20200098349A (en) | 2020-08-20 |
Family
ID=72293171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190016391A KR20200098349A (en) | 2019-02-12 | 2019-02-12 | Image distributed processing system based on embedded board and idle mobile device for providing real time advanced driver assistance systems and method using thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200098349A (en) |
-
2019
- 2019-02-12 KR KR1020190016391A patent/KR20200098349A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3288002A1 (en) | Drive recorder | |
KR20190115040A (en) | Methods, devices, equipment and storage media for determining driving behavior | |
US20160267335A1 (en) | Driver distraction detection system | |
JP6817531B2 (en) | Operation status recording device | |
WO2016035268A1 (en) | Travel control system for vehicle | |
CN104972990B (en) | Workload estimation for mobile device function integration | |
EP3618011B1 (en) | Data collection apparatus, on-vehicle device, data collection system, and data collection method | |
JP2016052881A (en) | Travel control system for vehicle | |
JP6293013B2 (en) | Video transmission device, video transmission method, and video transmission program | |
US20170181684A1 (en) | Onboard system for mitigating distraction risk | |
CN110895738A (en) | Driving evaluation device, driving evaluation system, driving evaluation method, and storage medium | |
JP2008217218A (en) | Accident information acquisition system | |
US10286781B2 (en) | Method for the automatic execution of at least one driving function of a motor vehicle | |
US20180124515A1 (en) | Autonomous vehicle ingress and egress | |
CN109624985B (en) | Early warning method and device for preventing fatigue driving | |
US20190315342A1 (en) | Preference adjustment of autonomous vehicle performance dynamics | |
CN105160922A (en) | Car networking management device and method | |
JPWO2012077234A1 (en) | Vehicle information collection system | |
CN110884495A (en) | Starting method/system of automatic driving function, readable storage medium and vehicle terminal | |
CN108957460B (en) | Method and device for detecting vehicle distance and computer readable storage medium | |
US11958494B2 (en) | Information collection device and information collection method | |
US11734967B2 (en) | Information processing device, information processing method and program | |
KR20190024511A (en) | Method for sharing road situation and computer program recorded on record-medium for executing method therefor | |
KR20200098349A (en) | Image distributed processing system based on embedded board and idle mobile device for providing real time advanced driver assistance systems and method using thereof | |
JP7187784B2 (en) | Vehicle information processing system, management device, vehicle information processing method, and vehicle information processing program |