KR20120134333A - System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle - Google Patents

System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle Download PDF

Info

Publication number
KR20120134333A
KR20120134333A KR1020110053177A KR20110053177A KR20120134333A KR 20120134333 A KR20120134333 A KR 20120134333A KR 1020110053177 A KR1020110053177 A KR 1020110053177A KR 20110053177 A KR20110053177 A KR 20110053177A KR 20120134333 A KR20120134333 A KR 20120134333A
Authority
KR
South Korea
Prior art keywords
vehicle
self
information
diagnosis
state
Prior art date
Application number
KR1020110053177A
Other languages
Korean (ko)
Other versions
KR101232639B1 (en
Inventor
조용준
김준곤
Original Assignee
유비벨록스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유비벨록스(주) filed Critical 유비벨록스(주)
Priority to KR1020110053177A priority Critical patent/KR101232639B1/en
Publication of KR20120134333A publication Critical patent/KR20120134333A/en
Application granted granted Critical
Publication of KR101232639B1 publication Critical patent/KR101232639B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Telephone Function (AREA)

Abstract

PURPOSE: A system for visually displaying a self-diagnosis state of a vehicle, a mobile terminal, and a method thereof are provided to enable users to check the failure and malfunction of spare parts in various angles. CONSTITUTION: A system for visually displaying a self-diagnosis state of a vehicle includes a self-diagnosis unit(100) and a mobile terminal(200). The self-diagnosis unit controls each part of a vehicle(110) for checking the malfunction of the part and generating self-diagnosis information. The mobile terminal uses a camera moving around the vehicle, a GPS module, a position sensor, or an RFID reader to obtain location and image information of the vehicle.

Description

차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 표시하기 위한 시스템, 이동 단말기 및 방법{SYSTEM, MOBILE TERMINAL AND METHOD FOR DISPLAYING VISUALLY 3D MODELING OF SELF-DIAGNOSIS STATUS OF VEHICLE}MOBILE TERMINAL AND METHOD FOR DISPLAYING VISUALLY 3D MODELING OF SELF-DIAGNOSIS STATUS OF VEHICLE}

본 발명은 차량의 자기 진단 상태를 시각적으로 표시하기 위한 시스템, 이동 단말기 및 방법에 관한 것으로서, 더욱 상세하게는, 자기 진단 상태를 3차원 모델링하여 입체적인 시각 형태로 표시하기 위한 시스템, 이동 단말기 및 방법에 관한 것이다.The present invention relates to a system, a mobile terminal, and a method for visually displaying a self-diagnosis state of a vehicle. More particularly, the present invention relates to a system, a mobile terminal, and a method for three-dimensional modeling and displaying a self-diagnosis state in a three-dimensional visual form. It is about.

일반적으로 운행중인 차량의 부품 고장을 확인하면 다행이나, 대부분 자동차 내부에 각 부품들이 깊숙히 위치하고 있어 어떤 부품이 고장났는지를 알 수 없어 대형 사고로 이어지는 경향이 있었다. 이럴 경우, 고장난 자동차를 차량 정비소에 맡긴 후 일일이 점검을 받은 후에야 어느 부품에서 결함이 있는지를 알 수 있었다.In general, it is fortunate to check the parts failure of the vehicle in operation, but most of them are located deep inside the car, so it is not known which parts are broken and tended to lead to large accidents. In this case, it was only possible to know which parts were defective after leaving the broken car to the car shop and inspecting it.

이상과 같은 상태를 미연에 방지하고자, 최근에는 각 부품의 고장 상태를 제어하여 사용자 편의적인 인터페이스 환경(GUI)으로 표시하거나 소리로 표시하여 줌으로써, 차량 정비 전문가가 아니어도 고장 진단 상태를 확인할 수 있었다. 이와 같이 사용자 편의적으로 제공하는 시스템을 가리켜 '자기 진단 시스템'이라 지칭한다.In order to prevent such a situation in advance, recently, by controlling the failure state of each component and displaying it in a user-friendly interface environment (GUI) or by sound, it was possible to confirm the diagnosis state of the failure even without a vehicle maintenance expert. . As such, the system provided by the user's convenience is referred to as a 'self-diagnosis system'.

상기 자기 진단 시스템은 고장 진단 상태를 텍스트 형태로 표시하여 주거나, 증강 현실 기술을 이용하여 2D 영상으로 표시하여 주는 형태를 취하였다. 예를 들어, 2D 영상으로 고장 진단 상태를 표시하게 되면, 고장 부품이 생소하여 고장 부품의 위치를 알지 못하여 고장 정도의 심각성을 여전히 알 수 없었다. 이런 경우에도 사고의 위험성은 여전히 존재하게 되었다.The self-diagnosis system has a form in which the failure diagnosis state is displayed in text form or displayed in 2D image by using augmented reality technology. For example, when the fault diagnosis status is displayed in a 2D image, the faulty parts are unfamiliar and the location of the failing parts is not known, so the severity of the fault is still unknown. In this case, the risk of an accident still exists.

다른 관점에 의하면, 최근에는 무선 인터넷 기술이 발전함에 따라 차량의 고장 상태를 스마트폰에서도 확인할 수 있도록 스마트폰의 웹 어플리케이션 형태로서도 개발되었다. 그러나, 이와 같은 스마트폰의 웹 어플리케이션은 앞서 설명한 바와 같이 고장 진단 상태를 텍스트 형태 또는 2D 영상으로 제공하는 수준에 머룰러 있었다.According to another aspect, in recent years, as the wireless Internet technology has developed, it has been developed as a web application form of the smart phone so that the smartphone can check the failure state of the vehicle. However, as described above, the web application of the smart phone has been in a level of providing a diagnosis status in text form or 2D image.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 차량 주위에 있는 이동 단말기의 위치에 반응하여 차량의 자기 진단 상태를 3차원적으로 모델링하여 입체적인 시각 영상으로 보여주기 위한 시스템, 이동 단말기 및 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above-described problem, a system, a mobile terminal and a method for displaying three-dimensional visual images by modeling the self-diagnostic state of the vehicle in response to the position of the mobile terminal around the vehicle in three dimensions The purpose is to provide.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징적 구성은 다음과 같다.In order to achieve the object of the present invention as described above, and to perform the characteristic functions of the present invention described below, the characteristic configuration of the present invention is as follows.

본 발명의 일 형태에 따르면, 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 표시하기 위한 시스템으로서, 차량의 각 부품을 제어하여 상기 각 부품의 고장 여부를 판단하여 자기 진단 상태 정보를 생성하는 자기 진단 장치; 및 차량 주위로 움직이는 카메라, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 차량의 위치 정보와 영상 정보를 획득하고, 상기 차량의 위치 정보에 근거하여 상기 영상 정보에서 변환된 투시 영상 정보와 상기 자기 진단 상태 정보를 맵핑하여 차량의 자기 진단 상태를 3차원 영상으로 구현하는 이동 단말기를 포함하는 차량 진단 시스템이 제공된다.According to one aspect of the present invention, there is provided a system for visually displaying a self-diagnosis state of a vehicle by three-dimensional modeling, wherein the self-diagnosis state information is generated by controlling each part of the vehicle to determine whether the respective parts are faulty. Diagnostic devices; And at least one or more of a camera, a GPS module, a position sensor, and an RFID reader moving around the vehicle to obtain position information and image information of the vehicle, and based on the position information of the vehicle, a perspective image converted from the image information. Provided is a vehicle diagnostic system including a mobile terminal configured to map information and the self-diagnostic state information to implement a self-diagnostic state of a vehicle in a 3D image.

여기서, 상기 위치 감지 센서는, 가속도를 측정하기 위한 가속도 센서, 차량의 X,Y,θ 삼각을 측정하기 위한 모션 센서, 및 차량의 방위각을 측정하기 위한 지자기 센서 중 어느 하나일 수 있다.The position sensor may be one of an acceleration sensor for measuring acceleration, a motion sensor for measuring X, Y, and θ triangles of the vehicle, and a geomagnetic sensor for measuring the azimuth angle of the vehicle.

또한, 상기 이동 단말기는, 카메라, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상에서 상기 차량의 특정 방향을 3D 트래킹한 결과로서 상기 차량의 위치 정보를 획득할 수 있다.The mobile terminal may acquire location information of the vehicle as a result of 3D tracking a specific direction of the vehicle by at least one of a camera, a GPS module, a position sensor, and an RFID reader.

또한, 상기 자기 진단 장치는, 상기 각 부품에 대한 자기 진단 결과로서 정상 상태의 진단 코드 정보와 고장 상태의 진단 코드 정보를 포함한 자기 진단 상태 정보를 생성할 수 있다.The self-diagnostic apparatus may generate self-diagnostic state information including diagnostic code information in a normal state and diagnostic code information in a fault state as a self-diagnosis result for each component.

또한, 상기 자기 진단 장치와 이동 단말기의 사이에는, 블루투스, WiFi, RFID 및 Multi FEM 중 어느 하나의 근거리 통신망으로 연결될 수 있다.In addition, the self-diagnosis apparatus and the mobile terminal may be connected to any one local area network among Bluetooth, WiFi, RFID, and Multi FEM.

또한, 본 발명의 다른 일 형태에 따르면, 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 표시하기 위한 이동 단말기로서, 차량의 각 부품의 고장 여부를 판단하여 생성된 자기 진단 상태 정보를 획득하는 진단 코드 획득부; 차량 주위로 움직이는 카메라에서 촬상된 영상 정보를 실시간으로 획득하는 영상 정보 획득부; 상기 카메라와, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 상기 차량의 특정 방향을 3D 트래킹한 결과로서 상기 차량의 3D 위치 정보를 획득하는 위치 정보 획득부; 상기 3D 위치 정보에 근거하여 상기 영상 정보에 대응하여 상기 차량에 대한 투시 영상 정보를 추출하는 투시 영상 추출부; 상기 3D 위치 정보에 근거하여 상기 투시 영상 정보에 상기 자기 진단 상태 정보를 맵핑하는 정보 맵핑부; 및 상기 정보 맵핑부에서 맵핑한 결과인 차량의 자기 진단 상태를 3차원 영상으로 표시하는 화면 표시부를 포함하는 이동 단말기가 제공된다.According to another aspect of the present invention, there is provided a mobile terminal for visually displaying a self-diagnosis state of a vehicle by three-dimensional modeling, wherein the diagnosis is performed by acquiring self-diagnosis state information generated by determining whether a failure of each component of the vehicle is performed. Code acquisition unit; An image information acquisition unit which acquires image information captured by a camera moving around the vehicle in real time; A location information acquisition unit that acquires 3D location information of the vehicle as a result of 3D tracking a specific direction of the vehicle using at least one of the camera, a GPS module, a location sensor, and an RFID reader; A perspective image extracting unit extracting perspective image information of the vehicle based on the 3D location information corresponding to the image information; An information mapping unit for mapping the self-diagnostic state information to the perspective image information based on the 3D position information; And a screen display unit displaying a self-diagnosis state of the vehicle, which is a result of the mapping in the information mapping unit, as a 3D image.

여기서, 상기 진단 코드 획득부는, 상기 각 부품에 대한 자기 진단 결과로서 정상 상태의 진단 코드 정보와 고장 상태의 진단 코드 정보를 포함한 자기 진단 상태 정보를 근거리 통신망을 통하여 획득할 수 있다.Here, the diagnostic code obtaining unit may acquire, through the local area network, self-diagnostic status information including diagnostic code information in a normal state and diagnostic code information in a fault state as a self-diagnosis result for each component.

또한, 상기 위치 감지 센서는, 가속도를 측정하기 위한 가속도 센서, 차량의 X,Y,θ 삼각을 측정하기 위한 카메라/모션 센서, 및 차량의 방위각을 측정하기 위한 지자기 센서 중 어느 하나일 수 있다.The position sensor may be any one of an acceleration sensor for measuring acceleration, a camera / motion sensor for measuring X, Y, and θ triangles of a vehicle, and a geomagnetic sensor for measuring an azimuth of the vehicle.

또한, 본 발명의 또 다른 일 형태에 따르면, 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 표시하기 위한 방법으로서, (a) 차량 주위의 소정 위치에서 차량의 위치 정보를 획득하는 단계; (b) 상기 차량의 위치 정보에 근거하여 상기 소정 위치에서 촬영한 상기 차량의 영상 정보로부터 차량의 투시 영상 정보를 결정하는 단계; (c) 상기 차량의 각 부품 고장 여부에 대한 자기 진단 상태 정보를 획득하는 단계; (d) 상기 자기 진단 상태 정보 중에서 상기 차량의 투시 영상 정보에서 보여질 제2 자기 진단 상태 정보를 결정하는 단계; 및 (e) 상기 제2 자기 진단 상태 정보를 상기 투시 영상 정보에 맵핑하여 표시하는 단계를 포함하는 방법이 제공된다.According to still another aspect of the present invention, there is provided a method for visually displaying a self-diagnosis state of a vehicle by three-dimensional modeling, the method comprising: (a) acquiring position information of a vehicle at a predetermined position around the vehicle; (b) determining perspective image information of the vehicle from image information of the vehicle photographed at the predetermined position based on the position information of the vehicle; (c) acquiring self-diagnosis status information on whether each component of the vehicle has failed; (d) determining second self-diagnosis state information to be shown in the perspective image information of the vehicle among the self-diagnosis state information; And (e) mapping and displaying the second self-diagnostic state information on the perspective image information.

여기서, 상기 (a) 단계는, GPS 모듈에 의해 획득한 이동 단말기의 위치 정보를 기점으로 하여 차량을 트래킹한 결과로서 상기 차량의 위치 정보를 획득할 수 있다.Here, in step (a), the location information of the vehicle may be obtained as a result of tracking the vehicle based on the location information of the mobile terminal acquired by the GPS module.

또한, 상기 (a) 단계는, 가속도 측정 기법, X,Y,θ 삼각 측정 기법, 방위각 측정 기법, 헤드 트레킹 측정 기법 및 RFID 위치 측정 기법 중 적어도 하나 이상을 이용하여 상기 차량의 위치 정보를 획득할 수 있다.In addition, in the step (a), the position information of the vehicle may be obtained using at least one of an acceleration measuring technique, an X, Y, θ triangular measuring technique, an azimuth measuring technique, a head trekking measuring technique, and an RFID position measuring technique. Can be.

또한, 상기 가속도 측정 기법, X,Y,θ 삼각 측정 기법, 방위각 측정 기법 및 헤드 트레킹 측정 기법은, GPS 모듈과 연동하는 모션 센서 또는 카메라에 의해서 구현될 수 있다.In addition, the acceleration measurement technique, the X, Y, θ triangular measurement technique, azimuth measurement technique and head tracking measurement technique may be implemented by a motion sensor or a camera linked with the GPS module.

본 발명에 의하면, 차량 주위로 움직이는 이동 단말기에 따라 각기 다른 투과 영상에 자기 진단 상태를 맵핑하여 보여줌으로써, 다양한 각도에서 3차원적으로 부품 고장 상태와 고장의 심각성을 확인할 수 있어 차량 점검과 수리의 편의성을 도모할 수 있고, 이로써 차량의 안전 운행이 가능한 효과가 달성된다.According to the present invention, by displaying the self-diagnostic state on different transmission images according to the mobile terminal moving around the vehicle, it is possible to check the failure state and the severity of the component in three dimensions from various angles to check and repair the vehicle. Convenience can be attained, and the effect which enables safe driving of a vehicle is achieved.

또한, 본 발명에 의하면, 생소한 차량의 부품 고장이라도 3차원적으로 확인할 수 있어, 해박한 부품 지식이 없더라도 수리가 용이한 효과가 달성된다.In addition, according to the present invention, even a component failure of an unfamiliar vehicle can be confirmed in three dimensions, and an effect that can be easily repaired is achieved even without extensive parts knowledge.

도 1은 본 발명의 제1 실시예에 따른 차량 진단 시스템을 예시적으로 나타낸 도면이다.
도 2는 본 발명의 제1 실시예에 따른 다양한 각도에서 배치된 이동 단말기(200)를 예시적으로 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 이동 단말기(200)의 소프트웨어적인 구성을 예시적으로 나타낸 도면이다.
도 4 및 도 5는 본 발명의 제1 실시예에 따라 각기 다른 위치의 이동 단말기에서 표시되는 자지 진단 상태 결과를 예시적으로 나타낸 도면이다.
도 6은 본 발명의 제2 실시예에 따른 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 제공하기 위한 방법(S300)을 예시적으로 설명하기 위한 도면이다.
1 is a view showing a vehicle diagnostic system according to a first embodiment of the present invention by way of example.
2 is a diagram exemplarily illustrating a mobile terminal 200 disposed at various angles according to the first embodiment of the present invention.
3 is a diagram illustrating a software configuration of the mobile terminal 200 according to the first embodiment of the present invention.
4 and 5 are diagrams exemplarily illustrating a result of a self-diagnosis state displayed in mobile terminals at different locations according to the first embodiment of the present invention.
FIG. 6 is a diagram for exemplarily describing a method (S300) for visually providing a 3D model of a self-diagnosis state of a vehicle according to a second embodiment of the present disclosure.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자기 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that the present invention may be easily implemented by those skilled in the art.

제1 실시예First Embodiment

도 1은 본 발명의 제1 실시예에 따른 차량 진단 시스템을 예시적으로 나타낸 도면이다.1 is a view showing a vehicle diagnostic system according to a first embodiment of the present invention by way of example.

도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 차량 진단 시스템은 차량(110)의 자기 진단 상태를 3차원 모델링하여 입체적인 시각으로 표시하기 위한 시스템으로서, 차량 내부(110)에 장착된 자기 진단 장치(100) 및 이동 단말기(200)를 포함하여 구성된다.As shown in FIG. 1, the vehicle diagnostic system according to the first exemplary embodiment of the present invention is a system for three-dimensional modeling and displaying a self-diagnostic state of the vehicle 110 in a three-dimensional view, and is mounted in the vehicle interior 110. The self-diagnosis apparatus 100 and the mobile terminal 200 are configured.

본 발명의 자기 진단 장치(100)는 차량(110)의 각 부품을 제어하여 각 부품의 고장 여부를 판단하여 각 부품에 대한 자기 진단 결과로서 정상 상태의 진단 코드 정보와 고장 상태의 진단 코드 정보를 포함한 자기 진단 상태 정보를 생성하는 역할을 수행한다.The self-diagnosis apparatus 100 of the present invention controls each component of the vehicle 110 to determine whether each component is faulty, and provides diagnostic code information in a normal state and diagnostic code information in a fault state as a self-diagnosis result for each component. It is responsible for generating self-diagnostic status information, including.

본 발명의 이동 단말기(200)는 카메라, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 장착하여 차량(110) 주위로 움직이면서 차량(110)의 영상을 촬영하고, 자신과 차량(110)의 위치 정보를 획득하는 역할을 수행한다. 이때, 자신과 차량(110)의 위치 정보를 획득하는 이유는 차량(110)의 투시된 영상에 자기 진단 장치(100)에서 보내온 자기 진단 상태 정보를 맵핑하여 자기 진단 영상을 3차원 모델링하기 위함이다.The mobile terminal 200 of the present invention is equipped with at least one or more of a camera, a GPS module, a position sensor and an RFID reader to record an image of the vehicle 110 while moving around the vehicle 110, and itself and the vehicle 110. Serves to obtain location information. At this time, the reason for acquiring the position information of the vehicle 110 with the self is to map the self-diagnostic state information sent from the self-diagnosis apparatus 100 to the projected image of the vehicle 110 to three-dimensionally model the self-diagnostic image. .

3차원 모델링 과정을 보다 구체적으로 설명하면, 먼저 본 발명의 이동 단말기(200)는 차량(110) 주위로 움직이는 카메라, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 차량(110)의 위치 정보와 영상 정보를 획득할 수 있는데, 상기 카메라는 특정 위치에서 비춰진 차량(110)의 영상을 촬영하고, 차량(110)의 X,Y,θ 삼각을 측정하기 위한 수단으로서 사용되며, GPS 모듈은 GPS 기능을 수행하여 이동 단말기(200)의 위치를 확인하는데 사용된다.Referring to the three-dimensional modeling process in more detail, first, the mobile terminal 200 of the present invention uses at least one or more of a camera, a GPS module, a position sensor, and an RFID reader moving around the vehicle 110. It is possible to obtain the position information and image information of the camera, the camera is used as a means for taking an image of the vehicle 110 projected at a specific position, and to measure the X, Y, θ triangle of the vehicle 110, GPS The module is used to check the location of the mobile terminal 200 by performing a GPS function.

반면, 본 발명의 위치 감지 센서는 차량(110)의 위치 정보를 획득하는데 일조하기 위하여 가속도를 측정하기 위한 가속도 센서, 차량(110)의 X,Y,θ 삼각을 측정하기 위한 모션 센서, 및 차량(110)의 방위각을 측정하기 위한 지자기 센서 중 어느 하나로 구성된다.On the other hand, the position detection sensor of the present invention is an acceleration sensor for measuring the acceleration in order to assist in obtaining the position information of the vehicle 110, a motion sensor for measuring the X, Y, θ triangle of the vehicle 110, and the vehicle One of the geomagnetic sensors for measuring the azimuth angle of the 110.

또 다른 RFID 리더기는 차량(110)에 부착된 RFID 태그와 연동하여 차량(110)의 위치 정보를 획득하는데 사용된다. 이러한 RFID 리더기와 RFID 태그를 통하여 차량(110)의 위치 정보를 획득하는 방법은 대한민국특허공개, 제10-2005-0045058호의 알에프아이디(RFID)를 이용한 객체 위치 인식 장치 및 그 방법에서 보다 상세하게 개시되었다. 따라서, 본 발명에서는 대한민국특허공개, 제10-2005-0045058호를 본 발명의 일부로서 채용하는 것으로 이해되어야 한다.Another RFID reader is used to acquire location information of the vehicle 110 in conjunction with an RFID tag attached to the vehicle 110. The method for acquiring the position information of the vehicle 110 through the RFID reader and the RFID tag is disclosed in more detail in the object position recognition apparatus and the method using the RFID of the Republic of Korea Patent Publication No. 10-2005-0045058 It became. Therefore, it is to be understood that the present invention employs Korean Patent Publication No. 10-2005-0045058 as part of the present invention.

이에 따라, 본 발명의 이동 단말기(200)는 카메라, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 차량(110)의 특정 방향을 3D 트래킹한 결과로서 차량(110)의 위치 정보를 획득할 수 있으며, 바람직하게는 GPS 모듈에 의해 확인된 이동 단말기(200)의 위치 정보에 근거하여 카메라, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 차량(110)의 특정 방향을 3D 트래킹함으로써, 차량(110)의 위치 정보를 획득할 수 있게 되는 것이다. Accordingly, the mobile terminal 200 according to the present invention uses the at least one of a camera, a GPS module, a position sensor, and an RFID reader to 3D track a specific direction of the vehicle 110 as a result of position information of the vehicle 110. 3D to obtain a specific direction of the vehicle 110 by using at least one of a camera, a position sensor, and an RFID reader based on the position information of the mobile terminal 200 identified by the GPS module. By tracking, the location information of the vehicle 110 can be obtained.

여기서, 차량(110)의 특정 방향에 대한 위치 정보를 획득하는 것으로서 설명하였으나, 사용자에 의해 차량(110) 주위로 이동 단말기(200)가 움직일 경우 차량 (110) 주위의 모든 방향에 대해서 위치 정보를 획득함에 본 발명의 특징이 있음을 상기시킨다. 이러한 예는 도 2에 나타내었다. 즉, 도 2에서는 다양한 각도에 배치된 제1 이동 단말기(210), 제2 이동 단말기(220), 제3 이동 단말기(230)의 상태를 예시적으로 나나낸 것으로서, 각 이동 단말기의 위치에 따라 다른 형태의 차량(110)의 위치 정보를 획득할 수 있음을 일례로서 나타낸 것이다.Herein, as described above, the location information of the specific direction of the vehicle 110 is obtained. However, when the mobile terminal 200 moves around the vehicle 110 by the user, the location information of all directions around the vehicle 110 may be obtained. Recall that there is a feature of the invention upon acquisition. This example is shown in FIG. That is, in FIG. 2 exemplarily shows the states of the first mobile terminal 210, the second mobile terminal 220, and the third mobile terminal 230 disposed at various angles, according to the position of each mobile terminal. As an example, location information of another type of vehicle 110 can be obtained.

이와 같이 차량(110)의 위치 정보와 영상 정보를 획득하게 되면, 본 발명의 이동 단말기(200)는 위치 정보에 근거하여 영상 정보를 투시 영상 정보로 변환시키는 역할을 수행하게 된다. 여기서 변환이라 함은 기저장된 투시 영상 정보에서 특정 위치에서 촬영된 영상 정보에 맞는 투시 영상 정보를 추출하는 과정을 포함하는 의미로서 사용되었다.When the position information and the image information of the vehicle 110 are obtained as described above, the mobile terminal 200 of the present invention plays a role of converting the image information into the perspective image information based on the position information. Here, the conversion is used as a meaning including a process of extracting perspective image information corresponding to image information photographed at a specific position from previously stored perspective image information.

상기 투시 영상 정보로 변환하게 되면, 본 발명의 이동 단말기(200)는 차량(110)의 위치 정보에 근거하여 영상 정보에서 변환된 투시 영상 정보와 자기 진단 장치(100)에서 보내온 자기 진단 상태 정보를 맵핑하여 차량(110)의 자기 진단 상태를 3차원 영상으로 표시하는 역할을 수행하게 된다. 상기와 같이 이동 단말기(200)의 표시장치에서 표시되는 자기 진단 상태의 일례는 도 4 및 도 5와 같이 나타낼 수 있으며, 추후에 설명하기로 한다.When converted to the perspective image information, the mobile terminal 200 of the present invention is based on the position information of the vehicle 110 and the perspective image information converted from the image information and the self-diagnostic state information sent from the self-diagnosis apparatus 100 By mapping, the self-diagnosis state of the vehicle 110 is displayed as a 3D image. An example of the self-diagnosis state displayed on the display device of the mobile terminal 200 as described above may be shown in FIGS. 4 and 5, which will be described later.

한편, 본 발명의 자기 진단 장치(100)와 이동 단말기(200)의 사이에는 블루투스, WiFi, RFID 및 Multi FEM 중 어느 하나의 근거리 통신망으로 연결되어 있다. 이로써, 본 발명의 이동 단말기(200)가 자기 진단 장치(100)의 자기 진단 상태 정보를 전송받을 수 있게 되는 것이다.On the other hand, between the self-diagnosis apparatus 100 and the mobile terminal 200 of the present invention is connected to any one local area network of Bluetooth, WiFi, RFID and Multi FEM. As a result, the mobile terminal 200 of the present invention can receive the self-diagnosis status information of the self-diagnosis apparatus 100.

이하의 도 3에서는 앞서 설명한 소프트웨어의 기능을 수행하는 이동 단말기(200)에 대하여 보다 상세히 설명하기로 한다.Hereinafter, FIG. 3 will be described in more detail with respect to the mobile terminal 200 performing the functions of the software described above.

도 3은 본 발명의 제1 실시예에 따른 이동 단말기(200)의 소프트웨어적인 구성을 예시적으로 나타낸 도면이다.3 is a diagram illustrating a software configuration of the mobile terminal 200 according to the first embodiment of the present invention.

도 3을 참조하면, 본 발명의 이동 단말기(200)는 차량(110)의 자기 진단 상태를 3차원 모델링하여 입체적인 시각으로 표시하기 위한 단말기로서, 진단 코드 획득부(201), 영상 정보 획득부(202), 위치 정보 획득부(203), 투시 영상 추출부(204), 정보 맵핑부(205), 및 화면 표시부(206)를 포함하여 이루어진다.Referring to FIG. 3, the mobile terminal 200 of the present invention is a terminal for three-dimensional modeling and displaying a self-diagnostic state of the vehicle 110 in a three-dimensional perspective. The diagnostic code obtaining unit 201 and the image information obtaining unit ( 202, a location information acquisition unit 203, a perspective image extraction unit 204, an information mapping unit 205, and a screen display unit 206.

먼저, 본 발명의 진단 코드 획득부(201)는 차량(110)의 각 부품의 고장 여부를 판단하여 생성된 자기 진단 상태 정보를 근거리 통신망을 경유하여 자기 진단 장치(100)로부터 획득하는 역할을 수행한다. 획득된 자기 진단 상태 정보는 저장 메모리에 기록되며, 각 부품에 대한 자기 진단 결과로서 정상 상태의 진단 코드 정보와 고장 상태의 진단 코드 정보를 포함하고 있다.First, the diagnostic code acquisition unit 201 of the present invention performs a role of acquiring the self-diagnostic state information generated by determining whether a failure of each component of the vehicle 110 is generated from the self-diagnosis apparatus 100 via a local area network. do. The acquired self-diagnosis status information is recorded in the storage memory, and includes diagnostic code information in a normal state and diagnostic code information in a fault state as self-diagnosis results for each component.

다음으로, 본 발명의 영상 정보 획득부(202)는 차량(110) 주위로 움직이는 카메라에서 촬영(촬상)된 영상 정보를 실시간으로 획득하는 역할을 수행하며, 본 발명의 위치 정보 획득부(203)는 카메라와, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 차량(110)의 특정 방향을 3D 트래킹한 결과로서 차량(110)의 3D 위치 정보를 획득하는 역할을 수행한다. Next, the image information acquisition unit 202 of the present invention performs a role of obtaining image information captured (photographed) by a camera moving around the vehicle 110 in real time, and the position information acquisition unit 203 of the present invention. 3D tracks a specific direction of the vehicle 110 using at least one of a camera, a GPS module, a position sensor, and an RFID reader to obtain 3D position information of the vehicle 110.

이때, 위치 감지 센서는 차량(110)의 위치 정보를 획득하는데 이용되는 차량(110)의 가속도를 측정하기 위한 가속도 센서, 차량(110)의 X,Y,θ 삼각을 측정하기 위한 모션 센서, 및 차량(110)의 방위각을 측정하기 위한 지자기 센서 중 어느 하나일 수 있으며, 차량(110)의 360°주위를 측정하기 위하여 각각 복수 개로 구비될 수 있다. 각각 복수 개로 구비될 경우, 차량(110)의 감지 영역 위치가 중첩될 경우에는 이를 구분하기 위한 별도의 알고리즘에 의하여 구분될 수 있다.At this time, the position sensor is an acceleration sensor for measuring the acceleration of the vehicle 110 used to obtain the position information of the vehicle 110, a motion sensor for measuring the X, Y, θ triangle of the vehicle 110, and It may be any one of the geomagnetic sensor for measuring the azimuth angle of the vehicle 110, it may be provided in plurality each to measure the 360 ° surroundings of the vehicle (110). When provided in plural numbers, when the detection area positions of the vehicle 110 overlap, they may be distinguished by separate algorithms for distinguishing them.

예를 들면, 본 발명의 가속도 센서는 이동 단말기(200)의 이동에 따른 차량(110)의 가속도 값을 계산하고, 이를 적분하여 속도값을 얻어내 다시 적분함으로써 차량(110)의 위치값을 획득할 수 있게 되는 것이다.For example, the acceleration sensor of the present invention calculates an acceleration value of the vehicle 110 according to the movement of the mobile terminal 200, integrates it to obtain a speed value, and then integrates again to obtain a position value of the vehicle 110. You can do it.

다음으로, 본 발명의 투시 영상 추출부(203)는 위치 정보 획득부(202)에서 획득한 3D 위치 정보에 근거하여 영상 정보에 대응하여 차량(110)에 대한 투시 영상 정보를 추출하는 역할을 수행한다. 이때의 추출은 예컨대 도 2의 도면 부호 210의 위치에 있는 이동 단말기(210)가 차량(110)에 대하여 영상을 촬영하게 되면, 그 위치로부터 촬영된 영상을 3D 위치 정보에 근거하여 투시 영상 형태로 변환하는 원리와 동일하다. 상기 투시 영상은 기저장된 정보에서 추출(변환)된 정보를 종칭한 의미로서 사용되었다.Next, the perspective image extractor 203 of the present invention extracts the perspective image information of the vehicle 110 in response to the image information based on the 3D position information acquired by the position information acquirer 202. do. Extraction at this time is, for example, when the mobile terminal 210 at the position 210 of FIG. 2 photographs the image of the vehicle 110, the image taken from the position in the form of a perspective image based on the 3D position information Same as the principle of conversion. The perspective image was used as a term referring to information extracted (converted) from previously stored information.

다음으로, 본 발명의 정보 맵핑부(204)는 위치 정보 획득부(203)에서 획득한 3D 위치 정보에 근거하여 투시 영상 정보에 진단 코드 획득부(201)에서 획득한 자기 진단 상태 정보를 맵핑하는 과정을 수행한다. 이러한 과정이 완료되면, 차량(110) 주위로 움직이는 이동 단말기(200)의 위치에 따라 달라진 차량(110)의 투시 영상에 맞게, 자기 진단 상태 정보가 실시간 형태로 맵핑된 결과를 얻을 수 있게 되는 것이다.Next, the information mapping unit 204 of the present invention maps the self-diagnostic state information acquired by the diagnostic code acquisition unit 201 to the fluoroscopic image information based on the 3D position information acquired by the position information acquisition unit 203. Perform the process. When this process is completed, the self-diagnostic state information can be obtained in real time in accordance with the perspective image of the vehicle 110, which depends on the position of the mobile terminal 200 moving around the vehicle 110. .

마지막으로, 본 발명의 화면 표시부(205)는 정보 맵핑부(204)에서 맵핑한 결과인 차량(110)의 자기 진단 상태를 3차원 영상으로 표시하는 역할을 수행하게 되는 것이다. 이로써, 이동 단말기(200)의 소유자는 자신이 탐색하고자 하는 차량(110)의 위치에 따라 실시간으로 자기 진단 상태를 3차원 영상으로 볼 수 있게 함으로써, 자신의 차량 고장 상태를 정확하고 편리하게 확인할 수 있게 되는 것이다.Finally, the screen display unit 205 of the present invention serves to display the self-diagnosis state of the vehicle 110, which is a result of the mapping in the information mapping unit 204, as a 3D image. Thus, the owner of the mobile terminal 200 can see the self-diagnostic state in three-dimensional image in real time according to the position of the vehicle 110 that he wants to search, thereby accurately and conveniently confirm his vehicle failure state. Will be.

이동 단말기의 표시 화면 예Display screen example of mobile terminal

도 4 및 도 5는 본 발명의 제1 실시예에 따라 각기 다른 위치의 이동 단말기에서 표시되는 자지 진단 상태 결과를 예시적으로 나타낸 도면이다.4 and 5 are diagrams exemplarily illustrating a result of a self-diagnosis state displayed in mobile terminals at different locations according to the first embodiment of the present invention.

먼저, 도 4는 차량(110)의 측면에 위치한 도 2의 제2 이동 단말기(220)를 나타낸 것으로서, 제2 이동 단말기(220)의 표시 화면(221) 상에는 차량(110)의 측면에서 바라본 차량(110)의 투시 영상(150)과 투시 영상(150)에 맵핑된 자기 진단 상태(131~138)를 3차원적으로 모델링되어 입체적인 영상으로 보여준다. 상기 자기 진단 상태로는 축전지(131), 변속장치(132), 방향표시등(133), 디스크브레이크(134), 연료탱크(135), 연료주입부(136), 드럼브레이크(137) 및 자동기어장치(138)와 같은 부품이 등이 표시되며, 이중에서 변속장치(132), 디스크브레이크(134) 및 연료주입부(136)이 고장이 났음을 확인할 수 있다.First, FIG. 4 illustrates the second mobile terminal 220 of FIG. 2 located on the side of the vehicle 110, and the vehicle viewed from the side of the vehicle 110 on the display screen 221 of the second mobile terminal 220. The perspective image 150 of 110 and the self-diagnostic states 131 to 138 mapped to the perspective image 150 are modeled three-dimensionally and displayed in three-dimensional images. As the self-diagnosis state, the battery 131, the transmission 132, the turn indicator 133, the disc brake 134, the fuel tank 135, the fuel injection unit 136, the drum brake 137 and the automatic Parts such as the gear device 138 are displayed, and it can be confirmed that the transmission 132, the disc brake 134, and the fuel injection unit 136 have failed.

반면, 도 5는 차량(110)의 정면에 위치한 도 2의 제3 이동 단말기(220)를 나타낸 것으로서, 제3 이동 단말기(230)의 표시 화면(231) 상에는 차량(110)의 정면에서 바라본 차량(110)의 투시 영상(150)과 투시 영상(150)에 맵핑된 자기 진단 상태를 3차원모델링하여 입체적으로 나타내어졌다. 상기 자기 진단 상태로는 축전지(131), 변속장치(132), 디스크브레이크(134,140), 자동기어장치(138), 라디에이터(139), 배전기(141), 점화플러그(142) 및 동력조향램프(143)와 같은 부품들이 표시되며, 이중에서 변속장치(132)와 디스크브레이크(134)가 고장이 났음을 확인 가능하며, 도 4와 비교하여 각 위치마다 다소 다른 고장 상태를 확인할 수 있었다.On the other hand, FIG. 5 illustrates the third mobile terminal 220 of FIG. 2 positioned in front of the vehicle 110, and the vehicle viewed from the front of the vehicle 110 on the display screen 231 of the third mobile terminal 230. Three-dimensional modeling of the self-diagnostic state mapped to the perspective image 150 and the perspective image 150 of 110 is shown in three dimensions. As the self-diagnosis state, the battery 131, the transmission 132, the disc brakes 134 and 140, the automatic gear device 138, the radiator 139, the distributor 141, the spark plug 142 and the power steering lamp ( Parts such as 143 are displayed, and it is possible to confirm that the transmission 132 and the disc brake 134 have failed, among which, a slightly different failure state can be confirmed in each position compared to FIG. 4.

이와 같이, 이동 단말기(200)의 위치에 따라 차량(110)을 바라본 투시 영상(150)과 자기 진단 상태의 결과가 다르게 보여줌으로써, 고장 상태의 원인을 다양한 각도에서 면밀하게 점검할 수 있는 잇점을 제공하게 되는 것이다.As such, the perspective image 150 viewing the vehicle 110 and the result of the self-diagnosis state are shown differently according to the position of the mobile terminal 200, so that the cause of the failure state can be closely examined from various angles. Will be provided.

제2 실시예Second Embodiment

도 6은 본 발명의 제2 실시예에 따른 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 제공하기 위한 방법(S300)을 예시적으로 설명하기 위한 도면이다.FIG. 6 is a diagram for exemplarily describing a method (S300) for visually providing a 3D model of a self-diagnosis state of a vehicle according to a second embodiment of the present disclosure.

도 6을 참조하면, 본 발명의 제2 실시예에 따른 차량의 자기 진단 상태를 3차원 모델링하여 입체적인 시각으로 표시하기 위한 방법(S300)은 (a) 차량(110) 주위의 소정 위치에서 차량(110)의 위치 정보를 획득하는 단계(S310); (b) 상기 차량(110)의 위치 정보에 근거하여 상기 소정 위치에서 촬영한 상기 차량(110)의 영상 정보로부터 차량(110)의 투시 영상 정보를 결정하는 단계(S320); (c) 상기 차량(110)의 각 부품 고장 여부에 대한 자기 진단 상태 정보를 획득하는 단계(S330); (d) 상기 자기 진단 상태 정보 중에서 상기 차량(110)의 투시 영상 정보에서 보여질 제2 자기 진단 상태 정보를 결정하는 단계(S340); 및 (e) 상기 제2 자기 진단 상태 정보를 상기 투시 영상 정보에 맵핑하여 표시하는 단계(S350)를 포함하여 이루어진다.Referring to FIG. 6, a method S300 for three-dimensional modeling and displaying a self-diagnosis state of a vehicle according to a second embodiment of the present invention in three-dimensional perspective may include (a) a vehicle at a predetermined position around the vehicle 110. Acquiring position information of 110 (S310); (S320) determining the perspective image information of the vehicle (110) from the image information of the vehicle (110) taken at the predetermined position based on the position information of the vehicle (110); (c) acquiring self-diagnosis state information on whether each component of the vehicle 110 has failed (S330); (d) determining second self-diagnosis state information to be shown in the perspective image information of the vehicle 110 among the self-diagnosis state information (S340); And (e) mapping and displaying the second self-diagnostic state information on the perspective image information (S350).

각 단계에 대하여 보다 상세히 설명하면, 본 발명의 S310 단계는 GPS 모듈에 의해 획득한 이동 단말기의 위치 정보를 기점으로 하여 차량(110)을 트래킹한 결과로서 차량(110)의 위치 정보를 획득하게 되며, 여기서의 위치 정보는 가속도 측정 기법, X,Y,θ 삼각 측정 기법, 방위각 측정 기법, 헤드 트레킹 측정 기법 및 RFID 위치 측정 기법 중 적어도 하나 이상을 이용하여 얻어진 결과이다.In more detail with respect to each step, step S310 of the present invention to obtain the location information of the vehicle 110 as a result of tracking the vehicle 110 from the location information of the mobile terminal obtained by the GPS module as a starting point. Here, the position information is a result obtained by using at least one of acceleration measurement technique, X, Y, θ triangulation measurement technique, azimuth measurement technique, head tracking measurement technique and RFID position measurement technique.

가속도 측정 기법은 가속도 센서로부터 측정된 가속도 값에서 차량(110)의 위치 값을 얻는 기법이고, X,Y,θ 삼각 측정 기법은 이동 단말기에 장착된 카메라 또는 모션 센서로부터 측정된 X,Y,θ의 삼각 측정값을 이용하여 차량(110)의 위치 값을 획득하는 기법이며, 헤드 트레킹 측정 기법은 모션 감지 센서를 이용하여 모션 감지 센서의 위치에 따라 차량(110)의 위치변화를 확인하여 위치 값을 획득할 수 있는 기법이다. 상기 RFID 위치 측정 기법은 RFID 태그와 리더기간의 연동에 의하여 차량(110)의 위치값을 획득하는 기법이다.Acceleration measurement technique is a technique of obtaining the position value of the vehicle 110 from the acceleration value measured from the acceleration sensor, X, Y, θ triangular measurement technique X, Y, θ measured from a camera or a motion sensor mounted on the mobile terminal This is a technique of acquiring a position value of the vehicle 110 using a triangular measurement value of, and the head tracking measurement technique uses a motion detection sensor to check the position change of the vehicle 110 according to the position of the motion detection sensor. It is a technique to obtain. The RFID position measuring technique is a technique of obtaining a position value of the vehicle 110 by interworking an RFID tag and a reader period.

다음으로, 본 발명의 S320 단계에서 투시 영상 정보의 결정은 이동 단말기의 특정 위치에서 촬영된 차량(110)의 영상 정보에 대응하여 그에 맞는 차량의 투시 영상 정보를 추출(변환)함으로써 완성될 수 있다. 이러한 원리로, 차량(110)의 모든 위치에서 촬영된 영상 정보를 투시 영상 정보 형태로 변환하게 된다.Next, the determination of the perspective image information in step S320 of the present invention may be completed by extracting (converting) the perspective image information of the vehicle corresponding to the image information of the vehicle 110 photographed at a specific position of the mobile terminal. . In this way, image information photographed at all positions of the vehicle 110 is converted into a perspective image information form.

다음으로, 본 발명의 S330 단계에서의 자기 진단 상태 정보 획득은 차량(110) 내에 설치된 자기 진단 장치를 이용하여 차량(110) 내의 각 부품에 대한 고장 진단 여부를 판단한 결과에 의한 것이며, 이때의 자기 진단 상태 정보는 정상 상태의 진단 코드 정보와 고장 상태의 진단 코드 정보를 포함하는 것을 의미한다. Next, the acquisition of the self-diagnosis state information in step S330 of the present invention is based on a result of determining whether or not the failure diagnosis for each part in the vehicle 110 by using the self-diagnostic apparatus installed in the vehicle 110, the magnetic at this time The diagnostic status information means that the diagnostic code information in the normal state and the diagnostic code information in the fault state are included.

여기서, 자기 진단 상태 정보 획득은 이동 단말기에서 근거리 통신망으로 연결되어 자지 진단 장치로부터 자지 진단 정보를 획득하는 이동 단말기에서 행해진다.Here, the self-diagnosis status information acquisition is performed in the mobile terminal connected to the local area network from the mobile terminal to obtain the self-diagnosis information from the self-diagnosis apparatus.

다음으로, 본 발명의 S340 단계에서의 제2 자기 진단 상태 정보 결정은 차량(110)의 위치 정보에 근거하여 기저장된 차량(110)의 자기 진단 상태 정보 중에서 상기 투시 영상 정보에 맞는 제2 자기 진단 상태 정보를 이동 단말기에서 추출함으로써, 이루어질 수 있다.Next, the second self-diagnosis state information determination in step S340 of the present invention is based on the position information of the vehicle 110, the second self-diagnosis of the self-diagnostic state information of the vehicle 110 previously stored in accordance with the perspective image information This can be accomplished by extracting the state information from the mobile terminal.

이와 같이 제2 자기 진단 상태 정보가 추출되면, 본 발명의 S350 단계에서는 상기 제2 자기 진단 상태 정보를 상기 투시 영상 정보에 맵핑하여 3차원 모델링을 완성함으로써, 자기 진단 상태를 3차원 영상으로 표시할 수 있게 되는 것이다.When the second self-diagnostic state information is extracted as described above, in operation S350 of the present invention, the second self-diagnostic state information is mapped to the perspective image information to complete three-dimensional modeling, thereby displaying the self-diagnostic state as a three-dimensional image. It will be possible.

이와 같이, 본 제2 실시예에서는 이동 단말기에서 차량의 위치 정보를 이용하여 차량의 위치를 계산하고, 이를 바탕으로 임의의 영상 정보에 맞는 차량의 투시 영상 정보와 제2 자기 진단 상태 정보를 추출하여 맵핑함으로써 자기 진단 상태를 차량 주위의 소정 위치에 따라 수시로 변화는 자기 진단 상태를 3차원적으로 만들어 주는데 큰 장점이 있다.As described above, in the second embodiment, the position of the vehicle is calculated by using the position information of the vehicle in the mobile terminal, and based on this, the perspective image information and the second self-diagnostic state information of the vehicle suitable for arbitrary image information are extracted. By mapping the self-diagnostic state from time to time according to a predetermined position around the vehicle, there is a great advantage in making the self-diagnostic state in three dimensions.

한편, 이상의 각 단계는 차량 주위로 움직이는 이동 단말기에서 수행되는 것으로서 설명하였으나, 이에 한정되지 않으며, 이동 통신망과 연결되지 않는 고유의 전용 단말기일 수도 있다.On the other hand, each step described above is performed as a mobile terminal moving around the vehicle, but is not limited to this, it may be a unique dedicated terminal that is not connected to the mobile communication network.

이상에서와 같이, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the exemplary embodiments or constructions. You can understand that you can do it. The embodiments described above are therefore to be considered in all respects as illustrative and not restrictive.

100 : 자기 진단 장치 110 : 자기 진단 장치
200 : 이동 단말기 201 : 진단 코드 획득부
202 : 영상 정보 획득부 203 : 위치 정보 획득부
204 : 투시 영상 추출부 205 : 정보 맵핑부
206 : 화면 표시부 210 : 제1 이동 단말기
220 : 제2 이동 단말기 230 : 제3 이동 단말기
100: self-diagnosis device 110: self-diagnosis device
200: mobile terminal 201: diagnostic code acquisition unit
202: image information acquisition unit 203: location information acquisition unit
204: Perspective image extraction unit 205: Information mapping unit
206: screen display unit 210: first mobile terminal
220: second mobile terminal 230: third mobile terminal

Claims (12)

차량의 자기 진단 상태를 3차원 모델링하여 입체적인 시각으로 표시하기 위한 시스템으로서,
차량의 각 부품을 제어하여 상기 각 부품의 고장 여부를 판단하여 자기 진단 상태 정보를 생성하는 자기 진단 장치; 및
차량 주위로 움직이는 카메라, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 차량의 위치 정보와 영상 정보를 획득하고, 상기 차량의 위치 정보에 근거하여 상기 영상 정보에서 변환된 투시 영상 정보와 상기 자기 진단 상태 정보를 맵핑하여 차량의 자기 진단 상태를 3차원 영상으로 구현하는 이동 단말기;
를 포함하는 차량 진단 시스템.
As a system for displaying three-dimensional modeling of the self-diagnosis state of the vehicle in a three-dimensional view,
A self-diagnostic apparatus for controlling each component of the vehicle to determine whether each component is broken and to generate self-diagnostic state information; And
Perspective image information converted from the image information based on the position information of the vehicle is obtained by using at least one or more of a camera, a GPS module, a position sensor, and an RFID reader moving around the vehicle. And a mobile terminal configured to map the self-diagnostic state information to realize a 3-D image of the self-diagnostic state of the vehicle.
Vehicle diagnostic system comprising a.
제 1항에 있어서,
상기 위치 감지 센서는,
가속도를 측정하기 위한 가속도 센서, 차량의 X,Y,θ 삼각을 측정하기 위한 모션 센서, 및 차량의 방위각을 측정하기 위한 지자기 센서 중 어느 하나인 것을 특징으로 하는 상기 차량 진단 시스템.
The method of claim 1,
The position detection sensor,
And any one of an acceleration sensor for measuring an acceleration, a motion sensor for measuring an X, Y, θ triangle of the vehicle, and a geomagnetic sensor for measuring an azimuth of the vehicle.
제 2항에 있어서,
상기 이동 단말기는,
카메라, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상에서 상기 차량의 특정 방향을 3D 트래킹한 결과로서 상기 차량의 위치 정보를 획득하는 것을 특징으로 하는 상기 차량 진단 시스템.
The method of claim 2,
The mobile terminal includes:
And at least one of a camera, a GPS module, a position sensor, and an RFID reader acquires the position information of the vehicle as a result of 3D tracking the specific direction of the vehicle.
제 2항에 있어서,
상기 자기 진단 장치는,
상기 각 부품에 대한 자기 진단 결과로서 정상 상태의 진단 코드 정보와 고장 상태의 진단 코드 정보를 포함한 자기 진단 상태 정보를 생성하는 것을 특징으로 하는 상기 차량 진단 시스템.
The method of claim 2,
The magnetic diagnostic device,
And the self-diagnosis status information including the diagnosis code information in the normal state and the diagnosis code information in the fault state as self-diagnosis results for the respective parts.
제 2항에 있어서,
상기 자기 진단 장치와 이동 단말기의 사이에는,
블루투스, WiFi, RFID 및 Multi FEM 중 어느 하나의 근거리 통신망으로 연결되어 있는 것을 특징으로 하는 상기 차량 진단 시스템.
The method of claim 2,
Between the self-test device and the mobile terminal,
The vehicle diagnostic system of claim 1, wherein the vehicle diagnostic system is connected to any one of a local area network of Bluetooth, WiFi, RFID, and Multi FEM.
차량의 자기 진단 상태를 3차원 모델링하여 입체적인 시각으로 표시하기 위한 이동 단말기로서,
차량의 각 부품의 고장 여부를 판단하여 생성된 자기 진단 상태 정보를 획득하는 진단 코드 획득부;
차량 주위로 움직이는 카메라에서 촬상된 영상 정보를 실시간으로 획득하는 영상 정보 획득부;
상기 카메라와, GPS 모듈, 위치 감지 센서 및 RFID 리더기 중 적어도 하나 이상을 이용하여 상기 차량의 특정 방향을 3D 트래킹한 결과로서 상기 차량의 3D 위치 정보를 획득하는 위치 정보 획득부;
상기 3D 위치 정보에 근거하여 상기 영상 정보에 대응하여 상기 차량에 대한 투시 영상 정보를 추출하는 투시 영상 추출부;
상기 3D 위치 정보에 근거하여 상기 투시 영상 정보에 상기 자기 진단 상태 정보를 맵핑하는 정보 맵핑부; 및
상기 정보 맵핑부에서 맵핑한 결과인 차량의 자기 진단 상태를 3차원 영상으로 표시하는 화면 표시부;
를 포함하는 이동 단말기.
As a mobile terminal for displaying three-dimensional modeling of the self-diagnostic state of the vehicle in a three-dimensional view,
A diagnostic code acquiring unit for determining self-diagnosis state information generated by determining whether a failure of each component of the vehicle is performed;
An image information acquisition unit which acquires image information captured by a camera moving around the vehicle in real time;
A location information acquisition unit that acquires 3D location information of the vehicle as a result of 3D tracking a specific direction of the vehicle using at least one of the camera, a GPS module, a location sensor, and an RFID reader;
A perspective image extracting unit extracting perspective image information of the vehicle based on the 3D location information corresponding to the image information;
An information mapping unit for mapping the self-diagnostic state information to the perspective image information based on the 3D position information; And
A screen display unit displaying a self-diagnosis state of the vehicle as a result of mapping by the information mapping unit as a 3D image;
Mobile terminal comprising a.
제 6항에 있어서,
상기 진단 코드 획득부는,
상기 각 부품에 대한 자기 진단 결과로서 정상 상태의 진단 코드 정보와 고장 상태의 진단 코드 정보를 포함한 자기 진단 상태 정보를 근거리 통신망을 통하여 획득하는 것을 특징으로 하는 상기 이동 단말기.
The method according to claim 6,
The diagnostic code obtaining unit,
And the self-diagnosis status information including the diagnosis code information in the normal state and the diagnosis code information in the fault state as a result of the self-diagnosis for each component through the local area network.
제 6항에 있어서,
상기 위치 감지 센서는,
가속도를 측정하기 위한 가속도 센서, 차량의 X,Y,θ 삼각을 측정하기 위한 카메라/모션 센서, 및 차량의 방위각을 측정하기 위한 지자기 센서 중 어느 하나인 것을 특징으로 하는 상기 이동 단말기.
The method according to claim 6,
The position detection sensor,
And any one of an acceleration sensor for measuring acceleration, a camera / motion sensor for measuring an X, Y, θ triangle of the vehicle, and a geomagnetic sensor for measuring an azimuth of the vehicle.
차량의 자기 진단 상태를 3차원 모델링하여 입체적인 시각으로 표시하기 위한 방법으로서,
(a) 차량 주위의 소정 위치에서 차량의 위치 정보를 획득하는 단계;
(b) 상기 차량의 위치 정보에 근거하여 상기 소정 위치에서 촬영한 상기 차량의 영상 정보로부터 차량의 투시 영상 정보를 결정하는 단계;
(c) 상기 차량의 각 부품 고장 여부에 대한 자기 진단 상태 정보를 획득하는 단계;
(d) 상기 자기 진단 상태 정보 중에서 상기 차량의 투시 영상 정보에서 보여질 제2 자기 진단 상태 정보를 결정하는 단계; 및
(e) 상기 제2 자기 진단 상태 정보를 상기 투시 영상 정보에 맵핑하여 표시하는 단계;
를 포함하는 방법.
As a method for displaying three-dimensional modeling of the self-diagnosis state of the vehicle in a three-dimensional view,
(a) obtaining location information of the vehicle at a predetermined position around the vehicle;
(b) determining perspective image information of the vehicle from image information of the vehicle photographed at the predetermined position based on the position information of the vehicle;
(c) acquiring self-diagnosis status information on whether each component of the vehicle has failed;
(d) determining second self-diagnosis state information to be shown in the perspective image information of the vehicle among the self-diagnosis state information; And
(e) mapping and displaying the second self-diagnostic state information on the perspective image information;
≪ / RTI >
제 9항에 있어서,
상기 (a) 단계는,
GPS 모듈에 의해 획득한 이동 단말기의 위치 정보를 기점으로 하여 차량을 트래킹한 결과로서 상기 차량의 위치 정보를 획득하는 것을 특징으로 하는 상기 방법.
The method of claim 9,
The step (a)
And obtaining location information of the vehicle as a result of tracking the vehicle based on the location information of the mobile terminal obtained by the GPS module.
제 10항에 있어서,
상기 (a) 단계는,
가속도 측정 기법, X,Y,θ 삼각 측정 기법, 방위각 측정 기법, 헤드 트레킹 측정 기법 및 RFID 위치 측정 기법 중 적어도 하나 이상을 이용하여 상기 차량의 위치 정보를 획득하는 것을 특징으로 하는 상기 방법.
The method of claim 10,
The step (a)
And obtaining position information of the vehicle using at least one of an acceleration measurement technique, an X, Y, θ triangulation technique, an azimuth measurement technique, a head tracking measurement technique, and an RFID position measurement technique.
제 11항에 있어서,
상기 가속도 측정 기법, X,Y,θ 삼각 측정 기법, 방위각 측정 기법 및 헤드 트레킹 측정 기법은, GPS 모듈과 연동하는 모션 센서 또는 카메라에 의해서 구현되는 것을 특징으로 하는 상기 방법.
12. The method of claim 11,
The acceleration measuring technique, the X, Y, θ triangular measuring technique, the azimuth measuring technique and the head trekking measuring technique are implemented by a motion sensor or a camera linked with a GPS module.
KR1020110053177A 2011-06-02 2011-06-02 System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle KR101232639B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110053177A KR101232639B1 (en) 2011-06-02 2011-06-02 System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110053177A KR101232639B1 (en) 2011-06-02 2011-06-02 System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle

Publications (2)

Publication Number Publication Date
KR20120134333A true KR20120134333A (en) 2012-12-12
KR101232639B1 KR101232639B1 (en) 2013-02-13

Family

ID=47902544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110053177A KR101232639B1 (en) 2011-06-02 2011-06-02 System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle

Country Status (1)

Country Link
KR (1) KR101232639B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121110A (en) 2015-04-10 2016-10-19 (주)에이엔지씨와이 System for repair service of vehicle
KR20170005981A (en) 2015-07-07 2017-01-17 (주)에이엔지씨와이 System for repair service of vehicle
CN108845565A (en) * 2018-08-17 2018-11-20 深圳市道通科技股份有限公司 A kind of method and vehicle diagnostic device of vehicle diagnostics
WO2020131826A1 (en) * 2018-12-19 2020-06-25 Waymo Llc Model for excluding vehicle from sensor field of view
CN111465543A (en) * 2017-12-19 2020-07-28 大众汽车有限公司 Method for performing self-diagnosis in case of autonomous driving of vehicle
KR20210018246A (en) * 2018-06-07 2021-02-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 Information processing device, information processing method and information processing system
CN113747119A (en) * 2021-07-30 2021-12-03 的卢技术有限公司 Method and system for remotely checking vehicle surrounding environment
CN114842157A (en) * 2022-04-21 2022-08-02 上海智能网联汽车技术中心有限公司 Intelligent networking public transportation supervision method based on digital twins
EP4303838A1 (en) * 2022-07-07 2024-01-10 Volvo Truck Corporation Methods for inspecting a vehicle, devices and systems for the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102040774B1 (en) 2018-08-17 2019-11-05 주식회사 아이티스테이션 Around view monitoring system and responsing method for self-propelled type agricultural machinery in emergency using the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100593399B1 (en) * 2003-12-08 2006-06-28 한국전자통신연구원 Parts maintenance system and method using augmented reality
KR100945288B1 (en) * 2008-06-16 2010-03-03 경희대학교 산학협력단 Applying Extended ARG to Augmented Reality Based Single Media Multi-Services Method and the system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121110A (en) 2015-04-10 2016-10-19 (주)에이엔지씨와이 System for repair service of vehicle
KR20170005981A (en) 2015-07-07 2017-01-17 (주)에이엔지씨와이 System for repair service of vehicle
CN111465543A (en) * 2017-12-19 2020-07-28 大众汽车有限公司 Method for performing self-diagnosis in case of autonomous driving of vehicle
US11787423B2 (en) 2017-12-19 2023-10-17 Volkswagen Aktiengesellschaft Method for carrying out a self-diagnosis in an automated vehicle
KR20210018246A (en) * 2018-06-07 2021-02-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 Information processing device, information processing method and information processing system
CN108845565A (en) * 2018-08-17 2018-11-20 深圳市道通科技股份有限公司 A kind of method and vehicle diagnostic device of vehicle diagnostics
CN108845565B (en) * 2018-08-17 2024-05-03 深圳市道通科技股份有限公司 Vehicle diagnosis method and vehicle diagnosis instrument
WO2020131826A1 (en) * 2018-12-19 2020-06-25 Waymo Llc Model for excluding vehicle from sensor field of view
US11693423B2 (en) 2018-12-19 2023-07-04 Waymo Llc Model for excluding vehicle from sensor field of view
CN113747119A (en) * 2021-07-30 2021-12-03 的卢技术有限公司 Method and system for remotely checking vehicle surrounding environment
CN114842157A (en) * 2022-04-21 2022-08-02 上海智能网联汽车技术中心有限公司 Intelligent networking public transportation supervision method based on digital twins
EP4303838A1 (en) * 2022-07-07 2024-01-10 Volvo Truck Corporation Methods for inspecting a vehicle, devices and systems for the same

Also Published As

Publication number Publication date
KR101232639B1 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
KR101232639B1 (en) System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle
CN106993181B (en) More VR/AR equipment collaboration systems and Synergistic method
US10908051B2 (en) Testing method and apparatus applicable to driverless vehicle
US20070009137A1 (en) Image generation apparatus, image generation method and image generation program
KR102399227B1 (en) Managing system of underground facilities using gpr detector
KR101417399B1 (en) Apparatus and method for parking position display of vehicle
US20160187454A1 (en) System and method for separating sound and condition monitoring system and mobile phone using the same
CN105676251A (en) Vehicle passenger identification
CN109690622A (en) Camera registration in multicamera system
CN101513062A (en) On-vehicle image processor and viewpoint change information generating method
CN108154472B (en) Parking space visual detection method and system integrating navigation information
CN102483846B (en) For the method and apparatus in monitoring space region
JP2021524026A (en) Posture judgment system and method
CN106530817A (en) Parking space detection method and device
US20170177757A1 (en) System and Method for Providing Interactive Wiring Diagram
KR102001789B1 (en) Apparatus and Method for Inspecting damage of structure
US11299169B2 (en) Vehicle neural network training
CN106031166B (en) Vehicle-surroundings image display device and vehicle-surroundings image display method
CN110260877A (en) Drive related guidance providing method and device, computer readable recording medium
KR20210028436A (en) Vehicle monitoring system for driving license test
JP6349640B2 (en) Information providing apparatus and method
CN112631431A (en) AR (augmented reality) glasses pose determination method, device and equipment and storage medium
WO2020010033A1 (en) Building maintaining method and system
CN109637148A (en) Vehicle-mounted whistle monitoring system, method, storage medium and equipment
KR102234994B1 (en) System and method for evaluating driving ability based on gps

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee