WO2012102513A2 - 건설중장비의 운행정보 기록장치 - Google Patents

건설중장비의 운행정보 기록장치 Download PDF

Info

Publication number
WO2012102513A2
WO2012102513A2 PCT/KR2012/000442 KR2012000442W WO2012102513A2 WO 2012102513 A2 WO2012102513 A2 WO 2012102513A2 KR 2012000442 W KR2012000442 W KR 2012000442W WO 2012102513 A2 WO2012102513 A2 WO 2012102513A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
construction equipment
heavy
data
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2012/000442
Other languages
English (en)
French (fr)
Other versions
WO2012102513A3 (ko
Inventor
윤기중
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HD Hyundai Infracore Co Ltd
Original Assignee
Doosan Infracore Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Doosan Infracore Co Ltd filed Critical Doosan Infracore Co Ltd
Priority to CN201280006189.4A priority Critical patent/CN103328313B/zh
Priority to US13/979,081 priority patent/US20130278772A1/en
Publication of WO2012102513A2 publication Critical patent/WO2012102513A2/ko
Publication of WO2012102513A3 publication Critical patent/WO2012102513A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to a driving information recording apparatus for heavy construction equipment, and more particularly, in order to determine the objective and accurate cause of an accident during the construction heavy equipment operation, the image data around the vehicle, vehicle position information, and driving operation state.
  • the present invention relates to a driving information recording device which synthesizes and records a single piece of image data and displays it on a screen.
  • An automobile accident recorder that is, a black box for an automobile, is a device for recording information related to driving of a vehicle and driver manipulation information so as to interpret or reconstruct an accident when an automobile traffic accident occurs.
  • the vehicle accident recorder detects the occurrence of an accident and records the inside, outside situation, accident time, driving information and related video and audio information from a certain time before the accident or from the time of the accident to a predetermined time. Keep it.
  • Such a vehicle accident recorder can be very helpful in identifying and preventing the cause of the accident is a reality that is being recommended at the national level.
  • the US recommends the installation of an accident recorder for vehicles produced since 2008, the EU has also enacted mandatory installation since 2009, and China is also required to install a digital recorder, especially in Japan.
  • a vehicle video black box which is a type of box, is already installed in taxis, trucks, buses, etc. in Japan and is enjoying great effects.
  • accident recorders digital driving recorders
  • commercial vehicles such as taxis, buses, and trucks. This is being implemented.
  • the conventional accident recorder for a vehicle uses any information about driving-related data obtained while driving a vehicle from various devices (eg, GPS systems, various sensors including front and rear cameras) capable of acquiring external information.
  • various devices eg, GPS systems, various sensors including front and rear cameras
  • the present invention has been made in view of the conventional situation as described above, the purpose of which can be objectively and accurately determine the cause of the accident if the accident occurs during the operation or operation of heavy equipment vehicles, and can promote safe operation It is to provide a driving information recording device of heavy equipment.
  • Operation information recording apparatus of heavy construction equipment of the present invention for achieving the above object is a plurality of cameras installed on the heavy construction vehicle to collect image data; A vehicle control device for acquiring operation information of the heavy construction vehicle; An image processor configured to generate a composite video through various information input through the camera and the vehicle control apparatus; A monitor configured to display a composite video of the image processor; An image encoding apparatus for encoding a composite video of the image processor; And a memory configured to store image information encoded by the image encoding apparatus.
  • the image processor acquires user input data from the vehicle control apparatus to display the control state of the vehicle by the user, converts the acquired user input data into a visual image, and uses the left and right joystick command values as the user input data. , RPM dial input value is used.
  • the driving information recording apparatus of the heavy construction apparatus of the present invention may be configured in such a manner that five cameras are installed at the rear of the heavy construction vehicle, and both front and rear sides of the heavy construction vehicle to monitor the surrounding situation of the vehicle.
  • the vehicle control apparatus acquires the operation state information of the vehicle, and processes the data into visually recognizable form to display the acquired data in the image data. Convert digital data, analog data, and various sensor input values of heavy equipment into meaningful values by using formulas, and calculate the maximum reach, height, angle of boom, angle of boom and arm of construction equipment into visual screen. It can be configured in the form.
  • the memory may be composed of two spaces for storing a composite image displayed in real time and a space for storing permanent data, and image processing when an event is generated from the vehicle control apparatus.
  • the additional video data may be stored in the permanent storage data area of the memory.
  • the video screen united together in the image processing unit may be configured in such a form that the image of the heavy equipment is positioned in the center, and the data obtained from the camera is displayed around the heavy construction equipment.
  • the video screen united by the image processing unit in the GPS data is located on the upper left of the screen
  • the position information of construction equipment obtained from the vehicle control device is displayed on the upper right of the screen
  • the joystick input to operate the user is displayed at the bottom center RPM information and main equipment data can be displayed on the bottom left side
  • the vehicle digital data can be configured in a form in which bits are briefly displayed on the bottom right side of the screen.
  • the cause of the accident or failure can be objectively and accurately identified through image data stored in the memory.
  • FIG 3 shows an example of a monitor display screen of the embodiment.
  • FIG. 1 shows a block diagram of an embodiment of the present invention.
  • Operation information recording apparatus of the heavy equipment of the present invention as shown in FIG.
  • a plurality of cameras 10 installed in the heavy construction vehicle 100 and collecting image data;
  • a monitor 70 installed inside the cab to display the composite video of the image processor 60;
  • a memory 90 configured to store image information encoded by the image encoding apparatus 80.
  • the operation information recording apparatus of the heavy equipment of the present invention includes a microphone 20 installed in the heavy construction vehicle 100 to collect voice data;
  • a GPS receiver 40 for acquiring position information and time information of the heavy construction vehicle 100
  • a shock sensor (50) for detecting a shock to the heavy construction vehicle 100.
  • the construction heavy equipment includes an operation device 200 provided to input a user's operation signal for work or driving.
  • the operation device 200 includes a work system operation device 210 such as a joystick for controlling a work device of heavy construction equipment such as a boom, an arm, a bucket, an upper swing structure, a pedal, a steering wheel, etc.
  • the odometer operating device 220 and the RPM setting operation device 230 for setting the RPM of the engine may be included.
  • the manipulation amount information of the manipulation apparatus is input to the image processor 60 through the vehicle control apparatus 30. Accordingly, in the composite video, the shapes of the manipulation apparatuses 210, 220, and 230 are displayed as visualized manipulation apparatus images, and when the manipulation apparatuses are manipulated, the manipulation apparatus images are visually confirmed to correspond to the manipulation amount variation. It is preferable to be displayed.
  • FIG. 3 shows a type of work system control device 210 at the bottom of a composite video visualized by a joystick with a cross-shaped display, and synthesized in the composite video such that a point P moves therein in response to a user's manipulation.
  • An example is shown.
  • operations of other operation devices may be synthesized in the moving image similarly to the above.
  • the odometer manipulator 220 may be displayed in the composite video as a pedal-shaped image, and the image may be changed to correspond to the manipulation amount.
  • five cameras 10 are installed at the rear of the heavy construction vehicle 100, and both front and rear sides of the construction equipment vehicle 100 to monitor the surroundings of the vehicle.
  • the construction equipment running information recording apparatus of the number and installation position of the camera 10 is not limited to that shown, of course, can be modified to a predictable number, installation position.
  • the camera 10 is for monitoring the surrounding situation of the vehicle, and acquires the image data around the vehicle, and the image data obtained through the camera 10 Similarly, it is synthesized into one image to display the surrounding state of the vehicle.
  • the vehicle control device 30 obtains the operation state information of the vehicle, and processes the data into visually recognizable form to display the acquired data in the image data. Converts the digital data, analog data and various sensor input values of the heavy construction equipment into meaningful values by the formula, and calculates the maximum reach, height, angle of boom, angle of boom and arm of heavy construction equipment. And the posture of the working devices of the heavy construction equipment to the visual screen. Of course, it is preferable to process the data such as the distance, height, angle, etc. used in the calculation of the attitude of the heavy construction equipment to appear together on the visual screen.
  • the image processing unit 60 acquires user input data input through the vehicle control apparatus 30 or the like to display the control state of the vehicle by the user, converts the obtained user input data into a visual image, and the user Use left / right joystick command value and RPM dial input value as input data.
  • the image processor 60 converts the acquired surrounding image, the position and the state information of the device into a single moving image, and displays the image converted data to the user through the monitor 70 and at the same time the memory through the image encoding apparatus 80. Stored in sequence (90).
  • the vehicle control apparatus 30 When the control state of the vehicle is suddenly changed or a shock is detected from the shock sensor, the vehicle control apparatus 30 generates an event to the image processor 60.
  • the memory 90 may be divided into two areas to store the composite video.
  • one space is used as an area for storing a composite image displayed in real time, and this area is an area which is covered with recent images in order of the oldest and written out.
  • the image processor 60 stores the image data of the last 10 minutes in the permanent data storage area.
  • FIG. 3 shows an exemplary monitor display screen of the embodiment.
  • the video screen united together by the image processing unit 60 is configured such that the image of the construction equipment is positioned in the center and the data acquired from the camera is displayed around the construction equipment. can do.
  • the GPS data can be positioned in the upper left of the screen, and displays the time, latitude, longitude and altitude, and can be configured in such a way that the position information of the construction equipment obtained from the vehicle control device 30 is displayed on the upper right of the screen. have.
  • the video screen combined into one in the image processing unit 60 to display the input of the operating device to operate the user at the bottom center, to display the RPM information and equipment main data on the bottom left, the vehicle digital data on the bottom right of the screen briefly It can be configured in a form that is displayed as a bit.
  • the present invention can be used in a driving information recording apparatus that synthesizes and records image data around a vehicle, vehicle position information, and driving operation state into one image data, and displays them on a screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 건설중장비의 측면에 설치되어 상기 건설중장비 주변의 영상데이터를 수집하는 다수의 카메라, 상기 건설중장비 주변의 영상데이터를 생성하는 영상처리부 및 상기 영상데이터를 저장하는 메모리를 구비하며, 상기 영상데이터는 가운데에 건설중장비 이미지가 위치되고, 상기 다수의 카메라로부터 취득된 영상데이터가 상기 건설중장비 이미지의 주변을 조감하는 형태로 나타나도록 단일의 영상으로 합성된 합성 동영상을 포함하는 것을 특징으로 한다.

Description

건설중장비의 운행정보 기록장치
본 발명은 건설중장비의 운행정보 기록장치에 관한 것으로, 더 자세하게는 건설중장비 작업 중에 사고가 발생된 경우 그 원인을 객관적이고, 정확하게 확인하기 위해 차량 주변의 영상 데이터와 차량 위치정보, 운전조작 상태를 하나의 영상 데이터로 합성하여 기록하고 화면에 표시해주는 운행정보 기록장치에 관한 것이다.
최근 항공기에 장착된 블랙박스와 유사한 차량용 블랙박스에 대한 관심이 높아지고 있으며, 다양한 차량용 블랙박스에 대한 기술이 제안되고 있다.
자동차용 사고기록장치, 즉 자동차용 블랙박스는 자동차 교통사고가 발생하면 그 사고를 해석 또는 재구성할 수 있도록 자동차 주행에 관련된 정보 및 운전자 조작정보 등을 기록하는 장치이다.
자동차용 사고기록장치는 사고가 발생하면 이를 감지하고, 사고 발생 전 일정 시간부터 또는 사고 발생한 시점부터 소정 시간까지의 차량 내부상황, 외부상황, 사고시간, 운행정보 및 그에 관련 영상 및 음성정보를 녹화하여 보관한다.
이러한 자동차용 사고기록장치는 사고의 원인 규명 및 예방에 큰 도움이 될 수 있어 국가적 차원에서의 권장이 이루어지고 있는 현실이다.
예컨대, 미국은 2008년부터 생산되는 차량에 대해 사고기록장치 장착을 권고하고 있으며, EU도 2009년부터 의무적 장착을 법제화하였고, 중국 또한 디지털 주행기록 장치 장착을 의무화할 예정이며, 특히 일본의 경우 블랙박스의 한 종류인 차량용 영상블랙박스가 일본 내의 택시, 트럭, 버스 등에 이미 장착되어 큰 효과를 누리고 있는 실정이다.
우리나라의 경우 2007년 11월 8일 산업자원부 기술표준원에서는 자동차용 사고기록장치에 대한 한국산업규격을 제정, 공표하였으며, 2010년에는 택시, 버스, 트럭 등 상용차에 사고기록장치(디지털 운행기록계) 부착이 시행되고 있다.
그러나 종래에는 건설중장비에 적합한 운행정보 기록장치가 제안된 바 없었기 때문에 건설중장비 차량의 운행주에 사고가 발생하였을 때 사고의 원인 등을 제대로 파악할 수 없게 되는 문제가 있었고, 건설중장비 차량의 운행중에 수집한 다양한 데이터를 전혀 활용할 수 없는 문제점이 있었다.
종래의 자동차용 사고기록장치는 그에 따라 구비된 외부 정보를 획득할 수 있는 다양한 장치(예컨대, GPS 시스템, 전·후방 카메라를 포함한 다양한 센서 등)로부터 차량 운행 중에 얻어지는 운행관련 데이터에 대하여 어떠한 정보화를 수행하지 않고 단지 흘려보내므로, 안전운행 중에 도움을 줄 수 있는 많은 데이터를 활용할 수 없는 문제가 있었다.
본 발명은 상기와 같은 종래의 실정을 감안하여 안출한 것이며, 그 목적이 건설중장비 차량의 운행 또는 작업 중에 사고가 발생된 경우 그 원인을 객관적이고, 정확하게 확인할 수 있고, 안전 운행을 도모할 수 있는 건설중장비의 운행정보 기록장치를 제공하는 데에 있는 것이다.
상기의 목적을 달성하기 위한 본 발명의 건설중장비의 운행정보 기록장치는 본 발명은 건설중장비 차량에 설치되어 영상데이터를 수집하는 다수의 카메라와; 건설중장비 차량의 동작정보를 취득할 수 있도록 하는 차량제어장치와; 상기 카메라와 차량제어장치를 통해 입력되는 각종 정보를 통해 합성 동영상을 생성하는 영상처리부와; 상기 영상처리부의 합성 동영상을 표시할 수 있도록 하는 모니터와; 상기 영상처리부의 합성 동영상을 인코딩할 수 있도록 하는 영상 인코딩장치와; 상기 영상 인코딩장치를 통해 인코딩된 영상 정보를 저장할 수 있도록 하는 메모리 ;를 구비하며,
상기 영상처리부는 사용자에 의한 차량의 제어상태를 표시하기 위해 차량제어장치로부터 사용자 입력 데이터를 취득하고, 취득한 사용자입력 데이터를 시각적 형태의 이미지로 변환하며, 상기 사용자 입력 데이터로 좌/우 조이스틱 지령 값, RPM 다이얼 입력 값을 사용하는 것을 특징으로 한다.
본 발명의 건설중장비의 운행정보 기록장치는 건설중장비 차량의 후방, 그리고 양측 전방과 양측 후방에 모두 5 개의 카메라가 설치되어 차량의 주변 상황을 감시하도록 한 형태로 구성할 수 있다.
본 발명의 건설중장비의 운행정보 기록장치에 있어서 차량제어장치는 차량의 동작 상태 정보를 취득하고, 취득된 데이터를 영상데이터에 포함하여 표시하기 위해 시각적으로 알아볼 수 있는 형태의 데이터로 가공하며, 건설중장비의 디지털 데이터, 아나로그 데이터와 각종 센서 입력 값을 정해진 수식에 의해 의미있는 값으로 변환하고, 건설중장비의 최대 도달 거리, 높이, 붐의 각도, 붐과 암의 각도를 계산하여 시각적 화면으로 가공하는 형태로 구성할 수 있다.
본 발명의 건설중장비의 운행정보 기록장치에 있어서 메모리는 실시간으로 표시되는 합성 이미지를 저장하는 공간과 영구 데이터 보존용 공간의 2개의 공간으로 구성할 수 있으며, 차량제어장치로부터 이벤트가 발생되면 영상처리부가 영상 데이터를 메모리의 영구 보존 데이터 영역에 저장하도록 할 수 있다.
한편 본 발명의 건설중장비의 운행정보 기록장치에 있어서 영상처리부에서 하나로 합쳐진 동영상 화면은 가운데에 건설중장비 이미지가 위치되고, 카메라로부터 취득한 데이터가 건설중장비 주변에 표시되는 형태로 구성할 수 있다.
또한 상기 영상처리부에서 하나로 합쳐진 동영상 화면은 GPS 데이터가 화면의 좌측 상단에 위치되고, 화면의 우측 상단에 차량제어장치로부터 얻은 건설중장비 위치 정보가 표시되며, 하단 중앙에 사용자가 동작시키는 조이스틱 입력이 표시되고, 하단 좌측에 RPM 정보 및 장비 주요 데이터가 표시되도록 하며, 화면 하단 우측에 차량 디지털 데이터가 간략하게 비트로 표시되는 형태로 구성할 수 있다.
본 발명의 건설중장비의 운행정보 기록장치에 의하면 건설중장비 차량의 운행 또는 작업 중에 사고 또는 고장이 발생된 경우, 메모리에 저장된 영상 데이터를 통해 사고 또는 고장의 원인을 객관적이고 정확하게 확인할 수 있게 된다.
아울러, 건설중장비의 운행 과정에서 모니터의 영상 화면를 통해 차량 주변의 영상 데이터와 차량 위치정보, 운전조작 상태를 확인할 수 있게 되어 건설중장비 차량의 안전 운행을 도모할 수 있게 되는 등의 효과를 얻을 수 있게 된다.
도 1은 본 발명의 한 실시예의 구성 블록도
도 2는 동 실시예의 카메라 설치 상태도
도 3은 동 실시예의 모니터 표시화면 예시도
* 도면의 참조부호 *
10 : 카메라
20 : 마이크
30 : 차량제어장치
40 : GPS 수신부
50 : 충격센서
60 : 영상처리부
70 : 모니터
80 : 영상 인코딩장치
90 : 메모리
210: 작업계 조작장치
220: 주행계 조작장치
230: RPM 설정 조작장치
이하 상기의 목적을 달성하기 위한 본 발명의 구체적인 기술 내용을 첨부도면에 의거하여 자세히 설명하면 다음과 같다.
도 1에는 본 발명의 한 실시예의 구성 블록도가 도시되어 있다.
도 1과 같이 본 발명의 건설중장비의 운행정보 기록장치는
건설중장비 차량(100)에 설치되어 영상데이터를 수집하는 다수의 카메라(10)와;
건설중장비 차량(100)의 동작정보를 취득할 수 있도록 하는 차량제어장치(30)와;
상기 카메라(10)와 차량제어장치(30)를 통해 입력되는 각종 정보를 통해 합성 동영상을 생성하는 영상처리부(60)와;
상기 영상처리부(60)의 합성 동영상을 표시할 수 있도록 운전실 내부에 설치되는 모니터(70)와;
상기 영상처리부(60)의 합성 동영상을 인코딩할 수 있도록 하는 영상 인코딩장치(80)와;
상기 영상 인코딩장치(80)를 통해 인코딩된 영상 정보를 저장할 수 있도록 하는 메모리(90);를 구비한다.
도시된 실시예와 같이 본 발명의 건설중장비의 운행정보 기록장치는 건설중장비 차량(100)에 설치되어 음성데이터를 수집하는 마이크(20)와;
건설중장비 차량(100)의 위치정보와 시간정보를 취득할 수 있도록 하는 GPS 수신부(40)와;
건설중장비 차량(100)에 대한 충격을 감지할 수 있도록 하는 충격센서(50);를 더 구비할 수 있다.
이러한 건설 중장비는 작업 내지 주행 등을 위한 사용자의 조작신호를 입력하기 위해 마련된 조작장치(200)를 포함한다. 상기 조작장치(200)는 붐, 암, 버켓, 상부 선회체 등의 건설중장비의 작업장치 제어를 위한 조이스틱 등의 작업계 조작장치(210)와, 건설중장비의 주행 제어를 위한 페달, 스티어링 휠 등의 주행계 조작장치(220)와, 엔진의 RPM을 설정하기 위한 RPM 설정 조작장치(230)를 포함할 수 있다.
상기 조작장치의 조작량 정보는 차량 제어 장치(30) 등을 통해 영상 처리부(60)에 입력된다. 이에 따라 합성 동영상에는 상기 조작장치(210,220,230)들의 형상이 시각화된 조작장치 이미지로 표시됨과 아울러, 상기 조작장치들이 조작될 경우 그 조작량 변동에 대응되어 상기 조작장치 이미지가 변경되는 것이 시각적으로 확인 가능하도록 표시되는 것이 바람직하다.
도 3은 합성 동영상의 하단에 작업계 조작장치(210)의 일종이 조이스틱이 십자형상 표시로 시각화되어 나타나 있으며, 그 내부에 포인트(P)가 사용자의 조작에 대응하여 움직이도록 상기 합성 동영상에 합성된 일례를 보여준다. 또한, 도 시되어 있지는 않지만, 기타 다른 조작장치들의 조작도 상술한 바와 유사하게 동영상에 합성될 수 있다. 예를 들어 주행계 조작장치(220)는 페달 형상의 이미지로 합성 동영상에 표시될 수 있으며, 상기 이미지는 그 조작량에 대응되도록 변경될 수 있을 것이다.
도 2에는 동 실시예의 카메라 설치 상태도가 도시되어 있다.
도시된 실시예는 도 2와 같이 건설중장비 차량(100)의 후방, 그리고 양측 전방과 양측 후방에 모두 5 개의 카메라(10)가 설치되어 차량의 주변 상황을 감시하도록 한 형태를 갖는 바, 본 발명의 건설중장비 운행정보 기록장치에 있어서 상기 카메라(10)의 개수 및 설치 위치는 도시된 것에만 국한되지 않고 예측 가능한 개수, 설치 위치로 변형 실시될 수 있음은 물론이다.
본 발명의 건설중장비 운행정보 기록장치에 있어서 카메라(10)는 차량의 주변 상황을 감시하기 하기 위한 것으로, 차량 주변의 영상 데이터를 취득하며, 카메라(10)를 통해 얻어진 영상 데이터는 차량 주변 환경과 동일하게 하나의 이미지로 합성되어 차량의 주변 상태를 표시하게 된다.
본 발명의 건설중장비 운행정보 기록장치에 있어서 차량제어장치(30)는 차량의 동작 상태 정보를 취득하고, 취득된 데이터를 영상데이터에 포함하여 표시하기 위해 시각적으로 알아볼 수 있는 형태의 데이터로 가공하며, 건설중장비의 디지털 데이터, 아나로그 데이터와 각종 센서 입력 값을 정해진 수식에 의해 의미있는 값으로 변환하고, 건설중장비의 최대 도달 거리, 높이, 붐의 각도, 붐과 암의 각도를 계산하여 건설중장비 및 건설중장비의 작업장치들 자세를 시각적 화면으로 가공한다. 물론, 건설중장비의 자세 계산에 사용된 거리, 높이, 각도 등의 데이터들을 상기 시각적 화면에 함께 나타나도록 가공하는 것이 바람직하다.
영상처리부(60)는 사용자에 의한 차량의 제어상태를 표시하기 위해 차량제어장치(30) 등을 통해 입력되는 사용자 입력 데이터를 취득하고, 취득한 사용자입력 데이터를 시각적 형태의 이미지로 변환하며, 상기 사용자 입력 데이터로 좌/우 조이스틱 지령 값, RPM 다이얼 입력 값을 사용한다.
영상처리부(60)는 취득한 주변 영상, 장비의 위치 및 상태 정보를 하나의 동영상 이미지로 변환하고, 이미지 변환된 데이터를 모니터(70)를 통해 사용자에게 표시하는 동시에 영상 인코딩장치(80)를 통해 메모리(90)에 차례로 저장한다.
차량의 제어 상태가 급격하게 변경되거나 충격 센서로부터 충격이 감지되면 차량제어장치(30)는 영상처리부(60)로 이벤트를 발생시킨다.
한편 본 발명의 건설중장비 운행정보 기록장치에 있어서 메모리(90)는 2개의 영역으로 나뉘어 상기 합성 동영상을 저장할 수 있다.
즉, 하나의 공간은 실시간으로 표시되는 합성 이미지를 저장하는 영역으로 사용하며, 이 영역은 오래된 순서대로 차례로 최근 영상으로 덮여 쓰여 지워지게 되는 영역이다.
또 하나의 영역은 영구 데이터 보존용으로 차량제어장치(30)로부터 이벤트가 발생되면 영상처리부(60)는 최근 10분간의 영상 데이터를 영구 보존 데이터 영역에 저장한다.
도 3에는 동 실시예의 모니터 표시화면 예시도가 도시되어 있다.
도 3과 같이 본 발명의 건설중장비 운행정보 기록장치에 있어서 영상처리부(60)에서 하나로 합쳐진 동영상 화면은 가운데에 건설중장비 이미지가 위치되도록 하고 카메라로부터 취득한 데이터가 건설중장비 주변에 표시되도록 하는 형태로 구성할 수 있다.
또한 GPS 데이터가 화면의 좌측 상단에 위치되도록 하고, 시간, 위도, 경도와 고도를 표시하며, 화면의 우측 상단에 차량제어장치(30)로부터 얻은 건설중장비 위치 정보가 표시되도록 하는 형태로 구성할 수 있다.
그리고 영상처리부(60)에서 하나로 합쳐진 동영상 화면은 하단 중앙에 사용자가 동작시키는 조작장치 입력이 표시되도록 하고, 하단 좌측에 RPM 정보 및 장비 주요 데이터가 표시되도록 하며, 화면 하단 우측에 차량 디지털 데이터가 간략하게 비트로 표시되도록 하는 형태로 구성할 수 있다.
이상에서 설명한 본 발명은 전술한 설명에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
본 발명은 차량 주변의 영상 데이터와 차량 위치정보, 운전 조작상태를 하나의 영상 데이터로 합성하여 기록하고 화면에 표시해주는 운행정보 기록장치에 이용될 수 있다.

Claims (10)

  1. 건설중장비(100)의 측면에 설치되어 상기 건설중장비(100) 주변의 영상데이터를 수집하는 다수의 카메라(10);
    상기 건설중장비(100) 주변의 영상데이터를 생성하는 영상처리부(60); 및
    상기 영상데이터를 저장하는 메모리(90); 를 구비하며,
    상기 영상데이터는 가운데에 건설중장비(100) 이미지가 위치되고, 상기 다수의 카메라(10) 로부터 취득된 영상데이터가 상기 건설중장비(100) 이미지의 주변을 조감하는 형태로 나타나도록 단일의 영상으로 합성된 합성 동영상을 포함하는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
  2. 제 1항에 있어서,
    상기 건설중장비(100)의 구동을 위한 사용자의 조작에 대응되는 사용자 입력 데이터를 출력하는 조작장치(200)를 더 포함하며,
    상기 영상처리부(60)는,
    사용자에 의해 조작장치(200)로부터 입력된 사용자 입력 데이터를 취득하고, 상기 사용자 입력 데이터가 출력되는 조작장치(200)를 시각적 형태의 조작장치 이미지로 변환환 후, 상기 사용자의 조작에 의한 조작장치(200)의 조작량 변경에 대응하도록 상기 조작장치 이미지를 변경시키면서 상기 합성 동영상에 합성시키는 것을 특징으로 하는 건설중장의 운행정보 기록장치.
  3. 건설중장비(100)에 설치되어 상기 건설중장비(100) 주변의 영상데이터를 수집하는 다수의 카메라(10);
    상기 건설중장비(100)의 구동을 위한 사용자의 조작에 대응되는 사용자 입력데이터를 출력하는 조작장치(200);
    상기 건설중장비(100) 주변의 영상데이터와 상기 조작장치(200)의 조작정보가 합성된 합성 동영상을 생성하는 영상처리부(60); 및
    상기 합성 동영상을 저장하는 메모리(90);를 구비하며,
    상기 영상처리부(60)는 사용자에 의한 조작장치(200)로부터 입력된 사용자 입력 데이터를 취득하고 상기 사용자 입력 데이터가 출력되는 조작장치(200)를 시각적 형태의 이미지로 변환한 후, 상기 사용자의 조작에 의한 조작장치(200)의 조작량 변경에 대응되도록 상기 이미지를 변경시키면서 상기 건설중장비 주변의 영상데이터에 합성시킴으로써 상기 합성 동영상을 생성시키는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
  4. 제 3항에 있어서,
    차량제어장치(30)를 더 포함하되,
    상기 차량제어장치(30)는 상기 건설중장비 차량의 동작 상태를 취득하고 취득된 데이터를 영상데이터에 포함하여 표시하기 위해 시각적으로 알아볼 수 있는 형태의 데이터로 가공하며, 상기 건설중장비의 디지털 데이터, 아나로그 데이터와 각종 센서 입력 값을 기초로 상기 건설중장비 및 상기 건설중장비의 작업장치의 자세 정보를 시각적 화면으로 가공하는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
  5. 제4항에 있어서,
    상기 건설중장비 및 상기 건설중장비의 작업장치의 자세정보는 상기 건설중장비 작업장치들의 높이, 거리 및 각도 정보를 더 포함하는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
  6. 제3항에 있어서,
    상기 메모리(60)는 실시간으로 표시되는 합성 동영상을 저장하는 영역과 영구 데이터 보존용 영역의 2개 영역을 포함하고,
    상기 건설중장비(100)에 이벤트가 발생되면 상기 합성 동영상의 영상 데이터를 상기 메모리(90)의 영구 보존 데이터 영역에 저장하는 것을 특징으로 하는 건설 중장비의 운행정보 기록장치.
  7. 제3항에 있어서,
    상기 영상처리부(60)에서 하나로 합쳐진 동영상 화면은 가운데에 건설중장비 이미지가 위치하고, 상기 다수의 카메라(10)로부터 취득한 데이터가 상기 건설중장비 이미지 주변에 표시되는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
  8. 제4항에 있어서,
    상기 영상처리부(60)에서 합쳐진 합성 동영상에는 GPS 데이터와 상기 차량제어장치(30)로부터 얻은 건설중장비 자세 정보가 포함되는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
  9. 제3항에 있어서,
    상기 조작장치(200)는 상기 건설중장비의 작업장치를 조작하기 위한 작업계 조작장치(210)와 상기 건설중장비의 주행을 제어하기 위한 주행계 조작장치(210) 및 상기 건설중장비의 엔진 RPM을 제어하기 위한 RPM설정 조작장치(230)를 포함하며,
    상기 합성 동영상에는 상기 작업계 조작장치(210)와 상기 주행계 조작장치(220) 및 상기 RPM 설정 조작장치(230) 중 적어도 하나의 조작량 변경에 대응되는 이미지가 합성되는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
  10. 제3항에 있어서,
    상기 합성 동영상을 표시하도록 운전실 내부에 설치된 모니터(70)를 더 포함하는 것을 특징으로 하는 건설중장비의 운행정보 기록장치.
PCT/KR2012/000442 2011-01-24 2012-01-18 건설중장비의 운행정보 기록장치 Ceased WO2012102513A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280006189.4A CN103328313B (zh) 2011-01-24 2012-01-18 重型建筑设备的运行信息记录装置
US13/979,081 US20130278772A1 (en) 2011-01-24 2012-01-18 Running information recording device for heavy construction equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110007068A KR101735116B1 (ko) 2011-01-24 2011-01-24 건설중장비의 운행정보 기록장치
KR10-2011-0007068 2011-01-24

Publications (2)

Publication Number Publication Date
WO2012102513A2 true WO2012102513A2 (ko) 2012-08-02
WO2012102513A3 WO2012102513A3 (ko) 2012-12-13

Family

ID=46581255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/000442 Ceased WO2012102513A2 (ko) 2011-01-24 2012-01-18 건설중장비의 운행정보 기록장치

Country Status (4)

Country Link
US (1) US20130278772A1 (ko)
KR (1) KR101735116B1 (ko)
CN (1) CN103328313B (ko)
WO (1) WO2012102513A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160273195A1 (en) * 2015-03-16 2016-09-22 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
KR101482910B1 (ko) * 2014-07-31 2015-01-15 (주)스타넥스 항공기용 항공정보 저장 시스템 및 그 운용 방법
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
CN107090868A (zh) * 2017-05-31 2017-08-25 李明 一种具有预警装置的挖掘设备
WO2019138994A1 (ja) * 2018-01-11 2019-07-18 パイオニア株式会社 情報記録装置、情報記録方法、及び情報記録用プログラム
JP6854255B2 (ja) * 2018-03-15 2021-04-07 日立建機株式会社 建設機械
JP7243661B2 (ja) * 2020-02-20 2023-03-22 いすゞ自動車株式会社 イベント情報参照システム
KR102500467B1 (ko) 2021-11-17 2023-02-16 주식회사 지농 Cctv 영상 내 계측기 영역 이미지 정보의 수치 값 변환 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030053070A (ko) * 2001-12-22 2003-06-28 현대중공업 주식회사 굴삭기 작업기 모니터링 시스템
JP2005014686A (ja) * 2003-06-24 2005-01-20 Matsushita Electric Ind Co Ltd ドライブレコーダ
US7463281B2 (en) * 2003-08-06 2008-12-09 Microsoft Corporation Smart vehicle video management
JP4726586B2 (ja) * 2005-09-20 2011-07-20 鈴木 旭 自動車用ドライブレコーダ
KR20070066660A (ko) * 2005-12-22 2007-06-27 엘지전자 주식회사 차량 사고 정보 저장장치 및 후방 감시장치
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
KR100934947B1 (ko) * 2007-10-02 2010-01-06 볼보 컨스트럭션 이키프먼트 홀딩 스웨덴 에이비 레벨링 수단이 구비된 중장비의 영상표시 시스템
BRPI0918303B1 (pt) * 2008-12-24 2019-04-09 Doosan Infracore Co., Ltd. Aparelho para controle de contigência de uma velocidade de rotação do motor de um equipamento para construção pesada
KR20100076472A (ko) * 2008-12-26 2010-07-06 김재익 자동차용 운행정보 기록장치
US8564663B2 (en) * 2009-04-14 2013-10-22 Bae Systems Information And Electronic Systems Integration Inc. Vehicle-mountable imaging systems and methods
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160273195A1 (en) * 2015-03-16 2016-09-22 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
US10060098B2 (en) * 2015-03-16 2018-08-28 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same

Also Published As

Publication number Publication date
CN103328313B (zh) 2016-04-06
KR101735116B1 (ko) 2017-05-15
WO2012102513A3 (ko) 2012-12-13
KR20120085620A (ko) 2012-08-01
CN103328313A (zh) 2013-09-25
US20130278772A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
WO2012102513A2 (ko) 건설중장비의 운행정보 기록장치
CN113759880B (zh) 一种智能汽车整车在环测试方法以及系统
CN104537729B (zh) 一种防抖全方位目标跟踪的智能行车记录仪
JP5516343B2 (ja) 通行車両監視システム
CN101595417B (zh) 用于轮廓形成系统的头戴式显示装置
US20180364711A1 (en) Autonomous Vehicle Research System
CN112319552A (zh) 轨道车运行探测预警系统
WO2016208914A1 (ko) 차량 사고 감지장치 및 이를 이용한 긴급 콜 시스템
CN109143305A (zh) 车辆导航方法和装置
CN108791062A (zh) 动态信息系统及操作方法
CN214540526U (zh) 一种网联车传感器测调实训车
KR101457764B1 (ko) 차량용 블랙박스 시스템 및 그 제공 방법
US11302123B2 (en) Information recording device, information recording method, and program for recording information
JP5502700B2 (ja) 通行車両監視システム及び通行車両監視装置
US8213683B2 (en) Driving support system with plural dimension processing units
CN101369351A (zh) 机动车行驶记录装置
KR101532087B1 (ko) 외장형 데이터 수집부를 포함하는 오토바이용 블랙박스
CN106627463A (zh) 一种无人驾驶公交车的视觉感知系统及工作方法
CN206532530U (zh) 一种车窗虚拟现实显示系统
WO2015050413A1 (ko) 차량용 블랙박스의 영상데이터와 gis 연동 서비스 방법
CN119526374B (zh) 一种悬臂式井口重置机器人的远程操控方法及装置
CN216118491U (zh) 采煤机沉浸式远程操控装置和远程操控系统
CN213987592U (zh) 具有全向碰撞感知和车内外三维场景重现的汽车黑匣子
CN102667869A (zh) 运行管理系统
KR102951282B1 (ko) 자율주행차량의 vil 시뮬레이션 고도화를 위한 증강현실 구현 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280006189.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12739827

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13979081

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12739827

Country of ref document: EP

Kind code of ref document: A2