WO2016060384A1 - 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치 - Google Patents

다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치 Download PDF

Info

Publication number
WO2016060384A1
WO2016060384A1 PCT/KR2015/009850 KR2015009850W WO2016060384A1 WO 2016060384 A1 WO2016060384 A1 WO 2016060384A1 KR 2015009850 W KR2015009850 W KR 2015009850W WO 2016060384 A1 WO2016060384 A1 WO 2016060384A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle
situation
camera
radar sensor
Prior art date
Application number
PCT/KR2015/009850
Other languages
English (en)
French (fr)
Inventor
신사임
장달원
김성동
윤경로
이종설
장세진
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150114235A external-priority patent/KR101734985B1/ko
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2016060384A1 publication Critical patent/WO2016060384A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target

Definitions

  • the present invention relates to a method and apparatus for providing vehicle status information in a panoramic form using multiple cameras and radar sensor information, and more particularly, to a plurality of adjacent vehicles having multiple cameras and radar sensors connected thereto.
  • the situation information providing apparatus determines the situation of each vehicle and reconstructs the interface based on the received image information and the sensing information to transmit to the vehicle,
  • the present invention relates to a vehicle situation information providing method and apparatus for configuring a dynamic vehicle interface for each driver's situation.
  • a vehicle information providing system by attaching multiple cameras and radar sensors to a vehicle and providing the driver with information obtained from the cameras and sensors, the information around the vehicle that the driver cannot see or miss while driving is provided. This induces safe driving.
  • the vehicle information providing system reproduces the real world of the driving environment as it is in a virtual world, and intuitive and effective information delivery is enabled by using a composite multimedia (video and text information).
  • the existing vehicle information providing system has a problem in that the driving information around the vehicle cannot be widely provided by reconstructing the information obtained in one vehicle to the same specific vehicle by the vehicle information providing system installed in one specific vehicle.
  • the image information obtained by the camera attached to the vehicle may be inaccurate due to an obstacle, and by providing only the image photographed from one viewpoint, there is a problem in that the surrounding situation of the vehicle cannot be provided from various viewpoints.
  • the present invention connects a plurality of adjacent vehicles to share image information and sensing information obtained from each vehicle, and configures an interface according to the situation of each driver, thereby providing a wide range of information around the vehicle from various viewpoints.
  • An object of the present invention is to provide a method for providing vehicle status information.
  • the vehicle situation information providing apparatus receives a plurality of adjacent vehicle information through a communication network, estimates each driver's situation, and configures a panorama interface to fit the estimated driver's situation, thereby providing a driver with respect to the surrounding situation of the vehicle.
  • the purpose of this study is to suggest ways to contribute to safe driving by improving understanding and responsiveness.
  • the situation information providing apparatus of the present invention for achieving the above object is a communication module for transmitting and receiving data with at least one vehicle in conjunction with a communication network, a plurality of cameras and radar sensors installed in a specific vehicle camera information and radar sensor
  • a driver module or surrounding situation of a specific vehicle based on at least one of a sensor module receiving at least one piece of information, information received from the sensor module, camera image information received from at least one vehicle, and radar sensor information.
  • a vehicle status determination module for estimating a signal and displaying at least one of the estimated situation information and information received from the sensor module, at least one of camera image information and radar sensor information received from at least one vehicle.
  • the configuration may include an interface configuration module.
  • the vehicle situation determination module may control to transmit emergency situation notification information to the specific vehicle, and further includes a storage module that stores the received information.
  • the interface configuration module may control to reconfigure and transmit the driver's situation or the surrounding situation for a predetermined time based on the stored information when the driver's request is made.
  • the camera image information may include at least one of identification information (Camera), time information (TimeStamp), relative orientation information (RelativeOrientation) and relative location information (RelativeLocation) of each camera, the radar sensor information At least one of time information (TimeStamp), information about a detected object (DetectedObject), distance information (Distance), direction information (Orientation) and relative speed information (RelativeSpeed).
  • the interface configuration module may further include a storage module for storing the effective range of the camera image information that can be processed, the effective range of the camera image information is the number of camera sensors (NumberOfCameraCapability), the specification information of each camera sensor ( It may include at least one of the CameraCapability) and the access information (AccessPoint) for accessing the image information of each camera, the interface configuration module further comprises a storage module for storing the effective range of the radar sensor information processable;
  • the effective range of the radar sensor information may include at least one of effective distance information (DistanceCapability) for object detection, effective orientation information (OrientationCapbility) for object detection, and effective relative speed information (RelativeSpeedCapability) for object detection. can do.
  • the apparatus may further include a storage module configured to store information processing reference information which is a reference when the interface configuration module processes camera image information and configures an interface, wherein the reference information of the camera image is an image processed by the interface configuration module. It may include at least one of the resolution information (Resolution), the horizontal size information (Width) of the processed image, the vertical size information (Height) of the processed image, the interface configuration module processes the radar sensor information.
  • the apparatus may further include a storage module configured to store information processing reference information, which is a reference when configuring an interface, wherein the reference information of the radar sensor is maximum number of objects that can be detected (MaxValue) and the interface configuration module.
  • Distance information that records the maximum / minimum value and the unit of the distance information to be processed, and the angle to be processed It may include at least one of orientation information recording a range and a unit of information, a maximum / minimum value of a relative speed to be processed, and relative speed information (RelativeSpeed).
  • Vehicle situation information providing method of the present invention for achieving the above object is at least one of the camera image information and radar sensor information from the plurality of cameras and radar sensors installed in at least one vehicle and a specific vehicle Receiving information, estimating a driver situation or a surrounding condition of a specific vehicle based on the received information, received from the estimated situation information and at least one vehicle and a plurality of cameras and radar sensors installed in the specific vehicle Comprising the step of configuring the interface to be displayed in the vehicle output module based on at least one of the camera image information and the radar sensor information in the form of a panorama and transmitting the configured interface information to the particular vehicle.
  • a vehicle that can obtain a wide range of information around the vehicle from a variety of perspectives Situation information can be provided, and through this, the driver's understanding and responsiveness to the surrounding situation of the vehicle can be enhanced to contribute to safe driving.
  • FIG. 1 is a view showing the configuration of a system for providing vehicle information according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a vehicle situation information providing apparatus according to the present invention.
  • FIG. 3 is a flowchart illustrating a vehicle situation information providing method according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an information processing process and a method according to an exemplary embodiment of the present invention.
  • 5 to 6 are exemplary views for explaining an embodiment of a vehicle information providing method according to the present invention.
  • first and second are used to describe various components, and are used only to distinguish one component from another component, and to limit the components. Not used.
  • the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • unit means a unit for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.
  • a or an means a unit for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.
  • "a or an”, “one”, “the”, and the like are used differently in the context of describing the present invention (particularly in the context of the following claims). Unless otherwise indicated or clearly contradicted by context, it may be used in the sense including both the singular and the plural.
  • FIG. 1 is a view showing the configuration of a system for providing vehicle status information according to an embodiment of the present invention.
  • a system for providing vehicle situation information includes a plurality of adjacent vehicles 200, a camera and a radar sensor 210 attached to each vehicle, and a situation. It may be configured to include an information providing device 300, the plurality of adjacent vehicles 200 are interlocked through the communication network (100).
  • the communication network 100 transmits data for transmitting and receiving data between a plurality of adjacent vehicles 200, and according to a system implementation method, a WLAN (Wireless LAN), Wi-Fi (Wi-Fi), and WiBro (Wibro) ), WiMAX, High Speed Downlink Packet Access (HSDPA), Long Term Evolution (LTE), Long Term Evolution Advanced (LTE-A), and other wireless communication methods, including Bluetooth, ZigBee, and UWB. (Ultra-WideBand), ANT, etc., various short-range communication technologies of the PAN (Personal Area Network) scheme can be applied.
  • a WLAN Wireless LAN
  • Wi-Fi Wi-Fi
  • WiBro WiBro
  • WiMAX Wireless Fidelity
  • HSDPA High Speed Downlink Packet Access
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution Advanced
  • other wireless communication methods including Bluetooth, ZigBee, and UWB. (Ultra-WideBand), ANT, etc.
  • the plurality of vehicles 200 may install a plurality of cameras and radar sensors 210 on four outer surfaces of the vehicle, and transmit the information collected from the plurality of installed cameras and radar sensors 210 through the communication network 100.
  • the situation information providing apparatus 300 is transmitted.
  • the plurality of vehicles 200 may directly transmit information collected from the plurality of cameras and the radar sensor 210 to a specific vehicle through a PAN type local area network, and transmit the collected information to a server through a wireless communication network.
  • the server may transmit the data back to a specific vehicle through a wireless communication network.
  • the communication network 100 when transmitting information collected by any one vehicle 200a of the plurality of vehicles 200 to the situation information providing apparatus 300 included in the vehicle, the communication network 100 must be used.
  • the information collected by the plurality of cameras and the radar sensor 210 may be directly transferred to the situation information providing apparatus 300 of the vehicle 200a.
  • the plurality of cameras and the radar sensor 210 installed in the plurality of vehicles 200 collect information about the surrounding situation of each vehicle.
  • the plurality of cameras photograph the situation of the location where the corresponding camera is installed and transmit the photographed image information to the situation information providing apparatus 300 in the plurality of vehicles 200.
  • the degree of access of the object around the installed position is determined to transmit information about the relative direction, relative speed, relative position, etc. that the object approaches to the situation information providing apparatus 300.
  • the contextual information providing apparatus 300 includes the specific vehicle based on at least one of image information and radar sensor information collected by a specific vehicle, camera image information received from at least one vehicle adjacent to the specific vehicle, and radar sensor information. Estimating a driver's situation or surrounding condition of the user, and configuring an interface to be displayed on the internal output module in a panorama form based on at least one of the estimated situation information, the image information collected by the specific vehicle, and the radar sensor information.
  • the controller may be configured to output an interface configured in the panorama form to an internal vehicle output module.
  • the situation information providing apparatus 300 may transmit the emergency notification information to the output module and output the specific vehicle to the specific module. Based on the information stored in the situation information providing apparatus 300 may reconstruct the situation of the driver or the surrounding situation for a predetermined time.
  • the situation information providing apparatus 300 may be implemented inside the vehicle as shown in FIG. 1, and may be implemented outside the vehicle in the form of a server to transmit the information to a specific vehicle through the communication network 100.
  • FIG. 2 is a block diagram showing the main configuration of the situation information providing apparatus 300
  • Figure 3 is a flow chart for explaining the operation method of the situation information providing apparatus 300 according to the present invention.
  • the situation information providing apparatus 300 may include a communication module 310, a storage module 330, a control module 350, and a sensor module 370.
  • the communication module 310 is for communicating with at least one vehicle 200b ⁇ 200d adjacent to a specific vehicle 200a, and the communication network for performing the function of the communication module 410 is WLAN (Wireless LAN), Wi-Fi ( Wi-Fi), Wibro, Wimax, Wi-Fi (High Speed Downlink Packet Access) such as High Speed Downlink Packet Access (HSDPA), etc., or PAN (Bluetooth, ZigBee, UWB (Ultra-WideBand), ANT, etc.) Various local area communication technologies of the Personal Area Network) may be used.
  • WLAN Wireless LAN
  • Wi-Fi Wi-Fi
  • Wibro Wimax
  • Wi-Fi High Speed Downlink Packet Access
  • HSDPA High Speed Downlink Packet Access
  • PAN Bluetooth, ZigBee, UWB (Ultra-WideBand), ANT, etc.
  • Various local area communication technologies of the Personal Area Network may be used.
  • the communication module 310 may receive the camera image information and the radar sensor information that detects and detects the surrounding situation of the vehicle from at least one vehicle 200b to 200d adjacent to the specific vehicle 200a.
  • the camera image information and the radar sensor information which photographs and senses the surrounding situation of the specific vehicle 200a may be transmitted to at least one of the vehicles 200b to 200d.
  • the radar sensor information refers to radar sensor information (RADAR sensor type) for sensing a moving or fixed target by continuously observing the relative speed, the arrival angle and the distance of the object around the specific vehicle (200a), the radar sensor
  • the information may include at least one of time information (TimeStamp), information about a detected object (DetectedObject), distance information (Distance), direction information (Orientation), and relative speed information (RelativeSpeed).
  • ⁇ Syntax Example 1> is an example describing a declaration for radar sensor information.
  • TimeStamp is time information indicating the time when the information is detected
  • DetectedObject is object information indicating the information of the detected object
  • Distance is distance information indicating the distance from the detected object
  • Orientation is the angle of the detected object.
  • Information and RelativeSpeed is the relative speed information of the detected object.
  • ⁇ Syntax Example 2> is an exemplary sentence showing information on an object detected by the radar sensor of ⁇ Syntax example 1>.
  • the radar sensor has a timestamp value of 6000 at a detection speed of 100 clock ticks per second, the angle of the detected object based on the radar sensor is 30 degrees, and the state speed is 60 km / h.
  • the camera image information refers to camera image information (Camera Sensor Type) for detecting the real world by the arrangement of the camera
  • the array camera sensor type may be defined as the expandability of the camera image information with the added relative position information.
  • the camera image information may include at least one of identification information (Camera), time information (TimeStamp), relative orientation information (RelativeOrientation), and relative location information (RelativeLocation) of each camera.
  • ⁇ Syntax Example 3> is an example describing a declaration for camera image information.
  • ArrayCameraSensorType is a tool for describing array camera sensors
  • Camera is identification information of each camera sensor
  • TimeStamp is information representing the time when information is detected
  • RelativeOrientation is for describing the relative direction of each camera sensor. If a relative orientation is specified, the CameraOrientation specified in CameraSensorType is ignored. All camera sensors are relatively set based on the first camera sensor.
  • ⁇ Syntax Example 4> is an exemplary statement describing the camera arrangement of ⁇ Syntax Example 3>.
  • the camera sensor has an ID of “ACST001” and has four sub cameras having respective IDs such as “CID000 to CID003”.
  • the camera sensor is activated and has a time information of 6000 at a detection rate of 100 clock ticks per second.
  • the first camera sensor is located at (0,0,0) and the camera orientation is (0,0,0).
  • the remaining camera sensors are located at (90, -250,0), (0, -500,0), (-90, -250,0), and the relative positions considering the direction are (0,0,90), ( 0,0,180) and (0,0,270).
  • the orientation of all service cameras moves only on the Z axis to cover the entire exterior of the vehicle.
  • the storage module 330 is a device for storing data.
  • the storage module 330 includes a main memory device and an auxiliary memory device, and stores an application program required for a functional operation of the contextual information providing device 300.
  • the storage module 330 may largely include a program area and a data area.
  • the situation information providing apparatus 300 activates each function in response to a user's request, the situation information providing apparatus 300 executes corresponding application programs under the control of the control module 350 to provide each function.
  • the storage module 330 is a capability of the camera image information and radar sensor information that can be processed by the interface configuration module 351 and the interface configuration module 351 to the camera image information and radar sensor information. It may include information processing reference information (Adaptation Preference) which is a reference when configuring the interface by processing.
  • information processing reference information Adaptation Preference
  • the effective range of the camera image information is the number of camera sensors (NumberOfCameraCapability), the specification information (CameraCapability) of each camera sensor and access information for accessing the image information of each camera (AccessPoint It may include at least one of).
  • the syntax ⁇ 5> describes the effective range (Capability) for the array camera, the Array Camera Capability specifies the sensing effective range for each camera sensor, the extension of the sensor coverage base type It is defined as
  • ArrayCameraSensorCapabilityType is a tool for describing the effective range of array camera sensors
  • NumberOfCameraCapability describes the number of available camera sensors
  • CameraCapability describes the capabilities of each camera sensor
  • AccessPoint is a camera such as a video stream or an image. It describes the access point used for the raw contents of the sensor.
  • the Syntax Example 6 is an example for showing the description of the array camera sensor effective range of the Syntax Example 5.
  • the sensor coverage has an ID of “ACSCT001” and the array camera has four sub cameras, each with an access point to retrieve the raw content from the camera.
  • the effective range (RADAR Sensor Capability Type) of the radar sensor information is at least one of the effective distance information (DistanceCapability) for detecting the object, the effective orientation information (OrientationCapbility) for detecting the object and the effective relative speed information (RelativeSpeedCapability) for detecting the object It may include any one information.
  • the syntax example 7 describes an effective range of a moving or fixed target by continuously observing a distance, a direction angle, and a relative speed for the object around the radar sensor.
  • RADARSensorCapabilityType is a tool for describing RADAR sensor coverage
  • DistanceCapability describes the effective distance of the object detected by the radar sensor
  • OrientationCapability describes the effective direction of the object detected by the radar sensor
  • RelativeSpeedCapability It describes the effective relative velocity of the object as detected by the radar sensor.
  • the Syntax Example 8 is an example for showing a description of the radar sensor effective range according to the Syntax Example 7.
  • the effective range of the sensor has an ID of “RSCT001”, and the sensor can measure an object between 0.5 and 500 meters.
  • the direction angle information of the detected object is provided between 0 and 100 degrees, and the relative speed information can be provided between -250km / h and 250km / h.
  • the array camera sensor adaptation preference type of the camera image information includes resolution information of the image processed by the interface configuration module 351, width information of the processed image, and processing. It may include at least one of the height information (Height) of the image.
  • Syntax Example 9 specifies the syntax of a user's setting criteria for selectively adjusting data sensed by the array camera sensor.
  • ArrayCameraAdaptationPrefType is a tool for describing processing criteria of information sensed by an array camera.
  • Camera describes the information processing criteria of each camera sensor
  • Resolution describes the resolution required for camera sensing information
  • Width describes the horizontal size range
  • Height describes the vertical size range. .
  • the syntax example 10 is an example showing a description of the processing criteria of the information sensed by the array camera described in the syntax example 9.
  • This process standard has the ID “ACSAP001” and four camera sensors describe each sensor application criteria.
  • the application criterion is defined as a horizontal size range and a vertical size range, and the horizontal size range has a maximum value of 4096 and a minimum value of 2048.
  • it is required to be divided into a total of five steps between the maximum value and the minimum value of the horizontal size
  • the vertical size range is required to be divided into a total of five steps between the maximum value and the minimum value of 2160 and the minimum value of 1080. .
  • the Radar Sensor Adaptation Preference type includes information on the maximum number of objects that can be detected (MaxValue), maximum / minimum values of distance information processed by the interface configuration module, and distance information (Unit). ), Orientation information recording the range and unit of the angle information to be processed, and maximum / minimum value of the relative speed to be processed, and relative speed information (RelativeSpeed) to record the unit.
  • Syntax Example 11 specifies the syntax of the user's setting criteria for selectively adjusting the data sensed by the radar sensor.
  • RADARAdaptationPrefType is a tool for describing criteria for processing information sensed by radar.
  • MaxValue is the maximum number of objects that can be detected. If the detected object exceeds the maximum value, the object closest to the maximum value is returned.
  • Distance describes the distance reference of the detected object, Orientation describes the angle reference of the detected object, and RelativeSpeed describes the relative speed reference of the detected object.
  • Syntax Example 12 shows an example of the information processing criteria of Syntax Example 11.
  • the information processing standard has ID “RADARSAP001”, the maximum number of objects that can be detected from the radar is “3”, the maximum distance is 100 meters and the minimum distance is 0 meters. In addition, the distance value is divided into 100 steps between the maximum value and the minimum value.
  • the direction angle information is described only by Yaw value, the maximum value is 100 degrees and the minimum value is 0 degrees. And it is divided into 50 steps between the maximum value and the minimum value.
  • the application of relative speed has a maximum value of 250km / h and a minimum value of -250km / h, and the maximum value and the minimum value are divided into 500 steps.
  • the storage module 330 stores various information received through the sensor module 370 or the communication module 310.
  • the control module 350 may be a process device for driving an operating system (OS) and each component.
  • OS operating system
  • control module 350 may include an interface configuration module 351 and a vehicle status determination module 353.
  • the vehicle condition determination module 353 may include at least one of information received from the sensor module 370, camera image information received from at least one of the vehicles 200b to 200d adjacent to the specific vehicle 200a, and radar sensor information. Estimate the driver situation or surrounding situation of a specific vehicle based on the information.
  • the vehicle situation determination module 353 determines whether the situation has occurred from a current time based on time information included in the radar sensor information, and detects the direction of the detected object. Information and relative speed information can be used to predict in which direction of a particular vehicle the object will approach a certain vehicle after what time.
  • the specific vehicle 200a is measured based on the object information database stored in the storage module 330 by measuring the size or shape of the detected object based on the information about the detected object included in the radar sensor and the camera image information. Estimate the type of object approaching.
  • the vehicle situation determination module 353 may control to transmit emergency situation notification information to the specific vehicle 200a.
  • the vehicle situation determination module 353 may determine that there is an emergency in the specific vehicle 200a and transmit the emergency notification information.
  • the interface configuration module 351 may include the estimated situation information and the information received from the sensor module 370, camera image information received from at least one of the vehicles 200b to 200d adjacent to a specific vehicle 200a, and The interface to be displayed on the internal output module of the vehicle is configured in a panorama form based on at least one piece of radar sensor information.
  • the interface may be configured by using information included in the camera image information.
  • the images included within the predetermined time from the current time may be selected as candidate groups of the image information constituting the interface, and the position of the interface configuration may be determined based on the identification information of each camera.
  • the rear camera position of the surrounding vehicle becomes its front situation from the standpoint of the specific vehicle 200a. It is possible to display the rear camera image information of the surrounding vehicles in the part that illuminates the front situation.
  • image information of the adjacent vehicle photographed from front, rear, left, and right sides of the region where the accident occurred is determined by the specific vehicle 200a. It can be received and exposed in the form of a panorama.
  • the rear camera image information of the adjacent vehicle photographed from the front of the accident vehicle is exposed to the interface portion corresponding to the front situation of the specific vehicle 200a, and is photographed from the left side of the accident vehicle.
  • the camera image information on the right side of the adjacent vehicle may be exposed to an interface part corresponding to the left situation of the specific vehicle 200a.
  • information about this specific object for example, size, vehicle age, model name, Price, fuel efficiency, etc.
  • information about this specific object can be displayed on a specific display window, and the distance information and direction information can be converted to text and output, and the collision prediction time or the probability probability calculated above is converted to text to be exposed to the driver. Can be.
  • a warning alarm such as flashing a warning light on a display corresponding to a location where a collision is estimated to occur is transmitted. Can be controlled.
  • the warning light may be flashed along with the situation on the left side on the display corresponding to the left side to draw attention of the driver.
  • the interface configuration module 351 may control to reconfigure and transmit the driver's situation or the surrounding situation for a predetermined time based on the information stored in the storage module 330 at the driver's request.
  • the predetermined time may be changed by the driver's setting, and the camera image information may be extracted based on the time information included in the camera image information, and the reconstruction of the surrounding situation may be configured in the same manner as the interface configuration method described above. can do.
  • the sensor module 370 is a device for receiving the sensing information collected by the sensor.
  • the sensor module 370 receives the sensing information collected by the camera and the radar sensors 210a to 210d installed in the specific vehicle 200a.
  • the collected sensing information includes the same information as the camera image information or the radar sensor information received through the communication module 310.
  • the scouring information collected by the sensor module 370 may be transmitted to the other plurality of vehicles 200b to 200d through the communication module 310, but control of the situation information providing apparatus 300 of the vehicle 200a of the vehicle 200a. It may also be transferred directly to the module 350.
  • the situation information providing apparatus 300 is installed in a specific vehicle (200a) and a plurality of vehicles (200b ⁇ 200d) adjacent to the specific vehicle (200a)
  • the information collected by the camera or the radar sensor is received (S101).
  • the situation information providing apparatus 300 receiving the information estimates the driver situation or the surrounding situation based on one or more pieces of information (S103).
  • emergency notification information may be transmitted to the specific vehicle 200a.
  • the contextual information providing apparatus 300 configures and transmits a panorama-type interface to be displayed inside the vehicle based on the estimated contextual information and one or more of the received information (S105 to S107).
  • the situation information providing apparatus 300 may store the received information and reconfigure the situation of the driver or the surrounding situation for a predetermined time based on the stored information when the driver requests it.
  • the situation information providing apparatus 300 may determine an accident.
  • the accident situation at the time of the accident can be reconstructed and provided to the driver.
  • FIG. 4 is a view illustrating a process in which the situation information providing apparatus 300 receives a camera image information and radar sensor information, configures the interface in a panorama form, and displays the same.
  • FIG. 5 is image information photographed by each camera.
  • FIG. 6 is a diagram illustrating an example of configuring an interface in a panorama form, and FIG. 6 is a diagram illustrating an example of exposing the configured interface to various display devices.
  • the situation information providing apparatus 300 when the situation information providing apparatus 300 receives the camera and radar sensor information of the specific vehicle 200a and the camera and radar sensor information 400 of the external vehicle, the situation information is provided based on the received information.
  • the device 300 may configure a panorama-type interface based on the effective range information and the information processing reference information stored in the storage module 330.
  • image information is received from four cameras 210a to 210d installed in the vehicle 200, and the image information is reconstructed in a panorama form as 210e.
  • the interface configured as described above may be transmitted to the actuator 230 including various display devices and displayed.
  • an example in which the reconstructed panoramic interface is exposed to various display devices includes a head-up display 230a device, a car dashboard 230b, a rearview mirror 230c, and the like, such as 230a to 230c. Can be displayed on the device.
  • the present invention relates to a method and apparatus for providing vehicle status information in a panoramic form using multiple cameras and radar sensor information, and more particularly, to a plurality of adjacent vehicles having multiple cameras and radar sensors connected thereto.
  • the situation information providing apparatus determines the situation of each vehicle and reconstructs the interface based on the received image information and the sensing information to transmit to the vehicle,
  • the present invention relates to a vehicle situation information providing method and apparatus for configuring a dynamic vehicle interface for each driver's situation.
  • a vehicle that can obtain a wide range of information around the vehicle from a variety of perspectives Situation information can be provided, and through this, the driver's understanding and responsiveness to the surrounding situation of the vehicle can be improved, thereby contributing to safe driving and contributing to the development of the automobile industry.
  • the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

Abstract

본 발명은 다중 카메라와 레이더 센서 정보를 이용하여 파노라마 형태로 차량 상황 정보를 제공하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 다중 카메라와 레이더 센서를 부착하고 있는 인접한 다수의 차량이 연계되어 각 차량의 영상 정보와 센싱 정보를 통신망을 통해 상황 정보 제공 장치로 전송하면, 상황 정보 제공 장치가 각 차량의 상황을 판단하여 상기 수신한 영상 정보와 센싱 정보를 바탕으로 각 운전자의 상황에 맞게 인터페이스를 재구성하여 차량에 전송함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보를 제공할 수 있고, 이를 통하여 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있다.

Description

다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치
본 발명은 다중 카메라와 레이더 센서 정보를 이용하여 파노라마 형태로 차량 상황 정보를 제공하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 다중 카메라와 레이더 센서를 부착하고 있는 인접한 다수의 차량이 연계되어 각 차량의 영상 정보와 센싱 정보를 통신망을 통해 상황 정보 제공 장치로 전송하면, 상황 정보 제공 장치가 각 차량의 상황을 판단하여 상기 수신한 영상 정보와 센싱 정보를 바탕으로 인터페이스를 재구성하여 차량에 전송함으로써, 각 운전자의 상황에 맞는 동적 차량 인터페이스를 구성하기 위한 차량 상황 정보 제공 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 센서가 측정한 센싱 정보를 처리하는 기술과 카메라에 의해 촬영된 영상 정보를 처리하는 기술이 발전하면서 다양한 분야에서 이를 응용하고 있다.
특히, 차량 정보 제공 시스템에 있어서, 차량에 다중 카메라와 레이더 센서를 부착하여 상기 카메라와 센서로부터 얻어진 정보들을 이용하여 운전자에게 제공함으로써, 운전자가 운전 중 볼 수 없거나 놓칠 수 있는 차량 주변의 정보들을 제공함으로써 안전 운전을 유도하고 있다.
또한, 이러한 차량 정보 제공 시스템을 가상세계에서 운전 환경의 실세계를 그대로 재현하고, 복합 멀티미디어(동영상 및 텍스트 정보)를 활용하여 직관적이고 효과적인 정보의 전달이 가능해지고 있다.
최근에는 다중 카메라를 차량 4면에 부착하고 이렇게 얻어진 영상 정보를 활용하여 차량 내부에 360도 파노라마 형식으로 영상 정보를 구성하여 제공함으로써, 실시간 운정 상황에 대해 운전자의 이해와 대응력을 높이고 있다.
하지만 기존의 차량 정보 제공 시스템은 하나의 차량 내에서 얻어진 정보를 하나의 특정 차량에 설치된 차량 정보 제공 시스템이 재구성하여 동일한 특정 차량에 제공함으로써, 차량 주변의 운전 상황을 폭넓게 제공할 수 없다는 문제점이 있었고, 어떠한 장애물에 의하여 차량에 부착된 카메라에 의해 얻어진 영상 정보가 부정확할 수 있었으며, 하나의 관점에서 촬영된 영상만을 제공함으로써, 다양한 관점에서 차량의 주변상황을 제공 받지 못하는 문제점이 있었다.
상술한 문제점을 해결하기 위하여 본 발명은 인접한 다수의 차량을 연계하여 각 차량에서 얻어진 영상 정보와 센싱 정보를 공유하고 이를 각 운전자의 상황에 맞게 인터페이스를 구성함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보 제공 방법을 제공하고자 한다.
특히, 차량 상황 정보 제공 장치가 인접한 다수의 차량 정보를 통신망을 통해 수신하고 각 운전자의 상황을 추정하여, 추정된 운전자의 상황에 맞도록 파노라마 형태의 인터페이스를 구성함으로써, 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있는 방법을 제안하고자 한다.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 상황 정보 제공 장치는 통신망과 연동하여 적어도 하나의 차량과 데이터를 송수신하는 통신모듈, 특정 차량에 설치된 복수의 카메라 및 레이더 센서로부터 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 센서모듈, 상기 센서 모듈로부터 수신한 정보, 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하는 차량 상황 판단 모듈 및 상기 추정된 상황 정보와 상기 센서모듈로부터 수신한 정보, 적어도 하나의 차량으로부터 수신한 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하는 인터페이스 구성 모듈을 포함할 수 있다.
이 때, 상기 차량 상황 판단 모듈은 상기 특정 차량이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량에 위급 상황 알림 정보를 전송하도록 제어할 수 있고, 상기 수신한 정보를 저장하는 저장모듈을 더 포함할 수 있으며, 상기 인터페이스 구성 모듈은 운전자의 요청이 있는 경우, 상기 저장된 정보를 기반으로 일정 시간 동안의 상기 운전자의 상황 또는 주변 상황을 재구성하여 전송하도록 제어할 수 있다.
또한, 상기 카메라 영상 정보는 각 카메라의 식별정보(Camera), 시간 정보(TimeStamp), 상대방향정보(RelativeOrientation) 및 상대위치정보(RelativeLocation) 중 적어도 어느 하나를 포함할 수 있고, 상기 레이더 센서 정보는 시간 정보(TimeStamp), 감지된 물체에 관한 정보(DetectedObject), 거리정보(Distance), 방향정보(Orientation) 및 상대속도정보(RelativeSpeed) 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 인터페이스 구성 모듈이 처리 가능한 카메라 영상 정보의 유효범위를 저장하는 저장모듈을 더 포함할 수 있고 상기 카메라 영상 정보의 유효범위는 카메라 센서의 개수 정보(NumberOfCameraCapability), 각 카메라 센서의 스펙 정보(CameraCapability) 및 각 카메라의 영상 정보에 접근 할 수 있는 접근 정보(AccessPoint) 중 적어도 어느 하나를 포함할 수 있고, 상기 인터페이스 구성 모듈이 처리 가능한 레이더 센서 정보의 유효범위를 저장하는 저장모듈을 더 포함하고, 상기 레이더 센서 정보의 유효범위는 물체 감지를 위한 유효거리 정보(DistanceCapability), 물체 감지를 위한 유효방향 정보(OrientationCapbility) 및 물체 감지를 위한 유효상대속도 정보(RelativeSpeedCapability) 중 적어도 어느 하나의 정보를 포함할 수 있다.
또한, 상기 인터페이스 구성 모듈이 카메라 영상 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함하고, 상기 카메라 영상의 기준 정보는 상기 인터페이스 구성 모듈이 처리하는 영상의 해상도 정보(Resolution), 처리하는 영상의 가로 크기 정보(Width), 처리하는 영상의 세로 크기 정보(Height) 중 적어도 어느 하나의 정보를 포함할 수 있고, 상기 인터페이스 구성 모듈이 레이더 센서 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함할 수 있으며, 상기 레이더 센서의 기준 정보는 최대로 감지할 수 있는 객체의 수 정보(MaxValue), 상기 인터페이스 구성 모듈이 처리하는 거리 정보의 최대/최소값 및 단위를 기록한 거리정보(Distance), 처리하는 각도 정보의 범위 및 단위를 기록한 방향정보(Orientaion) 및 처리하는 상대 속도의 최대/최소값 및 단위를 기록한 상대속도정보(RelativeSpeed) 중 적어도 어느 하나의 정보를 포함할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 차량 상황정보제공 방법은 상황 정보 제공 장치가 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 단계, 상기 수신된 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하는 단계, 상기 추정된 상황 정보와 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 수신한 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하는 단계 및 상기 구성된 인터페이스 정보를 상기 특정 차량으로 전송하는 단계를 포함할 수 있다.
본 발명에 따르면, 인접한 다수의 차량을 연계하여 각 차량에서 얻어진 영상 정보와 센싱 정보를 공유하고 이를 각 운전자의 상황에 맞게 인터페이스를 구성함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보를 제공할 수 있고, 이를 통하여 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도1은 본 발명의 실시 예에 따라 차량 정보를 제공하기 위한 시스템의 구성을 나타내는 도면이다.
도2는 본 발명에 따른 차량 상황 정보 제공 장치의 구성을 나타내는 블록도이다.
도3은 본 발명의 실시 예에 따른 차량 상황 정보 제공 방법을 설명하기 위한 흐름도이다.
도4는 본 발명의 실시 예에 따른 정보 처리 과정 및 방법을 설명하기 위한 도면이다.
도5 내지 도6은 본 발명에 따른 차량 정보 제공 방법의 일 실시 예를 설명하기 위한 예시도이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
그러면 이제, 본 발명의 실시 예에 따른 차량 상황 정보 제공 방법에 대하여 도면을 참조하여 상세하게 설명하도록 한다.
도1은 본 발명의 실시 예에 따른 차량 상황 정보를 제공하기 위한 시스템의 구성을 나타내는 도면이다.
도1을 참조하면, 본 발명의 실시 예에 따른 차량 상황 정보를 제공하기 위한 시스템은 인접해 있는 복수의 차량(200), 각 차량에 부착되어 있는 카메라 및 레이더(RADAR) 센서(210) 및 상황정보제공장치(300)를 포함하여 구성될 수 있으며, 상기 인접해 있는 복수의 차량(200)은 통신망(100)을 통해서 연동된다.
그러면, 도1을 참조하여 각 구성요소에 대해 개략적으로 설명하도록 한다.
먼저, 통신망(100)은 인접해 있는 복수의 차량(200) 간 데이터 송수신을 위해 데이터를 전달하는 역할을 하며, 시스템 구현 방식에 따라 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution Advanced) 등의 무선 통신 방식을 이용할 수 있고, 블루투스(Bluetooth), ZigBee, UWB (Ultra-WideBand), ANT등, PAN (Personal Area Network) 방식의 다양한 근거리 통신 기술들을 적용할 수도 있다.
또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
복수의 차량(200)은 차량의 외부 4면에 복수의 카메라와 레이더 센서(210)을 설치하여, 상기 설치된 복수의 카메라와 레이더 센서(210)로부터 수집된 정보를 통신망(100)을 통해 특정 차량의 상황정보제공장치(300)에 전송한다.
이 때, 복수의 차량(200)은 복수의 카메라와 레이더 센서(210)로부터 수집된 정보를 PAN 방식의 근거리 통신망을 통하여 직접 특정 차량에 전송할 수 있고, 무선 통신망을 통하여 서버에 상기 수집된 정보를 전송하면, 상기 서버가 다시 무선 통신망을 통하여 특정 차량에 전송할 수 도 있다.
다만, 복수의 차량(200) 중 어느 하나의 차량(200a)이 수집한 정보를 자신의 차량에 포함되어 있는 상황정보제공장치(300)로 전송하는 경우, 반드시 통신망(100)을 사용하여야 하는 것은 아니며, 복수의 카메라와 레이더 센서(210)가 수집한 정보를 자신의 차량(200a)의 상황정보제공장치(300)로 바로 전달할 수도 있다.
복수의 차량(200)에 설치된 복수의 카메라와 레이더 센서(210)는 각 차량의 주변 상황에 관한 정보를 수집한다.
즉, 복수의 카메라는 해당 카메라가 설치된 위치의 상황을 촬영하여 상기 촬영된 영상 정보를 복수의 차량(200)에 있는 상황 정보 제공 장치(300)에 전달하고, 복수의 레이더 센서는 각 레이더 센서가 설치된 위치 주변의 객체의 접근 정도를 판단하여 객체가 접근하는 상대방향, 상대속도, 상대위치 등에 관한 정보를 상황정보제공장치(300)에 전달한다.
상황정보제공장치(300)는 특정차량이 수집한 영상 정보 및 레이더 센서 정보, 상기 특정차량과 인접한 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 상기 특정 차량의 운전자 상황 또는 주변 상황을 추정하고, 상기 추정된 상황 정보와 상기 특정차량이 수집한 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하여, 차량 내부 출력모듈에 상기 파노라마 형태로 구성된 인터페이스를 출력하도록 제어할 수 있다.
이 때, 상황정보제공장치(300)는 특정 차량이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량에 위급 상황 알림 정보를 상기 출력모듈에 전송하여 출력할 수 있으며, 운전자의 요청이 있는 경우, 상황정보제공장치(300)에 저장된 정보를 기반으로 일정 시간 동안의 상기 운전자의 상황 또는 주변 상황을 재구성할 수 있다.
한편, 상황정보제공장치(300)는 도1에 표시된 것과 같이 차량 내부에 구현될 수 있고, 서버의 형태로 차량 외부에 구현되어 통신망(100)을 통해 특정 차량으로 상기 정보들을 전송할 수도 있다.
이상으로 본 발명의 실시 예에 따른 차량 상황 정보 제공 시스템의 구성에 대해 설명하였다.
이하, 본 발명에 따른 상황정보제공장치(300)의 구성 및 동작 방법에 대해 설명하도록 한다.
도2는 상황정보제공장치(300)의 주요구성을 나타내는 블록도이고, 도3은 상 본 발명에 따른 상황정보제공장치(300)의 동작방법을 설명하기 위한 흐름도이다.
먼저 도2를 참조하면 본 발명에 따른 상황정보제공장치(300)는 통신모듈(310), 저장모듈(330), 제어모듈(350) 및 센서모듈(370)로 구성될 수 있다.
통신모듈(310)은 특정 차량(200a)과 인접한 적어도 하나의 차량(200b~200d)과 통신하기 위한 것으로서, 상기 통신모듈(410)이 기능을 수행하기 위한 통신망은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하거나, 블루투스(Bluetooth), ZigBee, UWB (Ultra-WideBand), ANT 등 PAN (Personal Area Network) 방식의 다양한 근거리 통신 기술들을 이용할 수 있다.
특히, 본 발명에 있어서 통신모듈(310)은 특정 차량(200a)과 인접한 적어도 하나의 차량(200b~200d)으로부터 해당 차량의 주변 상황을 촬영하고 감지한 카메라 영상 정보와 레이더 센서 정보를 수신할 수 있고, 특정 차량(200a)의 주변 상황을 촬영하고 감지한 카메라 영상 정보와 레이더 센서 정보를 적어도 하나의 차량(200b~200d)에 전송할 수 있다.
여기서, 상기 레이더 센서 정보는 특정 차량(200a) 주변 객체의 상대 속도, 도착 각도 및 거리를 지속적으로 관찰함으로써, 움직이거나 고정된 타겟을 센싱하는 레이더 센서 정보(RADAR sensor type)을 말하는데, 상기 레이더 센서 정보는 시간 정보(TimeStamp), 감지된 물체에 관한 정보(DetectedObject), 거리정보(Distance), 방향정보(Orientation) 및 상대속도정보(RelativeSpeed) 중 적어도 어느 하나를 포함할 수 있다.
<구문예1>
표 1
<complexType name="RADARSensorType"> <complexContent> <extension base="iidl:SensedInfoBaseType"> <sequence maxOccurs="unbounded"> <element name="DetectedObject"> <complexType> <sequence> <element name="Distance" type="siv:FValueWithUnitType"/> <element name="Orientation" type="siv:FValueWithUnitType"/> <element name="RelativeSpeed" type="siv:FValueWithUnitType"/> </sequence> </complexType> </element> </sequence> </extension> </complexContent></complexType><complexType name="FValueWithUnitType"> <simpleContent> <extension base="float"> <attribute name="unit" type="mpegvct:unitType"/> </extension> </simpleContent></complexType>
상기의 <구문예 1>은 레이더 센서 정보에 대한 선언을 기술한 예시이다.
이 때, TimeStamp는 정보가 감지된 시간을 나타내는 시간 정보이고, DetectedObject는 감지된 객체의 정보를 나타내는 객체 정보이며, Distance는 감지된 객체와의 거리를 나타내는 거리 정보이고, Orientation은 감지된 객체의 각도 정보이고, RelativeSpeed는 감지된 객체의 상대속도 정보이다.
<구문예2>
표 2
<iidl:InteractionInfo xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mpegvct="urn:mpeg:mpeg-v:2010:01-CT-NS" xmlns:siv="urn:mpeg:mpeg-v:2010:01-SIV_-NS" xmlns:siv="urn:mpeg:mpeg-v:2010:01-SIV-NS" xmlns:iidl="urn:mpeg:mpeg-v:2010:01-IIDL-NS" xsi:schemaLocation="urn:mpeg:mpeg-v:2010:01-SIV-NS MPEG-V-SIV.xsd"> <iidl:SensedInfoList> <iidl:SensedInfo xsi:type="siv:RADARSensorType" value="100" detected="true" unit="meter" id="RST001" activate="true"> <iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/> <siv:Distance unit="meter">100</siv:Distance> <siv:Orientation unit="degree">30</siv:Orientation> <siv:RelativeSpeed unit="kmperhour">60</siv:RelativeSpeed> </iidl:SensedInfo> </iidl:SensedInfoList></iidl:InteractionInfo>
상기의 <구문예2>는 상기 <구문예1>의 레이더 센서에 의해 감지된 객체에 대한 정보를 나타낸 예시문이다.
센서의 ID는 “RST001”이고, 센서는 활성화 되어 있고(activate=”true”), 감지된 객체의 거리 값은 100미터이다. 레이더 센서는 100 clock ticks per second의 감지 속도로 6000의 시간 정보(TimeStamp) 값을 가지고, 레이더 센서를 기준으로 감지된 객체의 각도는 30도이며, 상태속도는 60km/h 이다.
또한, 상기 카메라 영상 정보는 카메라의 배열에 의해 실세계를 감지하는 카메라 영상 정보(Camera Sensor Type)을 말하고, 배열 카메라 센서 타입은 추가된 상대 위치 정보와 함께 카메라 영상 정보의 확장성으로 정의될 수 있는데, 상기 카메라 영상 정보는 각 카메라의 식별정보(Camera), 시간 정보(TimeStamp), 상대방향정보(RelativeOrientation) 및 상대위치정보(RelativeLocation) 중 적어도 어느 하나를 포함할 수 있다.
<구문예3>
표 3
<complexType name="ArrayCameraSensorType"> <sequence maxOccurs="unbounded"> <element name="Camera"> <complexType> <complexContent> <extension base="siv:CameraSensorType"> <sequence><element name="RelativeOrientation" type="siv:OrientationSensorType"/> <element name="RelativeLocation"> <complexType> <complexContent> <extension base="mpegvct:Float3DVectorType"> <attribute name="unit" type="mpegvct:unitType"/> </extension> </complexContent> </complexType> </element> </sequence> </extension> </complexContent> </complexType> </element> </sequence></complexType>
상기의 <구문예3>은 카메라 영상 정보에 대한 선언을 기술한 예시이다.
ArrayCameraSensorType은 배열 카메라 센서를 묘사하기 위한 도구이고, Camera는 각 카메라 센서의 식별 정보이며, TimeStamp는 정보가 감지된 시간을 나타내는 정보이고, RelativeOrientation은 각 카메라 센서의 상대적인 방향을 묘사하기 위한 것으로서, 만약, 상대적인 방향이 명시되어 있다면, CameraSensorType에 기재된 CameraOrientation은 무시된다. 모든 카메라 센서는 제1카메라 센서를 기초로 상대적으로 셋팅된다.
<구문예4>
표 4
<iidl:InteractionInfo xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mpegvct="urn:mpeg:mpeg-v:2010:01-CT-NS" xmlns:siv_="urn:mpeg:mpeg-v:2010:01-SIV_-NS" xmlns:siv="urn:mpeg:mpeg-v:2010:01-SIV-NS" xmlns:iidl="urn:mpeg:mpeg-v:2010:01-IIDL-NS" xsi:schemaLocation="urn:mpeg:mpeg-v:2010:01-SIV-NS MPEG-V-SIV.xsd"> <iidl:SensedInfoList> <iidl:SensedInfo xsi:type="siv:ArrayCameraSensorType" id="ACST001" activate="true"> <siv:Camera focalLength="10" aperture="2.8" id="CID000"> <iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/> <siv:RelativeOrientation unit="degree"> <siv:Orientation> <mpegvct:X>0</mpegvct:X> <mpegvct:Y>0</mpegvct:Y> <mpegvct:Z>0</mpegvct:Z> </siv:Orientation> </siv:RelativeOrientation> <siv:RelativeLocation unit="cm"> <mpegvct:X>0</mpegvct:X> <mpegvct:Y>0</mpegvct:Y> <mpegvct:Z>0</mpegvct:Z> </siv:RelativeLocation> </siv:Camera> <siv:Camera focalLength="10" aperture="2.8" id="CID001"> <iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/> <siv:RelativeOrientation unit="degree"> <siv:Orientation> <mpegvct:X>0</mpegvct:X> <mpegvct:Y>0</mpegvct:Y> <mpegvct:Z>90</mpegvct:Z> </siv:Orientation> </siv:RelativeOrientation> <siv:RelativeLocation unit="cm"> <mpegvct:X>90</mpegvct:X> <mpegvct:Y>-250</mpegvct:Y> <mpegvct:Z>0</mpegvct:Z> </siv:RelativeLocation> </siv:Camera> <siv:Camera focalLength="10" aperture="2.8" id="CID002"> <iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/> <siv:RelativeOrientation unit="degree"> <siv:Orientation> <mpegvct:X>0</mpegvct:X> <mpegvct:Y>0</mpegvct:Y> <mpegvct:Z>180</mpegvct:Z> </siv:Orientation> </siv:RelativeOrientation> <siv:RelativeLocation unit="cm"> <mpegvct:X>0</mpegvct:X> <mpegvct:Y>-500</mpegvct:Y> <mpegvct:Z>0</mpegvct:Z> </siv:RelativeLocation> </siv:Camera> <siv:Camera focalLength="10" aperture="2.8" id="CID003"> <iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/> <siv:RelativeOrientation unit="degree"> <siv:Orientation> <mpegvct:X>0</mpegvct:X> <mpegvct:Y>0</mpegvct:Y> <mpegvct:Z>270</mpegvct:Z> </siv:Orientation> </siv:RelativeOrientation> <siv:RelativeLocation unit="cm"> <mpegvct:X>-90</mpegvct:X> <mpegvct:Y>-250</mpegvct:Y> <mpegvct:Z>0</mpegvct:Z> </siv:RelativeLocation> </siv:Camera> </iidl:SensedInfo> </iidl:SensedInfoList></iidl:InteractionInfo>
상기 <구문예4>는 상기 <구문예3>의 카메라 배열에 대해 기술한 예시문이다.
상기 카메라 센서는 “ACST001”의 ID를 가지고 있고, “CID000~CID003”과 같이 각각의 ID를 가지는 4개의 서브 카메라를 가지고 있다. 카메라 센서는 활성화가 되어 있고, 상기 센서는 100 clock ticks per second의 감지속도로 6000의 시간 정보 값을 가지고 있다.
제1카메라 센서는 (0,0,0)에 위치하고, 카메라 방향(Orientation)은 (0,0,0)이다. 나머지 카메라 센서는 (90,-250,0),(0,-500,0),(-90,-250,0)에 위치하고, 방향을 고려하는 상대적인 위치는 (0,0,90),(0,0,180),(0,0,270)이다. 모든 서비 카메라의 방향은 차량의 외부 전체를 커버할 수 있도록 오직 Z축에서 움직인다.
저장 모듈(330)은 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 상황정보제공장치(300)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장 모듈(330)은 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 상황정보제공장치(300)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어 모듈(350)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.
특히, 본 발명에 따른 저장모듈(330)은 인터페이스 구성 모듈(351)이 처리 가능한 카메라 영상 정보 및 레이더 센서 정보의 유효범위(Capability) 와 인터페이스 구성모듈(351)이 카메라 영상 정보 및 레이더 센서 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보(Adaptation Preference)를 포함할 수 있다.
여기서, 상기 카메라 영상 정보의 유효범위(Array Camera Sensor Capability Type)는 카메라 센서의 개수 정보(NumberOfCameraCapability), 각 카메라 센서의 스펙 정보(CameraCapability) 및 각 카메라의 영상 정보에 접근 할 수 있는 접근 정보(AccessPoint) 중 적어도 어느 하나를 포함할 수 있다.
<구문예5>
표 5
<complexType name="ArrayCameraSensorCapabilityType"> <complexContent> <extension base="cidl:SensorCapabilityBaseType"> <sequence> <element name="NumberOfCameraCapability"> <complexType> <complexContent> <extension base="cidl:SensorCapabilityBaseType"/> </complexContent> </complexType> </element> <element name="CameraCapability" maxOccurs="unbounded"> <complexType> <complexContent> <extension base="scdv:CameraSensorCapabilityType"> <sequence> <element name="AccessPoint" type="anyURI" minOccurs="0"/> </sequence> </extension> </complexContent> </complexType> </element> </sequence> </extension> </complexContent></complexType>
상기 <구문예5>는 배열 카메라에 관한 유효범위(Capability)를 기술한 것으로서, 배열 카메라 유효범위(Array Camera Capability)는 각 카메라 센서를 위한 센싱 유효범위를 명시하고, 센서 유효범위 베이스 타입의 확장으로서 정의된다.
ArrayCameraSensorCapabilityType은 배열 카메라 센서의 유효범위를 서술하기 위한 도구이고, NumberOfCameraCapability는 이용가능한 카메라 센서의 개수에 관하여 기술한 것이며, CameraCapability는 각각 카메라 센서의 역량을 기술한 것이고, AccessPoint는 비디오 스트림 또는 이미지와 같은 카메라 센서의 로우 컨텐츠(raw contents)를 위하여 사용되는 액세스 포인트에 대해서 기술한 것이다.
<구문예6>
표 6
<cidl:SensorDeviceCapability xsi:type="scdv:ArrayCameraSensorCapabilityType" id="ACSCT001"><scdv:NumberOfCameraCapability maxValue="4" minValue="0"/><scdv:CameraCapability id="CC000"> <scdv:AccessPoint>http://vpv.keti.re.kr/C000</scdv:AccessPoint></scdv:CameraCapability><scdv:CameraCapability id="CC001"> <scdv:AccessPoint>http://vpv.keti.re.kr/C001</scdv:AccessPoint></scdv:CameraCapability><scdv:CameraCapability id="CC002"> <scdv:AccessPoint>http://vpv.keti.re.kr/C002</scdv:AccessPoint></scdv:CameraCapability><scdv:CameraCapability id="CC003"> <scdv:AccessPoint>http://vpv.keti.re.kr/C003</scdv:AccessPoint></scdv:CameraCapability></cidl:SensoryDeviceCapabilityList>
상기 <구문예6>은 상기 <구문예5>의 배열 카메라 센서 유효범위의 설명을 보여주기 위한 예시이다.
센서 유효범위는 “ACSCT001”의 ID를 가지고 있고, 배열 카메라는 카메라로부터 오는 로우 컨텐츠를 검색하기 위한 액세스 포인드를 각각 가지는 4개의 서브 카메라를 가지고 있다.
또한, 레이더 센서 정보의 유효범위(RADAR Sensor Capability Type)는 물체 감지를 위한 유효거리 정보(DistanceCapability), 물체 감지를 위한 유효방향 정보(OrientationCapbility) 및 물체 감지를 위한 유효상대속도 정보(RelativeSpeedCapability) 중 적어도 어느 하나의 정보를 포함할 수 있다.
<구문예7>
표 7
<complexType name="RADARSensorCapabilityType"> <complexContent> <extension base="cidl:SensorCapabilityBaseType"> <sequence> <element name="DistanceCapability"> <complexType> <complexContent> <extension base="cidl:SensorCapabilityBaseType"/> </complexContent> </complexType> </element> <element name="OrientationCapability"> <complexType> <complexContent> <extension base="cidl:SensorCapabilityBaseType"/> </complexContent> </complexType> </element> <element name="RelativeSpeedCapability"> <complexType> <complexContent> <extension base="cidl:SensorCapabilityBaseType"/> </complexContent> </complexType> </element> </sequence> </extension> </complexContent></complexType>
상기 <구문예7>은 레이더 센서 주변 객체를 위한 거리, 지향각, 상대속도를 지속적으로 관찰함으로써, 움직이거나 고정된 타겟에 관한 유효범위를 기술한 것이다.
RADARSensorCapabilityType은 RADAR 센서 유효범위를 기술하기 위한 툴(tool)이고, DistanceCapability는 레이더 센서에 감지된 객체의 유효거리를 기술한 것이며, OrientationCapability는 레이더 센서에 감지된 객체의 유효 방향을 기술한 것이고, RelativeSpeedCapability는 레이더 센서에 감지된 객체의 유효 상대속도를 기술한 것이다.
<구문예8>
표 8
<cidl:SensorDeviceCapability xsi:type="RADARSensorCapabilityType" id="RSCT001"><scdv:DistanceCapability maxValue="500" minValue="0.5" unit="meter"/><scdv:OrientationCapability maxValue="100" minValue="0" unit="degree"/><scdv:RelativeSpeedCapability maxValue="250" minValue="-250" unit="kmperhour"/></cidl:SensoryDeviceCapability>
상기 <구문예8>은 상기 <구문예7>에 따른 레이더 센서 유효범위의 서술을 보여주기 위한 예시이다. 센서의 유효범위는 “RSCT001”의 ID를 가지고, 센서는 0.5~500미터 사이의 객체를 측정할 수 있다. 감지된 객체의 지향각 정보는 0~100도 사이로 제공되며, 상대속도 정보는 -250km/h에서 250km/h사이에서 제공될 수 있다.
한편, 상기 카메라 영상 정보의 정보처리 기준 정보(Array Camera sensor adaptation preference type)는 상기 인터페이스 구성 모듈(351)이 처리하는 영상의 해상도 정보(Resolution), 처리하는 영상의 가로 크기 정보(Width), 처리하는 영상의 세로 크기 정보(Height) 중 적어도 어느 하나의 정보를 포함할 수 있다.
<구문예9>
표 9
<!-- ################################################ --><!-- Array Camera Sensor Adaptation Preference type --><!-- ################################################ --><complexType name="ArrayCameraAdaptationPrefType"> <complexContent> <extension base="cidl:SensorAdaptationPreferenceBaseType"> <sequence maxOccurs="unbounded"> <element name="Camera" type="sapv:CameraAdaptationPrefType"/> </sequence> </extension> </complexContent></complexType><complexType name="CameraAdaptationPrefType"> <complexContent> <extension base="cidl:SensorAdaptationPreferenceBaseType"> <sequence> <element name="Resolution"> <complexType> <sequence> <element name="Width"> <complexType> <complexContent> <extension base="cidl:SensorAdaptationPreferenceBaseType"/> </complexContent> </complexType> </element> <element name="Height"> <complexType> <complexContent> <extension base="cidl:SensorAdaptationPreferenceBaseType"/> </complexContent> </complexType> </element> </sequence> </complexType> </element> </sequence> </extension> </complexContent></complexType>
상기 <구문예9>는 배열 카메라 센서로부터 센싱된 데이터를 선택적으로 조정하기 위한 사용자의 설정 기준의 구문을 명시한 것이다.
ArrayCameraAdaptationPrefType은 배열 카메라에 센싱된 정보의 처리 기준을 기술하기 위한 툴(tool)이다. Camera는 각 카메라 센서의 정보 처리 기준을 기술한 것이고, Resolution은 카메라 센싱 정보에 요구되는 해상도에 대해 기술한 것이며, Width는 가로 크기 범위에 대해 기술한 것이고, Height는 세로 크기 범위에 대해 기술한 것이다.
<구문예10>
표 10
<cidl:SAPreference xsi:type="sapv:ArrayCameraAdaptationPrefType" id="ACSAP001" sensorAdaptationMode="strict"><sapv:Camera id="CID000"> <sapv:Resolution> <sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/> <sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/> </sapv:Resolution> </sapv:Camera><sapv:Camera id="CID001"> <sapv:Resolution> <sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/> <sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/> </sapv:Resolution> </sapv:Camera><sapv:Camera id="CID002"> <sapv:Resolution> <sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/> <sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/> </sapv:Resolution> </sapv:Camera><sapv:Camera id="CID003"> <sapv:Resolution> <sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/> <sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/> </sapv:Resolution> </sapv:Camera></cidl:SAPreference>
상기 <구문예10>은 상기 <구문예9>에 기술된 배열 카메라에 의해 센싱된 정보의 처리기준에 대한 설명을 보여주는 예시이다.
이 처리기준은 “ACSAP001”이라는 ID를 가지고 있고, 4개의 카메라 센서는 각각의 센서 적용 기준을 기술한다. 상기 적용 기준은 가로크기 범위와 세로크기 범위로 정의되고, 가로 크기 범위는 최대값 4096, 최소값 2048을 가진다. 또한, 가로크기의 최대값과 최소값 사이에는 총 5단계로 구분될 것이 요구되며, 세로 크기 범위는 최대값 2160, 최소값 1080을 가지고, 역시 최대값과 최소값 사이에는 총 5단계로 구분될 것이 요구된다.
한편, 레이더 센서의 기준 정보(RADAR Sensor Adaptation Preference type)는 최대로 감지할 수 있는 객체의 수 정보(MaxValue), 상기 인터페이스 구성 모듈이 처리하는 거리 정보의 최대/최소값 및 단위를 기록한 거리정보(Distance), 처리하는 각도 정보의 범위 및 단위를 기록한 방향정보(Orientaion) 및 처리하는 상대 속도의 최대/최소값 및 단위를 기록한 상대속도정보(RelativeSpeed) 중 적어도 어느 하나의 정보를 포함할 수 있다.
<구문예11>
표 11
<!-- ########################################### --><!-- RADAR Sensor Adaptation Preference type --><!-- ########################################### --><complexType name="RADARAdaptationPrefType"> <complexContent> <extension base="cidl:SensorAdaptationPreferenceBaseType"> <sequence> <element name="Distance" type="sapv:DistanceAdaptationPrefType" minOccurs="0"/> <element name="Orientation" type="sapv:OrientationAdaptationPrefType" minOccurs="0"/> <element name="RelativeSpeed" type="sapv:VelocityAdaptationPrefType" minOccurs="0"/> </sequence> </extension> </complexContent></complexType>
상기 <구문예11>은 레이더 센서로부터 센싱된 데이터를 선택적으로 조정하기 위한 사용자의 설정 기준의 구문을 명시한 것이다.
RADARAdaptationPrefType은 레이더에 의해 센싱된 정보를 처리하는 기준을 기술하기 위한 도구이고, maxValue는 감지할 수 있는 최대 객체 수로서, 감지된 객체가 최대값을 넘으면 최대값에 가장 가까운 객체를 리턴시킨다. Distance는 감지된 객체의 거리 기준에 대하여 기술하고, Orientation은 감지된 객체의 각도 기준에 대하여 기술하며, RelativeSpeed는 감지된 객체의 상대속도 기준에 대하여 기술한다.
<구문예12>
표 12
<cidl:SAPreference xsi:type="sapv:RADARAdaptationPrefType" id="RADARSAP001" sensorAdaptationMode="strict" maxValue="3"> <Distance unit="meter" maxValue="100.0" minValue="0.0" numOfLevels="100"/><Orientation unit="degree" numOfLevels="50"> <OrientationRange> <YawMin>0</YawMin> <YawMax>100</YawMax> <PitchMin>0</PitchMin> <PitchMax>0</PitchMax> <RollMin>0</RollMin> <RollMax>0</RollMax> </OrientationRange> </Orientation> <RelativeSpeed unit="kmperhour" maxValue="250" minValue="-250" numOfLevels="500"/></cidl:SAPreference>
상기 <구문예12>는 상기 <구문예11>의 정보 처리 기준의 예시를 보여준다.
정보 처리 기준은 “RADARSAP001”이라는 ID를 가지고 있고, 레이더로부터 감지할 수 있는 최대 객체수는 “3”이며, 최대 거리 기준은 100미터, 최소 거리 기준은 0미터이다. 또한, 거리 값은 최대값과 최소값 사이에서 100단계로 나누어진다.
지향각 정보는 오직 Yaw 값에 의해서 서술되고, 최대값은 100도, 최소값은 0도를 가진다. 그리고 최대값과 최소값 사이에서 50단계로 나누어진다.
상대속도의 적용은 최대값 250km/h이고 최소값 -250km/h를 가지며, 최대값과 최소값 사이는 500단계로 나누어진다.
한편, 저장 모듈(330)은 센서모듈(370) 또는 통신모듈(310)을 통해 수신한 각종 정보를 저장한다.
제어모듈(350)은 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다.
특히, 본 발명에 따른 제어모듈(350)은 인터페이스 구성 모듈(351), 차량 상황 판단 모듈(353)을 포함할 수 있다.
차량 상황 판단 모듈(353)은 센서모듈(370)로부터 수신한 정보, 특정 차량(200a)과 인접한 차량들(200b~200d) 중 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정한다.
차량 상황 판단 모듈(353)이 상기 운전자 상황 또는 차량 주변 상황을 판단할 때, 레이더 센서 정보에 포함되어 있는 시간 정보를 바탕으로 현재 시간으로부터 얼마 전에 일어난 상황인지에 대하여 판단하고, 감지된 물체의 방향정보와 상대속도 정보 등을 이용하여 특정 차량의 어느 방향에서 물체가 어느 시간 이후에 어느 정도 특정 차량에 접근 할 것인지를 예측할 수 있다.
또한, 레이더 센서에 포함되어 있는 감지된 물체에 관한 정보와 카메라 영상 정보를 기반으로 감지된 물체의 크기나 형태 등을 측정하여 저장모듈(330)에 저장된 물체 정보 데이터베이스를 기반으로 특정 차량(200a)에 접근하는 물체의 종류를 추정할 수 있다.
또한, 차량 상황 판단 모듈(353)은 상기 추정 결과, 상기 특정 차량(200a)이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량(200a)에 위급 상황 알림 정보를 전송하도록 제어할 수도 있다.
여기서, 특정 차량(200a)이 위급상황에 있는 것으로 판단되는 경우란, 특정 차량(200a)과의 충돌이 있을 때, 특정차량(200a)에 피해를 줄 수 있는 물체의 접근 등이 될 수 있으며, 이러한 물체의 접근은 상기 레이더 센서 정보에 포함된 시간 정보와 거리 정보, 방향 정보, 상대속도 정보를 이용하여 감지된 물체가 특정차량(200a)에 충돌 하기까지 걸리는 시간과 충돌 가능성을 확률적으로 계산하여 기 설정된 확률보다 높은 경우, 상기 차량 상황 판단 모듈(353)은 현재 특정 차량(200a)에 위급상황이 있는 것으로 판단하여 위급 상황 알림 정보를 전송하도록 제어할 수 있다.
인터페이스 구성 모듈(351)은 상기 추정된 상황 정보와 상기 센서모듈(370)로부터 수신한 정보, 특정 차량(200a)과 인접한 차량들(200b~200d) 중 적어도 하나의 차량으로부터 수신한 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성한다.
이 때, 상기 인터페이스의 구성은 상기 카메라 영상 정보에 포함된 정보들을 활용하여 구성할 수 있다.
예를 들면, 시간 정보를 기준으로 현 시간에서 일정 시간 내에 포함된 영상들을 인터페이스를 구성하는 영상 정보의 후보군으로 선택하고, 각 카메라의 식별 정보를 기반으로 인터페이스 구성에 들어갈 위치를 파악할 수 있다.
즉, 특정 차량(200a)의 앞에 있는 주변 차량의 후방 카메라로부터 카메라 영상을 수신한 경우, 특정 차량(200a)의 입장에서는 주변 차량의 후방 카메라 위치가 자신의 전면 상황이 되므로, 파노라마 인터페이스 구성 시, 전면 상황을 비추는 부분에 주변 차량의 후방 카메라 영상 정보를 띄울 수 있는 것이다.
또한, 감지된 객체의 상대 방향 정보 또는 상대 위치 정보를 기반으로 수신한 카메라 영상 정보 중, 어느 정보를 지정된 위치에 노출 할 것인지를 판단할 수 있다.
즉, 상대방향 정보 또는 상대 위치 정보를 기반으로 특정 차량(200a)과 가장 가까이에 위치한 객체에 대한 정보를 인터페이스에 노출하는 것이 운전자에게 유리할 수 있으므로, 이러한 영상 정보를 선택하여 노출할 수 있다.
또한, 특정차량(200a)주변으로 사고가 발생한 경우, 운전자에게 사고 상황을 보다 상세히 전달하기 위하여, 사고가 발생한 지역을 중심으로 전후좌우면에서 촬영한 인접차량의 영상 정보를 특정차량(200a)이 수신하여 이를 파노라마 형태로 노출할 수 있다.
즉, 사고 차량이 있는 경우, 그 사고차량의 앞쪽에서 촬영된 인접 차량의 후방 카메라 영상 정보를 특정차량(200a)의 전면상황에 해당하는 인터페이스 부분에 노출 시키고, 상기 사고 차량의 좌측면에서 촬영된 인접차량의 우측면 카메라 영상 정보를 특정 차량(200a)의 좌측상황에 해당하는 인터페이스 부분에 노출 시킬 수 있다.
또한, 레이더 센서 정보에 포함된 감지된 물체에 관한 정보와 영상 정보를 기반으로 접근하는 물체가 어떤 물체인지를 파악하게 되면, 이러한 특정 물체에 대한 정보(예를 들면, 크기, 차량 연식, 모델명, 가격, 연비 등)을 특정 디스플레이 창에 띄울 수 있으며, 거리 정보와 방향 정보를 텍스트로 변환하여 출력하고, 충돌 예측 시간이나 상기 확률적으로 계산한 충돌 확률 정보 등을 텍스트로 변환하여 운전자에게 노출시킬 수 있다.
또한, 충돌 확률이 일정 이상이 된다면, 차량 상황 판단 모듈(353)이 전송하는 위급상황 알람 메시지와 함께, 충돌이 일어날 것이라고 추정되는 위치에 해당하는 디스플레이에 경고등을 점멸시키는 등의 경고 알람을 전송하도록 제어할 수 있다.
즉, 특정 차량(200a)의 좌측면에서 충돌이 일어날 것이라고 예상되는 경우, 좌측면에 해당하는 디스플레이에 좌측면의 상황과 함께 경고등을 점멸 시켜 운전자의 주의를 환기시킬 수 있다.
또한, 인터페이스 구성 모듈(351)은 운전자의 요청이 있는 경우, 저장모듈(330)에 저장된 정보를 기반으로 일정 시간 동안의 운전자의 상황 또는 주변 상황을 재구성하여 전송하도록 제어할 수 있다.
상기 일정 시간은 운전자의 설정에 의하여 변경 될 수 있으며, 카메라 영상 정보에 포함된 시간 정보를 기반으로 카메라 영상 정보를 추출할 수 있고, 주변 상황의 재구성은 위에서 서술한 인터페이스 구성 방법과 동일한 방법으로 구성할 수 있다.
센서모듈(370)은 센서에 의해 수집된 센싱 정보를 수신하기 위한 장치로서, 본 발명에서는 특정차량(200a)에 설치된 카메라와 레이더 센서(210a~210d)에 의해 수집된 센싱 정보를 입력받는다.
상기 수집된 센싱 정보는 통신모듈(310)을 통해 수신한 카메라 영상 정보 또는 레이더 센서 정보와 동일한 정보를 포함한다.
즉, 센서모듈(370)에서 수집한 셍싱 정보는 통신모듈(310)을 통해 다른 복수의 차량(200b~200d)로 송신될 수 있지만, 자신의 차량(200a) 상황정보제공장치(300)의 제어모듈(350)로 바로 전달될 수도 있다.
도3을 참조하여 상황정보제공장치(300)의 동작과정에 대하여 살펴보면, 상황정보제공장치(300)는 특정차량(200a) 및 특정차량(200a)에 인접한 복수의 차량(200b~200d)에 설치된 카메라 또는 레이더 센서에 의해 수집된 정보를 수신한다(S101). 상기 정보를 수신한 상황정보제공장치(300)는 상기 정보들 중 하나 이상의 정보를 기반으로 운전자 상황 또는 주변 상황을 추정한다(S103). 이 때, 추정된 상황 정보를 기반으로 특정 차량(200a)가 위급 상황에 있는 것으로 판단되는 경우, 상기 특정차량(200a)에 위급 상황 알림 정보를 전송할 수 있다.
상황정보제공장치(300)는 상기 추정된 상황 정보와 상기 수신한 정보들 중 하나 이상의 정보를 기반으로 차량 내부에 표시할 파노라마 형태의 인터페이스를 구성하고 이를 전송한다(S105~S107).
한편, 상황정보제공장치(300)는 상기 수신한 정보들을 저장하고 있다가 운전자의 요청이 있는 경우, 상기 저장된 정보를 기반으로 일정 시간 동안의 운전자의 상황 또는 주변 상황을 재구성할 수 있다.
예를 들면, 운전자가 운전 중에 사고가 발생한 경우, 과실여부를 판단하기 위하여 사고가 발생하기 전후로의 일정 시간 동안의 운전자 주변의 상황을 재구성하여 전송할 것을 요청 하면, 상황 정보 제공장치(300)는 사고가 발생했을 당시의 사고 상황을 재구성하여 운전자에게 제공할 수 있다.
이상으로 본 발명에 따른 상황정보제공장치(300)의 구성 및 동작 방법에 대해 설명하였다.
이하, 본 발명에 따른 파노라마 형태의 인터페이스 구성 방식에 대한 실시 예에 대해 설명하도록 한다.
도4는 상황정보제공장치(300)가 카메라 영상 정보 및 레이더 센서 정보를 수신하여 파노라마 형태의 인터페이스로 구성하고, 이를 디스플레이 하는 과정에 대해 설명하는 도면이고, 도 5는 각 카메라에서 촬영된 영상 정보를 파노라마 형태로 인터페이스를 구성하는 실시 예에 관한 도면이며, 도 6은 상기 구성된 인터페이스를 각종 디스플레이 장치에 노출하는 실시 예에 관한 도면이다.
도4를 살펴보면, 특정 차량(200a)의 카메라와 레이더 센서 정보와 외부 차량의 카메라 및 레이더 센서 정보(400)를 상황정보제공장치(300)가 수신하면, 상기 수신된 정보들을 기반으로 상황정보제공장치(300)는 저장 모듈(330)에 저장된 유효범위 정보와 정보 처리 기준 정보를 기반으로 파노라마 형태의 인터페이스를 구성할 수 있다.
도5를 참조하여, 상기 구성된 인터페이스의 예시를 보면, 차량(200)에 설치된 4대의 카메라(210a~210d)로부터 영상 정보를 수신하여 상기 영상 정보를 210e와 같이 파노라마 형태로 인터페이스를 재구성하게 된다.
이렇게 구성된 인터페이스를 각종 디스플레이 장치들이 포함된 액츄에이터(230)로 전송하여, 디스플레이 할 수 있다.
도6을 참조하여, 각종 디스플레이 장치들에 상기 재구성된 파노라마 형태의 인터페이스가 노출되는 예를 살펴보면, 230a~230c와 같이 해드업 디스플레이(230a) 장치나 자동차 계기판(230b), 백미러(230c) 등의 장치에 디스플레이 할 수 있다.
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명은 다중 카메라와 레이더 센서 정보를 이용하여 파노라마 형태로 차량 상황 정보를 제공하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 다중 카메라와 레이더 센서를 부착하고 있는 인접한 다수의 차량이 연계되어 각 차량의 영상 정보와 센싱 정보를 통신망을 통해 상황 정보 제공 장치로 전송하면, 상황 정보 제공 장치가 각 차량의 상황을 판단하여 상기 수신한 영상 정보와 센싱 정보를 바탕으로 인터페이스를 재구성하여 차량에 전송함으로써, 각 운전자의 상황에 맞는 동적 차량 인터페이스를 구성하기 위한 차량 상황 정보 제공 방법 및 장치에 관한 것이다.
본 발명에 따르면, 인접한 다수의 차량을 연계하여 각 차량에서 얻어진 영상 정보와 센싱 정보를 공유하고 이를 각 운전자의 상황에 맞게 인터페이스를 구성함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보를 제공할 수 있고, 이를 통하여 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있고, 자동차 산업 발전에 이바지 할 수 있다.
더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

Claims (10)

  1. 통신망과 연동하여 적어도 하나의 차량과 데이터를 송수신하는 통신모듈;
    특정 차량에 설치된 복수의 카메라 및 레이더 센서로부터 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 센서모듈;
    상기 센서 모듈로부터 수신한 정보, 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하는 차량 상황 판단 모듈; 및
    상기 추정된 상황 정보와 상기 센서모듈로부터 수신한 정보, 적어도 하나의 차량으로부터 수신한 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하는 인터페이스 구성 모듈
    을 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
  2. 제1항에 있어서, 상기 차량 상황 판단 모듈은
    상기 특정 차량이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량에 위급 상황 알림 정보를 전송하는 것을 특징으로 하는 상황 정보 제공 장치.
  3. 제1항에 있어서,
    상기 수신한 정보를 저장하는 저장모듈;
    을 더 포함하고,
    상기 인터페이스 구성 모듈은
    운전자의 요청이 있는 경우, 상기 저장된 정보를 기반으로 일정 시간 동안의 상기 운전자의 상황 또는 주변 상황을 재구성하는 것을 특징으로 하는 상황 정보 제공 장치.
  4. 제1항에 있어서, 상기 카메라 영상 정보는
    각 카메라의 식별정보(Camera), 시간 정보(TimeStamp), 상대방향정보(RelativeOrientation) 및 상대위치정보(RelativeLocation) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
  5. 제1항에 있어서, 상기 레이더 센서 정보는
    시간 정보(TimeStamp), 감지된 물체에 관한 정보(DetectedObject), 거리정보(Distance), 방향정보(Orientation) 및 상대속도정보(RelativeSpeed) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
  6. 제1항에 있어서,
    상기 인터페이스 구성 모듈이 처리 가능한 카메라 영상 정보의 유효범위를 저장하는 저장모듈을 더 포함하고,
    상기 카메라 영상 정보의 유효범위는
    카메라 센서의 개수 정보(NumberOfCameraCapability), 각 카메라 센서의 스펙 정보(CameraCapability) 및 각 카메라의 영상 정보에 접근 할 수 있는 접근 정보(AccessPoint) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
  7. 제1항에 있어서,
    상기 인터페이스 구성 모듈이 처리 가능한 레이더 센서 정보의 유효범위를 저장하는 저장모듈을 더 포함하고,
    상기 레이더 센서 정보의 유효범위는
    물체 감지를 위한 유효거리 정보(DistanceCapability), 물체 감지를 위한 유효방향 정보(OrientationCapbility) 및 물체 감지를 위한 유효상대속도 정보(RelativeSpeedCapability) 중 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
  8. 제1항에 있어서,
    상기 인터페이스 구성 모듈이 카메라 영상 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함하고,
    상기 카메라 영상의 기준 정보는
    상기 인터페이스 구성 모듈이 처리하는 영상의 해상도 정보(Resolution), 처리하는 영상의 가로 크기 정보(Width), 처리하는 영상의 세로 크기 정보(Height) 중 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
  9. 제1항에 있어서,
    상기 인터페이스 구성 모듈이 레이더 센서 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함하고,
    상기 레이더 센서의 기준 정보는
    최대로 감지할 수 있는 객체의 수 정보(MaxValue), 상기 인터페이스 구성 모듈이 처리하는 거리 정보의 최대/최소값 및 단위를 기록한 거리정보(Distance), 처리하는 각도 정보의 범위 및 단위를 기록한 방향정보(Orientaion) 및 처리하는 상대 속도의 최대/최소값 및 단위를 기록한 상대속도정보(RelativeSpeed) 중 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
  10. 상황 정보 제공 장치가 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 단계;
    상기 수신된 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하는 단계;
    상기 추정된 상황 정보와 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 수신한 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하는 단계; 및
    상기 구성된 인터페이스 정보를 상기 특정 차량으로 전송하는 단계
    를 포함하는 것을 특징으로 하는 차량 상황 정보 제공 방법.
PCT/KR2015/009850 2014-10-17 2015-09-21 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치 WO2016060384A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140140792 2014-10-17
KR10-2014-0140792 2014-10-17
KR1020150114235A KR101734985B1 (ko) 2015-08-13 2015-08-13 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치
KR10-2015-0114235 2015-08-13

Publications (1)

Publication Number Publication Date
WO2016060384A1 true WO2016060384A1 (ko) 2016-04-21

Family

ID=55746886

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009850 WO2016060384A1 (ko) 2014-10-17 2015-09-21 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2016060384A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255812B2 (en) 2016-11-29 2019-04-09 Samsung Electronics Co., Ltd. Method and apparatus for preventing collision between objects
CN110290502A (zh) * 2019-05-28 2019-09-27 浙江吉利控股集团有限公司 一种车辆视觉图像信息的融合方法及装置
CN110515073A (zh) * 2019-08-19 2019-11-29 南京慧尔视智能科技有限公司 多雷达跨区域组网多目标跟踪识别方法及装置
CN110673609A (zh) * 2019-10-10 2020-01-10 北京小马慧行科技有限公司 车辆行驶的控制方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100806721B1 (ko) * 2006-07-05 2008-02-27 전자부품연구원 차량용 주변 차량 정보 제공 시스템
KR20110033599A (ko) * 2009-09-25 2011-03-31 한국해양연구원 항만 통합 보안 감시 시스템
KR101125233B1 (ko) * 2010-11-25 2012-03-21 재단법인대구경북과학기술원 융합기술기반 보안방법 및 융합기술기반 보안시스템
KR20130054830A (ko) * 2011-11-17 2013-05-27 현대자동차주식회사 운전자 시선추적과 교통정보를 이용한 도로상황 경보시스템 및 방법
KR20140004413A (ko) * 2012-07-02 2014-01-13 현대모비스 주식회사 안전운전 지원 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100806721B1 (ko) * 2006-07-05 2008-02-27 전자부품연구원 차량용 주변 차량 정보 제공 시스템
KR20110033599A (ko) * 2009-09-25 2011-03-31 한국해양연구원 항만 통합 보안 감시 시스템
KR101125233B1 (ko) * 2010-11-25 2012-03-21 재단법인대구경북과학기술원 융합기술기반 보안방법 및 융합기술기반 보안시스템
KR20130054830A (ko) * 2011-11-17 2013-05-27 현대자동차주식회사 운전자 시선추적과 교통정보를 이용한 도로상황 경보시스템 및 방법
KR20140004413A (ko) * 2012-07-02 2014-01-13 현대모비스 주식회사 안전운전 지원 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255812B2 (en) 2016-11-29 2019-04-09 Samsung Electronics Co., Ltd. Method and apparatus for preventing collision between objects
CN110290502A (zh) * 2019-05-28 2019-09-27 浙江吉利控股集团有限公司 一种车辆视觉图像信息的融合方法及装置
CN110515073A (zh) * 2019-08-19 2019-11-29 南京慧尔视智能科技有限公司 多雷达跨区域组网多目标跟踪识别方法及装置
CN110673609A (zh) * 2019-10-10 2020-01-10 北京小马慧行科技有限公司 车辆行驶的控制方法、装置及系统

Similar Documents

Publication Publication Date Title
WO2017119737A1 (ko) 통신 시스템에서 영상 정보를 공유하는 방법 및 장치
WO2016060384A1 (ko) 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치
WO2014077441A1 (ko) 차량 간 통신을 통한 주변 차량 감지 장치 및 방법
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2019182355A1 (ko) 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법
WO2016186458A1 (ko) 영상 정보 수집 시스템 및 이동 객체에 대한 영상 정보를 수집하는 방법
WO2013115470A1 (en) Integrated control system and method using surveillance camera for vehicle
US20090128632A1 (en) Camera and image processor
WO2011108836A2 (ko) 서버, 내비게이션 시스템, 차량용 내비게이션 및 차량용 내비게이션의 영상 제공 방법
WO2020122270A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2015108232A1 (en) Portable device and method for controlling the same
WO2014193065A1 (en) Video search apparatus and method
WO2013051801A1 (en) Display apparatus and method for assisting parking
WO2020034534A1 (zh) 基于行车记录仪的举证方法、装置、设备和存储介质
WO2015099387A1 (ko) 지능형 교통 관리 시스템
WO2014098373A1 (ko) 버스 정차순서를 반영한 버스 정보 제공 시스템 및 방법
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
KR101734985B1 (ko) 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2020218717A1 (ko) 어라운드 뷰 장치
WO2015080468A1 (ko) 차량 위치 제공 장치, 그리고 그를 이용한 주차 위치 안내 시스템 및 주차 위치 안내 방법
WO2018062598A1 (ko) 데이터 분산 저장 방법 및 시스템
WO2013022153A1 (en) Apparatus and method for detecting lane
WO2019117658A1 (ko) 카메라 제어 장치 및 그것의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15850684

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15850684

Country of ref document: EP

Kind code of ref document: A1